图像内容移除方法、系统、介质、设备及数据处理终端

1.本发明属于图像填充技术领域，尤其涉及一种图像内容移除方法、系统、介质、设备及数据处理终端。


背景技术：

2.目前，照片在人们的日常生活中扮演者非常重要的角色，尤其随着如今智能移动终端的拍摄能力大大提升，人们越来越习惯于使用智能手机，将美好的风景、难忘的瞬间等便捷地记录下来。然而，照片中的瑕疵、遮挡等因素都让这些定格的瞬间蒙上了一层阴影，如何消除照片中物体的遮挡，并且保持照片整体和细节的真实性，重点在于将遮挡物体挖空后，如何使用图像填充技术进行适应性的填补。
3.现有的图像填充技术从原理上可以分为两大类：单帧填充和多帧填充。
4.单帧填充指的是：算法过程中仅使用填充图像自身一张图片，并不涉及额外图片。传统的单帧填充算法主要通过图像的表征信息，例如待填充区域周边像素层面的信息来填充缺失的像素，适合待填充区域处于前景目标物体的局部区域时使用。但当图像结构较为复杂，或待填充区域扩大至前景目标物体的关键部位甚至全部时，由于关键信息(例如像素间关系、轮廓信息等)的缺失，若要继续对前景目标进行填充的话，单帧填充绝大多数情况下就很难实现符合现实语义情景的填充了。
5.近些年随着深度学习方法的兴起，能够将填充问题简化为一种端到端的映射问题。通过大量数据集的训练，基于深度学习的单帧填充算法能够学习到除图像像素之外更深层、更抽象的特征，有望成为传统单帧填充方法的补充和替代。但如何处理模型在过拟合和欠拟合之间的矛盾一直是图像填充类神经网络一个亟待解决的问题，且大部分模型都默认模型能够很好地处理前景和背景的区分，而在实际待填充区域完全覆盖前景或位于前景与背景交界处时，模型只能靠训练样本的经验进行自主推断，而这样的填充结果通常不能很好地与实际图片场景匹配。同时，神经网络训练所需要的大量多样化数据集所需要的数据成本和训练成本仍是不容忽视的因素。
6.多帧填充算法指从待处理图像之外的数据中寻找与缺失区域相似的像素块进行填充。这种方法通过“复制粘贴”，能够保证填充结果极大概率符合语义条件，在对背景(例如天空、草地、沙滩等)时有着很好的填充效果。但一方面，通常这类方法需要使用由大量不同数据集组成的数据库，足够多的备选数据量是提高多帧填充精度的最直接手段；另一方面，由于实际情况中前景物体的特殊性和唯一性，使之很难在数据库中找到适合填入待填充区域的像素块，所以基于数据库的多帧填充较难应用于需要填充前景目标的局部场景中。
7.在某些特定场景应用下比如在旅游景点拍照时，若想将旁边路过的行人们从照片中尽量去除，则此时单纯使用单帧填充的算法，由于背景像素信息的缺失，通常结果并不能很好地将人物遮挡的部分精细地还原出来。而若在短时间内连续拍摄多帧图像，则多帧图像中的背景(如建筑物)具有不变性，前景(如人流等遮挡)具有流动性。结合多帧填充的方
法，利用目标场景中前景和背景上述性质的差异，发挥多帧填充善于填充背景的特点，可以分别从不同帧图像中获得被前景物体遮挡的的填充区域图像信息，再通过单帧填充的方法补充多帧填充之后较难处理的前景与背景交界处信息，最后形成一张置信度极高的图像。比如将目标图像前后连续帧中未被路人遮挡的背景提取出来，经处理后填充到背景已被路人遮挡的相邻帧图像中，最后结合局部原有像素信息和新填充的像素信息，通过单帧填充优化填充边界，使之过渡更为自然。
8.若直接将多帧连续图像的对应位置进行对比和填充(见图3)，由于镜头畸变、球面投影等客观因素，加之拍摄者在日常使用手机时并不会专门使用辅助装置帮助拍摄角度和位置保持静止，人们拍摄的多帧连续图像互相的相机空间位置不会完全相同，所以会出现不符合语义场景的填充结果，比如物体接缝不不对应、人物倾斜、不符合待填充图像整体透视关系等。所以在多帧填充算法中，如何将两张图片配准对齐，以消除待填充图像和填充图像之间的空间差异，是进行对应填充之前的关键步骤。目前主流配准方法大多是基于图片全局的配准置信度最高的原则，应用于两张图片的整体拼接。
9.以一张待填充图像与一张填充图像的情景为例，其中待填充图像为图s(见图4)，图s中待填充区域为sd(见图5)，用于填充的图像为图a(见图6)，图a中与区域sd对应的相同位置区域为区域ad(见图7)。基于图片全局的配准能够将两幅图像中空间重合的部分最大程度地经过变换重叠在一起，适用于图像拼接等关注图像整体效果的领域中。但对于图像填充领域需要更多地着眼于图像局部的细节，在传统基于全局的配准结果中，局部区域sd与ad的匹配效果并不尽如人意，不适合用于图像的局部填充(见图8～9)。由于待填充区域sd通常在整张图像中所占比例较小，远不及30％，所以一方面，以全图为基准进行单应性变换，由于现实三维场景与二维图像的维度差异，导致兼顾全图的变换矩阵无法满足特定填充区域的细节要求；另一方面，对全图特征点进行计算和比对会产生巨大的计算量，提高算法的冗余度。因此，亟需一种新的图像内容移除方法及系统，以弥补现有技术的缺陷。
10.通过上述分析，现有技术存在的问题及缺陷为：
11.(1)当图像结构较为复杂，或待填充区域扩大至前景目标物体的关键部位甚至全部时，由于关键信息的缺失，若要继续对前景目标进行填充的话，单帧填充绝大多数情况下就很难实现符合现实语义情景的填充了。
12.(2)如何处理模型在过拟合和欠拟合之间的矛盾一直是图像填充类神经网络一个亟待解决的问题，且大部分模型都默认模型能够很好地处理前景和背景的区分，而在实际待填充区域完全覆盖前景或位于前景与背景交界处时，模型只能靠训练样本的经验进行自主推断，而这样的填充结果通常不能很好地与实际图片场景匹配；同时，神经网络训练所需要的大量多样化数据集所需要的数据成本和训练成本仍是不容忽视的因素。
13.(3)多帧填充算法需要使用由大量不同数据集组成的数据库，足够多的备选数据量是提高多帧填充精度的最直接手段；由于实际情况中前景物体的特殊性和唯一性，使之很难在数据库中找到适合填入待填充区域的像素块，故基于数据库的多帧填充较难应用于需要填充前景目标的局部场景中。
14.(4)传统基于全局的配准结果中，局部区域sd与ad的匹配效果并不尽如人意，不适合用于图像的局部填充；由于待填充区域sd通常在整张图像中所占比例远不及30％，所以以全图为基准进行单应性变换，由于现实三维场景与二维图像的维度差异，导致兼顾全图
的变换矩阵无法满足特定填充区域的细节要求；对全图特征点进行计算和比对会产生巨大的计算量，提高算法的冗余度。
15.解决以上问题及缺陷的难度为：
16.技术难度：随着图像相关的软硬件技术不断提升，通过各种设备采样得到的场景图像的分辨率以及视野不断加大。但由于单应性原理的限制，越大的场景图像同时也就意味着有越多的区域不符合单应性原理，使用传统单应性变换并不能将两幅不同视角的图像处处统一为同一视角，而是会出现很多失真的拉伸、缩短等现象。
17.此外，当前的深度学习算法的核心仍然是基于数据训练的模型，需要经过大量针对数据的训练后才能达到目标结果。但基于数据的算法不可避免地会受到数据本身的制约，当面对数据外泛化问题时就很难保持优秀的算法水平。
18.环境难度：近年来深度学习在机器视觉领域的发展使得许多研究人员更多地使用深度学习方法对图像内容移除问题给出解决方案，而放弃了对于传统图像处理方法的扩展性研究。但当前受限于深度学习算法的稳健性和泛化性，深度学习算法在工业界尚难以形成大规模应用；同时传统方法由于关注度较低，在图像内容移除领域的进展缓慢。
19.解决以上问题及缺陷的意义为：
20.①
基于兴趣区域的思想，使用局部单应性变换技术能够较好地解决大图像变换中不符合单应性变换区域的问题，扩大了单应性变换在图像处理领域的泛化性，更能适应多种技术的进步。
21.②
探索传统图像处理算法的扩展性，正确认识图像领域的传统算法与深度学习算法各自的优劣，明确不同算法在不同应用场景下的适应性，促进多种图像算法协同、健康发展。


技术实现要素：

22.针对现有技术存在的问题，本发明提供了一种图像内容移除方法、系统、介质、设备及数据处理终端，尤其涉及一种基于局部最优单应性变换的图像内容移除方法、系统、介质、设备及数据处理终端。
23.本发明是这样实现的，一种图像内容移除方法，所述图像内容移除方法包括：
24.首先提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图a中对应区域到图s中待填充区域的局部单应性变换关系，即将相机从不同空间位置拍摄的同一平面物体变换为同一角度，最后从变换后的图a对应区域中截取所需要的区域填充至待填充区域中，最后使用单帧填充以及泊松模糊算法针对填充边缘的纹理截断、色差等问题进行优化，得到完整的移除结果。
25.进一步，所述图像内容移除方法包括以下步骤：
26.步骤一，对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充；传统单应性变换的全局变换思想在大部分情况下都无法处理不满足单应性原理的区域，无法准确的得到高保真的变换结果。使用局部最优的单应性变换算法采取了兴趣区域的思路，将待填充区域作为变换的高优先级区域，能够较好地解决传统算法的局部失真问题。
27.步骤二，针对填充的边缘区域使用单帧填充算法进行自适应填补；现有的单帧图
像填充算法由于严重依赖于填充区域周边像素值，在小面积填充时能够获得较好的连续性，而在进行大面积填充时无法满足填充的语义要求，在单独使用时很难得到理想的结果。将单帧填充算法与步骤一中的多帧填充算法结合起来，填充区域的中心主体由多帧填充完成，而边缘使用单帧填充算法自适应填充，可以在保证填充区域语义环境的情况下保持边缘的高连续性。
28.步骤三，使用泊松融合的方法消除填充区域与原图像的色彩梯度差异。人眼的视觉观感对于rgb图像中的色彩梯度尤其敏感，急剧的色彩梯度变化会让人自动产生边缘的割裂感。泊松融合能够平滑填充区域与周边区域的像素值变化，使其过度更加自然，极大提升人眼观感的同时使人眼对于填充区域的感知程度最小化。
29.进一步，步骤一中，所述对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充，包括：
30.(1)提取特征点；
31.(2)为特征点添加各自的描述向量并寻找两张图中的匹配点对；
32.(3)根据匹配特征点对的二维坐标信息求解单应性变换矩阵。
33.进一步，步骤(1)中，所述提取特征点，包括：
34.对待填充图s，待填充区域sd的信息视为未知，最重要的条件为将ad填充进sd后，ad与周围环境信息之间的连续性。将待填充区域sd以几何特征为基础，向外扩大20％，不超过图像边界，作为特征点的粗略取样范围，称为sd_out。
35.对填充图a，由于尚未进行单应性变换，图s与a中的相同物体的位置不一定对应着完全相同的坐标，但同时也由于相邻帧间的时间间隔较短，填充区域会出现在待填充区域坐标附近；对图a采取模糊取样的方法，即将取样范围扩大至包括图a中与sd相同位置区域及其外扩张的50％，称为ad_out。
36.通过检测(sd_out-sd)内部的角点与ad_out中的局部特征点，进行匹配查找，从而通过匹配的特征点对计算出两个图像区域的变换关系，使用harris角点检测匹配的方法。
37.harris角点检测匹配算法的思想是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况中窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，即可认为该窗口中存在角点。
38.当窗口发生平面移动[u，v]时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述如下：
[0039][0040]
其中，[u，v]是窗口的二维偏移量；e(u，v)是此偏移位置处与滑动前位置的灰度差值；(x，y)是窗口内所对应的像素二维坐标位置，窗口有多大像素就有多少个位置；w(x，y)是窗口函数，也即窗口中各个位置像素值在计算中所占的权重系数；i是当前位置像素点的亮度，对应在图像中即为当前位置像素点的灰度值。
[0041]
根据表达式，当窗口处在平坦区域上滑动，灰度不会发生变化，那么e(u，v)＝0；如果窗口处在比纹理比较丰富的区域上滑动，那么灰度变化会很大。算法最终思想就是计算灰度发生较大变化时所对应的位置，当然这个较大是指针任意方向上的滑动，并非单指某
个方向。
[0042]
对上式进行泰勒展开，可得：
[0043][0044]
其中，i
x
是像素亮度i沿x方向的偏导，iy是像素亮度i沿y方向的偏导。
[0045]
令矩阵m为：
[0046][0047]
根据定义可得m为协方差矩阵。
[0048]
分别对平坦区域、线性边缘、角点边缘三种场景进行试验，得到梯度分布图。可发现由协方差矩阵的特征值和特征向量的性质可得，三种场景在特征值属性上分别表现为：
[0049]
特征值都比较大时，即窗口中含有角点；特征值一个较大，一个较小，窗口中含有边缘；特征值都比较小，窗口处在平坦区域。
[0050]
根据这些性质，为方便度量，构造r为：
[0051]
r＝det m-k(trace m)2；
[0052]
其中，det m＝λ1λ2，
trace
m＝λ1 λ2，λ1、λ2为协方差矩阵m的两个特征值，k为实系数。
[0053]
函数r的性质完全符合协方差矩阵m上述性质完全对应：r比较大时，对应特征值都比较大，即窗口中含有角点；r＜0时，对应特征值一个较大，一个较小，窗口中含有边缘；|r|比较小时，对应特征值都比较小，窗口处在平坦区域。
[0054]
通过设定滑动窗口在区域(sd_out-sd)与ad_out上的移动，计算每个位置的r值，将r值大于阈值的窗口位置进行记录，即为特征点。
[0055]
平均每15*15像素的网格中取一个特征点，即在一个150*150的区域中取10个特征点进入特征点的匹配环节中去既能够保证匹配出对应的特征点对，使用自适应非极大值抑制的方法来择优选取特定数量的关键点。
[0056]
自适应非极大值抑制的思想是对于上一步提取的众多特征点，组成集合对于其中每一个点xi都取一个以其为圆心的圆，使之满足圆内所有其他特征点的r值都小于xi的r值，并寻找满足上述条件的最小圆半径ri将之加入队列。遍历计算集合内的所有点，得到满足约束条件的最小圆半径ri，降序排列，选择前n个对应的点即为自适应非极大值抑制后得到的关键点集。
[0057]
用数学语言表示即为：
[0058][0059]
其中，ri是满足约束条件的最小圆半径，xi，xj是上一步得到的关键点的二维坐标，f(xi)是点xi处的r值，是所有关键点的集合，c＝0.9。
[0060]
实际计算时，首先根据区域的像素面积计算需要筛选出的特征点个数，此时由于后续计算需要统一区域(sd_out-sd)和ad_out中的特征点个数相同，所以以像素面积较大的区域ad_out作为基准，计算自适应取得的特征点个数，设为n；其次找出区域内r值最大的关键点rmax，加入队列，并且得到rmax*0.9的值；遍历该区域所有关键点，若该关键点xi的ri＞r max*0.9，该点的半径设为无限远；若该关键点xi的ri＜r max*0.9，计算该点到离它
最近的ri＞0.9r的点xi，记录两点间的距离ri；最后将所有r排序，找出r最大的n个点。
[0061]
步骤(2)中，所述为特征点添加各自的描述向量并寻找两张图中的匹配点对，包括：
[0062]
在区域(sd_out-sd)与ad_out中分别找到n个特征点后，描述出各个点的特征，用于找出图a与图s之间特征点的对应关系，使用关键点之间的二维位置关系构造描述子。
[0063]
对灰度图像做适度的高斯模糊；以每个特征点为中心，取40x40像素的区域；即让每一个特征点周边40x40像素的区域作为描述区域，这样平均每一个描述区域都会包含包括中心特征点在内的3～4个特征点；将该区域降采样至8x8的大小，将其一维化生成一个64维的向量；对向量做归一化处理，即每个特征点都生成了一个64维的向量作为它的描述子，于是对于两个配准区域来说分别得到了一个nx64维的特征矩阵。
[0064]
拥有各个特征点的描述子后，从中筛选出两幅图像中相匹配的特征点作为特征点对，过滤掉相关性较低的特征点集；计算n个特征点两两之间的描述向量的方差，按照方差最小与第二小的比值由小到大排序，小于阈值0.5的点对作为筛选出的匹配点。
[0065]
步骤(3)中，所述根据匹配特征点对的二维坐标信息求解单应性变换矩阵，包括：
[0066]
找出匹配置信度最高的点对后，根据所述点对之间的二维坐标匹配关系，解出其单应性变换矩阵，将图a区域ad_out经过变换再将所需的部分填充至图s的待填充区域sd中。
[0067]
设图a中点(x1，y1)与图s中点(x2，y2)相匹配，则有对应关系：
[0068][0069]
其中，h
3*3
就为单应性矩阵，是求得变换关系的关键变量。
[0070]
每一组匹配点有等式成立：
[0071][0072]
其中h为单应性系数。由平面坐标与齐次坐标对应关系则：
[0073][0074][0075]
进一步变换为：
[0076]
(h
31
xi h
32
yi h
33
)
·
x
′i＝h
11
xi h
12
yi h
13
；
[0077]
(h
31
xi h
32
yi h
33
)
·y′i＝h
21
xi h
22
yi h
23
；
[0078]
写成矩阵形式：
[0079][0080]
即每一组匹配点可获得2组方程。
[0081]
由于单应性矩阵h与ah其实完全一样，其中a≠0，则：
[0082][0083][0084][0085]
即点(xi，yi)无论经过h还是ah映射，变化后都是(x
′i，y
′i)。
[0086]
如果使那么有：
[0087][0088]
单应性矩阵h虽然有9个未知数，但在求解时一般添加约束h
33
＝1，故还有h
11
...h
33
共8个未知数，即只有8个自由度。由于一组匹配点对应2组方程，那么只需要n＝4组不共线的匹配点即可求解h的唯一解。
[0089]
此时若上一步中筛选出的匹配特征点对数量小于4，则重新返回特征点的极大值抑制步骤之前，适当降低局部抑制的程度来增加匹配特征点对的个数，直至所得的匹配特征点对数量大于4；当然在实际情况中，筛选出的匹配关键点对在绝大多数情况下都远多于所需要的4对，使用随机采样算法得到匹配误差最小的4对点；即以一幅图像为基准，每次从
区域(sd_out-sd)中随机选择4个点，在区域ad_out中找出配对的4个点；用4对点按上述方法计算得到一个单应性变换矩阵，并将(sd_out-sd)中剩余的特征点按照这个单应性变换矩阵变换投影到区域ad_out中去，统计与区域ad_out原有特征点重合的个数；重复此步骤2000次，挑选准确配对最多的一个单应性变换矩阵作为最后的变换矩阵。至此，两幅图像的局部最优投影变换关系已经找到。
[0090]
进一步，步骤二中，所述针对填充的边缘区域使用单帧填充算法进行自适应填补，包括：
[0091]
局部最优的单应性变换将填充区域变换至待填充区域，并最大程度地符合待填充图像的透视关系以及空间信息；使用单帧填充的方法对待填充区域sd的边缘进行二次填充，用于替换原本部分不连续的填充边缘。
[0092]
单帧填充算法分为优先级计算、匹配块搜索和复制填充三个部分。
[0093]
首先将图像分为已知区域和待填充区域，从待填充的边界开始，沿边缘计算边缘像素点的填充优先级。
[0094]
假设整张图像区域为i，待填充区域为ω，填充区域边缘为以目标区域边缘点p为中心的块ψ
p
的优先级计算公式如下：
[0095]
p(p)＝c(p)*d(p)；
[0096]
其中，c(p)为置信度，d(p)为数据值，定义为：
[0097][0098][0099]
其中，|ψ
p
|为块ψ
p
的面积；α为图像标准化因子，对于uint8格式图像为255；n
p
为填充区域边缘上点p处的单位法向量；为点p处的等照度线。
[0100]
初始化值为：
[0101]
c(p)＝0，p∈ω；
[0102]
c(p)＝1，p∈i-ω；
[0103]
以当前优先级最高的边界点p为中心，以设置好的块大小形成块ψ
p
；在已知区域中根据匹配准则找到与之相似的块，以q
′
及q
″
为中心的块ψq′
和块ψq″
；分别计算块ψq′
和块ψq″
与ψ
p
的均方误差e
′
、e
″
。在e
′
、e
″
差值大于20％时，选取均方误差最小的块进行填充；但在e
′
、e
″
差值小于20％，人眼宏观观感差别不大时，由于图像相邻像素间变化的连续性，引入空间欧式距离判别，选取距离与块ψ
p
平面距离最近的像素块进行填充。
[0104]
进一步，步骤三中，所述使用泊松融合的方法消除填充区域与原图像的色彩梯度差异，包括：
[0105]
使用泊松融合的方法，将填充各个区域的边缘接缝处的颜色梯度消除，统一不同区域中的整体色调，将图像g填充到背景s中去的填充情况中，s为r2的闭子集，表示图像的定义域；ω为s的闭子集，其边界为f
*
为定义在ω域边界及外部上的已知标量函数；f为定义在域内部上的未知标量函数；v为定义在ω域上的矢量场。
[0106]
即已知的数据包括：区域ω的梯度场v，和被填充区域的边缘
[0107]
经过填充，满足以下两个条件：
[0108]
(1)保持填充图像g的不失真，即填补内容的梯度要尽可以与v接近；
[0109]
(2)要无缝过度，即填补内容的边界像素值和现有的s一致。
[0110]
满足所述两个要求，即可得到以下的数学表达：
[0111][0112]
其中，为梯度算子，矢量场v为引导场，数学表达与分别对应所述条件(1)、(2)。该问题的解为给定狄利克雷边界条件的泊松偏微分方程的唯一解：
[0113][0114]
其中，表示v＝(u，v)的散度；即拉普拉斯算子，也就是二阶梯度而这个时候的边界条件就称为狄利克雷边界。
[0115]
求解带有狄利克雷边界条件的泊松方程的解法使用迭代法即可逐步求解：解得的像素值以边界的像素值作为起点，遵循引导向量场v的梯度方向，一圈一圈逐步修正填充区域，使之达到与背景更和谐的视觉效果；对于通常的三通道彩色图像来说，泊松方程需要在三个通道上分别独立求解。
[0116]
本发明的另一目的在于提供一种应用所述的图像内容移除方法的图像内容移除系统，所述图像内容移除系统包括：
[0117]
图像填充模块，用于对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充；
[0118]
自适应填补模块，用于针对填充的边缘区域使用单帧填充算法进行自适应填补；
[0119]
色彩梯度差异消除模块，用于使用泊松融合的方法消除填充区域与原图像的色彩梯度差异。
[0120]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0121]
首先提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图a中对应区域到图s中待填充区域的局部单应性变换关系，即将相机从不同空间位置拍摄的同一平面物体变换为同一角度，最后从变换后的图a对应区域中截取所需要的区域填充至待填充区域中。
[0122]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0123]
首先提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图a中对应区域到图s中待填充区域的局部单应性变换关系，即将相机从不同空间位置拍摄的同一平面物体变换为同一角度，最后从变换后的图a对应区域中截取所需要的区域填充至待填充区域中。
[0124]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于
实现所述的图像内容移除系统。
[0125]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的图像内容移除方法，利用连续多帧图像信息，通过单帧填充与多帧填充结合的图像填充方法，实现图像中目标物体移除的目的，这种算法能够更高效、更拟真地还原出原本被遮挡的真实场景背景，达到高保真地消除遮挡物的要求。
[0126]
目前移动端市场上可用于图像内容移除的软件几乎为零，无论是安卓系统还是ios系统中，自带的图像编辑器的功能主要集中在图像裁剪、调整对比度、添加滤镜等方面；个人电脑市场上可用于图像内容移除的软件以adobe公司开发的软件photoshop为代表。photoshop主要处理以像素为基本单位所构成的数字图像，使用其中众多的编修与绘图工具，可以让用户有效地进行图片编辑工作。photoshop中为用户提供了2种对图像中部分内容进行移除的方法。一种基于单帧填充的思想：在用户使用区域选取工具选出图像中的目标区域之后，由photoshop对其周围区域进行识别和分析，根据识别的结果对选取区域进行填充和替换，此方法存在单帧填充算法一贯难以合理填充大面积真实场景的缺陷；另一种方法基于多帧填充的思想：用户首先需要准备2张及以上的图像素材，导入photoshop后手动将各个图层进行对其和配准，再使用画笔等工具将目标区域的图层调整为透明，使得处于另一图层中的同一位置填充素材跨图层融合，手动过程较为复杂。使用photoshop等软件进行图像内容移除的特点在于，整个操作步骤中软件的功能模块细化程度非常高，这样虽然对于专业的图像处理从业者或熟练使用软件的用户来说，能够根据不同的任务场景灵活调整处理参数以得到最为精细的处理效果；但对于一般的大多数用户来说，却有着较高的使用门槛，严重影响了使用体验。本发明提供了一个端到端的图像内容移除软件，将多种处理算法集成在软件内部，在使用过程中用户无需熟练掌握具体的算法流程，只需要将图片素材和目标区域选定，就可以得到处理过后的结果，填补了图像内容移除的市场空白，为用户提供了一种支持移动端以及个人电脑终端的一站式解决方案。
[0127]
本发明以寻找局部最优解的思路，不仅可以摆脱图像中非兴趣区域的干扰，大大提高匹配精度，而且减少了计算量，使算法对硬件设备的要求大大降低，保证其在移动端运行时的效率。
附图说明
[0128]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0129]
图1是本发明实施例提供的图像内容移除方法流程图。
[0130]
图2是本发明实施例提供的图像内容移除系统结构框图；
[0131]
图中：1、图像填充模块；2、自适应填补模块；3、色彩梯度差异消除模块。
[0132]
图3是本发明实施例提供的多帧直接填充结果示意图。
[0133]
图4是本发明实施例提供的图s示意图。
[0134]
图5是本发明实施例提供的sd掩码示意图。
[0135]
图6是本发明实施例提供的图a示意图。
[0136]
图7是本发明实施例提供的ad掩码(与sd相同)示意图。
[0137]
图8是本发明实施例提供的全局最优的配准填充结果示意图。
[0138]
图9是本发明实施例提供的全局最优配准填充的问题标注示意图。
[0139]
图10是本发明实施例提供的sd掩码示意图。
[0140]
图11是本发明实施例提供的sd_out掩码示意图。
[0141]
图12是本发明实施例提供的ad掩码示意图。
[0142]
图13是本发明实施例提供的ad_out掩码示意图。
[0143]
图14是本发明实施例提供的(sd_out-sd)掩码示意图。
[0144]
图15是本发明实施例提供的区域(sd_out-sd)的特征点示意图。
[0145]
图16是本发明实施例提供的区域ad的特征点示意图。
[0146]
图17是本发明实施例提供的限制后的区域(sd_out-sd)的特征点示意图。
[0147]
图18是本发明实施例提供的限制后的区域ad_out的特征点示意图。
[0148]
图19是本发明实施例提供的全局最优的配准叠加图。
[0149]
图20是本发明实施例提供的全局最优的配准填充结果示意图。
[0150]
图21是本发明实施例提供的局部最优的配准叠加图。
[0151]
图22是本发明实施例提供的局部最优的配准填充结果示意图。
[0152]
图23是本发明实施例提供的全局最优配准填充对比局部最优配准填充结果示意图。
[0153]
图24是本发明实施例提供的树木在图像中被截断产生的断点示意图。
[0154]
图25是本发明实施例提供的单帧填充算法的优先级计算示意图。
[0155]
图26是本发明实施例提供的单帧填充算法的匹配块搜索示意图。
[0156]
图27是本发明实施例提供的留出填充区域边缘用单帧填充算法填充的结果示意图。
[0157]
图28是本发明实施例提供的不加单帧填充边缘的图。
[0158]
图29是本发明实施例提供的加了单帧填充边缘的图。
[0159]
图30是本发明实施例提供的多帧填充效果对比单帧多帧结合填充效果示意图。
[0160]
图31是本发明实施例提供的不使用泊松融合问题示意图。
[0161]
图32是本发明实施例提供的将图像g填充到背景s中去的填充情况的简化示意图。
[0162]
图33是本发明实施例提供的泊松融合之前的图。
[0163]
图34是本发明实施例提供的泊松融合之后的图。
[0164]
图35是本发明实施例提供的泊松融合前后对比示意图。
[0165]
图36是本发明实施例提供的另一例子填充前的示意图。
[0166]
图37是本发明实施例提供的另一例子泊松前的示意图。
[0167]
图38是本发明实施例提供的另一例子泊松后的示意图。
具体实施方式
[0168]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0169]
针对现有技术存在的问题，本发明提供了一种图像内容移除方法、系统、介质、设备及数据处理终端，下面结合附图对本发明作详细的描述。
[0170]
如图1所示，本发明实施例提供的图像内容移除方法包括以下步骤：
[0171]
s101，对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充；
[0172]
s102，针对填充的边缘区域使用单帧填充算法进行自适应填补；
[0173]
s103，使用泊松融合的方法消除填充区域与原图像的色彩梯度差异。
[0174]
如图2所示，本发明实施例提供的图像内容移除系统包括：
[0175]
图像填充模块1，用于对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充；
[0176]
自适应填补模块2，用于针对填充的边缘区域使用单帧填充算法进行自适应填补；
[0177]
色彩梯度差异消除模块3，用于使用泊松融合的方法消除填充区域与原图像的色彩梯度差异。
[0178]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0179]
1、本发明提出了一种利用连续多帧图像信息，通过单帧填充与多帧填充结合的图像填充方法，实现图像中目标物体移除的目的，这种算法能够更高效、更拟真地还原出原本被遮挡的真实场景背景，达到高保真地消除遮挡物的要求。
[0180]
此方法包括三个步骤：对于包含待填充区域的目标图像和用于填充的填充图像，先使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充，再针对填充的边缘区域使用单帧填充算法进行自适应填补，最后使用泊松融合的方法消除填充区域与原图像的色彩梯度差异。
[0181]
2、内容：基于局部最优单应性变换的图像内容移除方法
[0182]
算法步骤为：首先提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图a中对应区域到图s中待填充区域的局部单应性变换关系，也即将相机从不同空间位置拍摄的同一平面物体变换为同一角度，最后从变换后的图a对应区域中截取所需要的区域填充至待填充区域中。
[0183]
2.1提取特征点
[0184]
首先，对待填充图s来说，待填充区域sd的信息视为未知，最重要的条件应为将ad填充进sd后，ad与其周围环境信息之间的连续性。所以将待填充区域sd以几何特征为基础，向外扩大20％(不超过图像边界)作为特征点的粗略取样范围，称为sd_out。其中，sd掩码如图10所示，sd_out掩码如图11所示。
[0185]
对填充图a来说，由于尚未进行单应性变换，图s与a中的相同物体的位置不一定对应着完全相同的坐标，但同时也由于相邻帧间的时间间隔较短，通常填充区域会出现在待填充区域坐标附近。所以对图a采取模糊取样的方法，即将取样范围扩大至包括图a中与sd相同位置区域及其外扩张的50％，称为ad_out。其中，ad掩码如图12所示，ad_out掩码如图13所示。
[0186]
以寻找局部最优解的思路，不仅可以摆脱图像中非兴趣区域的干扰，大大提高匹配精度，而且减少了计算量，使算法对硬件设备的要求大大降低，保证其在移动端运行时的效率。
[0187]
为了从a图中找到最合适的填充内容，加之待填充区域sd的信息为无用信息，所以首先寻找区域(sd_out-sd)与区域ad_out中的特征点，从中能够近似反映出区域sd_out与ad_out的变换关系。其中，(sd_out-sd)掩码如图14所示。
[0188]
方法是通过检测(sd_out-sd)内部的角点与ad_out中的局部特征点，将它们进行匹配查找，从而通过匹配的特征点对计算出两个图像区域的变换关系。目前关键点的检测匹配方法有很多种，常见的有尺度不变特征变换匹配算法(sift)、harris角点检测匹配、方向梯度直方图特征提取(hog)等。其中尺度不变特征变换匹配算法具有旋转、尺度不变性，但计算量较大；harris角点检测匹配的匹配精度不如sift优秀，但特征点提取的阈值控制较为灵活，算法速度更快；直方图特征提取忽略了光照颜色对图像造成的影响，普遍适用于目标检测领域。考虑到本算法的局部最优匹配特性，对于特征提取匹配的精确度要求并不高，反而为了满足移动端应用的实际需求，需要更快的计算速度。所以综合考量，本算法在特征点的检测匹配环节使用了harris角点检测匹配的方法。
[0189]
harris角点检测匹配算法基本思想是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况中窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么可以认为该窗口中存在角点。
[0190]
当窗口发生平面移动[u，v]时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述如下：
[0191][0192]
其中[u，v]是窗口的二维偏移量；e(u，v)是此偏移位置处与滑动前位置的灰度差值；(x，y)是窗口内所对应的像素二维坐标位置，窗口有多大像素就有多少个位置；w(x，y)是窗口函数，也即窗口中各个位置像素值在计算中所占的权重系数；i是当前位置像素点的亮度，对应在图像中即为当前位置像素点的灰度值。
[0193]
根据上述表达式，当窗口处在平坦区域上滑动，可以想象到的是，灰度不会发生变化，那么e(u，v)＝0；如果窗口处在比纹理比较丰富的区域上滑动，那么灰度变化会很大。算法最终思想就是计算灰度发生较大变化时所对应的位置，当然这个较大是指针任意方向上的滑动，并非单指某个方向。
[0194]
对上式进行泰勒展开，可得：
[0195][0196]
其中i
x
是像素亮度i沿x方向的偏导，iy是像素亮度i沿y方向的偏导。
[0197]
令矩阵m为：
[0198][0199]
根据定义可得m为协方差矩阵。
[0200]
分别对平坦区域、线性边缘、角点边缘三种场景进行试验，得到梯度分布图。可发现由协方差矩阵的特征值和特征向量的性质可得，三种场景在特征值属性上分别表现为：
[0201]
特征值都比较大时，即窗口中含有角点；特征值一个较大，一个较小，窗口中含有
边缘；特征值都比较小，窗口处在平坦区域。
[0202]
根据这些性质，为方便度量，构造r为：
[0203]
r＝det m-k(trace m)2[0204]
其中det m＝λ1λ2，
trace
m＝λ1 λ2，λ1、λ2为协方差矩阵m的两个特征值，k为实系数。
[0205]
此时函数r的性质完全符合协方差矩阵m上述性质完全对应：r比较大时，对应特征值都比较大，即窗口中含有角点；r＜0时，对应特征值一个较大，一个较小，窗口中含有边缘；|r|比较小时，对应特征值都比较小，窗口处在平坦区域。
[0206]
此时即可通过设定滑动窗口在区域(sd_out-sd)与ad_out上的移动，计算每个位置的r值，将r值大于阈值的窗口位置进行记录，即为特征点。
[0207]
区域(sd_out-sd)的特征点如图15所示，区域ad的特征点如图16所示。
[0208]
由于无法在提取特征点之前规定特征点个数，为了保证区域中特征点存在对应关系来完成之后的运算，经过区域限制后提取的特征点依旧很多。但通过实验发现，实际上在真实场景中，考虑到拍摄距离、环境复杂度等因素，平均每15*15像素的网格中取一个特征点是比较合适的，即在一个150*150的区域中取10个特征点进入特征点的匹配环节中去既能够保证匹配出对应的特征点对，又能减少误差，不过多地增加冗余计算量。所以接下来就要去除其中绝大部分的关键点，仅保留一些特征明显点，并且让特征点在区域内分布均匀。这里使用自适应非极大值抑制的方法来择优选取特定数量的关键点。
[0209]
自适应非极大值抑制的思想是对于上一步提取的众多特征点，组成集合对于其中每一个点xi都取一个以其为圆心的圆，使之满足圆内所有其他特征点的r值都小于xi的r值，并寻找满足上述条件的最小圆半径ri将之加入队列。遍历计算集合内的所有点，得到满足约束条件的最小圆半径ri，将他们降序排列，选择前n个对应的点即为自适应非极大值抑制后得到的关键点集。
[0210]
用数学语言表示即为：
[0211][0212]
其中ri是满足约束条件的最小圆半径，xi，xj是上一步得到的关键点的二维坐标，f(xi)是点xi处的r值，是所有关键点的集合，c＝0.9。
[0213]
实际计算时，本发明将上述过程相反。首先根据区域的像素面积计算需要筛选出的特征点个数，此时由于后续计算需要统一区域(sd_out-sd)和ad_out中的特征点个数相同，所以以像素面积较大的区域ad_out作为基准，计算自适应取得的特征点个数，设为n。其次找出区域内r值最大的关键点rmax，加入队列，并且得到rmax*0.9的值。遍历该区域所有关键点，若该关键点xi的ri＞r max*0.9，该点的半径设为无限远；若该关键点xi的ri＜r max*0.9，计算该点到离它最近的ri＞0.9r的点xi，记录两点间的距离ri。最后将所有r排序，找出r最大的n个点。
[0214]
限制后的区域(sd_out-sd)的特征点如图17所示，限制后的区域ad_out的特征点如图18所示。
[0215]
2.2为特征点添加各自的描述向量并寻找两张图中的匹配点对
[0216]
在区域(sd_out-sd)与ad_out中分别找到n个特征点之后，需要描述出各个点的特征，用于找出图a与图s之间特征点的对应关系。因为日常使用环境中，连续帧图像之间的距
离、尺度、角度等信息差别很小，特征点之间的位置关系具有很强的一致性，所以这里考虑使用关键点之间的二维位置关系来构造描述子。
[0217]
首先为了消除图像中噪声的影响，对灰度图像做适度的高斯模糊。其次由于上一步中平均每15*15的像素范围内平均存在一个特征点，所以为了描述特征点之间的关系，现在以每个特征点为中心，取40x40像素的区域。即让每一个特征点周边40x40像素的区域作为描述区域，这样平均每一个描述区域都会包含包括中心特征点在内的3～4个特征点。然后将该区域降采样至8x8的大小，将其一维化生成一个64维的向量。最后对向量做归一化处理，即每个特征点都生成了一个64维的向量作为它的描述子，于是对于两个配准区域来说分别得到了一个nx64维的特征矩阵。
[0218]
拥有各个特征点的描述子之后，接下来需要从中筛选出两幅图像中相匹配的特征点作为特征点对，过滤掉相关性较低的特征点集。首先计算n个特征点两两之间的描述向量的方差，为了获得更高的置信度，按照方差最小与第二小的比值由小到大排序，小于阈值0.5的点对作为筛选出的匹配点。
[0219]
2.3根据匹配特征点对的二维坐标信息求解单应性变换矩阵
[0220]
找出匹配置信度最高的点对后，则需要根据他们之间的二维坐标匹配关系，解出其单应性变换矩阵，将图a区域ad_out经过变换再将所需的部分填充至图s的待填充区域sd中。
[0221]
设图a中点(x1，y1)与图s中点(x2，y2)相匹配，则有对应关系：
[0222][0223]
其中h
3*3
就为单应性矩阵，是求得变换关系的关键变量。
[0224]
从更一般的情况分析，每一组匹配点有等式成立：
[0225][0226]
其中h为单应性系数。由平面坐标与齐次坐标对应关系上式可以表示为：
[0227][0228][0229]
进一步变换为：
[0230]
(h
31
xi h
32
yi h
33
)
·
x
′i＝h
11
xi h
12
yi h
13
[0231]
(h
31
xi h
32
yi h
33
)
·y′i＝h
21
xi h
22
yi h
23
[0232]
写成矩阵形式：
[0233][0234]
也就是说每一组匹配点可以获得2组方程。
[0235]
由于单应性矩阵h与ah其实完全一样(其中a≠0)，例如：
[0236][0237][0238][0239]
即点(xi，yi)无论经过h还是ah映射，变化后都是(x
′i，y
′i)。如果使那么有：
[0240][0241]
所以单应性矩阵h虽然有9个未知数，但在求解时一般添加约束h
33
＝1，所以还有h
11
...h
33
共8个未知数，即只有8个自由度。由于一组匹配点对应2组方程，那么只需要n＝4组不共线的匹配点即可求解h的唯一解。
[0242]
此时若上一步中筛选出的匹配特征点对数量小于4，则重新返回特征点的极大值抑制步骤之前，适当降低局部抑制的程度来增加匹配特征点对的个数，直至所得的匹配特征点对数量大于4。当然在实际情况中，筛选出的匹配关键点对在绝大多数情况下都远多于所需要的4对，所以为了得到匹配误差最小的4对点，使用随机采样算法。即以一幅图像为基准，每次从区域(sd_out-sd)中随机选择4个点，在区域ad_out中找出配对的4个点。用4对点按上述方法计算得到一个单应性变换矩阵，并将(sd_out-sd)中剩余的特征点按照这个单应性变换矩阵变换投影到区域ad_out中去，统计与区域ad_out原有特征点重合的个数。重
复此步骤2000次，挑选准确配对最多的一个单应性变换矩阵作为最后的变换矩阵。至此，两幅图像的局部最优投影变换关系已经找到。
[0243]
全局最优的配准叠加图如图19所示，全局最优的配准填充结果如图20所示，局部最优的配准叠加图如图21所示，局部最优的配准填充结果如图22所示，全局最优配准填充对比局部最优配准填充如图23所示。
[0244]
3、留出填充边缘进行单帧填充
[0245]
局部最优的单应性变换可以将填充区域变换至待填充区域，并最大程度地符合待填充图像的透视关系以及空间信息，使图像的主观观感得到极大提升。但由于单应性矩阵h拥有8个自由度，即在二维空间中，只需4对对应特征点即可解出一个单应性变换矩阵h使之满足数学条件。如上述过程中，即使经过筛选的局部特征点个数也远远高于4，同时由于客观条件下相机将三维场景降维至二维图像本身不可避免的畸变，这就意味着在填充区域边缘附近，即使经过随机采样，最终选出的匹配点对已经满足变换的局部最优解，单应性变换仍然永远无法使所有特征点完美变换至新平面上，即仍会存在变换后的边缘关键点无法与原图边缘关键点对其的现象。所谓边缘关键点，是指原本的完整图形由于被待填充区域或填充区域截断而产生的连接点(如树木在图像中被截断产生的断点)。
[0246]
树木在图像中被截断产生的断点如图24所示。
[0247]
为了缓解由于边缘关键点无法全部重合的问题，此算法中使用单帧填充的方法对待填充区域sd的边缘进行二次填充，用以替换原本部分不连续的填充边缘。由于此时待填充区域的外部以及内部大部分像素值信息已经具备，此时单帧填充就可以结合内外不同角度的真实像素信息进行推理，从而达到远高于对大面积未知区域仅仅使用单帧填充的填充效果。
[0248]
单帧填充算法分为优先级计算、匹配块搜索和复制填充三个部分。首先将图像分为已知区域和待填充区域，从待填充的边界开始，沿边缘计算边缘像素点的填充优先级。
[0249]
如图25所示，整张图像区域为i，待填充区域为ω，填充区域边缘为以目标区域边缘点p为中心的块ψ
p
的优先级计算公式如下：
[0250]
p(p)＝c(p)*d(p)
[0251]
其中p(p)为点p处的优先级值，c(p)为置信度，d(p)为数据值，定义为：
[0252][0253][0254]
其中|ψ
p
|为块ψ
p
的面积，q为与点p计算优先级的另一点，α为图像标准化因子(对于uint8格式图像来说一般为255)，n
p
为填充区域边缘上点p处的单位法向量，为点p处的等照度线。初始化值为：
[0255]
c(p)＝0，p∈ω
[0256]
c(p)＝1，p∈i-ω
[0257]
然后以当前优先级最高的边界点p为中心，以设置好的块大小形成块ψ
p
(见图26(a))，然后在已知区域中根据匹配准则找到与之相似的块，如图26(b)中以q
′
及q
″
为中心的块ψq′
和块ψq″
。分别计算块ψq′
和块ψq″
与ψ
p
的均方误差e
′
、e
″
。实验发现，考虑到图像中的噪声
影响，e
′
、e
″
差值在小于20％时，无论使用块ψq′
和块ψq″
填充，从人眼正常观看图像的宏观角度来说并无明显区别。于是在e
′
、e
″
差值大于20％时，选取均方误差最小的块进行填充，能够呈现出更优异的填充效果；但在e
′
、e
″
差值小于20％，人眼宏观观感差别不大时，由于图像相邻像素间变化的连续性，引入空间欧式距离判别，选取距离与块ψ
p
平面距离最近的像素块进行填充，这样在微观细节上更加符合像素的连续变化属性，尽可能避免填充导致的图像梯度增加(见图26(c))。
[0258]
留出填充区域边缘用单帧填充算法填充如图27所示，不加单帧填充边缘的图如图28所示，加了单帧填充边缘的图如图29所示，多帧填充效果对比单帧多帧结合填充效果如图30所示。
[0259]
4、泊松融合
[0260]
通过单帧与多帧结合的图像填充算法，针对不同区域、不同场景、不同条件使用不同的填充手段，待填充图像已经可以得到一个较好的填充结果。但由于人眼对于色彩梯度极为敏感，填充内外的部分像素由于拍摄时间、角度、以及当时天气环境的影响，整体色调很难达到统一，使人眼的主观观感会不自觉将填充部分独立出整个图像，造成较强的割裂感。于是使用泊松融合的方法，将填充各个区域的边缘接缝处的颜色梯度消除，统一不同区域中的整体色调，大大提升图像填充的隐蔽性和欺骗性。
[0261]
不使用泊松融合问题如图31所示，实际本发明将图像g填充到背景s中去的填充情况可以简化为图32。
[0262]
其中，s为r2的闭子集，表示图像的定义域；ω为s的闭子集，其边界为f
*
为定义在ω域边界及外部上的已知标量函数；f为定义在域内部上的未知标量函数；v为定义在ω域上的矢量场。
[0263]
即我们已知的数据包括：区域ω的梯度场v，和被填充区域的边缘我们希望经过某种方法的填充，可以满足以下两个条件：
[0264]
1、保持填充图像g的不失真，即填补内容的梯度要尽可以与v接近
[0265]
2、要无缝过度，即填补内容的边界像素值和现有的s一致
[0266]
那要满足上述两个要求，就得到了以下的数学表达：
[0267][0268]
其中，为梯度算子，矢量场v为引导场，数学表达与分别对应了上述条件1、2。该问题的解为给定狄利克雷边界条件的泊松偏微分方程的唯一解：
[0269][0270]
其中，表示v＝(u，v)的散度。即拉普拉斯算子，也就是二阶梯度而这个时候的边界条件就称为狄利克雷边界。
[0271]
求解带有狄利克雷边界条件的泊松方程的解法通常使用迭代法就可以逐步求解：解得的像素值以边界的像素值作为起点，遵循引导向量场v的梯度方向，一圈一圈逐步修正填充区域，使之达到与背景更和谐的视觉效果。对于通常的三通道彩色图像来说，泊松方
程需要在三个通道上分别独立求解。
[0272]
泊松融合之前的图如图33所示，泊松融合之后的图如图34所示，泊松融合前后对比如图35所示。
[0273]
另一例子，填充前如图36所示，泊松前如图37所示，泊松后如图38所示。
[0274]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0275]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。