图像内容移除方法、系统、介质、设备及数据处理终端

技术特征：
1.一种图像内容移除方法，其特征在于，所述图像内容移除方法提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图a中对应区域到图s中待填充区域的局部最优单应性变换关系，再从变换后的图a对应区域中截取所需要的区域填充至待填充区域中，最后使用单帧填充以及泊松模糊算法针对填充边缘的纹理截断、色差等问题进行优化，得到完整的移除结果。2.如权利要求1所述的图像内容移除方法，其特征在于，所述图像内容移除方法包括以下步骤：步骤一，对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充；步骤二，针对填充的边缘区域使用单帧填充算法进行自适应填补；步骤三，使用泊松融合的方法消除填充区域与原图像的色彩梯度差异。3.如权利要求2所述的图像内容移除方法，其特征在于，步骤一中，所述对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充，包括：(1)提取特征点；(2)为特征点添加各自的描述向量并寻找两张图中的局部最优匹配点对；(3)根据匹配特征点对的二维坐标信息求解局部最优单应性变换矩阵。4.如权利要求3所述的图像内容移除方法，其特征在于，步骤(1)中，所述提取特征点，包括：对待填充图s，待填充区域sd的信息视为未知，最重要的条件为将ad填充进sd后，ad与周围环境信息之间的连续性；将待填充区域sd以几何特征为基础，向外扩大20％，不超过图像边界，作为特征点的粗略取样范围，称为sd_out；对填充图a，由于尚未进行单应性变换，图s与a中的相同物体的位置不一定对应着完全相同的坐标，但同时也由于相邻帧间的时间间隔较短，填充区域会出现在待填充区域坐标附近；对图a采取模糊取样的方法，即将取样范围扩大至包括图a中与sd相同位置区域及其外扩张的50％，称为ad_out；通过检测(sd_out-sd)内部的角点与ad_out中的局部特征点，进行匹配查找，从而通过匹配的特征点对计算出两个图像区域的变换关系，使用harris角点检测匹配的方法；harris角点检测匹配算法的思想是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况中窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，认为该窗口中存在角点；当窗口发生平面移动[u，v]时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述如下：其中，[u，v]是窗口的二维偏移量；e(u，v)是此偏移位置处与滑动前位置的灰度差值；(x，y)是窗口内所对应的像素二维坐标位置，窗口有多大像素就有多少个位置；w(x，y)是窗口函数，窗口中各个位置像素值在计算中所占的权重系数；i是当前位置像素点的亮度，对应在图像中即为当前位置像素点的灰度值；
根据表达式，当窗口处在平坦区域上滑动，灰度不会发生变化，那么e(u，v)＝0；如果窗口处在比纹理比较丰富的区域上滑动，那么灰度变化会很大；算法最终思想就是计算灰度发生较大变化时所对应的位置，当然这个较大是指针任意方向上的滑动，并非单指某个方向；对上式进行泰勒展开，可得：其中，i
x
是像素亮度i沿x方向的偏导，i
y
是像素亮度i沿y方向的偏导；令矩阵m为：根据定义可得m为协方差矩阵；分别对平坦区域、线性边缘、角点边缘三种场景进行试验，得到梯度分布图；发现由协方差矩阵的特征值和特征向量的性质可得，三种场景在特征值属性上分别表现为：特征值都比较大时，即窗口中含有角点；特征值一个较大，一个较小，窗口中含有边缘；特征值都比较小，窗口处在平坦区域；根据性质，构造r为：r＝det m-k(trace m)2；其中，det m＝λ1λ2，tracem＝λ1 λ2，λ1、λ2为协方差矩阵m的两个特征值，k为实系数。函数r的性质完全符合协方差矩阵m上述性质完全对应：r比较大时，对应特征值都比较大，即窗口中含有角点；r＜0时，对应特征值一个较大，一个较小，窗口中含有边缘；|r|比较小时，对应特征值都比较小，窗口处在平坦区域；通过设定滑动窗口在区域(sd_out-sd)与ad_out上的移动，计算每个位置的r值，将r值大于阈值的窗口位置进行记录，即为特征点；平均每15*15像素的网格中取一个特征点，即在一个150*150的区域中取10个特征点进入特征点的匹配环节中去既能够保证匹配出对应的特征点对，使用自适应非极大值抑制的方法来择优选取特定数量的关键点；自适应非极大值抑制的思想是对于上一步提取的众多特征点，组成集合i，对于其中每一个点x
i
都取一个以其为圆心的圆，使之满足圆内所有其他特征点的r值都小于x
i
的r值，并寻找满足上述条件的最小圆半径r
i
将之加入队列；遍历计算集合内的所有点，得到满足约束条件的最小圆半径r
i
，降序排列，选择前n个对应的点即为自适应非极大值抑制后得到的关键点集；用数学语言表示为：其中，r
i
是满足约束条件的最小圆半径，x
i
，x
j
是上一步得到的关键点的二维坐标，f(x
i
)是点x
i
处的r值，是所有关键点的集合，c＝0.9；实际计算时，首先根据区域的像素面积计算需要筛选出的特征点个数，此时由于后续
计算需要统一区域(sd_out-sd)和ad_out中的特征点个数相同，所以以像素面积较大的区域ad_out作为基准，计算自适应取得的特征点个数，设为n；其次找出区域内r值最大的关键点rmax，加入队列，并且得到rmax*0.9的值；遍历该区域所有关键点，若该关键点x
i
的ri＞rmax*0.9，该点的半径设为无限远；若该关键点x
i
的ri＜rmax*0.9，计算该点到离它最近的ri＞0.9r的点x
i
，记录两点间的距离r
i
；最后将所有r排序，找出r最大的n个点；步骤(2)中，所述为特征点添加各自的描述向量并寻找两张图中的匹配点对，包括：在区域(sd_out-sd)与ad_out中分别找到n个特征点后，描述出各个点的特征，用于找出图a与图s之间特征点的对应关系，使用关键点之间的二维位置关系构造描述子；对灰度图像做适度的高斯模糊；以每个特征点为中心，取40x40像素的区域；即让每一个特征点周边40x40像素的区域作为描述区域，这样平均每一个描述区域都会包含包括中心特征点在内的3～4个特征点；将该区域降采样至8x8的大小，将其一维化生成一个64维的向量；对向量做归一化处理，即每个特征点都生成了一个64维的向量作为它的描述子，于是对于两个配准区域来说分别得到了一个nx64维的特征矩阵；拥有各个特征点的描述子后，从中筛选出两幅图像中相匹配的特征点作为特征点对，过滤掉相关性较低的特征点集；计算n个特征点两两之间的描述向量的方差，按照方差最小与第二小的比值由小到大排序，小于阈值0.5的点对作为筛选出的匹配点；步骤(3)中，所述根据匹配特征点对的二维坐标信息求解单应性变换矩阵，包括：找出匹配置信度最高的点对后，根据所述点对之间的二维坐标匹配关系，解出其单应性变换矩阵，将图a区域ad_out经过变换再将所需的部分填充至图s的待填充区域sd中；设图a中点(x1，y1)与图s中点(x2，y2)相匹配，则有对应关系：其中，h
3*3
就为单应性矩阵，是求得变换关系的关键变量；每一组匹配点有等式成立：其中h为单应性系数。由平面坐标与齐次坐标对应关系则：则：进一步变换为：
(h
31
x
i
h
32
y
i
h
33
)
·
x
′
i
＝h
11
x
i
h
12
y
i
h
13
；(h
31
x
i
h
32
y
i
h
33
)
·
y
′
i
＝h
21
x
i
h
22
y
i
h
23
；写成矩阵形式：即每一组匹配点可获得2组方程；由于单应性矩阵h与ah其实完全一样，其中a≠0，则：由于单应性矩阵h与ah其实完全一样，其中a≠0，则：由于单应性矩阵h与ah其实完全一样，其中a≠0，则：即点(x
i
，y
i
)无论经过h还是ah映射，变化后都是(x
′
i
，y
′
i
)；如果使那么有：单应性矩阵h虽然有9个未知数，但在求解时一般添加约束h
33
＝1，故还有h
11
...h
33
共8个未知数，即只有8个自由度；由于一组匹配点对应2组方程，那么只需要n＝4组不共线的匹配点即可求解h的唯一解；此时若上一步中筛选出的匹配特征点对数量小于4，则重新返回特征点的极大值抑制步骤之前，适当降低局部抑制的程度来增加匹配特征点对的个数，直至所得的匹配特征点
对数量大于4；当然在实际情况中，筛选出的匹配关键点对在绝大多数情况下都远多于所需要的4对，使用随机采样算法得到匹配误差最小的4对点；即以一幅图像为基准，每次从区域(sd_out-sd)中随机选择4个点，在区域ad_out中找出配对的4个点；用4对点按上述方法计算得到一个单应性变换矩阵，并将(sd_out-sd)中剩余的特征点按照这个单应性变换矩阵变换投影到区域ad_out中去，统计与区域ad_out原有特征点重合的个数；重复此步骤2000次，挑选准确配对最多的一个单应性变换矩阵作为最后的变换矩阵；至此，两幅图像的局部最优投影变换关系已经找到。5.如权利要求2所述的图像内容移除方法，其特征在于，步骤二中，所述针对填充的边缘区域使用单帧填充算法进行自适应填补，包括：局部最优的单应性变换将填充区域变换至待填充区域，并最大程度地符合待填充图像的透视关系以及空间信息；使用单帧填充的方法对待填充区域sd的边缘进行二次填充，用于替换原本部分不连续的填充边缘；单帧填充算法分为优先级计算、匹配块搜索和复制填充三个部分；首先将图像分为已知区域和待填充区域，从待填充的边界开始，沿边缘计算边缘像素点的填充优先级；假设整张图像区域为i，待填充区域为ω，填充区域边缘为以目标区域边缘点p为中心的块ψ
p
的优先级计算公式如下：p(p)＝c(p)*d(p)；其中，c(p)为置信度，d(p)为数据值，定义为：为：其中，|ψ
p
|为块ψ
p
的面积；α为图像标准化因子，对于uint8格式图像为255；n
p
为填充区域边缘上点p处的单位法向量；为点p处的等照度线；初始化值为：c(p)＝0，p∈ω；c(p)＝1，p∈i-ω；以当前优先级最高的边界点p为中心，以设置好的块大小形成块ψ
p
；在已知区域中根据匹配准则找到与之相似的块，以q
′
及q
″
为中心的块ψ
q
′
和块ψ
q
″
；分别计算块ψ
q
′
和块ψ
q
″
与ψ
p
的均方误差e
′
、e
″
；在e
′
、e
″
差值大于20％时，选取均方误差最小的块进行填充；但在e
′
、e
″
差值小于20％，人眼宏观观感差别不大时，由于图像相邻像素间变化的连续性，引入空间欧式距离判别，选取距离与块ψ
p
平面距离最近的像素块进行填充。6.如权利要求2所述的图像内容移除方法，其特征在于，步骤三中，所述使用泊松融合的方法消除填充区域与原图像的色彩梯度差异，包括：使用泊松融合的方法，将填充各个区域的边缘接缝处的颜色梯度消除，统一不同区域中的整体色调，将图像g填充到背景s中去的填充情况中，s为r2的闭子集，表示图像的定义
域；ω为s的闭子集，其边界为f
*
为定义在ω域边界及外部上的已知标量函数；f为定义在域内部上的未知标量函数；v为定义在ω域上的矢量场；即已知的数据包括：区域ω的梯度场v，和被填充区域的边缘经过填充，满足以下两个条件：(1)保持填充图像g的不失真，即填补内容的梯度要尽可以与v接近；(2)要无缝过度，即填补内容的边界像素值和现有的s一致；满足所述两个要求，即可得到以下的数学表达：其中，为梯度算子，矢量场v为引导场，数学表达与分别对应所述条件(1)、(2)；该问题的解为给定狄利克雷边界条件的泊松偏微分方程的唯一解：其中，表示v＝(u，v)的散度；即拉普拉斯算子，也就是二阶梯度而这个时候的边界条件就称为狄利克雷边界；求解带有狄利克雷边界条件的泊松方程的解法使用迭代法即可逐步求解：解得的像素值以边界的像素值作为起点，遵循引导向量场v的梯度方向，一圈一圈逐步修正填充区域，使之达到与背景更和谐的视觉效果；对于通常的三通道彩色图像来说，泊松方程需要在三个通道上分别独立求解。7.一种实施如权利要求1～6任意一项所述的图像内容移除方法的图像内容移除系统，其特征在于，所述图像内容移除系统包括：图像填充模块，用于对于包含待填充区域的目标图像和用于填充的填充图像，使用局部最优的单应性变换算法将确定好的填充图像放入待填充区域进行对应填充；自适应填补模块，用于针对填充的边缘区域使用单帧填充算法进行自适应填补；色彩梯度差异消除模块，用于使用泊松融合的方法消除填充区域与原图像的色彩梯度差异。8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：首先提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图a中对应区域到图s中待填充区域的局部单应性变换关系，即将相机从不同空间位置拍摄的同一平面物体变换为同一角度，最后从变换后的图a对应区域中截取所需要的区域填充至待填充区域中。9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：首先提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图a中对应区域到图s中待填充区域的局部单应性变换关系，即将相
机从不同空间位置拍摄的同一平面物体变换为同一角度，最后从变换后的图a对应区域中截取所需要的区域填充至待填充区域中。10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述的图像内容移除系统。

技术总结
本发明属于图像填充技术领域，公开了一种图像内容移除方法、系统、介质、设备及数据处理终端，提取两张图像中的模糊范围区域中的特征点，通过其中相对应的特征点对的位置对应关系，近似求得由图A中对应区域到图S中待填充区域的局部最优单应性变换关系，再从变换后的图A对应区域中截取所需要的区域填充至待填充区域中，最后使用单帧填充以及泊松模糊算法针对填充边缘的纹理截断、色差等问题进行优化，得到完整的移除结果。本发明通过单帧填充与多帧填充结合的图像填充方法，实现图像中目标物体移除的目的；能够更高效、更拟真地还原出原本被遮挡的真实场景背景，达到高保真地消除遮挡物的要求，大大提高匹配精度，而且减少了计算量。量。量。


技术研发人员：孟繁杰 冯浩楠 李润鑫 李廷轩 焦聪雨
受保护的技术使用者：西安电子科技大学
技术研发日：2021.12.08
技术公布日：2022/4/26