一种相似图像像素级语义匹配方法与流程

1.本发明涉及图像匹配领域，尤其涉及一种相似图像像素级语义匹配方法。


背景技术：

2.目前在对图像进行处理时，经常需要对图像进行调色、去噪、风格迁移等操作，在这些操作过程中，经常需要对处理前以及处理后的图像进行匹配，从而便于应用各种算法进行快速处理。
3.现有的匹配方法一般是通过预测图像关键点的方式，对图像进行仿射变换，从而实现近似匹配，但是现有的方法存在以下问题：
4.问题1:需要标注图像关键点，而且不同场景的图像没有统一的关键点定义标准；
5.问题2:关键点预测不准确会导致图像不能完全匹配；
6.问题3:不能处理高分辨率(例如1080p、2k、4k)图片的小目标物体的匹配。


技术实现要素：

7.本发明针对现有的匹配方法需要标注图像关键点，当关键点预测不准确时会导致图像不能完全匹配，不能处理高分辨率图片的小目标物体的匹配等缺陷，提供了新的一种相似图像像素级语义匹配方法。
8.为了解决上述技术问题，本发明通过以下技术方案实现：
9.一种相似图像像素级语义匹配方法，包括以下步骤：
10.s1、取两张图像记为原始图像a和原始图像b，所述原始图像a和原始图像b为相似图像；
11.s2、对原始图像a和原始图像b分别进行扩边操作，得到扩边图像a和扩边图像b，扩边图像a和扩边图像b的长宽像素值皆为256的倍数；
12.s3、对扩边图像a和扩边图像b进行高斯模糊，记为模糊图像a和模糊图像b；
13.s4、定义位移网格基准和位移网格偏移参数，并且定义位移网格偏移参数的正则惩罚项；
14.s5、位移网格基准和位移网格偏移参数相加，得到预测网格偏移量，将预测网格偏移量作用于模糊图像a得到偏移图像a’，并对偏移图像a’和模糊图像b计算vgg平均值
预测
；
15.s6、对正则惩罚项和vgg平均值
预测
通过反向传播方式计算位移网格偏移参数的梯度，并按梯度方向调整位移网格偏移参数；
16.s7、重复步骤s5至s6，直至正则惩罚项 vgg平均值
预测
≤0.2时停止，并得到最终位移网格偏移参数；
17.s8、训练完成后，将位移网格基准和最终位移网格偏移参数相加，得到最终网格偏移量；
18.s9、将最终网格偏移量作用于扩边图像a得到中间图像，将中间图像中的扩边部分删除，得到匹配图像，所述匹配图像与原始图像b在语义上像素级别匹配。
19.其中，步骤s2中将扩边图像a和扩边图像b的长宽像素值皆设置为256的倍数，更加便于后续vgg平均值
预测
的计算；步骤s3中的高斯模糊可以让模型更关注图像的整体信息，忽略纹理细节，使vgg loss不受纹理细节的影响；步骤s4至步骤s7用于训练得到最终位移网格偏移参数，训练时采用位移网格基准可以使位移网格偏移参数在参数更新时数值上更加稳定，也更容易收敛；而vgg平均值
预测
可以计算两张图像的结构相似性，并忽略颜色信息，减少干扰，正则惩罚项能够确保位移网格偏移参数足够平滑；当正则惩罚项 vgg平均值
预测
≤0.2时，能够保证偏移图像a’和模糊图像b在像素级语义上完全匹配，从而得到所需的最终位移网格偏移参数；步骤s8应用得到的最终位移网格偏移参数并结合位移网格基准，得到最终网格偏移量，从而通过步骤s9最终得到与原始图像b在语义上像素级别匹配的匹配图像。
20.通过以上方法，本发明能够更好地处理图像匹配的问题，匹配过程中无需标注图像关键点，且能够很好地匹配到高分辨率图片中的小目标物体，适用范围更广。
21.作为优选，上述所述的一种相似图像像素级语义匹配方法，所述步骤s5中，所述vgg平均值
预测
的计算方法为：将偏移图像a’和模糊图像b分别均等分割出一一对应的n个图像块a’和n个图像块b，所述图像块a’、图像块b的大小为256x256像素，一一计算相对应的图像块a’、图像块b之间的vgg loss并汇总后计算出vgg平均值
预测
。
22.通过对每个图像块计算vgg loss可以实现像素级的匹配，能够大大提高匹配准度。
23.作为优选，上述所述的一种相似图像像素级语义匹配方法，所述分割方法为：设定尺寸为256x256像素大小的滑动窗口，并分别在偏移图像a’和模糊图像b上从上到下、从左到右按步长为256像素进行逐次滑动，从而分割出一一对应的n个图像块a’和n个图像块b。
24.通过以上分割方法获取得到的图像块不会存在重叠区域。
25.作为优选，上述所述的一种相似图像像素级语义匹配方法，所述步骤s4中，所述位移网格基准为网格大小都为96x96像素的网格矩阵，所述位移网格偏移参数为96x96x2的网格矩阵。
26.过大的网格尺寸会加大训练难度，且容易过拟合，过小的网格尺寸会造成不完全匹配的问题，通过以上设置，能够更加符合本发明的训练的要求。
27.作为优选，上述所述的一种相似图像像素级语义匹配方法，所述正则惩罚项为：
[0028][0029]
所述i、j、k分别表示位移网格偏移参数中第一维数组中第i个元素、第二维数组中第j个元素以及第三维数组中第k个元素。
[0030]
其中第一项为横向正则惩罚项，第二项为纵向正则惩罚项，第三项为斜对角正则惩罚项，这三种正则惩罚项相互结合，能够加快收敛，使位移网格偏移参数更加平滑。
[0031]
作为优选，上述所述的一种相似图像像素级语义匹配方法，所述位移网格偏移参数的学习率为0.1，学习率下降方式为cosineannealing。
[0032]
过大或过小的学习率都不利于模型的收敛，通过以上参数的设置，能够更好地适应本发明的训练要求。
[0033]
作为优选，上述所述的一种相似图像像素级语义匹配方法，所述高斯模糊的高斯
核半径为3。
[0034]
高斯核半径越大，模糊图像信息损失越多，越不容易匹配，而半径必须为奇数，所以3是最优选择。
[0035]
作为优选，上述所述的一种相似图像像素级语义匹配方法，所述扩边操作在进行扩边时用0填充。
[0036]
以上扩边操作能够更好地适应后续模型训练的需要。
[0037]
作为优选，上述所述的一种相似图像像素级语义匹配方法，所述步骤s1中，所述相似图像的判断方法为：将原始图像a和原始图像b各自缩放为512x512像素大小从而得到缩放图像a和缩放图像b，计算缩放图像a和缩放图像b之间的vgg平均值
原始
，若vgg平均值
原始
≤0.4则判定为相似图像。
[0038]
缩放操作的目的是为了加快相似图像判断速度，在不影响相似图像判断的准确率的前提下，将图像缩放到512x512像素大小能够更好地适应计算vgg平均值
原始
的输入尺寸范围。
[0039]
作为优选，上述所述的一种相似图像像素级语义匹配方法，所述步骤s2中，对原始图像a和原始图像b进行扩边操作之前先进行归一化处理，所述归一化处理方法为：对输入的图像中的每个像素值除以255然后减去0.5再除以0.5，从而得到输出的图像。
[0040]
以上的归一化处理能够更好地适应计算vgg平均值
预测
的输入数值范围。
具体实施方式
[0041]
下面结合具体实施方式对本发明作进一步详细描述，但它们不是对本发明的限制：
[0042]
实施例1
[0043]
一种相似图像像素级语义匹配方法，包括以下步骤：
[0044]
s1、取两张图像记为原始图像a和原始图像b，所述原始图像a和原始图像b为相似图像；
[0045]
s2、对原始图像a和原始图像b分别进行扩边操作，得到扩边图像a和扩边图像b，扩边图像a和扩边图像b的长宽像素值皆为256的倍数；
[0046]
s3、对扩边图像a和扩边图像b进行高斯模糊，记为模糊图像a和模糊图像b；
[0047]
s4、定义位移网格基准和位移网格偏移参数，并且定义位移网格偏移参数的正则惩罚项；
[0048]
s5、位移网格基准和位移网格偏移参数相加，得到预测网格偏移量，将预测网格偏移量作用于模糊图像a得到偏移图像a’，并对偏移图像a’和模糊图像b计算vgg平均值
预测
；
[0049]
s6、对正则惩罚项和vgg平均值
预测
通过反向传播方式计算位移网格偏移参数的梯度，并按梯度方向调整位移网格偏移参数；
[0050]
s7、重复步骤s5至s6，直至正则惩罚项 vgg平均值
预测
≤0.2时停止，并得到最终位移网格偏移参数；
[0051]
s8、训练完成后，将位移网格基准和最终位移网格偏移参数相加，得到最终网格偏移量；
[0052]
s9、将最终网格偏移量作用于扩边图像a得到中间图像，将中间图像中的扩边部分
删除，得到匹配图像，所述匹配图像与原始图像b在语义上像素级别匹配。
[0053]
作为优选，所述步骤s5中，所述vgg平均值
预测
的计算方法为：将偏移图像a’和模糊图像b分别均等分割出一一对应的n个图像块a’和n个图像块b，所述图像块a’、图像块b的大小为256x256像素，一一计算相对应的图像块a’、图像块b之间的vgg loss并汇总后计算出vgg平均值
预测
。
[0054]
作为优选，所述分割方法为：设定尺寸为256x256像素大小的滑动窗口，并分别在偏移图像a’和模糊图像b上从上到下、从左到右按步长为256像素进行逐次滑动，从而分割出一一对应的n个图像块a’和n个图像块b。
[0055]
作为优选，所述步骤s4中，所述位移网格基准为网格大小都为96x96像素的网格矩阵，所述位移网格偏移参数为96x96x2的网格矩阵。
[0056]
作为优选，所述正则惩罚项为：
[0057][0058]
所述i、j、k分别表示位移网格偏移参数中第一维数组中第i个元素、第二维数组中第j个元素以及第三维数组中第k个元素。
[0059]
作为优选，所述位移网格偏移参数的学习率为0.1，学习率下降方式为cosineannealing。
[0060]
作为优选，所述高斯模糊的高斯核半径为3。
[0061]
作为优选，所述扩边操作在进行扩边时用0填充。
[0062]
作为优选，所述步骤s1中，所述相似图像的判断方法为：将原始图像a和原始图像b各自缩放为512x512像素大小从而得到缩放图像a和缩放图像b，计算缩放图像a和缩放图像b之间的vgg平均值
原始
，若vgg平均值
原始
≤0.4则判定为相似图像。
[0063]
作为优选，所述步骤s2中，对原始图像a和原始图像b进行扩边操作之前先进行归一化处理，所述归一化处理方法为：对输入的图像中的每个像素值除以255然后减去0.5再除以0.5，从而得到输出的图像。
[0064]
总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利的范围所作的均等变化与修饰，皆应属本发明的涵盖范围。