一种用于复杂背景下的图像配准方法与流程

1.本发明涉及一种图像配准方法，具体涉及一种用于复杂背景下的图像配准方法。


背景技术：

2.图像配准是一种基于图像相似性度量标准，将一幅或多幅图像映射到目标图像上的空间变换，使得参考图像和目标图像达到空间上的对应关系。当在同一场景下获得不同时间、不同角度或由不同传感器拍摄的图像时，需要进行图像配准。图像配准技术现已广泛应用于图像降噪、视场扩展、运动物体去除、模糊消除、空间解析度提高、动态范围增强、计算机特效、遥感及医学成像等技术领域。目前，已被广泛研究以及应用的图像配准算法通常分为基于区域的图像配准算法以及基于特征的图像配准算法两大类。上述的两种图像配准算法通常计算一个可以让图像对齐的全局单应性矩阵进行图像配准，并配合相似性度量标准来寻找全局最优解。而面对具有复杂背景的图像时，现有的图像配准算法由于无法寻找到正确的特征点而导致无法将图像进行正确对齐，从而影响到图像配准的精度。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供一种用于复杂背景下的图像配准方法，所述图像配准方法可以实现对具有复杂背景的图像进行配准，配准精度更高，且实时性更好。
4.本发明解决上述技术问题的技术方案是：
5.一种用于复杂背景下的图像配准方法，包括以下步骤：
6.(s1)、使用普通成像相机对配准主体进行拍照，并将拍摄到的图像放入图像集a中；
7.(s2)、将图像集a中的图像放入训练好的语义分割网络中，得到分割后的图像集b；
8.(s3)、将图像集b中的每张图像与图像集a中对应的图像逐像素点相乘，得到配准图像集c；
9.(s4)、在图像集c中任意选择一张图像作为固定图像，将其余图像作为浮动图像，且分别用图像配准算法提取特征点以完成每张浮动图像与固定图像之间的特征匹配，并分别计算出每张浮动图像与固定图像对齐的变换参数；
10.(s5)、将图像集a中的图像的齐次坐标与对应的变换参数相乘，得到配准后的图像。
11.优选的，在步骤(s2)中，语义分割网络的构建包括以下步骤：
12.(s2-1)、在复杂背景下，使用普通成像相机对配准主体拍摄m张照片，放入图像集before中；
13.(s2-2)、手动对图像集before中的每一张图像做语义分割，每次手动语义分割的结果是一张与原图大小相同的图片，该图片与原图中的配准主体重合的区域的像素值均设置为1，除重合区域外其他区域的像素值均设置为0，然后将语义分割后的图像都放入图像
集after中；
14.(s2-3)、构建一个用于语义分割的神经网络，初始化神经网络的权重和偏置参数，将图像集before中的图像作为输入，将分割后的图像集after作为标签，计算图像集before中的图像与图像集a中的与之对应的图像之间的差异值，并将该差异值作为损失函数，随后对损失函数的梯度值进行多次的反向传播以更新神经网络的权重和偏置参数，当损失函数值小于预设的停止值时，停止更新神经网络的权重和偏置参数，得到训练完备的语义分割网络。
15.优选的，在步骤(s2-1)中，相邻两次拍照之间，普通成像相机与配准主体之间的连线所构成的夹角小于或等于20度。
16.优选的，在步骤(s2-1)中，普通成像相机采集的图像m为8000张。
17.优选的，在步骤(s2-1)中，所述的复杂背景包括但不限于森林、雾霾、光照较暗的环境。
18.优选的，在步骤(s2-3)中，所述神经网络采用了多尺度融合结构的神经网络，其中，所述多尺度融合结构包括但不限于多尺度池化结构、多尺度卷积结构和多尺度特征融合结构。
19.优选的，所述神经网络包括提取特征图层、金字塔池化层、多尺度信息融合层，其中，所述的提取特征图层是由卷积核大小为3*3的卷积、激活函数、残差模块组合而成；所述的金字塔池化层是通过使用不同大小的池化层或不同空洞率的空洞卷积对特征图进行处理来获得不同尺度的特征信息来实现，所述的多尺度信息融合层是通过将获得的不同尺度的特征信息在通道维度的拼接操作融合成全局先验信息来实现。
20.优选的，所述多尺度融合结构的神经网络的损失函数由两个损失函数构成，且令神经网络的权重和偏置参数停止更新的条件是两个损失函数的值均小于0.001。
21.优选的，两个损失函数选择用于比较图像之间相似程度的交叉熵损失函数和dice损失函数。
22.优选的，在步骤(s4)中，所述的图像配准算法是基于特征的图像配准方法、或者是基于傅里叶变换域的图像配准方法，亦或者是基于灰度的图像配准方法。
23.本发明与现有技术相比具有以下的有益效果：
24.1、本发明的用于复杂背景下的图像配准方法将语义分割网络与图像配准方法相结合，通过语义分割网络对图像中的复杂背景进行分离，以便于在后续图像配准的过程中找到正确的特征点，完成特征点的匹配并计算获得对应的变换参数，由于消除了复杂背景的影响，使得特征点的匹配精度更高，从而使得计算出的变换参数的误差更小，进而有利于提高图像配准精度。
25.2、本发明的用于复杂背景下的图像配准方法在对图像集a中的原图像语义分割后，得到分割后的图像集b；需要将图像集b中的每张图像与图像集a中对应的图像逐像素点相乘，得到配准图像集c，这样可以使得配准图像集c中的图像只含有与配准主体相关的全部特征信息(即筛除掉复杂背景中与配准主体无关的特征信息)，这有利于在后续图像配准过程中提取到正确的特征点，完成正确的特征点的匹配，估计变换模型并计算正确的变换参数；基于此，本发明的图像配准方法在配准图像集c进行变换参数的求取，并将计算得到的变换参数应用到图像集a中的原图上，完成对图像集a中的原图的配准。
26.3、本发明的用于复杂背景下的图像配准方法将深度学习技术(语义分割神经网络)与图像配准技术结合，不仅克服了手动语义分割后进行图像配准所带来的速度慢、效率低、成本高等缺陷，而且也克服了传统图像配准技术无法实现对具有复杂背景的图像进行正确配准的难题；使得本发明的用于复杂背景下的图像配准方法在提高图像配准效率的前提下，进一步地降低图像配准误差。
附图说明
27.图1为本发明的用于复杂背景下的图像配准方法的流程框图。
28.图2为本发明的用于复杂背景下的图像配准方法的具体实施案例的流程示意图。
具体实施方式
29.下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
30.参见图1，本发明的用于复杂背景下的图像配准方法包括以下步骤：
31.(s1)、使用普通成像相机对配准主体进行拍照，并将拍摄到的图像放入图像集a中；
32.(s2)、将图像集a中的原图像放入训练好的语义分割网络中，得到分割后的图像集b；
33.(s3)、将图像集b中的每张图像与图像集a中对应的图像逐像素点相乘，得到配准图像集c；
34.(s4)、在图像集c中任意选择一张图像作为固定图像，将其余图像作为浮动图像，且分别用图像配准算法提取特征点以完成每张浮动图像与固定图像之间的特征匹配，并分别计算出每张浮动图像与固定图像对齐的变换参数；
35.(s5)、将图像集a中的图像的齐次坐标与对应的变换参数相乘，得到配准后的图像。
36.参见图1，在步骤(s2)中，语义分割网络的构建包括以下步骤：
37.(s2-1)、在复杂背景下，使用普通成像相机对配准主体拍摄m张照片，其中，m为8000张；并将拍摄到的图像放入图像集before中；在拍照时，要求相邻两次拍照之间，普通成像相机与配准主体之间的连线所构成的夹角小于或等于20度；
38.(s2-2)、手动对图像集before中的每一张图像做语义分割，每次手动语义分割的结果是一张与原图大小相同的图片，该图片与原图中的配准主体重合的区域的像素值均设置为1，除重合区域外其他区域的像素值均设置为0，然后将语义分割后的图像都放入图像集after中；
39.(s2-3)、构建一个用于语义分割的神经网络，初始化神经网络的权重和偏置参数，将图像集before中的图像作为输入，将分割后的图像集after作为标签，计算图像集before中的图像与图像集a中的与之对应的图像之间的差异值，并将该差异值作为损失函数，随后对损失函数的梯度值进行多次的反向传播以更新神经网络的权重和偏置参数，当损失函数值小于预设的停止值时，停止更新神经网络的权重和偏置参数，得到训练完备的语义分割网络。
40.参见图1，对于具有复杂背景的图像，传统的用于语义分割的全卷积神经网络在面对一些小的物体或特征时，尽管它们可能很重要，但是很难被找到。相反，大的物体或特征可能会超过全卷积神经网络的感受野，从而导致预测不连续性；因此当配准主体与背景外观相似时，容易忽略全局场景类别，配准主体可能无法被解析分割出来，分割效果较差，无法正确筛除特征外点，导致分割后的图像配准主体和背景的界限不清晰，无法达到筛除特征外点的目的。
41.为此，本实施例中的神经网络采用了多尺度特征融合的神经网络，通过加入多尺度融合结构的语义分割网络可以集合基于不同区域的上下文信息，来提高获取全局上下文信息的能力，让神经网络具有全局先验表示能力，实现像素级预测，从而正确地从含有复杂背景的图像中分割出配准主体。因此，所述的神经网络采用了多尺度池化，多尺度卷积，多尺度特征融合等多尺度融合结构；该神经网络包括提取特征图层、金字塔池化层、多尺度信息融合层，其中，所述的提取特征图层是通过卷积核大小为3*3的卷积、激活函数、残差模块组合而成来实现；所述的金字塔池化层是通过使用不同大小的池化层或不同空洞率的空洞卷积对特征图进行处理来获得不同尺度的特征信息来实现；所述的多尺度信息融合层是通过将获得的不同尺度的特征信息在通道维度的拼接操作融合成全局先验信息来实现。
42.通过上述设置，具有复杂背景的图像在使用多尺度融合结构的神经网络进行语义分割时，多尺度融合结构的神经网络为像素级场景解析提供了一个有效的全局语境信息，金字塔池化模块(或金字塔池化层)能收集不同尺度的语境信息并融合，可以正确地将配准主体和和与之相似的背景划分开，给图像配准算法提供有利条件，使其可以找到正确的特征点，计算出正确的变换参数，从而使图像对齐，使得本发明的图像配准方法具有误差小、速度快的特点。
43.参见图1，所述多尺度融合结构的神经网络的损失函数由两个损失函数构成，两个损失函数选择用于比较图像之间相似程度的交叉熵损失函数和dice损失函数；其中，交叉熵损失函数主要用于度量两个概率分布间的差异性；dice损失函数是一种集合相似度度量函数，通常用于计算两个样本的相似度；
44.另外，本实施例中设置的停止值为0.001，即令神经网络的权重和偏置参数停止更新的条件是两个损失函数的值均小于0.001。
45.参见图1，在步骤(s4)中，所述的图像配准算法可以是基于特征的图像配准方法，也可以是基于傅里叶变换域的图像配准方法，亦或者是基于灰度的图像配准方法。
46.另外，本实施例中的所述的复杂背景可以是森林、雾霾、光照较暗的环境等。
47.参见图2，以下则以具体案例对本发明的图像配准方法进行阐述：
48.首先，使用普通成像相机对配准主体进行拍照，并将拍摄到的图像放入图像集a中；其中，图2中位于上栏的图像作为浮动图像，而下栏中的图像则作为固定图像；将图像集a中的浮动图像和固定图像放入训练好的语义分割网络中，得到分割后的图像集b，该图像集b中与配准主体相关的像素点为白色，与配准主体无关的像素点为黑色；然后将图像集b中的每张图像与图像集a中对应的图像逐像素点相乘，得到配准图像集c，该配准图像集c中只含有与配准主体相关的特征信息，无关的特征信息在图像中以黑色表示；通过利用图像配准算法提取浮动图像中的特征点以完成与固定图像之间的特征匹配，并分别计算出每张浮动图像与固定图像对齐的变换参数(或变换矩阵)；然后将图像集a中的原图的其次坐标
与该变换参数相乘，实现对该图像进行配准。
49.上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。