用于非稳态目标的可见光和红外图像优化配准方法及系统

1.本发明涉及图像处理和计算机视觉技术领域，具体而言，涉及用于非稳态目标的可见光和红外图像优化配准方法及系统。


背景技术：

2.红外与可见光图像的配准是图像融合、图像目标检测与跟踪、遥感等图像处理任务的重要步骤。两种信息的融合可以全面描述目标对象的空间信息。红外与可见光图像融合的前提是通过对红外数据的提取和分析，实现对几何位置和灰度级的严格配准。
3.目前，红外与可见光图像的配准方法可分为基于区域和基于特征的配准方法两大类。其中，基于区域的配准方法通过最大限度地提高输入图像之间全局强度的相似性来获得最优的变换参数，这些方法对全局强度相关性高的医学图像具有较好的处理效果。然而，由于输入图像的某些区域经常出现对比度反转、遮挡、杂波等现象，使得基于区域的配准方法无法实现准确的配准。基于特征信息的方法通常首先提取和描述图像的局部特征，然后通过匹配这些特征向量来计算变换。但在特征检测和描述过程中仍然存在非线性强度方差问题，在某些场景下会产生很少甚至没有准确的对应关系。
4.此外，目前配准工作所针对的目标均属于特征相对稳定，信息较为丰富的固定对象，但对于浮云，水流和火焰等这类非稳态目标来说，目标状态处于随机运动的过程，使用基于特征的配准方法将难以从两幅图像中有效提取和匹配相同特征点，而使用基于区域的配准方法因忽略了空间信息导致配准结果的适应度值不高。综上所述，目前配准方法还存在一些缺点，如: (1)相似性度量方法如归一化互信息(nmi)算法容易陷入局部极值;(2)优化算法的收敛速度和优化效率较低。


技术实现要素：

5.本发明的目的在于提供涉及用于非稳态目标的可见光和红外图像优化配准方法及系统，其通过由粗到细的配准过程，将图像的显著梯度信息和强度信息相结合的方式进行粗配准，在粗配准的基础上，引入局部搜索的细化配准过程；从而不仅能实现常用场景稳态目标的配准，也能实现非稳态目标的配准。
6.本发明的实施例通过以下技术方案实现：第一方面，提供用于非稳态目标的可见光和红外图像优化配准方法，包括如下步骤：s1.通过pc算法提取待配准的可见光图像与红外图像的显著梯度特征；s2.通过eo算法对可见光图像的显著梯度图像和红外图像的显著梯度图像的nmi进行优化搜索，直到所述nmi达到最大值时，获得粗配准参数；s3.将所述粗配准参数作为初始参数，通过dtv相似度量函数执行细化配准，并采用回溯梯度下降算法对所述dtv相似度量函数进行优化，直到所述dtv相似度量函数达到最小值时，获得最终配准参数，再通过最终配准参数对所述红外图像进行变换，并获得配准结
果。
7.进一步的，所述通过pc算法提取待配准的可见光图像与红外图像的显著梯度特征，具体计算方式如下式，其中，(x，y)为图像中像素点的坐标，n为小波分解尺度，w(x，y)为坐标(x，y)处基于频率扩展的权重因子，为坐标(x，y)处的振幅，为坐标(x，y)处的相位变化量，为常数，y为消除噪声影响的阈值，表示封闭量，当其中的值为正时，封闭量等于其自身的值，否则封闭量为0；所述相位变化量的计算如下式，其中，为坐标(x，y)处的相位，为坐标(x，y)处的加权平均相位。
8.进一步的，所述nmi的计算方式如下式，其中，
▽
f为可见光图像沿x和y方向的梯度，
▽
m为红外图像沿x和y方向的梯度，h(
▽
f)为可见光显著梯度图像的熵，h(
▽
m)为红外显著梯度图像的熵，h(
▽
f，
▽
m)为可见光显著梯度图像和红外显著梯度图像的联合熵；所述
▽
f与
▽
m的计算方式如下式，m的计算方式如下式，其中，
▽1为x方向上的有限差分算子，
▽2为y方向上的有限差分算子。
9.进一步的，所述dtv相似度量函数具体如下式，其中，t为粗配准参数，当所述dtv相似度量函数的值达到最小值时，则实现可见光图像与红外图像的边缘对齐。
10.进一步的，所述s1之前还包括，获取可见光图像和红外图像，并对所述可见光图像进行预处理，预处理后的所述可见光图像和红外图像再通过所述s1-s3继续处理。
11.进一步的，所述预处理包括对所述可见光图像进行比例调整，实现可见光图像和红外图像之间尺度差异的消除，其中可见光图像和红外图像的尺度关系可表示为下式，
其中，为可见光图像传感器的像元尺寸，为红外图像传感器的像元尺寸，为可见光图像传感器物体成像的物理尺寸，为红外图像传感器物体成像的物理尺寸，为可见光图像传感器的焦距，为红外图像传感器的焦距。
12.进一步的，所述预处理还包括对所述可见光图像进行非线性扩散滤波。
13.第二方面，提供一种非稳态目标的可见光图像和红外图像优化配准系统，包括依次连接的图像采集单元、信息处理单元以及信息输出单元；所述图像采集单元用于采集非稳态目标的红外图像和对应的可见光图像信息；所述信息处理单元用于对所述的可见光图像和红外图像进行预处理，并根据pc算法提取待配准的可见光图像与红外图像的显著梯度图像，再根据eo算法对可见光图像的显著梯度图像和红外图像的显著梯度图像的nmi进行粗配准优化处理，以及根据dtv相似度量函数对所述可见光图像与红外图像进行细化配准，并获取最终的配准参数；所述信息输出单元用于根据最终的配准参数对所述可见光图像与红外图像进行几何变换，从而完成配准。
14.本发明实施例的技术方案至少具有如下优点和有益效果：通过由粗到细的配准过程，将图像的显著梯度信息和强度信息相结合的方式进行粗配准，该方法可以有效抑制局部极值并减少归一化互信息的计算量，同时引入eo算法相较于传统的群智能算法具有收敛速度快，寻优效率高的优势；在粗配准的基础上，引入局部搜索的细化配准，实现消除局部小的几何变换，并对环境强度畸变具有较强的鲁棒性；通过本发明技术方案不仅能实现常用场景稳态目标的配准，也能实现非稳态目标的配准。
附图说明
15.图1为本发明配准方法流程示意图；图2为本发明配准系统的结构图；图3为本发明系统中图像采集单元的光路结构示意图；图4为本发明配准方法的具体实施过程图；图5为本发明配准方法对非稳态目标进行配准的结果图；图标：1-主镜，2-次镜，3-分光板，4-中红外成像透镜组，5-远红外成像透镜组，6-可见光成像透镜组，7-中红外ccd，8-远红外ccd，9-可见光ccd 。
具体实施方式
16.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
17.现有的配准方法对于稳态图像的处理能够取得不错的技术效果，但是对于非稳态图像的处理还有提升的空间，尤其是对于浮云，水流和火焰等这类非稳态目标的配准处理。本发明提供的方法能够较好的实现非稳态图像的配准。下面结合图1、图2、图3、图4以及图5对本发明的方案进行说明。
18.实施例1提供用于非稳态目标的可见光和红外图像优化配准方法，如图1、图4所示，包括如下步骤：s1.通过pc算法提取待配准的可见光图像与红外图像的显著梯度特征。
19.其中，pc算法的具体计算方式如下，其中，(x，y)为图像中像素点的坐标，n小波分解尺度，w(x，y)为坐标(x，y)处基于频率扩展的权重因子，为坐标(x，y)处的振幅， 为坐标(x，y)处的相位变化量，为常数，y为消除噪声影响的阈值，表示当封闭量，当其中的值为正时，封闭量等于其自身的值，否则封闭量为0。
20.上述的显著梯度特征可以是图像局部能量密度或图像边缘的强度；即pc(x，y) 表示图像局部能量密度或图像边缘的强度。
21.所述相位变化量的计算如下式，其中，为坐标(x，y)处的相位，为坐标(x，y)处的加权平均相位。
22.s2.通过eo算法对可见光图像的显著梯度图像和红外图像的显著梯度图像的nmi进行优化搜索，直到所述nmi达到最大值时，获得粗配准参数。
23.具体的，nmi的计算方式如下式，其中，
▽
f为可见光图像沿x和y方向的梯度，
▽
m为红外图像沿x和y方向的梯度，h(
▽
f)为可见光显著梯度图像的熵，h(
▽
m)为红外显著梯度图像的熵，h(
▽
f，
▽
m)为可见光显著梯度图像和红外显著梯度图像的联合熵。
24.所述
▽
f与
▽
m的计算方式如下式，m的计算方式如下式，其中，
▽1为x方向上的有限差分算子，
▽2为y方向上的有限差分算子。
25.由于优化配准是一个难以量化的过程，因此优化配准的过程转化为求解nmi相似度量函数最大值的问题，当nmi达到最大值时，使用仿射变化模型作为要优化的变量参数，具体的仿射变换可定义为下式，其中，t
x
、ty、s、θ为待配准图像在配准过程中的4个配准参数，分别表示水平平移量、垂直平移量、缩放系数和旋转角度。
26.采用eo算法的目的在于其相较于传统的群智能优化算法具有参数少、执行效率高且全局寻优能力强的优点。
27.s3.将所述粗配准参数作为初始参数，通过dtv相似度量函数执行细化配准，并采用回溯梯度下降算法对所述dtv相似度量函数进行优化，直到所述dtv相似度量函数达到最小值时，获得最终配准参数，再通过最终配准参数对所述红外图像进行变换，并获得配准结果。
28.需要说明的是，此处采用回溯梯度下降算法的目的在于通过回溯梯度下降算法最小化dtv相似度量函数以实现待配准图像的局部边缘对齐。
29.其中，所述dtv相似度量函数具体如下式，其中，t为粗配准参数，当所述dtv相似度量函数的值达到最小值时，则实现可见光图像与红外图像的边缘对齐。
30.通过上述过程能够实现对非稳态图像的精确配准，具体的配准效果如图5所示，图像a为可见光图像，图像b为远红外图像，图像c为配准前结果，图像d为配准后的结果；从图5中不难看出，通过本发明的方法高效准确的实现了非稳态图像的配准。
31.需要说明的是，在s1之前还包括，获取可见光图像和红外图像，并对所述可见光图像进行预处理，预处理后的所述可见光图像和红外图像再通过所述s1-s3继续处理。
32.其中，所述预处理包括对所述可见光图像进行比例调整，实现可见光图像和红外图像之间尺度差异的消除，其中可见光图像和红外图像的尺度关系可表示为下式，图像之间尺度差异的消除，其中可见光图像和红外图像的尺度关系可表示为下式，图像之间尺度差异的消除，其中可见光图像和红外图像的尺度关系可表示为下式，
其中，为可见光图像传感器的像元尺寸，为红外图像传感器的像元尺寸，为可见光图像传感器物体成像的物理尺寸，为红外图像传感器物体成像的物理尺寸，为可见光图像传感器的焦距，为红外图像传感器的焦距；row
vi
、col
vi
分别表示可见光图像的行和列，row
in
、col
in
分别表示红外图像的行和列，i
scaled
表示比例调整后的可见光图像，i
sen
表示红外图像。
33.消除尺度差异后的待配准图像，更加方便后续的优化配准。
34.所述预处理还包括对所述可见光图像进行非线性扩散滤波，本发明中使用的非线性扩散滤波方法为常规的非线性扩散滤波方法，滤波处理能够消除待配准图像中较弱的细节和噪声，主要保留待配准图像的显著结构特征。
35.实施例2提供一种非稳态目标的可见光图像和红外图像优化配准系统，如图2、图3所示，包括依次连接的图像采集单元、信息处理单元以及信息输出单元；所述图像采集单元用于采集非稳态目标的红外图像和对应的可见光图像信息；所述信息处理单元用于对所述的可见光图像和红外图像进行预处理，并根据pc算法提取待配准的可见光图像与红外图像的显著梯度图像，再根据eo算法对可见光图像的显著梯度图像和红外图像的显著梯度图像的nmi进行粗配准优化处理，以及根据dtv相似度量函数对所述可见光图像与红外图像进行细化配准，并获取最终的配准参数；所述信息输出单元用于根据最终的配准参数对所述可见光图像与红外图像进行几何变换，从而完成配准。
36.其中，图像采集单元的光路结构可参照图3，其接收光的流向为，图像的光通过主镜反射至次镜，次镜再将图像的光反射至分光板，分光板在光路上设置有两块，通过第一块分光板时，分光板将图像光反射至中红外成像透镜组，中红外成像透镜组再将图像光汇聚至中红外ccd形成中红外图像；图像光通过第二块分光板时，分光板将图像光反射至远红外成像透镜组，远红外成像透镜组再将图像光汇聚至远红外ccd形成远红外图像，经过分光板后的图像光进入可见光成像透镜组中，通过可见光成像透镜组将图像光汇聚至可见光ccd形成可见光图像。
37.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。