异源图像的优化配准方法及系统与流程

1.本发明涉及图像配准技术领域，具体地涉及一种异源图像的优化配准方法及一种异源图像的优化配准系统。


背景技术：

2.红外图像与可见光图像之间配准在双目视觉、体温检测与消防救援等领域得到广泛应用，其配准算法是当下计算机视觉领域研究的热点技术之一。因为红外光与可见光分别处于光谱的不同波段，都有其固有特征，红外图像由物体表面的发射率和温度决定，而可见光图像由物体表面的反着率和阴影决定，所以红外图像与可见光图像之间的成像原理存在差异，然后由于红外传感器与可见光传感器在拍摄同一时间同一区域时不可能在完全相同的位置和视角，会导致二者存在一定的视角差，从而导致图像产生几何畸变，给估计红外图像与可见光图像之间配准模型带来困难，以上两个因素是导致红外图像与可见光图像之间配准准确率不高的主要原因。现有配准算法普遍存在配准准确率不高的问题，基于此，需要创造一种新的异源图像的优化配准方法。


技术实现要素：

3.本发明实施方式的目的是提供一种异源图像的优化配准方法及系统，以至少解决现有配准算法配准准确率不高的问题。
4.为了实现上述目的，本发明第一方面提供一种异源图像的优化配准方法，应用于红外图像与可见光图像之间的配准，所述方法包括：采集待配准的红外图像信息和对应的可见光图像信息；根据预设预处理规则对所述红外图像信息和所述可见光图像信息进行预处理；根据预设特征提取算法将预处理后的红外图像和预处理后的可见光图像处理为对应的红外图像特征描述符序列和可见光图像特征描述符序列；根据预设特征匹配规则进行所述红外图像特征描述符序列和所述可见光图像特征描述符序列的特征匹配，获得投影变换矩阵；输出所述投影变换矩阵，完成配准。
5.可选的，所述预设预处理规则包括：平滑处理、计算图像梯度信息、图像梯度幅值非极大值抑制、检测和连接边缘轮廓。
6.可选的，所述预设特征提取算法基于kaze算法设计。
7.可选的，所述根据预设特征提取算法将预处理后的红外图像和预处理后的可见光图像处理为对应的红外图像特征描述符序列和可见光图像特征描述符序列，包括：利用非线性扩散方程构建非线性尺度空间；其中，所述非线性扩散方程式为：
[0008][0009][0010]
其中，l表示图像的亮度；t表示尺度参数；div表示散度；表示梯度；c(x,y,t)表
示在坐标(x,y)处的传导函数；表示原始图像l在δ尺度上经过高斯滤波后的梯度；对于预处理后的红外图像和预处理后的可见光图像，在所述非线性尺度空间中通过计算像素点的hessian矩阵值来提取红外图像的图像特征点和可见光图像的图像特征点；分别计算红外图像的图像特征点和可见光图像的图像特征点的主方向；分别针对红外图像和可见光图像，以图像特征点为中心，选取预设大小的矩形区域，并划分预设数量的子区域，使用高斯核对各子区域内像素点的一阶微分进行加权计算，得到各子区域的描述符向量；使用高斯窗口对所有子区域的描述符向量进行加权计算和归一化处理，得到红外图像特征描述符序列和可见光图像特征描述符序列。
[0011]
可选的，所述在所述非线性尺度空间中通过计算像素点的hessian矩阵值来提取红外图像的图像特征点和可见光图像的图像特征点，包括：分别针对红外图像和可见光图像，将每个像素点的hessian矩阵值与当前层和当前层相邻两个层的所有像素点的hessian矩阵值进行比较；若当前像素点的hessian矩阵值大于或小于所有像素点的hessian矩阵值，则判定对应像素点的hessian矩阵值极值点为图像特征点。
[0012]
可选的，所述分别计算红外图像的图像特征点和可见光图像的图像特征点的主方向，包括：以图像特征点为中心点，选取预设半径的圆形区域，并对所在区域内像素点计算一阶微分；以预设张角和步长的扇形区域绕所述中心点转动，并在转动过程中累加所述一阶微分；筛选出累加过程中的最大累加值对应的方向作为所述主方向。
[0013]
可选的，所述根据预设特征匹配规则进行所述红外图像特征描述符序列和所述可见光图像特征描述符序列的特征匹配，获得投影变换矩阵，包括：根据所述红外图像特征描述符序列和所述可见光图像特征描述符序列，使用knn算法对红外图像向可见光图像进行特征点匹配，得到第一匹配图像特征点对集；根据所述红外图像特征描述符序列和所述可见光图像特征描述符序列，使用flann算法对可见光图像向红外图像进行特征点匹配，得到第二匹配图像特征点对集；对比所述第一匹配图像特征点对集与所述第二匹配图像特征点对集，筛选出其中相同的匹配图像特征点对，整合作为最终的匹配图像特征点对集作为所述投影变换矩阵。
[0014]
可选的，所述使用knn算法对红外图像向可见光图像进行特征点匹配，得到第一匹配图像特征点对集，包括：以所述红外图像特征描述符序列的任意一个图像特征点为对象，使用欧式距离定义式遍历所述可见光图像特征描述符序列中的所有图像特征点，筛选定义值最小值和定义值次最小值，分别作为最近邻图像特征点和次最近邻图像特征点；判断所述最近邻图像特征点和所述次最近邻图像特征点是否满足预设关系，若二者满足预设关系，判定所述最近邻图像特征点为预选的红外图像特征描述符序列中的图像特征点的匹配图像特征点；其中，所述预设关系为：
[0015][0016]
其中，d(u
i
,v
1j
)为最近邻图像特征点；d(u
i
,v
2j
)为次最近邻图像特征点；t
h1
为预设关系阈值；遍历所述红外图像特征描述符序列中的所有图像特征点，获得所有图像特征点对应的匹配图像特征点；整合所述红外图像特征描述符序列中各图像特征点和对应的匹配
图像特征点，每个对应关系作为一个匹配图像特征点对集，获得所述第一特征匹配图像特征点对集。
[0017]
本发明第二方面提供一种异源图像的优化配准系统，用于红外图像与可见光图像之间的配准，所述系统包括：采集单元，用于采集待配准的红外图像信息和对应的可见光图像信息；处理单元，用于：根据预设预处理规则对所述红外图像信息和所述可见光图像信息进行预处理；根据预设特征提取算法将预处理后的红外图像和预处理后的可见光图像处理为对应的红外图像特征描述符序列和可见光图像特征描述符序列；根据预设特征匹配规则进行所述红外图像特征描述符序列和所述可见光图像特征描述符序列的特征匹配，获得投影变换矩阵；输出单元，用于输出所述投影变换矩阵，完成配准。
[0018]
另一方面，本发明提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的异源图像的优化配准方法。
[0019]
通过上述技术方案，经过图像预处理阶段、图像特征点提取与描述符序列生成阶段、图像特征点匹配阶段共三个阶段的处理。进行红外图像和可见光图像特征点提取以及对比，通过特征点的匹配关系进行红外图像和可见光图像配准。本发明方案相对于传统sift算法、传统surf算法，具备图像配准准确率更高的优势。
[0020]
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0021]
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
[0022]
图1是本发明一种实施方式提供的异源图像的优化配准方法的步骤流程图；
[0023]
图2是本发明一种实施方式提供的获取特征描述符序列获取的步骤流程图；
[0024]
图3是本发明一种实施方式提供的获取最终匹配图像特征点对集的步骤流程图；
[0025]
图4是本发明一种实施方式提供的异源图像的优化配准系统的系统结构图。
[0026]
附图标记说明
[0027]
10
‑
采集单元；20
‑
处理单元；30
‑
输出单元。
具体实施方式
[0028]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0029]
图4是本发明一种实施方式提供的异源图像的优化配准系统的系统结构图。如图4所示，本发明实施方式提供一种异源图像的优化配准系统，所述系统包括：采集单元，用于采集待配准的红外图像信息和对应的可见光图像信息；处理单元，用于：根据预设预处理规则对所述红外图像信息和所述可见光图像信息进行预处理；根据预设特征提取算法将预处理后的红外图像和预处理后的可见光图像处理为对应的红外图像特征描述符序列和可见光图像特征描述符序列；根据预设特征匹配规则进行所述红外图像特征描述符序列和所述可见光图像特征描述符序列的特征匹配，获得投影变换矩阵；输出单元，用于输出所述投影变换矩阵，完成配准。
[0030]
图1是本发明一种实施方式提供的异源图像的优化配准方法的方法流程图。如图1所示，本发明实施方式提供一种异源图像的优化配准方法，所述方法包括：
[0031]
步骤s10：采集待配准的红外图像信息和对应的可见光图像信息。
[0032]
具体的，因为红外传感器与可见光传感器在拍摄同一时间同一区域时不可能在完全相同的位置和视角，会导致二者存在一定的视角差，从而导致图像产生几何畸变。本发明提出的异源图像的优化配准方法便是针对这种图像畸变情况下，进行红外图像与可见光图像之间配准的。针对相同场景，红外图像和可见光图像存在一定差别，进行二者之间的差别修正和对应配准，是本发明方案所要解决的技术问题。进行配准前，需要采集单元采集需要配准的红外图像和对应的可见光图像，其对应关系为同一场景下的图像信息，拍摄时间和拍摄角度可以存在一定差别，但两个完全不同场景的图像信息没有配准价值。采集单元与红外图像采集装置和可见光图像采集装置连接，或与存储有红外图像和可见光图像的存储设备连接，通过连接的装置对应获取红外图像和/或可见光图像，然后将获取的红外图像和可见光图像发送到处理单元，供处理单元进行后续配准。
[0033]
步骤s20：根据预设预处理规则对所述红外图像信息和所述可见光图像信息进行预处理。
[0034]
具体的，采集的红外图像和可见光图像为原始图像，这种原始图像存在很多干扰信息，若直接用于后续配准操作，会对结果造成较大影响。且假设的配置算法需要适配的输入图像，不仅可以有效避免结果干扰，还能提高后续的配准效果。所以，获取红外图像和可见光图像的原始图像后，基于预设的预处理规则对原始图像进行预处理，将原始图像处理成为后续算法的适配输入图像，保证处理结果准确性的前提下提高处理效率。优选的，预设预处理规则包括平滑处理、计算图像梯度信息、进行图像梯度幅值非极大值抑制、检测和连接边缘轮廓。其中，用高斯滤波器平滑处理红外图像与可见光图像；然后用一阶偏导的有限差分来计算图像梯度的幅值和方向；对图像梯度幅值进行非极大值抑制；最后用双阈值方法检测和连接边缘轮廓。获得边缘轮廓图像，将该边缘轮廓图像作为后续处理算法的输入图像。
[0035]
步骤s30：根据预设特征提取算法将预处理后的所述红外图像信息和所述可见光图像处理为对应的红外图像特征描述符序列和可见光图像特征描述符序列。
[0036]
具体的，本发明方案的预设特征提取算法基于kaze算法设计，其原理为在描述符阶段使用优化kaze算法提取图像特征点并生成32维图像特征点描述符序列，优化kaze算法在图像特征点提取阶段，使用极值原理提取图像特征点，如果仅使用极大值或极小值，在同源图像之间配准效果显著，但在红外图像与可见光图像之间配准效果欠佳，提取的图像特征点较少，不利于后续的图像特征点匹配，所以本文利用极值原理提取图像特征点。具体的，如图2，包括以下步骤：
[0037]
步骤s301：构建非线性尺度空间。
[0038]
具体的，优化kaze算法将不同尺度上图像亮度的变化看成某种流动函数的散度，利用非线性扩散方程对图像进行扩散滤波构建非线性尺度空间；其中，非线性扩散方程为：
[0039][0040]
[0041]
其中，l表示图像的亮度；t表示尺度参数；div表示散度；表示梯度；c(x,y,t)表示在坐标(x,y)处的传导函数，它取决于局部图像差分结构和减小图像局部边缘扩散的梯度；表示原始图像l在δ尺度上经过高斯滤波后的梯度；其中，g函数公式为：
[0042][0043]
其中，k为对比度因子，其值是梯度图像直方图70％百分位上的值。对非线性扩散方程进行隐式差分后，采用加性算子分裂算法(additive operator splitting,aos)构建线性尺度空间，获得方程的解公式为；
[0044][0045]
其中，i表示单位矩阵，ti表示进化时间，al表示对角占优的三对角线矩阵，li表示非线性尺度空间第i层图像亮度。
[0046]
步骤s302：提取图像特征点。
[0047]
具体的，在所述非线性尺度空间中通过计算像素点的hessian矩阵值来提取所述红外图像信息和所述可见光图像的图像特征点。将每个像素点的hessian矩阵值与当前层和当前层相邻两个层的所有像素点的hessian矩阵值进行比较；若当前像素点的hessian矩阵值大于或小于所述所有像素点的hessian矩阵值，则判定对应像素点的hessian矩阵值极值点，作为图像特征点。例如，将每个像素点的hessian矩阵值与当前层i、上层i 1和下层i
‑
1的δ
i
×
δ
i
的矩形窗口内共26个像素点的hessian矩阵值进行比较，如果该像素点的hessian矩阵值大于或者小于这26个像素点的hessian矩阵值，则该像素点的hessian矩阵值为极值点，该极值点为图像特征点。
[0048]
步骤s303：计算图像特征点的主方向。
[0049]
具体的，为了获得旋转不变图像特征点描述符序列，需要计算图像特征点的主方向，计算方法是以图像特征点为中心点，选取半径为6δ
i
的圆形区域，对所在区域内像素点计算一阶微分l
x
、l
y
，再以张角为60
°
、步长为0.15rad的扇形区域绕图像特征点转动，转动过程中累加一阶微分l
x
、l
y
的值，其中累加值最大对应的方向就是主方向。
[0050]
步骤s304：划分多个子区域并获得各子区域的描述符向量。
[0051]
具体的，以图像特征点为中心，选取大小为24δ
i
×
24δ
i
的矩形区域，并划分成大小相等的8块子区域，且相邻区域有4δ
i
的重合，使用高斯核对子区域内像素点的一阶微分使用高斯核进行加权计算，从而得到描述符向量d
ν
，描述符向量d
ν
计算式为：
[0052]
d
ν
＝(∑l
x
,∑l
y
,∑|l
x
|,∑|l
y
|)
[0053]
其中，d
ν
表示描述符向量，l
x
表示图像在x方向的一阶微分、l
y
表示图像在y方向的一阶微分，|l
x
|表示图像在x方向的一阶微分的绝对值，|l
y
|表示图像在y方向的一阶微分的绝对值。
[0054]
步骤s305：获得图像特征描述符序列。
[0055]
具体的，使用高斯窗口对所有子区域的描述符向量进行加权计算和归一化处理，得到红外图像特征描述符序列和可见光图像特征描述符序列。例如，使用高斯窗口对8个子
区域描述符向量d
ν
进行进一步加权计算和归一化处理，得到32维图像特征点描述符序列。
[0056]
步骤s40：根据预设特征匹配规则进行所述红外图像特征描述符序列和所述可见光图像特征描述符序列特征匹配，获得投影变换矩阵。
[0057]
具体的，优化图像配准方法在匹配阶段使用knn算法与flann算法相结合的优化距离相似性度量方法，分为以下三个步骤，1)、使用knn算法对红外图像向可见光图像进行特征点匹配，得到第一匹配图像特征点对集；2)、使用flann算法对可见光图像向红外图像进行特征点匹配，得到第二匹配图像特征点对集；3)、比较第一匹配特征点对集和第二匹配特征点对集，得到最终匹配图像特征点对集。具体的，如图3，包括以下步骤：
[0058]
步骤s401：获得第一匹配特征点对集。
[0059]
具体的，获得步骤s305中的32维图像特征点描述符序列参数后，设定红外图像中图像特征点描述符序列参数为u
i
(x1,x2,x3,
……
,x
30
,x
31
,x
32
)，可见光图像中图像特征点描述符序列参数为v
j
(y1,y2,y3,
……
,y
30
,y
31
，y
32
)。假定红外图像中图像特征点集为u，可见光图像中图像特征点集为v，然后以图像特征点集u中的图像特征点u
i
为对象，使用欧式距离定义式遍历图像特征点集v中的所有图像特征点。其中，欧式距离定义式为：
[0060][0061]
其中，x
m
表示红外图像中图像特征点描述符序列参数的元素，y
m
表示可见光图像中图像特征点描述符序列参数的元素。得到d(u
i
,v
j
)的最小值d(u
i
,v
1j
)与次最小值d(u
i
,v
2j
)，即最近邻图像特征点v
1j
和次最近邻图像特征点v
2j
，如果d(u
i
,v
j
)的最小值d(u
i
,v
1j
)与次最小值d(u
i
,v
2j
)满足欧式距离比较式。其中，欧式距离比较式为：
[0062][0063]
其中，d(u
i
,v
1j
)为最近邻图像特征点；d(u
i
,v
2j
)为次最近邻图像特征点；t
h1
为预设关系阈值，优选地设定为0.80。则图像特征点集v中的图像特征点v
1j
为图像特征点集u中的图像特征点u
i
的匹配图像特征点，遍历图像特征点集u中所有图像特征点，得到第一匹配图像特征点对集。
[0064]
步骤s402：获得第二匹配特征点对集。
[0065]
具体的，以可见光图像中图像特征点集v为对象，遍历图像特征点集u中的所有图像特征点，得到d(v
j
,u
i
)的最小值d
min
(v
j
,u
i
)，即最近邻图像特征点u
i
，取遍可见光图像中图像特征点集v中所有对象，得到d(v
j
,u
i
)的最小值d
min
(v
j
,u
i
)的集合k{d
min
(v
j
,u
i
)}，计算集合k{d
min
(v
j
,u
i
)}中的最小值为d
min
(v
j
,u
i
)；其中，最小值d
min
(v
j
,u
i
)的计算式为：
[0066]
d
min
(v
j
,u
i
)<(2.0*d
min
(v
j
,u
i
))＝(2.0*min(k{d
min
(v
j
,u
i
)}))
[0067]
其中，d
min
(v
j
,u
i
)表示所有d
min
(v
j
,u
i
)的集合中的最小值，min表示计算集合的最小值，k{}表示集合，d
min
(v
j
,u
i
)表示图像特征点集v中的图像特征v
j
与图像特征点集u中的最近邻图像特征点u
i
的距离相似性度量值。如果图像特征点匹配对的d
min
(v
j
,u
i
)的最小值满足预设关系，则将其纳入第二匹配图像特征点对集中。其中，预设关系为：
[0068]
d
min
(v
j
,u
i
)<(2.0*d
min
(v
j
,u
i
))
[0069]
其中，d
min
(v
j
,u
i
)表示图像特征点集v中的图像特征点v
j
与图像特征点集u中的最近邻图像特征点u
i
的距离相似性度量值，d
min
(v
j
,u
i
)表示所有d
min
(v
j
,u
i
)的集合的最小值。
[0070]
步骤s403：获得最终匹配图像特征点对集。
[0071]
具体的，对比所述第一匹配图像特征点对集和所述第二匹配图像特征点对集，筛选出其中相同的匹配图像特征点对，整合作为最终的匹配图像特征点对集，作为投影变换矩阵。
[0072]
步骤s50：输出所述投影变换矩阵，完成配准。
[0073]
具体的，输出最终的匹配图像特征点对集，作为后续图像处理的输入，进行后续图像处理。经过本发明方案的前端配准，获得红外图像和可见光图像的投影变换矩阵，后续处理算法基于该投影变换矩阵进行匹配，准确率和效率均能获得很大的提升。
[0074]
在本发明实施例中，针对红外图像与可见光图像之间配准准确率不高的问题，提出优化图像配准方法。优化图像配准方法经过图像预处理阶段、图像特征点提取与描述符序列生成阶段、图像特征点匹配阶段共三个阶段的处理，相比传统sift算法、传统surf算法，具备图像配准准确率更高的优势。
[0075]
在其中，
[0076]
所述触控传感器为固定在所述待测触控屏上的用于采集触摸信号的传感器，所述触控传感器在所述待测触控屏上均匀分布有多个。一种可能的实施方式中，仿真实验为了比较优化图像配准方法的运行效率，选择特征点数目、特征点匹配数目、特征点正确匹配数目、特征点配准准确率、图像描述符阶段消耗时间、图像特征点匹配阶段消耗时间、图像配准总消耗时间共七个统计参数作为评价指标，其中图像特征点配准准确率的计算公式为：
[0077][0078]
其中，p
m
表示优化图像配准方法的图像配准准确率，m
新型配准方法
表示优化图像配准方法的图像特征点匹配数目，n
新型配准方法
表示优化图像配准方法的图像特征点正确匹配数目。评价指标统计数据如表1所示。通过结果图与评价指标统计数据的对比分析可知：1)、传统sift算法与传统surf算法对异源图像的配准效果不理想，出现大量的误匹配对；2)、优化图像配准方法的平均配准准确率为91.62％，但耗时稍长，在图像拼接等配准准确率要求较高但不追求配准实时性的应用场景具有明显的优越性。
[0079][0080]
表1sift算法、surf算法与优化图像配准方法的统计数据对比表
[0081]
本发明实施方式还提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的异源图像的优化配准方法。
[0082]
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0083]
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
[0084]
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。