一种基于层级匹配的红外与可见光图像配准方法及系统与流程

1.本发明属于图像处理技术领域，尤其涉及一种基于层级匹配的红外与可见光图像配准方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.由于红外与可见光镜头存在位置、焦距以及畸变参数等不同，同一红外热像仪采集的红外、可见光两种模态图像之间不可避免地存在偏移、缩放等形变问题。将红外图像与可见光图像进行融合分析，首先需要对两种模态的图像进行准确配准，同时需要克服可见光图像中的一些物体造成的干扰；配准过程一般包括像素筛选、角点提取、特征计算以及特征匹配。
4.传统的直接在原图像上进行角点提取、特征计算和特征匹配的方法，尺度不变特征变换(scale-invariant feature transform，sift)对红外与可见光等不同模态的变化往往不够鲁棒，k-d树最近邻查询算法(best bin first，bbf)特征匹配方法在匹配时忽视了邻近特征点的上下文信息，亦容易导致匹配错误。基于深度学习的特征点提取和特征计算方法诸如superpoint，基于深度图卷积网络的方法诸如superglue相比传统的方法容易生成致密的匹配点对，一定程度上可以生成更多稳定的匹配对。但是发明人发现，直接对红外图像与可见光图像进行特征点提取和匹配，如果是在天空云彩或者其他非配准相关的部件提取到了特征点或者匹配对，大概率提取到的是无效的匹配，对后续的配准和融合造成干扰。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种基于层级匹配的红外与可见光图像配准方法及系统，其可以实现相比传统方法更准确的红外图像与可见光图像的配准；并且，对于不同角度拍摄的不同图像，均能得到准确的配准结果。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种基于层级匹配的红外与可见光图像配准方法，其包括：
8.获取红外图像和可见光图像；
9.基于局部聚合特征对可见光图像的像素进行预筛选，得到像素预筛选后的可见光图像；
10.对红外图像和像素预筛选后的可见光图像均进行特征点提取及匹配；
11.根据在红外图像与可见光图像中匹配的特征点对的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
12.根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图
像与可见光图像的层级配准。
13.本发明的第二个方面提供一种基于层级匹配的红外与可见光图像配准系统，其包括：
14.图像获取模块，其用于获取红外图像和可见光图像；
15.像素预筛选模块，其用于基于局部聚合特征对可见光图像的像素进行预筛选，得到像素预筛选后的可见光图像；
16.特征点提取及匹配模块，其用于对红外图像和像素预筛选后的可见光图像均进行特征点提取及匹配；
17.变换参数计算模块，其用于根据在红外图像与可见光图像中匹配的特征点对的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
18.层级配准模块，其用于根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的层级配准。
19.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于层级匹配的红外与可见光图像配准方法中的步骤。
20.本发明的第四个方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于层级匹配的红外与可见光图像配准方法中的步骤。
21.与现有技术相比，本发明的有益效果是：
22.(1)本发明利用基于局部聚合特征进行像素预筛选、利用自监督学习网络提取特征点、利用深度图卷积网络进行特征点匹配以及利用渐进一致采样算法得到变换参数的基础上，实现了基于层级匹配的红外与可见光图像配准，配准结果更为准确，实现了红外图像和可见光图像更为有效的匹配。
23.(2)本发明相对于传统的图像配准方法，一方面基于深度学习的局部聚合特征netvlad可以过滤掉不可靠的特征点选择区域，一方面通过基于深度自监督的superpoint可以提取到更可靠的特征点和描述子，另一方面基于深度图卷积网络的superglue特征匹配方法有效利用了特征点位置信息和上下文信息，实现了更有效的匹配；在此基础上，采用的渐近采样一致性方法，可以得到更准确的变换参数估计结果，并且对于不同角度拍摄的图像，均能得到准确的配准结果。
24.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
25.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
26.图1为本发明实施例的基于层级匹配的红外与可见光图像配准方法流程图；
27.图2为本发明实施例的netvlad像素预筛选示意图；
28.图3为本发明实施例的可见光图像经过netvlad进行像素筛选后的效果图；
29.图4为本发明实施例的superpoint特征提取与描述网络示意图；
30.图5为本发明实施例的红外图像经过superpoint特征点提取的效果图；
31.图6为本发明实施例的经过像素预筛选后的可见光图像经过superpoint特征点提取效果图；
32.图7为本发明实施例的superglue特征匹配网络示意图；
33.图8为本发明实施例的红外图像和可见光图像经superglue特征点匹配的效果图；
34.图9为本发明实施例的最终融合图像效果图。
具体实施方式
35.下面结合附图与实施例对本发明作进一步说明。
36.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
37.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
38.实施例一
39.如图1所示，本实施例提供了一种基于层级匹配的红外与可见光图像配准方法，其具体包括如下步骤：
40.s101：获取红外图像和可见光图像。
41.其中，红外图像可采用红外图像采集设备来实现，可见光图像可采用可见光图像采集设备来实现。
42.s102：基于局部聚合特征对可见光图像的像素进行预筛选，得到像素预筛选后的可见光图像。
43.在本实施例中，利用基于深度学习的局部聚合特征netvlad方法，进行像素预筛选。具体地，基于一个卷积神经网络和局部聚合特征网络计算局部聚合特征的聚类簇的可利用性，进而对像素进行预筛选；其中，可利用性为各个聚类簇上对应的匹配负样本局部特征的l2距离。
44.再将可见光图像像素硬分配到局部聚合特征的聚类簇上；
45.筛选出聚合到具有高利用性的聚类簇的像素，作为预筛选进行特征点提取的像素。
46.鉴于现有方法直接对原图像进行特征点提取以及匹配，容易在一些不稳定区域提取到难以准确匹配的特征点，诸如天空的云彩，或者具有周期性纹理变化的物体诸如套管。
47.如图2所示，本实例中的cnn特征提取模块由去掉分类层的vgg16网络构成，netvlad部分包括16个聚类簇中心以及各自的软分配权重参数。对于输入的尺寸为w
×
h的图像，经过cnn特征提取模块后会得到的特征图，netvlad将个512维特征以残差聚合的方式软分配聚合到16个聚类簇上，得到16
×
512维的netvlad输出特征，该特征的即：
[0048][0049]
其中，n等于xi为cnn输出特征图的512维特征列向量。wk，bk表示第k个聚类簇的可学习参数，ck为第k个聚类簇的聚类中心。在训练开始前，聚类中心ck需要进行初始化，初始化方式为计算所有图像经过cnn特征提取模块得到初始特征，在所有初始特征上进行k-均值聚类，计算得到16个聚类中心。
[0050]
在图像匹配训练集上对本实例的cnn模块和netvlad模块进行训练，使得同一地点略微变化角度的图像的特征得到拉近，不同地点的图像的特征受到推远。训练过后，计算各个聚类簇的利用性，计算方式为在验证集中对任一查询图像的一个聚类簇，计算其与所有非匹配图像的相应聚类簇上的特征的l2距离之和。对所有查询图像的所有聚类簇计算利用性的均值，得到所有聚类簇的利用性，即：
[0051][0052]
其中，uk表示第k个聚类簇的利用性，n为所有查询图像总数，(vk)a为查询图像在第k个聚类簇上的特征，(vk)n为查询图像的匹配负样本在第k个聚类簇上的特征。
[0053]
接下来对可见光图像输入到训练过的cnn网络中，提取到特征图后在训练的netvlad的聚类簇上进行硬分配，即将特征图上的点映射到唯一最近的聚类簇上，而这个点也对应了原输入图像的像素区域。选择出高利用性的聚类簇，相应的也会对应输入的可见光图像的一些像素区域，这些像素即可作为预筛选的像素，供后续步骤提取特征点并进行匹配。本实例中，经过局部聚合特征网络，进行像素筛选后的效果图如图3所示。
[0054]
s103：对红外图像和像素预筛选后的可见光图像均进行特征点提取及匹配。
[0055]
在具体实施过程中，利用自监督学习网络(superpoint方法)对红外图像和像素预筛选后的可见光图像均进行特征点提取。
[0056]
其中，所述自监督学习网络的学习过程为：
[0057]
构建包含明确的角点信息的图像集，用以训练初级的角点提取网络；
[0058]
对原始图像随机进行单应变换，并加噪处理，用训练的初级网络获得变换后图像中的特征点位置；
[0059]
利用变换后的图像及其角点信息，对自监督学习网络进行监督，学习得到具有获取红外图像与可见光图像特征点提取能力的自监督学习网络。
[0060]
鉴于传统的点特征提取与描述方法如sift和surf(speeded up robust features)等对模态的变化缺乏鲁棒性，本实施例中，采用基于深度学习的superpoint方法对红外与可见光两种不同模态图像进行特征点提取与描述。
[0061]
如图4所示，本实施例中的superpoint特征提取与描述网络由一个编码器和两个解码器构成；所述编码器是一个类似vggnet的卷积网络，包含多个卷积层和池化层，用于对尺寸为w
×
h的输入图像进行编码；两个解码器则分别用于特征点提取和特征点描述；其中，特征点提取解码器由卷积层、softmax层和reshape层构成，输出一张w
×h×
1的图像，其中每个像素的值表示该像素是特征点的概率；特征描述解码器由卷积层、双线性插值层和l2
模归一化层构成，最后输出一张w
×h×
d的特征图，其中每个像素对应一个d维的特征向量。
[0062]
由于特征点的真值难以进行人工标注，本实施例中设计了一种不需要真值的自监督学习策略；具体为：首先，构建一个包含三角形、四边形、立方体、和棋盘格等简单形状的合成图像集，这些图像具有明确的角点信息，训练得到初始的角点提取网络；然后，对真实图象随机进行多种单应变换并加噪处理；并使用训练的初始角点提取网络提取特征点，作为监督信息，学习得到superpoint网络；本实施例中，提取特征点的结果如图5和图6所示。
[0063]
在具体实施过程中，鉴于传统的特征匹配方法多是对每个特征点独立匹配因此易导致错误的问题，本实施例中，采用基于深度图神经网络的superglue方法，结合特征点之间的空间几何关系，和特征点特征的相互关联信息，提升特征匹配的准确度。
[0064]
其中，如图7所示，所述深度图卷积网络包括注意力图卷积网络和优化匹配层；所述注意力图卷积网络的输入为一对图像的特征点位置与描述向量的集合，输出空间信息聚合后的特征描述符；所述优化匹配层的输入为注意力图卷积网络输出的特征描述符，输出匹配结果。
[0065]
在注意力图卷积网络中，首先，将特征点的位置进行编码，与特征描述符向量相加，得到每个特征点的初始表示；
[0066]
例如：将特征点的位置经过一个由多层感知器(mlp)构成的特征点编码器进行升维，得到高维向量后与特征描述符向量进行相加，得到每个特征点的初始表示。
[0067]
然后，构建一个多元图；所述多元图的顶点为两幅图像中的所有特征点，边包括图像内边和跨图像边；所述图像内边连接单幅图像内的特征点对，所述跨图像边连接来源于两幅图像的特征点对；
[0068]
多元图的顶点为两幅图像中的所有特征点，边则包含图像内边和跨图像边两类；其中，图像内边连接的是单幅图像内的特征点对，而跨图像边则连接来源于两幅图像的特征点对；构建图后，利用消息传递机制对图中的图像内边和跨图像边顶点的特征交替进行消息汇聚与更新通过信息聚合更新后，得到每个特征点的描述向量加入优化匹配层，计算一个m
×
n的相似度矩阵s，矩阵中的每个单元表示的是图像a中的特征和图像b中的特征的相似度。
[0069]
构建多元图后，对构建的多元图中所有顶点的特征进行消息汇聚与更新。
[0070]
所述优化匹配层根据更新后的特征计算一个相似度矩阵，矩阵中的每个单元表示的是两个图像中的特征的相似度，同时将矩阵进行扩展，新增的一行与一列用来描述特征点不存在匹配的情况。
[0071]
由于遮挡或视野范围不同等原因，一幅图像中的特征点在另一幅图像中可能不存在匹配的特征点；为此，将矩阵s扩展为(m 1)
×
(n 1)的矩阵其中新增的一行与一列用来描述特征点不存在匹配的情况。
[0072]
这样将特征点匹配的问题转化为了一个最优运输的问题，可利用sinkhorn算法进行求解。由于sinkhorn算法具有可导性，因此可以用一个网络层实现。
[0073]
s104：根据在红外图像与可见光图像中匹配的特征点对的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数。
[0074]
在得到红外图像与可见光图像中匹配的特征点对后，根据特征点对所在的像素坐
标计算图像间的变换参数；其中，对所有匹配点对进行质量评价，得到q值，根据q值降序排列，每次迭代根据q值降序排列结果时进行随机采样，进行模型假设与验证。
[0075]
在本实施例中，根据匹配的特征点对在两幅图像中的像素坐标，利用渐近采样一致性prosac算法估计红外图像到可见光图像的变换参数。
[0076]
具体为：在得到红外图像与可见光图像中匹配的特征点对后，本实施例中，根据特征点对所在的像素坐标，估算图像间的变换参数；由于红外镜头和可见光镜头之间的偏移相对拍摄的物体距离来说很小，因此可近似为共光心，利用单应性变换矩阵h，将红外图像变换到可见光图像的坐标系下；在齐次坐标系下，两幅图像中的像素坐标变换可表示为以下关系：
[0077][0078]
其中，单应性变换矩阵h中的h
33
＝1。所以，变换矩阵的参数自由度为8，可利用四对或以上的特征点对进行估计。
[0079]
由于存在匹配噪声甚至错误匹配的外点，因此常用最小二乘法或ransac方法等进行参数估计；然而，在ransac中，每对特征点对同等对待，并且从整个特征点对的集合中随机选取样本，存在估算结果的随机性且收敛速度偏慢等问题。为此，本实施例中，采用prosac算法进行变换参数的估计。
[0080]
本实施例中，prosac算法设计了一种半随机的方法，对所有匹配点对进行质量评价计算得到q值，然后根据q值降序排列，每次迭代优先在高质量点对中进行随机采样，进行模型假设与验证，从而降低算法复杂度，提升效率，并且避免了ransac随机算法面临的无法保证收敛的情况。
[0081]
s105：根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的层级配准。其中，图8为红外图像和可见光图像经superglue特征点匹配的效果图。
[0082]
依据变换参数，将红外图像的坐标变换到可见光图像的坐标系下，按照对应位置像素取平均值，得到最终的融合图像。
[0083]
具体的，在计算出变换模型后，将红外图像的坐标变换到可见光图像的坐标系下，然后按照对应位置像素取平均值，得到最终的融合图像，如图9所示。
[0084]
本实施例鉴于红外与可见光两种模态的差异性，采用基于深度学习的局部聚合特征netvlad对可见光图像进行像素预筛选、基于深度自监督的superpoint特征点提取和描述子计算、基于深度图卷积网络的superglue特征匹配方法以及渐进一致采样算法，实现了红外图像与可见光图像的匹配，可以实现相比传统方法更准确的红外图像与可见光图像的配准，并且，对于不同角度拍摄的不同变电设备的图像，均能得到准确的配准结果。
[0085]
实施例二
[0086]
本实施例提供了一种基于层级匹配的红外与可见光图像配准系统，其具体包括如下模块：
[0087]
图像获取模块，其用于获取红外图像和可见光图像；
[0088]
像素预筛选模块，其用于基于局部聚合特征对可见光图像的像素进行预筛选，得到像素预筛选后的可见光图像；
[0089]
特征点提取及匹配模块，其用于对红外图像和像素预筛选后的可见光图像均进行特征点提取及匹配；
[0090]
变换参数计算模块，其用于根据在红外图像与可见光图像中匹配的特征点对的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
[0091]
层级配准模块，其用于根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现红外图像与可见光图像的层级配准。
[0092]
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
[0093]
实施例三
[0094]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于层级匹配的红外与可见光图像配准方法中的步骤。
[0095]
实施例四
[0096]
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于层级匹配的红外与可见光图像配准方法中的步骤。
[0097]
本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0098]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。