一种基于多特征相似度融合的红外和可见光图像匹配方法与流程

1.本发明属于图像特征提取和匹配技术领域，具体涉及一种基于多特征相似度融合的红外和可见光图像匹配方法。


背景技术：

2.由于红外和可见光图像的成像机理不同，导致图像之间的对应区域灰度差异较大，难以提取稳定的特征描述符用于图像匹配，并且在实际应用中，红外和可见光图像之间拍摄视角、成像分辨率等同样存在较大差异，这些特点为红外和可见光图像的匹配带来了严峻的挑战。
3.红外和可见光图像匹配算法主要分为基于区域的匹配方法和基于特征的匹配方法。相比于基于区域的匹配方法，基于特征的匹配方法计算效率更高，对图像之间的旋转和尺度变化具有更好的鲁棒性，因此，近年来得到更加广泛的研究和应用。
4.基于特征的图像匹配算法经过了数十年的发展，其中最具代表性的匹配算法是lowe提出的sift算法(d.g.lowe,distinctive image features from scale
‑
invariant keypoints,international journal of computer vision 60(2)(2004)91
‑
110.)，该方法虽然在红外和可见光图像匹配应用中性能不佳，但是其为后续基于特征的图像匹配算法提供了基本的研究思路。在该算法的基础之上，chen等人考虑到红外和可见光图像之间存在的灰度差异，提出了一种部分灰度不变特征描述符(j.chen,j.tian,n.lee,j.zheng,r.t.smith,a.f.laine,a partial intensity invariant feature descriptor for multimodal retinal image registration,ieee transactions on biomedical engineering,57(7)(2010)1707
‑
1718.)，以克服异源图像之间灰度差异对特征描述的影响，该方法在多模视网膜图像匹配中得到了广泛的应用。aguilera等人提出了一种边缘朝向直方图描述符(c.aguilera,f.barrera,f.lumbreras,a.d.sappa,r.toledo,multispectral image feature points,sensors,12(9)(2012)12661
‑
12672.)，采用特征点附近的边缘像素信息对其进行描述。li等人提出了一种辐射不变特征变换算法(j.li,q.hu,m.ai,rift:multi
‑
modal image matching based on radiation
‑
invariant feature transform,arxiv preprint arxiv:1804.09493(2018).)，在相位一致性图中提取关键点，并构造一种极大索引图进行特征描述。
5.上述现有的基于特征的匹配方法大多采用特征点的局部信息构造特征描述符，由于成像机理的不同，红外和可见光图像的局部信息可能存在较大差异，导致现有方法构造的描述符受图像局部信息差异的影响较大，并且在实际应用中，红外和可见光图像往往具有不同的成像分辨率，而现有的特征匹配方法对红外和可见光图像之间的尺度变化缺乏足够的鲁棒性，导致图像匹配的准确率不高。
6.经检索，中国专利申请号zl202110344953.x，申请日为：2021.03.31，发明名称为：一种基于全局和局部特征描述的多模图像匹配方法，该申请案包括以下步骤：对于参考图像和待匹配图像，分别检测图像中的特征点，并确定特征点主方向；对于每一个特征点，分
别构造piifd描述符和全局上下文特征描述符；对于每一对特征点，计算两种特征描述符的相似度，并进行加权融合，通过对比各对特征点的相似度进行初步匹配；对于初步匹配结果，提取特征点的局部上下文特征向量进行比对以消除其中的异常匹配点对，得到最终匹配结果。该申请案能够有效克服多模图像局部灰度差异大，特征点描述和匹配困难的问题，提高多模图像特征点匹配的准确率。但该申请案采用harris算法检测红外和可见光图像中的特征点，其在两幅图像中检测的特征点重复性不高；另外其在构造特征描述符时没有考虑实际应用中红外和可见光图像之间的尺度变化；且其在进行特征相似度加权时采用固定的加权参数，这使得该申请案在进行红外和可见光图像匹配时不能准确的进行匹配。


技术实现要素：

7.1.发明要解决的技术问题
8.本发明的目的在于克服现有技术中的缺陷，提供一种基于多特征相似度融合的红外和可见光图像匹配方法，以解决红外和可见光图像匹配任务中，图像特征点描述和匹配困难的问题。
9.2.技术方案
10.为达到上述目的，本发明提供的技术方案为：
11.本发明提供一种基于多特征相似度融合的红外和可见光图像匹配方法，包括以下步骤：
12.步骤1、分别对参考图像和待匹配图像进行轮廓检测，并提取轮廓上的显著角点作为特征点；
13.步骤2、对于两幅图像中的每一个特征点，分别利用该点及其左右轮廓点的坐标计算特征点的主方向；
14.步骤3、对于两幅图像中的每一个特征点，确定该点的特征描述参数，并构造其piifd特征描述符；
15.步骤4、对于两幅图像中的每一对特征点，依据该点与其它特征点的位置关系构造其全局上下文特征描述符；
16.步骤5、对于两幅图像中的每一对特征点，计算两种特征描述符的相似度，根据特征点的位置分布特性进行加权融合，通过对比各对特征点的相似度实现特征匹配，并剔除异常匹配点对。
17.3.有益效果
18.采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
19.(1)鉴于现有的多数基于特征的图像匹配方法采用特征点的局部信息构造特征描述符，而如此构造的描述符会因为图像局部信息差异，导致特征误匹配的问题，本发明提供的一种基于多特征相似度融合的红外和可见光图像匹配方法，同时提取特征点的piifd特征描述符和全局上下文特征描述符，通过对其相似度进行加权融合实现特征点匹配，有效克服图像局部灰度差异对特征描述的影响。此外，本发明还根据特征点的位置分布特性设计相似度加权融合方法，极大地提升了匹配算法对红外和可见光图像之间尺度变化的鲁棒性。
20.(2)本发明提供的一种基于多特征相似度融合的红外和可见光图像匹配方法，利
用计算的特征描述参数对piifd特征描述符和全局上下文特征描述符进行修正，改善了特征描述符计算的准确性，进一步地提升了图像匹配的准确性。
21.(3)本发明提供的一种基于多特征相似度融合的红外和可见光图像匹配方法，设计的相似度加权融合方法对各特征点对的相似度加权系数的计算方式相同，可由计算机进行重复运算，无需人工调整，计算方法简单，节省了调整所需的时间，极大地提高了运算效率。
附图说明
22.图1为本发明方法红外和可见光图像匹配的流程框图；
23.图2为本发明合成矢量计算方法的示意图；
24.图3为本发明全局上下文特征描述符的构造示意图。
具体实施方式
25.鉴于现有的多数基于特征的图像匹配方法采用特征点的局部信息构造特征描述符，由于成像机理的不同，红外和可见光图像的局部信息存在较大差异，导致现有方法构造的描述符受图像局部信息差异的影响较大，并且在实际应用中，红外和可见光图像往往具有不同的成像分辨率，而现有的特征匹配方法对红外和可见光图像之间的尺度变化缺乏足够的鲁棒性，导致图像匹配的准确率不高的问题，本发明提供了一种基于多特征相似度融合的红外和可见光图像匹配方法，同时提取特征点的piifd特征描述符和全局上下文特征描述符，通过对其相似度进行加权融合实现特征点匹配，有效克服图像局部灰度差异对特征描述的影响。此外，根据特征点的位置分布特性设计相似度加权融合方法，极大地提升了匹配算法对红外和可见光图像之间尺度变化的鲁棒性。
26.为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
27.实施例
28.结合图1
‑
图3，本实施例的一种基于多特征相似度融合的红外和可见光图像匹配方法，包括以下步骤：
29.步骤1、分别对参考图像和待匹配图像进行轮廓检测，并提取轮廓上的显著角点作为特征点：
30.步骤1
‑
1、采用canny算法对图像进行边缘检测，对检测到的边缘像素进行跟踪以实现轮廓检测，记检测到的轮廓集合为：
[0031][0032]
其中，γ
s
为集合中第s个轮廓，n
s
为集合中轮廓的个数，为轮廓γ
s
上的第i个轮廓点。
[0033]
步骤1
‑
2、采用曲率尺度空间算法提取轮廓上的显著角点作为特征点。
[0034]
步骤2、对于两幅图像中的每一个特征点，分别利用该点及其左右轮廓点的坐标计算特征点的主方向。
[0035]
特征点主方向计算的具体过程为：
[0036]
步骤2
‑
1、设和为轮廓γ
s
上连续的三个特征点，为了计算特征点的主方向，首先计算出该特征点与其左右轮廓点形成的合成矢量如下：
[0037][0038]
其中，n
t
＝min(d
l
,d
r
)，d
l
为从特征点到其左侧特征点所经历的轮廓点的个数，d
r
为从特征点到其右侧特征点所经历的轮廓点的个数，v
t
为第t对左右轮廓点形成的合成矢量，和分别为特征点和的坐标。
[0039]
步骤2
‑
2、对步骤2
‑
1中得到的合成矢量进行累加可得：
[0040][0041]
其中，x
sk
和y
sk
为矢量v
sk
中的元素值。
[0042]
步骤2
‑
3、矢量v
sk
的方向设置即为特征点的主方向，其值为：
[0043][0044]
其中，为特征点的主方向。
[0045]
步骤3、对于两幅图像中的每一个特征点，确定该点的特征描述参数，并构造其piifd特征描述符：
[0046]
步骤3
‑
1、将步骤1提取出图像中的特征点集合记为{c1,c2,
…
,c
n
}，其中，n为图像中检测到的所有特征点的个数。对于其中任一特征点c
i
，选取与其距离最近的n
n
个特征点，记为参数n
n
的值可设置为5～20之间，通过实际试验确定设置参数n
n
为10时可获得最佳匹配效果。对于特征点c
i
的最近邻点集合其中每一个点与c
i
的欧式距离记为则平均距离可计算为：
[0047][0048]
步骤3
‑
2、对于特征点c
i
，在图像中选取该特征点周围的矩形区域，并且以
特征点c
i
的主方向作为矩形区域方向，构造该特征点的piifd特征描述符。
[0049]
步骤4、对于两幅图像中的每一对特征点，依据该点与其它特征点的位置关系构造其全局上下文特征描述符：
[0050]
步骤4
‑
1、对于特征点集合{c1,c2,
…
,c
n
}中的任一特征点c
j
，其相对于特征点c
i
的相对位置可表示为w
ij
＝(α
ij
,β
ij
)，其中α
ij
为向量与特征点c
i
主方向的夹角，β
ij
为特征点c
j
主方向和特征点c
i
主方向的夹角。对于特征点集合{c1,c2,
…
,c
n
}中的每一个特征点c
j
，计算描述向量w
ij
(j＝1,2,
…
,n；j≠i)。
[0051]
步骤4
‑
2、将α和β的取值范围[0,2π)均匀划分为8个角度区间，由此可计算特征点c
i
的全局上下文特征描述直方图为：
[0052][0053]
其中，为直方图中第k个元素值，bin(k)为第k个角度区间，k为直方图维数。w
j
为特征点c
j
对于特征描述的权重，其数值计算为：
[0054][0055]
其中，d
ij
为特征点c
j
与特征点c
i
之间的欧氏距离。
[0056]
本实施例利用计算的特征描述参数对piifd特征描述符和全局上下文特征描述符进行修正，改善了特征描述符计算的准确性，进一步地提升了图像匹配的准确性。
[0057]
步骤5、对于两幅图像中的每一对特征点，计算两种特征描述符的相似度，根据特征点的位置分布特性进行加权融合，通过对比各对特征点的相似度实现特征匹配，并剔除异常匹配点对。
[0058]
特征点匹配的具体过程为：先初步对两幅图像进行特征点匹配，
[0059]
步骤5
‑
1、对于两幅图像中的一对特征点，计算特征描述符的相似度如下：
[0060][0061]
其中，d1和d2为特征描述符，将该对特征点的piifd特征描述符代入上式可得其局部相似度，记为sim
l
，将其全局上下文特征描述符代入上式可得全局相似度，记为sim
g
。
[0062]
步骤5
‑
2、将特征点对的局部相似度和全局相似度融合如下：
[0063]
s＝(1
‑
γ)sim
l
γsim
g
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0064]
其中，s为特征点对的融合相似度，γ为局部相似度和全局相似度之间的平衡参数，其数值计算如下：
[0065][0066]
其中，(x1,y1)和(x2,y2)分别为参考图像和待匹配图像中该对特征点的坐标，(w1,
h1)和(w2,h2)分别表示两幅图像的尺寸。
[0067]
步骤5
‑
3、根据步骤5
‑
1和步骤5
‑
2计算出参考图像和待匹配图像中所有特征点对的相似度，并采用双向匹配法筛选出两幅图像中对应匹配的特征点对，实现特征点对的初步匹配。
[0068]
再剔除异常匹配点对，获得最终匹配结果：
[0069]
步骤5
‑
4、参考图像和待匹配图像之间的变换关系满足仿射变换模型，根据步骤5
‑
3中的初步匹配结果，采用随机抽样一致算法计算图像之间的转换矩阵，并将初步匹配结果中与转换矩阵所描述的变换关系不符的特征点对进行剔除，得到最终匹配结果。
[0070]
本实施例设计的相似度加权融合方法对各特征点对的相似度加权系数的计算方式相同，可由计算机进行重复运算，无需人工调整，计算方法简单，节省了调整所需的时间，极大地提高了运算效率。
[0071]
本实施例提供的一种基于多特征相似度融合的红外和可见光图像匹配方法，同时提取特征点的piifd特征描述符和全局上下文特征描述符，通过对其相似度进行加权融合实现特征点匹配，有效克服图像局部灰度差异对特征描述的影响。此外，根据特征点的位置分布特性设计相似度加权融合方法，极大地提升了匹配算法对红外和可见光图像之间尺度变化的鲁棒性。
[0072]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。