一种双光图像匹配融合方法及系统与流程

1.本发明属于图像处理、人工智能技术领域，涉及一种双光图像匹配融合方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.目前变电站多采用巡检机器人或固定点摄像机来代替人工对变电站进行安全巡检和监控，克服人工巡检面临的工作量大、危险系数高、效率低和可靠性差等问题，以保障变电站安全运行。
4.当前变电站现场常依靠采集的红外图像或可见光图像对变电站设备进行检测诊断，红外图像中携带电力设备的热辐射信息，可见光图像中携带电力设备的外观信息，通过将二者进行配准、融合处理，实现在一幅图像上显示多源信息。融合后的图像相对于原始图像而言将具有较高的空间分辨率和光谱分辨率，同时能突显多源信息特征和较低的噪声，能便于人眼和机器对设备状态的识别和自动探测分析；另外通过将双光图像进行融合处理，有助于在变电站现场硬件有限的条件下，实现更多路视频的展示和监控。
5.因此，有部分研究学者提出了将双光图像进行融合的技术方案，但均存在一定的问题。例如，中国发明专利cn202111074441.2一种基于多特征相似度融合的红外和可见光图像匹配方法，中国发明专利cn202010848163.0一种基于连线特征一致性的特征匹配方法，中国发明专利cn202111074441.2一种基于多特征相似度融合的红外和可见光图像匹配方法，都在一定程度上提升了匹配的精度。但是也存在算法耗时，不满足实时性的应用要求；不适合变电站所有场景，变电站现场的机器人和固定点摄像机需要定期执行巡检任务，继而导致每次的红外和可见光场景不是固定不变的；需要成像距离等已知信息，不便于现场实施应用，适用性差；目前多数融合算法常依赖手动配准信息，非自动配准，需要人为干预或人为矫正；算法具有随机性，即同一组对的异源图像连续两次的配准结果可能不同等问题。


技术实现要素：

6.本发明为了解决上述问题，提出了一种双光图像匹配融合方法及系统，本发明可以实现在同一路视频中同时突显红外图像中热辐射信息和可见光图像中的设备外观信息，达到双光相机在执行巡检任务时可展示融合后的视频，满足现场不同场景的应用需求。
7.根据一些实施例，本发明采用如下技术方案：
8.一种双光图像匹配融合方法，包括以下步骤：
9.对获取的可见光图像和红外图像进行预处理；
10.提取各预处理后图像的轮廓信息；
11.提取特征点，获取每个特征点的描述子；
12.基于所述描述子信息，对特征点进行初步匹配；
13.对初步匹配结果进行分类，分别从每一类中选取一组匹配点对计算仿射矩阵，将一图像中的若干点通过仿射变换到另一图像中，计算仿射点与原点之间的距离，选取距离低于阈值的匹配点对，直至遍历所有的组对；
14.将红外图像和可见光图像拼接到同一幅图像中，并映射各匹配点，基于匹配点对的坐标、距离和角度信息进行融合比对处理，剔除匹配点对中误匹配的点对；
15.在剩余的匹配点对中选择最佳匹配点对；
16.基于最佳匹配点对，对双光图像进行仿射变换、配准处理；
17.基于配准结果，分别对配准区域的红外图像和可见光图像进行后处理；
18.将后处理后的红外图像中的非设备区域的特征融合到后处理后的可见光图像中，实现图像融合。
19.作为可选择的实施方式，进行预处理的具体过程包括将可见光图像和红外图像灰度化以获取相应的灰度图，然后基于图像的最小高度对红外图像和可见光图像的尺寸进行归一化处理。
20.作为可选择的实施方式，提取各预处理后图像的轮廓信息时，利用边缘检测算法分别对预处理后的可见光图像和红外图像进行二值化。
21.作为可选择的实施方式，获取每个特征点的描述子时，需要计算图像目标区域的质心来修正特征点的主方向。
22.作为可选择的实施方式，初步匹配过程中，采用bbf算法对特征点进行初步匹配，基于尺度不变、倾斜角度一致性的特征对bbf算法的匹配结果进行再次匹配矫正。
23.作为可选择的实施方式，从每一类中选取一组匹配点的选取方式是通过随机组对的方式实现的。
24.作为可选择的实施方式，剔除匹配点对中误匹配的点对的具体过程包括在已知匹配点对在拼接图像中的坐标信息的基础上，首先计算每一个匹配点对间的距离，获取平均距离，通过与平均距离进行比较剔除差值大于阈值的错误匹配点对；然后再计算剩余匹配点对间连线的斜率，剔除斜率差值大于斜率阈值的错误匹配点对；最后获取匹配正确的点对。
25.作为可选择的实施方式，在剩余的匹配点对中选择最佳匹配点对的具体过程包括利用聚类方法，将匹配点对进行分类，通过分别从不同类点中选取一个点组成三角形，选取内接圆面积最大的一组作为最佳匹配点对。
26.作为可选择的实施方式，对红外图像的后处理过程包括对配准区域的红外图像进行灰度化、二值化、单通道转三通道和腐蚀处理，再进行膨胀、取非、与腐蚀和与膨胀处理。
27.作为可选择的实施方式，对可见光图像的后处理过程包括采样重建处理和与、锐化处理。
28.一种双光图像匹配融合系统，包括：
29.预处理模块，被配置为对获取的可见光图像和红外图像进行预处理；
30.特征提取模块，被配置为提取各预处理后图像的轮廓信息，提取特征点，获取每个特征点的描述子；
31.初步匹配模块，被配置为基于所述描述子信息，对特征点进行初步匹配；
32.仿射变换模块，被配置为对初步匹配结果进行分类，分别从每一类中选取一组匹配点对计算仿射矩阵，将一图像中的若干点通过仿射变换到另一图像中，计算仿射点与原点之间的距离，选取距离低于阈值的匹配点对，直至遍历所有的组对；
33.剔除模块，被配置为将红外图像和可见光图像拼接到同一幅图像中，并映射各匹配点，基于匹配点对的坐标、距离和角度信息进行融合比对处理，剔除匹配点对中误匹配的点对；
34.最佳匹配点选择模块，被配置为在剩余的匹配点对中选择最佳匹配点对，基于最佳匹配点对，对双光图像进行仿射变换、配准处理；
35.后处理模块，被配置为基于配准结果，分别对配准区域的红外图像和可见光图像进行后处理；
36.融合模块，被配置为将后处理后的红外图像中的非设备区域的特征融合到后处理后的可见光图像中，实现图像融合。
37.与现有技术相比，本发明的有益效果为：
38.本发明创新地提供了一种利用多维信息特征的双光图像匹配融合方法，能够摆脱手动配准的束缚，能够克服因不同品牌双光相机参数的不同导致的复杂应用环境，提高不同分辨率，不同通道数、不同场景的双光图像的配准率，提升算法效率，满足实时性，实现在同一路视频中同时突显红外图像中热辐射信息和可见光图像中的设备外观信息，达到双光相机在执行巡检任务时可实时展示融合后的视频，满足现场不同场景的应用需求。
39.本发明创新地提出了利用聚类算法对匹配点对进行分类、仿射矩阵先验信息可以缩短算法的循环次数，有效缩短耗时，提升算法效率，通过仿射矩阵先验信息、3-means分类、距离、角度、内接圆面积等多维信息的有机融合可以有效剔除错误匹配点对，快速高效的筛选出最佳匹配点对，同时提高图像匹配融合效果，通过对可见光图像进行基于拉普拉斯金字塔的多尺度图像处理、红外图像二值化、腐蚀、锐化等处理提取非设备区域特征后进行融合，可以突显红外图像中的热辐射信息和可见光中的外观信息。
附图说明
40.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
41.图1是双光图像匹配融合方法总流程图；
42.图2是双光图像匹配算法流程图；
43.图3是双光图像融合算法流程图。
具体实施方式
44.下面结合附图与实施例对本发明作进一步说明。
45.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
46.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
47.如图1所示，双光图像匹配融合方法，主要包括双光图像匹配和融合两个大部分。双光图像的融合是基于双光图像匹配过程的，且利用双光图像匹配中最佳匹配点对实现。
48.下面开始具体的介绍。
49.首先，介绍图像的匹配。
50.具体包括：
51.步骤1，图像预处理，首先将可见光图像和红外图像灰度化以获取灰度图，然后基于图像的最小高度对红外图像和可见光图像的尺寸进行归一化处理；
52.本步骤中所提到的最小高度指的是红外图像的高度、可见光图像的高度中高度最小的那个，距离说明，如果红外图像高度小于可见光图像高度，就用红外图像高度来归一化可见光图像的尺寸
53.步骤2，利用canny或sobel边缘检测算法对归一化处理后的红外图像和可见光图像进行二值化，以获取图像中的轮廓信息；
54.步骤3，采用sift算法提取特征点，并通过计算图像目标区域的质心来修正特征点的主方向；最后获取每个特征点的描述子；
55.采用sift特征提取算法进行尺度空间极值检测、特征点提取、计算主方向，最后获取每个特征点的描述子；
56.步骤4，基于特征点描述子信息，首先采用bbf算法对特征点进行初步匹配，然后基于尺度不变特性和倾斜角度一致特性的特征对bbf算法的匹配结果进行再次匹配矫正；
57.即基于bbf算法进行粗匹配的结果，再根据匹配点对具有的尺度不变特性和倾斜角度一致特性对粗匹配结果进行错误匹配点对的剔除；
58.步骤5，采用k-means算法将匹配点对进行3分类，然后采用随机组对的方式分别从每一类中选取一组匹配点对计算仿射矩阵，通过仿射矩阵中旋转参数选取旋转系数小的匹配点对，然后将图像a中的三个点通过仿射变换到图像b中，最后通过计算仿射点与原点之间的距离，选取距离低于阈值的匹配点对，直至遍历所有的组对。通过对匹配点对进行k-means分类、利用先验信息(旋转系数)筛选匹配点对可以大大缩短算法时间，提升算法效率。
59.如果图像a是红外图像，则图像b是可见光图像；如果图像a是可见光图像，则图像b是红外图像。
60.k均值聚类算法(k-means)是一种迭代求解的聚类分析算法，其步骤是，预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给他们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某一个终止条件，终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
61.当然，在其他实施例中，可以选用其他聚类算法。
62.步骤6，将红外图像和可见光图像拼接到同一幅图像中，同时两幅图像的匹配点对做相应的映射；
63.经过前面步骤的处理，即在已知匹配点对在拼接图像中的坐标信息的基础上，首先计算每一个匹配点对间的距离，获取平均距离，通过与平均距离进行比较剔除差值大于阈值的错误匹配点对；然后再计算剩余匹配点对间连线的斜率，剔除斜率差值大于斜率阈值的错误匹配点对；最后获取匹配正确的点对。
64.通过该步骤可以有效剔除错误的匹配点对。
65.图像的融合过程包括：
66.步骤7，基于3-means聚类方法将匹配点对进行3分类，通过分别从3类点中选取1个点组成三角形，选取内接圆面积最大的一组作为最佳匹配点对；通过3-means分类，可以提升算法效率，缩短耗时，同时采用内接圆面积参数可以有效选取离散度较大的匹配点对，这将有助于进行图像融合效果；
67.步骤8，基于最佳匹配点对进行配准处理，根据红外图像和可见光图像的尺寸信息，选择图像尺寸小的图像对其进行仿射变换，即将该图像a中的最佳匹配点进行仿射变换到图像b中。
68.步骤9，基于配准结果，对配准区域的红外图像依次进行灰度化、二值化、单通道转3通道、腐蚀等处理，能够更好的提取到红外图像的热辐射特征等有效信息，同时防止无用信息的干扰；
69.对配准区域的可见光图像进行上采样重建处理，能够更好的提取到可见光图像的纹理特征等信息，同时防止无用信息的干扰；
70.步骤10，对与处理后的红外图像进行膨胀、取非、与腐蚀、与膨胀等处理以提取非设备区域的特征；对与处理后的可见光图像进行与、锐化等处理；最后将红外图像中的非设备区域的特征融合到可见光图像中，完成图像融合；通过该步骤可以保留红外图像中的热辐射信息和可见光图像中的外观信息，可实现一幅图像中同时展示双光图像特征。
71.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
72.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
73.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
74.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
75.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
76.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。