一种红外图像与可见光图像配准方法与流程

摘要: 本发明涉及图像处理,具体为一种红外图像与可见光图像配准方法。背景技术:1、由于可见光与红外传感器在成像机理、光谱响应及几何视角等方面存在本质差异,所获取图像之间...
一种红外图像与可见光图像配准方法与流程

本发明涉及图像处理,具体为一种红外图像与可见光图像配准方法。

背景技术:

1、由于可见光与红外传感器在成像机理、光谱响应及几何视角等方面存在本质差异,所获取图像之间普遍存在非线性空间偏移,难以直接融合。传统配准方法多依赖于sift、surf等低层纹理特征,在单模态场景下效果良好,但在跨模态条件下,红外图像纹理匮乏且与可见光图像间辐射差异显著,导致特征点重复率低、匹配鲁棒性不足。为此,本发明旨在提出一种不依赖低层纹理特征、充分利用语义信息的高效配准方法,以满足数据中心智能巡检、电力设备在线诊断及无人机遥感探测等典型应用场景的需求,具有良好的工程适用性与推广价值。

技术实现思路

1、本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。

2、为解决上述技术问题,根据本发明的一个方面,本发明提供了如下技术方案:

3、一种红外图像与可见光图像配准方法,包括以下步骤:

4、s1:输入两组数据,包括可见光图像和红外图像;

5、s2:分别对两种模态图像进行目标检测,获得物品的边界框、可见光图像语义点集和红外图像语义点集合;

6、s3:根据可见光图像中物品的语义标签和红外图像中物品的语义标签,建立两种图像中的物品匹配关系;

7、s4:将可见光图像物品中心点坐标转换到红外图像坐标系中,得到可见光图像上物品中心点的缩放坐标和可见光图像上物品中心点的坐标;

8、s5:设可见光图像和红外图像中均有n个匹配的物品,,遍历所有四点点组,用多边形面积公式计算每组四点在可见光图中的凸包面积,选出最大面积,得到该面积对应的可见光四点及其匹配的红外四点;

9、s6:可见光图像与红外图像中的匹配特征点满足透视映射关系,采用单应性矩阵对该透视映射关系进行表征,选取四组匹配物品中心点建立对应关系式,联立所得关系式构成方程组,以此求解单应性矩阵内的八个参数;

10、s7:依据单应性矩阵,将可见光图像上任意像素点映射至红外图像并得到对应的像素坐标,各坐标分别代表像素点在可见光图像与红外图像对应坐标轴方向上的位置。

11、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述s1中,可见光图像表示为,红外图像表示为,其中,表示在图像x轴方向上的像素索引,表示在图像y轴方向上的像素索引;所述可见光图像尺寸为,表示可见光图像的长度,表示可见光图像的宽度;所述红外图像尺寸为,表示红外图像的长度,表示红外图像的宽度。

12、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述s2中物品的边界框表示为:

13、

14、其中,i表示物品索引,,表示物品区域在图像x轴方向上的最小值,表示物品区域在图像x轴方向上的最大值,表示物品区域在图像y轴方向上的最小值,表示物品区域在图像y轴方向上的最大值。

15、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述可见光图像语义点集和红外图像语义点集合的获取方法为,物品中心点坐标定义为:

16、

17、其中,中心点的横坐标,中心点的纵坐标;

18、在对可见光图像和红外图像进行目标检测后,获得可见光图像语义点集合,以及红外图像语义点集合,其中,表示可见光图像上的第个语义,表示红外图像上的第个语义。

19、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述s3中两种图像中的物品匹配关系表示为,其中,表示可见光图像中物品的语义标签,表示红外图像中物品的语义标签;语义标签对应可见光图像中物品位置中心坐标,语义标签对应红外图像中物品位置中心坐标,其中,为物品在可见光图像x轴方向上的坐标,为物品在可见光图像y轴方向上的坐标,为物品在红外图像x轴方向上的坐标,为物品在红外图像y轴方向上的坐标。

20、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述s4的具体方法为,x轴方向上的缩放因子以及y轴方向上的缩放因子:

21、

22、

23、通过缩放因子,得到可见光图像上物品中心点的缩放坐标,为物品中心点在可见光图像x轴方向上的坐标,为物品中心点在可见光图像y轴方向上的坐标:

24、

25、

26、进而能够得到归一化后,可见光图像上物品中心点的坐标为:

27、。

28、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述s5的具体方法为,在可见光图像中,取任意四个匹配的物品,这四个匹配的物品对应着四个可见光图像中的物品中心点、、、,这4个物品中心点按照顺时针排列后,4个顶点为、、、,这些顶点组成的凸包的面积:

29、

30、其中,顶点的坐标,满足且,用于闭合多边形;

31、在n对匹配物品中任意取4对匹配物品,共有种情况,设任意一种情况下求解的凸包面积为,,则最大的凸包面积为:

32、

33、其中,表示求解最大值公式;

34、对应的可见光图像中4个物品中心点分别为、、、;同时,在红外图像中也有4个匹配的物品中心点、、、。

35、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述s6中,单应性矩阵表示对透视映射关系进行表示,h中;4个匹配的物品中心点满足以下公式:

36、

37、

38、

39、

40、

41、

42、

43、

44、通过联立上述公式,得到由8个方程组成的方程组,通过这个方程组,求解单应性矩h中的8个参数,即、、、、、、、。

45、作为本发明所述的一种红外图像与可见光图像配准方法的一种优选方案,其中,所述s7的具体方法为,根据单应性矩阵h,计算可见光图像上任意像素点映射到红外图像后的坐标为:

46、

47、

48、其中,是像素点在可见光图像x轴方向上的坐标,是像素点在可见光图像y轴方向上的坐标,是像素点在红外图像x轴方向上的坐标,是像素点在红外图像y轴方向上的坐标。

49、与现有技术相比,本发明具有的有益效果是:首先,在特征构建层面,本发明摒弃了传统方法对sift、surf等低层纹理特征的依赖,转而利用目标检测技术提取具有跨模态稳定性的语义中心点作为配准基元,从根本上克服了红外图像与可见光图像之间纹理差异大、边缘响应不一致所导致的特征点难以重复匹配的固有缺陷,显著提升了配准方法在异源图像场景下的鲁棒性与通用性。其次,在变换模型估计层面,本发明提出了基于凸包面积最大化的关键点优选策略,从多组语义对应点中自动遴选空间分布最优的四组对应点用于单应性矩阵求解,有效规避了传统随机采样方法因所选点对共线或局部聚集而引发的几何退化问题,保障了配准参数的数值稳定性与空间泛化能力。此外,本发明不涉及迭代式优化或复杂的学习推理过程,计算开销低,能够满足边缘计算设备及实时处理场景对配准效率的要求。综合而言,本发明兼具跨模态鲁棒性、参数估计精度与计算效率三重优势,可广泛应用于数据中心智能巡检、电力设备在线监测及无人机遥感探测等典型工程场景,具有显著的实用价值与推广前景。