可见光图像和红外图像的配准融合方法及装置与流程

技术特征：
1.一种可见光图像和红外图像的配准融合方法，应用于配置有可见光摄像头和红外摄像头的设备上，其中，所述可见光摄像头的光轴与所述设备正视图平面垂直，其特征在于，包括：根据所述可见光摄像头与红外摄像头的空间相对位置、转换参数以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。2.根据权利要求1所述的方法，其特征在于，其中，所述配准模型为：其中，a、b、c、d分别为第一、第二、第三和第四转换参数，m、n、d分别为可见光摄像头与红外摄像头的x、y、z轴的空间位置相对距离，和γ分别为可见光摄像头与红外摄像头的光轴的横向夹角和纵向交角，l为目标物距离可见光摄像头的水平距离，(x
vr
，y
vr
)为可见光图像像素坐标，(x
ir
，y
ir
)为红外图像像素坐标。3.根据权利要求2所述的方法，其特征在于，在所述配准模型中可见光摄像头与红外摄像头光轴的横向夹角和纵向交角由以下步骤得到：选取与所述可见光摄像头的水平距离为第一设定距离的第一参照物体；通过可见光摄像头和红外摄像头同时采集所述第一参照物体的图像，并分别测量出所述第一参照物体的相同位置分别在可见光图像和红外图像中的横向长度和纵向长度；根据所述第一设定距离、以及所述第一参照物体的相同位置分别在可见光图像和红外图像中的横向长度和纵向长度在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。4.根据权利要求3所述的方法，其特征在于,通过如下公式标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角γ：其中，l
c
为第一设定距离，l
vr
和w
vr
分别为所述第一参照物体的相同位置在可见光图像中的横向长度和纵向长度，l
ir
和w
ir
分别为所述第一参照物体的相同位置在红外图像中的横向长度和纵向长度。5.根据权利要求3所述的方法，其特征在于，所述配准模型中可见光摄像头与红外摄像头光轴的横向夹角和纵向交角由以下步骤得到：选取与所述可见光摄像头的水平距离为第二设定距离的第二参照物体；调整可见光摄像头的光轴使得所述第二参照物体的相同位置位于可见光图像和红外图像的特定位置；根据所述第二设定距离和所述特定位置的坐标值，在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
6.根据权利要求5所述的方法，其特征在于,通过如下公式标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角γ：其中，l
c
为第二设定距离，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)；或，其中，l
c
为第二设定距离，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(200,100)，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)。7.根据权利要求3或5所述的方法，其特征在于，在标定所述配准模型中所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角之后，还包括：将所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角代入所述配准模型中，建立所述可见光图像与红外图像的高度和宽度映射模型；基于所述目标物体与所述可见光摄像头的多个不同水平距离，建立多组可见光图像中所述目标物体的指定区域的高度与所述目标物体距离所述可见光摄像头的水平距离之间的映射关系。8.根据权利要求7所述的方法，其特征在于，根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合包括：获取可见光图像中所述目标物体的指定区域的中心位置坐标值，以及所述可见光图像中所述目标物体的指定区域的高度和宽度，并根据所述可见光图像中所述目标物体的指定区域的高度和宽度，在所述高度和宽度映射模型中找到所述目标物体与所述可见光摄像头对应的水平距离值；将对应的水平距离值和所述目标物体的指定区域的中心位置坐标值输入到所述配准模型中，计算获得红外图像中所述目标物体的指定区域的中心位置坐标值；将可见光图像中所述目标物体的指定区域的高度和宽度输入到所述高度和宽度映射模型中，计算获得红外图像中所述目标物体的指定区域的高度和宽度；根据所述红外图像中所述目标物体的指定区域的中心位置坐标，以及所述红外图像中所述目标物体的指定区域的高度和宽度，确定所述红外图像中所述目标物体的指定区域。9.根据权利要求8所述的方法，其特征在于，在确定所述红外图像中所述目标物体的指定区域之后，还包括：获取所述红外图像中所述目标物体的指定区域中的最高温度值；将所述温度值标注在可见光图像中所述目标物体的指定区域的指定位置。10.一种可见光图像和红外图像的配准融合装置，位于配置有可见光摄像头和红外摄像头的设备上，其中，所述可见光摄像头的光轴与所述设备正视图平面垂直，其特征在于，包括：配准模型建立模块，用于根据所述可见光摄像头与红外摄像头的空间相对位置、转换
参数、以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；图像融合模块，用于根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至9任一项中所述的方法的步骤。12.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至9任一项中所述的方法的步骤。

技术总结
本发明提供了一种可见光图像和红外图像的配准融合方法和装置，应用于配置有可见光摄像头和红外摄像头的设备上，其中，所述可见光摄像头的光轴与所述设备正视图平面垂直，该方法包括：根据所述可见光摄像头与红外摄像头的空间相对位置、转换参数、以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。在本发明中，通过所建立的配准模型可将配置了双摄像头的设备中的可见光图像的数据和红外图像的数据融合到一个图像中。数据融合到一个图像中。数据融合到一个图像中。


技术研发人员：刘若鹏 栾琳 詹建明
受保护的技术使用者：深圳光启空间技术有限公司
技术研发日：2021.06.08
技术公布日：2022/12/8