可见光图像和红外图像的配准融合方法及装置与流程

1.本发明涉及图像处理领域，具体而言，涉及一种可见光图像和红外图像的配准融合方法及装置。


背景技术：

2.目前存在很多红外线测温和人脸检测识别设备，这些测温和人脸检测识别设备都是固定式安装设备，其中往往红外摄像头模块与可见光摄像头模块集成在一起，这两种摄像头模块的相对位置和相对角度固定。例如采取双光(红外和可见光或白光)模组设计，由于是双光模组设计上就让两个摄像头模块中心光轴平行固定不发生改变，两个摄像头模块中心的z轴方向的位置相同，纵向(y轴方向)高度相同并且固定，横向(x轴方向)相对位置固定并且距离非常小，或者两个摄像头模块中心纵向(y轴方向)高度相对位置偏差固定，横向(x轴方向)位置相同并且固定。这些固定式的红外线测温和人脸检测识别设备存在以下三个特点:两个摄像头模块中心光轴平行，两个摄像头模块z轴的零点坐标位置相同，y轴的零点坐标位置相同或x轴的零点坐标位置相同。
3.这些特点给两个不同摄像头画面的数据融合提供有利条件，但在产品设计和各种实际解决方案中存红外摄像头、可见光摄像头这两个模块不是设计在同一位置(x、y、z三轴零点坐标位置也不相同)。例如，应用于是穿戴式应用场景，不同高度人穿戴及不同场景应用时常常需要对可见光摄像头或红外摄像头的角度进行调整，而红外摄像头和可见光摄像头这两种摄像头模块往往又不是采用双目模组来实现，从而导致两个摄像头模块中心光轴不平行(存在夹角)，另外两个摄像头模块空间位置的x、y、z三轴的零点坐标位置也不相同。以上这些与这些固定式的红外线测温和人脸检测识别设备的三个特点存在明显的差异，这些差异给穿戴式设备的两个不同摄像头画面的数据融合带来了极大挑战。
4.现有的设备虽然配备有红外摄像头和可见光摄像头，但是没有实现双图像的配准融合，都只能做到在一种摄像头画面进行数据分析处理，设备无法自动将可见光画面的数据和红外画面的数据融合到一个图像中。


技术实现要素：

5.本发明提供了一种可见光图像和红外图像的配准融合方法及装置，以至少解决相关技术中配备有双摄像头的设备无法自动将可见光画面的数据和红外画面的数据融合到一个画面中的问题。
6.根据本发明的一个方面，提供了一种可见光图像和红外图像的配准融合方法，应用于配置有可见光摄像头和红外摄像头的设备上，例如该设备是装有可见光摄像头与红外摄像头的头盔，头盔正前方安装其中一个摄像头，另一个摄像头通过外部挂接形式安装在头盔一侧，使用者佩戴头盔时，两个摄像头朝向前方拍摄，获得与佩戴者接近的视角。但由于两个摄像头的光轴不能保证平行，同时两个摄像头在空间上具有一定的距离，这使得两个摄像头的图像难以“重合”，无法直接在可见光图像上标定出该位置的温度。为此需要将
其图像进行融合操作。
7.在一个可实现的例子中可见光摄像头的光轴与所述设备正视图平面垂直，该方法包括：根据所述可见光摄像头与红外摄像头的空间相对位置、转换参数、以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。
8.在一示例性实施例中，所述配准模型为：
[0009][0010]
其中，a、b、c、d分别为第一、第二、第三和第四转换参数，m、n、d分别为可见光摄像头与红外摄像头的x、y、z轴的空间位置相对距离，和γ分别为可见光摄像头与红外摄像头的光轴的横向夹角和纵向交角，l为目标物距离可见光摄像头的水平距离，(x
vr
，y
vr
)为可见光图像像素坐标，(x
ir
，y
ir
)为红外图像像素坐标。
[0011]
在一示例性实施例中，在根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合之前，标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0012]
在一示例性实施例中，标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角包括：选取与所述可见光摄像头的水平距离为第一设定距离的第一参照物体；通过可见光摄像头和红外摄像头同时采集所述第一参照物体的图像，并分别测量出所述第一参照物体的相同位置在可见光图像和红外图像中的横向长度和纵向长度；根据所述第一设定距离以及所述横向长度和纵向长度在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0013]
在一示例性实施例中，可通过如下公式标定所述配准模型中两摄像头的光轴的横向夹角和纵向交角γ：
[0014][0015]
其中，lc为第一设定距离，l
vr
和w
vr
分别为所述第一参照物体的相同位置在可见光图像中的横向长度和纵向长度，l
ir
和w
ir
分别为所述第一参照物体的相同位置在红外图像中的横向长度和纵向长度。
[0016]
在一示例性实施例中，标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角包括：选取与所述可见光摄像头的水平距离为第二设定距离的第二参照物体；调整可见光摄像头的光轴使得所述第二参照物体的相同位置位于可见光图像和红外图像的特定位置；根据所述第二设定距离和所述特定位置的坐标值，在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0017]
在一示例性实施例中，通过如下公式标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角γ：
[0018][0019]
其中，lc为第二设定距离，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)；
[0020]
或，
[0021]
其中，lc为第二设定距离，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(200,100)，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)。
[0022]
在一示例性实施例中，在标定所述配准模型中所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角之后，还包括以下步骤：将所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角代入所述配准模型中，建立所述可见光图像与红外图像的高度和宽度映射模型；基于所述目标物体与所述可见光摄像头的多个不同水平距离，建立多组可见光图像中所述目标物体的指定区域的高度与所述目标物体距离所述可见光摄像头的水平距离之间的映射关系。
[0023]
在一示例性实施例中，根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合包括：获取可见光图像中所述目标物体的指定区域的中心位置坐标值，以及所述可见光图像中所述目标物体的指定区域的高度和宽度，并根据所述可见光图像中所述目标物体的指定区域的高度和宽度，在所述高度和宽度映射模型中找到所述目标物体与所述可见光摄像头对应的水平距离值；将对应的水平距离值和所述目标物体的指定区域的中心位置坐标值输入到所述配准模型中，计算获得红外图像中所述目标物体的指定区域的中心位置坐标值；将可见光图像中所述目标物体的指定区域的高度和宽度输入到所述高度和宽度映射模型中，计算获得红外图像中所述目标物体的指定区域的高度和宽度；根据所述红外图像中所述目标物体的指定区域的中心位置坐标，以及所述红外图像中所述目标物体的指定区域的高度和宽度，确定所述红外图像中所述目标物体的指定区域。
[0024]
在一示例性实施例中，在确定所述红外图像中所述目标物体的指定区域之后，还包括：获取所述红外图像中所述目标物体的指定区域中的最高温度值；将所述温度值标注在可见光图像中所述目标物体的指定区域的指定位置。
[0025]
根据本发明的另一方面，提供了一种可见光图像和红外图像的配准融合装置，位于配置有可见光摄像头和红外摄像头的设备上，其中，所述可见光摄像头的光轴与所述设备正视图平面垂直，该装置包括：配准模型建立模块，用于根据所述可见光摄像头与红外摄像头的空间相对位置、转换参数、以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；图像融合模块，用于根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。
[0026]
根据本发明的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述方法实施例中的步骤。
[0027]
根据本发明的又一方面，还提供了一种电子装置，该电子装置包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例中的步骤。
[0028]
在本发明的上述实施例中，根据所述可见光摄像头与红外摄像头的空间相对位置、以及目标物体距离所述可见光摄像头的水平距离建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型，并根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合，从而解决了配置了可将光和红外双摄像头的设备无法将可见光图像的数据和红外图像的数据融合到一个画面中的问题。
附图说明
[0029]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0030]
图1是根据本发明实施例的可见光图像和红外图像的配准融合方法的流程图；
[0031]
图2是根据本发明实施例的可见光图像和红外图像的配准融合装置的结构框图；
[0032]
图3是根据本发明实施例的可见光摄像头和红外摄像头水平位置示意图；
[0033]
图4是根据本发明另一实施例的可见光摄像头和红外摄像头水平位置示意图；
[0034]
图5是根据本发明实施例一的可见光图像和红外图像的配准融合方法的流程图；
[0035]
图6是根据本发明实施例二的可见光图像和红外图像的配准融合方法的流程图。
具体实施方式
[0036]
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0037]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0038]
在本实施例中提供了一种可见光图像和红外图像的配准融合方法，应用于配置有可见光摄像头和红外摄像头的设备上，其中，所述可见光摄像头的光轴与所述设备正视图平面垂直。图1是根据本发明实施例的可见光图像和红外图像的配准融合方法的流程图，如图1所示，该流程包括如下步骤：
[0039]
步骤s102，根据所述可见光摄像头与红外摄像头的空间相对位置、以及目标物体距离所述可见光摄像头的水平距离建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；
[0040]
步骤s104，根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。
[0041]
其中，在本实施例的步骤s102中，可建立例如如下的配准模型：
[0042][0043]
其中，a、b、c、d分别为第一、第二、第三和第四转换参数，m、n、d分别为可见光摄像
头与红外摄像头的x、y、z轴的空间位置相对距离，和γ分别为可见光摄像头与红外摄像头的光轴的横向夹角和纵向交角，l为目标物距离可见光摄像头的水平距离，(x
vr
，y
vr
)为可见光图像像素坐标，(x
ir
，y
ir
)为红外图像像素坐标。
[0044]
在本实施例中，该配准模型可用于快速配准融合两个摄像头画面物体的坐标位置。从这个配准模型可得知，配准模型矩阵中的非0项不是固定的值，是目标物离可见光摄像头的水平距离l的函数，是随着目标物离可见光摄像头的水平距离l变化而变化，因此，无法通过选择某一个特定的目标物离可见光摄像头的水平距离场景采集的画面图像来确定配准模型矩阵中的非零项。
[0045]
在本实施例的配准模型的应用前，需要进行标定配准模型中未知的参数，即标定可见光图像与红外图像的配准模型中的两光轴的横向夹角和纵向交角γ。例如，在本实施例中，可通过如下两种方式来标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角：
[0046]
第一种标定方式包括如下步骤：
[0047]
1)选取与所述可见光摄像头的水平距离为第一设定距离的第一参照物体；
[0048]
2)通过可见光摄像头和红外摄像头同时采集所述第一参照物体的图像，并分别测量出所述第一参照物体的相同位置分别在可见光图像和红外图像中的横向长度和纵向长度；
[0049]
3)根据所述第一设定距离、以及所述第一参照物体的相同位置分别在可见光图像和红外图像中的横向长度和纵向长度在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0050]
例如，可通过如下公式标定所述配准模型中两摄像头的光轴的横向夹角和纵向交角γ：
[0051][0052]
其中，lc为第一设定距离，l
vr
和w
vr
分别为所述第一参照物体的相同位置在可见光图像中的横向长度和纵向长度，l
ir
和w
ir
分别为所述第一参照物体的相同位置在红外图像中的横向长度和纵向长度。
[0053]
第二中标定方式包括如下步骤：
[0054]
1)选取与所述可见光摄像头的水平距离为第二设定距离的第二参照物体；
[0055]
2)调整可见光摄像头的光轴使得所述第二参照物体的相同位置位于可见光图像和红外图像的特定位置；
[0056]
3)根据所述第二设定距离和所述特定位置的坐标值，在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0057]
例如，假设特定位置的坐标值x
vr
、y
vr
，x
ir
、y
ir
都为0，根据可见光图像与红外图像的配准模型可计算出两光轴的横向夹角和两光轴纵向交角γ就分别为：
[0058][0059]
例如：假设特定位置的坐标值x
ir
、y
ir
都为0，x
vr
为200、y
vr
为100，根据可见光图像与
红外图像的配准模型可计算出两光轴的横向夹角和两光轴纵向交角γ就分别为：
[0060][0061]
在本实施例中，在标定所述配准模型中所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角之后，还可包括如下步骤：将所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角代入所述配准模型中，建立所述可见光图像与红外图像的高度和宽度映射模型；基于所述目标物体与所述可见光摄像头的多个不同水平距离，建立多组可见光图像中所述目标物体的指定区域的高度与所述目标物体距离所述可见光摄像头的水平距离之间的映射关系。
[0062]
例如，如果将本实施例的配准模型应用于人体的测温场景中，则建立如下的可见光图像与红外图像的高度和宽度映射模型：
[0063][0064]
其中，a、c、γ，n，l都为已知，λ为配置参数,λ范围为0.1《λ≤1。在本实施例中，通过调整λ大小,可以避免人脸以外区域带来的背景温度带来干扰。
[0065]
在本实施例中，步骤s104可包括：获取可见光图像中所述目标物体的指定区域的中心位置坐标值，以及所述可见光图像中所述目标物体的指定区域的高度和宽度，并根据所述可见光图像中所述目标物体的指定区域的高度和宽度，在所述高度和宽度映射模型中找到所述目标物体与所述可见光摄像头对应的水平距离值；将对应的水平距离值和所述目标物体的指定区域的中心位置坐标值输入到所述配准模型中，计算获得红外图像中所述目标物体的指定区域的中心位置坐标值；将可见光图像中所述目标物体的指定区域的高度和宽度输入到所述高度和宽度映射模型中，计算获得红外图像中所述目标物体的指定区域的高度和宽度；根据所述红外图像中所述目标物体的指定区域的中心位置坐标，以及所述红外图像中所述目标物体的指定区域的高度和宽度，确定所述红外图像中所述目标物体的指定区域。
[0066]
在本实施例中，在确定所述红外图像中所述目标物体的指定区域之后，还可包括：获取所述红外图像中所述目标物体的指定区域中的最高温度值；将所述温度值标注在可见光图像中所述目标物体的指定区域的指定位置。
[0067]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0068]
在本实施例中还提供了一种可见光图像和红外图像的配准融合装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0069]
图2是根据本发明实施例的可见光图像和红外图像的配准融合装置的结构框图，
该装置位于配置有可见光摄像头和红外摄像头的设备上，其中，所述可见光摄像头的光轴与所述设备正视图平面垂直，如图2所示，该装置包括配准模型建立模块10和图像融合模块20。
[0070]
配准模型建立模块10，用于根据所述可见光摄像头与红外摄像头的空间相对位置、以及目标物体距离所述可见光摄像头的水平距离建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型。
[0071]
图像融合模块20，用于根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。
[0072]
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。
[0073]
为了便于对本发明所提供的技术方案的理解，下面将结合具体场景实施例进行详细描述。
[0074]
实施例1
[0075]
本实施例提供了一种可见光和红外图像的配准融合方法。该方法应用于配置有可见光摄像头和红外摄像头的设备上。图3和图4均为根据本发明实施例的设备上的可见光摄像头和红外摄像头的水平位置示意图，其中，在图3中示出了设备区域1、红外摄像头2、可见光摄像头3、设备正视图平面水平线4、红外摄像头光轴5、可见光摄像头光轴6、两光轴的横向夹角7。
[0076]
如图3所示，可见光摄像头的光轴6与设备正视图平面垂直，红外摄像头2位于可见光摄像头3的上方，其光轴与设备正视图平面不垂直，而与可见光摄像头的光轴6相交。
[0077]
在图4中示出了设备区域1、红外摄像头2、可见光摄像头3、设备正视图平面水平线4、红外摄像头光轴5、可见光摄像头光轴6、两光轴的横向夹角7。如图4所示，可见光摄像头的光轴6与设备正视图平面垂直，红外摄像头2位于可见光摄像头3的上方，其光轴5与设备正视图平面不垂直，而与可见光摄像头的光轴6相交。
[0078]
如图3和图4所示，在本实施例中可见光摄像头的光轴与设备正视图平面垂直,红外摄像头的光轴与设备正视图平面可以不垂直，两个不同的摄像头画面中的同一物体的相对角度为0(即，画面中同一物体的位置没有发生旋转)。
[0079]
下面将结合采用可见光摄像头和红外摄像头进行测温的场景详细描述本实施例，当然本实施例提供的技术方案也可以应用于其它需图像融合的场景。如图5所示，本实施例提供的可见光和红外图像的配准融合可包括如下步骤：
[0080]
步骤s501，建立可见光图像与红外图像的配准模型。
[0081]
具体地，在本步骤中，可根据可见光和红外两摄像头的x、y、z轴空间位置相对距离m、d、n、水平和垂直视场角、显示分辨率大小、两光轴的横向夹角(即，两摄像头的zoy平面的夹角)、两光轴纵向交角(即，两摄像头的zox平面的夹角)、目标物体距离可见光摄像头的水平距离l这些参数，建立可见光图像与红外图像的如下配准模型：
[0082]
[0083]
其中，a、b、c、d为转换参数，m、n、d是两摄像头的x、y、z轴空间位置相对距离，是已知常数，和γ两个摄像头的光轴的横向夹角与纵向交角，目标物体距离可见光摄像头的水平距离l是变化量。x
vr
和y
vr
是可见光图像像素坐标值，x
ir
和y
ir
是红外图像像素坐标值。
[0084]
在本实施例中，转换参数a、b、c、d可由可见光水平和垂直视场角、红外水平和垂直视场角、红外和可见光显示分辨率大小参数计算获得。例如，
[0085][0086]
其中，w
vr
是可见光摄像头水平显示分辨率，h
vr
是可见光摄像头垂直显示分辨率，w
ir
是红外摄像头水平显示分辨率，h
ir
是红外摄像头垂直显示分辨率，α是可见光摄像头水平视场角，β是可见光摄像头垂直视场角，θ是红外摄像头水平视场角，φ是红外摄像头垂直视场角。
[0087]
步骤s502，标定配准模型中可见光摄像头光轴和红外摄像头的光轴之间的横向夹角和纵向交角。在本实施例中，不用手动调整可见光与红外摄像头，可通过如下方式来标定横向夹角和纵向交角：
[0088]
1)选择一个距离可见光摄像头的水平距离为lc目标物体。例如，lc的选择范围可为[0.3m～7m]；
[0089]
2)可见光与红外摄像头同时采集该目标物体的图像(该目标物体可以是规则的长方体、正方体或者人体某部分，如人的头部)，并且测量出物体相同位置的横向长度和纵向长度。测量方式可以通过设备内置软件自动计算测量，也可以是人工对采集的图像进行手工计算测量，采集的图像方式可以通过与该设备相连接的服务器软件获得，物体可见光图像的横向长度为l
vr
，纵向长度w
vr
，物体红外图像的横向长度为l
ir
，纵向长度w
ir
；
[0090]
3)根据可见光图像与红外图像的配准模型可计算两光轴的横向夹角和两光轴纵向交角γ：
[0091][0092]
步骤s503，建立可见光图像与红外图像的高度和宽度映射模型如下：
[0093][0094]
其中，a、c、γ，n，l都为已知，λ为配置参数,λ范围为0.1《λ≤1。在本实施例中，通过调整λ大小,可以避免测温应用中，人脸以外区域带来的背景温度带来干扰。
[0095]
在本实施例中，通过建立的高度和宽度映射模型可以进一步快速融合物体的大小比例关系。例如，对于给定距离l的人脸图片中心所在的可见光图像中人脸图片高度h
vr-face
和宽度w
vr-face
，依据可见光图像与红外图像的高度和宽度映射比例模型就可获得h
ir_face
和w
ir_face
，并进一步根据x
ir
、y
ir
、h
ir_face
、w
ir_face
可获取红外图像人脸区域的对应的采集的温度信息。
[0096]
步骤s504，建立一个可见光图像中不同人脸高度对应的范围区间与人脸与可见光摄像头水平距离l的映射表，例如，如表1所示，可将h
vr_face
范围区间划分为多个区间，其中，h
k 1
》hk》h
k-1
》......》h6》h5》h4》h3》h2》h1，l1》l2》l3》l4》......》l
k-2
》l
k-1
》lk。
[0097]
表1
[0098]
hvr_facel[h1,h2]l1(h2,h3]l2(h3,h4]l3………………
(h
k-2
,h
k-1
]l
k-2
(h
k-1
,hk]l
k-1
(hk,h
k 1
]lk[0099]
步骤s505，人脸检测模块输出可见光图像中的一个或多个人脸中心位置坐标值(x
vr
，y
vr
)，及人脸框图片的高度h
vr_face
、宽度w
vr_face
，将每个检测出来的人脸图片的高度或宽度在映射模型中找到对应的距离l值，将对应的距离l值和人脸中心位置坐标值(x
vr
，y
vr
)输入到可见光图像与红外图像的配准模型中，计算获得对应红外图像的人脸图片中心位置坐标值(x
ir
，y
ir
)，直到计算完成当前检测出来的多个人对应的红外图像的人脸图片中心位置坐标值(x
vr
，y
vr
)。
[0100]
步骤s506，将每个检测出来的人脸图片的高度和宽度输入到可见光图像与红外图像的高度和宽度映射模型中，计算获得对应人脸图片的高度h
ir_face
和宽度w
ir_face
。
[0101]
步骤s507，根据每个检测出来人脸所对应红外图像的人脸图片中心位置坐标(x
ir
，y
ir
)，人脸图片的高度h
ir_face
和宽度w
ir_face
确定对应的红外图像的区域，从对应的红外图像区域取最高温度记录为对应人员人脸温度，并将各对应人员温度值标注在各对应人脸可见光画面人脸框周围或人脸框内。
[0102]
通过本实施例的上述步骤，解决了可见光摄像头与红外摄像头存在中心光轴不平行(两光轴横向存在交角，两光轴纵向也存在交角)、两个摄像头x轴、y轴、z轴方向的位置都不相同情况下的图像配准融合问题，并且进一步解决了测温场景应用中，人脸周围环境温度异常导致对人脸温度检测干扰问题。
[0103]
当将本实施例的方法应用于测温场景中，在可见光画面检测到多个人脸所在位置及区域范围数据时，可快速准确获得所有检测出来的人脸在红外画面所对应的人脸范围,进一步准确获取所对应人脸范围的人脸温度数据,可以完全解决人脸周围环境温度异常导致对人脸温度检测的干扰问题,大大提高人脸温度的检测效率和准确率。
[0104]
实施例2
[0105]
本实施例提供了另一种可见光和红外图像配准融合方法,该方法可应用于配置有可见光摄像头和红外摄像头的设备上。在本实施例中，可见光摄像头和红外摄像头的空间位置关系可参见图3和图4。
[0106]
如图3和图4所示，在本实施例中可见光摄像头的光轴与设备正视图平面垂直,红外摄像头的光轴与设备正视图平面可以不垂直，两个不同的摄像头画面中的同一物体的相对角度为0(即，画面中同一物体的位置没有发生旋转)。
[0107]
下面将结合采用可见光摄像头和红外摄像头对多人进行测温的场景详细描述本
实施例，当然本实施例提供的技术方案也可以应用于其它需图像融合的场景。如图6所示，该拍摄场景为装配有可见光摄像头和红外摄像头的头盔对头盔前方的人脸进行拍摄，本实施例提供的可见光和红外图像的配准融合可包括如下步骤：
[0108]
步骤s601，建立可见光图像与红外图像的配准模型。
[0109]
具体地，在本步骤中，可根据可见光和红外两摄像头的x、y、z轴空间位置相对距离为m、d、n、水平和垂直视场角、显示分辨率大小，两光轴的横向夹角(即，两摄像头的zoy平面的夹角)、两光轴纵向交角(即，两摄像头的zox平面的夹角)、目标物体距离可见光摄像头的水平距离l这些参数，建立可见光图像与红外图像的如下配准模型：
[0110][0111]
其中，a、b、c、d为转换参数，m、n、d是两摄像头的x、y、z轴空间位置相对距离，是已知常数，和γ是两个摄像头的光轴的横向夹角与纵向交角，目标物体距离可见光摄像头的水平距离l是变化量。x
vr
和y
vr
是可见光图像像素坐标值，x
ir
和y
ir
是红外图像像素坐标值。
[0112]
在本实施例中，转换参数a、b、c、d可由可见光水平和垂直视场角、红外水平和垂直视场角、红外和可见光显示分辨率大小参数计算获得。例如，
[0113][0114]
其中，w
vr
是可见光摄像头水平显示分辨率，h
vr
是可见光摄像头垂直显示分辨率，w
ir
是红外摄像头水平显示分辨率，h
ir
是红外摄像头垂直显示分辨率，α是可见光摄像头水平视场角，β是可见光摄像头垂直视场角，θ是红外摄像头水平视场角，φ是红外摄像头垂直视场角。
[0115]
步骤s602，标定配准模型中可见光摄像头光轴和红外摄像头的光轴之间的横向夹角和纵向交角。在本实施例中，提供了另外一种配准模型中的横向夹角和纵向交角的标定方式，具体地，可包括如下步骤：
[0116]
1)选择一个距离可见光摄像头的水平距离为lc物体。例如，lc的选择范围可为[0.3m～7m]；
[0117]
2)调整可见光摄像头的光轴使得该物体或人体相同的位置位于可见光画面和红外画面特定的位置，特定位置在可见光画面和红外画面都用一个标记符显示出来(例如十字线或其它标记图像)，例如：x
ir
、y
ir
都为0，x
vr
为200、y
vr
为100；
[0118]
3)根据可见光图像与红外图像的配准模型可计算出两光轴的横向夹角和两光轴纵向交角γ就分别为：
[0119][0120]
本实施例的特定位置可以灵活选择，例如，在另一实施例中，x
vr
、y
vr
，x
ir
、y
ir
都为0，根据可见光图像与红外图像的配准模型可计算出两光轴的横向夹角和两光轴纵向交角γ分别为：
[0121][0122]
步骤s603，建立可见光图像与红外图像的高度和宽度映射模型如下：
[0123][0124]
其中，a、c、γ，n，l都为已知，λ为配置参数,λ范围为0.1《λ≤1。通过调整λ大小,可以避免人脸以外区域带来的背景温度带来干扰。
[0125]
在本实施例中，通过建立的高度和宽度映射模型可以进一步快速融合物体的大小比例关系。例如，对于给定距离l的人脸图片中心所在的可见光图像中人脸图片高度h
vr-face
和宽度w
vr-face
，依据可见光图像与红外图像的高度和宽度映射比例模型就可获得h
ir_face
和w
ir_face
，并进一步根据x
ir
、y
ir
、h
ir_face
和w
ir_face
可获取红外图像人脸区域的对应的采集的温度信息。
[0126]
步骤s604，建立一个可见光图像中不同人脸高度对应的范围区间与人脸与可见光摄像头水平距离l的映射表，例如，如表1所示，可将h
vr_face
范围区间划分为多个区间，其中，hk 1》hk》hk-1》......》h6》h5》h4》h3》h2》h1，l1》l2》l3》l4》......》lk-2》lk-1》lk。
[0127]
表1
[0128]
hvr_facel[h1,h2]l1(h2,h3]l2(h3,h4]l3
………………
(hk-2,hk-1]lk-2(hk-1,hk]lk-1(hk,hk 1]lk
[0129]
步骤s605，人脸检测模块输出可见光图像中的一个或多个人脸中心位置坐标值(x
vr
，y
vr
)，及人脸框图片的高度h
vr_face
、宽度w
vr_face
，将每个检测出来的人脸图片的高度或宽度在映射模型中找到对应的距离l值，将对应的距离l值和人脸中心位置坐标值(x
vr
，y
vr
)输入到可见光图像与红外图像的配准模型中计算获得对应红外图像的人脸图片中心位置坐标值(x
ir
，y
ir
)，直到计算完成当前检测出来的多个人对应的红外图像的人脸图片中心位置坐标值(x
vr
，y
vr
)。
[0130]
步骤s606，将每个检测出来的人脸图片的高度和宽度输入到可见光图像与红外图像的高度和宽度映射模型中，计算获得对应人脸图片的高度h
ir_face
和宽度w
ir_face
。
[0131]
步骤s607，根据每个检测出来人脸所对应红外图像的人脸图片中心位置坐标(x
ir
，y
ir
)，人脸图片的高度h
ir_face
和宽度w
ir_face
确定对应的红外图像的区域，从对应的红外图像区域取最高温度记录为对应人员人脸温度，并将各对应人员温度值标注在各对应人脸可见光画面人脸框周围或人脸框内。
[0132]
通过本实施例的上述步骤，解决了可见光摄像头与红外摄像头存在中心光轴不平
行(两光轴横向存在交角，两光轴纵向也存在交角)、两个摄像头x轴、y轴、z轴方向的位置都不相同情况下的图像配准融合问题，并且进一步解决了测温场景应用中，人脸周围环境温度异常导致对人脸温度检测干扰问题。
[0133]
本实施例提供的技术方案可以解决穿戴式设备中可见光摄像头与红外摄像头存在中心光轴不平行、两个摄像头x轴、y轴、z轴方向的位置都不相同情况下的图像配准融合问题，解决测温场景应用中，人脸周围环境温度异常导致对人脸温度检测干扰问题。当本实施例提供的技术方案应用于当可见光画面检测到多个人脸所在位置及区域范围数据时，快速准确获得所有检测出来的人脸在红外画面所对应的人脸范围,进一步准确获取所对应人脸范围的人脸温度数据,可以完全解决人脸周围环境温度异常导致对人脸温度检测的干扰问题,大大提高人脸温度的检测效率和准确率。另外，本实施例提供的图像配准融合模型的标定过程简单快捷，避免了大量复杂的计算资源消耗，本实施例提供的图像配准融合模型相对于其它需要更多计算资源支撑图像融合算法所需计算资源更少，效率更高。
[0134]
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
[0135]
可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0136]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0137]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。