基于时空域深度信息补全的红外与可见光图像配准方法

1.本发明属于深度信息补全、相机标定以及图像配准领域，具体涉及一种基于时空域深度信息补全的红外与可见光图像配准方法、系统、设备。


背景技术：

2.图像配准技术在军事侦查、视频监控、多模态融合、遥感信息融合等领域都有重要应用，主要是为多源图像融合提供精确的对齐图像。图像融合技术可以突出目标信息，增强对场景的理解，从而提高多传感器融合系统感知目标的能力。但是如果在融合之前没有对异源图像进行精确配准，则可能会造成融合的结果出现偏差，达不到预设的效果，使得多传感器融合系统感知目标的能力下降。
3.对于红外图像和可见光图像来说，红外图像中关于强度的信息在可见光图像中经常丢失，导致这两种图像配准难度较大。针对双目深度传感相机，可以利用相机的内外参数以及深度信息寻找红外摄像头与可见光摄像头之间的坐标变换关系，从而将红外图像与可见光图像配准对齐。然而，利用相机的内外参数和深度信息配准后的可见光图像在深度信息缺失的地方会产生黑色伪影，这就导致融合后的图像会有黑色空洞产生。基于此，本发明设计了一种基于时空域深度信息补全的红外与可见光图像配准方法。解决了在利用相机标定进行红外与可见光图像配准时产生的黑色伪影以及单帧配准的缺陷，利用补全后的深度信息准确去除黑色伪影实现红外图像与可见光图像多帧快速配准，并为后续的图像增强提供准确的对齐图像。


技术实现要素：

4.为了解决现有技术中的上述问题，即为了解决在利用相机标定进行红外与可见光图像配准时容易产生黑色伪影以及单帧配准速度慢、鲁棒性差的问题，本发明第一方面，提出了一种基于时空域深度信息补全的红外与可见光图像配准方法，应用于双目深度相机，所述双目深度相机包括红外相机、可见光相机；该方法包括：
5.s100，获取深度图像序列，并将所述深度图像序列中的深度图像以n帧为一组；对每组中的深度图像进行运动估计和运动补偿，得到参考帧深度图像与当前帧深度图像之间的残差；基于所述残差，计算残差能量值及残差置信度；其中，n为正整数，所述参考帧图像为每组中任一帧深度图像；
6.s200，利用阈值分割法将参考帧深度图像中的空洞与其他像素分开，生成空洞掩膜，并获取空洞的位置信息；
7.s300，结合所述空洞掩膜，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全；深度信息补全后，将每组中除参考帧深度图像外的各帧深度图像对应的残差能量值及残差置信度进行相乘，并判定相乘的结果是否位于设定的阈值区间，若是，则当前帧深度图像直接复用参考帧深度图像的深度信息进行深度信息补全；否则利用阈值分割法、预设的空洞填充方法对当前帧深度图像进行深度信息补全；
8.s400，对红外相机、可见光相机进行标定，分别获取红外相机、可见光相机的内参和外参，并结合各帧深度图像补全的深度信息，计算可见光相机的图像坐标系与红外相机的图像坐标系之间的变换关系；根据所述变换关系，对红外图像和可见光图像进行配准对齐。
9.在一些优选的实施方式中，所述残差能量值，其获取方法为：
10.对每组中的深度图像进行运动估计，得到参考帧深度图像与当前帧深度图像之间的运动矢量；通过所述运动矢量进行运动补偿，得到每组中参考帧深度图像与当前帧深度图像之间的残差即残差图；其中，n为正整数；
11.对所述残差图上的每一个点的像素值进行求和，得到残差能量值；
[0012][0013]
其中，ci表示残差能量值，表示残差图上的每一点的像素值，(x，y)表示坐标。
[0014]
在一些优选的实施方式中，所述残差置信度，其获取方法为：
[0015]
结合所述运动矢量、所述残差获取当前帧深度图像对应的预测帧深度图像；
[0016]
结合当前帧深度图像及其对应的预测帧深度图像、参考帧深度图像上各点的像素值，计算残差置信度；
[0017]017][0018]
其中，λi表示残差置信度，ik(x，y)、fj(x，y)、分别表示参考帧深度图像、当前帧深度图像、预测帧深度图像上各点的像素值。
[0019]
在一些优选的实施方式中，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全，其方法为：
[0020]
通过预设的第一矩阵对参考帧深度图像进行形态学膨胀处理；处理后，采用预设的第二矩阵对参考帧深度图像中闭合的空像素进行闭运算；
[0021]
结合所述空洞掩膜，采用双边滤波对闭运算后的参考帧深度图像进行空洞填充；
[0022]
通过设定的m*m窗口对空洞填充后的参考帧深度图像进行中值滤波处理，去除空洞填充过程中产生的奇异值，进而得到深度信息补全的参考帧深度图像。
[0023]
在一些优选的实施方式中，采用双边滤波对闭运算后的参考帧深度图像进行空洞填充，其方法为：
[0024][0025][0026]
其中，w(i，j，k，l)表示空间信息权重与灰度信息权重的乘积，p(i，j)表示参考帧深度图像中(i，j)点补全后的深度值，σd表示空间信息权重对应的高斯函数标准差，σr表示灰度信息权重对应的高斯函数标准差，(k，l)表示双边滤波对应的模板窗口的中心坐标点，其对应像素值为f(k，l)，(i，j)表示双边滤波对应的模板窗口的其它系数的坐标，其对应像素值为f(i，j)。
[0027]
在一些优选的实施方式中，可见光相机的图像坐标系与红外相机的图像坐标系之
间的变换关系，其获取方法为：
[0028]
通过标定分别获得红外相机的内参k
ir
和可见光相机的内参k
rgb
，获取相机坐标系到图像坐标系的映射关系：
[0029]zn
*p
rgb
＝k
rgb
*p
rgb
[0030]zn
*p
ir
＝k
ir
*p
ir
[0031]
其中，zn表示各帧深度图像补全的深度信息，p
rgb
表示可见光图像的像素坐标点，p
ir
表示红外图像的像素坐标点；
[0032]
通过标定分别获得红外相机的外参r
rgb
、t
rgb
与可见光相机的外参t
ir
、r
ir
，获取红外相机与可见光相机的刚体变换关系为：
[0033][0034]
t
ir2rgb
＝t
rgb-r
ir2rgb
*t
ir
[0035]
其中，r
ir2rgb
、t
ir2rgb
分别表示红外相机与可见光相机两个相机之间的初始的旋转矩阵、平移矩阵；
[0036]
基于所述刚体变换关系，获取红外相机与可见光相机两个相机坐标系下的三维点的转换关系：
[0037]
p
rgb
＝r
ir2rgb
*p
ir
t
ir2rgb
[0038]
其中，p
rgb
表示可见光相机坐标系下的三维坐标点，p
ir
表示红外相机坐标系下的三维坐标点；
[0039]
将所述相机坐标系到图像坐标系的映射关系与红外相机与可见光相机两个相机坐标系下的三维点的转换关系相结合，可以得到如下关系：
[0040][0041]
令t＝k
rgb
*t
ir2rgb
最终得到可见光相机图像坐标系到红外相机图像坐标系的变换关系：
[0042]zn
*p
rgb
＝r*zn*p
ir
t
[0043]
其中，r、t分别表示红外相机与可见光相机两个相机之间的最终的旋转矩阵、平移矩阵。
[0044]
本发明的第二方面，提出了一种基于时空域深度信息补全的红外与可见光图像配准系统，应用于双目深度相机，所述双目深度相机包括红外相机、可见光相机；该系统包括：残差计算模块、阈值分割模块、深度信息补全模块、配准对齐模块；
[0045]
所述残差计算模块，配置为获取深度图像序列，并将所述深度图像序列中的深度图像以n帧为一组；对每组中的深度图像进行运动估计和运动补偿，得到参考帧深度图像与当前帧深度图像之间的残差；基于所述残差，计算残差能量值及残差置信度；其中，n为正整数，所述参考帧图像为每组中任一帧深度图像；
[0046]
所述阈值分割模块，配置为利用阈值分割法将参考帧深度图像中的空洞与其他像素分开，生成空洞掩膜，并获取空洞的位置信息；
[0047]
所述深度信息补全模块，配置为结合所述空洞掩膜，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全；深度信息补全后，将每组中除参考帧深度图像外的各帧深度图像对应的残差能量值及残差置信度进行相乘，并判定相乘的结果是否位于设定的
阈值区间，若是，则当前帧深度图像直接复用参考帧深度图像的深度信息进行深度信息补全；否则利用阈值分割法、预设的空洞填充方法对当前帧深度图像进行深度信息补全；
[0048]
所述配准对齐模块，配置为对红外相机、可见光相机进行标定，分别获取红外相机、可见光相机的内参和外参，并结合各帧深度图像补全的深度信息，计算可见光相机的图像坐标系与红外相机的图像坐标系之间的变换关系；根据所述变换关系，对红外图像和可见光图像进行配准对齐。
[0049]
本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于时空域深度信息补全的红外与可见光图像配准方法。
[0050]
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于时空域深度信息补全的红外与可见光图像配准方法。
[0051]
本发明的有益效果：
[0052]
本发明利用补全后的深度信息准确去除黑色伪影，实现红外图像与可见光图像多帧快速配准，为后续图像增强提供准确的对齐图像。
[0053]
本发明通过标定获取双目深度相机的内外参后，设计了一种利用补全后的深度信息进行红外图像与可见光图像的快速配准方法，能准确去除黑色伪影实现红外图像与可见光图像多帧快速配准，而且只要获得相机标定后的内外参数可推广到任意双目深度相机进行配准应用。解决了在利用相机标定进行红外与可见光图像配准时产生黑色伪影以及单帧配准的缺陷问题，并为后续的图像增强提供准确的对齐图像。
附图说明
[0054]
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本技术的其他特征、目的和优点将会变得更明显。
[0055]
图1是本发明一种实施例的基于时空域深度信息补全的红外与可见光图像配准方法的流程示意图；
[0056]
图2是本发明一种实施例的基于时空域深度信息补全的红外与可见光图像配准系统的框架示意图；
[0057]
图3是本发明一种实施例的基于时空域深度信息补全的红外与可见光图像配准方法的简略示意图；
[0058]
图4是本发明一种实施例的5*5菱形核矩阵的示意图；
[0059]
图5是本发明一种实施例的5*5全核矩阵的示意图；
[0060]
图6是本发明一种实施例的深度信息补全前的9张深度图像的示例图；
[0061]
图7是本发明一种实施例的深度信息补全后的9张深度图像的示例图；
[0062]
图8是本发明一种实施例的9张红外图像的示意图；
[0063]
图9是本发明一种实施例的9张使用原始深度信息和相机标定获得内外参后直接进行红外图像与可见光图像配准的结果示意图；
[0064]
图10是本发明一种实施例的利用补全后的深度信息进行红外图像与可见光图像
配准的结果示意图；
[0065]
图11是本发明一种实施例的适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0066]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0068]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0069]
本发明的基于时空域深度信息补全的红外与可见光图像配准方法，应用于双目深度相机，所述双目深度相机包括红外相机、可见光相机；如图1所示，该方法包括以下步骤：
[0070]
s100，获取深度图像序列，并将所述深度图像序列中的深度图像以n帧为一组；对每组中的深度图像进行运动估计和运动补偿，得到参考帧深度图像与当前帧深度图像之间的残差；基于所述残差，计算残差能量值及残差置信度；其中，n为正整数，所述参考帧图像为每组中任一帧深度图像；
[0071]
s200，利用阈值分割法将参考帧深度图像中的空洞与其他像素分开，生成空洞掩膜，并获取空洞的位置信息；
[0072]
s300，结合所述空洞掩膜，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全；深度信息补全后，将每组中除参考帧深度图像外的各帧深度图像对应的残差能量值及残差置信度进行相乘，并判定相乘的结果是否位于设定的阈值区间，若是，则当前帧深度图像直接复用参考帧深度图像的深度信息进行深度信息补全；否则利用阈值分割法、预设的空洞填充方法对当前帧深度图像进行深度信息补全；
[0073]
s400，对红外相机、可见光相机进行标定，分别获取红外相机、可见光相机的内参和外参，并结合各帧深度图像补全的深度信息，计算可见光相机的图像坐标系与红外相机的图像坐标系之间的变换关系；根据所述变换关系，对红外图像和可见光图像进行配准对齐。
[0074]
为了更清晰地对本发明基于时空域深度信息补全的红外与可见光图像配准方法进行说明，下面结合附图3对本发明方法一种实施例中各步骤进行展开详述。
[0075]
s100，获取深度图像序列，并将所述深度图像序列中的深度图像以n帧为一组；对每组中的深度图像进行运动估计和运动补偿，得到参考帧深度图像与当前帧深度图像之间的残差；基于所述残差，计算残差能量值及残差置信度；其中，n为正整数，所述参考帧图像为每组中任一帧深度图像；
[0076]
在本实施例中，计算残差能量值与残差置信度可作为重要的补全判断依据。其中，残差能量值与残差置信度的计算过程具体如下：
[0077]
s110，通过双目深度相机获取深度图像，构建深度图像序列。将深度图像序列中的深度图像以n(本发明中，n为正整数，n优选设置为9)帧为一组，对每组中的深度图像进行运动估计，得到参考帧深度图像ik(本发明中，参考帧图像为9帧中的任意一帧，本发明中优选为第5帧，其他实施例中，可以根据实际需要进行选取)与当前帧深度图像i
l
之间的运动矢量mvi。通过运动矢量进行运动补偿，得到每组中参考帧深度图像与当前帧深度图像之间的残差即残差图；
[0078]
对所述残差图上的每一个点的像素值进行求和，得到残差能量值ci(简称残差能量，如图3所示)，具体如式(1)所示：
[0079][0080]
其中，ci表示残差能量值，表示残差图上的每一点的像素值，(x，y)表示坐标。
[0081]
s120，结合运动矢量、残差获取当前帧深度图像对应的预测帧深度图像结合当前帧深度图像及其对应的预测帧深度图像、参考帧深度图像上各点的像素值，计算残差置信度λi，具体如式(2)所示：
[0082]082][0083]
其中，λi表示残差置信度，ik(x，y)、fj(x，y)、分别表示参考帧深度图像、当前帧深度图像、预测帧深度图像上各点的像素值。
[0084]
将残差能量值ci与残差置信度λi作为深度图多帧补全的判断依据，通过设立阈值μ，来选择不同的补全规则，进而实现多帧快速补全。
[0085]
s200，利用阈值分割法将参考帧深度图像中的空洞与其他像素分开，生成空洞掩膜，并获取空洞的位置信息；
[0086]
在本实施例中，利用阈值分割法将参考帧深度图像的空洞与其他像素分开，生成空洞掩膜，记录空洞的位置信息。
[0087]
在本发明中为了能够准确的对深度空洞的地方进行填充，获取其位置信息，即将空洞与其他像素点区分开，可设置阈值t，t的选取规则是：若区间[0，t]的像素数量较少，那么可以取这个区间的灰度最大值作为阈值(即在t值的确定中，可以利用灰度直方图统计出像素值数量较少的区间，区间中最大的像素值设为阈值t)，将t与参考帧深度图像中的每一个像素点的灰度值进行比较，生成空洞掩膜，计算公式如下：
[0088][0089]
其中，i(x，y)表示参考帧深度图像上(x，y)点的像素值，m(x，y)表示生成的空洞掩膜。
[0090]
s300，结合所述空洞掩膜，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全；深度信息补全后，将每组中除参考帧深度图像外的各帧深度图像对应的残差能量值及残差置信度进行相乘，并判定相乘的结果是否位于设定的阈值区间，若是，则当前帧深度图像直接复用参考帧深度图像的深度信息进行深度信息补全；否则利用阈值分割法、预设的空洞填充方法对当前帧深度图像进行深度信息补全；
[0091]
在本实施例中，深度信息补全的具体过程如下：
[0092]
s310，通过预设的第一矩阵对参考帧深度图像进行形态学膨胀处理，用于填充最接近有效像素的空像素；处理后，采用预设的第二矩阵对参考帧深度图像中闭合的空像素进行闭运算，用于连接附近的深度值。其中，所述预设的第一矩阵本发明优选为5*5菱形核矩阵，如图4所示，所述预设的第一矩阵本发明优选为5*5全核矩阵，如图5所示。
[0093]
结合空洞掩膜，采用双边滤波对闭运算后的参考帧深度图像进行空洞填充，如公式(4)(5)所示：
[0094][0095][0096]
其中，w(i，j，k，l)表示空间信息权重与灰度信息权重的乘积，p(i，j)表示参考帧深度图像中(i，j)点补全后的深度值，σd表示空间信息权重对应的高斯函数标准差，σr表示灰度信息权重对应的高斯函数标准差，(k，l)表示双边滤波对应的模板窗口的中心坐标点，其对应像素值为f(k，l)，(i，j)表示双边滤波对应的模板窗口的其它系数的坐标，其对应像素值为f(i，j)。
[0097]
最后，通过设定的m*m(本发明中优选设置为5*5)窗口对空洞填充后的参考帧深度图像进行中值滤波处理，去除空洞填充过程中产生的奇异值，进而得到深度信息补全的参考帧深度图像。其中，m为正整数。
[0098]
s320，在对参考帧深度图像进行深度信息补全后，将每组中除参考帧深度图像外的各帧的残差能量值ci与残差置信度λi相乘，并通过设立阈值μ(在本发明中，μ值的范围为(0,1)，需要动态的去选择，当图像中运动的目标较多且运动速度过快时μ取值需要偏小，当图像中静止的目标较多时μ取值需要偏大)来选取不同的补全规则(如图3所示)，若每帧相乘的结果在(-μ，μ)区间内，则当前帧深度图像可直接复用参考帧深度图像的深度信息进行深度信息补全(即直接用参考帧深度图像的深度信息对当前帧深度图像进行深度信息补全)；否则需要利用阈值分割法生成当前帧深度图像的空洞掩膜，并按照s310中所述方法对当前帧深度图像进行空洞填充，定义如下：
[0099][0100]
其中，表示深度信息补全后的深度图像，表示当前帧深度图像的深度补全信息，表示参考帧深度图像的深度补全信息，深度信息补全后的深度图像如图7所示，深度信息补全前的9张深度图像如图6所示。
[0101]
s400，对红外相机、可见光相机进行标定，分别获取红外相机、可见光相机的内参和外参，并结合各帧深度图像补全的深度信息，计算可见光相机的图像坐标系与红外相机的图像坐标系之间的变换关系；根据所述变换关系，对红外图像和可见光图像进行配准对齐。
[0102]
在本实施例中，通过标定分别获得红外相机的内参k
ir
和可见光相机的内参k
rgb
，获取相机坐标系到图像坐标系的映射关系：
[0103]zn
*p
rgb
＝k
rgb
*p
rgb
ꢀꢀ
(7)
[0104]zn
*p
ir
＝k
ir
*p
ir
(8)
[0105]
其中，zn表示各帧深度图像补全的深度信息，p
rgb
表示可见光图像的像素坐标点，p
ir
表示红外图像的像素坐标点；
[0106]
通过标定分别获得红外相机的外参r
rgb
、t
rgb
与可见光相机的外参t
ir
、r
ir
，获取红外相机与可见光相机的刚体变换关系为：
[0107][0108]
t
ir2rgb
＝t
rgb-r
ir2rgb
*t
ir
(10)
[0109]
其中，r
ir2rgb
、t
ir2rgb
分别表示红外相机与可见光相机两个相机之间初始的旋转矩阵、平移矩阵；
[0110]
基于所述刚体变换关系，获取红外相机与可见光相机两个相机坐标系下的三维点的转换关系：
[0111]
p
rgb
＝r
ir2rgb
*p
ir
t
ir2rgb
ꢀꢀ
(11)
[0112]
其中，p
rgb
表示可见光相机坐标系下的三维坐标点，p
ir
表示红外相机坐标系下的三维坐标点；
[0113]
将所述相机坐标系到图像坐标系的映射关系与红外相机与可见光相机两个相机坐标系下的三维点的转换关系相结合，可以得到如下关系：
[0114][0115]
令t＝k
rgb
*t
ir2rgb
最终得到可见光相机图像坐标系到红外相机图像坐标系的变换关系：
[0116]zn
*p
rgb
＝r*zn*p
ir
t
ꢀꢀ
(13)
[0117]
其中，r、t分别表示红外相机与可见光相机两个相机之间的最终的旋转矩阵、平移矩阵。
[0118]
在本发明中，双目深度相机优选为realsense相机。得到深度补全的信息后，通过标定获取到realsense相机的内参和外参，标定后的内参数据为：标定获取到realsense相机的内参和外参，标定后的内参数据为：两个相机之间的旋转和平移矩阵为：和平移矩阵为：之后利用内参和外参以及补全后的深度信息可以将可见光图像信息转移到相对应的红外图像坐标，从而对红外图像和可见光图像进行配准对齐。相机最终的旋转和平移矩阵数据为：行配准对齐。相机最终的旋转和平移矩阵数据为：
[0119]
配准对齐结果如图8、9、10所示，图8为9张红外图像，图9为9张使用原始深度信息和相机标定获得内外参后直接进行红外与可见光图像配准的结果，可以看到配准后的图像中深度缺失的地方会产生黑色伪影；图10为利用补全后的深度信息进行配准，配准后的伪影基本消失，并与红外图像对齐，为后续的图像增强提供准确的对齐图像。
[0120]
另外，需要说明的是，本发明的配准方法不仅仅适用于realsense相机，对于其它
双目深度相机，只要获得相机标定后的内外参数，即可将此方法应用，使获得的红外图像和可见光图像配准对齐。
[0121]
本发明第二实施例的一种基于时空域深度信息补全的红外与可见光图像配准系统，应用于双目深度相机，所述双目深度相机包括红外相机、可见光相机；如图2所示，该系统包括：残差计算模块100、阈值分割模块200、深度信息补全模块300、配准对齐模块400；
[0122]
所述残差计算模块100，配置为获取深度图像序列；对所述深度图像序列中的深度图像进行运动估计和运动补偿，得到参考帧深度图像与当前帧深度图像之间的残差；基于所述残差，计算残差能量值及残差置信度；
[0123]
所述阈值分割模块200，配置为利用阈值分割法将参考帧深度图像中的空洞与其他像素分开，生成空洞掩膜，并获取空洞的位置信息；
[0124]
所述深度信息补全模块300，配置为结合所述空洞掩膜，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全；深度信息补全后，将每组中除参考帧深度图像外的各帧深度图像对应的残差能量值及残差置信度进行相乘，并判定相乘的结果是否位于设定的阈值区间，若是，则当前帧深度图像直接复用参考帧深度图像的深度信息进行深度信息补全；否则利用阈值分割法、预设的空洞填充方法对当前帧深度图像进行深度信息补全；
[0125]
所述配准对齐模块400，配置为对红外相机、可见光相机进行标定，分别获取红外相机、可见光相机的内参和外参，并结合各帧深度图像补全的深度信息，计算可见光相机的图像坐标系与红外相机的图像坐标系之间的变换关系；根据所述变换关系，对红外图像和可见光图像进行配准对齐。
[0126]
需要说明的是，上述实施例提供的基于时空域深度信息补全的红外与可见光图像配准系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0127]
本发明第三实施例的一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于时空域深度信息补全的红外与可见光图像配准方法。
[0128]
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于时空域深度信息补全的红外与可见光图像配准方法。
[0129]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0130]
下面参考图11，其示出了适于用来实现本技术方法、系统、装置实施例的服务器的计算机系统的结构示意图。图11示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0131]
如图11所示，计算机系统包括中央处理单元(cpu，central processing unit)
1101，其可以根据存储在只读存储器(rom，read only memory)1102中的程序或者从存储部分1108加载到随机访问存储器(ram，random access memory)1103中的程序而执行各种适当的动作和处理。在ram 1103中，还存储有系统操作所需的各种程序和数据。cpu 1101、rom 1102以及ram 1103通过总线1104彼此相连。输入/输出(i/o，input/output)接口1105也连接至总线1104。
[0132]
以下部件连接至i/o接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan(局域网，local area network)卡、调制解调器等的网络接口卡的通讯部分1109。通讯部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
[0133]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(cpu)1101执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0134]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务
提供商来通过因特网连接)。
[0135]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0136]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0137]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0138]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。