一种图像配准方法及装置与流程

1.本技术涉及图像处理领域，尤其涉及一种图像配准方法及装置。


背景技术：

2.随着图像处理技术的发展，人们对图像的质量要求越来越高。通过将多个图像融合，以获取高质量的图像的应用越来越广。
3.例如，在交通抓拍的低照度场景中，使用补光设备进行补光以获取高质量的图像。可以通过不补光的方式，获取体现物体的真实色彩信息的可见光图像，通过红外补光的方式获取红外图像。在该方案中，时分的获取的可见光图像和红外图像，可以将时域相邻的可见光图像和红外图像进行融合得到高质量图像，尽可能的保留了物体的真实色彩信息。
4.例如，在监控场景中，可以通过补强光的方式，获取具有反光表面的物体的内部的真实图像，通过补弱光或者不补光的方式获取具有反光物体的表面的真实图像。在该方案中，时分的获取的补强光图像和补弱光图像，可以将时域相邻的补强光图像和补弱光图像进行融合得到高质量图像，尽可能的保留了物体内外的真实图像。
5.但是，采集图像时不可避免的存在物体的移动或相机的移动，不同图像中指示同一对象的像素会产生像素位移，因此在进行图像融合前，需要先对待融合的图像进行图像配准。而由于不同图像的采集参数不同(比如光谱不同、成像光线不同等)，会产生非常大的纹理差异和颜色差异。因此，现有的通过特征相似估计的配准算法，图像的配准精度不高。


技术实现要素：

6.本技术实施例提供一种图像配准方法及装置，以提高成像光线不同的图像的配准精度。
7.为达到上述目的，本技术实施例采用如下技术方案：
8.第一方面，提供一种图像配准方法，该方法可以包括：获取待配准的第一图像、与该第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像，第一图像和基准第二图像的成像光线不同，基准第二图像与非基准第二图像的成像光线相同；获取每个非基准第二图像与基准第二图像的第一光流；获取每个非基准第二图像对应的光流缩放因子，光流缩放因子用于指示第一光流与第二光流的比例关系；第二光流为待配准的第一图像与基准第二图像间的光流；根据第一光流以及光流缩放因子，确定待配准的第一图像与基准第二图像的第二光流；根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
9.通过本技术提供的图像配准方法，先获取成像光线相同的图像间的光流，将其转换得到成像光线不同的图像间的光流，进而对成像光线不同的图像按照获取的光流配准。由于获取成像光线相同的图像间的光流准确度高，就可以提高转换得到的成像光线不同的图像间的光流的准确度，进而提高了成像光线不同的图像的配准精度。
10.其中，本技术描述的同一对象，可以为人或者物上某一固定的点，或者图像中人或
者物固定的点的像素。或者，本技术描述的同一对象也可以是图像上的人或者物这一整体，当同一对象包括多个像素点时，同一对象的像素的坐标差可以是该对象的所有像素点在两帧图像中的坐标差之和或者所有像素点在两帧图像中的坐标差的简单平均值或加权平均值。
11.拍摄装置(设备)的拍摄原理是通过镜头收集光线，使得光线进入成像传感器，成像传感器根据进入的光线进行成像，得到拍摄的图像。成像光线是指采集图像时，进入成像传感器的光线。成像光线不同可以理解为：成像光线的类型不同，或者，成像光线的强度不同。在实际应用中，进入镜头的光线可以直接进入成像传感器，或者，可以对进入镜头的光线进行处理，处理后的光线则为进入成像传感器的光线。
12.一种可能的实现方式中，上述待配准的第一图像和基准第二图像的补光类型不同，基准第二图像与非基准第二图像的补光类型相同，以提高补光类型不同的图像的配准精度。
13.其中，补光是指对拍摄装置(设备)的环境补充光线。补光类型不同可以指对拍摄装置(设备)的环境补充波长不同或光学频谱上频段不同的光线，使得进入成像传感器的成像光线类型不同。
14.另一种可能的实现方式中，采集第一图像和基准第二图像时进入成像传感器的光线类型不同，采集基准第二图像与非基准第二图像时进入成像传感器的光线类型相同，以提高进入成像传感器的光线类型不同的图像的配准精度。
15.其中，可以对进入镜头的光线进行滤波，得到不同类型的光线进入成像传感器。例如，可以在成像传感器之前设置仅允许红外光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为红外光，以拍摄得到红外图像。可以在成像传感器之前设置仅允许可见光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为可见光，以拍摄得到可见光图像。
16.另一种可能的实现方式中，采集第一图像和基准第二图像时进入成像传感器的光线强度不同，采集基准第二图像与非基准第二图像时进入成像传感器的光线强度相同，以提高进入成像传感器的光线强度不同的图像的配准精度。
17.其中，可以对进入镜头的光线进行衰减或放大，得到不同强度的光线进入成像传感器，进而拍摄得到不同成像光线强度的图像。
18.另一种可能的实现方式中，上述待配准的第一图像为红外光进入成像传感器采集的红外图像，基准第二图像与非基准第二图像为可见光进入成像传感器采集的可见光图像，以提高红外图像向可见光图像的配准精度。
19.另一种可能的实现方式中，上述待配准的第一图像为可见光进入成像传感器采集的可见光图像，基准第二图像与非基准第二图像为红外光进入成像传感器采集的红外图像，以提高可见光图像向红外图像的配准精度。
20.其中，红外光进入成像传感器，可以为对拍摄装置(设备)的环境补红外光实现，或者，可以在成像传感器之前设置仅允许红外光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为红外光。同理，可见光进入成像传感器，可以为对拍摄装置(设备)的环境补可见光或者不补光实现，或者，可以在成像传感器之前设置仅允许可见光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为可见光。
21.另一种可能的实现方式中，上述待配准的第一图像和基准第二图像的补光强度不同，基准第二图像与非基准第二图像的补光强度相同，补光强度决定了成像光线的强度，以提高补光强度不同的图像的配准精度。
22.其中，补光强度不同可以指对拍摄装置(设备)的环境补充不同强度的光线，使得进入成像传感器的成像光线强度不同。
23.另一种可能的实现方式中，上述获取每个非基准第二图像对应的光流缩放因子，包括：获取基准第二图像和待配准的第一图像之间的第一采集时间间隔，以及基准第二图像和每个非基准第二图像之间的第二采集时间间隔；根据第一采集时间间隔、第二采集时间间隔，以及采集设备的参数，确定光流缩放因子。由于图像采集时间间隔的比值可以准确的体现像素位移，因此，可以根据采集时间间隔的确定光流缩放因子，以获取准确度高的光流缩放因子。
24.另一种可能的实现方式中，根据第一采集时间间隔、第二采集时间间隔，以及采集设备的参数，确定光流缩放因子，包括：光流缩放因子sf和第一采集时间间隔δt、第二采集时间间隔δt和采集设备的参数满足如下关系式1：d＝hsinα dcosα。其中，h为采集设备的架设高度，d为采集设备的抓拍距离，α为采集设备光轴与水平面之间的俯仰角度，v为采集设备抓拍的物体移动速度。
25.其中，当待配准第一图像采集的时序上在基准第二图像之后，则关系式1中分母项为负号，当待配准第一图像采集的时序在基准第二图像之前，则关系式1中分母项为正号。当非基准第二图像采集的时序在基准第二图像之后，则关系式1中分子项为负号，当非基准第二图像采集的时序在基准第二图像之前，则关系式1中分子项为正号。
26.另一种可能的实现方式中，上述获取每个非基准第二图像对应的光流缩放因子，包括：获取基准第二图像和待配准的第一图像中，一个或多个匹配像素对，一个匹配像素对中包括基准第二图像和该待配准的第一图像中特征相似度大于或等于第二阈值的像素点；根据第一匹配像素对的像素位移，以及第一光流，确定光流缩放因子。其中，第一匹配像素对为一个或多个匹配像素对中的一个。通过实际获取特征度高的像素点的像素位移，以获取光流缩放因子，由于通过特征值匹配实际获取的像素位移最符合实际像素位移，这样获取的光流缩放因子的准确度高。
27.另一种可能的实现方式中，第一匹配像素对为上述一个或多个匹配像素对中匹配度最高的匹配像素对。两个图像中匹配度最高的像素对用于同一对象，因此，选取匹配度最高的像素对的像素位移，表征两个图像中每个像素点的实际像素位移，准确度最高，误差最小。
28.另一种可能的实现方式中，上述根据第一匹配像素对的像素位移，以及第一光流，确定非基准第二图像对应的光流缩放因子，具体可以实现为：根据第一光流，确定第一匹配像素对包含的基准第二图像中的像素点p0在非基准第二图像中的对应像素点p1；根据p0与p1的二维矢量以及p0与第一匹配像素对包含的待配准的第一图像中的像素点p
t
的二维矢量确定上述光流缩放因子sf。其中，光流缩放因子sf和满足如下关
系:
29.另一种可能的实现方式中，根据第一光流以及光流缩放因子，确定第二光流，包括：若第一光流与第二光流的方向相同，确定第二光流为上述光流缩放因子与第一光流的乘积；若第一光流与第二光流的方向不同，确定第二光流为上述光流缩放因子与第一光流的乘积的负数。
30.其中，第二光流f
vn
与光流缩放因子sf以及第一光流f
vv
，满足如下表达式：
[0031][0032]
另一种可能的实现方式中，非基准第二图像为多个，相应的，上述根据第一光流以及非基准第二图像对应的光流缩放因子，确定第二光流，包括：根据每个非基准第二图像与基准第二图像的第一光流，以及每个非基准第二图像对应的光流缩放因子，获取多个第二光流。根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像，包括：根据多个第二光流，确定目标第二光流，按照目标第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。通过选取多个非基准第二图像以获取多个第二光流，以提高第二光流准确度，进而提高第一图像与基本第二图像的配准精度。
[0033]
另一种可能的实现方式中，根据多个第二光流，确定目标第二光流，具体可以实现为：对多个第二光流取简单平均值或加权平均值或最大值或最小值等，作为目标第二光流。
[0034]
另一种可能的实现方式中，每个非基准第二图像与基准第二图像时域相邻。时域相邻的图像中，同一对象的像素位移最小，这样就可以更好的提高第二光流准确度，进而提高第一图像与基本第二图像的配准精度。
[0035]
另一种可能的实现方式中，第二光流为二维矢量图(u,v)，第二光流中的u分量用于指示图像中每个像素点在x轴方向的位移，第二光流中的v分量用于指示图像中每个像素点在y轴方向的位移。上述根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像，包括：配准后的第一图像与待配准的第一图像i
t
、第二光流(u,v)满足如下关系：其中，x,y为图像中像素点的坐标，u(x,y)为第一图像中坐标为(x,y)的像素点在第二光流的u分量的值，v(x,y)为第一图像中坐标为(x,y)的像素点在第二光流的v分量的值。
[0036]
需要说明的是，本技术中描述的具有方向性的参数(例如光流、位移等)，都是指同一方向的这些参数，但是对于具体方向的指向，本技术不予限定，只需要所有具有方向性的参数的方向相同即可。
[0037]
另一种可能的实现方式中，配准后的第一图像与基准第二图像中指示同一对象的像素的坐标差小于或等于第一阈值，以实现像素级配准。
[0038]
第二方面，提供一种图像配准装置，该装置可以包括：第一获取单元、第二获取单元、第三获取单元、确定单元以及配准单元。其中：
[0039]
第一获取单元，用于获取待配准的第一图像、与该第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像。第一图像和基准第二图像的成像光线不同，基准第二图像与非基准第二图像的成像光线相同。
[0040]
第二获取单元，用于获取每个非基准第二图像与基准第二图像的第一光流。
[0041]
第三获取单元，用于获取每个非基准第二图像对应的光流缩放因子，光流缩放因子用于指示第一光流与第二光流的比例关系。第二光流为待配准的第一图像与基准第二图像间的光流。
[0042]
确定单元，用于根据第一光流以及光流缩放因子，确定第二光流。
[0043]
配准单元，用于根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
[0044]
通过本技术提供的图像配准装置，先获取成像光线相同的图像间的光流，将其转换得到成像光线不同的图像间的光流，进而对成像光线不同的图像按照获取的光流配准。由于获取成像光线相同的图像间的光流准确度高，就可以提高转换得到的成像光线不同的图像间的光流的准确度，进而提高了成像光线不同的图像的配准精度。
[0045]
需要说明的是，第二方面的各个单元具体实现同第一方面的方法描述，这里不再赘述。
[0046]
第三方面，本技术提供了一种图像配准设备，该图像配准设备可以实现上述第一方面描述的方法示例中的功能，所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。该图像配准设备可以以芯片的产品形态存在。
[0047]
在一种可能的实现方式中，该图像配准设备的结构中包括处理器和收发器，该处理器被配置为支持该图像配准设备执行上述方法中相应的功能。该收发器用于支持该图像配准设备与其他设备之间的通信。该图像配准设备还可以包括存储器，该存储器用于与处理器耦合，其保存该图像配准设备必要的程序指令和数据。
[0048]
第四方面，提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面或其任一种可能的实现方式提供的图像配准方法。
[0049]
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或其任一种可能的实现方式提供的图像配准方法。
[0050]
第六方面，本技术提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述方法中相应的功能。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
[0051]
第七方面，本技术提供一种图像配准系统，该系统包括第五方面描述的图像配准设备，该图像配准设备具备上述第一方面以及任一可能的实现方式的功能。
[0052]
其中，需要说明的是，上述各个方面中的任意一个方面的各种可能的实现方式，在方案不矛盾的前提下，均可以进行组合。
附图说明
[0053]
图1为一种色轮装置的结构示意图；
[0054]
图2为基于旋转色轮成像的交通抓拍相机时分拍摄的图像的示意图；
[0055]
图3为一种时分采集的多光谱图像的示意图；
[0056]
图4为一种图像拍照系统的系统架构示意图；
[0057]
图5为本技术提供的一种拍照系统的架构示意图；
[0058]
图6为本技术提供的另一种拍照系统的架构示意图；
[0059]
图7为本技术提供的一种图像序列的示意图；
[0060]
图8为本技术提供的一种图像配准装置的结构示意图；
[0061]
图9为本技术提供的一种图像配准方法的系统架构示意图；
[0062]
图10为本技术提供的一种时分交替的可见光图像与红外图像的图像序列示意图；
[0063]
图11为本技术提供的一种图像序列配准后图像对的示意图；
[0064]
图12为本技术提供的一种图像配准方法的流程示意图；
[0065]
图13为本技术提供的一种根据图像采集时间间隔确定光流缩放因子的原理示意图；
[0066]
图14为本技术提供的另一种图像配准装置的结构示意图；
[0067]
图15为本技术提供的一种图像配准的场景示意图；
[0068]
图16为本技术提供的一种图像配准的过程示意图；
[0069]
图17为本技术提供的另一种图像配准的场景示意图；
[0070]
图18为本技术提供的另一种图像配准的过程示意图；
[0071]
图19为本技术提供的另一种图像配准的场景示意图；
[0072]
图20为本技术提供的另一种图像配准的过程示意图；
[0073]
图21为本技术提供的图像配准前后对比示意图；
[0074]
图22为本技术提供的另一种图像配准装置的结构示意图；
[0075]
图23为本技术提供的一种计算设备的结构示意图。
具体实施方式
[0076]
在本技术实施例中，为了便于清楚描述本技术实施例的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。该“第一”、“第二”描述的技术特征间无先后顺序或者大小顺序。
[0077]
在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
[0078]
在本技术实施例中，至少一个还可以描述为一个或多个，多个可以是两个、三个、四个或者更多个，本技术不做限制。
[0079]
此外，本技术实施例描述的网络架构以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0080]
在描述本技术的实施例之前，此处先对本技术涉及的名词统一进行解释说明，后续不再一一进行说明。
[0081]
光流：由于目标对象或摄像机移动造成的图像对象在连续两帧图像中的移动被称为光流。光流是一个二维矢量场，可以用来表示一个点从第一帧图像到第二帧图像之间的
位移。两个图像间的光流为一个二维矢量图，包括了图像中每个像素点在不同维度的位移。例如，光流为二维矢量图(u,v)，u分量用于指示图像中每个像素点在x轴方向的位移，v分量用于指示图像中每个像素点在y轴方向的位移。
[0082]
光流缩放因子，是指光流间的比例关系。在本技术实施例中，光流缩放因子用于指示相同补光的基准第二图像与非基准第二图像间的第一光流，与不同成像光线的基准第二图像与待配准的第一图像间的第二光流的比例关系。
[0083]
图像中的同一对象，可以为图像中人或者物上某一固定的点，或者图像中人或者物固定的点的像素。
[0084]
补光，是指对拍摄装置(设备)的环境补充光线。
[0085]
补光类型，可以指对拍摄装置(设备)的环境补充的光线的波长或光学频谱上的频段。
[0086]
补光强度，可以指对拍摄装置(设备)的环境补充的光线的能量大小。
[0087]
成像光线，是指采集图像时进入成像传感器的光线。成像光线不同包括成像光线的类型不同，或者，成像光线的强度不同。采集图像时补光类型不同，光线不滤波进入成像传感器进而采集图像，成像光线的类型不同。采集图像时补光类型相同或补光类型相同或不补光，光线进行不同的滤波进入成像传感器进而采集图像，成像光线的类型也不同。采集图像时补光强度不同或者光线经过强度处理，光线进入成像传感器进而采集图像，成像光线的强度不同。
[0088]
当前，业界提出了一种红外可见图像分时获取的双帧融合监控相机。该方案中使用一个图像传感器，时分交替的通过不同的补光方式，得到不同的成像光线，进而获取可见光帧和红外补光帧，将时分交替获取的可见光图像和红外图像进行融合得到高质量图像，保留了物体的真实色彩信息。
[0089]
在交通监控场景，业界提出了一种基于旋转色轮成像的交通抓拍相机，在镜头与图像传感器之间增加色轮装置，该色轮装置如图1所示。图1中矩形表示图像传感器，色轮装置中包括红外截止滤光片(不允许红外光通过)，包括全通滤光片(允许红外光通过)。通过色轮装置旋转，使得不同的滤光片时分的位于图像传感器前方，使得不同类型的光线时分的进入成像传感器(即成像光线的类型时分的不同)拍摄不同成像光线的图像。当红外截止滤光片位于图像传感器前方，成像光线为可见光，拍摄获得可见光图像；当全通滤光片位于图像传感器前方，成像光线为红外光，拍摄获得红外图像。通过色轮装置周期性旋转，在红外截止滤光片和全通滤光片之间切换，使得单个图像传感器能够交替获得可见光图像和红外图像，且相邻红外图像与可见光图像获取的时间间隔取决于切换过渡时间。图2示意了基于旋转色轮成像的交通抓拍相机时分拍摄的图像，图中的横线示意了时分获取的图像中像素点发生了明显的位移。图3示意了一种时分采集的多光谱图像，包括同一辆车在红外补光方式下抓拍的图像，以及在无补光下抓拍的图像，从图3中可以看出明显的位移。
[0090]
基于此类时分采集多光谱图像的系统，在拍摄运动物体时，相邻红外图像和可见光图像由于采集的时刻不同而产生像素位移。进行多光谱图像融合前需要先对相邻红外图像和可见光图像进行图像配准。而由于可见光图像序列和抓拍的红外补光图像之间存在曝光参数的不同，光谱的不同以及补光的不同，如图2所示，相邻红外图像和可见光图像会产生非常大的纹理差异和颜色差异。因此，利用特征相似性来估计图像之间的对应关系的配
准算法很难达到像素级的配准精度。
[0091]
为了提高红外帧和可见帧的配准精度，业界的做法是使用两个图像传感器，在图像传感器与镜头之间放置一个分光棱镜，棱镜由两块高透过率的玻璃粘合而成，在胶合面镀上一定厚度的膜，以实现对不同波长光线的反射与通过。入射光经过棱镜分成一路可见光和一路红外光，然后两个图像传感器分别对分光后的可见光和红外光进行成像，该图像拍照系统的系统架构如图4所示。只要棱镜和两个图像传感器装配精准，该方案可以直接获得配准的红外帧图像和可见帧图像。但是，该方案对于两个图像传感器的装配精度要求很高，生产复杂度高；该方案需要分光棱镜和两个图像传感器，物料成本昂贵；该方案分光棱镜在镜头和图像传感器之间，不兼容现有的标准后焦镜头。
[0092]
基于此，本技术提供了一种图像配准方法，利用移动物体在很短时间内可以看作是匀速线性运动的原理，通过特征相似性获取相同补光的图像间的光流，将其转换为不同成像光线的图像间的光流，最后按照不同成像光线的图像间的光流，对不同成像光线的图像进行配准，提高不同成像光线的图像的配准精度。
[0093]
相比于分光棱镜的方案，本技术在提高配准精度的前提下，降低了成本也兼容了各种镜头的设计。
[0094]
下面将结合附图对本技术实施例的实施方式进行详细描述。
[0095]
本技术实施例提供的方案可以由图像配准装置执行，用于对拍照系统时分获取的不同成像光线的图像进行配准。
[0096]
图5为本技术实施例提供的一种拍照系统的架构示意图，图5示意的拍照系统用于时分获取的可见光图像和红外图像。如图5所示，该拍照系统至少可以包括：拍照装置501、红外补光装置502以及可见光补光装置503。
[0097]
其中，红外补光装置502用于发射红外光，对拍照装置501的视野范围中的环境场景进行红外光补光，以提高环境场景的照度。
[0098]
可见光补光装置503用于发射可见光，对拍照装置501的视野范围中的环境场景进行可见光补光，以提高环境场景的照度。
[0099]
拍照装置501用于对其视野中的环境场景进行拍照。图5示意的拍照系统可以时分的获取可见光图像和红外图像。
[0100]
例如，图5示意的拍照系统可以为交通抓拍系统，拍照装置501可以为交通抓拍相机，拍照装置201可以安装于安装在道路上方的f杆上，用于抓拍道路的交通场景。
[0101]
图6为本技术实施例提供的另一种拍照系统的架构示意图。如图6所示，该拍照系统至少可以包括：拍照装置601以及可见光补光装置602。拍照装置601用于对其视野中的环境场景进行拍照。图6示意的拍照系统可以时分的获取不同成像光线强度的可见光图像。
[0102]
图6示意的拍照系统中，拍照装置601的成像传感器前可以变化不同的滤光片，使得不同类型的光线进入成像传感器，进而采集成像光线类型不同的图像。
[0103]
在描述本技术的方案之前，对本技术的原理进行说明。
[0104]
对于运动的对象，在很短的时间间隔内，其运动可以被看做是匀速线性的，即运动位移(图像中的像素位移)跟时间间隔成正比。如图7所示，图像i0、图像i
t
、图像i1为时分获取的时域相邻的三帧图像。假如物体a是线性运动的，则物体上的点p在三帧图像中的坐标在图7中示意的直线上，物体上的点p在图像i
t
中为点p
t
，物体上的点p在图像i1中为点p1。
[0105]
图像i0上点p0与图像i
t
间的光流，即为p0指向图像i
t
上对应点p
t
的运动矢量图像i0上点p0与图像i1间的光流，即为p0指向图像i1上对应点p1的运动矢量图像i0上点p0指向图像i
t
上对应点p
t
的运动矢量和图像i0上点p0指向图像i1上对应点p1的运动矢量满足以下关系：
[0106][0107]
其中，sf为光流缩放因子，用于指示光流的比例关系。
[0108]
基于该原理，可以将不同模态(补光不同，或其他)图像(i0和i
t
)的光流估计，转化为同模态图像(i0和i1)的光流估计。
[0109]
需要说明的是，本技术中描述的具有方向性的参数(例如光流、位移等)，都是指同一方向的这些参数，但是对于具体方向的指向，本技术不予限定，只需要所有具有方向性的参数的方向相同即可。
[0110]
一方面，本技术实施例提供一种图像配准装置80，用于执行本技术提供的图像配准方法。
[0111]
图8示意了本技术实施例提供的图像配准装置80的结构图。如图8所示，图像配准装置80可以包括处理器801、存储器802、收发器803。
[0112]
下面结合图8对图像配准装置80的各个构成部件进行具体的介绍：
[0113]
存储器802可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；或者非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者上述种类的存储器的组合，用于存储可实现本技术方法的应用程序代码、配置文件、数据信息或者其他内容。在其他可能的情形中，该存储器802也可以部署在独立于图像配准装置80的其他设备中。
[0114]
收发器803用于图像配准装置80与其他设备的信息交互。
[0115]
处理器801可以是图像配准装置80的控制中心。例如，处理器801可以是一个中央处理器(central processing unit，cpu)，也可以是特定集成电路(application specific integrated circuit，asic)，或者是被配置成实施本技术实施例的一个或多个集成电路，例如：一个或多个微处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)。
[0116]
处理器801通过运行或执行存储在存储器802内的软件程序和/或模块，执行如下功能：
[0117]
获取待配准的第一图像、与该第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像，第一图像和基准第二图像的成像光线不同，基准第二图像与非基准第二图像的成像光线相同；获取每个非基准第二图像与基准第二图像的第一光流；获取每个非基准第二图像对应的光流缩放因子，光流缩放因子用于指示第一光流与第二光流的比例关系；第二光流为待配准的第一图像与基准第二图像间的光流；根据第一光流以及光流缩放因子，确定第二光流；根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
[0118]
本技术实施例提供的方法可以由图像配准装置执行，本技术实施例提供的方案的系统架构可以如图9所示。如图9所示，该系统包括采集单元、图像配准单元以及图像融合单元。其中，采集单元用于时分交替的获取连续的第一图像和第二图像。采集单元时分交替的获取的同一时刻的第一图像和第二图像输入图像配准单元，图像配准单元执行本技术提供的方案对其配准后，再通过图像融合单元进行融合，输出该时刻最终的融合高质量图像。
[0119]
其中，第一图像与第二图像的成像光线不同。
[0120]
例如，第一图像与第二图像的成像光线类型不同，或者，成像光线强度不同。
[0121]
示例性的，图9中示意的采集单元获取的时分交替的可见光图像与红外图像的图像序列可以如图10所示。图10示意的图像序列配准后图像对可以如图11所示。
[0122]
另一方面，本技术实施例提供一种图像配准方法，用于将待配准的第一图像向基准第二图像配准。如图12所示，本技术提供的图像配准方法可以包括：
[0123]
s1201、图像配准装置获取待配准的第一图像、与该第一图像时域间隔最小的基准第二图像以及一个或多个非基准第二图像。
[0124]
其中，第一图像和基准第二图像的成像光线不同、基准第二图像与非基准第二图像的成像光线相同。
[0125]
一种可能的实现方式中，待配准的第一图像和基准第二图像的补光类型不同，基准第二图像与非基准第二图像的补光类型相同，以提高补光类型不同的图像的配准精度。
[0126]
例如，待配准的第一图像可以为补红外光采集的红外图像，基准第二图像与非基准第二图像可以为补可见光采集的可见光图像。
[0127]
再例如，待配准的第一图像为补可见光采集的可见光图像，基准第二图像与非基准第二图像为补红外光采集的红外图像。
[0128]
另一种可能的实现方式中，上述待配准的第一图像和基准第二图像的补光强度不同，基准第二图像与所述非基准第二图像的补光强度相同，以提高补光强度不同的图像的配准精度。
[0129]
另一种可能的实现方式中，采集第一图像和基准第二图像时进入成像传感器的光线类型不同，采集基准第二图像与非基准第二图像时进入成像传感器的光线类型相同。
[0130]
例如，采集待配准的第一图像时可以为红外光进入成像传感器，待配准的第一图像为红外图像，采集基准第二图像与非基准第二图像时可以为可见光进入成像传感器，基准第二图像与非基准第二图像可以为可见光图像。
[0131]
再例如，采集待配准的第一图像时可以为可见光进入成像传感器，待配准的第一图像为可见光图像，采集基准第二图像与非基准第二图像时可以为红外光进入成像传感器，基准第二图像与非基准第二图像为红外图像。
[0132]
其中，红外光进入成像传感器，可以为对拍摄装置(设备)的环境补红外光实现，或者，可以在成像传感器之前设置仅允许红外光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为红外光。同理，可见光进入成像传感器，可以为对拍摄装置(设备)的环境补可见光或者不补光实现，或者，可以在成像传感器之前设置仅允许可见光通过的滤波装置(例如滤波片)，使得进入成像传感器的光线为可见光。
[0133]
具体的，基准第二图像为待配准的第一图像所在的时分交替图像序列中，待配准的第一图像的目标配准对象，也是与待配准的第一图像时域间隔最小的第二图像。
[0134]
例如，在图1所示的色轮装置时分获取交替的红外图像和可见光图像的场景中，基准第二图像与待配准的第一图像是色轮装置在旋转一周的过程中拍摄的图像。
[0135]
进一步的，非基准第二图像作为辅助配准的第二图像。非基准第二图像为待配准的第一图像所在的时分交替图像序列中，基准第二图像之外的第二图像。非基准第二图像的数量可以为一个或多个。
[0136]
在实际应用中，可以根据实际需求选取非基准第二图像，本技术实施例对于非基准第二图像的数量以及与基准第二图像的时域位置关系不予限定。
[0137]
一种可能的实现方式中，每个非基准第二图像与基准第二图像时域相邻。时域相邻的图像中，同一对象的像素位移最小，这样就可以更好的提高第二光流准确度，进而提高第一图像与基本第二图像的配准精度。
[0138]
可选的，非基准第二图像为，基准第二图像的前一个第二图像。或者，非基准第二图像为，基准第二图像的后一个第二图像。非基准第二图像为，基准第二图像的前一个第二图像和后一个第二图像。
[0139]
例如，在图10所示的图像序列中，假设待配准的第一图像为红外帧3，基准第二图像则为可见帧3，非基准第二图像可以为可见帧2。
[0140]
例如，在图10所示的图像序列中，假设待配准的第一图像为红外帧3，基准第二图像则为可见帧3，非基准第二图像可以为可见帧4。
[0141]
例如，在图10所示的图像序列中，假设待配准的第一图像为红外帧3，基准第二图像则为可见帧3，非基准第二图像可以为可见帧2和可见帧4。
[0142]
s1202、图像配准装置获取每个非基准第二图像与基准第二图像的第一光流。
[0143]
具体的，在s1202中图像配准装置可以通过深度学习方法，或者传统的光流估计方法估计，获取每个非基准第二图像与基准第二图像的第一光流，本技术实施例对于获取第一光流的过程不进行赘述。
[0144]
其中，第一光流用于指示非基准第二图像与基准第二图像中每个像素点的位移关系，非基准第二图像与基准第二图像中的像素点，与两者之间的第一光流的关系描述如下：
[0145]
假设图像i0为待配准的红外图像时域上最邻近的可见光图像，图像i1为i0的相邻可见光图像，图像i1与i0的光流f为：以图像i0为基准的二维矢量图(u，v)，用于指示图像i0中每个像素点到图像i1中对应像素点的像素位移。
[0146]
对于图像i0中的任意位置(x，y)的像素点i0(x，y)，在二维矢量图(u，v)中存在一个二维矢量(u(x，y)，v(x，y))，指向图像i1中的对应匹配像素点i1(x u(x，y)，y v(x，y))，可用下式表示：
[0147][0148]
其中，表示两个像素点为对应关系。
[0149]
s1203、图像配准装置获取每个非基准第二图像对应的光流缩放因子。
[0150]
其中，一个光流缩放因子用于指示第一光流与第二光流的比例关系。
[0151]
具体的，s1203中获取的光流缩放因子的数量，与非基准第二图像的数量相同。应理解，s1203中获取的每个光流缩放因子，分别用于指示每个非基准第二图像与基准第二图像间的第一光流，基准第二图像与待配准的第一图像间的第二光流的比例关系。第二光流为待配准的第一图像与基准第二图像间的光流。
[0152]
可选的，s1203中获取一个非基准第二图像对应的光流缩放因子，可以通过但不限于下述两个方案中任一方案实现：
[0153]
方案1、光流缩放因子的物理意义可以为像素点的成像位移的比例关系。成像位移与图像的采集时刻高度相关，s1203中获取非基准第二图像对应的光流缩放因子，具体可以实现为：获取基准第二图像和待配准的第一图像之间的第一采集时间间隔，以及基准第二图像和非基准第二图像之间的第二采集时间间隔；根据第一采集时间间隔、第二采集时间间隔，以及采集设备的参数，确定光流缩放因子。
[0154]
其中，采集设备的参数是指影响成像位移的参数，本技术实施例对于采集设备的参数的内容不予限定。
[0155]
例如，采集参数可以包括：采集设备的架设高度、采集设备的抓拍距离、采集设备光轴与水平面之间的俯仰角度、采集设备抓拍的物体移动速度。
[0156]
例如，根据第一采集时间间隔、第二采集时间间隔，以及采集设备的参数，确定光流缩放因子，具体可以时限为：光流缩放因子sf和第一采集时间间隔δt、第二采集时间间隔δt和采集设备的参数满足如下关系：
[0157]
其中，d＝h sinα d cosα，h为采集设备的架设高度，d为采集设备的抓拍距离，α为采集设备光轴与水平面之间的俯仰角度，v为采集设备抓拍的物体移动速度。
[0158]
其中，当待配准第一图像采集的时序上在基准第二图像之后，则关系式1中分母项为负号，当待配准第一图像采集的时序在基准第二图像之前，则关系式1中分母项为正号。当非基准第二图像采集的时序在基准第二图像之后，则关系式1中分子项为负号，当非基准第二图像采集的时序在基准第二图像之前，则关系式1中分子项为正号。
[0159]
示例性的，根据图像采集时间间隔确定光流缩放因子的原理如图13所示。图13中的实线矩形块为拍摄前一帧时运动物体的位置，虚线矩形块为vδt时间后运动物体的位置。
[0160]
方案2、由于光流用于指示像素点的像素位移，光流缩放因子可以理解为同一对象在图像中的像素位移的比例关系，s1203中获取非基准第二图像对应的光流缩放因子，具体可以实现为：获取基准第二图像和待配准的第一图像中，一个或多个匹配像素对，一个匹配像素对中包括基准第二图像和该待配准的第一图像中特征相似度大于或等于第二阈值的像素点；根据第一匹配像素对的像素位移，以及第一光流，确定光流缩放因子。
[0161]
其中，第二阈值为判断像素点是否对应的界限值，可以根据实际需求配置第二阈值的取值，例如，当相似度为1表示完全相同时，第二阈值可以设置为0.8、0.9、0.95等任意大于0.5且小于等于1的值，当用其他指标衡量相似度时，第二阈值的设置方式可以与此类似，本技术实施例对此不予限定。
[0162]
第一匹配像素对为一个或多个匹配像素对中的一个。
[0163]
一种可能的实现方式中，第一匹配像素对为上述一个或多个匹配像素对中匹配度最高的匹配像素对。
[0164]
例如，方案2中根据第一匹配像素对的像素位移，以及第一光流，确定非基准第二图像对应的光流缩放因子，具体可以实现为：根据第一光流，确定第一匹配像素对包含的基准第二图像中的像素点p0在非基准第二图像中的对应像素点p1；根据p0与p1的二维矢量
以及p0与第一匹配像素对包含的待配准的第一图像中的像素点p
t
的二维矢量确定上述光流缩放因子
[0165]
需要说明的是，上述两种方案仅描述了获取一个非基准第二图像对应的光流缩放因子的过程，当对待配准的第一图像配准时，若s1201步骤中获取的是多个非基准第二图像，s1203中可以分别获取每个非基准第二图像对应的光流缩放因子，获取过程均相同，不再一一赘述。
[0166]
上述两种方案只是通过举例的方式描述s1203的可能实现，并不是对获取光流缩放因子的方案的具体限定。
[0167]
s1204、图像配准装置根据第一光流以及光流缩放因子，确定第二光流。
[0168]
具体的，由于光流缩放因子用于指示第一光流与第二光流的比例关系，在s1203中获取到光流缩放因子后，就可以根据第一光流，确定出待配准的第一图像与基准第二图像的第二光流。
[0169]
一种可能的实现方式中，s1204中根据第一光流以及光流缩放因子，确定第二光流，具体可以实现为：若第一光流与第二光流的方向相同，确定第二光流为上述光流缩放因子与第一光流的乘积；若第一光流与第二光流的方向不同，确定第二光流为上述光流缩放因子与第一光流的乘积的负数。
[0170]
其中，第一光流与第二光流的方向相同，是指待配准第一图像时序上位于基准第二图像与非基准第二图像之间，第一光流、第二光流以基准第二图像作为基准，第一光流、第二光流的方向由基准第二图像指向外或都指向基准第二图像时，方向相同。
[0171]
第一光流与第二光流的方向不同，是指待配准第一图像时序上位于基准第二图像与非基准第二图像之外，第一光流、第二光流以基准第二图像作为基准，第一光流、第二光流的方向则由基准第二图像指向外或都指向基准第二图像，方向相反。
[0172]
其中，第二光流f
vn
与光流缩放因子sf以及第一光流f
vv
，可以满足如下表达式：
[0173][0174]
一种可能的实现方式中，非基准第二图像为多个，相应的，上述根据第一光流以及非基准第二图像对应的光流缩放因子，确定第二光流，包括：根据每个非基准第二图像与基准第二图像的第一光流，以及每个非基准第二图像对应的光流缩放因子，获取多个第二光流。即，s1203中获取了每个非基准第二图像对应的光流缩放因子，s1204中按照每个光流缩放因子，分别确定第二光流，共得到与非基准第二图像数量相同的第二光流。
[0175]
另一种可能的实现方式中，当存在多个非基准第二图像，s1203中获取了每个非基准第二图像对应的光流缩放因子，s1204中获取多个光流缩放因子的计算值，然后根据该计算值确定出一个第二光流。
[0176]
其中，该计算值可以为取简单平均值或加权平均值或最大值或最小值等。
[0177]
s1205、图像配准装置根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
[0178]
一种可能的实现方式中，非基准第二图像为一个，s1205中根据s1204中获取的一
个第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
[0179]
另一种可能的实现方式中，非基准第二图像为多个，s1204中获取了一个第二光流，s1205中根据s1204中获取的一个第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
[0180]
再一种可能的实现方式中，非基准第二图像为多个，s1204中获取了与非基准第二图像数量相同的第二光流，s1205中根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像，具体可以实现为：根据多个第二光流，确定目标第二光流，按照目标第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像。
[0181]
其中，根据多个第二光流，确定目标第二光流，具体可以实现为：对多个第二光流取简单平均值或加权平均值或最大值或最小值等，作为目标第二光流。
[0182]
具体的，第二光流指示了待配准第一图像与基准第二图像中像素点的像素位移的关系，因此，按照第二光流将待配准的第一图像与基准第二图像进行配准，可以提高配准精度。
[0183]
可选的，配准后的第一图像与基准第二图像中指示同一对象的像素的坐标差小于或等于第一阈值。
[0184]
其中，上述第一阈值，是像素级对齐的允许误差，第一阈值的取值可以根据实际需求配置，例如，当要求完全精准配准时，第一阈值可以设置为0，当要求较为精准配准时，第一阈值可以设置为10、50、100等任意的正整数，本技术实施例对此不予限定。
[0185]
例如，第二光流为二维矢量图(u,v)，第二光流中的u分量用于指示图像中每个像素点在x轴方向的位移，第二光流中的v分量用于指示图像中每个像素点在y轴方向的位移。s1205中根据第二光流，将待配准的第一图像与基准第二图像进行配准，得到配准后的第一图像，具体可以实现为：配准后的第一图像与待配准的第一图像i
t
、第二光流(u,v)满足如下关系：
[0186]
其中，x,y为图像中像素点的坐标，u(x,y)为第一图像中坐标为(x,y)的像素点在第二光流的u分量的值，v(x,y)为第一图像中坐标为(x,y)的像素点在第二光流的v分量的值。
[0187]
通过本技术提供的图像配准方法，先获取成像光线相同的图像间的光流，将其转换得到成像光线不同的图像间的光流，进而按照获取的光流配准图像。由于获取成像光线相同的图像间的光流准确度高，就可以提高转换得到的成像光线不同的图像间的光流的准确度，进而提高了成像光线不同的图像的配准精度。
[0188]
下面通过具体的实施例，对本技术提供的方案进行详细说明。下述实施例中基于旋转色轮成像的交通抓拍相机上获取的图10所示的图像序列的配准过程为例进行说明，并不构成具体限定。
[0189]
在下述实施例中，由图14所示的图像配准装置执行本技术的方案，对时分获取的交替的可见光图像和红外图像进行配准。如图14所示，该图像配准装置包括输入模块、光流估计模块、光流缩放因子计算模块、光流修正模块以及像素对齐模块。
[0190]
其中，输入模块用于执行s1201，获取待配准的第一图像、基准第二图像以及非基
准第二图像。
[0191]
光流估计模块用于执行s1202，获取非基准第二图像与基准第二图像的第一光流。
[0192]
光流缩放因子计算模块用于执行s1203，获取非基准第二图像对应的光流缩放因子。
[0193]
光流修正模块用于执行s1204，按照光流缩放因子以及第一光流，确定待配准的第一图像与基准第二图像的第二光流。
[0194]
像素对齐模块用于执行s1205，根据修正获取的第二光流，对待配准的第一图像向基准第二图像配准，得到配准后的第一图像。
[0195]
在下述实施例中，通过镜头和图像传感器之间增加图1所示的旋转色轮，周期性的在红外截止滤光片和全通滤光片之间切换，使得单个图像传感器能够交替获得可见光图像和红外图像。传感器的输出帧率为50帧/秒，即每秒25帧可见光图像以及25帧红外图像，获取的图像序列可以如图10所示。下述实施例中以第一图像为红外图像，第二图像为可见光图像为例进行说明。
[0196]
实施例一
[0197]
输入模块从图10所示的图像序列中，选取一帧待配准的红外图像i
t
以及时序上在它前面的相邻两帧可见光图像i0和i1，i1是待配准的红外图像i
t
的配准对象，i1则为基准第二图像，i0为配准时参考的第二图像，i0则为非基准第二图像。
[0198]
输入模块选取的图像可以如图15所示。图15所示的图像，经由图14所示的图像配准装置进行配准的过程可以如图16所示，具体如下：
[0199]
可见光图像i0和i1输入光流估计模块，光流估计模块通过深度学习方法或者传统光流估计方法，估计相邻两帧可见光图像i0和i1的第一光流f
vv
。该第一光流f
vv
可以红外图像时域最邻近的可见光图像i1为基准。
[0200]
光流缩放因子计算模块根据帧率可以得到图像i0和i1的时间间隔δt＝40ms，根据旋转色轮转速，半径以及图像传感器的尺寸可以得到红外图像与可见光图像切换的过渡时间为δt＝5ms。再根据交通卡口相机的工勘假设要求，可以得到相机架设高度h为6米，抓拍距离d为24米，相机光轴与水平面所成的俯仰角度α＝12
°
。假设道路限速为v＝80千米/小时，可通过s1203中的方案1，得到图像i0对应的光流缩放因子
[0201]
由于待配准红外图像时序上位于两帧可见光图像之外(即第一光流与第二光流的方向不同)，光流修正模块确定待配准红外图像与时域最邻近的可见光图像i1之间的第二光流为f
vn
＝-sf*f
vv
＝-0.09f
vv
。
[0202]
像素对齐模块利用得到的第二光流f
vn
，对待配准红外图像进行映射变换，使其与时域最邻近的可见光图像i1达成像素级对齐。像素级对齐的红外、可见光图像对可以进一步进行后续的图像融合处理，输出细节和颜色俱佳的融合图像。
[0203]
实施例二
[0204]
输入模块从图11所示的图像序列中，选取一帧待配准的红外图像i
t
以及时序上在它前面的相邻可见光图像i1、时序上在它后面的相邻可见光图像i2。i1是待配准的红外图像i
t
的配准对象，i1则为基准第二图像，i2为配准时参考的第二图像，i2则为非基准第二图像。
[0205]
输入模块选取的图像可以如图17所示。图17所示的图像，经由图14所示的图像配
准装置进行配准的过程可以如图18所示，具体如下：
[0206]
可见光图像i0和i2输入光流估计模块，光流估计模块通过深度学习方法或者传统光流估计方法，估计相邻两帧可见光图像i0和i2的第一光流f
vv
。该第一光流f
vv
可以红外图像时域最邻近的可见光图像i1为基准。
[0207]
光流缩放因子计算模块根据帧率可以得到图像i0和i2的时间间隔δt＝40ms，根据旋转色轮转速，半径以及图像传感器的尺寸可以得到红外图像与可见光图像切换的过渡时间为δt＝5ms。再根据交通卡口相机的工勘假设要求，可以得到相机架设高度h为6米，抓拍距离d为24米，相机光轴与水平面所成的俯仰角度α＝12
°
。假设道路限速为v＝80千米/小时，可通过s1203中的方案1，得到图像i2对应的光流缩放因子
[0208]
由于待配准红外图像时序上位于两帧可见光图像之间(即第一光流与第二光流的方向相同)，光流修正模块确定待配准红外图像与时域最邻近的可见光图像i1之间的第二光流为f
vn
＝sf*f
vv
＝0.08f
vv
。
[0209]
像素对齐模块利用得到的第二光流为f
vn
，对待配准红外图像进行映射变换，使其与时域最邻近的可见光图像i1达成像素级对齐。像素级对齐的红外、可见光图像对可以进一步进行后续的图像融合处理，输出细节和颜色俱佳的融合图像。
[0210]
实施例三
[0211]
输入模块从图10所示的图像序列中，选取一帧待配准的红外图像i
t
、时序上在它前面的相邻可见光图像i0、i1、时序上在它后面的相邻可见光图像i2。i1是待配准的红外图像i
t
的配准对象，i1则为基准第二图像，i0、i2为配准时参考的第二图像，i0、i2则为非基准第二图像。
[0212]
输入模块选取的图像可以如图19所示。图19所示的图像，经由图14所示的图像配准装置进行配准的过程可以如图20所示，具体如下：
[0213]
可见光图像i0和i1输入光流估计模块，光流估计模块通过深度学习方法或者传统光流估计方法，估计相邻两帧可见光图像i0和i1的第一光流该第一光流可以红外图像时域最邻近的可见光图像i1为基准。
[0214]
可见光图像i0和i2输入光流估计模块，光流估计模块通过深度学习方法或者传统光流估计方法，估计相邻两帧可见光图像i0和i2的第一光流该第一光流可以红外图像时域最邻近的可见光图像i1为基准。
[0215]
光流缩放因子计算模块根据帧率可以得到图像i0和i2的时间间隔δt＝40ms，根据旋转色轮转速，半径以及图像传感器的尺寸可以得到红外图像与可见光图像切换的过渡时间为δt＝5ms。再根据交通卡口相机的工勘假设要求，可以得到相机架设高度h为6米，抓拍距离d为24米，相机光轴与水平面所成的俯仰角度α＝12
°
。假设道路限速为v＝80千米/小时，可通过s1203中的方案1，得到i0对应的光流缩放因子得到i2对应的光流缩放因子
[0216]
由于待配准红外图像时序上位于图像i0和i1之外(即第一光流与第二光流的方向
不同)，光流修正模块确定待配准红外图像与时域最邻近的可见光图像i1之间的第二光流为由于待配准红外图像时序上位于图像i0和i2之间(即第一光流与第二光流的方向相同)，光流修正模块确定待配准红外图像与时域最邻近的可见光图像i1之间的第二光流为
[0217]
像素对齐模块对两个估计的第二光流和取均值或者取最大值，得到最终待配准红外图像i
t
与其时域最邻近可见光图像i1之间的第二光流f
vn
。最后利用第二光流f
vn
，对待配准红外图像进行映射变换，使其与时域最邻近的可见光图像i1达成像素级对齐。像素级对齐的红外、可见光图像对可以进一步进行后续的图像融合处理，输出细节和颜色俱佳的融合图像。
[0218]
例如，假设配准前的红外图像i
t
和可见光图像i1如图21中的(a)所示，通过上述三个实施例的方案，配准后的红外图像和可见光图像i1如图21中的(b)所示，达成像素级对齐的效果。
[0219]
上述主要从设备的工作原理角度对本技术实施例提供的方案进行了介绍。可以理解的是，上述图像配准装置件为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0220]
本技术实施例可以根据上述方法示例对本技术提供的图像配准装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0221]
在采用对应各个功能划分各个功能模块的情况下，图22示出了上述实施例中所涉及的电子设备中部署的图像配准装置的一种可能的结构示意图。该图像配准装置220可以为功能模块或者芯片。如图22所示，图像配准装置220可以包括：第一获取单元2201、第二获取单元2202、第三获取单元2203、确定单元2204和配准单元2205。其中，第一获取单元2201用于执行图12中的过程s1204；第二获取单元2202用于执行图12中的过程s1202；第三获取单元2203用于执行图12中的过程s1203；确定单元2204用于执行图12中的过程s1204；配准单元2205用于执行图12中的过程s1205。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
[0222]
在采用集成的单元的情况下，图23示出了上述实施例中所涉及的计算设备的一种可能的结构示意图。计算设备230可以包括：处理模块2301、通信模块2302。处理模块2301用于对计算设备的动作进行控制管理，通信模块2302用于与其他设备通信。例如，处理模块2301用于执行图12中的过程s1201至s1205中任一项。计算设备230还可以包括存储模块2303，用于存储计算设备230的程序代码和数据。
[0223]
其中，处理模块2301可以为图8所示的图像配准装置80的实体结构中的处理器
801，可以是处理器或控制器。例如可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理模块2601也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块2302可以为图8所示的图像配准装置80的实体结构中的收发器803，通信模块2302可以是通信端口，或者可以是收发器、收发电路或通信接口等。或者，上述通信接口可以通过上述具有收发功能的元件，实现与其他设备的通信。上述具有收发功能的元件可以由天线和/或射频装置实现。存储模块2303可以是图8所示的图像配准装置80的实体结构中的存储器802。
[0224]
如前述，本技术实施例提供的图像配准装置220或计算设备230可以用于实施上述本技术各实施例实现的方法中相应的功能，为了便于说明，仅示出了与本技术实施例相关的部分，具体技术细节未揭示的，请参照本技术各实施例。
[0225]
作为本实施例的另一种形式，提供一种计算机可读存储介质，其上存储有指令，该指令被执行时执行上述方法实施例中的图像配准方法。
[0226]
作为本实施例的另一种形式，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行时执行上述方法实施例中的图像配准方法。
[0227]
本技术实施例再提供一种芯片系统，该芯片系统包括处理器，用于实现本发明实施例的技术方法。在一种可能的设计中，该芯片系统还包括存储器，用于保存本发明实施例必要的程序指令和/或数据。在一种可能的设计中，该芯片系统还包括存储器，用于处理器调用存储器中存储的应用程序代码。该芯片系统，可以由一个或多个芯片构成，也可以包含芯片和其他分立器件，本技术实施例对此不作具体限定。
[0228]
结合本技术公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于ram、闪存、rom、可擦除可编程只读存储器(erasable programmable rom，eprom)、电可擦可编程只读存储器(electrically eprom，eeprom)、寄存器、硬盘、移动硬盘、只读光盘(cd-rom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。或者，存储器可以与处理器耦合，例如存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。存储器可以用于存储执行本技术实施例提供的技术方案的应用程序代码，并由处理器来控制执行。处理器用于执行存储器中存储的应用程序代码，从而实现本技术实施例提供的技术方案。
[0229]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0230]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的
划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0231]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0232]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0233]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。