一种图像融合方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像融合方法及装置。


背景技术：

2.图像融合(image fusion)是指利用同一场景的多种波段的图像信息，输出一幅更适合于人类视觉感知或更适合计算机进一步处理与分析的融合图像。
3.现有技术中，获得融合图像的过程为：拍摄设备根据可见光信号生成可见光图像，并根据非可见光信号生成非可见光图像。之后，拍摄设备可以获取具有相同的拍摄内容的可见光图像和非可见光图像，并将该可见光图像和非可见光图像进行融合，从而得到双波段的融合图像。但是，在光照强度较低的环境，如夜间环境中进行图像融合时，会存在融合图像的噪声较大、图像细节较差的问题。


技术实现要素：

4.本技术提供一种图像融合方法及装置，解决了在光照强度较低的环境中将可见光图像和非可见光图像进行融合时，融合图像的噪声较大、图像细节较差的问题。
5.为达到上述目的，本技术采用如下技术方案：
6.第一方面，提供一种图像融合方法，图像融合装置获取可见光图像和非可见光图像，并根据非可见光图像，对可见光图像执行图像处理操作，得到第一图像，且根据非可见光图像，确定细节图像，该细节图像包括非可见光图像中的高频信息。之后图像融合装置融合非可见光图像、第一图像和细节图像，得到融合图像。其中，可见光图像和非可见光图像包括的拍摄内容相同，图像处理操作包括降噪处理操作。
7.这样，图像融合装置在光照强度较低的环境中进行图像融合的情况下，通过利用非可见光图像对可见光图像进行降噪处理，即利用包括相同拍摄内容的、噪声小的图像对噪声大的图像进行降噪处理，与现有技术中的利用噪声图像自身信息进行降噪处理相比，本技术实施例的降噪效果更好，降噪处理后的第一图像的噪声更小，从而使得最终得到的融合图像的噪声更小，图像细节更好。
8.可选的，在本技术的一种可能的实现方式中，在上述“获取可见光图像和非可见光图像”之前，本技术提供的图像融合方法还可以包括：图像融合装置根据非可见光图像的前帧非可见光图像的亮度信息，确定目标准焦位置，并根据该目标准焦位置，对摄像机的镜头执行对焦处理。其中，目标准焦位置用于表示运动对象清晰成像时焦点所处的位置。在该情况下，上述“获取可见光图像和非可见光图像”的方法可以包括：图像融合装置在对焦处理完成后，通过摄像机的镜头获取非可见光图像和可见光图像。
9.在现有技术中，拍摄设备在光照强度较低的环境中采集可见光图像和非可见光图像时，使用的自动对焦技术是根据可见光图像判断焦点位置，只针对大面积固定区域对焦，且对焦响应较慢，使得在运动对象的物距快速变化的情况下，图像无法保持全程对焦，导致光学信息的损失。
10.在本技术实施例中，拍摄设备通过根据前帧非可见光图像的亮度信息来确定目标准焦位置，并根据目标准焦位置进行实时对焦，能够控制镜头的物距到准确位置，保证通过摄像机的镜头获取的可见光图像和非可见光图像中的运动对象成像清晰。且，由于非可见光图像比可见光图像清晰，因此根据非可见光图像确定的目标准焦位置比根据可见光图像确定的目标准焦位置的准确度高。
11.可选的，在本技术的另一种可能的实现方式中，上述“根据非可见光图像的前帧非可见光图像的亮度信息，确定目标准焦位置”的方法可以包括：图像融合装置比较前帧非可见光图像与前帧非可见光图像前的第m帧非可见光图像的亮度信息，确定目标画面区域，并根据预设画面区域与准焦位置的对应关系，确定目标画面区域对应的目标准焦位置。其中，目标画面区域为运动对象在前帧非可见光图像中所处的画面区域。
12.通过确定前帧非可见光图像中运动对象所处的画面区域，即目标画面区域，并根据该目标画面区域确定目标准焦位置，使得能够准确地判断出当前时刻运动对象的物距。
13.可选的，在本技术的另一种可能的实现方式中，上述图像处理操作还包括增强处理操作，上述“根据非可见光图像，对可见光图像执行图像处理操作，得到第一图像”的方法可以包括：图像融合装置根据非可见光图像中像素点的对象为运动对象的概率，对可见光图像中相同位置的像素点执行增强处理，得到第二图像。之后，图像融合装置根据非可见光图像，对第二图像执行降噪处理，得到第一图像。
14.这样，通过对可见光图像进行图像增强处理，提升了第二图像中运动对象所在的区域的对比度和亮度，从而使得最终得到的融合图像的颜色更加真实、观感更加自然。且，对可见光图像进行增强处理会使得第二图像的噪声变大，本技术实施例仅是对第二图像中运动对象所在的区域进行了增强，并未对第二图像中非运动对象所在的区域进行处理，因此能够避免第二图像中非运动对象所在的区域的噪声变大。
15.可选的，在本技术的另一种可能的实现方式中，上述“融合非可见光图像、第一图像和细节图像，得到融合图像”的方法可以包括：图像融合装置根据预设的第一融合权重、第二融合权重和第三融合权重，融合非可见光图像、第一图像和细节图像，得到融合图像。其中，第一融合权重与非可见光图像对应，第二融合权重与第一图像对应，第三融合权重与细节图像对应，融合权重用于表示图像的特征在融合时所占的比例，第二融合权重大于第一融合权重。
16.由于现有技术中，在保证融合图像的色彩准确性的前提下，融合时使用的可见光图像的权重较高，会导致融合图像的噪声大、图像细节较差。在本技术实施例中，在第二融合权重大于第一融合权重，即可见光图像的权重大于非可见光图像的权重的场景下，通过根据非可见光图像对可见光图像进行降噪处理，降噪效果更好，使得最终得到的融合图像的噪声更小，图像细节更好。
17.可选的，在本技术的另一种可能的实现方式中，上述“根据非可见光图像，确定细节图像”的方法可以包括：图像融合装置采用细节增强算法处理非可见光图像，得到细节增强图像，并采用低通模糊算法处理非可见光图像，得到低频图像。之后，图像融合装置计算细节增强图像和低频图像中，每个相同位置的像素点的像素值的差值，得到细节图像。
18.这样，通过对非可见光图像进行增强处理后再提取高频信息，与现有技术中的直接从非可见光图像中提取高频信息相比，提取的高频信息更加丰富。
19.可选的，在本技术的另一种可能的实现方式中，上述图像处理操作还包括增强处理操作，上述“根据非可见光图像，对可见光图像执行图像处理操作，得到第一图像”的方法可以包括：图像融合装置根据非可见光图像中像素点的对象为运动对象的概率，对可见光图像中相同位置的像素点执行增强处理，得到第二图像，并根据非可见光图像，对第二图像执行降噪处理，得到第三图像。之后，图像融合装置根据非可见光图像中每个像素点的对象为运动对象的概率，确定第三图像的每个像素点对应的第四融合权重，并确定第二图像的每个像素点对应的第五融合权重，并根据第四融合权重和第五融合权重，融合第二图像和第三图像的每个相同位置的像素点，得到第一图像。
20.这样，由于对可见光图像进行降噪处理会使得可见光图像变得模糊，通过将模糊图像，即第三图像与增强图像，即第二图像进行融合，得到最终的第一图像，能够提升第一图像中运动对象所在区域的信噪比，同时能够避免第一图像中非运动对象所在区域变模糊。
21.可选的，在本技术的另一种可能的实现方式中，上述“根据预设画面区域与准焦位置的对应关系，确定目标画面区域对应的目标准焦位置”的方法可以包括：图像融合装置查询对应关系，将与目标画面区域对应的第一准焦位置确定为目标准焦位置。或者，图像融合装置根据第一准焦位置，以及前帧非可见光图像的前n帧非可见光图像中，每个非可见光图像对应的准焦位置，确定目标准焦位置。
22.上述两种确定目标准焦位置的方式相比，第一种方式比第一种方式确定目标准焦位置的过程更简单。第二种方式比第一种方式确定出的目标准焦位置更加准确。
23.可选的，在本技术的另一种可能的实现方式中，上述“根据目标准焦位置，对摄像机的镜头执行对焦处理”的方法可以包括：图像融合装置获取镜头的当前准焦位置，并在确定目标准焦位置与当前准焦位置的差值大于预设阈值的情况下，对摄像机的镜头执行对焦处理，在确定目标准焦位置与当前准焦位置的差值小于预设阈值的情况下，保持镜头为当前准焦位置不变。
24.通过将目标准焦位置与摄像机的镜头的当前准焦位置进行比较，来确定是否执行对焦处理。
25.第二方面，提供一种图像融合装置，该图像融合装置包括用于执行上述第一方面或上述第一方面的任一种可能的实现方式所述的图像融合方法的各个模块。
26.第三方面，提供一种摄像机，该摄像机包括：镜头，用于接收光线；传感器，用于对镜头接收的光线进行光电转换，生成可见光图像和非可见光图像；处理器，用于执行如第一方面及其任一种可能的实现方式的图像融合方法。
27.第四方面，提供一种芯片系统，该芯片系统应用于图像融合装置(例如摄像机)；芯片系统包括一个或多个接口电路，以及一个或多个处理器。接口电路和处理器通过线路互联；接口电路用于从图像融合装置的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令。当处理器执行计算机指令时，图像融合装置执行如第一方面及其任一种可能的实现方式的图像融合方法。
28.第五方面，提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在图像融合装置上运行时，使得图像融合装置执行如第一方面及其任一种可能的实现方式的图像融合方法。
29.第六方面，本技术提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在图像融合装置上运行时，使得图像融合装置执行如第一方面及其任一种可能的实现方式的图像融合方法。
30.本技术中第二方面到第六方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第六方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。
31.本技术的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
32.图1为本技术实施例提供的双目摄像机的一种结构示意图；
33.图2为本技术实施例提供的图像融合方法的流程示意图之一；
34.图3为本技术实施例提供的图像融合方法的流程示意图之二；
35.图4为本技术实施例提供的图像融合方法的流程示意图之三；
36.图5为本技术实施例提供的图像融合方法的流程示意图之四；
37.图6为本技术实施例提供的非可见光图像前的第(m 1)帧非可见光图像的示意图；
38.图7为本技术实施例提供的确定目标准焦位置的示意图；
39.图8为本技术实施例提供的图像融合装置的结构示意图之一；
40.图9为本技术实施例提供的图像融合装置的结构示意图之二。
具体实施方式
41.在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
42.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
43.目前，在安防监控场景中，拍摄设备在光照强度较低的环境，如夜间环境中拍摄图像时，存在拍摄的图像噪声较大、图像质量较差的问题。采用可见光补光，如白光补光的方式，能够降低图像中的噪声，提高图像质量。但是白光对人眼具有强烈的刺激作用，会提醒犯罪分子拍摄设备的位置。
44.现有技术中可以利用图像融合技术来得到融合图像，该融合图像可改善上述单一波段的图像的不足，提高图像的清晰度和信息包含量，从而有利于更为准确、更为可靠、更为全面地从图像获取拍摄对象或场景的信息。但是，在光照强度较低的环境中进行图像融合时，仍会存在融合图像的噪声较大、图像细节较差的问题。
45.为了解决在光照强度较低的环境中将可见光图像和非可见光图像进行融合时，融合图像的噪声较大、图像细节较差的问题，本技术实施例提供一种图像融合方法及装置，通过利用非可见光图像对可见光图像进行降噪处理，并融合非可见光图像和降噪处理后的可
见光图像得到融合图像，能够降低融合图像的噪声，提高图像细节。
46.为了便于本领域技术人员理解，在此先对本技术实施例中涉及到的术语进行简要说明。
47.高频信息：高频信息是指图像中灰度快速变化的区域的信息。图像中相邻区域的灰度相差较大时，会出现灰度快速变化。通常情况下，高频信息可以为图像中拍摄对象的边缘信息、图像中的纹理信息等信息。
48.示例性的，当图像中拍摄对象的边缘部分的灰度与图像中背景区域的灰度相差较大时，拍摄对象的边缘信息为高频信息。
49.示例性的，当图像为人脸照片时，图像中该人脸的痘痘、褶子、斑点等纹理信息均为高频信息。
50.基于上述本技术实施例涉及的术语，本技术实施例提供一种图像融合方法。图像融合方法的执行主体为图像融合装置。该图像融合装置可以是拍摄设备，也可以是拍摄设备中的处理器(central processing units，cpu)，还可以是拍摄设备中的控制模块，还可以是拍摄设备中的客户端。本技术实施例以拍摄设备执行图像融合方法为例，对本技术实施例提供的图像融合方法进行说明。
51.在一些实施例中，拍摄设备是拥有拍摄图像或者拍摄视频的功能的设备，例如摄像机。具体的，拍摄设备可以为双目摄像机、分光摄像机(单目双传感器，使用棱镜等分光器件把从镜头进入的光线拆分成2个光线，分别传递给两个传感器)、单目单传感器的摄像机等。上述双目摄像机、分光摄像机和单目单传感器的摄像机的基本硬件结构类似，下面以图1所示的双目摄像机为例，介绍双目摄像机、分光摄像机和单目单传感器的摄像机的硬件结构。
52.图1所示是双镜头(双目)双传感器的双目摄像机11，双目摄像机11包括：镜头111、镜头121、彩色传感器113、黑白传感器123、片上系统13。
53.镜头111和镜头121用于获取双目摄像机11外部的光线112。镜头111把光线112传输给彩色传感器113，彩色传感器113把光线112转换成彩色raw图像后发送给片上系统13。镜头121把子光线122传输给黑白传感器123，黑白传感器123把光线122转换成灰度raw图像后发送给片上系统13。
54.片上系统13可以执行多种功能，例如：白平衡、降噪、图像融合等。本技术的方法实施例由片上系统芯片执行。片上系统13可以是处理器。片上系统13可以是多个芯片的集成，例如中可以包括isp、cpu等组件，还可以包括图像处理器(graphics processing unit，gpu)芯片。在其他实施例中，isp和cpu也可以独立为不同的芯片。
55.需要指出的是，图1中示出的结构并不构成对该双目摄像机的限定，除图1所示部件之外，该双目摄像机可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
56.基于上述双目摄像机的硬件结构，本技术实施例提供一种图像融合方法，应用于在光照强度较低的环境中拍摄运动对象的场景中，运动对象指的是物距发生快速变化的拍摄对象，物距指的是拍摄对象与拍摄设备的镜头的距离。运动对象的运动会影响融合图像的图像质量，本技术实施例从光学和图像两个角度对融合图像的图像质量进行了优化。下面结合附图对本技术实施例提供的图像融合方法进行详细介绍，如图2-图5所示。其中，图
2-图4所示的图像融合方法从图像角度对融合图像的图像质量进行了优化，图5所示的图像融合方法从光学角度对融合图像的图像质量进行了优化。需要说明的是，由于在该技术领域把“融合”一词用在不同场景，本技术实施例沿用了该领域对融合的逻辑，因此在本技术实施例中提及的“融合”一词实际上包括两种情况：第一种是由传感器发出的可见光图像和非可见光图像(或者对这2个图像进行过初步处理后的2幅图像)生成融合图像的整个过程；第二种是在这整个过程中，会产生非可见光图像、第一图像和细节图像，把由这三个图像得到融合图像的过程，也称为融合。因此，在不同的段落中，需要结合上下文来理解融合这个词。
57.如图2所示，本技术实施例提供的图像融合方法可以包括以下步骤201-步骤204。
58.201、拍摄设备获取可见光图像和非可见光图像。
59.其中，可见光图像和非可见光图像包括的拍摄内容相同。
60.在同一个拍摄场景中，拍摄设备可以实时获取可见光图像和非可见光图像，并从所有图像中获取包括相同拍摄内容的可见光图像和非可见光图像。在拍摄运动对象的场景中，可见光图像和非可见光图像通常是一一对应的。
61.可以理解，上述可见光图像是拍摄设备利用自然光、路灯等光得到的图像。非可见光图像是拍摄设备使用非可见光补光得到的图像。该非可见光可以为红外光，非可见光图像可以为红外图像、热红外图像等。非可见光图像比可见光图像的噪声小，清晰度高，信噪比高。可见光图像比非可见光图像的颜色真实，观感自然。
62.另外，拍摄设备的设备类型不同时，获取可见光图像和非可见光图像的过程不同。
63.当拍摄设备为双目摄像机时，双目摄像机的可见光镜头可以采集可见光信号，并将该可见光信号传输至可见光传感器。可见光传感器可以对可见光信号进行感光成像，生成可见光图像。且，双目摄像机的非可见光镜头可以采集补光的非可见光信号，并将该非可见光信号传输至非可见光传感器。非可见光传感器可以对非可见光信号进行感光成像，生成非可见光图像。
64.当拍摄设备为分光摄像机时，分光摄像机的一个镜头采集可见光信号和非可见光信号，并将这两种波段的信号传输至分光单元。分光单元可以将可见光信号传输至可见光传感器，并将非可见光信号传输至非可见光传感器。可见光传感器可以对可见光信号进行感光成像，生成可见光图像。非可见光传感器可以对非可见光信号进行感光成像，生成非可见光图像。
65.当拍摄设备为单目单传感器的摄像机时，单目单传感器的摄像机的镜头采集可见光信号和非可见光信号，并将采集到的可见光信号和非可见光信号传输至传感器。传感器轮流生成可见光图像和非可见光图像。
66.202、拍摄设备根据非可见光图像，对可见光图像执行图像处理操作，得到第一图像。
67.其中，图像处理操作可以包括降噪处理操作。
68.由于对于拍摄内容一致、但图像信噪比不同的两幅图像，利用高信噪比图像能够恢复低信噪比图像中被噪声污染的边缘结构区域，且能够消除低信噪比图像中非边缘结构区域(即平坦区域)的噪声信息，从而提高低信噪比图像的信噪比。因此，拍摄设备在获取到包括相同拍摄内容的可见光图像和非可见光图像之后，可以根据高信噪比的非可见光图
像，使用预设降噪算法对低信噪比的可见光图像执行联合降噪处理，得到第一图像。
69.具体实现原理：拍摄设备可以根据图像结构分别对可见光图像和非可见光图像进行区分处理，以区分这两幅图像的边缘结构区域和非边缘结构区域。对于边缘结构区域，拍摄设备保留高信噪比图像，即非可见光图像的边缘信息。对于非边缘结构区域，拍摄设备使用低信噪比图像，即可见光图像的局部均值进行滤波降噪。这样，便能在联合降噪后得到恢复了边缘结构区域的边缘信息，且降低了非边缘结构区域的噪声的第一图像。
70.可以理解，在本技术实施例中，预设降噪算法可以为保边滤波算法。保边滤波算法可以为联合双边滤波算法、导向滤波算法等。当然，预设降噪算法还可以为除保边滤波算法外的其他降噪算法。本技术实施例在此对使用哪种降噪算法执行降噪处理不做限制。
71.203、拍摄设备根据非可见光图像，确定细节图像。
72.拍摄设备在获取到非可见光图像之后，可以获取非可见光图像中的高频信息，并确定包括有该高频信息的细节图像。
73.在一些实施例中，拍摄设备确定细节图像的过程为：拍摄设备可以采用细节增强算法处理非可见光图像，得到细节增强图像。且拍摄设备可以采用低通模糊算法处理非可见光图像，得到低频图像。之后，拍摄设备可以计算细节增强图像和低频图像中，每个相同位置的像素点的像素值的差值，并根据这些差值生成细节图像。
74.这样，通过对非可见光图像进行增强处理后再提取高频信息，与现有技术中的直接从非可见光图像中提取高频信息相比，提取的高频信息更加丰富。
75.需要说明的是，在本技术实施例中，上述步骤202，与步骤203的执行没有先后关系。即在执行完步骤201之后，可以先执行步骤202，然后再执行步骤203，或者，也可以先执行步骤203，然后再执行步骤202，或者，也可以同时执行步骤202和步骤203。本技术实施例在此对步骤202，与步骤203的执行顺序不做具体限制。
76.204、拍摄设备融合非可见光图像、第一图像和细节图像，得到融合图像。
77.拍摄设备在获取到第一图像和细节图像之后，可以将非可见光图像、第一图像和细节图像进行逐像素点的特征的融合处理，得到最终的融合图像。像素点的特征可以包括色调、饱和度和亮度。
78.本技术实施例提供的图像融合方法，拍摄设备在获取到包括有相同拍摄内容的可见光图像和非可见光图像后，根据非可见光图像，对可见光图像执行降噪处理操作，得到第一图像。拍摄设备根据非可见光图像确定细节图像，该细节图像包括非可见光图像中的高频信息。之后，拍摄设备融合非可见光图像、第一图像和细节图像，得到融合图像。这样，拍摄设备在光照强度较低的环境中进行图像融合的情况下，通过利用非可见光图像对可见光图像进行降噪处理，即利用包括相同拍摄内容的、噪声小的图像对噪声大的图像进行降噪处理，与现有技术中的利用噪声图像自身信息进行降噪处理相比，本技术实施例的降噪效果更好，降噪处理后的第一图像的噪声更小，从而使得最终得到的融合图像的噪声更小，图像细节更好。
79.可选的，在本技术实施例中，上述步骤204中，拍摄设备融合非可见光图像、第一图像和细节图像，得到融合图像具体可以包括：拍摄设备根据预设的第一融合权重、第二融合权重和第三融合权重，融合非可见光图像、第一图像和细节图像，得到融合图像。
80.其中，第一融合权重与非可见光图像对应，第二融合权重与第一图像对应，第三融
合权重与细节图像对应，融合权重用于表示图像的特征在融合时所占的比例，第二融合权重大于第一融合权重。图像的特征包括上述提到的像素点的色调、饱和度和亮度。
81.由于现有技术中，在保证融合图像的色彩准确性的前提下，融合时使用的可见光图像的权重较高，会导致融合图像的噪声大、图像细节较差。在本技术实施例中，在第二融合权重大于第一融合权重，即可见光图像的权重大于非可见光图像的权重的场景下，通过根据非可见光图像对可见光图像进行降噪处理，降噪效果更好，使得最终得到的融合图像的噪声更小，图像细节更好。
82.可选的，在本技术实施例中，上述步骤202中的图像处理操作除了包括降噪处理操作外，还可以包括增强处理操作。在得到第一图像的一种实现方式中，基于图2，如图3所示，上述步骤202具体可以包括以下步骤202a-步骤202b。
83.202a、拍摄设备根据非可见光图像中像素点的对象为运动对象的概率，对可见光图像中相同位置的像素点执行增强处理，得到第二图像。
84.拍摄设备可以确定非可见光图像中每个像素点的对象为运动对象的概率，并根据像素点的对象为运动对象的概率，采用预设增强算法对可见光图像进行增强处理。可见光图像中每个像素点的增强幅度取决于非可见光图像中相同位置的像素点的对象为运动对象的概率大小。
85.在本技术实施例中，上述预设增强算法可以为直方图均衡化或者灰度变换等算法。当然，预设增强算法还可以为其他用于图像增强的算法，本技术实施例在此对使用哪种算法进行图像增强不做限定。
86.可以理解，非可见光图像中某个像素点的对象为运动对象的概率越大，可见光图像中相同位置的像素点的增强幅度越大。这样，对可见光图像进行图像增强处理后，能够提高可见光图像中运动对象所在的区域的对比度和亮度。
87.另外，在本技术实施例中，拍摄设备可以通过确定非可见光图像中每个像素点的目标置信度来确定像素点的对象为运动对象的概率。目标置信度越高，对应的像素点的对象为运动对象的概率越大。目标置信度越低，对应的像素点的对象为运动对象的概率越小。
88.在具体的实现中，拍摄设备可以根据非可见光图像的亮度信息，采用预设置信度算法，计算非可见光图像中每个像素点的目标置信度。
89.在本技术实施例中，预设置信度算法可以为亮度阈值算法、显著度检测算法或目标检测算法等。当然，预设置信度算法还可以为其他用于计算目标置信度的算法。本技术实施例在此对使用哪种算法确定目标置信度不做限定。
90.202b、拍摄设备根据非可见光图像，对第二图像执行降噪处理，得到第一图像。
91.需要说明的是，在本技术实施例中，第一图像是对可见光图像进行降噪处理操作、增强处理操作后得到的图像。降噪处理操作和增强处理操作的执行没有先后关系。上述步骤202a-步骤202b是以拍摄设备先对可见光图像进行增强处理操作，然后对增强后的图像，即第二图像进行降噪处理操作，从而得到第一图像为例进行说明的。当然，拍摄设备也可以先对可见光图像进行降噪处理操作，然后对降噪后的图像进行增强处理操作，从而得到第一图像。
92.这样，通过对可见光图像进行图像增强处理，提升了第二图像中运动对象所在的区域的对比度和亮度，从而使得最终得到的融合图像的颜色更加真实、观感更加自然。且，
对可见光图像进行增强处理会使得第二图像的噪声变大，本技术实施例仅是对第二图像中运动对象所在的区域进行了增强，并未对第二图像中非运动对象所在的区域进行处理，因此能够避免第二图像中非运动对象所在的区域的噪声变大。
93.可选的，在本技术实施例中，上述步骤202中的图像处理操作除了包括降噪处理操作外，还可以包括增强处理操作。在得到第一图像的另一种实现方式中，基于图2，如图4所示，上述步骤202具体可以包括以下步骤202c-步骤202f。
94.202c、拍摄设备根据非可见光图像中像素点的对象为运动对象的概率，对可见光图像中相同位置的像素点执行增强处理，得到第二图像。
95.需要说明的是，对于拍摄设备得到第二图像的具体描述可以参考图3中步骤202a拍摄设备得到第二图像的相关描述，在此不再赘述。
96.202d、拍摄设备根据非可见光图像，对第二图像执行降噪处理，得到第三图像。
97.需要说明的是，在本技术实施例中，拍摄设备得到第三图像的具体过程与图3中步骤202b拍摄设备得到第一图像的过程相同。对于拍摄设备得到第三图像的具体描述可以参考上述步骤202b中拍摄设备得到第一图像的相关描述，在此不再赘述。
98.202e、拍摄设备根据非可见光图像中每个像素点的对象为运动对象的概率，确定第三图像的每个像素点对应的第四融合权重，并确定第二图像的每个像素点对应的第五融合权重。
99.拍摄设备在得到第三图像之后，可以通过确定非可见光图像中每个像素点的目标置信度来确定像素点的对象为运动对象的概率，并根据每个像素点的对象为运动对象的概率，确定第三图像中相同位置的像素点的第四融合权重，并确定第二图像中相同位置的像素点的第五融合权重。
100.具体的，某像素点的目标置信度越高，表明该像素点的对象为运动对象的概率越大，此时需要使用较大比例的清晰度较高的图像来进行融合。由于第三图像是经过降噪处理的图像，第三图像的清晰度大于第二图像的清晰度，因此某像素点的目标置信度越高时，第三图像中相同位置的该像素点对应的第四融合权重越大，第二图像中相同位置的该像素点对应的第五融合权重越小。反之，某像素点的目标置信度越低，表明该像素点的对象为运动对象的概率越小，在该情况下第三图像中相同位置的该像素点对应的第四融合权重越小，第二图像中相同位置的该像素点对应的第五融合权重越大。
101.202f、拍摄设备根据第四融合权重和第五融合权重，融合第二图像和第三图像的每个相同位置的像素点，得到第一图像。
102.拍摄设备在确定出第三图像的每个像素点对应的第四融合权重，第二图像的每个像素点对应的第五融合权重之后，可以根据相同位置的像素点对应的第四融合权重和第五融合权重，逐个像素点对第一图像和第二图像的色调、饱和度和亮度进行融合处理，得到第一图像。
103.这样，由于对可见光图像进行降噪处理会使得可见光图像变得模糊，通过将模糊图像，即第三图像与增强图像，即第二图像进行融合，得到最终的第一图像，能够提升第一图像中运动对象所在区域的信噪比，同时能够避免第一图像中非运动对象所在区域变模糊。
104.可选的，在本技术实施例中，拍摄设备还可以从光学角度对融合图像进行图像质
量的优化。具体的，基于图4，如图5所示，本技术实施例提供的图像融合方法还可以包括以下步骤205-步骤206。
105.205、拍摄设备根据非可见光图像的前帧非可见光图像的亮度信息，确定目标准焦位置。
106.其中，目标准焦位置用于表示运动对象清晰成像时焦点所处的位置。
107.拍摄设备在获取到非可见光图像的前帧非可见光图像之后，可以根据非可见光图像的前帧非可见光图像的亮度信息，采用预设位置算法对该前帧非可见光图像中的拍摄对象进行位置分析，以确定目标准焦位置。
108.在具体的实现中，拍摄设备可以通过比较前帧非可见光图像与前帧非可见光图像前的第m帧非可见光图像的亮度信息，来确定目标画面区域，目标画面区域为运动对象在前帧非可见光图像中所处的画面区域。之后，拍摄设备可以根据预设画面区域与准焦位置的对应关系，确定目标画面区域对应的目标准焦位置。其中，m为正整数。
109.需要说明的是，本技术实施例中拍摄设备根据非可见光图像的亮度信息确认准焦位置，具体可以是：拍摄设备选择亮度比较高(例如亮度值达到某个阈值)，且亮度比较集中(例如达到一定面积)的区域作为准焦位置。也就是说，拍摄设备会以这个准焦位置进行对焦，获得的图像(包括可见光图像和非可见光图像)中准焦位置通常是显示最清晰的位置。
110.可以理解，在本技术实施例中，预设位置算法可以为目标检测算法或者帧间亮度差算法等。当然，预设位置算法还可以为其他用于确定图像中运动对象所在区域的算法，本技术实施例在此对使用哪种算法确定图像中的目标画面区域不做限定。
111.示例性的，如图6所示，假设横轴为时间轴，m为3，拍摄设备可以比较非可见光图像的前一帧非可见光图像与非可见光图像前的第四帧非可见光图像的亮度信息，来确定目标画面区域。
112.另外，拍摄设备可以采用以下两种方式确定目标准焦位置。
113.方式1，拍摄设备查询预设画面区域与准焦位置的对应关系，将与目标画面区域对应的第一准焦位置确定为目标准焦位置。
114.可以理解，预设画面区域与准焦位置的对应关系可以预先得到，并存储在拍摄设备中。在具体的实现中，拍摄设备的镜头通常是斜向下设置的。在该情况下，可以根据目标画面区域在图像画面区域中的相对位置，确定准焦位置。例如，目标画面区域在图像画面区域中的靠上位置时，确定准焦位置位于当前拍摄场景中的较远距离。目标画面区域在图像画面区域中的靠下位置时，确定准焦位置位于当前拍摄场景中的较近距离。目标画面区域在图像画面区域中的中间位置时，确定准焦位置位于当前拍摄场景中的中间距离。
115.示例性的，如图7中的a所示，为拍摄设备确定的目标画面区域。该目标画面区域在前帧非可见光图像画面区域的中间位置，那么拍摄设备查询预设画面区域与准焦位置的对应关系，得到的目标准焦位置位于当前拍摄场景中的中间距离。假设目标画面区域中的运动对象为人，如图7中的b所示，为拍摄设备确定的目标准焦位置。
116.方式2，拍摄设备根据第一准焦位置，以及前帧非可见光图像的前n帧非可见光图像中，每个非可见光图像对应的准焦位置，确定目标准焦位置。
117.其中，n为正整数。
118.拍摄设备在确定出与目标画面区域对应的第一准焦位置之后，可以获取前帧非可
见光图像的前n帧非可见光图像中，每个非可见光图像对应的准焦位置，即获取n个准焦位置。之后，拍摄设备可以根据第一准焦位置，以及上述n个准焦位置，采用预设算法，确定目标准焦位置。
119.在本技术实施例中，上述预设算法可以为平滑滤波算法或者卡尔曼算法。当然，该预设算法还可以为其他用于根据多个准焦位置确定目标准焦位置的算法，本技术实施例在此对使用哪种算法确定目标准焦位置不做限定。
120.可以理解，在本技术实施例中，前帧非可见光图像的前n帧非可见光图像中，每个非可见光图像对应的准焦位置，可以是按照上述两种方式得到的，也可以是预设的初始准焦位置。
121.方式1与方式2相比，方式1比方式2得到目标准焦位置的过程更简单。方式2比方式1得到的目标准焦位置更加准确。
122.206、拍摄设备根据目标准焦位置，对摄像机的镜头执行对焦处理。
123.拍摄设备在确定出目标准焦位置之后，可以先获取镜头的当前准焦位置，并将目标准焦位置与当前准焦位置的差值与预设阈值进行比较。如果差值大于预设阈值，则拍摄设备对摄像机的镜头执行对焦处理。具体的，拍摄设备的处理器可以向对焦电机发送目标准焦位置，以便对焦电机根据目标准焦位置对摄像机的镜头执行对焦处理。如果差值小于预设阈值，则拍摄设备不执行操作，即保持镜头为当前准焦位置不变。对于差值等于预设阈值的情况，拍摄设备可以对摄像机的镜头执行对焦处理，也可以不执行操作。本技术实施例在此对差值等于预设阈值的情况下，拍摄设备是否执行操作不做限定。
124.需要说明的是，在本技术实施例中，由于非可见光图像比可见光图像的噪声小，清晰度高，因此根据非可见光图像来确定目标准焦位置。在目标准焦位置与当前准焦位置的差值大于预设阈值的情况下，如果拍摄设备为分光摄像机或单目单传感器的摄像机，则拍摄设备的处理器可以向拍摄设备的对焦电机发送目标准焦位置，该对焦电机用于控制拍摄设备的镜头。如果拍摄设备为双目摄像机，则在一种实现方式中，双目摄像机的处理器可以分别向双目摄像机的第一对焦电机和第二对焦电机分别发送目标准焦位置，第一对焦电机用于控制双目摄像机的可见光镜头，第二对焦电机用于控制双目摄像机的非可见光镜头。在另一种实现方式中，双目摄像机的处理器可以按照上述步骤205-步骤206中根据前帧非可见光图像确定目标准焦位置的方式，根据前帧可见光图像确定另一准焦位置。之后，双目摄像机的处理器可以向第二对焦电机发送目标准焦位置，向第一对焦电机发送另一准焦位置。通常情况下，目标准焦位置与另一准焦位置基本相同。
125.在该情况下，上述步骤201中拍摄设备获取可见光图像和非可见光图像，具体可以包括：拍摄设备在对焦处理完成后，通过摄像机的镜头获取非可见光图像和可见光图像。
126.在现有技术中，拍摄设备在光照强度较低的环境中采集可见光图像和非可见光图像时，使用的自动对焦技术是根据可见光图像判断焦点位置，只针对大面积固定区域对焦，且对焦响应较慢，使得在运动对象的物距快速变化的情况下，图像无法保持全程对焦，导致光学信息的损失。
127.在本技术实施例中，拍摄设备通过根据前帧非可见光图像的亮度信息来确定目标准焦位置，并根据目标准焦位置进行实时对焦，能够控制镜头的物距到准确位置，保证通过摄像机的镜头获取的可见光图像和非可见光图像中的运动对象成像清晰。且，由于非可见
光图像比可见光图像清晰，因此根据非可见光图像确定的目标准焦位置比根据可见光图像确定的目标准焦位置的准确度高。
128.上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
129.本技术实施例还提供一种图像融合装置。该图像融合装置可以是拍摄设备，也可以是拍摄设备中的cpu，还可以是拍摄设备中的控制模块，还可以是拍摄设备中的客户端。
130.如图8所示，为本技术实施例提供的一种图像融合装置80的结构示意图。图像融合装置80用于执行图2，图3、图4、图5中任一附图所示的图像融合方法。图像融合装置80可以包括获取单元81、可见光图像处理单元82、非可见光图像处理单元83和图像融合单元84。
131.获取单元81，用于获取可见光图像和非可见光图像，可见光图像和非可见光图像包括的拍摄内容相同。例如，结合图2，获取单元81可以用于执行步骤201。可见光图像处理单元82，用于根据获取单元81获取的非可见光图像，对获取单元81获取的可见光图像执行图像处理操作，得到第一图像，图像处理操作包括降噪处理操作。例如，结合图2，可见光图像处理单元82可以用于执行步骤202。非可见光图像处理单元83，用于根据获取单元81获取的非可见光图像，确定细节图像，细节图像包括非可见光图像中的高频信息。例如，结合图2，非可见光图像处理单元83可以用于执行步骤203。图像融合单元84，用于融合获取单元81获取的非可见光图像、可见光图像处理单元82得到的第一图像和非可见光图像处理单元83确定的细节图像，得到融合图像。例如，结合图2，图像融合单元84可以用于执行步骤204。
132.可选的，如图9所示，图像融合装置80还可以包括：物距估计单元85和对焦单元86。物距估计单元85，用于根据非可见光图像的前帧非可见光图像的亮度信息，确定目标准焦位置，目标准焦位置用于表示运动对象清晰成像时焦点所处的位置。例如，结合图5，物距估计单元85可以用于执行步骤205。对焦单元86，用于根据物距估计单元85确定的目标准焦位置，对摄像机的镜头执行对焦处理。例如，结合图5，对焦单元86可以用于执行步骤206。此时，获取单元81，具体用于在对焦单元86对焦处理完成后，通过摄像机的镜头获取非可见光图像和可见光图像。
133.可选的，物距估计单元85，具体用于：比较前帧非可见光图像与前帧非可见光图像前的第m帧非可见光图像的亮度信息，确定目标画面区域，目标画面区域为运动对象在前帧非可见光图像中所处的画面区域；根据预设画面区域与准焦位置的对应关系，确定目标画面区域对应的目标准焦位置。
134.可选的，图像处理操作还包括增强处理操作，可见光图像处理单元82，具体用于：根据非可见光图像中像素点的对象为运动对象的概率，对可见光图像中相同位置的像素点执行增强处理，得到第二图像；根据非可见光图像，对第二图像执行降噪处理，得到第一图像。
135.可选的，图像融合单元84，具体用于：根据预设的第一融合权重、第二融合权重和第三融合权重，融合非可见光图像、第一图像和细节图像，得到融合图像。其中，第一融合权
重与非可见光图像对应，第二融合权重与第一图像对应，第三融合权重与细节图像对应，融合权重用于表示图像的特征在融合时所占的比例，第二融合权重大于第一融合权重。
136.可选的，非可见光图像处理单元83，具体用于：采用细节增强算法处理非可见光图像，得到细节增强图像；采用低通模糊算法处理非可见光图像，得到低频图像；计算细节增强图像和低频图像中，每个相同位置的像素点的像素值的差值，得到细节图像。
137.可选的，图像处理操作还包括增强处理操作，可见光图像处理单元82，具体用于：根据非可见光图像中像素点的对象为运动对象的概率，对可见光图像中相同位置的像素点执行增强处理，得到第二图像，并根据非可见光图像，对第二图像执行降噪处理，得到第三图像；根据非可见光图像中每个像素点的对象为运动对象的概率，确定第三图像的每个像素点对应的第四融合权重，并确定第二图像的每个像素点对应的第五融合权重；根据第四融合权重和第五融合权重，融合第二图像和第三图像的每个相同位置的像素点，得到第一图像。
138.可选的，物距估计单元85，具体用于：查询对应关系，将与目标画面区域对应的第一准焦位置确定为目标准焦位置；或者，根据第一准焦位置，以及前帧非可见光图像的前n帧非可见光图像中，每个非可见光图像对应的准焦位置，确定目标准焦位置。
139.可选的，对焦单元86，具体用于：获取镜头的当前准焦位置；在确定目标准焦位置与当前准焦位置的差值大于预设阈值的情况下，对摄像机的镜头执行对焦处理；在确定目标准焦位置与当前准焦位置的差值小于预设阈值的情况下，保持镜头为当前准焦位置不变。
140.当然，本技术实施例提供的图像融合装置80包括但不限于上述模块。
141.在实际实现时，可见光图像处理单元82、非可见光图像处理单元83、图像融合单元84和物距估计单元可以由图1所示的片上系统来实现。其具体的执行过程可参考图2、图3、图4或图5所示的图像融合方法部分的描述，这里不再赘述。
142.本技术另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当计算机指令在图像融合装置上运行时，使得图像融合装置执行上述方法实施例所示的方法流程中图像融合装置执行的各个步骤。
143.本技术另一实施例还提供一种芯片系统，该芯片系统应用于图像融合装置(例如摄像机)。芯片系统包括一个或多个接口电路，以及一个或多个处理器。接口电路和处理器通过线路互联。接口电路用于从图像融合装置的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令。当处理器执行计算机指令时，图像融合装置执行上述方法实施例所示的方法流程中图像融合装置执行的各个步骤。
144.在本技术另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在图像融合装置上运行时，使得图像融合装置执行上述方法实施例所示的方法流程中图像融合装置执行的各个步骤。
145.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个
计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
146.以上所述，仅为本技术的具体实施方式。熟悉本技术领域的技术人员根据本技术提供的具体实施方式，可想到变化或替换，都应涵盖在本技术的保护范围之内。