图像融合方法、装置及设备、存储介质与流程

1.本技术涉及图像处理技术领域，尤其是涉及一种图像融合方法、装置及图像处理设备、计算机可读存储介质。


背景技术：

2.图像主要分为可见光图像和红外图像，可见光图像的高频细节丰富，能够较好地反映拍摄场景整体的细节特点，但在光照条件较差的情况下，图像质量降低，图像中需要检测的目标与环境背景变得模糊；而红外成像原理主要是通过物体的热辐射强度来显示物体的形状轮廓，对于天气、光照有很好的适应能力，特别是对于隐蔽的热源目标，如伪装的敌人、武器等军事目标具有很好的探测性，但红外成像存在图像细节模糊，纹理不够清晰，场景的高频信息比较少，对比度差，清晰度低等问题。
3.为了能够兼顾可见光图像和红外图像的各自优点，在应用场景中将可见光图像和红外图像进行融合，以获得对拍摄场景全面准确的图像描述，达到对于信息的充分利用，同时也可以提高系统分析决策的准确性和可靠性。
4.将可见光图像和红外图像进行融合的图像融合方法按照融合过程中信息处理的复杂程度，主要分为三类：像素级融合、特征级融合、决策级融合。像素级融合是对图像的像素进行操作得到融合图像的过程，优点是对原始图像中所包含的信息保留较多，缺点是需要对图像像素信息进行遍历分析计算，数据计算量和复杂度较大，系统实时性低。特征级图像融合是先从待融合图像中提取边缘、形状、纹理、像素密度等特征信息，再根据提取到的这些特征构成多维向量空间，然后对向量空间中的特征向量进行分析和处理，形成图像的特征集合，然后进行训练并根据训练的结果对待融合图像进行融合。目前特征级图像融合多采用人工神经网络的算法，优点是处理速度快，计算量较小；缺点是信息丢失较多，对操作系统要求较高。决策级图像融合是先对待融合图像进行特征提取、目标特征识别和决策分类，建立对同一目标的初步判决，然后根据融合规则对可见光图像和红外图像的决策信息进行可信度上的融合，最终得到一个联合判决的结果。目前，决策级融合方法主要包括基于支持向量机、神经网络、证据推理、bayes推理和模糊积分等融合算法，复杂度大，对操作系统的要求更高。


技术实现要素：

5.为解决现有存在的技术问题，本技术提供一种可减少图像中无效信息、减小计算量和复杂度、且可提升系统实时性的图像融合方法、装置、图像处理设备及计算机可读存储介质。
6.为达到上述目的，本技术实施例的技术方案是这样实现的：
7.第一方面，本技术实施例提供一种图像融合方法，应用于图像处理设备，包括：
8.获取针对目标视场同步采集的可见光图像和红外图像；
9.对所述红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域；
10.将所述红外图像基于所述目标融合区域与所述可见光图像进行融合，得到融合图像。
11.第二方面，本技术实施例提供一种图像融合装置，包括：
12.获取模块，用于获取针对目标视场同步采集的可见光图像和红外图像；
13.融合区域确定模块，用于对所述红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域；
14.融合模块，用于将所述红外图像基于所述目标融合区域与所述可见光图像进行融合，得到融合图像。
15.第三方面，本技术实施例提供一种图像处理设备，包括处理器、与所述处理器连接的存储器及存储在所述存储器上并可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本技术应用于终端设备侧的任一实施例所述的图像融合方法。
16.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如本技术任一实施例所述的图像融合方法。
17.上述实施例中，通过对红外图像二值化得到掩膜图像，根据掩膜图像确定目标融合区域，将红外图像基于所述目标融合区域与可见光图像进行融合，得到融合图像，如此，通过目标融合区域的确定，可以对红外图像中包含的有效信息的部分进行提取，将提取到的有效信息与可见光图像进行融合，可有效避免融合后图像包含无用信息而使得图像质量下降，减少图像中无效信息、减小计算量和复杂度、且可提升系统实时性。
18.上述实施例中，图像融合装置、图像处理设备及计算机可读存储介质与对应的图像融合方法实施例属于同一构思，从而分别与对应的图像融合方法实施例具有相同的技术效果，在此不再赘述。
附图说明
19.图1为一实施例中图像融合方法的应用场景示意图；
20.图2为一实施例中图像融合方法的流程图；
21.图3为另一实施例中图像融合方法的流程图；
22.图4为又一实施例中图像融合方法的流程图；
23.图5为一示例中红外图像的灰度直方图的示意图；
24.图6为一示例中灰度直方图数据呈单峰分布的示意图；
25.图7为红外图像的灰度直方图呈单峰分布，采用三角形法、高斯法和大津法进行融合的对比示意图；
26.图8为红外图像的灰度直方图呈大致均匀分布，采用三角形法、高斯法和大津法进行融合的对比示意图；
27.图9为红外图像的灰度直方图呈双峰分布，采用三角形法、高斯法和大津法进行融合的对比示意图；
28.图10为一可选的具体示例中图像融合方法的流程图；
29.图11为图10所示实施例中采用的红外图像的示意图；
30.图12为图10所示实施例中采用的可见光图像的示意图；
31.图13为采用本技术所述的图像融合方法对红外图像和可见光图像进行融合后得到的融合图像的示意图；
32.图14为采用已知的基于低秩表示原理对红外图像和可见光图像进行融合的融合图像的示意图；
33.图15为采用已知的基于非下采样剪切波变换原理对红外图像和可见光图像进行融合的融合图像的示意图；
34.图16为采用已知的基于非下采样轮廓波变换原理对红外图像和可见光图像进行融合的融合图像的示意图；
35.图17采用已知的基于泊松图像编辑原理对红外图像和可见光图像进行融合的融合图像的示意图；
36.图18为一实施例中图像融合装置的示意图；
37.图19为一实施例中图像处理设备的结构示意图。
具体实施方式
38.以下结合说明书附图及具体实施例对本技术技术方案做进一步的详细阐述。
39.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
40.在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
41.在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
42.请参阅图1，为本技术实施例提供的图像处理方法的一可选应用场景的示意图，其中，图像处理设备11包括处理器12、与所述处理器12连接的存储器13、可见光拍摄模块14和红外拍摄模块15。所述图像处理设备11通过所述可见光拍摄模块14和所述红外拍摄模块14同步实时采集可见光图像和红外图像发送给处理器12，所述存储器13内存储有实施本技术实施例所提供的图像融合方法的计算机程序，处理器12通过执行所述计算机程序，对所述红外图像二值化得到掩膜图像，通过掩膜图像确定出目标融合区域，将红外图像基于目标融合区域与可见光图像进行融合，得到融合图像。其中，所述图像处理设备11可以是集成有可见光拍摄模块14和红外拍摄模块15、且具备存储和处理功能的各类智能终端，如安防监控设备、车载设备等；所述图像处理设备11也可以是与可见光拍摄模块14和红外拍摄模块15连接的计算设备；所述图像处理设备11也可以是白光和红光的双光融合瞄准类设备。
43.请参阅图2，为本技术一实施例提供的图像融合方法，可以应用于图1所示的图像处理设备。其中，图像处理方法包括如下步骤：
44.s101，获取针对目标视场同步采集的可见光图像和红外图像。
45.可见光图像和红外图像是针对目标视场同步采集得到的，如此，可见光图像和红
外图像中包含同一目标视场内的物体的成像。可选的，图像处理设备包括可见光拍摄模块和红外拍摄模块，所述获取针对目标视场同步采集的可见光图像和红外图像包括：图像处理设备通过可见光拍摄模块和红外拍摄模块同时采集可见光图像和红外图像，并将采集到的可见光图像和红外图像发送给处理器。在另一些可选的实施例中，图像处理设备不包括图像拍摄模块，所述获取针对目标视场同步采集的可见光图像和红外图像包括：图像处理设备获取具备可见光图像和红外图像拍摄功能的其它智能设备发送的针对目标视场同步采集的可见光图像和红外图像，这里，其它智能设备可以包括红外探测器、手机终端、云端等。
46.s103，对所述红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域。
47.对红外图像二值化是指，将所述红外图像上的各像素点的灰度值分别进行赋值，得到可反映图像整体和局部特征的二值化图像。
48.在可选的实施例中，所述s103，对所述红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域，包括：
49.将所述红外图像中各像素点的灰度值与二值化阈值进行比较，灰度值小于所述二值化阈值的像素点的灰度值置第一设定值，灰度值大于或等于所述二值化阈值的像素点的灰度值置第二设定值，得到掩膜图像；
50.选择所述掩膜图像中所述第二设定值的像素点分布区域的至少一部分作为目标融合区域。
51.二值化阈值可以是预先设定的，也可以是根据对红外图像中像素点灰度值的分布特征计算得到。第一设定值和第二设定值可以分别选自灰度值区间的最大值和最小值、或者也可以是选择灰度值区间中分别靠近最大值和最小值的两个灰度值。在一个具体示例中，第一设定值为0，第二设定值为255，使得整个图像呈现出黑白图像效果。所述对所述红外图像二值化得到掩膜图像包括：将红外图像中256个亮度等级的灰度图像通过二值化阈值进行二值化处理，将红外图像中各像素点的灰度值与二值化阈值进行比较，灰度值小于二值化阈值的像素点将其灰度值均置0，灰度值大于二值化阈值的像素点的灰度值均置255，从而得到可反映图像整体和局部特征的二值化图像，即掩膜图像。相应的，根据掩膜图像确定目标融合区域，可以是根据掩膜图像中所述第二设定值的像素点分布区域，也即白色部分确定目标融合区域，如可以选择掩膜图像中白色部分全部作为目标融合区域，或选择掩膜图像中白色部分中的某一部分作为目标融合区域。
52.s105，将所述红外图像基于所述目标融合区域与所述可见光图像进行融合，得到融合图像。
53.将所述红外图像基于所述目标融合区域与所述可见光图像进行融合，得到融合图像可以是指，将所述红外图像和所述可见光图像分别与所述目标融合区域对应的图像部位进行融合，其它部位保留可见光图像的图像部分，得到融合图像；或，将所述红外图像的所述目标融合区域提取出来形成待融合图像，将所述待融合图像与所述可见光图像进行融合等。
54.上述实施例中，通过对红外图像二值化得到掩膜图像，根据掩膜图像确定目标融合区域，将红外图像基于所述目标融合区域与可见光图像进行融合，得到融合图像，如此，
通过目标融合区域的确定，可以对红外图像中包含的有效信息的部分进行提取，将提取到的有效信息与可见光图像进行融合，可有效避免融合后图像包含无用信息而使得图像质量下降，减少图像中无效信息、减小计算量和复杂度、且可提升系统实时性。
55.可选的，请参阅图3，s105，将所述红外图像基于所述目标融合区域与所述可见光图像进行融合，得到融合图像，包括：
56.s1051，分别将所述红外图像和所述可见光图像进行通道分离，对分离出的表征图像亮度的两个亮度通道分量根据所述目标融合区域进行融合，得到亮度通道融合图像。
57.对于一幅数字图像，人眼观察到的一幅图片，但是从计算机来看，一副数字图像是一堆亮度各异的点，如，一副尺寸为m
×
n的数字图像可以用一个m
×
n的矩阵来表示，矩阵中元素的值分别表示这个位置上对应像素点的亮度，像素值越大表示该像素点越亮。通常，灰度图可用二维矩阵表示，彩色图像可用三维矩阵(m
×n×
3)表示，也即多通道图像。
58.通过通道可以改变图像的色相和颜色，例如，如仅保存红色通道，则图像本身就仅保留红色的元素和信息。针对每个单一通道，可分别显示为一副灰度图像(需要说明的是，该灰度图像非黑白图像)，单一通道的灰度图像中的明暗对应所述单一通道色的明暗，相应表示所述单一通道色/光在图像上的分布情况。
59.将红外图像和可见光图像进行通道分离，对分离出的表征图像亮度的亮度通道分量根据目标融合区域进行融合，得到亮度通道融合图像可以是指，将红外图像和可见光图像进行通道分离，将红外图像中分离出的表征图像亮度的亮度通道分量中与目标融合区域对应的部分、与可见光图像中分离出的表征图像亮度的亮度通道分量中与目标融合区域对应的部分进行融合，得到亮度通道融合图像。其中，对红外图像和可见光图像分离出的亮度通道分量根据目标融合区域进行融合，可以减少融合所需的运算量，且可以保留目标融合区域内的有效信息。
60.s1052，将所述亮度通道融合图像和所述可见光图像进行融合，得到融合图像。
61.图像融合(image fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理技术，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。亮度通道融合图像包含可见光图像的亮度通道分量和红外图像的亮度通道分量中的有效信息，将亮度通道融合图像和可见光图像进行融合，使得亮度通道融合图像中的亮度通道分量与可见光图像的其它通道分量合并，得到融合图像。
62.上述实施例中，通过对红外图像二值化得到掩膜图像，根据掩膜图像确定目标融合区域，将红外图像和可见光图像进行通道分离，对分离出的表征图像亮度的亮度通道分量根据目标融合区域进行融合，得到亮度通道融合图像，将亮度通道融合图像和可见光图像进行融合，得到融合图像，如此，通过目标融合区域的确定，可以确保对红外图像中包含的有效信息的部分进行提取，将红外图像和可见光图像各自分离出的亮度通道分量进行融合，再与可见光图像进行融合，可有效避免融合后图像包含无用信息而使得图像质量下降，减少图像中无效信息、减小计算量和复杂度、且可提升系统实时性；融合后的图像可以同时保留可见光图像和红外图像各自的优点，无论是针对光照条件充分的条件下成像后获得的融合图像、还是针对光照条件不佳的情况下成像后获得融合图像，都可以让目标更好地凸显，确保对图像中关注的目标更加清晰地呈现，更便于人眼观察和识别。
63.在一些实施例中，请参阅图4，所述s103，对所述红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域的步骤中，在所述将所述红外图像中各像素点的灰度值与二值化阈值进行比较之前，包括：
64.s1031，根据所述红外图像的灰度直方图和平均梯度的分布特性，确定匹配的二值化策略；
65.s1032，按照所述二值化策略确定所述二值化阈值。
66.根据所述二值化策略确定的二值化阈值对所述红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域。
67.不同的二值化策略所采用的二值化方法的原理不同，适用的目标图像也不同。红外图像的灰度直方图和平均梯度的分布特性，可判断红外图像的灰度直方图呈单峰分布、双峰分布或大致较均匀地分布，以确定与其匹配的二值化策略。如二值化策略包括三角形法、高斯法和大津法，若红外图像的灰度直方图呈单峰分布，则适用三角形法；若红外图像的灰度直方图呈较均匀地分布，则适用高斯法；若红外图像的灰度直方图呈双峰分布，则适用大津法。通过确定与红外图像适用的二值化策略，通过对应二值化策略对红外图像进行二值化处理得到掩膜图像，将掩膜图像中的白色部分的区域确定为目标融合区域。
68.上述实施例中，通过分析红外图像的灰度直方图和平均梯度的分布特性以确定与其适配的二值化策略，以确保对红外图像二值化后可更准确地将图像中的目标所在图像区域二值化为白色部分，以便于基于掩膜图像确定目标融合区域，按照目标融合区域对可见光图像和红外图像分离出的亮度通道分量融合后可更完整、全面地保留图像中的有效信息。
69.所述s1031，根据所述红外图像的灰度直方图和平均梯度的分布特性，确定匹配的二值化策略，包括：
70.根据所述红外图像的灰度直方图的分布特性，判断所述灰度直方图是否呈单峰分布；
71.若是，确定匹配的二值化策略为三角形法；
72.若否，根据所述红外图像的平均梯度与所述可见光图像的平均梯度的对比结果，确定匹配的二值化策略为高斯法或大津法。
73.在确定与红外图像相适配的二值化策略过程中，首先根据红外图像直方图的分布特性，判断该红外图像是否适用于三角形法，若不符合，再根据平均梯度选择使用高斯法或大津法。判断对当前的红外图像进行二值化处理的二值化策略是否适用于三角形法，是使用红外图像的灰度直方图数据判断是否呈单峰分布，假设红外图像的灰度直方图的最大波峰在靠近最亮的一侧，以此寻找红外图像二值化的最佳阈值。使用红外图像的灰度直方图数据判断不满足单峰分布的情况下，再通过红外图像的平均梯度和可见光图像的平均梯度的对比结果判断呈较均匀地分布或呈双峰分布，以确定适用于高斯法或大津法。
74.上述实施例中，设定二值化策略包括三角形法、高斯法和大津法，分析红外图像的灰度直方图和平均梯度的分布特性以确定与其适配的二值化策略为三角形法、高斯法或者大津法，以确保对红外图像二值化后可更准确地将图像中的目标所在图像区域二值化为白色部分，以便于基于掩膜图像确定目标融合区域后，按照目标融合区域对可见光图像和红外图像分离出的亮度通道分量融合得到的亮度分量融合图像中，可更完整、全面地保留图
像中的有效信息。
75.在一些实施例中，所述s1031，根据所述红外图像的灰度直方图和平均梯度的分布特性，确定匹配的二值化策略，包括：
76.确定所述红外图像的灰度值众数与灰度平均值之间的差值，若所述差值小于或等于预设值，确定所述红外图像的灰度直方图呈单峰分布；
77.以所述灰度直方图中最大波峰为顶点确定三角形；
78.通过所述三角形确定最大直线距离，根据所述最大直线距离对应的直方图灰度等级确定二值化阈值。
79.根据红外图像的灰度直方图数据，若灰度直方图中灰度值集中分布于某一数值，则对应所述红外图像的灰度值众数与灰度平均值之间的差值相对于灰度直方图呈其它形式的红外图像而言要小很多，如，可以将灰度值众数与灰度平均值之间的差值的绝对值记为a-m(average-mode)，通过判断灰度值众数与灰度平均值之间的差值a-m是否小于预设值，以判断灰度直方图呈单峰分布的程度，若差值a-m小于预设值，则表示对应所述红外图像的灰度直方图呈单峰分布，反之，则表示对应红外图像的灰度直方图不满足呈单峰分布的特征。如图5所示，使用红外图像的灰度直方图数据，基于纯几何方法来寻找最佳二值化阈值，假设灰度直方图中最大波峰在靠近最亮的一侧，通过三角形求最大直线距离，确定最大直线距离对应的直方图灰度等级为分割阈值。
80.如图6所示，对应红外图像的灰度直方图中灰度值众数与灰度平均值分别为121、127.734，其中，灰度值众数为灰度值中重复次数最多的灰度值，灰度平均值ag的计算公式如下公式一：
[0081][0082]
h(i,j)表示坐标为(i，j)的像素点的灰度值，m表示横坐标最大值，n表示纵坐标最大值。假设预设值为10，若灰度值众数与灰度平均值的差值a-m小于10，则对红外图像采用三角形法对其进行二值化处理，以灰度直方图中最大波峰为顶点确定三角形，通过所述三角形确定最大直线距离，根据所述最大直线距离对应的直方图灰度等级确定二值化阈值。
[0083]
上述实施例中，通过计算灰度直方图中灰度值众数与灰度平均值之间的差值，基于差值与预设值的相对大小，衡量灰度值是否集中于某一个指标，以判断对应红外图像的灰度直方图是否呈单峰分布，以实现快速且准确地判断红外图像的灰度直方图的分布特性。
[0084]
请参阅图7，为红外图像的灰度直方图呈单峰分布，采用三角形法、高斯法和大津法作为对应的二值化策略对红外图像进行二值化得到掩膜图像后，与可见光图像进行融合的对比示意图，其中，采用三角形法作为二值化策略确定二值化阈值后，对红外图像进行二值化处理得到的掩膜图像，可以更全面地和完整地突出图像目标，最终与可见光图像融合后得到的三角形法融合图像中图像有效信息损失最小。
[0085]
在一些实施例中，所述s1031，根据所述红外图像的灰度直方图和平均梯度的分布特性，确定匹配的二值化策略，还包括：
[0086]
若所述差值大于所述预设值，确定所述红外图像的第一平均梯度和所述可见光图
像的第二平均梯度；
[0087]
若所述第二平均梯度大于或等于所述第一平均梯度，计算目标窗函数内所述红外图像的灰度值的高斯均值，根据所述高斯均值确定二值化阈值。
[0088]
若灰度值众数与灰度平均值之间的差值a-m大于预设值，则表示对应红外图像的灰度直方图不满足呈单峰分布的特征，通过确定红外图像的平均梯度和可见光图像的平均梯度的相对大小，以确定对应红外图像的灰度直方图是否呈较均匀地分布或呈双峰分布。为了便于区分，将红外图像的平均梯度称为第一平均梯度，将可见光图像的平均梯度称为第二平均梯度。其中，图像的平均梯度的计算公式可如下公式二：
[0089][0090]
h(i,j)表示坐标为(i，j)的像素点的灰度值，m表示横坐标最大值，n表示纵坐标最大值。若第二平均梯度大于第一平均梯度，则表示灰度直方图呈较为均匀地分布，与当前红外图像适用的二值化策略为高斯法。通过高斯法确定二值化阈值的原理是，通过计算窗函数内图像灰度的高斯均值，将所述高斯均值作为二值化阈值对该部分图像进行二值化操作。高斯法是通过获取局部阈值的方法实现二值化，通过优化窗函数的尺度，确定对应窗函数内要融合的部分和不需要融合的部分，以对灰度直方图中灰度值并非集中于某一个指标的红外图像，也即灰度值分别集中于多个指标的红外图像，可将所述红外图像中多个指标各自对应的目标分别所在图像区域二值化为掩膜图像中的白色部分，以便于基于掩膜图像中白色部分确定目标融合区域后，按照目标融合区域对可见光图像和红外图像分离出的亮度通道分量融合得到的亮度分量融合图像中，可更完整、全面地保留图像中的有效信息，融合后图像中的细节信息加强、边缘突出。
[0091]
上述实施例中，通过可见光图像的平均梯度和红外图像的平均梯度的相对大小，以判断灰度值是否呈大致均匀地分布，以实现快速且准确地判断红外图像的二值化策略是否符合高斯法，对于可见光图像的平均梯度大于红外图像的平均梯度的情况，可见光图像清晰且包含大部分有效信息，从而采用高斯法获得二值化图像，以确保对红外图像二值化后可更准确地将图像中的各个目标所在图像区域均二值化为白色部分，基于掩膜图像确定目标融合区域后，按照目标融合区域对可见光图像和红外图像分离出的亮度通道分量融合得到的亮度分量融合图像中，可更完整、全面地保留图像中的有效信息。
[0092]
请参阅图8，为红外图像的灰度直方图呈大致均匀分布，分别采用三角形法、高斯法和大津法作为对应的二值化策略对红外图像进行二值化得到掩膜图像后，与可见光图像进行融合的对比示意图，其中，采用高斯法作为二值化策略确定二值化阈值后，对红外图像进行二值化处理得到的掩膜图像，目标轮廓更加清晰和突出，最终与可见光图像融合后得到的高斯法融合图像中图像有效信息损失最小。
[0093]
在一些实施例中，所述根据所述红外图像的灰度直方图和平均梯度的分布特性，确定匹配的二值化策略，还包括：
[0094]
若所述第二平均梯度小于所述第一平均梯度，将所述红外图像分割为前景图像和背景图像；
[0095]
根据所述前景图像和所述背景图像的类间方差值，确定二值化阈值。
[0096]
若灰度值众数与灰度平均值之间的差值a-m大于预设值，则表示对应红外图像的
灰度直方图不满足呈单峰分布的特征，通过确定红外图像的平均梯度和可见光图像的平均梯度得相对大小，以确定对应红外图像的灰度直方图是否呈较均匀地分布或呈双峰分布。为了便于区分，将红外图像的平均梯度称为第一平均梯度，将可见光图像的平均梯度称为第二平均梯度。若第二平均梯度小于第一平均梯度，则表示灰度直方图呈双峰分布，与当前红外图像适用的二值化策略为大津法。通过大津法确定二值化阈值的原理是，按图像的灰度特性，将图像分成背景和目标两部分。背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分之间的差别变小，如此，基于类间方差最大的二值化阈值分割可最大程度地减小错分概率。
[0097]
上述实施例中，通过可见光图像的平均梯度和红外图像的平均梯度的相对大小，以判断灰度直方图是否呈双峰分布，实现快速且准确地判断红外图像的二值化策略是否符合大津法，通过大津法将所述红外图像分割为前景图像和背景图像，其中前景图像中包含主要信息，如人等其它发热目标物体向外辐射的能量，前景图像中包括主要信息的区域内像素和与之相邻像素的灰度值相差较大，从而对于红外图像的平均梯度大于可见光图像的平均梯度的情况，更适合根据红外图像的前景图像确定包含有效信息的区域，通过大津法获得红外图像的二值化图像，以确保对红外图像二值化后可更准确地将图像中的目标所在图像区域均二值化为白色部分，基于掩膜图像确定目标融合区域后，按照目标融合区域对可见光图像和红外图像分离出的亮度通道分量融合得到的亮度分量融合图像中，可更完整、全面地保留图像中的有效信息。
[0098]
请参阅图9，为红外图像的灰度直方图呈双峰分布，采用三角形法、高斯法和大津法作为对应的二值化策略对红外图像进行二值化得到掩膜图像后，与可见光图像进行融合的对比示意图，其中，采用大津法作为二值化策略确定二值化阈值后，对红外图像进行二值化处理得到的掩膜图像，多目标的轮廓更加清晰和突出，最终与可见光图像融合后得到的大津法融合图像中图像有效信息损失最小。
[0099]
在一些实施例中，所述将所述红外图像和所述可见光图像进行通道分离，对分离出的表征图像亮度的亮度通道分量根据所述目标融合区域进行融合，得到亮度通道融合图像，包括：
[0100]
分别将所述红外图像和所述可见光图像进行hsi通道分离，根据所述目标融合区域对分离出的两个i通道分量按泊松图像编辑原理进行融合，得到i通道融合图像；
[0101]
所述将所述亮度通道融合图像和所述可见光图像进行融合，得到融合图像，包括：
[0102]
将所述i通道融合图像的i通道分量与所述可见光图像分离出的h通道分量、s通道分量合并，得到融合参考图像；
[0103]
将所述融合参考图像转换到rgb色彩空间，得到融合图像。
[0104]
其中，hsi(hue-saturation-intensity(lightness))是指一个数字图像的颜色模型，hsi颜色模型用h、s、i三参数描述图像的颜色特性，h定义颜色的频率，称为色调；s表示颜色的深浅程度，称为饱和度；i表示强度或亮度。
[0105]
可选的，将所述红外图像和所述可见光图像分别进行hsi通道分离，对所述红外图像和所述可见光图像分别对应的所述目标融合区域分离出的两个i通道分量按泊松图像编辑原理进行融合，得到i通道融合图像包括：将可见光图像进行hsi通道分离，分离出可见光图像的h通道分量、s通道分量、i通道分量；根据所述红外图像的灰度直方图和平均梯度的
分布特性，确定匹配的二值化策略，按照所述二值化策略对所述红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域；将红外图像进行hsi通道分离，分离出红外图像的h通道分量、s通道分量、i通道分量；将红外图像的i通道分量和可见光图像的i通道分量按照掩膜图像所确定的目标融合区域按泊松图像编辑原理进行融合，得到i通道融合图像。其中，若红外图像和可见光图像为非hsi格式图像，则将所述红外图像和所述可见光图像进行hsi通道分离之前还包括，将红外图像和可见光图像转换为hsi格式的红外图像和可见光图像。
[0106]
上述实施例中，通过提取待融合的可见光图像的i通道分量和红外图像的i通道分量按掩膜图像所规定的目标融合区域进行融合，将得到的i通道融合图像与可见光图像分离出的h通道分量、s通道分量合并后，再转换到rgb色彩空间得到融合图像，如此，通过分别提取出可见光图像和红外图像的i通道分量、以及确定出目标融合区域内的i通道分量进行融合，既能确保得到的融合图像可保留可见光图像和红外图像中的有效信息，保留红外图像和可见光图像所包含的细节信息，同时可提高融合图像的客观评价指标，减小运算量，提高融合图像的处理效率。
[0107]
为了能够对本技术实施例提供的图像融合方法具有更加整体的理解，请结合参阅图10至图12，以一可选的示例为例，对所述图像融合方法进行说明。
[0108]
s11，读取红外图像和可见光图像；如图11和图12所示，红外图像ir_1和可见光图像vis_2；
[0109]
选择红外图像匹配的自适应阈值二值化策略，将红外图像二值化；自适应阈值二值化策略包括三角形法、高斯法和大津法；选择自适应二值化策略的方法包括：
[0110]
s121，根据红外图像的灰度直方图二值化分布特性，计算图像灰度值的灰度值众数与灰度平均值的差a-m值；
[0111]
s122，判断a-m值是否大于预设值；
[0112]
s123，若a-m值小于或等于预设值，表示灰度直方图呈单峰分布，采用三角形法对红外图像进行二值化处理；
[0113]
s124，若a-m值大于预设值，计算红外图像的平均梯度ag1和可见光图像的平均梯度ag2；
[0114]
s125，判断ag1与ag2的差是否大于0；
[0115]
s126，若ag1与ag2的差小于或等于0，表示灰度直方图呈较均匀地分布，采用高斯法对红外图像进行二值化处理；
[0116]
s127，若ag1与ag2的差大于0，表示灰度直方图呈双峰分布，采用大津法对红外图像进行二值化处理；
[0117]
s13，根据二值化处理后的二值化图像生成掩膜图像，根据掩膜图像规定要融合区域；
[0118]
s14，对红外图像进行hsi通道分离，得到红外图像的h通道分量、s通道分量和i通道分量；
[0119]
s15，对可见光图像进行hsi通道分离，得到可见光图像的h通道分量、s通道分量和i通道分量；
[0120]
s16，将红外图像和可见光图像的i通道分量根据掩膜图像所规定的要融合区域依
泊松原理进行融合；
[0121]
s17，将融合后图像的i通道与可见光图像的h、s通道合并；
[0122]
s18，将合并后得到的图像转换到rgb色彩空间，得到融合图像。
[0123]
上述实施例所提供的图像融合方法，至少具备如下特点：
[0124]
第一、通过对红外图像选用匹配的二值化策略进行二值化处理，根据二值化图像确定要融合区域；通过锁定要融合区域以减小融合计算量和提高融合处理效率，且有效保留图像中有效信息；
[0125]
第二、提供了如何根据红外图像的灰度直方图和平均梯度的分布特性，确定灰度直方图是否呈单峰分布、较为均匀地分布及双峰分布来选定匹配的二值化策略的方法，由此确保基于二值化结果确定要融合区域后，可保留红外图像和可见光图像所包含的有效信息和细节信息；
[0126]
第三、将红外图像和可见光图像的i通道分量进行融合后，与可见光图像的h、s通道分量进行合并来获得融合图像，可有效避免融合后图像包含无用信息而使得图像质量下降，减少图像中无效信息、减小计算量和复杂度、且可提升系统实时性，如图13所示，为采用本技术所述的图像融合方法对红外图像和可见光图像进行融合后得到的融合图像，图14采用已知的基于低秩表示原理对红外图像和可见光图像进行融合的融合对比效果、图15为采用已知的基于非下采样剪切波变换原理对红外图像和可见光图像进行融合的融合对比效果、图16为采用已知的基于非下采样轮廓波变换原理对红外图像和可见光图像进行融合的融合对比效果、图17为采用已知的基于泊松图像编辑原理对红外图像和可见光图像整体直接进行融合的融合对比效果。
[0127]
图13至图17对应的融合图像的评价指标对比如下表一所示：
[0128][0129]
其中，ie(information entropy)是指信息熵；sf(spatial frequency)是指空间频率；rmse(root mean sqaured error)是指均方根误差；ssim(structural similarity index)是指结构相似性指数；time是指融合处理时长。nsst(non-subsampled shearlet transform)是指非下采样剪切波变换；nsct(nonsubsampled contourlet transform)是指非下采样轮廓波变换原理。结合图示及表一可知，采用本技术所述的图像融合方法对红外图像和可见光图像进行融合后得到的融合图像，均方根误差值最小、融合处理时长明显大幅减小、结构相似性指数接近于1、且信息熵和空间频率仍保持相对较大值，图像性能综合表现明显优于其它融合方法得到的融合图像。
[0130]
请参阅图18，本技术另一方面，提供一种图像融合装置，包括：获取模块131，用于获取针对目标视场同步采集的可见光图像和红外图像；融合区域确定模块132，用于对所述
红外图像二值化得到掩膜图像，根据所述掩膜图像确定目标融合区域；融合模块134，用于将所述红外图像基于所述目标融合区域与所述可见光图像进行融合，得到融合图像。
[0131]
可选的，所述融合模块134，具体用于将所述红外图像和所述可见光图像进行通道分离，对分离出的表征图像亮度的亮度通道分量根据所述目标融合区域进行融合，得到亮度通道融合图像；将所述亮度通道融合图像和所述可见光图像进行融合，得到融合图像。
[0132]
可选的，所述融合区域确定模块132，具体用于将所述红外图像中各像素点的灰度值与二值化阈值进行比较，灰度值小于所述二值化阈值的像素点的灰度值置第一设定值，灰度值大于或等于所述二值化阈值的像素点的灰度值置第二设定值，得到掩膜图像；选择所述掩膜图像中所述第二设定值的像素点分布区域的至少一部分作为目标融合区域。
[0133]
可选的，所述融合区域确定模块132，还用于根据所述红外图像的灰度直方图和平均梯度的分布特性，确定匹配的二值化策略；按照所述二值化策略确定二值化阈值。
[0134]
可选的，所述融合区域确定模块132，还用于根据所述红外图像的灰度直方图的分布特性，判断所述灰度直方图是否呈单峰分布；若是，确定匹配的二值化策略为三角形法；若否，根据所述红外图像的平均梯度与所述可见光图像的平均梯度的对比结果，确定匹配的二值化策略为高斯法或大津法。
[0135]
可选的，所述融合区域确定模块132，还用于确定所述红外图像的灰度值众数与灰度平均值之间的差值，若所述差值小于或等于预设值，确定所述红外图像的灰度直方图呈单峰分布；以所述灰度直方图中最大波峰为顶点确定三角形；通过所述三角形确定最大直线距离，根据所述最大直线距离对应的直方图灰度等级确定二值化阈值。
[0136]
可选的，所述融合区域确定模块132，还用于若所述差值大于所述预设值，确定所述红外图像的第一平均梯度和所述可见光图像的第二平均梯度；若所述第二平均梯度大于或等于所述第一平均梯度，计算目标窗函数内所述红外图像的灰度值的高斯均值，根据所述高斯均值确定二值化阈值。
[0137]
可选的，所述融合区域确定模块132，还用于若所述第二平均梯度小于所述第一平均梯度，将所述红外图像分割为前景图像和背景图像；根据所述前景图像和所述背景图像的类间方差值，确定二值化阈值。
[0138]
可选的，所述融合模块134，还用于分别将所述红外图像和所述可见光图像进行hsi通道分离，根据所述目标融合区域对分离出的两个i通道分量按泊松图像编辑原理进行融合，得到i通道融合图像；将所述i通道融合图像的i通道分量与所述可见光图像分离出的h、s通道分量合并，得到融合参考图像；将所述融合参考图像转换到rgb色彩空间，得到融合图像。
[0139]
需要说明的是：上述实施例提供的图像融合装置在实现可见光图像和红外图像融合处理过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分方法步骤。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0140]
本技术另一方面提供一种图像处理设备，请参阅图19，为本技术实施例提供的图像处理设备的一个可选的硬件结构示意图，所述图像处理设备包括处理器111、与所述处理器111连接的存储器112，存储器112内用于存储各种类别的数据以支持图像处理设备的操
作，且存储有用于实现本技术任一实施例提供的图像处理方法的计算机程序，所述计算机程序被所述处理器执行时，实现本技术任一实施例提供的图像处理方法的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0141]
可选的，所述图像处理设备还包括与所述处理器111连接的红外拍摄模块和可见光拍摄模块，所述红外拍摄模块和可见光拍摄模块用于同步针对同一目标视场拍摄红外图像和可见光图像作为待融合图像发送给所述处理器111。
[0142]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。
[0143]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0144]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或网络设备等)执行本发明各个实施例所述的方法。
[0145]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。