一种红外图像与可见光图像的融合方法和系统与流程

1.本发明涉及技术图像处理领域，尤其涉及一种红外图像与可见光图像的融合方法。


背景技术：

2.目前，红外成像技术被广泛运用于各个领域的视频、图像监测中，红外成像无需借助外部环境光然，得到的红外图像成像清楚、准确度高、能识别伪装和抗干扰，但红外成像容易受到外界噪声的影响，从而使得红外视频及图像出现对比度低、边缘模糊以及信噪比低等缺点，导致在视觉效果上不能呈现和可见光摄像头得到的图片视频的相同效果。可见光摄像头拍摄到的图像可识别效果好，图像清晰，图像细节丰富，但可见光摄像头在环境有烟雾遮挡、雨雪干扰的时候会受到干扰，导致成像可见度低，同时在夜间无法进行监测。若只使用单一可见光摄像头或红外摄像头进行监测，采集的图像可能出现无法准确表达被检测的对象的特征，而将同一场景的红外图像和可见光图像进行融合，得到的融合图像可同时保留红外图像和可见光图像的优点，具有较强的抗干扰能力的同时还能保留丰富的细节纹理信息。
3.现有技术中在进行红外图像和可见光图像融合时，对于固定场景下获取的双光图像，通常基于预设的固定权重进行融合，但在实际处理中，不同的监测对象的红外反射差异性较大，而可见光图像却变化不明显，获取的红外图像和可见光图像会在结构上产生变化，若仍使用固定权重进行图像融合，当预先设置的权重不能完全适应融合需要时，融合后的图像可能会出现一定程度上的失真，图像纹理细节信息被淡化可观察信息减少，图像出现拖影等问题。


技术实现要素：

4.本发明提供了一种红外图像与可见光图像的融合方法和系统，用于解决现有技术在对红外图像和可见光图像进行图像融合时，采用固定融合权重导致融合图像纹理细节信息被淡化可观察信息减少，图像出现拖影的技术问题。
5.本发明提供的一种红外图像与可见光图像的融合方法，包括：
6.步骤一：获取待监测物体的红外图像和可见光图像；
7.步骤二：对所述待监测物体的红外图像和可见光图像进行预处理，得到第一红外图像和第一可见光图像；
8.步骤三：对所述第一红外图像和所述第一可见光图像进行图像配准，得到第二红外图像和第二可见光图像；
9.步骤四：判断所述第二红外图像和所述第二可见光图像是否满足预设的融合标准，若是，则对所述第一红外图像和所述第一可见光图像进行图像融合，获取融合图像，若否，返回步骤三，调整配准参数，对所述第一红外图像和所述第一可见光图像进行重新配准；
10.其中，所述图像融合的步骤具体为：
11.提取所述第二红外图像的图像亮度分量和所述第二可见光图像的图像亮度分量，计算所述第二红外图像的图像亮度分量和所述第二可见光图像的图像在相同像素坐标下的像素的亮度差值；
12.根据所述亮度差值获取融合权重；其中，所述融合权重包括红外图像融合权重和可见光图像融合权重；
13.根据所述红外图像融合权重和所述可见光图像融合权重计算融合图像的亮度分量，其中，融合图像的亮度分量的计算公式为：
14.c(i，j)＝ωac(i，j) ωbc(i，j)
15.其中，c(i，j)为融合图像的像素点坐标为(i，j)时的像素的亮度分量，c(i，j)为红外图像的像素点坐标为(i，j)时的像素的亮度分量，ωa为对应亮度差值下的红外图像的融合权重，c(i，j)为可见光图像的像素点坐标为(i，j)时的像素的亮度分量，ωb为对应亮度差值下的可见光图像的融合权重；
16.对比所述亮度差值和预设亮度阈值的大小，当所述亮度差值大于所述预设亮度阈值时，根据预设第一融合规则得到最终融合图像；当所述亮度差值小于或等于所述预设亮度阈值时，根据预设第二融合规则得到最终融合图像。
17.优选的，所述判断所述第二红外图像和所述第二可见光图像是否满足预设的融合标准具体为：
18.分别对所述第二红外图像和所述第二可见光图像进行边缘检测，获取所述待监测物体的边缘特征图像，其中，所述边缘特征图像为二值图像，所述边缘特征图像包括第二红外边缘特征图和第二可见光边缘特征图；
19.对比所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小一致时，记所述像素坐标下的像素为匹配成功像素，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小不一致时，记所述像素坐标下的像素为匹配不成功像素；其中，所述匹配成功像素包括第二红外匹配成功像素和第二可见光匹配成功像素；
20.计算所述第二红外匹配成功像素的数量与所述第二红外边缘特征图中待监测物体的边缘特征像素数量的比值，得到红外匹配值；
21.计算所述第二可见光匹配成功像素的数量与所述第二可见光边缘特征图中待监测物体的边缘特征像素数量的比值，得到可见光匹配值；
22.计算所述红外匹配值和所述可见光匹配值的均值，得到匹配均值，对比所述匹配均值与预设匹配值之间的大小，若所述匹配均值大于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像满足预设的融合标准，若所述匹配均值小于或等于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像不满足预设的融合标准。
23.优选的，所述亮度差值是由所述第二可见光图像的像素的亮度分量减去所述第二红外图像在与所述第二可见光图像的像素坐标相同时的像素的亮度分量得到。
24.优选的，所述预设第一融合规则具体为：
25.以所述融合图像的亮度分量为融合亮度分量，以所述第二可见光图像的彩色分量
为基底，通过逆变换得到最终融合图像；
26.基于所述亮度分量和所述，通过逆变换得到最终融合图像。
27.优选的，所述预设第二融合规则具体为：
28.以所述融合图像的亮度分量为融合亮度分量，以所述第二红外图像的彩色分量为基底，通过yc
rbr
逆变换得到最终融合图像。
29.优选的，所述对所述待监测物体的红外图像和可见光图像进行预处理包括：
30.对所述红外图像和所述可见光图像进行图像去噪和尺寸调整，其中，所述尺寸调整为：以所述红外图像和所述可见光图像中的任一图像为基准图像，对另一图像进尺寸变换，使得所述另一图像的尺寸与所述基准图像的尺寸一致。
31.本发明提供的一种红外图像与可见光图像的融合系统，包括：
32.图像获取单元，用于获取待监测物体的红外图像和可见光图像；
33.图像预处理单元，用于对所述待监测物体的红外图像和可见光图像进行预处理，得到第一红外图像和第一可见光图像；
34.图像配准单元，用于对所述第一红外图像和所述第一可见光图像进行图像配准，得到第二红外图像和第二可见光图像；
35.图像融合单元，用于判断所述第二红外图像和所述第二可见光图像是否满足预设的融合标准，若是，则对所述第一红外图像和所述第一可见光图像进行图像融合，获取融合图像，若否，返回图像配准单元，调整配准单元的配准参数，对所述第一红外图像和所述第一可见光图像进行重新配准；
36.其中，所述图像融合的步骤具体为：
37.提取所述第二红外图像的图像亮度分量和所述第二可见光图像的图像亮度分量，计算所述第二红外图像的图像亮度分量和所述第二可见光图像的图像在相同像素坐标下的像素的亮度差值；
38.根据所述亮度差值获取融合权重；其中，所述融合权重包括红外图像融合权重和可见光图像融合权重；
39.根据所述红外图像融合权重和所述可见光图像融合权重计算融合图像的亮度分量，其中，融合图像的亮度分量的计算公式为：
40.c(i，j)＝ωac(i，j) ωbc(i，j)
41.其中，c(i，j)为融合图像的像素点坐标为(i，j)时的像素的亮度分量，c(i，j)为红外图像的像素点坐标为(i，j)时的像素的亮度分量，ωa为对应亮度差值下的红外图像的融合权重，c(i，j)为可见光图像的像素点坐标为(i，j)时的像素的亮度分量，ωb为对应亮度差值下的可见光图像的融合权重；
42.对比所述亮度差值和预设亮度阈值的大小，当所述亮度差值大于所述预设亮度阈值时，根据预设第一融合规则得到最终融合图像；当所述亮度差值小于或等于所述预设亮度阈值时，根据预设第二融合规则得到最终融合图像。
43.优选的，所述图像融合单元包括融合判断模块，所述融合判断模块包括边缘检测模块、像素匹配检测模块和融合标准判断模块；
44.所述边缘检测模块用于分别对所述第二红外图像和所述第二可见光图像进行边缘检测，获取所述待监测物体的边缘特征图像，其中，所述边缘特征图像为二值图像，所述
边缘特征图像包括第二红外边缘特征图和第二可见光边缘特征图；
45.所述像素匹配检测模块用于对比所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小一致时，记所述像素坐标下的像素为匹配成功像素，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小不一致时，记所述像素坐标下的像素为匹配不成功像素；其中，所述匹配成功像素包括第二红外匹配成功像素和第二可见光匹配成功像素；
46.所述融合标准判断模块用于计算所述第二红外匹配成功像素的数量与所述第二红外边缘特征图中待监测物体的边缘特征像素数量的比值，得到红外匹配值；计算所述第二可见光匹配成功像素的数量与所述第二可见光边缘特征图中待监测物体的边缘特征像素数量的比值，得到可见光匹配值；计算所述红外匹配值和所述可见光匹配值的均值，得到匹配均值，对比所述匹配均值与预设匹配值之间的大小，若所述匹配均值大于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像满足预设的融合标准，若所述匹配均值小于或等于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像不满足预设的融合标准。
47.本发明提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行前述的融合方法的步骤。
48.本发明提供的一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现前述的融合方法。
49.从以上技术方案可以看出，本发明具有以下优点：本技术通过提供一种红外图像与可见光图像的融合方法，通过对获取的待监测物体的红外图像和可见光图像进行预处理和配准，在进行图像融合前，判断待融合的红外图像和可见光图像是否满足融合标准，当图像满足融合标准后，根据红外图像和可见光图像的反射特性差异，获取红外图像和可见光图像的在亮度分量上的差值，然后根据亮度差值和与亮度差值一一对应的预设融合权重对红外图像和可见光图像进行图像融合，获取融合图像。
50.本技术提供的红外图像与可见光图像的融合方法，在图像融合前进行融合标准判断，可有效提高融合图像的质量，同时，基于红外图像和可见光图像的在亮度分量上的差值，对每一个像素均确定与之对应的融合权重，进一步基于上述融合权重确定融合图像，解决了传统图像融合方法中，采用固定融合权重导致融合图像纹理细节信息被淡化可观察信息减少，图像出现拖影的技术问题，使得获得融合图像中的细节信息更丰富。
附图说明
51.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明实施例提供的一种红外图像与可见光图像的融合方法的方法流程图；
53.图2为本发明实施例提供的一种红外图像与可见光图像的融合系统的系统结构
图。
具体实施方式
54.本发明实施例提供了一种红外图像与可见光图像的融合方法，涉及图像处理技术领域，解决了现有红外图像与可见光图像的融合方法，采用固定融合权重导致融合图像纹理细节信息被淡化可观察信息减少，图像出现拖影的技术问题。
55.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.请参阅图1，本实施方式提供了一种红外图像与可见光图像的融合方法，方法包括：
57.100、步骤一：获取待监测物体的红外图像和可见光图像。
58.利用红外成像设备和可见光图像成像设备分别获取红外图像和可见光图像，图像可以是相同场景下采集的，也可以是不同场景下采集的。
59.200、步骤二：对所述待监测物体的红外图像和可见光图像进行预处理，得到第一红外图像和第一可见光图像。
60.可以理解的是，不同设备在不同场景：天气、光线、摄像位置和角度等因素差别较大时，得到的图像的对应像素在空间上的一致性较差，对采用不同设备在不同场景下获取的双光(红外光和可见光)图像进行融合前，应当对图像进行处理。预处理具体包括为：图像去噪、尺寸调整；尺寸调整具体包括将红外图像和可见光图像同比转换成相同尺寸的图像，具体为以红外图像或可见光图像中的其中一幅图像为基底，对另一幅图像进行尺寸变换，使得所述另一图像的尺寸与所述基准图像的尺寸一致，可以理解的是，尺寸变换可以提高被操作图像与基底图像的相似度。
61.300、步骤三：对所述第一红外图像和所述第一可见光图像进行图像配准，得到第二红外图像和第二可见光图像。
62.可以理解的是，图像配准是图像融合的先决条件，在进行图像融合前，必须先进行图像配准变换，才能实现准确地融合。
63.400、步骤四：判断所述第二红外图像和所述第二可见光图像是否满足预设的融合标准，若是，则对所述第一红外图像和所述第一可见光图像进行图像融合，获取融合图像，若否，返回步骤三，调整配准参数，对所述第一红外图像和所述第一可见光图像进行重新配准；
64.其中，所述图像融合的步骤具体为：
65.提取所述第二红外图像的图像亮度分量和所述第二可见光图像的图像亮度分量，计算所述第二红外图像的图像亮度分量和所述第二可见光图像的图像在相同像素坐标下的像素的亮度差值；
66.根据所述亮度差值获取融合权重；其中，所述融合权重包括红外图像融合权重和可见光图像融合权重；
67.根据所述红外图像融合权重和所述可见光图像融合权重计算融合图像的亮度分量，其中，融合图像的亮度分量的计算公式为：
68.c(i，j)＝ωac(i，j) ωbc(i，j)
69.其中，c(i，j)为融合图像的像素点坐标为(i，j)时的像素的亮度分量，c(i，j)为红外图像的像素点坐标为(i，j)时的像素的亮度分量，ωa为对应亮度差值下的红外图像的融合权重，c(i，j)为可见光图像的像素点坐标为(i，j)时的像素的亮度分量，ωb为对应亮度差值下的可见光图像的融合权重；
70.对比所述亮度差值和预设亮度阈值的大小，当所述亮度差值大于所述预设亮度阈值时，根据预设第一融合规则得到最终融合图像；当所述亮度差值小于或等于所述预设亮度阈值时，根据预设第二融合规则得到最终融合图像。
71.可以理解的是，经过预处理后，红外图像和可见光图像在空间上的一致有所提高，但红外图像和可见光图像中的目标物体的对应像素在空间上的一致并不一定能满足融合标准，当红外图像和可见光图像中的被监测目标物体的对应像素在空间上的一致不能满足融合标准时，得到的融合图像的纹理细节信息就会变淡，图像可观察信息减少，融合效果较差。
72.因此，在进行图像融合前，本实施方式首先判断红外图像和可见光图像是否满足预设融合标准，当确认待融合图像满足预设融合标准时，才会进行融合。
73.本技术提供的红外图像与可见光图像的融合方法，在图像融合前进行融合标准判断，可有效提高融合图像的质量，使得获得融合图像中的细节信息更丰富。
74.在前述实施方式的基础上，本技术提供一个优选的实施方式，步骤400中判断所述第二红外图像和所述第二可见光图像是否满足预设的融合标准可通过下述方式实现：
75.401、分别对所述第二红外图像和所述第二可见光图像进行边缘检测，获取所述待监测物体的边缘特征图像，其中，所述边缘特征图像为二值图像，所述边缘特征图像包括第二红外边缘特征图和第二可见光边缘特征图。
76.402、对比所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小一致时，记所述像素坐标下的像素为匹配成功像素，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小不一致时，记所述像素坐标下的像素为匹配不成功像素；其中，所述匹配成功像素包括第二红外匹配成功像素和第二可见光匹配成功像素。
77.403、计算所述第二红外匹配成功像素的数量与所述第二红外边缘特征图中待监测物体的边缘特征像素数量的比值，得到红外匹配值；计算所述第二可见光匹配成功像素的数量与所述第二可见光边缘特征图中待监测物体的边缘特征像素数量的比值，得到可见光匹配值。
78.404、计算所述红外匹配值和所述可见光匹配值的均值，得到匹配均值，对比所述匹配均值与预设匹配值之间的大小，若所述匹配均值大于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像满足预设的融合标准，若所述匹配均值小于或等于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像不满足预设的融合标准。
79.可以理解的是，待监测物体的红外图像和可见光图像中均包含丰富的物体信息，
两张光学图像具有较好的融合效果通常代表着两张图像中的待监测物体的重合度高，也即待监测物体的边缘特征的像素的位置重合率高。同样的，对重合率高的图像进行融合，得到的融合图像会具有更丰富纹理特征。
80.同样的，像素匹配成功意味着红外图像和可见光图像中的对应位置的像素值大小一致，此时，红外图像和可见光图像对应位置的像素均是匹配成功像素，匹配成功的像素的数量越多(匹配值越高)，意味着红外图像和可见光图像中的待检测物体的重合度越高，因此，可以通过衡量匹配成功像素的数量来判定红外图像和可见光图像是否满足融合标准。
81.在一个具体的实施例中，调整配准参数，对所述第一红外图像和所述第一可见光图像进行重新配准可参见下述示例：
82.一张宽度为w，高度为h的图像的像素点个数为w*h个，将可见光图像和红外图像的左上角原点对齐，x轴的正半轴方向是水平向右，y轴的正半轴方向是垂直向下，每个像素的坐标由其位置决定，提取可见光图像中待检测物体的边缘图像的像素点的坐标后，在红外图像中找到相同坐标的像素点，若该坐标点不是红外图像中待检测物体的边缘图像的像素点的坐标，则视为不匹配。若不匹配，则启用校正，校正时根据放缩系数对红外图像中待检测物体中待检测物体的边缘图像的像素点的坐标进行放缩，坐标(inf_x，inf_y)代表像素点在红外图像坐标系中的坐标，坐标(vis_x，vis_y)代表像素点在可见光图像坐标系中的坐标，(inf_h，inf_w)和(vis_h，vis_w)分别代表红外图像中待检测物体的边缘图像的像素点位置坐标和可见光图像中待检测物体的边缘图像的像素点位置坐标，水平方向上的缩放系数kx＝inf_w/vis_w，即inf_x＝kx*vis_x，垂直方向上的缩放系数ky＝inf_h/vis_h，即inf_y＝ky*vis_y。
83.可以理解的，红外图像和可见光图像的边缘特征图像的特征像素数量不同，为保证获取的匹配率不偏移任一光学图像，本实施方式取红外图像和可见光图像的匹配率均值作为最终匹配率。
84.在前述实施例的基础上，本技术提供一个优选的实施方式，在前述确定图像满足融合标准的基础上，可对红外图像和可见光图像进行融合操作，本实施方式基于两张图像的反射特性差异进行融合，步骤400中获取融合图像可以按照如下方式实现：
85.提取所述第二红外图像的图像亮度分量和所述第二可见光图像的图像亮度分量，计算所述第二红外图像的图像亮度分量和所述第二可见光图像的图像亮度分量的亮度差值；需要说明的是，在本实施例中，预先建立像素的亮度差值与预设的融合权重值之间的对应关系，获取亮度差值后，基于预设的对应关系可以确定对应的红外图像的预设融合权重及可见光图像的预设融合权重；其中，所述亮度差值是由所述第二可见光图像的像素的亮度分量减去所述第二红外图像在与所述第二可见光图像的像素坐标相同时的像素的亮度分量得到。优选的，本实施方式采用低通滤波方式获取所述亮度分量。
86.由于不同的亮度差值对应不同的两个融合权重，每一个像素点的两个融合权重均可以根据亮度差值确定。基于确定融合权重，可以计算得到融合图像每个像素点的亮度分量，进一步进行图像融合。
87.其中，融合图像的亮度分量的计算公式为：
88.c(i，j)＝ωac(i，j) ωbc(i，j)
89.其中，c(i，j)为融合图像的像素点坐标为(i，j)时的像素的亮度分量，c(i，j)为红
外图像的像素点坐标为(i，j)时的像素的亮度分量，ωa为对应亮度差值下的红外图像的融合权重，c(i，j)为可见光图像的像素点坐标为(i，j)时的像素的亮度分量，ωb为对应亮度差值下的可见光图像的融合权重。
90.需要说明的是，在前述已经对图像进行预处理的基础上，将红外图像和可见光图像的尺寸是一致的(像素的个数一致)，通过逐像素的计算红外图像和可见光图像对应像素位置上的亮度差值，可以得到所有像素对应的亮度差值，获取亮度差值后，基于预设的对应关系可以确定对应的红外图像的预设融合权重及可见光图像的预设融合权重，进一步可以根据双光图像各自的融合权重和对应对标的亮度分量计算融合后像素点的亮度分量，最终得到由所有像素点的亮度分量构成的亮度分量集合。
91.进一步，对比所述亮度差值和预设亮度阈值的大小，当所述亮度差值大于所述预设亮度阈值时，根据预设第一融合规则得到最终融合图像；当所述亮度差值小于或等于所述预设亮度阈值时，根据预设第二融合规则得到最终融合图像。
92.其中，以所述融合图像的亮度分量为融合亮度分量，以所述第二可见光图像的彩色分量为基底，通过逆变换得到最终融合图像，为预设第一融合规则；以所述融合图像的亮度分量为融合亮度分量，以所述第二红外图像的彩色分量为基底，通过逆变换得到最终融合图像，为预设第二融合规则。
93.可以理解的是，由于所述亮度差值是由所述第二可见光图像的像素的亮度分量减去所述第二红外图像在与所述第二可见光图像的像素坐标相同时的像素的亮度分量得到，当亮度差值较大时，双光图像的反射性差异较大，也即此时的可见光图像在物体特征表现上更优秀，此时应当保留更大比例的以可见光图像的彩色分量，因此，当所述亮度差值大于预设阈值时，结合计算得到的融合图像的亮度分量，以可见光图像的彩色分量为融合对象，通过yc
rbr
逆变换得到最终融合图像。
94.同样的，当亮度差值较小时，双光图像的反射性差异较小，也即此时的红外光图像在物体特征表现上更优秀，此时应当保留更大比例的以红外图像的彩色分量，因此，当所述亮度差值小于或等于预设阈值时，结合计算得到的融合图像的亮度分量，以红外图像的彩色分量为融合对象，通过yc
rbr
逆变换得到最终融合图像。其中，yc
rbr
逆变可参见现有技术。
95.本技术通过提供一种红外图像与可见光图像的融合方法，通过对获取的待监测物体的红外图像和可见光图像进行预处理和配准，在进行图像融合前，判断待融合的红外图像和可见光图像是否满足融合标准，当图像满足融合标准后，根据红外图像和可见光图像的反射特性差异，获取红外图像和可见光图像的在亮度分量上的差值，然后根据亮度差值和与亮度差值一一对应的预设权重对红外图像和可见光图像进行图像融合，获取融合图像。
96.本技术提供的红外图像与可见光图像的融合方法，在图像融合前进行融合标准判断，可有效提高融合图像的质量，同时，基于红外图像和可见光图像的在亮度分量上的差值，对每一个像素均确定与之对应的融合权重，进一步基于上述融合权重确定融合图像，解决了传统图像融合方法中，采用固定融合权重导致融合图像纹理细节信息被淡化可观察信息减少，图像出现拖影的技术问题，使得获得融合图像中的细节信息更丰富。
97.请参阅图2，本实施方式提供了一种红外图像与可见光图像的融合系统，系统包括：
98.图像获取单元1，用于获取待监测物体的红外图像和可见光图像；
99.图像预处理单元2，用于对所述待监测物体的红外图像和可见光图像进行预处理，得到第一红外图像和第一可见光图像；
100.图像配准单元3，用于对所述第一红外图像和所述第一可见光图像进行图像配准，得到第二红外图像和第二可见光图像；
101.图像融合单元4，用于判断所述第二红外图像和所述第二可见光图像是否满足预设的融合标准，若是，则对所述第一红外图像和所述第一可见光图像进行图像融合，获取融合图像，若否，返回图像配准单元，调整配准单元的配准参数，对所述第一红外图像和所述第一可见光图像进行重新配准；
102.其中，所述图像融合的步骤具体为：
103.提取所述第二红外图像的图像亮度分量和所述第二可见光图像的图像亮度分量，计算所述第二红外图像的图像亮度分量和所述第二可见光图像的图像在相同像素坐标下的像素的亮度差值；
104.根据所述亮度差值获取融合权重；其中，所述融合权重包括红外图像融合权重和可见光图像融合权重；
105.根据所述红外图像融合权重和所述可见光图像融合权重计算融合图像的亮度分量，其中，融合图像的亮度分量的计算公式为：
106.c(i，j)＝ωac(i，j) ωbc(i，j)
107.其中，c(i，j)为融合图像的像素点坐标为(i，j)时的像素的亮度分量，c(i，j)为红外图像的像素点坐标为(i，j)时的像素的亮度分量，ωa为对应亮度差值下的红外图像的融合权重，c(i，j)为可见光图像的像素点坐标为(i，j)时的像素的亮度分量，ωb为对应亮度差值下的可见光图像的融合权重；
108.对比所述亮度差值和预设亮度阈值的大小，当所述亮度差值大于所述预设亮度阈值时，根据预设第一融合规则得到最终融合图像；当所述亮度差值小于或等于所述预设亮度阈值时，根据预设第二融合规则得到最终融合图像。
109.其中，图像融合单元4包括融合判断模块401，所述融合判断模块401包括边缘检测模块4011、像素匹配检测模块4012和融合标准判断模块4013。
110.所述边缘检测模块4011用于分别对所述第二红外图像和所述第二可见光图像进行边缘检测，获取所述待监测物体的边缘特征图像，其中，所述边缘特征图像为二值图像，所述边缘特征图像包括第二红外边缘特征图和第二可见光边缘特征图；
111.所述像素匹配检测模块4012用于对比所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小一致时，记所述像素坐标下的像素为匹配成功像素，当所述第二红外边缘特征图和第二可见光边缘特征图在相同像素坐标下的像素值大小不一致时，记所述像素坐标下的像素为匹配不成功像素；其中，所述匹配成功像素包括第二红外匹配成功像素和第二可见光匹配成功像素；
112.所述融合标准判断模块4013用于计算所述第二红外匹配成功像素的数量与所述第二红外边缘特征图中待监测物体的边缘特征像素数量的比值，得到红外匹配值；计算所述第二可见光匹配成功像素的数量与所述第二可见光边缘特征图中待监测物体的边缘特
征像素数量的比值，得到可见光匹配值；计算所述红外匹配值和所述可见光匹配值的均值，得到匹配均值，对比所述匹配均值与预设匹配值之间的大小，若所述匹配均值大于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像满足预设的融合标准，若所述匹配均值小于或等于所述预设匹配值，则判定所述第二红外图像和所述第二可见光图像不满足预设的融合标准。
113.本实施方式还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行前述的融合方法的步骤。
114.本实施方式还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现前述的融合方法。
115.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备、介质，的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
116.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
117.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
118.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
119.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
120.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。