一种红外图像与可见光图像融合的方法及系统与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种红外图像与可见光图像融合的方法及系统。


背景技术：

2.图像传感器上有一个重要元件：彩色滤光片(color filter)，此元件对传感器的成像有巨大的影响。例如，一般相机的图像传感器会使用红外截止滤光片(ir cut filter)，这种滤光片会将可见光以外的红外光屏蔽，而使可见光(r，g，b)能够照射到图像传感器的感光部分。用此种红外截止滤光片的相机，成像得到的图片为rgb图像，其与人眼对外界的响应非常类似。
3.然而，使用红外截止滤光片的一大问题也在于此。在较暗或者极暗的场景下，与人眼对外界的响应相似，图像传感器也无法捕捉到足够的光线。因此，其成像图片通常噪声过大。
4.相反，如果不使用红外截止滤光片，则图像传感器的响应受到红外光的影响。由于红外光的响应一般取决于被摄物体的表面材质的反射率，和人眼所能看到的光线亮暗没有关系，因此，即使是暗光条件下，也能捕捉到足够多的光线，使成像的图片清晰可见。但是其成像结果中景物的亮暗与人眼对外界的观察不符，且图像没有颜色。
5.现有技术为了改善暗光条件下拍摄的质量，会将可见光图像(yuv格式，y表征亮度，uv表征颜色)与红外光图像(只有y分量，没有uv分量)进行融合。融合结果图像的y分量为红外光图像的y分量，uv分量为可见光图像的uv分量。但是，由于红外光图像的y分量与人眼对外界的观感不符，导致最后融合后的图像虽然信噪比较好，但是主观上却有明显的不自然感。


技术实现要素：

6.本技术实施例的目的在于提供一种红外图像与可见光图像融合的方法及系统，用以现有技术的融合结果图像的y分量为红外光图像的y分量，uv分量为可见光图像的uv分量，由于红外光图像的y分量与人眼对外界的观感不符，导致主观上明显的不自然感的问题。
7.本技术实施例提供的一种红外图像与可见光图像融合的方法，包括：
8.获取可见光图像，并将可见光图像分解为可见光亮度图像和可见光颜色图像；对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
9.获取红外图像，并根据红外图像生成红外亮度图像；对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
10.将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；
11.将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像；
12.将综合亮度图像和颜色图像作为红外图像与可见光图像的融合结果。
13.上述技术方案中，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。
14.在一些可选的实施方式中，将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像，包括：
15.对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
16.上述技术方案中，对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
17.在一些可选的实施方式中，对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差分绝对值，计算融合基底层图像中该像素点的亮度值，包括：
18.当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；
19.当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；
20.当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
21.上述技术方案中，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
22.在一些可选的实施方式中，其中，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。
23.上述技术方案中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。
24.在一些可选的实施方式中，将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像，包括：
25.对可见光细节层图像进行噪声抑制，得到抑制后的图像；
26.对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
27.上述技术方案中，由于可见光细节层图像存在较大噪声，因此，在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
28.在一些可选的实施方式中，对可见光细节层图像进行噪声抑制，得到抑制后的图像，包括：
29.对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
30.本技术实施例提供的一种红外图像与可见光图像融合的系统，包括：
31.可见光图像传感器，用于获取可见光图像；
32.可见光成像模块，用于将可见光图像转换为可见光亮度图像和颜色图像；
33.可见光分解模块，用于对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
34.红外光图像传感器，用于获取红外图像；
35.红外光成像模块，用于将红外图像转换为红外亮度图像；
36.红外光分解模块，用于对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
37.图像融合模块，用于将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像；
38.存储单元，用于将综合亮度图像和颜色图像作为融合结果存储。
39.上述技术方案中，利用可见光图像传感器获取可见光图像，利用红外光图像传感器获取红外图像；利用可见光成像模块，将可见光图像转换为可见光亮度图像和颜色图像；利用红外光成像模块，将红外图像转换为红外亮度图像；利用可见光分解模块，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像；利用红外光分解模块，将红外亮度图像分解为红外基底层图像和红外细节层图像；利用图像融合模块，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点，并在存储单元将综合亮度图像和颜色图像作为融合结果存储。
40.在一些可选的实施方式中，图像融合模块还用于：对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
41.上述技术方案中，图像融合模块对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，
动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
42.在一些可选的实施方式中，图像融合模块还用于：当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；其中，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
43.上述技术方案中，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值，其中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
44.在一些可选的实施方式中，图像融合模块还用于：对可见光细节层图像进行噪声抑制，得到抑制后的图像；对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
45.上述技术方案中，由于可见光细节层图像存在较大噪声，因此，图像融合模块在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
46.在一些可选的实施方式中，图像融合模块还用于：对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
47.在一些可选的实施方式中，可见光图像传感器包括带有红外截止滤光片的cmos传感器或ccd传感器，红外光图像传感器包括无红外截止滤光片的cmos传感器或ccd传感器，cmos传感器或ccd传感器能够捕捉光信号并将之转化为电信号，并量化为数字信号图片，以传输给后续模块进行处理。
48.在一些可选的实施方式中，可见光成像模块包括白平衡校正模块、解马赛克模块、
伽马压缩曲线模块和色域空间转换模块，能够将可见光图像传感器输出的可见光图像转成适合人眼观看的yuv格式图像，其中，y通道表征图像的亮度，y通道图像即为可见光亮度图像，uv通道表征图像的颜色，uv通道图像即为可见光颜色图像。
49.在一些可选的实施方式中，可见光分解模块包括：
50.第一滤波模块，用于对可见光亮度图像进行滤波得到可见光基底层图像；
51.第一减法模块，用于将可见光亮度图像的亮度值减去红外基底层图像的亮度值，得到可见光细节层图像；
52.红外光分解模块包括：
53.第二滤波模块，用于对红外亮度图像进行滤波得到红外基底层图像；
54.第二减法模块，用于将红外亮度图像的亮度值减去红外基底层图像的亮度值，得到红外细节层图像。
55.上述技术方案中，第一滤波模块和第二滤波模块通常为低通滤波或者双边滤波，可以得到基底层图像，用亮度图像减去基底层图像得到细节层图像，基底层图像主要表征了图像的亮度，细节层图像表征了图像的纹理，边缘，噪声等信息。
56.综上本技术提供一种红外图像与可见光图像融合的方法及系统，通过将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。
附图说明
57.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
58.图1为本技术实施例提供的一种红外图像与可见光图像融合的系统的功能模块图；
59.图2为本技术实施例提供的一种红外图像与可见光图像融合的方法步骤流程图；
60.图3为本技术实施例提供的差值绝对值与融合比例的关系图。
61.图标：1-可见光图像传感器，2-可见光成像模块，3-可见光分解模块，4-红外光图像传感器，5-红外光成像模块，6-红外光分解模块，7-图像融合模块，8-存储单元。
具体实施方式
62.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
63.请参照图1，图1为本技术实施例提供的一种红外图像与可见光图像融合的系统的功能模块图，包括可见光图像传感器1、可见光成像模块2、可见光分解模块3、红外光图像传感器4、红外光成像模块5、红外光分解模块6、图像融合模块7和存储单元8。
64.其中，可见光图像传感器1，用于获取可见光图像。可见光成像模块2，用于将可见光图像转换为可见光亮度图像和颜色图像。可见光分解模块3，用于对可见光亮度图像进行
分解，得到可见光基底层图像和可见光细节层图像；红外光图像传感器4，用于获取红外图像。红外光成像模块5，用于将红外图像转换为红外亮度图像。红外光分解模块6，用于对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像。图像融合模块7，用于将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像。存储单元8，用于将综合亮度图像和颜色图像作为融合结果存储。
65.本技术实施例中，利用可见光图像传感器1获取可见光图像，利用红外光图像传感器4获取红外图像；利用可见光成像模块2，将可见光图像转换为可见光亮度图像和颜色图像；利用红外光成像模块5，将红外图像转换为红外亮度图像；利用可见光分解模块3，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像；利用红外光分解模块6，将红外亮度图像分解为红外基底层图像和红外细节层图像；利用图像融合模块7，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点，并在存储单元8将综合亮度图像和颜色图像作为融合结果存储。
66.在一些可选的实施方式中，图像融合模块7还用于：对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
67.本技术实施例中，对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
68.在一些可选的实施方式中，图像融合模块7还用于：当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；其中，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
69.本技术实施例中，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值，其中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值
的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
70.在一些可选的实施方式中，图像融合模块7还用于：对可见光细节层图像进行噪声抑制，得到抑制后的图像；对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
71.本技术实施例中，由于可见光细节层图像存在较大噪声，因此，在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
72.在一些可选的实施方式中，图像融合模块7还用于：对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
73.在一些可选的实施方式中，可见光图像传感器1包括带有红外截止滤光片的cmos传感器或ccd传感器，红外光图像传感器4包括无红外截止滤光片的cmos传感器或ccd传感器，cmos传感器或ccd传感器能够捕捉光信号并将之转化为电信号，并量化为数字信号图片，以传输给后续模块进行处理。
74.在一些可选的实施方式中，可见光成像模块2包括白平衡校正模块、解马赛克模块、伽马压缩曲线模块和色域空间转换模块，能够将可见光图像传感器1输出的可见光图像转成适合人眼观看的yuv格式图像，其中，y通道表征图像的亮度，y通道图像即为可见光亮度图像，uv通道表征图像的颜色，uv通道图像即为可见光颜色图像。
75.在一些可选的实施方式中，可见光分解模块3包括第一滤波模块和第一减法模块。
76.其中，第一滤波模块，用于对可见光亮度图像进行滤波得到可见光基底层图像；第一减法模块，用于将可见光亮度图像的亮度值减去红外基底层图像的亮度值，得到可见光细节层图像；
77.红外光分解模块6包括第二滤波模块和第二减法模块。
78.其中，第二滤波模块，用于对红外亮度图像进行滤波得到红外基底层图像；第二减法模块，用于将红外亮度图像的亮度值减去红外基底层图像的亮度值，得到红外细节层图像。
79.本技术实施例中，第一滤波模块和第二滤波模块通常为低通滤波或者双边滤波，可以得到基底层图像，用亮度图像减去基底层图像得到细节层图像，基底层图像主要表征了图像的亮度，细节层图像表征了图像的纹理，边缘，噪声等信息。
80.在一些可选的实施方式中，存储单元8一般由静态随机存取存储器(static random-access memory，sram)，ddr内存或者hdd硬盘驱动器构成。
81.请参照图2，图2为本技术实施例提供的一种红外图像与可见光图像融合的方法步骤流程图，包括：
82.步骤100、获取可见光图像，并将可见光图像分解为可见光亮度图像和可见光颜色图像；对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
83.步骤200、获取红外图像，并根据红外图像生成红外亮度图像；对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
84.步骤300、将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；
85.步骤400、将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像；
86.步骤500、将综合亮度图像和颜色图像作为红外图像与可见光图像的融合结果。
87.本技术实施例中，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。
88.在一些可选的实施方式中，将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像，包括：对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
89.本技术实施例中，对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
90.在一些可选的实施方式中，对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差分绝对值，计算融合基底层图像中该像素点的亮度值，包括：当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
91.本技术实施例中，如图3所示，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
92.其中，可见光基底层图像中该像素点的亮度值的权重(ratio，ratio的范围为0.0～1.0)与该像素点的亮度值的差值绝对值(abs_diff)呈正相关，红外基底层图像中该像素点的亮度值的权重(即为，1-ratio)与该像素点的亮度值的差值绝对值(abs_diff)呈反相关。
93.本技术实施例中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮
度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。
94.在一些可选的实施方式中，将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像，包括：对可见光细节层图像进行噪声抑制，得到抑制后的图像；对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
95.本技术实施例中，由于可见光细节层图像存在较大噪声，因此，在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
96.在一些可选的实施方式中，对可见光细节层图像进行噪声抑制，得到抑制后的图像，包括：对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
97.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
98.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
99.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
100.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
101.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。