一种基于首层小波细化的图像融合方法、装置及存储介质与流程

本技术属于图像融合，具体涉及一种基于首层小波细化的图像融合方法、装置及存储介质。

背景技术：

1、可见光图像细节纹理信息丰富、场景层次感强，但在低照度、雨雾等环境下目标辨识度低；红外图像基于目标热辐射成像，能有效抵抗环境干扰，但细节模糊、分辨率低。通过将可见光图像与红外图像进行融合，能够实现二者优势互补，满足全天候清晰成像的需求。fpga 具有强大的灵活性和并行计算能力，能够实时处理高速视频流，基于 fpga 实现可见光与红外图像融合可凭借其低延时的优势，广泛应用于目标监测、目标识别与目标跟踪等领域。目前，能够部署于 fpga 平台的图像融合方法主要包括加权融合方法、多尺度分解融合方法以及基于引导滤波的融合方法。其中，基于拉普拉斯金字塔的多尺度融合方法通过对图像进行多尺度分解并在各尺度上分别融合，对图像细节的处理效果更好、高分辨率下的处理速度更快，因而得到较为广泛的应用。然而，传统的拉普拉斯金字塔融合方法在处理可见光与红外图像融合时仍存在不足：拉普拉斯残差层为宽频带信号，噪声、细小纹理与弱边缘在该层中高度混叠，而传统融合规则多采用固定权重、区域能量最大等静态方式，难以将有效细节与噪声精细化地区分开来，导致多波段图像在融合过程中相互干扰，融合后细节效果反而不增反降，难以实现细节增强与噪声抑制的兼顾。

技术实现思路

1、本技术的主要目的在于提供一种基于首层小波细化的图像融合方法、装置及存储介质，旨在解决现有技术中可见光图像与红外图像融合过程中相互干扰，融合后细节效果反而不增反降，难以实现细节增强与噪声抑制的兼顾的技术问题。

2、为实现上述目的，本发明提供了一种基于首层小波细化的图像融合方法，包括以下步骤：

3、分别获取同一场景下的第一图像和第二图像，第一图像为可见光图像，第二图像为红外图像；

4、分别对第一图像和第二图像进行拉普拉斯金字塔多尺度分解得到第一图像和第二图像各自的高斯基底层和多级拉普拉斯残差层；

5、对第一图像的第一首层拉普拉斯残差层进行离散小波变换得到第一首层拉普拉斯残差层的第一低频子带和多个第一高频子带，对第二图像的第二首层拉普拉斯残差层进行离散小波变换得到第二首层拉普拉斯残差层的第二低频子带和多个第二高频子带；

6、通过能量模型计算第一低频子带和第二低频子带的第一融合权重，基于第一融合权重计算第一低频子带和第二低频子带的低频融合残差；通过构建多特征综合置信度模型计算多个第一高频子带和多个第二高频子带分别对应的多个第二融合权重，基于多个第二融合权重，分别计算多个第一高频子带与多个第二高频子带对应的多个高频融合残差；基于低频融合残差和多个高频融合残差通过离散小波逆变换得到首层融合残差；

7、通过能量模型计算第一图像和第二图像的中间拉普拉斯残差层的中间融合权重，并基于中间层拉普拉斯残差融合模型计算得到中间层拉普拉斯融合残差；

8、通过灰度均值模型计算第一图像和第二图像的高斯基底层的基底层融合权重，并基于高斯基底融合模型计算得到高斯基底层融合残差；

9、基于首层融合残差、高斯基底层融合残差以及中间层拉普拉斯融合残差，通过拉普拉斯金字塔重构得到融合图像。通过分别对可见光图像与红外图像进行拉普拉斯金字塔多尺度分解，得到各自的高斯基底层与多级拉普拉斯残差层；仅对细节特征最丰富、噪声最突出的首层拉普拉斯残差层进行离散小波变换，在首层小波域内分低频子带与高频子带分别采用能量模型与多特征综合置信度模型进行自适应融合，再经离散小波逆变换还原首层融合残差；对中间残差层沿用常规拉普拉斯分层加权融合、对高斯基底层采用灰度均值模型融合，最后经拉普拉斯金字塔重构输出融合图像。仅对首层残差做小波细化，将空间域中相互混叠的噪声、细小纹理与弱边缘在频域中按水平、垂直、对角方向分离并分方向融合，实现了细节增强与噪声抑制，克服了传统拉普拉斯融合中残差层为宽频带信号、噪声与纹理边缘高度混叠所导致的融合后细节反而不增反降的问题；中间层与基底层融合仅采用能量模型、灰度均值模型等以乘加为主的运算，硬件实现简单，使整个融合流程能够在 fpga上实时流水线收敛，兼顾了融合质量与资源开销，满足全天候清晰成像的实时处理需求。

10、优选的，分别对第一首层拉普拉斯残差层以及第二首层拉普拉斯残差层进行离散小波变换具体为：

11、通过离散小波变换将第一图像的第一首层拉普拉斯残差层分解为第一低频子带以及第一水平高频子带、第一垂直高频子带、第一对角高频子带；

12、通过离散小波变换将第二图像的第二首层拉普拉斯残差层分解为第二低频子带以及第二水平高频子带、第二垂直高频子带、第二对角高频子带；

13、即。将首层拉普拉斯残差层分解为低频子带与水平、垂直、对角三个高频子带，把空间域中相互混叠的噪声、细小纹理与弱边缘在频域中按方向分离开来，为后续分方向精细化融合与去噪提供了条件，提高了对有效细节与噪声的区分度。

14、优选的，通过能量模型计算第一融合权重的步骤中，第一融合权重的计算公式为：

15、

16、其中，为第一低频子带总能量，为第二低频子带总能量，能量模型的计算公式为：

17、

18、其中为第i幅图像低频子带对应处像素的图像灰度值；

19、基于第一融合权重计算第一低频子带和第二低频子带的低频融合残差步骤中，低频融合残差的计算公式为：

20、

21、其中为低频融合残差，为第一低频子带，为第二低频子带；低频子带为残差内部的平缓分量，细节与噪声较少，通过以子带内小波系数平方累加作为能量度量的能量模型确定低频子带融合权重，使两路低频子带按各自平缓分量强度合理加权融合，在保证融合结果低频结构稳定的同时，运算简单、便于硬件实现。

22、优选的，通过构建多特征综合置信度模型分别计算多个第二融合权重的步骤中：多特征分别为多个高频子带中的每个高频子带总能量、子带总梯度以及各子带间的子带噪声偏差；

23、多特征综合置信度模型的计算公式为：

24、

25、其中，为多特征综合置信度，为、或，、、分别为能量权重、梯度权重、噪声惩罚权重；、、分别为对第一图像和第二图像的同一类子带的三组特征取最大值，其中、、的计算公式为：

26、

27、基于第一图像的多特征综合置信度和第二图像的多特征综合置信度，计算第二融合权重，第二融合权重的计算公式为：

28、

29、其中为第二融合权重；

30、在基于多个第二融合权重，分别计算多个第一高频子带与多个第二高频子带对应的多个高频融合残差步骤中，多个高频融合残差的计算公式依次为：

31、

32、

33、

34、高频子带承载边缘、纹理与噪声，单一特征难以区分有效细节与噪声，通过综合能量、梯度、噪声偏差三类特征构建多特征综合置信度模型确定高频子带融合权重，能够有效区分边缘纹理与噪声，使细节得到增强、噪声得到抑制；同时因噪声多集中于对角子带，对hh 子带强化噪声惩罚，降低了噪声引起的融合权重波动，提高了融合结果的稳定性。

35、优选的，高频子带总能量的计算公式为：

36、

37、其中为小波系数，、分别为子带内像素在水平方向与垂直方向的坐标，求和遍及子带内全部像素；

38、子带总梯度基于像素梯度幅值之和计算，其计算公式为：

39、

40、其中，子带总梯度在子带内有效像素范围内计算，边界处超出子带的系数按 0 处理。

41、各子带间的子带噪声偏差的计算公式为：

42、

43、其中为全局均值，全局均值的计算公式为：

44、

45、其中x为高频子带的宽度，即子带在水平方向的像素个数 ，y为高频子带的高度，即子带在垂直方向的像素个数。分别以系数平方累加、邻域差分梯度幅值之和、平均绝对偏差给出了子带能量、梯度、噪声偏差的具体可计算定义，各特征含义明确、计算以乘加为主，且全局均值可由上一帧统计值指导当前帧，节省了实时运算资源，便于在 fpga 上定点实现。

46、优选的，在通过能量模型计算第一图像和第二图像的中间拉普拉斯残差层的中间融合权重，并基于中间层拉普拉斯残差融合模型计算得到中间层拉普拉斯融合残差步骤中，中间层拉普拉斯残差融合模型的计算公式为：

47、

48、其中为中间层拉普拉斯融合残差，为中间融合权重，为第一图像的中间拉普拉斯残差层，为第二图像的中间拉普拉斯残差层，中间融合权重的计算公式为：

49、

50、其中为第一图像的中间拉普拉斯残差层总能量，为第二图像的中间拉普拉斯残差层总能量；

51、能量模型的计算公式为：

52、

53、其中为第i幅图像中间拉普拉斯残差层对应处像素的图像灰度值。中间拉普拉斯残差层随层级增加而尺度缩小，逐渐体现大轮廓与结构形状、细节信息大幅降低，通过能量模型确定中间融合权重并对两路中间残差层加权融合，各中间层级独立计算权重、逐层自适应融合，运算以乘法与加法为主，硬件友好，兼顾了中间层融合效果与实时性。

54、优选的，在通过灰度均值模型计算第一图像和第二图像的高斯基底层的基底层融合权重，并基于高斯基底融合模型计算得到高斯基底层融合残差步骤中，高斯基底融合模型的计算公式为：

55、

56、其中为高斯基底层融合残差，为基底层融合权重，为第一图像的高斯基底层，为第二图像的高斯基底层；

57、基底层融合权重的计算公式为：

58、

59、其中为第一图像的灰度均值，为第二图像的灰度均值，灰度均值的计算公式为：

60、

61、其中为第i幅图像高斯基底层对应处像素的图像灰度值。高斯基底层为图像的低频近似分量，决定图像的明暗程度与场景轮廓特征，通过灰度均值模型确定基底层融合权重并对两路高斯基底层加权融合，使融合结果的整体亮度与场景轮廓在不同场景下保持稳定，避免了明暗失衡。

62、优选的，在基于首层融合残差、高斯基底层融合残差以及中间层拉普拉斯融合残差，通过拉普拉斯金字塔重构得到融合图像步骤中，拉普拉斯金字塔重构的计算公式为：

63、

64、其中为上采样。重构采用上采样加和的逐级运算，为分解过程的逆过程，逐像素运算适合 fpga 流水线实现，能够自底向上完整重构出细节增强、噪声抑制的融合图像。

65、第二方面，本技术提供一种基于首层小波细化的图像融合装置，装置包括：

66、图像获取模块，用于分别获取同一场景下的第一图像和第二图像，第一图像为可见光图像，第二图像为红外图像；

67、金字塔分解模块，用于分别对第一图像和第二图像进行拉普拉斯金字塔多尺度分解得到第一图像和第二图像各自的高斯基底层和多级拉普拉斯残差层；

68、小波变换模块，用于对第一图像的第一首层拉普拉斯残差层进行离散小波变换得到第一首层拉普拉斯残差层的第一低频子带和多个第一高频子带，对第二图像的第二首层拉普拉斯残差层进行离散小波变换得到第二首层拉普拉斯残差层的第二低频子带和多个第二高频子带；

69、首层融合残差计算模块，用于通过能量模型计算第一低频子带和第二低频子带的第一融合权重，基于第一融合权重计算第一低频子带和第二低频子带的低频融合残差；通过构建多特征综合置信度模型计算多个第一高频子带和多个第二高频子带分别对应的多个第二融合权重，基于多个第二融合权重，分别计算多个第一高频子带与多个第二高频子带对应的多个高频融合残差；基于低频融合残差和多个高频融合残差通过离散小波逆变换得到首层融合残差；

70、中间层融合残差计算模块，用于通过能量模型计算第一图像和第二图像的中间拉普拉斯残差层的中间融合权重，并基于中间层拉普拉斯残差融合模型计算得到中间层拉普拉斯融合残差；

71、高斯基底层融合残差计算模块，用于通过灰度均值模型计算第一图像和第二图像的高斯基底层的基底层融合权重，并基于高斯基底融合模型计算得到高斯基底层融合残差；

72、金字塔重构模块，用于基于首层融合残差、高斯基底层融合残差以及中间层拉普拉斯融合残差，通过拉普拉斯金字塔重构得到融合图像。

73、第三方面，本技术提供一种计算机可读存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时，实现基于首层小波细化的图像融合方法。

74、与现有技术相比，本技术的有益效果在于：本技术仅在细节特征最丰富、噪声最突出的首层拉普拉斯残差层引入离散小波变换进行频域细化，在首层小波域内分低频子带与高频子带分别采用能量模型与多特征综合置信度模型进行自适应融合与去噪，而对中间残差层沿用常规拉普拉斯分层加权融合、对高斯基底层采用灰度均值模型融合，最后经拉普拉斯金字塔重构输出融合图像。上述方案一方面通过首层小波细化将空间域中相互混叠的噪声、细小纹理与弱边缘在频域中按方向分离并分方向融合，有效解决了传统拉普拉斯融合中残差层宽频带信号噪声、纹理、边缘高度混叠导致的融合后细节不增反降的问题，实现了细节增强与噪声抑制；另一方面，中间层与基底层融合仅采用能量、灰度均值等乘加型运算，硬件实现简单，使整个融合流程能够在 fpga 上实时流水线收敛，兼顾了融合质量与资源开销，满足全天候清晰成像的实时处理需求。