一种基于分层时域防抖的图像融合方法、装置及存储介质与流程
本技术属于图像融合,具体涉及一种基于分层时域防抖的图像融合方法、装置及存储介质。
背景技术:
1、可见光图像细节纹理信息丰富、场景层次感强,但在低照度、雨雾等环境下目标辨识度低;红外图像基于目标热辐射成像,能有效抵抗环境干扰,但细节模糊、分辨率低。通过将可见光图像与红外图像进行融合,能够实现二者优势互补,满足全天候清晰成像的需求。fpga 具有强大的灵活性和并行计算能力,能够实时处理高速视频流,基于 fpga 实现可见光与红外图像融合可凭借其低延时的优势,广泛应用于目标监测、目标识别与目标跟踪等领域。目前,能够部署于 fpga 平台的图像融合方法主要包括加权融合方法、多尺度分解融合方法以及基于引导滤波的融合方法。其中,基于拉普拉斯金字塔的多尺度融合方法通过对图像进行多尺度分解并在各尺度上分别融合,对图像细节的处理效果更好、高分辨率下的处理速度更快,因而得到较为广泛的应用。然而,传统的拉普拉斯金字塔融合方法在处理可见光与红外图像融合时仍存在不足:拉普拉斯残差层为宽频带信号,噪声、细小纹理与弱边缘在该层中高度混叠,而传统融合规则多采用固定权重、区域能量最大等静态方式,难以将有效细节与噪声精细化地区分开来,导致多波段图像在融合过程中相互干扰,融合后细节效果反而不增反降,难以实现细节增强与噪声抑制的兼顾。
技术实现思路
1、本技术的主要目的在于提供一种基于分层时域防抖的图像融合方法、装置及存储介质,旨在解决现有技术中可见光图像与红外图像融合过程中相互干扰,融合后细节效果反而不增反降,难以实现细节增强与噪声抑制的兼顾的技术问题。
2、为实现上述目的,本发明提供了一种基于分层时域防抖的图像融合方法,包括以下步骤:
3、分别获取同一场景下的第一图像和第二图像,第一图像为可见光图像,第二图像为红外图像;
4、分别对第一图像和第二图像进行拉普拉斯金字塔多尺度分解得到第一图像和第二图像各自的高斯基底层和多级拉普拉斯残差层;
5、对第一图像的第一首层拉普拉斯残差层进行离散小波变换得到第一首层拉普拉斯残差层的第一低频子带和多个第一高频子带,对第二图像的第二首层拉普拉斯残差层进行离散小波变换得到第二首层拉普拉斯残差层的第二低频子带和多个第二高频子带;
6、通过能量模型计算第一低频子带和第二低频子带融合的第一融合权重,通过构建多特征综合置信度模型计算多个第一高频子带和多个第二高频子带分别对应的多个第二融合权重,通过能量模型计算第一图像和第二图像的中间拉普拉斯残差层的中间融合权重,通过灰度均值模型计算第一图像和第二图像的高斯基底层的基底层融合权重;
7、对于不同拉普拉斯金字塔层级和不同方向的小波子带,设置帧间最大参数变化量与时域平滑系数,对第一融合权重、多个第二融合权重、中间融合权重以及基底层融合权重分别执行增量限幅与时域指数平滑约束,得到防抖处理后的融合权重;
8、基于防抖处理后的第一融合权重,计算第一低频子带和第二低频子带的低频融合子带;基于防抖处理后的多个第二融合权重,分别计算多个第一高频子带与多个第二高频子带对应的多个高频融合子带;基于低频融合子带和多个高频融合子带,通过离散小波逆变换得到首层融合残差;基于防抖处理后的中间融合权重计算得到中间层拉普拉斯融合残差;基于防抖处理后的基底层融合权重计算得到高斯基底层融合残差;
9、基于首层融合残差、高斯基底层融合残差以及中间层拉普拉斯融合残差,通过拉普拉斯金字塔重构得到融合图像。通过分别对可见光图像与红外图像进行拉普拉斯金字塔多尺度分解,得到各自的高斯基底层与多级拉普拉斯残差层;仅对细节特征最丰富、噪声最突出的首层拉普拉斯残差层进行离散小波变换,在首层小波域内分低频子带与高频子带分别采用能量模型与多特征综合置信度模型进行自适应融合,再经离散小波逆变换还原首层融合残差;对中间残差层沿用常规拉普拉斯分层加权融合(能量模型)、对高斯基底层采用灰度均值模型融合,最后经拉普拉斯金字塔重构输出融合图像。仅对首层残差做小波细化,将空间域中相互混叠的噪声、细小纹理与弱边缘在频域中按水平、垂直、对角方向分离并分方向融合,实现了细节增强与噪声抑制,克服了传统拉普拉斯融合中残差层为宽频带信号、噪声与纹理边缘高度混叠所导致的融合后细节反而不增反降的问题;通过对于不同拉普拉斯金字塔层级和不同小波方向子带设置差异化的帧间最大参数变化量与时域平滑系数,对融合权重与降噪阈值执行增量限幅与时域指数平滑约束,抑制了动态视频中融合参数的帧间跳变,避免了融合画面的明暗与纹理剧烈闪烁,实现了帧间稳定的融合输出。中间层与基底层融合仅采用能量模型、灰度均值模型等以乘加为主的运算,硬件实现简单,使整个融合流程能够在 fpga 上实时流水线收敛,兼顾了融合质量与资源开销,满足全天候清晰成像的实时处理需求。
10、优选的,分别对第一首层拉普拉斯残差层以及第二首层拉普拉斯残差层进行离散小波变换具体为:
11、通过离散小波变换将第一图像的第一首层拉普拉斯残差层分解为第一低频子带以及第一水平高频子带、第一垂直高频子带、第一对角高频子带;
12、通过离散小波变换将第二图像的第二首层拉普拉斯残差层分解为第二低频子带以及第二水平高频子带、第二垂直高频子带、第二对角高频子带;
13、即。将首层拉普拉斯残差层分解为低频子带与水平、垂直、对角三个高频子带,把空间域中相互混叠的噪声、细小纹理与弱边缘在频域中按方向分离开来,为后续分方向精细化融合与去噪提供了条件,提高了对有效细节与噪声的区分度。
14、优选的,通过能量模型计算第一融合权重的步骤中,第一融合权重的计算公式为:
15、
16、其中,为第一低频子带总能量,为第二低频子带总能量,能量模型的计算公式为:
17、
18、其中为第i幅图像低频子带对应处像素的图像灰度值;
19、基于第一融合权重计算第一低频子带和第二低频子带的低频融合残差步骤中,低频融合残差的计算公式为:
20、
21、其中为低频融合残差,为第一低频子带,为第二低频子带;低频子带为残差内部的平缓分量,细节与噪声较少,通过以子带内小波系数平方累加作为能量度量的能量模型确定低频子带融合权重,使两路低频子带按各自平缓分量强度合理加权融合,在保证融合结果低频结构稳定的同时,运算简单、便于硬件实现。
22、优选的,通过构建多特征综合置信度模型分别计算多个第二融合权重的步骤中:多特征分别为多个高频子带中的每个高频子带总能量、子带总梯度以及各子带间的子带噪声偏差;
23、多特征综合置信度模型的计算公式为:
24、
25、其中,为多特征综合置信度,为、或,、、分别为能量权重、梯度权重、噪声惩罚权重;、、分别为对第一图像和第二图像的同一类子带的三组特征取最大值,其中、、的计算公式为:
26、
27、基于第一图像的多特征综合置信度和第二图像的多特征综合置信度,计算第二融合权重,第二融合权重的计算公式为:
28、
29、其中为第二融合权重;
30、在基于多个第二融合权重,分别计算多个第一高频子带与多个第二高频子带对应的多个高频融合残差步骤中,多个高频融合残差的计算公式依次为:
31、
32、
33、
34、高频子带承载边缘、纹理与噪声,单一特征难以区分有效细节与噪声,通过综合能量、梯度、噪声偏差三类特征构建多特征综合置信度模型确定高频子带融合权重,能够有效区分边缘纹理与噪声,使细节得到增强、噪声得到抑制;同时因噪声多集中于对角子带,对hh 子带强化噪声惩罚,降低了噪声引起的融合权重波动,提高了融合结果的稳定性。
35、优选的,高频子带总能量的计算公式为:
36、
37、其中为小波系数,、分别为子带内像素在水平方向与垂直方向的坐标,求和遍及子带内全部像素;
38、子带总梯度基于像素梯度幅值之和计算,其计算公式为:
39、
40、其中,子带总梯度在子带内有效像素范围内计算,边界处超出子带的系数按 0 处理。
41、各子带间的子带噪声偏差的计算公式为:
42、
43、其中为全局均值,全局均值的计算公式为:
44、
45、其中x为高频子带的宽度,即子带在水平方向的像素个数 ,y为高频子带的高度,即子带在垂直方向的像素个数。分别以系数平方累加、邻域差分梯度幅值之和、平均绝对偏差给出了子带能量、梯度、噪声偏差的具体可计算定义,各特征含义明确、计算以乘加为主,且全局均值可由上一帧统计值指导当前帧,节省了实时运算资源,便于在 fpga 上定点实现。
46、优选的,在通过能量模型计算第一图像和第二图像的中间拉普拉斯残差层的中间融合权重,并基于中间层拉普拉斯残差融合模型计算得到中间层拉普拉斯融合残差步骤中,中间层拉普拉斯残差融合模型的计算公式为:
47、
48、其中为中间层拉普拉斯融合残差,为中间融合权重,为第一图像的中间拉普拉斯残差层,为第二图像的中间拉普拉斯残差层,中间融合权重的计算公式为:
49、
50、其中为第一图像的中间拉普拉斯残差层总能量,为第二图像的中间拉普拉斯残差层总能量;
51、能量模型的计算公式为:
52、
53、其中为第i幅图像中间拉普拉斯残差层对应处像素的图像灰度值。中间拉普拉斯残差层随层级增加而尺度缩小,逐渐体现大轮廓与结构形状、细节信息大幅降低,通过能量模型确定中间融合权重并对两路中间残差层加权融合,各中间层级独立计算权重、逐层自适应融合,运算以乘法与加法为主,硬件友好,兼顾了中间层融合效果与实时性。
54、优选的,在通过灰度均值模型计算第一图像和第二图像的高斯基底层的基底层融合权重,并基于高斯基底融合模型计算得到高斯基底层融合残差步骤中,高斯基底融合模型的计算公式为:
55、
56、其中为高斯基底层融合残差,为基底层融合权重,为第一图像的高斯基底层,为第二图像的高斯基底层;
57、基底层融合权重的计算公式为:
58、
59、其中为第一图像的灰度均值,为第二图像的灰度均值,灰度均值的计算公式为:
60、
61、其中为第i幅图像高斯基底层对应处像素的图像灰度值。高斯基底层为图像的低频近似分量,决定图像的明暗程度与场景轮廓特征,通过灰度均值模型确定基底层融合权重并对两路高斯基底层加权融合,使融合结果的整体亮度与场景轮廓在不同场景下保持稳定,避免了明暗失衡。
62、优选的,在基于首层融合残差、高斯基底层融合残差以及中间层拉普拉斯融合残差,通过拉普拉斯金字塔重构得到融合图像步骤中,拉普拉斯金字塔重构的计算公式为:
63、
64、其中为上采样。重构采用上采样加和的逐级运算,为分解过程的逆过程,逐像素运算适合 fpga 流水线实现,能够自底向上完整重构出细节增强、噪声抑制的融合图像。
65、优选的,对于每一种融合权重,计算当前帧初始权重与上一帧权重的帧间变化量,帧间变化量的计算公式为:
66、
67、其中为当前帧初始权重,为上一帧权重;对帧间变化量执行增量限幅,得到限幅后变化量,限幅后变化量的计算公式为:
68、
69、其中为融合权重变化阈值;基于限幅后变化量计算限幅后权重,限幅后权重的计算公式为:
70、
71、对限幅后权重执行指数时域平滑,得到当前帧输出权重,当前帧输出权重的计算公式为:
72、
73、其中为时域平滑系数。通过计算当前帧初始融合参数与上一帧融合参数的帧间变化量,对帧间变化量执行增量限幅,将超过帧间最大参数变化量的变化量截断得到限幅后融合参数,再基于限幅后融合参数与上一帧融合参数执行时域指数平滑,得到当前帧输出融合参数,从而使帧间融合参数的变化既受增量限幅的幅度约束、又受时域指数平滑的历史帧约束,有效抑制了融合参数突变引起的画面明暗与纹理剧烈跳动;并且,通过设置不同的时域平滑系数,能够在画面稳定性与动态细节响应速度之间进行权衡调节,满足不同场景对稳定性与响应速度的差异化需求。
74、第二方面,本技术提供一种基于分层时域防抖的图像融合装置,装置包括:
75、图像获取模块,用于分别获取同一场景下的第一图像和第二图像,第一图像为可见光图像,第二图像为红外图像;
76、金字塔分解模块,分别对第一图像和第二图像进行拉普拉斯金字塔多尺度分解得到第一图像和第二图像各自的高斯基底层和多级拉普拉斯残差层;
77、小波变换模块,对第一图像的第一首层拉普拉斯残差层进行离散小波变换得到第一首层拉普拉斯残差层的第一低频子带和多个第一高频子带,对第二图像的第二首层拉普拉斯残差层进行离散小波变换得到第二首层拉普拉斯残差层的第二低频子带和多个第二高频子带;
78、融合权重计算模块,通过能量模型计算第一低频子带和第二低频子带融合的第一融合权重,通过构建多特征综合置信度模型计算多个第一高频子带和多个第二高频子带分别对应的多个第二融合权重,通过能量模型计算第一图像和第二图像的中间拉普拉斯残差层的中间融合权重,通过灰度均值模型计算第一图像和第二图像的高斯基底层的基底层融合权重;
79、防抖处理模块,对于不同拉普拉斯金字塔层级和不同方向的小波子带,设置帧间最大参数变化量与时域平滑系数,对第一融合权重、多个第二融合权重、中间融合权重以及基底层融合权重分别执行增量限幅与时域指数平滑约束,得到防抖处理后的融合权重;
80、融合残差计算模块,基于防抖处理后的第一融合权重,计算第一低频子带和第二低频子带的低频融合子带;基于防抖处理后的多个第二融合权重,分别计算多个第一高频子带与多个第二高频子带对应的多个高频融合子带;基于低频融合子带和多个高频融合子带,通过离散小波逆变换得到首层融合残差;基于防抖处理后的中间融合权重计算得到中间层拉普拉斯融合残差;基于防抖处理后的基底层融合权重计算得到高斯基底层融合残差;
81、金字塔重构模块,基于首层融合残差、高斯基底层融合残差以及中间层拉普拉斯融合残差,通过拉普拉斯金字塔重构得到融合图像。
82、第三方面,本技术提供一种计算机可读存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行时,实现基于分层时域防抖的图像融合方法。
83、与现有技术相比,本技术的有益效果在于:本技术仅在细节特征最丰富、噪声最突出的首层拉普拉斯残差层引入离散小波变换进行频域细化,在首层小波域内分低频子带与高频子带分别采用能量模型与多特征综合置信度模型进行自适应融合与去噪,而对中间残差层沿用常规拉普拉斯分层加权融合、对高斯基底层采用灰度均值模型融合,最后经拉普拉斯金字塔重构输出融合图像。上述方案一方面通过分层时域防抖将空间域中相互混叠的噪声、细小纹理与弱边缘在频域中按方向分离并分方向融合,有效解决了传统拉普拉斯融合中残差层宽频带信号噪声、纹理、边缘高度混叠导致的融合后细节不增反降的问题,实现了细节增强与噪声抑制;通过对于不同拉普拉斯金字塔层级和不同小波方向子带设置差异化的帧间最大参数变化量与时域平滑系数,对融合权重与降噪阈值执行增量限幅与时域指数平滑约束,抑制了动态视频中融合参数的帧间跳变,避免了融合画面的明暗与纹理剧烈闪烁,实现了帧间稳定的融合输出;另一方面,中间层与基底层融合仅采用能量、灰度均值等乘加型运算,硬件实现简单,使整个融合流程能够在 fpga 上实时流水线收敛,兼顾了融合质量与资源开销,满足全天候清晰成像的实时处理需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com