一种多分辨率遥感影像自适应加权融合方法
本发明涉及遥感图像处理,具体涉及一种多分辨率遥感影像自适应加权融合方法。
背景技术:
1、遥感影像融合是将高空间分辨率全色影像与高光谱分辨率多光谱影像进行信息整合与重构的关键技术,广泛应用于卫星遥感、航空测绘、无人机观测、资源环境监测、国土空间勘察等领域。通过融合处理,可同时获得高空间细节表达能力与高光谱分辨率信息,提升遥感影像解译、定量反演与目标识别精度。
2、现有遥感影像融合方法主要包括ihs变换法、pca变换法、brovey变换法以及传统小波变换法等,上述方法在实际应用中存在以下不足:采用固定权重进行加权融合,权重无法随影像局部纹理、边缘、光谱特征动态调整,易导致空间细节过度增强或光谱信息失真;多尺度分解与融合规则匹配性较差,边缘与纹理信息保留不足,融合结果易出现模糊、振铃伪影、块状效应;复杂地表、高噪声等场景下鲁棒性较弱,难以满足高精度定量遥感解译需求;多数方法缺少光谱一致性校正环节,融合后影像与原始多光谱影像光谱偏差较大,影响后续定量应用。
3、近年来,基于深度学习的融合方法虽取得一定进展,但仍存在以下问题:现有深度学习方法多采用大参数网络(如vgg、resnet、u-net等),计算量大,难以实时处理;大多数方法依赖高精度的参考融合影像进行有监督训练,在实际应用中获取参考影像困难,导致模型泛化性差;此外,现有方法普遍忽略多分辨率分解后不同方向子带的物理差异性,采用统一的权重融合规则,限制了高频细节的精细增强能力。
4、因此,亟需一种既能自适应学习融合权重,又具备轻量化结构,且无需参考融合影像的遥感影像融合方法。
技术实现思路
1、针对上述问题,本发明提供了一种多分辨率遥感影像自适应加权融合方法,针对现有遥感影像融合方法中手工权重泛化能力弱、深度学习模型计算量大且依赖参考影像、多分辨率分解方向子带利用不充分的问题,提供一种在资源受限平台上实现高质量、高鲁棒性、无需参考融合影像的快速融合方法。
2、本发明的技术方案是:一种多分辨率遥感影像自适应加权融合方法,包括以下步骤:s1:获取待融合的高分辨率全色影像p与多光谱影像ms,对所述全色影像p与多光谱影像ms依次进行几何配准与辐射归一化处理;s2:根据全色影像与多光谱影像的平均梯度之比,在3层至5层范围内自适应确定多分辨率分解的层数l;并根据两者的信息熵之和,在8至32范围内自适应确定方向子带数k;对全色影像p与多光谱影像ms进行l层多分辨率分解,得到低频分量及各层各方向的高频分量;s3:采用双支路轻量化卷积神经网络,以局部影像块为输入,通过无监督学习预测空间细节权重与光谱保真权重,并利用跨模态注意力融合得到总权重w;s4:对于每个高频子带,计算基于子带能量占比的频域调制因子,利用该调制因子与总权重w共同调整该子带的高频融合权重,得到融合高频分量;低频分量由总权重w加权融合得到融合低频分量;s5:对融合高频分量与融合低频分量进行多分辨率逆变换,并进行光谱一致性校正,输出最终融合影像f。
3、优选的,所述分解层数l按照下式确定:,其中、分别为全色影像p和多光谱影像ms的平均梯度,floor为向下取整函数;所述方向子带数k按照下式确定:,其中、分别为全色影像p和多光谱影像ms的信息熵。
4、优选的,所述双支路轻量化卷积神经网络包括:空间支路,用于输入全色影像局部块和多光谱影像局部块,经深度可分离卷积后输出空间细节权重ws;光谱支路,用于输入多光谱影像局部块以及固定规则生成的初步融合光谱向量,输出光谱保真权重wsp;跨模态注意力融合模块,按如下公式计算总权重w:;所述网络总参数量≤30k,推理时采用8-bit动态量化。
5、优选的,所述无监督学习采用的联合损失函数包括:空间相关性损失、光谱保真损失和权重平滑损失;其中,空间相关性损失在局部窗口内计算负皮尔逊相关系数,光谱保真损失为融合结果下采样后与原始多光谱影像的l1差异,权重平滑损失为总权重的梯度l2范数。
6、优选的,所述频域调制因子β^{l,k}按照下式计算:;调制后高频融合权重系数;高频融合规则为;低频融合规则为。
7、优选的,所述多分辨率分解采用非下采样轮廓波变换或离散小波变换。
8、优选的,所述光谱一致性校正为线性变换:,其中f0为逆变换后得到的初始融合影像,、分别为原始多光谱影像的均值和标准差,、分别为f0的均值和标准差。
9、一种遥感影像融合系统,包括:影像输入模块,用于读取全色与多光谱影像;配准与归一化模块,用于执行几何配准和辐射归一化;自适应分解参数选择模块,用于计算平均梯度和信息熵并确定分解层数l与方向子带数k;多分辨率分解模块,用于执行非下采样轮廓波变换或离散小波变换分解;双支路轻量化权重预测模块,内置上述的双支路轻量化卷积神经网络,用于预测自适应融合权重w;频域自适应调制模块,用于计算各高频子带的频域调制因子并执行调制融合;融合重构模块,用于加权融合及多分辨率逆变换;光谱校正与输出模块,用于光谱一致性校正并输出最终融合影像;所述系统用于执行上述任一项所述的方法。
10、本发明的有益效果是:
11、本发明实现了对全色与多光谱影像的自适应加权融合。具体地,本发明首先根据影像自身的平均梯度之比和信息熵之和,在预设范围内自适应确定多分辨率分解的层数和方向子带数,使得分解参数能够随影像内容动态变化,克服了固定参数对复杂场景的不适应性,提高了融合方法的灵活性和鲁棒性。
12、其次,本发明采用双支路轻量化卷积神经网络预测权重,该网络以局部影像块为输入,通过无监督学习自动提取空间细节与光谱保真特征,无需高精度参考融合影像即可训练,显著降低了数据获取成本;同时,跨模态注意力融合机制能够根据影像局部特性动态平衡空间细节与光谱信息的贡献,使权重分配更加合理。
13、再次,本发明在每个高频子带中引入基于能量占比的频域调制因子,利用子带能量分布自适应调整高频融合权重,能够更精细地增强边缘、纹理等关键细节,同时抑制噪声。低频分量由总权重直接加权融合,保留了整体光谱结构。最后,经过多分辨率逆变换和光谱一致性校正,输出融合影像的空间细节与光谱保真度均得到显著提升。本发明在平均梯度、信息熵、光谱角和均方根误差等指标上均优于现有方法,且推理速度快、参数量小、无需参考影像,适用于星载、无人机等资源受限平台的实时遥感影像融合。
1.一种多分辨率遥感影像自适应加权融合方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述分解层数l按照下式确定:;
3.根据权利要求1所述的方法,其特征在于,所述双支路轻量化卷积神经网络包括:
4.根据权利要求1所述的方法,其特征在于,所述无监督学习采用的联合损失函数包括:空间相关性损失、光谱保真损失和权重平滑损失;其中,空间相关性损失在局部窗口内计算负皮尔逊相关系数,光谱保真损失为融合结果下采样后与原始多光谱影像的l1差异,权重平滑损失为总权重的梯度l2范数。
5.根据权利要求1所述的方法,其特征在于,所述频域调制因子β^{l,k}按照下式计算:;
6.根据权利要求1所述的方法,其特征在于,所述多分辨率分解采用非下采样轮廓波变换或离散小波变换。
7.根据权利要求1所述的方法,其特征在于,所述光谱一致性校正为线性变换:,其中f0为逆变换后得到的初始融合影像,、分别为原始多光谱影像的均值和标准差,、分别为f0的均值和标准差。
8.一种遥感影像融合系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com