基于浅层结构增强与频域语义重平衡的遥感目标检测网络
本发明涉及遥感图像目标检测,具体涉及一种基于浅层结构增强与频域语义重平衡的遥感目标检测网络。
背景技术:
1、遥感图像目标检测是遥感图像理解的重要任务之一,在城市规划、灾害监测、农业巡检、交通监管以及地表变化分析等场景中具有广泛应用。与普通自然图像相比,遥感图像通常具有成像视角俯视、背景纹理复杂、目标尺度变化大、类别间外观相似以及目标边界弱化等特点,使得目标定位和类别判别更为困难。
2、现有遥感目标检测方法已在多尺度特征建模、上下文信息聚合、注意力机制以及transformer全局建模等方面取得了较大进展。例如,基于卷积神经网络的检测器能够通过特征金字塔结构提高多尺度表达能力,基于detr(detection transformer,又称检测transformer)及其变体的端到端检测框架能够通过查询机制和全局关系建模提升整体检测性能。然而,在低对比度和复杂背景遥感场景中,现有方法仍存在明显不足。
3、第一,浅层特征中的边缘、纹理和局部结构对遥感目标定位具有重要作用,但在阴影、雾霾、地物纹理混杂和目标响应较弱的场景下,目标轮廓容易出现模糊、断裂或被背景淹没的问题。多数现有检测器主要依赖数据驱动的卷积或注意力机制进行特征提取,缺少针对弱边界和浅层结构信息的显式增强机制。
4、第二,深层语义特征容易受到大面积重复背景纹理和低频平滑响应的影响,导致目标与背景之间的语义可分性下降。已有频域建模方法通常将频域信息作为全局补充或偏重高频细节增强,对局部内容差异和深层语义中的背景主导低频成分缺乏灵活抑制,容易产生语义过平滑或无效增强。
5、第三,在跨尺度特征融合过程中,深层语义信息经上采样传播至浅层后,冗余背景语义可能扩散到非目标区域,破坏浅层本就脆弱的边界和定位线索。同时,深层语义分支与浅层细节分支通常通过直接拼接或简单相加进行融合,缺少显式的通道级和分支级贡献平衡,导致融合特征存在语义扩散和细节淹没问题。
6、因此,亟需一种能够沿遥感目标检测特征表示层级进行协同校正的检测网络,在保持较高检测精度的同时,提高低对比度、复杂背景、重复纹理和弱结构目标场景下的鲁棒性。
技术实现思路
1、有鉴于此,本发明提供了一种基于浅层结构增强与频域语义重平衡的遥感目标检测网络,能够解决低对比度和复杂背景场景中存在的浅层结构信息弱化、跨尺度融合失衡等问题,提升遥感目标检测的鲁棒性。
2、为了解决上述技术问题,本发明是这样实现的。
3、一种基于浅层结构增强与频域语义重平衡的遥感目标检测网络,包括:
4、骨干网络,对遥感图像进行多级特征提取,获得浅层特征、中间层特征和深层特征;
5、浅层结构增强模块,采用边缘感知双分支增强机制,对浅层特征进行多方向梯度提取和基于可学习方向权重的加权聚合,得到综合结构响应;基于综合结构响应的统计信息生成严格分支、宽松分支两个互补门控掩膜,分别调制浅层特征得到两分支调制特征;利用两分支调制特征的结构差异,与宽松分支调制特征进行残差融合,输出浅层结构增强特征;
6、跨尺度特征融合模块,用于将深层特征的深层语义沿多尺度特征融合路径向浅层传播,并与中间层特征进行融合,在深层语义信息进一步传播并与浅层结构增强特征进行跨尺度融合时,设置频率-空间重平衡模块frsb;frsb包括频率校准模块fcb、特征融合模块ffm;fcb在频率域通过复数频域权重对传播来的深层语义信息进行校准,获得深层校准特征;ffm在空间域构造对应深层分支和浅层分支的两组通道权重,进行组内归一化与全局归一化后进行融合,获得深层分支融合权重和浅层分支融合权重,分别对深层校准特征与浅层结构增强特征做通道维重加权后进行通道拼接,输出重平衡融合特征;frsb输出的重平衡融合特征进一步与多尺度特征融合路径上的中间融合特征进行多级迭代融合,得到最终融合特征;
7、输出分类层,基于所述最终融合特征确定目标检测结果。
8、优选地,所述浅层结构增强模块包括方向梯度提取模块、池化模块、互补门控分支增强模块;
9、所述方向梯度提取模块,用于对输入的浅层特征分别采用、、和四个方向的scharr梯度算子进行梯度提取,得到四个方向的梯度响应;通过可学习方向权重对各方向的梯度响应进行自适应加权聚合,得到综合结构响应;
10、所述池化模块,用于对所述综合结构响应依次进行最大池化和平均池化,获得增强局部结构连通性和平滑噪声响应的结构先验;
11、所述互补门控分支增强模块,用于计算结构先验在通道和空间维度上的均值与标准差;以均值作为宽松分支的门控中心,构造宽松分支的门控掩膜;以作为严格分支的门控中心,构造严格分支的门控掩膜;利用两个门控掩膜分别对所述浅层特征进行逐元素调制,得到两分支调制特征,包括宽松分支调制特征和严格分支调制特征;对宽松分支调制特征和严格分支调制特征进行差分运算,提取由门控强度变化所产生的结构差异特征,进一步与宽松分支调制特征进行残差融合,得到浅层结构增强特征。
12、优选地,所述互补门控分支增强模块,获得结构差异特征后,先经过通道注意力机制进行自适应重标定,获得差异增强特征;再将差异增强特征与宽松分支调制特征进行残差融合,得到浅层结构增强特征。
13、优选地,所述遥感目标检测网络进一步包括增强型双域前馈网络edffn;所述edffn设置于深层特征输入跨尺度特征融合模块之前,用于对所述深层特征进行重复背景纹理及背景主导冗余低频响应抑制;
14、所述edffn包括空间特征提取模块、图像切分模块、空间引导权重确定模块、空间-频域局部融合模块、图像展开与残差卷积模块;
15、所述空间特征提取模块,用于对深层特征进行空间特征提取,获得中间特征;
16、所述图像切分模块,用于将中间特征切分为局部块;
17、所述空间引导权重确定模块,用于对每个局部块计算本块内的局部上下文,生成局部块的空间引导权重;
18、所述空间-频域局部融合模块,用于将局部块变换到频域,获得局部块频域表示;利用所述空间引导权重与可学习频域权重联合调制局部块频域表示,获得双域调制后的频谱,再恢复到空间域,得到频率增强局部块特征;引入可学习全局融合系数,对频率增强局部块特征和原局部块进行残差融合,获得局部块融合特征;
19、所述图像展开与残差卷积模块,用于将所述局部块融合特征重新排列回原始空间布局,并与中间特征进行残差卷积,获得净化后的深层特征,输出给跨尺度特征融合模块。
20、优选地,所述空间引导权重确定模块首先对每个局部块求平均,获得局部上下文,然后经过分块池化、深度卷积、门控非线性激活函数、s型函数处理后,获得局部块的空间引导权重。
21、优选地,所述fcb包括傅里叶变换模块、复数频域校准模块和逆傅里叶变换模块;
22、所述傅里叶变换模块,用于对沿多尺度特征融合路径传播来的深层语义信息进行傅里叶变换,获得深层语义信息的频域表示;
23、所述复数频域校准模块,用于基于可学习的复数频域权重,采用复数乘法,分别对深层语义信息的频域表示进行实部和虚部的校准,获得校准后深层语义信息的频域表示;
24、所述逆傅里叶变换模块,用于对校准后深层语义信息的频域表示进行逆傅里叶变换,获得空间域的所述深层校准特征。
25、优选地,所述ffm包括深层分支组归一化模块、浅层分支组归一化模块、全局归一化模块、深层分支可学习融合模块、浅层分支可学习融合模块、重加权和拼接模块;
26、fcb输出的深层校准特征,进入ffm记为深层分支特征;浅层结构增强模块输出的浅层结构增强特征
',进入ffm记为浅层分支特征;
27、构造可学习的总通道权重向量,向量长度为深层分支特征和浅层分支特征的通道数之和;将总通道权重向量按照深层分支和浅层分支对应的通道数拆分为深层分支权重向量和浅层分支权重向量两个组;
28、所述深层分支组归一化模块,用于对深层分支权重向量各通道权重做组内归一化,获得深层组内归一化权重向量;
29、所述浅层分支组归一化模块,用于对浅层分支权重向量各通道权重做组内归一化,获得浅层组内归一化权重向量;
30、所述全局归一化模块,用于对总通道权重向量各通道权重做全局归一化,得到全局归一化权重,再按照深层分支和浅层分支对应的通道数拆分为深层全局归一化权重向量和浅层全局归一化权重向量;
31、所述深层分支可学习融合模块,用于利用可学习标量混合系数,融合深层组内归一化权重向量和深层全局归一化权重向量,获得深层分支融合权重;
32、所述浅层分支可学习融合模块,用于利用可学习标量混合系数,融合浅层组内归一化权重向量和浅层全局归一化权重向量,获得浅层分支融合权重;
33、所述重加权和拼接模块,用于将所述深层分支融合权重与所述深层分支特征进行重加权,将所述浅层分支融合权重与所述浅层分支特征进行重加权;深层分支和浅层分支的重加权结果沿通道维拼接,得到重平衡的融合特征。
34、优选地,所述frsb包括后处理模块;ffm生成的重平衡融合特征分别送入所述后处理模块中的两条并行处理支路,第一条处理支路执行1×1卷积运算;第二条处理支路依次执行1×1卷积运算和结构重参数化模块运算;两条处理支路输出相加,作为frsb的输出。
35、有益效果:
36、(1)本发明将低对比度复杂遥感场景中的检测退化问题建模为浅层结构弱化、深层语义污染和早期跨尺度融合失衡构成的层级退化链,并在对应阶段进行针对性校正,使网络的增强机制与特征表示退化位置相匹配。
37、(2)本发明提出的浅层结构增强模块,采用边缘感知双分支增强机制,在保留弱边界连续性的同时抑制无关背景纹理,有效提升浅层结构特征的完整性和稳定性。
38、(3)本发明提出的增强型双域前馈网络在局部块尺度执行频域调制,并结合空间引导和可学习残差融合系数,能够抑制深层特征中的背景主导低频成分,缓解语义过平滑,提高目标相关语义表达能力。
39、(4)本发明提出的frsb模块在首次浅层跨尺度融合阶段对深层语义分支进行频域校准,并通过通道自适应重加权平衡深层语义和浅层细节,能够减少语义扩散、改善边界定位并提高融合特征的判别性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com