一种基于特征迁移可靠性门控与前景背景残差细化的光学遥感图像显著性目标检测方法
本发明涉及数字图像处理与计算机视觉,具体涉及一种基于特征迁移可靠性门控与前景背景残差细化的光学遥感图像显著性目标检测方法。
背景技术:
1、显著性目标检测属于像素级视觉预测任务,用于从图像中分离在视觉或语义上较为突出的目标区域,可为目标检测、语义分割、变化检测、场景理解和信息检索等后续遥感智能解译任务提供视觉先验。
2、光学遥感图像通常由卫星、无人机或航空平台以俯视视角获取,覆盖范围大、地物类型丰富。同一幅图像中可能同时存在大范围地物、细小目标、规则人工结构以及道路、河流和港口岸线等细长目标。受成像尺度、拍摄高度、地物分布和背景纹理影响,显著目标的尺度、形态、方向、对比度和边界特征变化明显,显著目标检测面临以下技术难点:
3、(1)背景虚假响应难以抑制。道路、水域、建筑屋顶、农田纹理等复杂背景常带有强边缘、高对比度或规则结构,容易获得较高响应并被误判为显著目标。
4、(2)弱小目标与细长目标结构还原效果差。船舶、飞机、车辆等小尺度目标在下采样过程中容易发生语义特征弱化;道路、港口岸线及长条建筑等细长目标容易出现响应断裂、孔洞和边界模糊。
5、(3)通用预训练语义特征难以稳定适配迁移至遥感图像显著性检测任务。现有视觉预训练模型的训练素材以自然图像为主,光学遥感影像俯视拍摄、目标尺度差异悬殊、地物纹理密集、空间排布特殊,二者在视觉外观、语义分布层面存在明显域偏移。直接迁移预训练特征会把与遥感场景不匹配的语义响应和数据偏置一并送入解码阶段,同时会弱化影像低层携带的边缘、纹理与微小地物细节。
6、当前光学遥感图像显著性目标检测算法主要分为单阶段与两阶段两类。单阶段算法仅需一次前向推理即可直接输出显著图,计算效率更具优势,但面对复杂背景、低对比度弱目标以及细长地物时,很难抑制背景噪声并还原目标完整结构。现有研究引入注意力机制、跨层特征融合或边界增强模块优化特征提取效果,但整体思路仍集中于前景特征挖掘,缺少针对背景虚假显著响应的专门约束手段。
7、两阶段检测思路普遍采用“粗预测+精细优化”流程。但细化效果高度取决于初始粗预测结果与解码特征的可靠程度。若粗显著图出现定位偏差、目标漏检或背景误判,后续细化环节会沿用甚至放大原有偏差。同时,若细化流程仅依靠前景特征单独优化,无法借助背景信息对虚假显著区域形成有效制衡。
8、综上,现有技术亟需一种能够有效管控跨域语义迁移可信度、同时在前景与背景两个维度协同校正预测误差的显著性目标检测方法。
技术实现思路
1、本发明需要解决的技术问题是提供一种基于特征迁移可靠性门控与前景背景残差细化的光学遥感图像显著性目标检测方法,以解决现有技术存在的背景虚假响应难以抑制、弱小目标与细长目标结构还原效果差、通用预训练语义特征难以稳定适配迁移至遥感显著性检测任务的问题。
2、为解决上述技术问题,本发明所采取的技术方案如下。
3、一种基于特征迁移可靠性门控与前景背景残差细化的光学遥感图像显著性目标检测方法,包括以下步骤:
4、s1.层次化主干特征提取:将输入的光学遥感图像送入层次化特征编码器,获得四个尺度的主干特征 x1、x2、x3和x4,各尺度特征经卷积和批归一化映射到统一通道维度,得到低层特征z1、中层特征z2和z3以及高层特征z4,其中,低层特征z1保留边界、纹理及细长结构,中层特征z2和z3兼顾空间结构与语义响应,高层特征z4用于全局语义定位;
5、s2.冻结密集语义先验特征提取与对齐:与层次化特征编码器并行设置预训练语义编码器,将输入图像进行反归一化处理后送入冻结的预训练语义编码器,输出密集语义先验特征t;针对中高层特征尺度,将t双线性插值至对应主干特征的空间尺寸,并利用1×1卷积完成通道投影,得到特征迁移可靠性线索ri;
6、s3.特征迁移可靠性门控:对每个中高层尺度,通过门控映射模块,将主干特征zi与对应的特征迁移可靠性线索ri在通道维度拼接,经由包括卷积、归一化和relu激活的轻量映射函数φi以及sigmoid激活函数,得到像素级可靠性门控图gi;采用残差乘法的方式调制原始主干特征得到可靠性增强特征zir,且低层特征z1不经过门控处理以维持原始传输通路;
7、s4.预解码特征构建:通过预解码特征构建模块,将最高层可靠性增强特征z4r输入空间注意力模块,得到高层定位特征h;将低层特征z1依次输入方向卷积单元和空间注意力模块,得到低层结构特征l;将相邻中层可靠性增强特征z2r、z3r输入跨层知识传递模块,得到中层语义结构特征m;由h、m和l构成前置解码器的互补输入特征组;
8、s5.前置解码与粗显著性预测:前置解码器先将h上采样至m的尺度并通过逐元素相乘注入全局定位信息;再将融合结果上采样至l的尺度,并与l逐元素相乘以保留高分辨率结构;各尺度融合结果进一步通过通道拼接和卷积进行渐进式整合,生成解码特征dr;对dr执行1×1卷积,得到粗显著性对数概率图 s0;
9、s6.前景背景残差细化:通过前景-背景残差细化模块,将粗显著性对数概率图s0经sigmoid函数转换为粗显著性概率图sc;利用sc和其互补图1-sc对解码特征dr分别进行逐元素加权,显式构造前景响应特征df和背景响应特征db;前景卷积分支和背景卷积分支分别处理df和db,将二者在通道维度拼接并输入融合卷积,得到残差对数概率图r,细化后对数概率图为s=s0+r;
10、s7.输出:将细化后对数概率图s进行4倍双线性上采样,得到恢复至输入图像空间分辨率的最终对数概率图,将经sigmoid变换得到显著性概率图,再对进行归一化及缩放处理,得到最终的灰度显著性图;
11、s8.损失函数构建与模型训练:训练过程中,采用二元交叉熵对数概率损失与交并比损失之和作为整体显著性监督目标,且仅对最终对数概率图进行监督,不引入边界损失或多尺度辅助监督;所述预训练语义编码器保持冻结,仅更新层次化特征编码器、门控映射模块、预解码特征构建模块、前置解码器和前景-背景残差细化模块的参数。
12、优选的,所述步骤s2中,预训练语义编码器采用冻结的radio模型;所述反归一化处理的具体公式为:
13、ir= clamp(inorm×std+mean, 0, 1)
14、其中,inorm为按主干编码器要求归一化的输入图像,mean和std分别为相应的均值和标准差,ir为输入至radio模型的语义编码器输入,训练期间预训练语义编码器的参数不参与梯度更新。
15、优选的,所述步骤s3中,所述残差乘法调制的公式为:
16、zir= zi⊙ (1 + αgi), i∈{2,3,4}
17、其中,α为缩放系数,⊙ 表示逐元素相乘;当门控响应较低时,残差通路保留原始主干特征,当门控响应较高时,对应位置的语义表征被增强。
18、优选的,所述步骤s6中,前景响应特征df用于补偿目标区域的漏检响应,修复完整目标结构;所述背景响应特征db用于描述潜在伪显著区域,压制各类虚假显著响应;所述残差对数概率图r作为校正量回加至粗显著性对数概率图s0,不替换粗显著性预测的整体结构。
19、优选的,所述步骤s6中,前景响应特征df和背景响应特征db的生成公式为:
20、sc= σ(s0)
21、df= dr ⊙ sc, db= dr⊙ (1-sc)
22、其中,σ为sigmoid激活函数。
23、优选的,所述步骤s7中,最终的灰度显著性图p的生成公式为:
24、
25、其中,normalize表示最小最大归一化操作。
26、优选的,所述步骤s8中,整体显著性监督目标的公式为:
27、
28、其中,为整体显著性监督目标;为二元交叉熵对数概率损失;
g为对应的真实显著性标注。
29、优选的,所述步骤s8中,二元交叉熵对数概率损失采用数值稳定形式进行计算,以避免sigmoid概率接近0或1时直接取对数造成数值溢出,具体公式为:
30、
31、其中,
n为一幅训练图像包含的像素总数;为第i个像素的上采样后显著性得分值;为第i个像素的真实显著性标注,取值 {0,1}。
32、优选的,所述步骤s8中,交并比损失的展开式为:
33、
34、其中,
ε为防止分母为零的数值稳定常数;为第i个像素的预测显著性概率。
35、由于采用了以上技术方案,本发明所取得技术进步如下。
36、本发明通过特征迁移可靠性门控机制,将预训练语义特征经尺度对齐、通道投影后构建为位置关联的可靠性门控图,对主干中高层特征实施选择性调制,低层特征维持原始传输通路,既能够借助可信的通用语义强化目标区域特征表达,又能够过滤不可靠的跨域特征响应,有效缩小自然图像预训练模型与光学遥感图像之间的域差异,同时完整保留遥感图像固有的边界、纹理及细小结构信息。
37、本发明通过像素级可靠性门控图以残差乘法方式调制原始主干特征,当门控响应较低时残差通路原始主干特征基本保持不变,当门控响应较高时对应位置的语义表征被增强,由此实现了对跨域语义特征“可靠则增强、不可靠则保持”的保护性迁移,降低不可靠跨域响应对解码阶段的干扰,并提高预训练语义特征向光学遥感显著性检测任务迁移的稳定性。
38、本发明通过前景背景残差细化机制,将粗显著性概率图及其互补图分别用于构造前景响应和背景响应,经独立分支提取后融合为残差校正量回加至粗预测结果,使前景分支能够补偿目标区域的漏检响应、修复完整目标结构,背景分支能够抑制道路、水域、建筑纹理等复杂背景造成的虚假显著响应,从而在不破坏粗预测整体结构的前提下同步优化目标边缘连贯度和前景区域完整度。
39、本发明将特征迁移可靠性门控与前景背景残差细化依次串联构成递进协同架构,特征端从源头管控跨域语义的可信输入以保证解码特征可靠性,预测端在此基础上对前景漏检和背景虚检两类误差实施差异化校正,两个模块通过端到端训练形成良性协同,共同提升了模型对低对比度目标、小尺寸目标、细长线状地物及多目标混杂场景的检测稳定性与泛化能力。
40、本发明中预训练语义编码器在训练过程中保持冻结,仅作为外部语义先验提供者,不参与梯度更新,且残差校正量以加法形式回加至粗显著性对数概率图,不改变前置解码器的基础输出结构,因此本发明便于便捷接入现有两阶段显著性目标检测框架,具有良好的框架兼容性和即插即用特性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com