基于原型引导的两轮优化伪装目标检测方法
本发明属于计算机视觉与图像分割,特别涉及一种基于原型引导的两轮优化伪装目标检测方法。
背景技术:
1、伪装目标检测旨在从与背景高度相似的图像中识别并分割出伪装目标,是计算机视觉领域的一项重要任务。高精度的伪装目标检测在医学影像分析、工业缺陷检测以及搜索救援等多种下游任务中发挥着至关重要的作用。然而,由于伪装目标在颜色、纹理、形状等方面与周围背景高度融合,加之自然场景的复杂性,传统的显著性检测方法乃至近年来的深度学习伪装检测网络,仍有背景噪声干扰、目标区域定位模糊以及边界细节丢失等缺点。
2、现有深度学习伪装检测网络普遍采用单阶段解码预测架构,在处理复杂伪装场景时,这种常规网络架构存在以下明显的局限性:
3、第一,缺乏针对性的背景干扰抑制机制。现有网络仅依靠编码器浅层、深层特征融合区分前景与背景,未专门建模全局、局部背景纹理原型,当场景中存在大量与目标相似的背景时,相似背景特征会持续干扰前景特征表达,网络无法有效区分“伪装目标前景”和“类目标背景噪声”,最终产生大量假阳性分割区域。
4、第二,目标边界分割精度不足,无独立边缘约束引导策略。传统网络仅依靠解码过程隐含学习物体边缘,未单独提取、监督多尺度边缘特征;伪装物体边缘过渡平缓、对比度极低,无显式边缘引导时,解码器上采样易丢失细微边界信息,输出掩码出现边缘模糊、孔洞、截断等缺陷。
5、第三,网络难以同时兼顾目标整体区域的聚焦与局部精细边界的修补。为解决这一问题,部分方案采用全图注意力机制导致计算量大幅膨胀;而单纯采用小核卷积又会导致网络感受野受限,对大目标整体结构处理能力较弱,且在伪装目标边缘模糊区域容易出现边界锯齿或断裂现象。
6、专利文献cn122090069b公开了一种基于dinov3与sam2的伪装目标检测图像分割方法,旨在通过自监督视觉基础模型引导的自动提示生成与多尺度特征融合架构来提升伪装目标分割的性能。该方法通过自动提示生成模块自主提取点提示、框提示及掩码提示,并利用可变形空间通道注意力融合模块实现跨模型特征的精细化对齐。虽然该方法引入了自动提示机制以减少对人工提示的依赖,并考虑了多尺度语义特征与几何特征的融合,但在特征增强阶段缺乏对背景信息的充分利用。当面临伪装背景复杂、色彩高度相似的低对比度场景时,容易产生提示偏离目标区域的现象,它缺少一种基于第一轮粗略预测构建背景原型先验来指导网络区分相似目标与背景的机制,从而难以在复杂背景下形成稳定、准确的伪装目标分割。
7、专利文献cn121884004b公开了一种基于纹理与边缘增强的伪装目标检测方法,通过在骨干网络中引入四路并行多尺度边缘增强模块,并在颈部网络中构建盖博-极大值池化纹理增强模块,来提升伪装目标在复杂背景下的检测精度与定位准确性。然而,该方法在伪装目标的核心表征环节中,主要依赖高通滤波式边缘残差增强与多方向gabor纹理提取来区分目标与背景,并未在特征层面构建对背景分布的主动抑制机制。它不仅难以在目标与背景纹理高度相似的伪装场景下避免将背景干扰纹理同步增强,还容易产生边缘误增强与纹理误匹配,导致其输出的目标定位结果在复杂伪装场景下的边界精准度和目标区域完整性上均存在一定局限性。
8、网络难以同时兼顾目标整体区域的聚焦与局部精细边界的修补。为解决这一问题,部分方案采用全图注意力机制导致计算量大幅膨胀;而单纯采用小核卷积又会导致网络感受野受限,对大目标整体结构处理能力较弱,且在伪装目标边缘模糊区域容易出现边界锯齿或断裂现象。
技术实现思路
1、本发明针对现有技术上的述缺点,提出一种基于原型引导的两轮优化伪装目标检测方法。
2、本发明的构思在于通过先粗后精的两轮检测架构,利用背景原型抑制干扰、原型注意力聚焦目标、边缘引导细化边界,三者协同实现伪装目标的精准分割。
3、本发明的基于原型引导的两轮优化伪装目标检测方法包含如下步骤:
4、s1:采集包含各类伪装目标场景的图像作为样本数据,对样本数据进行预处理得到样本数据集,将样本数据集按照设定的比例划分为训练集、验证集和测试集;
5、s2:基于深度学习框架搭建伪装目标检测网络;伪装目标检测网络由依次连接的编码器、背景原型模块bpm、原型注意力模块pam、边缘引导模块egm和解码器构成,编码器的输出端连接解码器的输入端;
6、s3:将训练集输入伪装目标检测网络进行迭代训练,基于混合损失函数,通过反向传播算法计算梯度并更新网络参数;当达到最大迭代轮数时停止训练,得到训练好的伪装目标检测网络;并利用验证集对训练好的伪装目标检测网络进行验证,得到最终的伪装目标检测网络;
7、s4:将测试集伪装图像输入训练完成的伪装目标检测网络,输出最终伪装目标分割掩码,完成伪装目标检测。
8、更具体的,步骤s1包括:
9、s1.1:采集包含不同伪装生物和场景复杂度的伪装图像,并为每张图像匹配真值分割掩码作为监督标签;
10、s1.2:对伪装图像进行数据增强处理,包括随机裁剪、随机翻转及颜色抖动操作;
11、s1.3:将样本数据集按照设定的比例划分为训练集、验证集和测试集,将图像分辨率统一调整至固定尺寸,并进行归一化处理。
12、更具体的,伪装目标检测网络中,编码器对输入的伪装图像提取多尺度特征,并输至解码器完成粗预测得到粗略掩码,背景原型模块bpm根据粗略掩码提取背景区域并对其进行分块,然后提取原型得到全局背景原型和区域背景原型,对多尺度特征进行增强得到增强前景特征;原型注意力模块pam根据增强前景特征生成动态空间注意力权重,进行特征融合得到细化特征;边缘引导模块egm基于多尺度特征预测边缘图并输出边缘偏移量;解码器结合细化特征和边缘偏移量并解码采样,输出精细化伪装目标分割掩码。
13、更具体的,步骤s2所述伪装目标检测网络中,所述编码器采用pvt-v2编码器,用于对输入图像进行逐级下采样以提取四级的多尺度特征。
14、更具体的,所述背景原型模块bpm包含依次连接的背景分离单元、原型提取单元和特征增强单元;
15、背景分离单元用于接收粗略掩码,并对粗略掩码取反得到背景掩码,其作用在于与输入的伪装图片相乘得到背景区域;
16、原型提取单元用于对编码器输出的多尺度特征图进行空间分块划分,在各分块内采用掩码平均池化计算区域背景原型,同时对背景区域进行掩码平均池化得到全局背景原型,并将区域背景原型与全局背景原型拼接融合,得到最终背景原型;
17、特征增强单元用于以原始多尺度特征作为查询q,将最终背景原型映射为键k和值v,计算归一化相似度并通过sigmoid激活函数得到背景原型注意力权重,然后通过可学习门控参数将原始特征减去门控加权后的背景表征,输出背景抑制后的增强前景特征。
18、更具体的,所述原型注意力模块pam包含依次连接的动态注意力权重生成单元和权重自适应特征融合单元;
19、动态注意力权重生成单元用于对编码器输出的多尺度特征进行掩码平均池化得到全局原型,将全局原型输入内置的卷积块(convblock)中得到作为键k的全局上下文特征;并通过内置的深度可分离卷积块(dwconvblock)对增强前景特征提取局部细化特征以作为查询q;计算查询q与键k的矩阵相似度,经线性层和sigmoid激活函数得到动态空间注意力权重;
20、权重自适应特征融合单元扩展多尺度特征的感受野以得到上下文特征,并基于动态空间注意力权重逐像素加权融合上下文特征与局部细化特征,输出聚焦于目标的细化特征。
21、更具体的,权重自适应特征融合单元采用大小为7,步长为1的卷积核。
22、更具体的,所述边缘引导模块egm包含依次连接的多尺度特征融合单元、边缘注意力单元和偏移量门控单元;
23、多尺度特征融合单元将编码器最深层特征上采样后与三个浅层特征跨层拼接融合,并将最深层特征与自身融合,得到四个初步融合特征;再将深层的初步融合特征通过可变形卷积与上一层初步融合特征逐层相加,得到三个边缘表示;
24、边缘注意力单元将所述三个边缘表示分别通过自注意力模块以得到深层边缘图、中层边缘图和浅层边缘图,并对所述边缘表示进行两两融合,通过边缘注意力机制为深浅层边缘图分配不同的边缘权重进行融合,得到细节边缘图;
25、偏移量门控单元分别从多尺度特征和边缘特征预测两组采样偏移量,并将两组采样偏移量拼接后经sigmoid激活函数生成门控系数,通过所述门控系数自适应加权融合两类偏移量以得到边缘偏移量。
26、更具体的,所述解码器为双阶段解码器,包括粗略解码支路和精细解码支路;
27、粗略解码支路仅接收编码器输出的原始多尺度特征,经卷积上采样融合生成粗略掩码,并将粗略掩码输入所述背景原型模块bpm;
28、所述精细解码支路用于并行接收所述原型注意力模块pam输出的细化特征、所述边缘引导模块egm输出的边缘偏移量与边缘预测图;基于所述边缘偏移量调整特征采样坐标,将多尺度特征逐级上采样拼接融合,并通过sigmoid激活输出0~1区间的精细化伪装目标分割掩码。
29、更具体的,步骤s3包括:
30、s3.1:设置网络训练参数,设置网络训练参数,包括批次大小、初始学习率、训练轮次;采用adamw优化器对伪装目标检测网络进行迭代训练;
31、s3.2:将训练集图像批次输入伪装目标检测网络,依次完成编码器特征提取、粗解码预测粗掩码、背景原型模块bpm背景原型增强、原型注意力模块pam目标聚焦、边缘引导模块egm边缘预测、精细解码输出分割掩码;
32、s3.3:构建混合损失函数;计算每轮输出的粗略分割掩码,精细分割掩码,和边缘图与其输入图像对应的伪装物体掩码真值的误差,其中粗略分割掩码监督损失和精细分割掩码监督损失为分割损失,均采用由二值交叉熵损失与交并比损失组成的结构损失;边缘损失为多尺度边缘深度监督损失,采用dice损失对边缘预测进行监督;
33、s3.4:基于总损失值反向传播计算梯度,更新编码器、bpm模块、pam模块、egm模块、解码器网络参数;达到预设训练轮次后终止训练;
34、s3.5:在每轮迭代后采用验证集评估模型,选取平均绝对误差最低、综合分割指标最优的模型参数作为精细化伪装目标检测网络。
35、更具体的,设置网络训练参数时,将批次大小设置为8、初始学习率设置为0.000075、训练轮次设置为120轮;采用adamw优化器对伪装目标检测网络进行迭代训练,结果保留后续30轮的模型权重。
36、更具体的,所述卷积块和深度可分离卷积块均由卷积层,批归一化和gelu激活函数组成,卷积块的卷积层卷积核大小为1,其主要作用是将输入特征映射到适合计算注意力键值的特征空间,深度可分离卷积块的卷积层采用卷积核大小为3的动态可分离卷积,其主要作用是提取局部空间细节,用作后续注意力机制的查询。
37、更具体的,综合分割指标是结合结构相似性度量(structure-measure)、加权f值(weighted f-measure)、增强对齐度量(enhanced-alignment measure)和平均绝对误差(mean absolute error)四项指标,对模型分割精度、结构相似度和定位误差进行综合评价的指标集合。
38、更具体的,所述多尺度特征融合单元中,对多尺度特征分别进行通道压缩与特征整合的卷积块记为归约块,所述归约块中依次连接卷积核大小为1×1、步长为1的第一卷积层、批量归一化层、relu激活函数层以及卷积核大小为3×3、步长为1的第二卷积层;对归约块的输出进行逐层融合的卷积块记为dconv块,所述dconv块中依次连接可变形卷积层、卷积核大小为1×1、步长为1的卷积层、批量归一化层和relu激活函数层;三个所述dconv块的输出即构成所述三个边缘表示,并分别经所述自注意力模块处理。
39、本发明的创新点是:
40、(1)背景原型驱动的背景干扰抑制机制:针对现有方法缺乏对背景区域信息的利用与背景相似区域容易产生误判的缺陷,本发明构建背景原型模块bpm,基于第一轮粗略掩码分离前景与背景区域,通过掩码平均池化提取背景原型,依托原型注意力机制抑制背景相似特征。这一背景原型引导的特征增强机制,有效提高了网络区分伪装目标与相似背景的能力。
41、(2)原型注意力引导的动态目标聚焦机制:对于传统解码网络中直接融合多尺度特征导致目标定位偏差的问题,本发明的原型注意力模块pam,以全局原型和增强前景特征生成动态空间注意力权重,自适应融合多尺度局部与全局特征。该动态注意力机制有效强化了目标区域的特征响应,实现了对伪装目标区域的精准聚焦。
42、(3)边缘感知的自适应采样引导机制:针对边界模糊区域分割精度不足的问题,本方法设计边缘引导模块egm,融合深浅层多尺度特征预测多级边缘图,通过可变形卷积自适应调整采样位置,设计轻量化门控网络融合语义偏移与边缘偏移,生成边缘感知自适应采样偏移量。该机制有效修复了伪装目标的模糊边界,提升了分割掩码的边缘清晰度。
43、本发明产生的有益效果在于:
44、(1)提升了伪装目标检测对抗复杂背景干扰、低对比度和纹理相似等视觉挑战的能力。引入背景原型后,本发明的算法对背景分布产生了具备鲁棒性的建模与抑制能力,从而减少了目标与背景混淆的现象,降低了误检和漏检率。
45、(2)提高了伪装目标检测过程中目标区域定位的准确性。本发明通过引入原型注意力机制,有效强化了目标区域的特征响应并维持了解码过程的稳定,不仅抑制了背景误判,还使得输出的分割掩码整体结构更为完整。
46、(3)解决了伪装目标检测结果中检测掩码边缘不清晰的问题。本发明通过引入边缘引导模块,提供了不同尺度的边缘监督与自适应可变形采样偏移,是的解码器能够精准捕捉微弱目标轮廓,极大的提升了分割结果边缘的清晰度。
47、(4)实现了预测精度和推理效率的平衡。得益于两轮优化结构设计与轻量化门控网络,在取得良好预测准确度的同时,运算负担得到了较好控制。在高分辨率条件下,仍能保持计算开销的可控性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com