一种基于边缘引导网络的伪装物体检测方法与流程

1.本发明属于图像处理技术领域，特别涉及到一种基于边缘引导网络的伪装物体检测方法。


背景技术：

2.当前景主体（相对凸出）试图“埋伏”在背景中来欺骗观察者视觉时，伪装场景即成立。在伪装场景中识别并分割伪装物体（前景主体），即伪装物体检测。由于伪装场景的普遍存在，伪装物体检测具有丰富的下游任务和应用场景，例如，医疗图像分割、工业缺陷检测、蝗虫入侵检测、创意图像合成等，引发了计算机视觉社区的广泛关注和研究兴趣。
3.早期的伪装物体检测方法依赖于颜色、纹理、动量和梯度等传统视觉特征，如果只提取使用一种视觉特征很难达到满意的效果，所以一些方法尝试使用上述视觉特征的组合来增强效果。然而，由于手工提取特征的局限性，这些方法往往在较为复杂的场景或真实应用中失效。
4.随着深度学习技术的兴起，基于卷积神经网络的方法从大量训练图像中自动学习到的深度特征比传统特征更全面、更通用、更有效。这些检测方法大致可分为三类：一类是仿生方法，它模仿自然界中捕食者的行为过程或人类视觉心理模式来设计网络；一类是设计有针对性的网络模块/架构，以有效探索可用于判别的伪装对象特征；一类是将一些辅助任务纳入联合学习/多任务学习框架，如分类任务、边缘提取、显著目标检测和伪装目标排序，这类方法可以从共享特征中挖掘出有价值的额外线索，从而显著增强伪装物体检测的特征表示。
5.在联合学习/多任务学习框架中，现有的采用边缘提取作为辅助任务的检测方法是一个基于图神经网络的交互图学习模型。这不可避免地增加了模型的复杂性，占用更多的计算资源。此外，尽管它引入了边界线索，但仍然丢失了一些与边界相关的细节，引入了一些明显的背景噪声，从而削弱了检测伪装物体的性能。


技术实现要素：

6.本发明的目的是解决现有伪装物体检测方法中，伪装物体在与环境高度融合，尤其是边缘中断的情况下，只能给出粗糙或不完整的物体边界的问题。因此，本发明设计了一种基于边缘引导网络的伪装物体检测方法。
7.边缘引导网络（boundary-guided network，bgnet）由骨干网络（backbone network, bn）、边缘感知模块（edge-aware module，eam）、边缘引导特征模块（edge-guidance feature module，efm）与上下文聚合模块（context aggregation module，cam）组成。
8.本发明方法包含如下步骤。
9.第1步，待检测图像的特征提取。利用骨干网络bn对待检测图像进行多层级特征提取，包括蕴含局部边缘细节的低层级特征与蕴含全局定位信息的高层级特征。
10.第2步，伪装物体边缘信息挖掘。利用边缘感知模块eam，在提取的低层级特征和高层级特征中挖掘伪装物体相关的多层次边缘语义信息。
11.第3步，边缘信息引导特征提取。基于第2步挖掘的伪装物体的边缘语义信息，利用边缘引导特征模块efm，提取骨干网络的特征，增强模型的边界特征的表示学习能力。
12.第4步，上下文信息汇聚并得到输出。利用cam上下文聚合模块，聚合多层级特征与边缘信息，生成伪装物体的掩膜图与轮廓图。
13.本发明的优点和有益效果：本发明通过引入边缘线索，挖掘物体边缘语义信息，提升模型相关表征能力，输出更加准确的伪装物体预测。经实验，本发明在公开的3个数据集采用的4个评测指标上，均超越了目前最前沿的伪装目标检测方法。
附图说明
14.图1为本发明bgnet伪装物体检测方法的流程图。
15.图2为本发明中eam边缘感知模块的具体实施框架图。
16.图3为本发明中efm边缘引导特征模块的具体实施框架图。
17.图4为本发明中cam上下文汇聚模块的具体实施框架图。
18.图5为本发明与当前最先进的18个对比方法在3个数据集4个指标上的实验结果图。
19.图6为本发明与目前最好的深度学习方法对比结果图示例（分别为 (a)image 输入图像、(b) gt真值图、(c)ours本发明方法、(d-k) jcsod、c2fnet、lsr、ugtr、r-mgl、s-mgl、pfnet、sinet 8个对比方法）。
具体实施方式
20.为进一步说明本发明的技术方案，现结合附图来具体说明。
21.参考图1所示的流程，实施步骤如下。
22.a.利用res2net-50骨干网络对输入图像进行特征提取，得到一组多层级特征。
23.b. 使用一个边缘感知模块（edge-aware module，eam），从包含局部边缘细节的低层级特征与包含全局定位信息的高层级特征中挖掘物体相关的边缘语义信息。
24.c. 接着使用4个边缘引导特征模块（edge-guidance feature module，efm），将所挖掘的边缘线索融入骨干网络的特征提取中，以增强其边界特征的表示学习能力。
25.d. 最后使用3个上下文聚合模块（context aggregation module，cam）将融合后的多层级特征以自上而下的形式汇聚起来，并且输出伪装物体的轮廓图。
26.上述eam模块参考图2所示，具体实现步骤如下。
27.a. 使用2个1x1的卷积层对输入的特征、进行变换，分别成为维度是64的、维度是256的。
28.b. 将和上采样的进行拼接操作，然后依次经过2个3x3的卷积层、1个1x1的卷积层、一个sigmoid激活函数，得到所挖掘的边缘信息。
29.上述efm模块参考图3所示，具体实现步骤如下。
30.a. 输入特征与实施下采样后的边缘信息进行元素相乘操作，其中，下采样是为了匹配输入特征的尺寸。
31.b. 同时，输入特征还有跳跃连接（skip-connection），与步骤a的输出结果进行相加。
32.c. 相加后的结果，再输入给一个3x3的卷积层，得到初始的融合特征。
33.d. 引入局部注意力来挖掘关键的特征通道，优选地，使用cvpr 2020的文献《eca-net: efficient channel attention for deep convolutional neural networks》中提出的算法。具体地，使用一个gap全局平均池化操作对处理，再使用卷积核为k的一维卷积，和sigmoid函数得到相应的通道维度的注意力，即权重。
34.e. 上述一维卷积中卷积核大小k设置为自适应，计算公式为：，其中表示最近的奇数，c为的通道数。
35.f. 将注意力的值与融合特征元素相乘得到本模块的最终输出。
36.上述cam模块参考图4所示，具体实现步骤如下。
37.a. 当 i=2,3,4时，执行如下操作：efm的输出，与相邻的高层级cam的输出，一起输入cam中。其中，当 i=4时，由于没有对应的高层级cam输出，使用所对应的efm输出代替。
38.b. 将其中尺寸较小的先进行上采样预处理，使其与的尺寸相匹配，并将二者拼接，一起输入1个1x1的卷积层，得到初始的聚合特征。
39.c. 接着，将沿着通道维度平均分为4份特征图，分别为。
40.d. 对这些特征图进行跨尺度交互学习，具体操作为：使用形为的方法提取邻近分支的多尺度上下文特征，其中为3x3的空洞卷积，扩张率为=j，即分别与分支的序号j的取值相等。其中，当时，只有。当时，只有。
41.e. 然后，将上述输出，即四个拼接，并通过1x1卷积，然后与跳跃连接的相加，再过1个3x3卷积，得到本模块的输出。
42.f. 再将再经过一个1x1卷积，将通道维度降为1，即得到伪装物体的预测结果。
43.在训练阶段，使用两种监督信息，伪装物体掩膜与伪装物体边缘。
44.其中，使用伪装物体掩膜信息进行的监督学习，简称掩膜监督，采用加权二值交叉熵损失函数和加权iou损失。使用伪装物体边缘进行的监督学习时，简称边缘监督，采用dice 损失函数。
45.其中，掩膜监督分别实施于3个cam组件的所对应的输出。
46.总损失函数定义为如下公式：。
47.其中，是权衡系数，优选地，本发明中取值为3，是对伪装物体边缘的预测。
48.模型的训练过程如下：选用在 imagenet上预训练的 res2net-50 作为骨干网络。
49.所有待检测图片都被变换到相同的416x416尺寸输入给本发明方法，并采用随机水平翻转来作为数据增强的手段。
50.训练过程中，批（batch）大小为16，优化器为adam，并通过 poly 策略调整学习率，初始学习率为 0.0001，幂次为0.9，训练25轮（epoch）。
51.本发明的有益效果通过以下仿真实验进一步说明：实验数据集与仿真条件：包含有1250伪装图像的camo数据集，拥有8个物体分类，其中1000张作为训练，250张作为测试；包含5066张伪装图像的cod10k数据集，拥有5个超类和69个子类，其中3040张作为训练，2026张作为测试；包含4121张图片的nc4k数据集，图片从互联网下载得到。
52.基于 pytorch 深度学习框架开发，运行于nvidia tesla p40 gpu平台。
53.伪装物体检测性能评价标准：采用平均绝对误差mae、加权f度量、结构度量值、自适应e度量；评测工具详见：https://github.com/lartpang/pysodmetrics。
54.图5给出来本发明和当前最先进的18个对比方法，在上述3个数据集，4个指标上的实验结果。可以看出，本发明的方法是显著优于对比方法的。特别地，相比第二优的对比方法 jcsod，本发明方法在指标上增加了1.72%，增加了1.48%，增加了3.5%。
55.图6为本发明与目前最好的深度学习方法对比结果图示例（分别为 (a)image 输入图像、(b) gt真值图、(c)ours本发明方法、(d-k) jcsod、c2fnet、lsr、ugtr、r-mgl、s-mgl、pfnet、sinet 8个对比方法），可以看出，本发明可以给出更准确的伪装物体预测。并且
保留更精细且更完整的物体结构与边缘细节。