一种基于两级优化网络的伪装物体检测方法与流程

1.本发明涉及伪装物体检测的技术领域，特别是涉及一种基于两级优化网络的伪装物体检测方法。


背景技术：

2.随着人们对智能生活的需求趋于多样性，目标检测的应用范围也变得愈加广泛，伪装物体检测即是其重要分支之一。其关注的是物体与周围的关系，旨在将“融入”周围环境的伪装物体检测并分割出来。伪装现象在人类生活和自然界中无处不在，尤其常见于动物。在动物捕猎或躲避天敌的过程中，许多动物都会通过改变自身的体色、形态、动作等方式，降低自身与周围环境的差异与对比度，以提升自身生存能力。这些伪装策略通常都是基于模糊观察者的判定能力实现的。
3.生物学研究表明，人类视觉系统(hvs)对大块区域和颜色特征最为敏感，其主要通过观察物体与其背景之间的对比度来感知目标。因此，hvs可能由于伪装物体与环境的低对比度而难以对其进行识别。
4.然而在某些情况下，伪装物体识别是非常必要的。除了该任务本身对于动物伪装现象的检测可以为动物保护提供技术支持之外，生活中仍存在许多物体和背景高度相似的被动伪装现象：在医学领域中，相似度极高的背景组织中的细微变化即有可能代表着某种病变；而在军事领域中，战场上对于迷彩伪装的检测也可能扭转局势。因此该任务的发展具有重要意义。
5.近年来，深度卷积网络以其强大的特征表示能力在各种计算机视觉任务中逐渐兴起，一些现有的伪装物体检测方法也基于此实现：fan等人提出sinet对提取的特征进行分层。然后将这些不同层的特征进行融合、增强，以帮助获取定位和边缘信息，从而实现对伪装目标的准确检测。yan等人将mirrornet分为原始图像分割流和镜像分割流以寻找原始图像和翻转图像之间的视觉差异，从而更好地定位伪装物体。
6.尽管这些方法是根据伪装对象的属性提出的，但在边缘处理方面仍有改进的空间。因此，在本发明中，我们进一步考虑了伪装物体的边界信息，从而让模型更好地学习伪装物体和环境在边界处的差异，由此更加准确地定位并分割伪装物体。


技术实现要素：

7.本发明的目的是解决现有伪装物体检测技术中存在的检测精度不足的问题，提出了一种基于多任务学习的检测方法，以物体边界信息作为辅助，用来引导网络更好地学习边界处伪装物体纹理与背景纹理之间的差异，从而使得网络能够更好地对伪装物体进行定位并分割。
8.本发明的一种基于两级优化网络的伪装物体检测方法，两级优化网络共分为两个阶段，第一阶段遵循编码器-解码器结构，以resnet50作为特征提取的主干，用于对伪装物体进行定位、识别，形成粗糙映射。第二阶段使用并行的解码器结构，以物体边缘作为边界
信息，促进网络关注物体边缘，对第一阶段生成的映射进行优化。
9.进一步地，第一阶段为前特征融合阶段，选用resnet50作为骨干网络，以保证能够有效提取到深层特征；
10.该阶段目的是获得一个粗略的伪装物体映射图，基于对计算效率和检测精度的考量，提出以下两个模块：
11.(1)通道注意力模块：
12.在编码器每一层的输出上都应用一个通道注意力机制，以保留浅层特征中的有用信息，减少冗余信息；
13.其旨在提取有效信息，可以表示为：
[0014][0015]
其中，attention表示该通道注意力模块，则为自底向上第i个通道注意力模块的输出，为编码阶段中的中第i个编码块。
[0016]
该通道注意力模块共有4层：第一个卷积层的尺寸为1
×
1，用以将通道数降为32层；其后为两个3
×
3的卷积层，每个卷积层后都使用了归一化，经过这两层后图像通道仍保持为32层，且尺寸不变；最后经过一层relu函数，获得最终的特征；
[0017]
(2)全局特征和局部特征融合模块：
[0018]
该模块在解码器阶段实现，其结构几乎与编码器对称，解码器每层都包括两个3
×
3卷积层并随后使用了归一化和relu函数，该模块还引入了cse模块和sse模块以获取更精确的检测结果，这些模块可以更好地建立不同通道之间的依赖关系并引导网络关注和伪装物体有关的特征，此外对编码器最后一层的输出结果使用了金字塔池化模块以获得全局特征，解码器每层输入都为对应通道注意力模块输出结果和经过上采样的上一层输出结果的组合：
[0019][0020][0021]
其中glfa表示全局特征和局部特征融合模块中的解码器模块，ppm表示引入的金字塔池化模型，cat表示特征图的连接，upsample表示上采样过程，为自底向上第i个通道注意力模块的输出，为全局特征和局部特征融合模块中第i层输出。
[0022]
由此，解码器可以学习到更全面的语义信息，并构建一个预测模块以获得最终结果，其包含一个3
×
3的卷积层，elu激活函数，以及一个1
×
1卷积层，其可表示为：
[0023][0024]
其中elu表示elu激活函数，conv表示应用在此处的两个卷积层，upsample表示上采样，表示该模块自底向上第4层的输出结果，以使得预测图和最终的真值图具有同样的大小。
[0025]
进一步地，第二阶段为优化阶段，优化阶段旨在利用物体边缘信息进一步将伪装物体从背景中区分出来；在该阶段引入边缘真值图作为监督信息，以使模型更加关注于物体在边缘处的区别；其具体为：
[0026]
优化模块使用和全局特征和局部特征融合模块相同的解码器结构，并与其形成并行对应关系，该模块中每层的输入也为对应通道注意力模块输出结果和经过上采样的上一层输出结果的组合，因此，优化模块可以进一步利用前特征融合阶段中的特征，对其提取过程起到约束作用，同时使特征重构过程更加全面，由此精化最终的预测图；
[0027]
该阶段最终的预测结果可表示为：
[0028][0029]
其中elu表示elu激活函数，conv表示应用在此处的两个卷积层，upsample表示上采样，表示该阶段编码器自底向上第4层的输出结果，以使得预测图和最终的边缘真值图具有同样的大小。
[0030]
两级优化网络的损失由两个解码器的预测损失加和得到，选择二值交叉熵损失作为损失函数，整体的损失函数为：
[0031][0032]
其中l
total
表示整体损失，表示前融合阶段的损失，即pred_c为前特征融合模块的预测结果和gt为真值图；表示优化模块的损失，pred_e为边缘优化模块预测结果，gt_edge为通过真值图计算得到的边缘真值图。
[0033]
与现有技术相比本发明的有益效果为：
[0034]
(1)性能好，在公开的伪装物体检测数据集上与的结果显示，本发明在四种不同的评价指标中都能达到最好的效果；
[0035]
(2)效率高，在本方法所采用的架构中仅有提取到的有用特征被输入到解码过程中，从而大量地减少了卷积运算的次数，使得本方法更加具有实际应用意义。
附图说明
[0036]
图1是模型框架示意图；
[0037]
图2是通道注意力模块示意图。
具体实施方式
[0038]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0039]
两级优化网络共分为两个阶段，第一阶段遵循编码器-解码器结构，以resnet50作为特征提取的主干，用于对伪装物体进行定位、识别，形成粗糙映射。第二阶段使用并行的解码器结构，以物体边缘作为边界信息，促进网络关注物体边缘，对第一阶段生成的映射进行优化。
[0040]
作为上述实施例的优选方案，第一阶段为前特征融合阶段，选用resnet50作为骨干网络，以保证能够有效提取到深层特征；
[0041]
该阶段目的是获得一个粗略的伪装物体映射图，基于对计算效率和检测精度的考量，提出以下两个模块：
[0042]
(1)通道注意力模块：
[0043]
在cnn中，不同通道将会对不同语义产生响应，且不同等级的特征中又包含着不同
程度的细节信息和全文信息，在基于resnet50的编码器提取特征的过程中，尽管其深层卷积的输出能看到原图像的范围更大，但缺失了许多细节信息；浅层的输出中虽然对细节信息有所保留，但其并非全为有用信息，因此在编码器每一层的输出上都应用一个通道注意力机制，以保留浅层特征中的有用信息，减少冗余信息；
[0044]
其旨在提取有效信息，可以表示为：
[0045][0046]
其中，attention表示该通道注意力模块，则为自底向上第i个通道注意力模块的输出，为编码阶段中的中第i个编码块。
[0047]
除此之外，由于通过该通道注意力模块后，输入到解码器各层中的通道数均变为了32，模型中的参数数量大大减少，模型尺寸减小且训练和推理速度加快。该通道注意力模块共有4层：第一个卷积层的尺寸为1
×
1，用以将通道数降为32层；其后为两个3
×
3的卷积层，每个卷积层后都使用了归一化，经过这两层后图像通道仍保持为32层，且尺寸不变；最后经过一层relu函数，获得最终的特征；
[0048]
(2)全局特征和局部特征融合模块：
[0049]
该模块在解码器阶段实现，其结构几乎与编码器对称，解码器每层都包括两个3
×
3卷积层并随后使用了归一化和relu函数，该模块还引入了cse模块和sse模块以获取更精确的检测结果，这些模块可以更好地建立不同通道之间的依赖关系并引导网络关注和伪装物体有关的特征，此外对编码器最后一层的输出结果使用了金字塔池化模块以获得全局特征，解码器每层输入都为对应通道注意力模块输出结果和经过上采样的上一层输出结果的组合：
[0050][0051][0052]
其中glfa表示全局特征和局部特征融合模块中的解码器模块，ppm表示引入的金字塔池化模型，cat表示特征图的连接，upsample表示上采样过程，为自底向上第i个通道注意力模块的输出，为全局特征和局部特征融合模块中第i层输出。
[0053]
由此，解码器可以学习到更全面的语义信息，并构建一个预测模块以获得最终结果，其包含一个3
×
3的卷积层，elu激活函数，以及一个1
×
1卷积层，其可表示为：
[0054][0055]
其中elu表示elu激活函数，conv表示应用在此处的两个卷积层，upsample表示上采样，表示该模块自底向上第4层的输出结果。以使得预测图和最终的真值图具有同样的大小。
[0056]
作为上述实施例的优选方案，第二阶段为优化阶段，伪装物体检测任务正是由于物体与环境的高度相似而具有挑战性，因此优化阶段旨在利用物体边缘信息进一步将伪装物体从背景中区分出来；在该阶段引入边缘真值图作为监督信息，以使模型更加关注于物体在边缘处的区别；其具体为：
[0057]
优化模块使用和全局特征和局部特征融合模块相同的解码器结构，并与其形成并
行对应关系，该模块中每层的输入也为对应通道注意力模块输出结果和经过上采样的上一层输出结果的组合，因此，优化模块可以进一步利用前特征融合阶段中的特征，对其提取过程起到约束作用，同时使特征重构过程更加全面，由此精化最终的预测图；
[0058]
该阶段最终的预测结果可表示为：
[0059][0060]
其中elu表示elu激活函数，conv表示应用在此处的两个卷积层，upsample表示上采样，表示该阶段编码器自底向上第4层的输出结果。以使得预测图和最终的边缘真值图具有同样的大小。
[0061]
两级优化网络的损失由两个解码器的预测损失加和得到，选择二值交叉熵损失作为损失函数，整体的损失函数为：
[0062][0063]
其中l
tot8l
表示整体损失，表示前融合阶段的损失，即pred_c为前特征融合模块的预测结果和gt为真值图；表示优化模块的损失，pred_e为边缘优化模块预测结果，gt_edge为通过真值图计算得到的边缘真值图。
[0064]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。