一种基于边界交替引导的伪装物体检测方法与流程

1.本发明属于计算机视觉与数字图像处理领域，具体为一种基于边界交替引导的伪装物体检测方法。


背景技术：

2.自然界中，伪装是一项能够让生物与背景融为一体，避免遭受天敌袭击的重要技能。伪装物体检测旨在识别与周围环境相似度极高的物体。伪装物体与背景的低对比性能够极大的欺骗人类的视觉系统，因此，伪装物体检测比传统显著性检测更有挑战性。
3.近年来，许多基于颜色、纹理特征的算法被提出运用于伪装物体检测。当伪装物体颜色与背景颜色相似时，用纹理特征来区分伪装物体与背景；当伪装物体纹理与背景纹理相似时，用颜色特征来区分伪装物体与背景。但是这种方法的局限性在于不适用于所有伪装物体检测，比如纹理和颜色都相似的任务。
4.受人类视觉特性启发，用神经网络从广泛的训练图像中学习到的特征来提取伪装物体，具有普适性。其中效果较好的方法有边界融合方法，但是现有的目标物体检测模型大多采用边界融合进行目标物体的提取(如egnet，scrn等)，但是此类方法仍然存在以下弊端：缺乏区域对于边界的进一步细化，可能导致边界的模糊以及缺失，引导模型学习错误的目标区域。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述现有文本检测过程中存在的问题，提出了本发明。
7.因此，本发明解决的技术问题是：目前的目标物体检测模型缺乏区域对于边界的进一步细化，会导致边界的模糊以及缺失，甚至引导模型学习错误的目标区域的问题。
8.为解决上述技术问题，本发明提供如下技术方案：一种基于边界交替引导的伪装物体检测方法，包括：
9.构建基于边界交替引导的伪装检测模型，在骨干网络的基础上，增加并使用初始定位模块提取骨干网络多尺度深层特征，得到伪装物体的粗略定位图；
10.增加并使用多尺度感受野模块扩大粗略定位图的感受野提升语义信息提取能力；
11.增加并使用边界交替引导模块逐层提取区域图和边界图并彼此进行约束细化得到精确的伪装物体预测图；
12.进行模型训练，将待检测图像输入所述伪装检测模型，采样至原始图像大小，构建损失函数计算各预测图和真实标注图的误差，并反向传播更新所述伪装检测模型；
13.进行模型检测，将待检测图像输入至更新后的伪装检测模型，预测其对应的伪装物体预测图，并输出最终伪装物体预测图。
14.作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述骨干网络采用resnet-34网络。
15.作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述初始定位模块，包括：
16.移除所述resnet-34网络中最后一层全连接层；
17.所述初始定位模块将第五层测输出s5分别输入平均池化分支和最大池化分支；
18.所述平均池化分支中s5经过全局平均池化层和两个卷积层，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，得到平均池化特征具体公式为：
[0019][0020]
其中，globalavg表示全局平均池化，conv1×1表示卷积核为1的卷积层；
[0021]
所述最大池化分支中s5经过全局最大池化层和两个卷积层，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，得到最大池化特征具体公式为：
[0022][0023]
其中，globalmax表示全局最大池化，conv1x1表示卷积核为1的卷积层；
[0024]
将两个平均池化特征和平均池化特征进行通道拼接后再进行卷积得到第五层粗略定位图r5，具体公式为：
[0025][0026]
其中，cat(
·
,
·
)表示沿通道维度进行拼接；conv3×3中卷积参数为{1024，3
×
3}，卷积参数{n，k
×
k}的n表示卷积通道数，k表示卷积核大小；卷积层之后都有一个bn归一化层和一个prelu非线性激活层；
[0027]
对其余侧输出s
2-s4进行相同的操作，最终得到其余四个粗略定位图r
2-r4。
[0028]
作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述多尺度感受野模块，包括：
[0029]
将所述第五层粗略定位图r5按通道数均分为4份同时输入4个并行分支，包括第一分支、第二分支、第三分支、第四分支，表示为：
[0030]
[x1,x2,x3,x4]＝split(r5)
[0031]
其中，split(
·
)表示沿通道维度进行分割；
[0032]
所述第一分支中，直接对输入x1进行卷积，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0033][0034]
所述第二分支中，将所述第二分支输入x2和所述第一分支输出进行元素相加后再进行卷积，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0035][0036]
所述第三分支中，将所述第三分支输入x3和所述第二分支输出进行元素相加后再进行卷积，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0037][0038]
所述第四分支中，将第四分支输入x4和所述第三分支输出进行元素相加后再进行卷积，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0039][0040]
然后将四个分支的输出进行通道拼接后输出，得到扩展感受野后的定位图r5′
，公式表示为：
[0041][0042]
其中，cat(
·
,
·
)表示沿通道维度进行拼接。
[0043]
作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述边界交替引导模块，包括：
[0044]
在第五层中，边界交替引导模块将所述定位图r5′
进行1
×
1卷积将通道数统一为32后输入区域分支和边界分支，将先进行通道拼接后输入卷积层的操作设为catmod公式表示为：
[0045]
catmod(
·
,
·
)＝conv3×3(cat(
·
,
·
))
[0046]
其中，cat(
·
,
·
)表示沿通道维度进行拼接；conv3×3中卷积参数为{64，3
×
3}，卷积参数{n，k
×
k}中n表示卷积通道数，k表示卷积核大小；
[0047]
在所述边界分支中，区域输入引导边界输入进行catmod细化得到公式表示为：
[0048][0049]
在所述区域分支中，边界特征引导区域输入catmod特征提取得到公式表示为：
[0050][0051]
在所述边界分支中，区域输入引导边界输入进行catmod细化得到公式表示为：
[0052][0053]
在所述区域分支中，边界特征引导区域输入catmod特征提取得到公式表示为：
[0054][0055]
最后将所述区域分支输出和所述边界分支输出进行卷积，输出得到预测区域图p5和预测边界图公式表示为：
[0056][0057][0058]
其中，conv3×3中卷积参数为{32，3
×
3}，卷积参数{n，k
×
k}中n表示卷积通道数，k
表示卷积核大小。
[0059]
作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述边界交替引导模块，还包括：
[0060]
在第四层中，将定位图r4进行1
×
1卷积将通道数统一为32后输入区域分支和边界分支，用所述预测区域图p5和所述预测边界图与第四层区域分支输入和第四层边界输入进行catmod，公式表示为：
[0061][0062][0063]
重复第五层其余步骤，得到每次进行catmod后的区域特征和边界特征公式表示为：
[0064][0065][0066]
其中，k表示catmod操作次数；
[0067]
将区域分支输出和边界分支输出进行卷积，输出得到预测区域图p4和预测边界图公式表示为：
[0068][0069][0070]
其中，conv3×3中卷积参数为{32，3
×
3}，卷积参数{n，k
×
k}中n表示卷积通道数，k表示卷积核大小；
[0071]
作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述边界交替引导模块，还包括：在第二、三层中，重复所述第四层步骤得到更新后的预测区域图p2，p3和预测边界图
[0072]
作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述采样为将所述伪装物体预测图p
2-p5采样至原图像大小，即采样至原图像大小，即
[0073]
作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述损失函数为：
[0074]
l
bce iou
＝l
bce
l
iou
[0075]
式中，l
bce
为二元交叉熵函数，l
iou
为交叉联合函数。
[0076]
作为本发明所述的基于边界交替引导的伪装物体检测方法的一种优选方案，其中：所述最终伪装物体预测图需通过将伪装物体预测图p2×4通过sigmoid层激活之后输出。
[0077]
本发明的有益效果：本发明能够有选择的增强有益特征通道抑制无用特征通道，有效过滤背景信息，从而提升伪装物体检测的准确性；能够扩大网络的感受野，获得更多的上下文信息和高级语义信息，从而使网络能够检测到完整的伪装物体区域；能够先根据粗略定位图提取伪装物体边界，再利用边界约束伪装区域，之后根据优化后的伪装区域细化
伪装物体边界，如此反复，逐步交替细化伪装物体边界和区域，最终得到准确的伪装物体区域和清晰连续的伪装物体边界，有效提高了伪装物体检测的精度。
附图说明
[0078]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0079]
图1为本发明第一个实施例提供的基于边界交替引导的伪装物体检测方法的总体流程示意图；
[0080]
图2为本发明第一个实施例提供的基于边界交替引导的伪装物体检测方法中初始定位模块示意图；
[0081]
图3为本发明第一个实施例提供的基于边界交替引导的伪装物体检测方法中多尺度感受野模块示意图；
[0082]
图4为本发明第一个实施例提供的基于边界交替引导的伪装物体检测方法中边界交替引导模块示意图；
[0083]
图5为本发明提供的基于边界交替引导的伪装物体检测方法各个侧输出结果示例图，a-输入图像，b-真值标注，c-侧输出2的预测图，d-侧输出3的显著性图，e-侧输出4的显著性图，f-侧输出5的显著性图，g-预测边界图。
具体实施方式
[0084]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0085]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0086]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0087]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0088]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0089]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0090]
实施例1
[0091]
参照图1～5，为本发明的一个实施例，提供了一种基于边界交替引导的伪装物体检测方法，包括：
[0092]
s1：构建基于边界交替引导的伪装检测模型，在骨干网络的基础上，增加并使用初始定位模块提取骨干网络多尺度深层特征，得到伪装物体的粗略定位图；
[0093]
更进一步的，骨干网络采用resnet-34网络。
[0094]
更进一步的，初始定位模块，包括：
[0095]
如图1，移除resnet-34网络中最后一层全连接层，并且在深层输出s
2-s5；
[0096]
如图2，初始定位模块将第五层测输出s5分别输入平均池化分支和最大池化分支；
[0097]
平均池化分支中s5经过全局平均池化层和两个卷积层，卷积参数依次为：{512，1
×
1}，{512，1
×
1}，其中{n，k
×
k}的n表示卷积通道数，k表示卷积核的大小，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，得到平均池化特征具体公式为：
[0098][0099]
其中，globalavg表示全局平均池化，conv1×1表示卷积核为1的卷积层；
[0100]
最大池化分支中s5经过全局最大池化层和两个卷积层，卷积参数依次为：{512，1
×
1}，{512，1
×
1}，其中{n，k
×
k}的n表示卷积通道数，k表示卷积核的大小，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，得到最大池化特征具体公式为：
[0101][0102]
其中，globalmax表示全局最大池化，conv1x1表示卷积核为1的卷积层；
[0103]
将两个平均池化特征和平均池化特征进行通道拼接后再进行卷积得到第五层粗略定位图r5，具体公式为：
[0104][0105]
其中，cat(
·
,
·
)表示沿通道维度进行拼接；conv3×3中卷积参数为{1024，3
×
3}，卷积参数{n，k
×
k}的n表示卷积通道数，k表示卷积核大小；卷积层之后都有一个bn归一化层和一个prelu非线性激活层；
[0106]
对其余侧输出s
2-s4进行相同的操作，最终得到其余四个粗略定位图r
2-r4。
[0107]
具体的，初始定位模块的工作过程为：
[0108]
伪装物体图像输入骨干网络之后，在深层获得侧输出s
2-s5，s
2-s5对应的卷积通道数依次为64，128，256和512；
[0109]
在u型网络结构中经过多尺度感受野模块和边界交替引导模块，从深层到浅层依次缩小2倍，最终得到粗略定位图。
[0110]
s2：增加并使用多尺度感受野模块扩大粗略定位图的感受野提升语义信息提取能
力；
[0111]
更进一步的，多尺度感受野模块包括：
[0112]
如图3，将第五层粗略定位图r5按通道数均分为4份同时输入4个并行分支，包括第一分支、第二分支、第三分支、第四分支，表示为：
[0113]
[x1,x2,x3,x4]＝split(r5)
[0114]
其中，split(
·
)表示沿通道维度进行分割；
[0115]
第一分支中，直接对输入x1进行卷积，卷积参数为{512，3
×
3，1}，其中{n，k
×
k，d}的n表示卷积通道数，k表示卷积核的大小，d表示空洞率，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0116][0117]
第二分支中，将第二分支输入x2和第一分支输出进行元素相加后再进行卷积，卷积参数为{512，3
×
3，2}，其中{n，k
×
k，d}的n表示卷积通道数，k表示卷积核的大小，d表示空洞率，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0118][0119]
第三分支中，将第三分支输入x3和第二分支输出进行元素相加后再进行卷积，卷积参数为{512，3
×
3，4}，其中{n，k
×
k，d}的n表示卷积通道数，k表示卷积核的大小，d表示空洞率，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0120][0121]
第四分支中，将第四分支输入x4和第三分支输出进行元素相加后再进行卷积，卷积参数为{512，3
×
3，6}，其中{n，k
×
k，d}的n表示卷积通道数，k表示卷积核的大小，d表示空洞率，每个卷积层后附有一个bn归一化层和一个prelu非线性激活层，公式表示为：
[0122][0123]
然后将四个分支的输出进行通道拼接后输出，得到扩展感受野后的定位图r5′
，公式表示为：
[0124][0125]
其中，cat(
·
,
·
)表示沿通道维度进行拼接。
[0126]
s3：增加并使用边界交替引导模块逐层提取区域图和边界图并彼此进行约束细化得到精确的伪装物体预测图；
[0127]
更进一步的，如图4，在第五层中，边界交替引导模块将定位图r5′
进行1
×
1卷积将通道数统一为32后输入区域分支和边界分支，将先进行通道拼接后输入卷积层的操作设为catmod公式表示为：
[0128]
catmod(
·
,
·
)＝conv3×3(cat(
·
,
·
))
[0129]
其中，cat(
·
,
·
)表示沿通道维度进行拼接；conv3×3中卷积参数为{64，3
×
3}，卷积参数{n，k
×
k}中n表示卷积通道数，k表示卷积核大小；
[0130]
在边界分支中，区域输入引导边界输入进行catmod细化得到公式表
示为：
[0131][0132]
在区域分支中，边界特征引导区域输入catmod特征提取得到公式表示为：
[0133][0134]
在边界分支中，区域输入引导边界输入进行catmod细化得到公式表示为：
[0135][0136]
在区域分支中，边界特征引导区域输入catmod特征提取得到公式表示为：
[0137][0138]
最后将区域分支输出和边界分支输出进行卷积，输出得到预测区域图p5和预测边界图公式表示为：
[0139][0140][0141]
其中，conv3×3中卷积参数为{32，3
×
3}，卷积参数{n，k
×
k}中n表示卷积通道数，k表示卷积核大小；
[0142]
在第四层中，将定位图r4进行1
×
1卷积将通道数统一为32后输入区域分支和边界分支，用预测区域图p5和预测边界图与第四层区域分支输入和第四层边界输入进行catmod，公式表示为：
[0143][0144][0145]
应说明的是，进行catmod以便区域特征提取和边界细化
[0146]
重复第五层其余步骤，得到每次进行catmod后的区域特征和边界特征公式表示为：
[0147][0148][0149]
其中，k表示catmod操作次数；
[0150]
将区域分支输出和边界分支输出进行卷积，输出得到预测区域图p4和预测边界图公式表示为：
[0151]
[0152][0153]
其中，conv3×3中卷积参数为{32，3
×
3}，卷积参数{n，k
×
k}中n表示卷积通道数，k表示卷积核大小；
[0154]
在第二、三层中，重复第四层步骤得到更新后的预测区域图p2，p3和预测边界图
[0155]
s4：进行模型训练，将待检测图像输入伪装检测模型，采样至原始图像大小，构建损失函数计算各预测图和真实标注图的误差，并反向传播更新伪装检测模型；
[0156]
应说明的是，模型训练中使用的为待测图像的训练集。
[0157]
更进一步的，采样为将伪装物体预测图p
2-p5采样至原图像大小，即采样至原图像大小，即
[0158]
损失函数为：
[0159]
l
bce iou
＝l
bce
l
iou
[0160]
式中，l
bce
为二元交叉熵函数，l
iou
为交叉联合函数；
[0161]
具体的，二元交叉熵损失函数为：
[0162]
l
bce
＝-∑
(r,c)
[g(r,c)log(p(r,c)) (1-g(r,c))log(1-p(r,c)) (1-g(r,c))log(1-p(r,c))]
[0163]
g(r,c)∈{0，1}表示真值的像素值，p(r,c)表示预测的伪装物体的概率图。
[0164]
交叉联合损失函数的定义：
[0165][0166]
s5：进行模型检测，将待检测图像输入至更新后的伪装检测模型，预测其对应的伪装物体预测图，并输出最终伪装物体预测图。
[0167]
应说明的是，模型训练中使用的为待测图像的测试集。
[0168]
更进一步的，最终伪装物体预测图需通过将伪装物体预测图p2×4通过sigmoid层激活之后输出。
[0169]
实施例2
[0170]
参照表1，为本发明另一个实施例，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
[0171]
在表1中，第一列为近几年提出的方法模型，下标表示提出的年份，如nldf17表示2017年提出的方法；第二列表示模型的骨干网络，复杂程度是resnet-50》resnet-34》vgg-16；第一行表示数据集名称，如camo,chameleon,cod10k和nc4k，其中camo,chameleon是小数据集分别只有250，76张图片，而cod10k和nc4k是大数据集，分别由2026，4121张图片；第二行表示性能指标，其中箭头向上的表示该性能指标越大越好，如sα，fβ。箭头向下的表示该性能指标越小越好，如m。
“‑”
表示该方法没有提供该数据集的结果。
[0172]
应说明的是，通过最后的预测图和数据集本身的gt图进行比较可以得出精度和召回值。
[0173]
fβ是一种综合测量指标，定义为精度和召回值的加权调和平均值：
[0174][0175]
β通常取0.3。
[0176]
sα是结构相似度，表示预测图和数据集本身gt(ground truth)图之间的结构相似度：
[0177]sα
＝α
×
so (1-α)
×
sr，
[0178]
α通常取0.5，sr为区域的相似度，so为对象的相似度。
[0179]
表示像素的平均值：
[0180][0181]
w表示图片的宽度，h表示图片的高度，x,y表示当前像素在图片的位置。表示偏差矩阵，表示数据集的gt图，表示二元前景图。
[0182]
mae指标用来评估预测图中非伪装区域平均像素差值：
[0183][0184]
h表示预测图的高度，w表示预测图的宽度，x,y表示当前像素的位置，p(x,y)表示预测图，g(x,y)表示gt图。
[0185]
一般来说，越高的fβ和越低的mae表示更好地性能。
[0186]
表1对比实验结果
[0187][0188]
表1中，实线框为最佳的性能指标，排列第二的为虚线框，排列第三的标记为灰色。根据表1的结果，可以直观的看出，四个数据集中最好的性能几乎均为基于我方技术方案的resnet-34网络模型取得的，在更具有说服力的大数据集中，resnet-34模型效果最好，该网络能够用复杂度较低的骨干网络(resnet-34)取得比复杂度较高(resnet-50)的骨干网络更好地结果，同时也验证了我方技术方案能够在相似背景下精确的定位到伪装物体，而且
基于边界交替引导的结构能够利用边界约束得到更圆滑的伪装物体预测图，也能够利用预测图约束边界得到连续清晰的边界图，有效提高了伪装物体检测的精度。
[0189]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。