基于自注意力和特征融合的改进SSD目标检测方法与流程

基于自注意力和特征融合的改进ssd目标检测方法
技术领域
1.本发明涉及目标检测技术领域，尤其涉及一种基于自注意力和特征融合的改进ssd目标检测方法。


背景技术：

2.目标检测技术是我国计算机视觉技术领域中应用研究的热门方向，作为最基本的技术课题之一，其为解决图像分割、图像理解、目标追溯、和活动识别等更复杂或更高级的计算机视觉识别技术问题奠定了坚实的基础。同时其在电子消费、智能监控、自动驾驶、无人机、安全防护等人工智能技术领域有着广泛的应用。
3.目标检测算法现今主要有两大类：传统算法和基于深度学习的算法。他们的目的均为从图像中检测不同尺度、类别的对象并预测出它们的位置，并用预测框标定。目前，更为常用的目标检测方法是基于深度学习的目标检测方法。该方法最值得关注的就是通过卷积神经网络(convolutionalneural network，cnn)进行特征提取，相比传统手工方式，其展现出了一定的优越性，可以大幅度提升检测精度和速度。基于深度学习的目标检测方法可分为两大类：一种是两阶段目标检测，例如r
‑
cnn、fast
‑
rcnn和faster
‑
rcnn等。该类型算法将候选框机制和卷积网络分类器相结合，分两个阶段进行：第一阶段是对图像中提取的特征进行粗略的回归分类得到一系列建议区域(proposal)；第二阶段利用前面得到的proposal框进行回归分类和计算。这些两阶段的目标检测器精度虽高，但效率低下。相比之下，另一种以ssd(single shot multibox detector)和yolo(you only look once)系列为代表的单阶段目标检测模型提出将所有运算封装在一个cnn中，通过主网络提取特征进行一次回归与多分类计算，同时预测目标的位置和类别信息，从而很大程度上加快了检测速度。yolo作为端到端的目标检测算法，在速度上具有很大优势，但是同一网格中可能出现多个目标，出现漏检情况。随后ssd算法被提出，它是最早尝试将特征金字塔用于目标检测的算法之一，使用多尺度特征图提取特征，来检测不同尺度的对象，是结构简单、最佳权衡速度和精度的目标检测方法。它运用深度卷积网络前向传播产生不同尺度的特征图进行检测，使用浅层特征图预测小目标，深层特征图预测大目标，以保证即使在低分辨率图像上也能有比较好的检测效果。但是其每个特征层都是独立进行预测，没有考虑不同特征层之间的关系，忽略对于小目标检测很重要的上下文信息，导致特征信息利用不够充分，造成小目标的检测效果一般、检测不够鲁棒。对于ssd算法检测速度较快，检测精度稍差的情况，大量改进方法被提出。fu等提出的dssd模型基于ssd，通过反卷积模块，在最后特征图上加入上下文信息来提高小目标检测能力，其检测精确度(meanaverageprecision，map)对比ssd模型提升了1.4％。但是其骨干网络选择提取能力更强的resnet
‑
101，因该模型网络层数很深，使得达不到实时性检测。li等提出fssd(featurefusionssd)模型，通过特征融合和下采样操作重构检测模型，更好丰富细节信息，其检测精确度与dssd模型相比提升0.2％，相比ssd模型提升1.6％。还有，如refinedet和dsod，通过细化关键点，或者多尺度融合特征图来提高检测精度。cornernet采用了不同的方法，该目标检测模型基于关键点的标记，以此提
高了检测精度。retinanet建立了基于fpn的一级探测器，具有高效的推理能力。但是，其损失函数参数的调优需要很大的工作量。


技术实现要素：

4.本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于自注意力和特征融合的改进ssd目标检测方法，实现ssd目标的检测。
5.为解决上述技术问题，本发明所采取的技术方案是：基于自注意力和特征融合的改进ssd目标检测方法，包括以下步骤：
6.步骤1、通过公开的已标注的图片数据集训练ssd目标检测模型，获得ssd目标检测初始模型；
7.对公开的已标注的图片数据集进行数据增强操作，使用这些数据对ssd目标检测模型进行训练，获得ssd目标检测初始模型；
8.步骤2、在步骤1获得的ssd目标检测初始模型的基础上构建改进的ssd目标检测模型；
9.所述改进的ssd目标检测模型由特征提取模块、特征融合模块、自注意力模块和检测模块组成；
10.所述特征提取模块与ssd目标检测初始模型结构相同，使用vgg16网络结构，包含：vgg16中所有的卷积层，并将vgg16中两个全连接层替换为卷积层，同时增加四个卷积结构，每个结构由两个卷积层构成；
11.所述特征融合模块将特征提取模块中的卷积层和最大池化层、卷积层和卷积层进行融合，增强卷积层的特征映射，融合过程如下公式所示：
12.x
i
＝relu{w
k
{concat[t
c
(x
i
‑1),t
n
(x
i
),t
d
(x
i 1
)]}}
ꢀꢀ
(1)
[0013]
其中，x
i
为第i层特征层，x
i
‑1为与第i层特征层相邻的前卷积层，x
i 1
为与第i层特征层相邻的后反卷积层，i＝1、2、
…
、n，n为特征层总数，所述特征层为用于特征融合的卷积层；t
c
为对输入特征层进行卷积、下采样、激活函数操作；t
n
为对输入特征层进行卷积、激活函数操作；t
d
为对输入特征层进行反卷积、上采样、激活函数操作；将需融合的特征层x
i
‑1，x
i
和x
i 1
分别经过t操作后，进行concat融合，最后经过3
×
3卷积操作，通过卷积w
k
和激活relu操作得到新特征层；
[0014]
所述自注意力模块从特征层中输出的预测特征图中估计预测所需相关信息，构建特征图内部所有特征像素之间的全局依赖关系，针对不同区域进行目标检测，具体方法为：
[0015]
(1)设定通过特征提取和特征融合操作得到的预测特征图为其中，c为特征图的通道数，n为特征图的总空间位置，t为比例尺，t为特征图尺寸，c
t
和n
t
分别为t比例尺换算后的特征图的通道数和总空间位置；
[0016]
(2)将预测特征图x
t
经过线性变换变换到q、k和v三个不同的特征空间，变换公式如下：
[0017][0018]
[0019][0020]
其中，q(x
t
)、k(x
t
)和v(x
t
)分别为q、k和v三个不同特征空间下的特征图；w
q
、w
k
、w
v
是三个不同的待训练的权值参数矩阵，分别是矩阵w
q
、w
k
、w
v
的第t个维度，是一个向量；
[0021]
(3)将q、k特征空间下的特征图q(x
t
)和k(x
t
)通过矩阵相乘得到注意力权重矩阵f
t
，然后通过softmax对权重矩阵中元素进行归一化操作如下公式所示：
[0022]
f
t
＝q(x
t
)
t
k(x
t
)
ꢀꢀ
(5)
[0023][0024]
其中，为归一化后的预测特征图中坐标为(i,j)的像素点的注意力权重；通过得到的n
×
n的注意力权重矩阵，得出预测特征图中像素间的相关关系；
[0025]
(4)将v空间下的特征图v(x
t
)和归一化的注意力权重矩阵进行矩阵相乘，得到预测特征图中每个位置的权重矩阵并加权求和；最后，将矩阵相乘结果添加到原预测特征图得到新的预测特征图x
t
'，如下公式所示：
[0026][0027]
所述改进的ssd目标检测模型的目标损失函数由特征图上每个候选框的分类损失和定位损失的加权和组成，如下公式所示：
[0028][0029]
其中，n为所有特征图上候选框的个数；α和β为调节损失占比参数，α β＝1；l
l
为定位损失，采用smoothl1 loss作为损失函数；l
c
为分类损失，使用多类别信息交叉熵；l
fl
表示焦点损失函数(focal loss)，用于解决正负样本不均衡的问题，计算公式为：
[0030][0031]
其中，y为真实目标的标签，y＝0为负样本，y＝1为正样本；y'为经过sigmoid函数的预测输出，取值范围为0～1；δ为平衡因子，用于避免正负样本数量比例不均；γ为调节样本权重降低的速率；
[0032]
所述检测模块对通过自注意力模块得到的有效特征层中的每一个特征层均进行两次卷积操作，一次用于预测该特征层上每个特征点上每一个先验框的变化情况，另一次用于预测该特征层上每一个特征点上每一个预测对应的种类；所述特征点就是整个图片分成与其长宽对应的网格的中心；
[0033]
步骤3、通过公开的已标注的图片数据集再训练改进后的ssd目标检测模型；
[0034]
在步骤1中训练的ssd目标检测模型的基础上，对改进后ssd目标检测模型进行参数再训练，得到最终的ssd目标检测模型；
[0035]
步骤4、将待检测的图像通过最终的ssd目标检测模型，实现对图像中的目标进行检测。
[0036]
采用上述技术方案所产生的有益效果在于：基于自注意力和特征融合的改进ssd目标检测方法，首先通过卷积和反卷积的方法提出了新的特征融合结构，旨在对细节信息和语义信息加以丰富，从而提升以低层特征信息为主要检测依据的小目标检测精度，减少漏检情况发生；其次在预测特征层后串联自注意力机制模块，并应用焦点损失函数，扩大卷积神经网络感受野，改进了目标检测定位不准确的问题，有效提高了定位精度和检测效果。
附图说明
[0037]
图1为本发明实施例提供的基于自注意力和特征融合的改进ssd目标检测方法的流程图；
[0038]
图2为本发明实施例提供的ssd目标检测模型的结构示意图；
[0039]
图3为本发明实施例提供的改进的ssd目标检测模型的结构示意图；
[0040]
图4为本发明实施例提供的特征融合模块的结构示意图；
[0041]
图5为本发明实施例提供的自注意力模块的结构示意图；
[0042]
图6为本发明实施例提供的不同检测模型针对6类小目标的检测精度对比图；
[0043]
图7为本发明实施例提供的针对椅子图片采用不同检测模型的检测结果图的结构示意图，其中，(a)为ssd目标检测模型的检测结果，(b)为改进的ssd目标检测模型的检测结果；
[0044]
图8为本发明实施例提供的针对飞机图片采用不同检测模型的检测结果图，其中，(a)为ssd目标检测模型的检测结果，(b)为改进的ssd目标检测模型的检测结果；
[0045]
图9为本发明实施例提供的针对船舶图片采用不同检测模型的检测结果图，其中，(a)为ssd目标检测模型的检测结果，(b)为改进的ssd目标检测模型的检测结果。
具体实施方式
[0046]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0047]
本实施例中，基于自注意力和特征融合的改进ssd目标检测方法，如图1所示，包括以下步骤：
[0048]
步骤1、通过公开的已标注的图片数据集训练ssd目标检测模型，获得ssd目标检测初始模型；
[0049]
对公开的已标注的图片数据集进行数据增强操作，使用这些数据对ssd目标检测模型进行训练，获得ssd目标检测初始模型；
[0050]
ssd目标检测模型作为主流的单阶段目标检测模型之一，骨干网络采用vgg16分类网络，并新增一系列尺度不同的卷积层获取更多的特征图用于检测。其中，较大的特征图来检测相对较小的目标，较小的特征图检测相对较大的目标。vgg16中的conv4_3层将作为第一个特征图，从后面新增卷积层中再提取五个检测所用的特征图，具体模型如图2所示。
[0051]
pascalvoc数据集包含训练图片和测试图片，有飞机、自行车、船舶、瓶子、公共汽车、猫、桌子、狗、火车、植物、电视、沙发等20个类别。本实施例中，训练数据采用pascalvoc 2007trainval和pascalvoc 2012trainval，共16551张图片。实验验证数据采用pascalvoc 2007test的4952张图片。
[0052]
步骤2、在步骤1获得的ssd目标检测初始模型的基础上构建改进的ssd目标检测模型；
[0053]
所述改进的ssd目标检测模型如图3所示，由特征提取模块、特征融合模块、自注意力模块和检测模块组成；
[0054]
所述特征提取模块与ssd目标检测初始模型相同，使用vgg16网络结构，包含：vgg16中所有的卷积层、将vgg16中两个全连接层替换为卷积层，并增加四个卷积结构，每个结构由两个卷积层构成；
[0055]
所述特征融合模块将特征提取模块中的卷积层和最大池化层、卷积层和卷积层进行融合，如图4所示，增强卷积层的特征映射，融合过程如下公式所示：
[0056]
x
i
＝relu{w
k
{concat[t
c
(x
i
‑1),t
n
(x
i
),t
d
(x
i 1
)]}}
ꢀꢀ
(1)
[0057]
其中，x
i
为第i层特征层，x
i
‑1为与第i层特征层相邻的前卷积层，x
i 1
为与第i层特征层相邻的后反卷积层，i＝1、2、
…
、n，n为特征层总数，所述特征层为用于特征融合的卷积层；t
c
为对输入特征层进行卷积(conv)、下采样(downsample)、激活函数(relu)操作；t
n
为对输入特征层进行卷积(conv)、激活函数(relu)操作；t
d
为对输入特征层进行反卷积(convtranspose)、上采样(downsample)、激活函数(relu)操作；将需融合的特征层x
i
‑1，x
i
和x
i 1
分别经过t操作(即t
c
、t
n
和t
d
操作)后，进行concat融合，最后经过3
×
3卷积操作，通过卷积w
k
和激活relu操作得到新特征层；
[0058]
实际检测中，大多数检测器使用各种多尺度结构来解决图像中物体多样性的问题，但是小目标的检测精度效果一直不太满意，究其原因是分辨率低，信息有限，基本特征在卷积神经网络的传播中丢失。而对于大目标的检测，其特征在传播过程中不容易丢失。因此，对于小目标检测效果的提高，一方面选择适当的骨干网络；另一方面学习更强大精确的特征信息。结合多尺度特征融合的特点，本发明通过组合前后两个距离较近特征层的特征融合模块来获取互补信息，充分融合深层和浅层的特征信息，并使得融合后的特征层能同时包含丰富的几何细节和语义信息，有利于提高小目标检测的效率同时避免漏检情况。本实施例中，前三层用于特征提取的卷积层包含的位置和细节信息较多，感受野小，更好的和小目标匹配，但是特征语义信息过少，会对是目标还是背景的判断产生影响，所以本实施例重点对前三层特征进行融合处理。而后三层特征尺寸比较小，已经丢失大部分的位置和细节信息，同时如果进行上采样操作容易引入噪声。所以本实施例分别将前三个用于特征提取的卷积层的前后距离较近的卷积层和最大池化层经过特征融合模块得到三个新的特征层；
[0059]
所述自注意力模块如图5所示，从特征层中输出的预测特征图中估计预测所需相关信息，构建特征图内部所有特征像素之间的全局依赖关系，针对不同区域进行目标检测，具体方法为：
[0060]
(1)设定通过特征提取和特征融合操作得到的预测特征图为其中，c为特征图的通道数，n为特征图的总空间位置，t为比例尺，t为特征图尺寸，c
t
和n
t
分别为t比例尺换算后的特征图的通道数和总空间位置；
[0061]
(2)将预测特征图x
t
经过线性变换变换到q、k和v三个不同的特征空间，变换公式如下：
[0062][0063][0064][0065]
其中，q(x
t
)、k(x
t
)和v(x
t
)分别为q、k和v三个不同特征空间下的特征图；w
q
、w
k
、w
v
是三个不同的待训练的权值参数矩阵，分别是矩阵w
q
、w
k
、w
v
的第t个维度，是一个向量；
[0066]
(3)将q、k特征空间下的特征图q(x
t
)和k(x
t
)通过矩阵相乘(matmul)得到注意力权重矩阵f
t
，然后通过softmax对权重矩阵中元素进行归一化操作如下公式所示：
[0067]
f
t
＝q(x
t
)
t
k(x
t
)
ꢀꢀ
(5)
[0068][0069]
其中，为归一化后的预测特征图中坐标为(i,j)的像素点的注意力权重；通过得到的n
×
n的注意力权重矩阵，得出预测特征图中像素间的相关关系；
[0070]
(4)将v空间下的特征图v(x
t
)和归一化的注意力权重矩阵进行矩阵相乘，得到预测特征图中每个位置的权重矩阵并加权求和；最后，将矩阵相乘结果添加到原预测特征图得到新的预测特征图x
t
'，如下公式所示：
[0071][0072]
ssd目标检测算法所采用的多尺度特征图，会形成数量众多的候选框，但是实际每个图片中目标对象数量较少，只有少数位置的候选框包含目标对象，这样负样本数量过于庞大导致损失太大，而掩盖了正样本的损失。所以在训练期间，各个类别的样本数量不均衡，使训练不容易收敛，训练效率较低。对此问题，本发明引入lin等提出focal loss损失，在原损失函数的基础上增加focal loss惩罚项，改进原损失函数，改善训练时所面临的类别不平衡问题。因此，改进的ssd目标检测模型的目标损失函数由特征图上每个候选框的分类损失和定位损失的加权和组成，如下公式所示：
[0073][0074]
其中，n为所有特征图上候选框的个数；α和β为调节损失占比参数，α β＝1；l
l
为定位损失，采用smoothl1 loss作为损失函数；l
c
为分类损失，使用多类别信息交叉熵；l
fl
表示焦点损失函数(focal loss)，用于解决正负样本不均衡的问题，计算公式为：
[0075][0076]
其中，y为真实目标的标签，y＝0为负样本(即在训练时包含目标主题的样本)，y＝1为正样本(即在训练时不包含目标主题的样本)；y'为经过sigmoid函数的预测输出，取值范围为0～1；δ为平衡因子，用于避免正负样本数量比例不均；γ为调节样本权重降低的速率；本实施例中，焦点损失函数l
fl
中参数取δ＝0.25，γ＝2，α＝0.95，β＝0.05。
[0077]
所述检测模块对通过自注意力模块得到的有效特征层中的每一个特征层均进行两次卷积操作，一次用于预测该特征层上每个特征点上每一个先验框的变化情况，另一次用于预测该特征层上每一个特征点上每一个预测对应的种类；所述特征点就是整个图片分成与其长宽对应的网格的中心；有效的六个特征层，每个特征层的每个特征点对应的先验框数量分别为4、6、6、6、4、4，共生成8732个先验框。
[0078]
本实施例中，改进后的ssd目标检测模型，使用vgg16作为网络骨干，金字塔卷积结构(conv8
‑
11)遵循与原ssd目标检测模型相同的设计，利用conv4
‑
11输出的特征图来检测不同尺寸的目标，通过特征融合模块将maxpooling2和conv7融合至conv4_3、conv4_3和conv8融合至conv7、conv5_3和conv9融合至conv8，增强conv4_3，conv7，conv8的特征映射，再将自注意力模块串联接入模型进行训练。最终得到六组特征图，尺寸分别为38
×
38，19
×
19，10
×
10，5
×
5，3
×
3，1
×
1，将其送入检测模块，进行分类和回归，得到预测结果。
[0079]
步骤3、通过公开的已标注的图片数据集再训练改进后的ssd目标检测模型；
[0080]
在步骤1中训练的ssd目标检测模型的基础上，对改进后ssd目标检测模型进行参数再训练，得到最终的ssd目标检测模型；
[0081]
将最终的ssd目标检测模型与ssd目标检测模型、效果更好的dssd模型进行比较，验证本发明方法的有效性。
[0082]
步骤4、将待检测的图像通过最终的ssd目标检测模型，实现对图像中的目标进行检测。
[0083]
本实施例中，最终的ssd目标检测模型对待检测图像进行目标检测的具体方法为：
[0084]
(1)输入图片通过resize操作将长宽均变成300；
[0085]
(2)将步骤(1)处理后的图片输入到主干特征提取网络vgg16中，提取conv4_3作为第一个特征层，提取由原全连接层fc7改变而来的新卷积层conv7作为第二个特征层。随后添加四个卷积结构，分别提取每个卷积结构内第二个卷积层作为第三、四、五和六特征层。
[0086]
(3)先将步骤(2)中得到的前三个特征层进行特征融合处理，然后将得到的新特征层和剩余三个特征层均通过自注意力模块进行处理，得到六个有效特征层。
[0087]
(4)对于步骤(3)中每个有效特征层，特征点就是整个图片分成与其长宽对应的网格的中心，上述提到的六个特征层，每个特征层的每个特征点对应的先验框数量分别为4、6、6、6、4、4。对每一个特征层通过两次卷积操作，一次用于预测该特征层上每个特征点上每一个先验框的变化情况，另一次用于预测该特征层上每一个特征点上每一个预测对应的种类。共生成8732个先验框。
[0088]
(5)通过图片高度和宽度调整先验框获得预测框的宽和高以及中心位置，对每一个预测框进行得分进行排序，并通过非极大抑制筛选，得到最终预测框，并在图片上绘制结果。
[0089]
本实施例中，使用的深度学习框架为pytorch1.2.0，显卡为nvidia geforce gtx 1080ti，cpu为i7
‑
8700k，内存16gib，硬盘512gib，操作系统为64位的windows10。改进的ssd目标检测模型的骨干网络选择在imagenet上预训练后的vgg16网络，使用随机梯度下降(sgd)算法优化权重，batch size设置为32，初始学习率为0.001，当iteration是80000和100000时，学习率分别乘以0.1，总共迭代120000次得到最终的ssd目标检测模型。数据增强操作(包括图像平移旋转、灰度变换、随机裁剪等)以及锚框参数均与ssd目标检测模型一
致。
[0090]
本发明方法与当前主流目标检测方法在voc2007测试集上的测试结果如表1所示，其中，算法精度采用均值平均精度map(mean average precision)作为评价指标，算法时间性能采用fps(frames per second)作为评价指标。可以看出改进后的ssd目标检测模型在输入图像尺寸相差不多的情况下，比其余改进ssd算法的检测精度都有不同程度的提升：改进后的ssd目标检测模型的map为80.6％，相比于两阶段算法faster r
‑
cnn平均检测精度高出7.4％，比ssd目标检测模型平均检测精度高出3.1％，同时相较于yolo v2、fssd、rssd、dssd和refinedet一阶段检测方法平均精度分别提高了2％、1.8％、2.1％、2.0％和1.1％。
[0091]
表1不同目标检测算法在pascal voc2007测试集上的测试结果
[0092][0093][0094]
对比各个类别的目标检测精度，如表2所示，改进后的ssd目标检测模型在pascalvoc2007测试集相比其他目标检测算法的检测精度均有不同程度的提升，能够确认添加自注意力模块并进行特征融合使得特征图包含更多的语义信息和细节信息，对目标检测起到了积极作用，帮助解决ssd目标检测算法特征图信息不够丰富的问题，也避免dssd算法单个特征图反卷积次数过多导致引入大量噪声的问题。
[0095]
表2 pascal voc2007测试集下不同类别检测精度对比
[0096][0097][0098]
本实施例还选取6个小目标占比较大的类别，通过图片更加形象的对比展示不同目标检测模型的检测精度，如图6所示，其中，方框代表原ssd目标检测模型，圆圈代表dssd目标检测模型，三角形代表改进后的ssd目标检测模型。图中可以更加清晰的看出，改进后的ssd目标检测模型在这6类中检测精度大多数有不同程度的提高，证明使用自注意力模块细化指导目标检测，同时通过特征融合丰富特征层，对于小目标的检测能力提升有显著效果。
[0099]
本实施例为了更直观的展现改进后ssd目标检测模型的优越性，在测试集中随机抽取图片，先通过原ssd目标检测模型进行检测，再通过改进后的ssd目标检测模型进行检测，检测结果对比如图7
‑
9所示，(a)为原始ssd目标检测模型的检测结果，(b)为改进后的ssd目标检测模型的检测结果。
[0100]
原ssd目标检测模型在图片检测时，观察图7(a)
‑
9(a)可以发现当两个或多个对象重叠部分较多、对象个数过多等情况，会造成漏检现象。改进后的ssd目标检测模型通过特
征融合方式，将既包含细节的低层特征图和包含语义信息的高层特征图融合至当前层，以此达到减少漏检现象。同时，对于原ssd目标检测模型存在误检和定位不准确的问题，通过添加自注意力模块进行改进。从7(b)
‑
9(b)可以看出，改进后的ssd目标检测模型有效降低了漏检情况，同时对小目标的检测效果更好。
[0101]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。