一种基于多分支局部注意力网络的车辆分类方法与流程

1.本发明涉及深度学习和计算机视觉技术领域，特别涉及一种基于多分支局部注意力网络的车辆分类方法。


背景技术：

2.近年来，智能交通系统(its)发展快速，随着计算机视觉和深度学习的发展，为智能交通系统更有效的应用提供了契机。计算机视觉是利用计算机来模拟人的视觉能力，从客观事物的图像中提取信息，进行处理并加以理解，最终应用到实际生活中，例如车辆分类。
3.传统的基于视觉的车辆分类方法通常是依赖于手工特征，如颜色直方图(ch)、纹理描述符(td)、gist)或通过bovw、ifk、spm等编码局部特征生成的表示，费时费力，泛化能力差，易受环境变化和遮挡的影响。随着深度学习理论和实践的迅速发展，基于深度学习的目标检测与分类进入了一个新的阶段。不同于传统的特征提取算法，卷积神经网络具有一定的不变性的几何变换、变形和光照，可以克服改变车辆外观的困难，可以解决遮挡问题，能够自适应的训练数据驱动下构建的特征描述，具有更大的灵活性和综合能力。
4.现有的卷积神经网络方法依然存在不足之处在于，没有明确区分关键信息和冗余信息，模型的特征识别能力仍然不强不足。期间多层卷积和池化，大量重要信息丢失，导致提取的特征不能很好地表示目标。


技术实现要素：

5.本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于多分支局部注意力网络的车辆分类方法，以解决上述背景技术中提出的问题。
6.一种基于多分支局部注意力网络的车辆分类方法，具体步骤包括：
7.获取待分类车辆图片并划分为训练集和测试集；
8.将车辆图片的训练集输入构建多分支局部注意力网络的车辆分类模型进行训练，所述多分支局部注意力网络包括基于通道的卷积注意力模块，以及基于空间的局部注意力模块；
9.根据训练好的车辆分类模型对车辆图片的测试集进行分类预测，得到分类结果。
10.作为本发明的进一步的方案：所述获取待分类车辆图片并划分为训练集和测试集的具体步骤包括：
11.获取车辆场景图像，并划分为训练集和测试集，训练集和测试集的比例为4:1；
12.所述训练集包括m张训练图片为x＝{x1,x2,
…
,x
m
,
…
,x
m
}，所述训练集包括n张训练图片为y＝{y1,y2,
…
,y
n
,
…
,y
n
}，其中x
m
表示第m张训练图片，y
n
表示第n张测试图片；
13.对所述训练集和测试集的图片进行标签与原图一对一标注。
14.作为本发明的进一步的方案：所述将车辆图片的训练集输入构建多分支局部注意力网络的车辆分类模型进行训练，所述多分支局部注意力网络包括基于通道的卷积注意力
模块，以及基于空间的局部注意力模块的具体步骤包括：
15.基于resnet
‑
50模型构建多分支局部注意力网络结构；
16.利用基于通道的卷积注意力模块引入作为第一个分支；
17.利用基于空间的局部注意力模块引入作为第二个分支；
18.将两个分支使用并行方法进行分支融合，融合公式为：
19.f
′
＝σ(m
c
(f)
×
m
s
(f))
×
f；
20.其中，m
c
(f)表示通道注意力，m
s
(f)表示空间注意力，σ(*)是sigmoid激活函数；
21.将多分支局部注意力网络结构嵌入resnet
‑
50每个bottleneck层中，得到基于多分支局部注意力网络的车辆分类模型。
22.作为本发明的进一步的方案：所述利用基于通道的卷积注意力模块引入作为第一个分支的具体步骤包括：
23.使用全局平均池化和全局最大池化操作来聚合特征映射的空间信息，即和
24.利用2
×
1卷积方法将和结合起来；
25.最后添加一个多层感知器来学习最终的通道注意力特征图m
c
(f)，公式为：
[0026][0027]
其中，w0∈r
(c/r)
×
c
，w1∈r
c
，w0和w1是多层感知器mlp的权重，f2×1表示滤波器大小为2
×
1的卷积运算。
[0028]
作为本发明的进一步的方案：所述利用基于空间的局部注意力模块引入作为第二个分支的具体步骤包括：
[0029]
对原始特征图的所有通道并行应用局部空间最大池化和平均池化，其中核和步长等于ε；
[0030]
通过聚集f的所有ε
‑
邻域内的特征来生成两个压缩的空间注意描述符f
m
和f
a
；
[0031]
f
a
＝avgpool
kernel,stride＝ε
(f)；
[0032]
f
m
＝maxpool
kernel,stride＝ε
(f)；
[0033]
利用全局最大池化和全局平均池化沿着通道方向收紧f
m
和f
a
生成描述符和并连接起来；
[0034]
再依次增加3
×
3空洞卷积和最近邻插值操作，得到空间注意力的特征图；
[0035]
m
s
(f)＝σ(f
nearest
(f([f
max
(f
m
)；f
avg
(f
a
)])))；
[0036]
其中，maxpool(*)和avgpool(*)表示空间域中核和步长为ε的局部最大池化和平均池化操作，f
max
(*)和f
avg
(*)是沿通道方向的最大池化和平均池操作，f(*)表示3
×
3空洞卷积，f
nearest
(*)是最近邻插值上采样算子，σ(*)是sigmoid激活函数。
[0037]
作为本发明的进一步的方案：所述根据训练好的车辆分类模型对车辆图片的测试集进行分类预测，得到分类结果的具体步骤包括：
[0038]
设置损失函数，调整训练集中车辆图像的大小后输入基于多分支局部注意力网络进行训练，得到训练好的网络模型；
[0039]
利用训练好的网络模型的提取网络全连接层使用softmax函数对测试集中的车辆
图像进行分类预测，得到分类结果。
[0040]
与现有技术相比，本发明存在以下技术效果：
[0041]
通过采用上述的技术方案，通过获取车辆图片，然后在基于restnet
‑
50模型构建多分支局部注意力网络的车辆分类模型，其中包括分别引入了基于通道的卷积注意力模块和基于空间的局部注意力模块，再提取网络全连接层使用softmax函数进行车辆图片预测分类。上述方法能够更准确获取特征图中不同邻域的信息，增强特征的表达性，提高车辆分类的准确性。同时避免多次池化和卷积，大量重要信息丢失，导致提取的特征不能很好表示目标的问题。
附图说明
[0042]
下面结合附图，对本发明的具体实施方式进行详细描述：
[0043]
图1为本技术公开的一些实施例的车辆分类方法的步骤示意图；
[0044]
图2为本技术公开的一些实施例的网络模型流程示意图；
[0045]
图3为本技术公开的一些实施例的网络结构示意图；
[0046]
图4为本技术公开的一些实施例的基于通道的卷积注意力模块示意图；
[0047]
图5为本技术公开的一些实施例的基于空间的局部注意力模块示意图；
[0048]
图6为本技术公开的一些实施例的多分支注意力结构集成的cnn单元示意图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
请参考图1和图2，本发明实施例中，一种基于多分支局部注意力网络的车辆分类方法，具体步骤包括：
[0051]
s1、获取待分类车辆图片并划分为训练集和测试集，具体步骤包括：
[0052]
获取所需车辆在特定场景中的图像，并划分为训练集和测试集，训练集和测试集的比例为4:1；
[0053]
所述训练集包括m张训练图片为x＝{x1,x2,
…
,x
m
,
…
,x
m
}，所述训练集包括n张训练图片为y＝{y1,y2,
…
,y
n
,
…
,y
n
}，其中x
m
表示第m张训练图片，y
n
表示第n张测试图片；
[0054]
对所述训练集和测试集的图片进行标签与原图一对一标注。
[0055]
s2、将车辆图片的训练集输入构建多分支局部注意力网络的车辆分类模型进行训练，所述多分支局部注意力网络包括基于通道的卷积注意力模块，以及基于空间的局部注意力模块，具体步骤包括：
[0056]
s21、基于resnet
‑
50模型构建多分支局部注意力网络结构；具体的，如图3所示，图示为车辆图像分类模型的框架结构图，将经典的cnn模型与注意力机制相结合，将分类模型的输出维度设置为车辆总类别数。将卷积神经网络resnet
‑
50作为分类模型的骨干网络，用于从车辆图像中提取原始特征图。
[0057]
s22、利用基于通道的卷积注意力模块引入作为第一个分支，用于计算特征图通道
的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图。
[0058]
步骤s22的具体实施方式中，如图4所示，所述利用基于通道的卷积注意力模块引入作为第一个分支的具体步骤包括：
[0059]
首先使用全局平均池化和全局最大池化操作来聚合特征映射的空间信息，即获得两个1
×1×
c通道和分别表示平均池化和最大池化。
[0060]
再利用2
×
1卷积方法将和结合起来；
[0061]
最后添加一个多层感知器来学习最终的通道注意力特征图m
c
(f)，为了降低参数开销，将隐藏层的大小设置为c/r，其中r为压缩比。具体地说，通过实验发现将压缩比r设置为16，可以得到更好的结果，具体公式为：
[0062][0063]
其中，w0∈r
(c/r)
×
c
，w1∈r
c
，w0和w1是多层感知器mlp的权重，f2×1表示滤波器大小为2
×
1的卷积运算。
[0064]
s23、利用基于空间的局部注意力模块引入作为第二个分支，用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图。
[0065]
步骤s23的具体实施方式中，如图5所示，所述利用基于空间的局部注意力模块引入作为第二个分支的具体步骤包括：
[0066]
利用局部相似性(空间局部池化)来实现空间注意，通过计算特征图中每个特征与其它特征的相似性，来实现不相邻的图像区域的相似性计算。
[0067]
对原始特征图的所有通道并行应用局部空间最大池化和平均池化，其中核和步长等于ε；
[0068]
通过聚集f的所有ε
‑
邻域内的特征来生成两个压缩的空间注意描述符f
m
和f
a
；
[0069]
f
a
＝avgpool
kernel,stride＝ε
(f)；
[0070]
f
m
＝maxpool
kernel,stride＝ε
(f)；
[0071]
利用全局最大池化和全局平均池化沿着通道方向收紧f
m
和f
a
生成描述符和和每个特征都代表了跨通道的最大池化特征和平均池化特征。并将这些特征描述符连接起来，以降低计算成本；
[0072]
为了减轻多步池化操作造成的特征损失，再增加3
×
3空洞卷积进一步学习特征，同时提高空间注意力描述子的非线性表示能力。最后通过最近邻插值进行上采样，得到了与原始输入图像相同尺度的空间注意特征图m
s
(f)；
[0073]
m
s
(f)＝σ(f
nearest
(f([f
max
(f
m
)；f
avg
(f
a
)」)))；
[0074]
其中，maxpool(*)和avgpool(*)表示空间域中核和步长为ε的局部最大池化和平均池化操作，f
max
(*)和f
avg
(*)是沿通道方向的最大池化和平均池操作，f(*)表示3
×
3空洞卷积，f
nearest
(*)是最近邻插值上采样算子，σ(*)是sigmoid激活函数。
[0075]
s24、将两个分支使用并行方法进行分支融合，如图6所示，将上述中输出的更新通道注意力后的特征图，以及输出的更新空间注意力后的特征图进行并行连接并嵌入到骨干网络的每个layer中；
[0076]
融合公式为：
[0077]
f
′
＝σ(m
c
(f)
×
m
s
(f))
×
f；
[0078]
其中，m
c
(f)表示通道注意力，m
s
(f)表示空间注意力，σ(*)是sigmoid激活函数；并行方法比顺序方法具有更少的激活函数，从而具有更大的表征范围和更强的特征提取能力。
[0079]
将多分支局部注意力网络结构嵌入resnet
‑
50每个bottleneck层中，得到基于多分支局部注意力网络的车辆分类模型。
[0080]
s3、根据训练好的车辆分类模型对车辆图片的测试集进行分类预测，得到分类结果,具体步骤包括：
[0081]
s31、设置损失函数，调整训练集中车辆图像的大小后输入基于多分支局部注意力网络进行训练，得到训练好的网络模型；
[0082]
具体的，车辆图像的大小调整为224像素
×
224像素，然后将图像的像素做归一化(normalization)处理后作为分类模型的输入。所述损失函数为交叉熵损失函数。
[0083]
进行训练时，采用加载经imagenet预训练的cnn模型中的参数，但不固定(freeze)分类模型的参数，在此基础上进行微调(fine
‑
tune)，例如采用梯度下降来微调骨干网络的所有参数。
[0084]
s32、利用训练好的网络模型的提取网络全连接层使用softmax函数对测试集中的车辆图像进行分类预测，得到分类结果。
[0085]
在一些具体实施例中，步骤s2中骨干网络为resnet
‑
50，该骨干网络也能够选用其他网络，如alexnet、vggnet、googlenet或densenet。
[0086]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。