基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统与流程

1.本发明实施例涉及机器学习技术领域，具体涉及一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统。


背景技术：

2.近年来，随着图形处理器(gpu)性能的飞速提升，深度神经网络(dnn)在强大的计算资源支持下也取得了巨大的发展成就，在许多视觉识别任务中屡创佳绩。然而，由于主流的深度学习网络模型存在计算复杂度高，内存占用较大，耗时长等缺陷，难以部署在计算资源受限的移动设备或时延要求严格的应用程序中，如真实场景下的车辆再辨识任务。模型压缩是指在不显著影响模型精度的前提下，通过对深度神经网络进行剪枝等轻量化操作，得到一个更加紧凑的网络，有效减少原模型的参数量和计算量，提升推理速度，降低内存开销，提高模型在实际场景下的适用性。


技术实现要素：

3.为此，本发明实施例提供一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统，以解决现有车辆再辨识模型计算复杂度高，内存占用较大，耗时长的问题。
4.为了实现上述目的，本发明实施例提供如下技术方案：
5.一方面，一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法，包括：
6.s11，对待压缩的车辆再辨识模型的骨干网络进行预训练；
7.s12，对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度；
8.s13，对车辆再辨识模型中的特征金字塔模块进行轻量化卷积设计；
9.s14，将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
10.优选的，在步骤s11中，待压缩的车辆再辨识模型的骨干网络包括特征提取部分和全连接层，所述特征提取部分由多个卷积层组成，每个卷积层中包含多个卷积核，每个卷积核之间的重要性程度不同。
11.优选的，采用的待压缩的车辆再辨识骨干网络模型为resnet
‑
50，其中提取部分的网络结构为[64,'m',(64,64,256)
×
3,(128,128,512)
×
4,(256,256,1024)
×
6,(512,512,2048)
×
3]，其中每个数字代表卷积 bn relu三层结构，数字大小代表卷积层通道数量，'m'代表最大池化，
×
n代表相同卷积块重复次数；经过49个卷积层提取特征之后，紧跟着是一个k个神经元的全连接层，用于最终的分类；k的大小根据数据集中类别个数来确定。
[0012]
优选的，在步骤s12中，对训练好的骨干网络进行剪枝，具体包括：
[0013]
计算骨干网络中所有卷积核的范数，逐层计算该层卷积核数据空间中的几何中值，寻找与几何中值之间欧氏距离最小的卷积核集合；骨干网络训练到预设准确率后，基于要剪枝的比例计算距离阈值，然后将与几何中值之间距离小于该阈值的卷积核剪掉，最后对剪枝后的骨干网络进行重训练；计算几何中值的公式如下：
[0014][0015]
其中，x
gm
表示几何中值，f
i,j'
表示第i层的第j'个卷积核,n
i 1
表示第i层的输出通道数，即该层卷积核数量。
[0016]
优选的，在步骤s13中，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，具体包括：
[0017]
骨干网络自底向上提取特征后，自顶向下对其进行重构，并对得到的金字塔特征进行压缩，具体为将特征金字塔模块中的标准卷积替换为深度可分离卷积，即先后采用深度卷积与逐点卷积，减少卷积运算量，使模块轻量化。
[0018]
优选的，所述步骤s14，具体包括：
[0019]
将紧凑的骨干网络作为车辆再辨识模型的基础网络，用于提取车辆图像的特征；根据骨干网络的结构，四个不同的卷积块分别生成四种不同分辨率的特征块；
[0020]
将不同分辨率的特征块输入特征金字塔模块，对各级特征块通过卷积操作进行降维，得到分辨率不同维数相同的特征块，对这些特征块通过上采样操作进行重建，得到四个重建的特征块；通过金字塔结构，将重建特征块与原特征块进行拼接融合，得到联合特征；
[0021]
将紧凑的骨干网络与轻量化的特征金字塔模块结合得到的车辆再辨识模型，训练直至收敛，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
[0022]
另一方面，一种基于剪枝和轻量卷积的车辆再辨识模型压缩系统，包括：
[0023]
预训练模块，用于对待压缩的车辆再辨识模型的骨干网络进行训练；
[0024]
剪枝模块，用于对预训练完毕的骨干网络进行剪枝；
[0025]
轻量化模块，用于对特征金字塔模块进行轻量化设计；
[0026]
融合模块，用于将紧凑的骨干网络与轻量化的特征金字塔模块结合，得到压缩后的车辆再辨识模型。
[0027]
再一方面，一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现所述的基于剪枝和轻量卷积的车辆再辨识模型压缩方法的步骤。
[0028]
本发明实施例具有以下优点：
[0029]
本发明实施例提供基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统，对待压缩的车辆再辨识模型的骨干网络进行训练，对预训练完毕的骨干网络进行剪枝，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，将紧凑的骨干网络与轻量化的特征金字塔模块结合，得到压缩后的车辆再辨识模型。以复杂的车辆再辨识模型作为输入模型，其骨干网络中重要性较低的卷积核被自动选择和剪枝，并改进其特征金字塔模块中的卷积方式，有效降低参数量和计算量，产生精度相当但极为紧凑的模型。
附图说明
[0030]
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0031]
图1为本发明实施例提供的基于剪枝和轻量卷积的车辆再辨识模型压缩方法的流
程示意图；
[0032]
图2为本发明实施例提供的网络剪枝和轻量卷积的车辆再辨识模型压缩方法中深度可分离卷积示意图；
[0033]
图3为本发明实施例提供的网络剪枝和轻量卷积的车辆再辨识模型压缩方法中剪枝方法示意图；
[0034]
图4为本发明实施例提供的网络剪枝和轻量卷积的车辆再辨识模型压缩系统的结构示意图。
具体实施方式
[0035]
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
参见图1所示，本发明实施例提出了一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法，该方法包括：
[0037]
步骤s11、对待压缩的车辆再辨识模型的骨干网络进行训练。
[0038]
本实施例中，采用的待压缩的车辆再辨识骨干网络模型是resnet
‑
50，该网络模型包括特征提取部分和全连接层，其中提取部分的网络结构为[64,'m',(64,64,256)
×
3,(128,128,512)
×
4,(256,256,1024)
×
6,(512,512,2048)
×
3]，其中每个数字代表卷积 bn(批归一化) relu(激活函数)三层结构，数字大小代表卷积层通道数量，'m'代表最大池化，
×
n代表相同卷积块重复次数；经过49个卷积层提取特征之后，紧跟着是一个k个神经元的全连接层，用于最终的分类。k的大小根据数据集中类别个数来确定。
[0039]
训练和测试采用的数据集为vehicleid数据集，由来自26,267辆汽车总计221,763张车辆图像组成，其中，训练集包含13,134辆汽车总计110178张图像；测试集由三个规模不同的测试子集组成：test
‑
800，test
‑
1600和test
‑
2400，分别包含800辆汽车总计6532张图像，1600辆汽车总计11395张图像以及2400辆汽车总计17638张图像。
[0040]
本实施例中，采用随机梯度下降法对网络进行训练，batchsize(批次大小)为18，初始学习率为0.0003，训练次数为50000，经过25000次训练后学习率开始下降。
[0041]
步骤s12、对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度。
[0042]
剪枝能够1)去除冗余卷积核，减少参数量；2)减少模型内存开销；3)在保持精度的前提下降低计算量，加快推理速度。通过在网络中批量剪除卷积核来实现结构化稀疏，简单高效。直接应用于卷积网络结构，无须借助特殊的软、硬件加速器，以复杂的车辆再辨识模型作为输入模型，其骨干网络中重要性较低的卷积核被自动选择和剪枝，并改进其特征金字塔模块中的卷积方式，有效降低参数量和计算量，产生精度相当但极为紧凑的模型。
[0043]
通过网络中卷积核范数值与该卷积层数据空间的几何中值之间的距离进行卷积核的重要性评估。
[0044]
为进一步减少计算量，基于相同原理，直接计算各层卷积核两两之间的欧氏距离，与该层其余所有卷积核欧氏距离之和最小的卷积核集合即为需要被剪枝的对象。
[0045][0046]
i表示网络中的第i个卷积层；x表示卷积层中的第x个卷积核，f
i,x
表示与该层其余所有卷积核欧氏距离之和最小的卷积核集合；j'表示卷积层中的第j'个卷积核n
i 1
：第i个卷积层中的卷积核数量；|| ||2表示计算欧氏距离。
[0047]
对于欧氏空间中的数据，几何中值在用于估计数据中心时具有鲁棒性。接近几何中值，即接近中心的卷积核与远离几何中值的卷积核共享着大部分信息，不具备或只具备少量特殊的特征信息，所以远离中心的卷积核能够替代接近中心的卷积核。因此，安全地剪除接近几何中值的卷积核，不会导致模型精度衰减，能够实现网络的结构化稀疏，有效地精简模型。
[0048]
传统剪枝方法一般直接通过卷积核的范数值大小判断其重要性，而基于几何中值的剪枝方法考虑卷积核所含信息的不可替代性，范数值较大或较小的卷积核都可能被剪除，这样能够避免误剪枝，如剪除范数值较小但所含信息不可替代性强的卷积核，或保留范数值较大但与其他卷积核共享信息的卷积核。
[0049]
参加图3所示，剪枝算法具体过程包括：
[0050]
导入一个网络模型，使用设定损失函数对神经网络模型进行训练，一般采用交叉熵损失函数；
[0051]
训练到一定准确率后，基于要剪枝的比例计算距离阈值，然后将与该层其余所有卷积核欧氏距离之和小于该阈值的卷积核剪掉；
[0052]
对剪枝后的网络模型进行重训练，重训练所需的训练次数一般少于初次训练的训练次数，经过一定的迭代过程后，模型精度回升到理想范围。
[0053]
以上过程可以多次重复执行，直至得到足够精简，且精度理想的模型。
[0054]
步骤s13、对特征金字塔模块进行轻量化设计。
[0055]
对特征金字塔模块进行轻量化设计，具体包括：将特征金字塔模块中的标准卷积替换为深度可分离卷积，使其轻量化。
[0056]
特征金字塔模块中，将不同分辨率的特征块融合之后，需要对各特征块进行3
×
3卷积操作，以消除特征融合带来的混叠效应，此处采用的卷积为标准卷积。以运算量较小的深度可分离卷积代替标准卷积。
[0057]
参见图2所示，所述的深度可分离卷积为将标准卷积过程拆分成深度(depthwise)卷积和逐点(pointwise)卷积两部分，即将标准卷积中特征提取、特征融合并生成新特征的过程一分为二，理论上能够将卷积运算量降低至标准卷积的1/8
‑
1/9。
[0058]
步骤s14、将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
[0059]
步骤s14具体包括：
[0060]
将紧凑的骨干网络作为车辆再辨识模型的基础网络，用于提取车辆图像的特征。根据骨干网络的结构，四个不同的卷积块分别生成四种不同分辨率的特征块。
[0061]
将不同分辨率的特征块输入特征金字塔模块，对各级特征块通过卷积操作进行降维，得到分辨率不同维数相同的特征块，对这些特征块通过上采样操作进行重建，得到四个
重建的特征块。通过金字塔结构，将重建特征块与原特征块进行拼接融合，得到联合特征。
[0062]
将紧凑的骨干网络与轻量化的特征金字塔模块结合得到的车辆再辨识模型，训练直至收敛，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
[0063]
与上述基于剪枝和轻量卷积的车辆再辨识模型压缩方法相对应的，本发明还提出了一种基于剪枝和轻量卷积的车辆再辨识模型压缩系统，该系统包括：
[0064]
预训练模块21，用于对待压缩的车辆再辨识模型的骨干网络进行训练；
[0065]
剪枝模块22，用于对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度；
[0066]
轻量化模块23，用于对特征金字塔模块进行轻量化设计；
[0067]
融合模块24，用于将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
[0068]
本发明实施例提供的一种基于剪枝和轻量卷积的车辆再辨识模型压缩系统中各部件所执行的功能均已在上述基于剪枝和轻量卷积的车辆再辨识模型压缩方法中做了详细介绍，因此这里不做过多赘述。
[0069]
本发明实施例还提出了一种计算机存储介质，另一方面，本发明还提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现以下步骤：
[0070]
对待压缩的车辆再辨识模型的骨干网络进行预训练；
[0071]
对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度；
[0072]
对车辆再辨识模型中的特征金字塔模块进行轻量化卷积设计；
[0073]
将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
[0074]
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。