一种融合多属性和局部特征的车辆重识别系统和方法

1.本发明涉及一种融合多属性和局部特征的车辆重识别系统和方法，属于信息技术领域，特别是属于基于视觉的车辆识别技术领域。


背景技术：

2.随着物联网的不断发展，电子摄像头遍布在城市的主要道路之中。智能交通系统运用车辆重识别技术，基于交通监控视频中车辆图像，运用计算机视觉技术进行识别和处理，从车辆图像库中检索同一辆车的图像，减少人工检索的工作量，快速定位目标车辆，对打击车辆相关的违法具有重要意义。
3.虽然目前已经出现了很多车辆重识别方法，但是仍然存在很多问题。目前主流的方法特征表达的都不够全面。有的方法采用全局注意力方法，进行多分支特征提取，如申请号为 202110977958.6的中国专利，该专利提出了一种用于车辆重识别的全局注意力网络模型，包括一个骨干网、一个将特征图分成两部分的局部分支和两个具有全局注意力模块的全局分支；但该专利都是对图像的全局特征进行提取和操作，对于局部特征将其分为水平和垂直两个部分进行处理，对于细粒度的车辆重识别来说仅依靠从图像分类模型中注意力模型去提取特征，缺乏对局部细节的特征的处理，未考虑到车辆重识别任务的特殊性，没有充分利用车辆的颜色、车型等易判别的属性对车辆重识别的辅助作用。
4.再比如：申请号为202110756083.7的中国专利，该专利提供了基于多视角和卷积注意力模块的车辆重识别方法和系统，通过加入卷积注意力模块，使得模型能够关注车辆的有效特征，忽略无效特征，提高了模型的辨别能力；通过局部模块中的公共面计算使得模型具有更强的视角抗干扰能力，解决了不同视角下的同一车辆难以辨别问题；实现了对外观相似的车辆和不同视角下的同一车辆进行重识别的功能。但是该专利将车辆分为顶部，前部，后部，侧部四个视角，需要对车辆的图像的信息进行大量且精细的标注，语义分割网络也需要额外的网络计算成本。另外该专利没有充分利用车辆的视角不变性特征，如车辆的颜色，车型等。
5.因此如何有效提取和利用车辆的颜色、车型和品牌等视角不变性特征，提高车辆重识别的准确率成为车辆识别技术领域一个急需要解决的问题。


技术实现要素：

6.有鉴于此，本发明的目的是一种融合多属性和局部特征的车辆重识别系统和方法，提取出车辆更健壮更全面的重识别特征，有效解决同一车辆在不同视角下的差异性大难以识别的问题。
7.为了达到上述目的，本发明提出了一种融合多属性和局部特征的车辆重识别系统，所述系统包括如下模块：
8.通用特征提取模块：该模块的功能是对设定尺寸的车辆图像进行通用特征提取；该模块的具体结构是：采用修改后的resnet-50网路作为通用特征提取模块的网络结构；车
辆图像首先经过64通道7*7的卷积核，步长为2的卷积运算，得到64个通道112*112尺寸的特征图；然后经过3*3大小，步长为2的最大池化，得到56*56大小的特征图，接下来是三个stage 组合层，这三个stage组合层和原始的resnet-50残差网络相同；所述的三个stage组合层分别由3、4、6个bottleneck瓶颈层组成，每个bottleneck瓶颈层都包括三个卷积核大小分别为 1*1，3*3，1*1的卷积层，对处理图像进行卷积操作；所述的这前三个stage组合层中，都会将特征图尺寸减半，通道数加倍；但是第四个stage组合层和原始的resnet-50残差网络中不同，第四个stage组合层没有降采样即没有将特征图尺寸减半；最终得到1024通道，尺寸为 14*14特征图作为后续模块的输入；
9.全局特征模块：该模块的功能是根据所述的通用特征提取模块所提取到的全局特征，对车辆全局信息进行全局特征提取；该模块的具体结构是：由全局平均池化层、批量归一化层 bn和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为 14*14特征图作为输入，首先经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆图像的全局特征fg；再将fg进行批量归一化层bn处理得到1024*1的特征向量，最后接上一个1024*n的全连接层，n为车辆类别数目；
10.属性识别模块：该模块的功能是对车辆的属性信息进行识别，包括车辆方向、品牌、车型和车辆颜色，根据车辆方向信息生成对应的掩模mask，提取车辆的属性特征；该模块的具体结构是：由一个bottleneck层分别联结四个属性分支而成，其中每个属性分支由全局平均池化层和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，经过一个bottleneck层后得到1024通道的14*14的特征图，然后把该特征图输入到所述的四个属性分支；车辆方向属性分支经过全局平均池化层得到1024*1 的特征向量，该特征向量即为车辆方向属性特征向量fatto，然后将该特征向量接一个 1024*m1的全连接层，其中m1为车辆方向属性的数目；品牌属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为品牌属性特征向量fattm，然后将该特征向量接一个1024*m2的全连接层，其中m2为品牌属性的数目；车型属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车型属性特征向量fattt，然后将该特征向量接一个 1024*m3的全连接层，其中m3为车型属性的数目；车辆颜色属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆颜色属性特征向量fattc，然后将该特征向量接一个1024*m4的全连接层，其中m4为车辆颜色属性的数目；
11.面向方向的dropblock模块：该模块的功能是结合车辆方向信息，进行掩模mask操作，提取车辆的面向方向dropblock的特征；该模块的具体结构是：由bottleneck层、全局平均池化层gap、批量归一化bn层和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，先经过一个bottleneck层后得到1024 通道的14*14的特征图；然后将所述的属性识别模块生成的14*14大小的掩模mask矩阵，与前面得到的特征图进行掩模操作，然后经过全局平均池化层，得到1024*1的特征向量，该特征向量即为面向方向的dropblock的特征向量fl，将该特征向量进行批量归一化bn层处理得到1024*1的特征向量，最后接上一个1024*n的全连接层，n为车辆类别数目。
12.根据设定的训练集，对于所述的通用特征提取模块、全局特征模块和面向方向的 dropblock模块，采用交叉熵损失函数和tripletloss损失函数进行训练；对于所述的属性识别模块，采用交叉熵损失函数进行训练。
13.对系统的各个模块按照向后传播算法进行训练，在每一次训练过程中，先由所述的全局特征模块、面向方向的dropblock模块和属性识别模块分别产生系统中各个网络参数的更新量，然后将所述的各个网络参数的更新量累加起来进行一次更新。
14.所述的车辆方向信息是指把车辆方向进行离散处理后的信息，具体为：将车辆头部方向作为笛卡尔坐标系中x轴的正方向和第一个方向，以45
°
为间隔分为八个方向。
15.所述的根据车辆方向信息生成对应掩模mask的具体内容是：先生成设定尺寸大小的全为 1的矩阵，以该矩阵的中心作为原点，根据车辆方向做一条过原点的直线，然后将该直线随机上下平移-3到 3个单位，将该直线经过的所述矩阵位置的值都置为0，最后得到的01矩阵即为掩模mask矩阵；所述的设定尺寸是指所述的面向方向的dropblock模块中bottleneck层之后所得到的特征图的尺寸。
16.所述的进行掩模mask操作的具体内容是：将所述的面向方向的dropblock模块中 bottleneck层之后所得到的特征图与所述的掩模mask矩阵进行掩模操作，即将所述的掩模 mask矩阵中为1的点对应的特征图位置的数据保留，将所述的掩模mask矩阵中为0的点对应的特征图位置的数据置为0。
17.所述的设定训练集是指：是对所收集的车辆图像数据进行预处理后的数据集；所述的预处理的内容是：将车辆图像大小处理成224*224大小，对车辆图像的三个通道都做归一化处理，将车辆图片处理成多个batch批次，每个batch中需要包含正例、负例和锚框；每个batch 中包含n个车辆类别，每个车辆类别包含k个样本图像；所述的n和k值根据实验设备和网络设定；对于同一类车辆图像，图像之间互为正例，不同类的车辆图像互为负例。
18.本发明还提出了一种融合多属性和局部特征的车辆重识别方法，所述方法包括如下操作步骤：
19.(1)将图像库中的车辆图像输入到车辆重识别系统，得到图像库中的车辆图像的重识别特征即：全局特征、属性特征和面向方向dropblock的特征；
20.(2)将待查询车辆图像输入到车辆重识别系统，得到待查询车辆图像的重识别特征即：全局特征、属性特征和面向方向dropblock的特征；
21.(3)根据所得到的重识别特征，从所述的图像库中找出与待查询车辆图像相似度最大的设定数目的车辆图像。
22.步骤(3)中所述的相似度的计算公式如下：
23.s＝α*|f
g1-f
g2
|2 β*|f
l1-f
l2
|2 γ1*|f
attm1-f
attm2
|2 γ2 *|f
attt1-f
attt2
|2 γ3*|f
attc1-f
attc2
|224.上式中，s表示相似度，f
g1
表示待查询车辆图像的全局特征，f
l1
表示待查询车辆图像的面向方向dropblock的特征，f
attm1
表示待查询车辆图像的品牌属性特征，f
attt1
表示待查询车辆图像的车型属性特征，f
attc1
表示待查询车辆图像的颜色属性特征；f
g2
表示图像库中的车辆图像的全局特征，f
l2
表示图像库中的车辆图像的面向方向dropblock的特征，f
attm2
表示图像库中的车辆图像的品牌属性特征，f
attt2
表示图像库中的车辆图像的车型属性特征， f
attc2
表示图像库中的车辆图像的颜色属性特征；α，β，γ1，γ2，γ3是权重参数；α β γ1 γ2 γ3＝1。
25.本发明的有益效果在于：本发明融合了车辆的颜色、车型和品牌等视角不变性特征，有效的解决了同一车辆在不同视角下的差异性大难以识别的问题；此外，本发明通过利
用车辆的方向信息，对于不同视角下车辆方向的不同，生成不同的车辆掩模，与原车辆图像进行叠加，遮挡住部分车辆图像进行重识别，能够获取更多细节特征进行重识别，从而提取出更健壮重识别特征，有效的提升了重识别的效果。
附图说明
26.图1是本发明提出的一种融合多属性和局部特征的车辆重识别系统的系统模块图；
27.图2是本发明所提出系统的通用特征提取模块的结构示意图；
28.图3是本发明所提出系统的全局特征模块的结构示意图；
29.图4是本发明所提出系统的属性识别模块的结构示意图；
30.图5是本发明所提出系统的面向方向的dropblock模块的结构示意图；
31.图6是本发明提出的一种融合多属性和局部特征的车辆重识别方法的流程图；
具体实施方式
32.为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
33.参见图1，介绍本发明提出的一种融合多属性和局部特征的车辆重识别系统，所述系统包括如下模块：
34.通用特征提取模块：该模块的功能是对设定尺寸的车辆图像进行通用特征提取；
35.参见图2，该模块的具体结构是：采用修改后的resnet-50网路作为通用特征提取模块的网络结构；车辆图像首先经过64通道7*7的卷积核，步长为2的卷积运算，得到64个通道112*112尺寸的特征图；然后经过3*3大小，步长为2的最大池化，得到56*56大小的特征图，接下来是三个stage组合层，这三个stage组合层和原始的resnet-50残差网络相同；所述的三个stage组合层分别由3、4、6个bottleneck瓶颈层组成，每个bottleneck瓶颈层都包括三个卷积核大小分别为1*1，3*3，1*1的卷积层，对处理图像进行卷积操作；所述的这前三个stage组合层中，都会将特征图尺寸减半，通道数加倍；但是第四个stage组合层和原始的resnet-50残差网络中不同，第四个stage组合层没有降采样即没有将特征图尺寸减半；最终得到1024通道，尺寸为14*14特征图作为后续模块的输入；
36.全局特征模块：该模块的功能是根据所述的通用特征提取模块所提取到的全局特征，对车辆全局信息进行全局特征提取；
37.参见图3，该模块的具体结构是：由全局平均池化层gap、批量归一化层bn和全连接层 fc依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，首先经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆图像的全局特征fg；再将fg进行批量归一化层bn处理得到1024*1的特征向量，最后接上一个 1024*n的全连接层，n为车辆类别数目；
38.属性识别模块：该模块的功能是对车辆的属性信息进行识别，包括车辆方向、品牌、车型和车辆颜色，根据车辆方向信息生成对应的掩模mask，提取车辆的属性特征；
39.参见图4，该模块的具体结构是：由一个bottleneck层分别联结四个属性分支而成，其中每个属性分支由全局平均池化层gap和全连接层fc依次联结而成；该模块把从所述
的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，经过一个bottleneck层后得到 1024通道的14*14的特征图，然后把该特征图输入到所述的四个属性分支；车辆方向属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆方向属性特征向量fatto，然后将该特征向量接一个1024*m1的全连接层，其中m1为车辆方向属性的数目；品牌属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为品牌属性特征向量fattm，然后将该特征向量接一个1024*m2的全连接层，其中m2为品牌属性的数目；车型属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车型属性特征向量fattt，然后将该特征向量接一个1024*m3的全连接层，其中m3为车型属性的数目；车辆颜色属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆颜色属性特征向量fattc，然后将该特征向量接一个1024*m4的全连接层，其中m4为车辆颜色属性的数目；
40.面向方向的dropblock模块：该模块的功能是结合车辆方向信息，进行掩模mask操作，提取车辆的面向方向dropblock的特征；
41.参见图5，该模块的具体结构是：由bottleneck层、全局平均池化层gap、批量归一化 bn层和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，先经过一个bottleneck层后得到1024通道的14*14的特征图；然后将所述的属性识别模块生成的14*14大小的掩模mask矩阵，与前面得到的特征图进行掩模操作，然后经过全局平均池化层，得到1024*1的特征向量，该特征向量即为面向方向的 dropblock的特征向量fl，将该特征向量进行批量归一化bn层处理得到1024*1的特征向量，最后接上一个1024*n的全连接层，n为车辆类别数目。
42.根据设定的训练集，对于所述的通用特征提取模块、全局特征模块和面向方向的 dropblock模块，采用交叉熵损失函数和tripletloss(三元组损失)损失函数进行训练；对于所述的属性识别模块，采用交叉熵损失函数进行训练。
43.对系统的各个模块按照向后传播算法进行训练，在每一次训练过程中，先由所述的全局特征模块、面向方向的dropblock模块和属性识别模块分别产生系统中各个网络参数的更新量，然后将所述的各个网络参数的更新量累加起来进行一次更新。
44.所述的车辆方向信息是指把车辆方向进行离散处理后的信息，具体为：将车辆头部方向作为笛卡尔坐标系中x轴的正方向和第一个方向，以45
°
为间隔分为八个方向。
45.所述的根据车辆方向信息生成对应掩模mask的具体内容是：先生成设定尺寸大小的全为 1的矩阵，以该矩阵的中心作为原点，根据车辆方向做一条过原点的直线，然后将该直线随机上下平移-3到 3个单位，将该直线经过的所述矩阵位置的值都置为0，最后得到的01矩阵即为掩模mask矩阵；所述的设定尺寸是指所述的面向方向的dropblock模块中bottleneck层之后所得到的特征图的尺寸。
46.实施例中，掩模mask的大小是14*14。举例如下：当输入为车头向x轴方向的图像时，首先预测出的方向为x轴，并且此时随机上移一个单位，生成的mask矩阵即为从上至下数，第6行和第7行位置上的值为0，其他的值均为1，即得到一个x轴方向的mask矩阵。
47.所述的进行掩模mask操作的具体内容是：将所述的面向方向的dropblock模块中 bottleneck层之后所得到的特征图与所述的掩模mask矩阵进行掩模操作，即将所述的掩模 mask矩阵中为1的点对应的特征图位置的数据保留，将所述的掩模mask矩阵中为0的点对应
的特征图位置的数据置为0。
48.比如接上例中生成的x轴方向的mask矩阵，其与所述的面向方向的dropblock模块中 bottleneck层之后所得到的特征图进行掩模操作，就是将其中每一张特征图的第6行和第7行的数值置为0，其他部分保持不变。
49.所述的设定训练集是指：是对所收集的车辆图像数据进行预处理后的数据集；所述的预处理的内容是：将车辆图像大小处理成224*224大小，对车辆图像的三个通道都做归一化处理，将车辆图片处理成多个batch批次，每个batch中需要包含正例、负例和锚框；每个batch 中包含n个车辆类别，每个车辆类别包含k个样本图像；所述的n和k值根据实验设备和网络设定；对于同一类车辆图像，图像之间互为正例，不同类的车辆图像互为负例。在实施例中，发明人采用的主要实验设备是4张nvidia quadro rtx6000-24gb版，选择resnet-50网路作为通用特征提取模块的baseline，则n＝64，k＝8。
50.参见图6，本发明还提出了一种融合多属性和局部特征的车辆重识别方法，所述方法包括如下操作步骤：
51.(4)将图像库中的车辆图像输入到车辆重识别系统，得到图像库中的车辆图像的重识别特征即：全局特征、属性特征和面向方向dropblock的特征；
52.(5)将待查询车辆图像输入到车辆重识别系统，得到待查询车辆图像的重识别特征即：全局特征、属性特征和面向方向dropblock的特征；
53.(6)根据所得到的重识别特征，从所述的图像库中找出与待查询车辆图像相似度最大的设定数目的车辆图像。
54.步骤(3)中所述的相似度的计算公式如下：
55.s＝α*|f
g1-f
g2
|2 β*|f
l1-f
l2
|2 γ1*|f
attm1-f
attm2
|2 γ2 *|f
attt1-f
attt2
|2 γ3*|f
attc1-f
attc2
|256.上式中，s表示相似度，f
g1
表示待查询车辆图像的全局特征，f
l1
表示待查询车辆图像的面向方向dropblock的特征，f
attm1
表示待查询车辆图像的品牌属性特征，f
attt1
表示待查询车辆图像的车型属性特征，f
attc1
表示待查询车辆图像的颜色属性特征；f
g2
表示图像库中的车辆图像的全局特征，f
l2
表示图像库中的车辆图像的面向方向dropblock的特征，f
attm2
表示图像库中的车辆图像的品牌属性特征，f
attt2
表示图像库中的车辆图像的车型属性特征， f
attc2
表示图像库中的车辆图像的颜色属性特征；α，β，γ1，γ2，γ3是权重参数；α β γ1 γ2 γ3＝1。在实施例中，发明人经过多次实验在α＝0.5，β＝0.3，γ1＝0.05，γ2＝0.1，γ3＝0.05，能取得比较好的实验结果。
57.发明人对本发明的系统和方法进行了大量实验，获得了良好的实验结果，这表明本发明的系统和方法是有效可行的。