一种融合多属性和局部特征的车辆重识别系统和方法

技术特征：
1.一种融合多属性和局部特征的车辆重识别系统，其特征在于：所述系统包括如下模块：通用特征提取模块：该模块的功能是对设定尺寸的车辆图像进行通用特征提取；该模块的具体结构是：采用修改后的resnet-50网路作为通用特征提取模块的网络结构；车辆图像首先经过64通道7*7的卷积核，步长为2的卷积运算，得到64个通道112*112尺寸的特征图；然后经过3*3大小，步长为2的最大池化，得到56*56大小的特征图，接下来是三个stage组合层，这三个stage组合层和原始的resnet-50残差网络相同；所述的三个stage组合层，第一个stage组合层包含3个bottleneck层，第二个stage组合层包含4个bottleneck层，第三个stage组合层包含6个bottleneck层；每个bottleneck瓶颈层都包括三个卷积核大小分别为1*1，3*3，1*1的卷积层，对处理图像进行卷积操作；所述的这前三个stage组合层中，都会将特征图尺寸减半，通道数加倍；但是第四个stage组合层和原始的resnet-50残差网络中不同，第四个stage组合层没有降采样即没有将特征图尺寸减半；最终得到1024通道，尺寸为14*14特征图作为后续模块的输入；全局特征模块：该模块的功能是根据所述的通用特征提取模块所提取到的全局特征，对车辆全局信息进行全局特征提取；该模块的具体结构是：由全局平均池化层、批量归一化层bn和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，首先经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆图像的全局特征fg；再将fg进行批量归一化层bn处理得到1024*1的特征向量，最后接上一个1024*n的全连接层，n为车辆类别数目；属性识别模块：该模块的功能是对车辆的属性信息进行识别，包括车辆方向、品牌、车型和车辆颜色，根据车辆方向信息生成对应的掩模mask，提取车辆的属性特征；该模块的具体结构是：由一个bottleneck层分别联结四个属性分支而成，其中每个属性分支由全局平均池化层和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，经过一个bottleneck层后得到1024通道的14*14的特征图，然后把该特征图输入到所述的四个属性分支；车辆方向属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆方向属性特征向量fatto，然后将该特征向量接一个1024*m1的全连接层，其中m1为车辆方向属性的数目；品牌属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为品牌属性特征向量fattm，然后将该特征向量接一个1024*m2的全连接层，其中m2为品牌属性的数目；车型属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车型属性特征向量fattt，然后将该特征向量接一个1024*m3的全连接层，其中m3为车型属性的数目；车辆颜色属性分支经过全局平均池化层得到1024*1的特征向量，该特征向量即为车辆颜色属性特征向量fattc，然后将该特征向量接一个1024*m4的全连接层，其中m4为车辆颜色属性的数目；面向方向的dropblock模块：该模块的功能是结合车辆方向信息，进行掩模mask操作，提取车辆的面向方向dropblock的特征；该模块的具体结构是：由bottleneck层、全局平均池化层、批量归一化bn层和全连接层依次联结而成；该模块把从所述的通用特征提取模块得到的1024通道尺寸为14*14特征图作为输入，先经过一个bottleneck层后得到1024通道的14*14的特征图；然后将所述的属性识别模块生成的14*14大小的掩模mask矩阵，与前面得到的特征图进行掩模操作，然后经过全局平均池化层，得到1024*1的特征向量，该特征向
量即为面向方向的dropblock的特征向量fl，将该特征向量进行批量归一化bn层处理得到1024*1的特征向量，最后接上一个1024*n的全连接层，n为车辆类别数目。2.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统，其特征在于：根据设定的训练集，对于所述的通用特征提取模块、全局特征模块和面向方向的dropblock模块，采用交叉熵损失函数和tripletloss损失函数进行训练；对于所述的属性识别模块，采用交叉熵损失函数进行训练。3.根据权利要求2所述的一种融合多属性和局部特征的车辆重识别系统，其特征在于：对系统的各个模块按照向后传播算法进行训练，在每一次训练过程中，先由所述的全局特征模块、面向方向的dropblock模块和属性识别模块分别产生系统中各个网络参数的更新量，然后将所述的各个网络参数的更新量累加起来进行一次更新。4.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统，其特征在于：所述的车辆方向信息是指把车辆方向进行离散处理后的信息，具体为：将车辆头部方向作为笛卡尔坐标系中x轴的正方向和第一个方向，以45
°
为间隔分为八个方向。5.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统，其特征在于：所述的根据车辆方向信息生成对应掩模mask的具体内容是：先生成设定尺寸大小的全为1的矩阵，以该矩阵的中心作为原点，根据车辆方向做一条过原点的直线，然后将该直线随机上下平移-3到 3个单位，将该直线经过的所述矩阵位置的值都置为0，最后得到的01矩阵即为掩模mask矩阵；所述的设定尺寸是指所述的面向方向的dropblock模块中bottleneck层之后所得到的特征图的尺寸。6.根据权利要求1所述的一种融合多属性和局部特征的车辆重识别系统，其特征在于：所述的进行掩模mask操作的具体内容是：将所述的面向方向的dropblock模块中bottleneck层之后所得到的特征图与所述的掩模mask矩阵进行掩模操作，即将所述的掩模mask矩阵中为1的点对应的特征图位置的数据保留，将所述的掩模mask矩阵中为0的点对应的特征图位置的数据置为0。7.根据权利要求2所述的一种融合多属性和局部特征的车辆重识别系统，其特征在于：所述的设定训练集是指：是对所收集的车辆图像数据进行预处理后的数据集；所述的预处理的内容是：将车辆图像大小处理成224*224大小，对车辆图像的三个通道都做归一化处理，将车辆图片处理成多个batch批次，每个batch中需要包含正例、负例和锚框；每个batch中包含n个车辆类别，每个车辆类别包含k个样本图像；所述的n和k值根据实验设备和网络设定；对于同一类车辆图像，图像之间互为正例，不同类的车辆图像互为负例。8.一种融合多属性和局部特征的车辆重识别方法，其特征在于：所述方法包括如下操作步骤：(1)将图像库中的车辆图像输入到车辆重识别系统，得到图像库中的车辆图像的重识别特征即：全局特征、属性特征和面向方向dropblock的特征；(2)将待查询车辆图像输入到车辆重识别系统，得到待查询车辆图像的重识别特征即：全局特征、属性特征和面向方向dropblock的特征；(3)根据所得到的重识别特征，从所述的图像库中找出与待查询车辆图像相似度最大的设定数目的车辆图像。9.根据权利要求8所述的一种融合多属性和局部特征的车辆重识别方法，其特征在于：
步骤(3)中所述的相似度的计算公式如下：s＝α*|f
g1-f
g2
|2 β*|f
l1-f
l2
|2 γ1*|f
attm1-f
attm2
|2 γ2*|f
attt1-f
attt2
|2 γ3*|f
attc1-f
attc2
|2上式中，s表示相似度，f
g1
表示待查询车辆图像的全局特征，f
l1
表示待查询车辆图像的面向方向dropblock的特征，f
attm1
表示待查询车辆图像的品牌属性特征，f
attt1
表示待查询车辆图像的车型属性特征，f
attc1
表示待查询车辆图像的颜色属性特征；f
g2
表示图像库中的车辆图像的全局特征，f
l2
表示图像库中的车辆图像的面向方向dropblock的特征，f
attm2
表示图像库中的车辆图像的品牌属性特征，f
attt2
表示图像库中的车辆图像的车型属性特征，f
attc2
表示图像库中的车辆图像的颜色属性特征；α，β，γ1，γ2，γ3是权重参数；α β γ1 γ2 γ3＝1。

技术总结
一种融合多属性和局部特征的车辆重识别系统，包括通用特征提取模块、全局特征模块、属性识别模块和面向方向的DropBlock模块；一种融合多属性和局部特征的车辆重识别方法，包括操作步骤：(1)将图像库中的车辆图像输入到车辆重识别系统，得到图像库中的车辆图像的重识别特征；(2)将待查询车辆图像输入到车辆重识别系统，得到待查询车辆图像的重识别特征；(3)根据所得到的重识别特征，从图像库中找出与待查询车辆图像相似度最大的车辆图像；本发明方法能够获取更多细节特征，有效的提升了车辆重识别的效果。识别的效果。识别的效果。


技术研发人员：廖建新 杨瑞 王玉龙 赵海秀 李炜 王晶
受保护的技术使用者：北京邮电大学
技术研发日：2022.03.10
技术公布日：2022/6/28