基于部件表征学习和个性化属性结构的车辆重识别方法与流程

技术特征：
1.一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，通过车辆部件分割器获得车辆部件特征，并对部件特征进行超分辨率处理，对于成对部件特征进行多视角下的对比学习，构建多视角下的车辆部件表征学习模型；在属性分支中，通过车辆属性检测器获得车辆的属性位置信息，将其与车辆特征相乘后获得车辆属性特征，并基于车辆属性特征构建属性结构模型；抽取车辆部件特征与属性特征构建双粒度结构关系模型，对全局特征、部件特征和属性特征加权融合后得到车辆重识别的最终结果。2.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，定义多摄像头下的车辆重识别：识别出在m 1个视场区域不重叠的摄像头组成的摄像机网络c中，某个摄像头c
n
下的某个特定车辆i用o
in
表示，c＝{c0,c1,c2,
…
,c
m
})；车辆部件：将车辆图片按照车辆的固有部件进行划分获得部件集p(表示为p＝{p0,p1,p2,
…
,p9})，具体指背景、车顶、左车窗、左车身、右车窗、右车身、正车窗、前车身、后车窗、后车身；其中排除背景p0后即为车辆的全部部件；车辆属性：对于车辆上极具个性化表达能力的小目标进行定义，获得车辆的属性集a(表示为a＝{a1,a2,a3,
…
,a
12
})，具体指后视镜，车牌标志，年检标志，车身贴纸，车灯、纸巾盒、装饰摆件、通行许可证、悬挂物、行李架、车顶天窗、杂志；同一车辆的确定：对车辆的全局特征、部件特征、属性特征进行余弦距离度量，对结果进行加权融合后得出相似度排序结果，实现车辆重识别。3.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，车辆的部件表征学习模型构建包括：网络接受一对不同视角下的车辆图像x
i
与x
j
，利用分割网络获取部件特征分别为f
ip
(x
i
)＝{f
ip
|p∈{1,...,9}}和车辆部件表征学习分支：双分支部件超分辨率网络来生成不同视角的和基于的id保留的车辆部件增强表征，为了在图像重建中恢复更多的视觉线索，使用了感知重建损失约束超分辨率网络，可表示为对于不同视角下的部件，利用成对输入的部件关系构建对比学习模型，将超分后的部件特征连接，在一定程度上避免了图像中全局信息的干扰，有效增强车辆部件表征，特征连接可表示为x
i
，分别表示第i个地面真值和经过超分辨率网络后的重建图像，表示vgg-19网络，利用该网络能够有效获取高维度特征，c
j
h
j
w
j
是网络中第j层特征图的形状。4.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，个性化属性结构模型构建包括车辆图片首先输入属性检测器来获得对应属性的位置信息，并且通过将掩码与全局特征相乘的方式获得车辆的属性特征，表示为f
a
(x)＝{f
a
|a∈{1,...,12}}；
对于车辆的属性特征进行结构建模，不同的属性特征的集合作为结点v，属性之间的关联性则作为边e，从而构建了一个图模型；与此同时，属性结构图中还引入了一个两层的图卷积神经网络gcn来进行结点之间的权重学习，每一层的计算方式为f
a
(x)
(l)
表示gcn中的第l层的输入矩阵，σ(
·
)表示激活函数，a表示属性结构图中的邻接矩阵，d表示a的度矩阵，w
(l)
表示第l层的可学习参数；将获得的车辆部件特征进行抽取，与属性特征聚合后进行双粒度结构关系建模；对于每个信道特征作为一个结点v，将每个结点代表的车辆属性或车辆部件之间的是否具有联系作为是否有边e的依据，以此构建一个双粒度结构关系图模型；此外，通过设计了一个异构的gcn网络来学习结点之间的权重学习。5.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，双粒度结构关系模型是对车辆的全局特征距离、部件特征距离、属性特征距离进行余弦距离度量，其中，对于通过resnet50对于车辆图片进行特征提取获得的车辆全局特征，获得的车辆部件特征以及获的车辆属性特征，分别进行余弦距离的计算，获得全局特征距离部件特征距离和属性特征距离对于车辆的全局特征距离、部件特征距离、属性特征距离以一定的权重进行融合得到最终的车辆特征距离根据的大小判断车辆的相似度完成车辆重识别任务。6.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，最终距离可表示为其中γ1、γ2、γ3为平衡不同粒度特征权重的超参数。7.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，对于属性结构图中的邻接矩阵a，用于表示两个不同属性结点之间是否有关联；对于a(i,j)来说，如果属性结点i与属性结点j有关联，则认为在图中这两个结点有边，即a(i,j)＝1，反之则a(i,j)＝0。8.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，，部件特征和属性特征按照聚合时的信道进行保留，分别对应9和12个信道；对于双粒度图模型的输出只截取了属性特征对应的一部分信道。

技术总结
本发明涉及一种基于部件表征学习和个性化属性结构的车辆重识别方法，该方法着眼于车辆重识别任务中的关键信息：部件外观信息和个性化属性结构信息。在部件分支中，通过车辆部件语义分割器获得车辆部件特征，引入自编码器来实现对部件特征的超分辨率处理，对于成对部件特征进行多视角下的对比学习。在属性分支中，通过属性检测器获得车辆的属性特征，对于属性特征进行属性结构建模进行加强，抽取部件特征与属性特征构建双粒度结构关系模型来使得属性特征具有跨粒度的车辆结构表达能力。对于部件、属性以及由ResNet50提取的全局特征进行加权融合后得到最终结果，利用本发明能够简洁高效地进行车辆重识别。洁高效地进行车辆重识别。洁高效地进行车辆重识别。


技术研发人员：钟忺 巫世峰 冯独秀 黄文心 章镕波 张瑾 陈利军 张杨 张俊 彭娅婷
受保护的技术使用者：中乾立源工程咨询有限公司
技术研发日：2022.08.31
技术公布日：2022/11/18