一种基于人体外观解析引导的换装行人重识别方法
本发明属于计算机视觉与行人重识别领域，尤其涉及一种基于人体外观解析引导的换装行人重识别方法。
背景技术：
1、行人重识别旨在从非重叠摄像机采集的图像或视频中检索具有相同身份的目标行人，传统行人重识别方法通常假设同一行人在不同摄像机视角下的服装外观保持相对稳定，因此模型往往倾向于利用颜色、纹理、服装款式等外观线索进行身份匹配。
2、在长期监控和跨时段检索场景中，同一行人的服装可能发生显著变化，导致原有的颜色、纹理和款式线索不再可靠。换装行人重识别旨在从服装变化显著的行人图像中提取稳定的身份判别特征，相较于传统行人重识别任务，其面临更强的类内差异和更复杂的外观变化。
3、现有换装行人重识别方法主要包括以下几类：一类方法通过数据增强、对抗学习、因果推断或服装无关约束等方式隐式削弱服装特征的影响；另一类方法引入人体姿态、人体轮廓、人体解析图或属性信息等辅助先验，以显式增强模型对人体结构和身份稳定区域的感知能力；还有一类方法通过度量学习或对比学习损失函数约束特征空间，使同一身份样本靠近、不同身份样本远离。
4、现有基于人体解析或语义先验的换装行人重识别方法通常将人体解析结果作为掩码、注意力图或辅助输入，用于抑制服装区域或增强人体结构区域。然而，单纯依赖解析图像容易丢失原始图像中的细粒度身份线索，例如头部特征、体型轮廓、局部配饰、姿态细节等；而直接将原始可见光特征与解析特征进行拼接或相加，又难以根据不同人体局部区域的服装变化程度进行差异化融合。
5、此外，服装变化通常并非均匀作用于整幅行人图像，而是集中于上衣、下装、外套等局部区域。不同区域受到服装、遮挡、背景和姿态变化的影响程度不同。若仅采用全局特征进行建模，模型难以识别哪些局部区域需要更多结构先验辅助，哪些区域应保留原始外观细节，从而影响换装场景下的身份判别能力。
6、在特征优化方面，现有跨流或跨模态约束往往只关注同一图像实例的严格对齐，即仅将同一张图像对应的原始图像特征和人体解析特征作为正样本，而忽略同一身份不同服装样本之间的身份一致性。换装行人重识别不仅需要实现同一图像的跨流对齐，还需要在同一身份不同服装样本之间建立稳定的身份级一致性约束。
7、因此，如何在训练阶段充分利用人体解析图提供的结构先验，在局部区域层面自适应融合原始外观特征和人体结构特征，同时在特征空间中建立实例级和身份级的分层一致性约束，并在推理阶段不增加额外计算开销，是换装行人重识别领域亟待解决的技术问题。
技术实现思路
1、本发明就是针对现有技术存在的缺陷，提供一种基于人体外观解析引导的换装行人重识别方法。其通过引入人体部位语义解析信息作为结构先验，并利用局部差异门控融合机制自适应调节人体结构特征与外观特征之间的信息融合强度，使模型能够在保留行人外观判别信息的同时增强对人体结构布局的表征能力，从而降低服装颜色、纹理及款式变化对身份特征学习的影响，提高换装场景下行人重识别的准确性。
2、为实现上述目的，本发明采用如下技术方案，一种基于人体外观解析引导的换装行人重识别方法，包括：
3、s1、分别采集若干个目标行人的原始可见光图像，构建带有身份标签的训练图像集和待测图像集，并对训练图像集中的原始可见光图像进行图像增强；
4、s2、对训练图像集中的原始可见光图像进行人体部位语义解析，得到与原始可见光图像一一对应的人体解析图集；
5、s3、构建包括原始可见光分支和人体解析分支的非对称双路特征提取网络，将增强后的原始可见光图像输入原始可见光分支，得到原始特征图，将人体解析图输入人体解析分支，得到结构特征图；
6、其中，原始可见光分支为训练阶段和推理阶段均保留的主分支，人体解析分支为训练阶段引入人体解析先验的辅助分支。
7、s4、将原始特征图和结构特征图按照相同的区域划分方式分别划分为多个局部区域，并计算对应局部区域内原始特征与结构特征之间的差异，得到局部差异图；
8、s5、根据局部差异图生成密集门控矩阵，利用密集门控矩阵对结构特征图中的局部结构特征进行加权，并将加权后的局部结构特征以残差注入方式融合至对应的原始特征中，得到局部融合特征；
9、s6、将各个局部融合特征分别替换回原始特征图的对应区域，得到多个局部重构特征图，并根据各个局部区域的密集门控矩阵生成全局融合权重，得到全局融合特征图；
10、s7、分别对多个局部重构特征图和全局融合特征图进行池化和瓶颈层映射，得到局部融合描述子和全局融合描述子；
11、s8、基于同一图像实例的跨分支强正样本、同一身份不同图像实例的跨分支弱正样本以及不同身份负样本之间的层级关系构建分层对比损失，并结合身份分类损失和三元组损失对所述非对称双路特征提取网络进行训练；
12、s9、将待测图像集中的待测原始可见光图像输入训练后的原始可见光分支，关闭所述人体解析分支以及局部差异门控融合过程，仅利用原始可见光分支提取待测图像特征；
13、s10、根据待测图像特征之间的余弦相似度对候选行人图像进行排序，得到目标行人的重识别结果。
14、进一步地，s2中，所述人体解析图集中的各人体解析图以不同像素值或颜色编码表示人体不同部位区域，用于提供人体部位布局、轮廓结构和空间位置先验信息；用于所述人体部位语义解析的网络在所述非对称双路特征提取网络训练过程中保持参数冻结。
15、进一步地，s3中，原始可见光分支和人体解析分支分别通过对应的特征提取映射获得原始特征图和结构特征图，原始特征图和结构特征图表示为：
16、
17、
18、
19、其中，表示原始可见光行人图像，表示与一一对应的人体解析图；表示原始可见光分支的特征提取映射，表示人体解析分支的特征提取映射；表示由原始可见光分支针对原始可见光行人图像提取得到的原始特征图，表示由人体解析分支针对同一行人图像对应的人体解析图提取得到的结构特征图，表示用于身份判别的特征通道数，和分别表示与行人身体空间布局对应的特征图高度和特征图宽度。
20、s3中，非对称双路特征提取网络的非对称性包括：输入信息非对称，原始可见光分支接收原始可见光行人图像并提取颜色、纹理和局部视觉模式相关的外观特征，人体解析分支接收同一原始可见光行人图像对应的人体解析图并提取由人体解析先验引导的结构特征；融合方向非对称，结构特征以残差方式注入外观特征而不是与外观特征进行双向等价融合；训练推理生命周期非对称，训练阶段同时使用原始可见光分支、人体解析分支和局部差异门控融合过程，推理阶段仅保留原始可见光分支。
21、进一步地，s4中，将原始特征图和结构特征图沿与行人身体纵向布局对应的高度方向划分为个水平局部区域，得到第个局部区域的原始局部特征和结构局部特征，其中，，，为使能够被整除的正整数；
22、对第个局部区域中空间位置处的通道向量计算局部差异值，形成局部差异图，i∈{1,…,hk},j∈{1,…,w},d(k)∈rhk×w；用公式表示为：
23、
24、其中，表示第个水平局部区域中空间位置处的原始特征与结构特征之间的局部差异值；表示沿通道维度的内积，表示二范数，表示防止除零的数值稳定常数。
25、局部差异值越大，表示该空间位置处由原始可见光分支提取的外观特征与由人体解析分支提取的结构特征之间的差异越大。在一个由分区数量实验确定的实施例中，取12。
26、进一步地，s5中，根据局部差异图生成密集门控矩阵，并基于密集门控矩阵完成局部残差融合，用公式表示为：
27、
28、
29、其中，表示第个局部区域的密集门控矩阵，表示该局部区域中空间位置处对人体解析结构特征的门控权重；表示sigmoid激活函数，表示门控温度参数，表示用于生成门控温度参数的可学习变量，表示保证门控温度参数为正并保持数值稳定的常数；表示逐元素乘法并沿通道维度广播，表示第个局部区域的局部融合特征。
30、进一步地，s6中，将第个局部融合特征替换回原始特征图的对应区域，同时保持其他局部区域为原始局部特征，得到第个局部重构特征图，用公式表示为：
31、
32、其中，表示沿特征图高度方向的拼接操作，表示仅在第个水平局部区域引入人体解析结构残差信息、并保留整体人体空间布局的第个局部重构特征图。
33、进一步地，s6和s7中，根据各个局部区域的密集门控矩阵计算全局融合权重，得到全局融合特征图；并分别由局部重构特征图、全局融合特征图、原始特征图和结构特征图生成用于监督训练的描述子，用公式表示为：
34、
35、其中，表示由各水平局部区域密集门控矩阵均值得到的全局融合权重，表示全局融合特征图，表示密集门控矩阵的全部空间位置取均值，表示自适应池化，表示展平操作，表示第个局部重构特征图对应的瓶颈层，表示全局融合特征图对应的瓶颈层，和分别表示原始可见光分支和人体解析分支对应的瓶颈层；表示第个局部融合描述子，表示全局融合描述子，表示由原始特征图得到的原始可见光分支描述子，表示由结构特征图得到的人体解析分支描述子。
36、进一步地，s8中，构建分层对比损失时，训练批次按照身份进行采样，每个训练批次包含个身份，每个身份包含个不同图像实例，，训练批次大小；不同图像实例包括同一身份在不同服装、不同采集时间和/或不同摄像机视角下采集的原始可见光行人图像及其对应人体解析图；
37、设原始可见光分支输出的归一化描述子为，人体解析分支输出的归一化描述子为，第个样本的身份标签为，跨分支相似度矩阵、身份邻接矩阵、强正样本掩码、弱正样本掩码和分层软目标矩阵，分别用公式表示为：
38、
39、
40、其中，表示第个原始可见光分支描述子与第个人体解析分支描述子之间的跨分支相似度，表示对比学习温度系数；表示身份邻接矩阵，表示阶单位矩阵，表示同一图像实例的跨分支强正样本掩码，表示同一身份不同图像实例的跨分支弱正样本掩码；和分别表示强正样本权重和弱正样本权重，且，以使同一图像实例的跨分支对齐约束强于同一身份不同图像实例的一致性约束；表示分层软目标矩阵归一化中的数值稳定常数；表示归一化后的分层软目标矩阵，i,j∈{1,…,b}。
41、对于身份标签不同的样本对，为，身份标签不同的样本对不作为正样本分配软目标权重，但其相似度项仍参与相似度矩阵的softmax归一化分母，从而作为不同身份负样本约束网络学习身份可区分特征；在一个由参数分析实验确定的实施例中，取，取，取。
42、进一步地，s8中，所述分层对比损失包括原始可见光分支到人体解析分支方向的损失和人体解析分支到原始可见光分支方向的损失，用公式表示为：
43、
44、
45、其中，表示原始可见光分支到人体解析分支方向的对比损失，表示人体解析分支到原始可见光分支方向的对比损失，表示分层对比损失,所述两个方向的softmax归一化分母均包含同批次内全部身份样本的跨分支相似度项；表示归一化后的分层软目标矩阵的转置矩阵。
46、进一步地，s8中，非对称双路特征提取网络的总训练损失由身份分类损失、三元组损失和分层对比损失共同构成，用公式表示为：
47、
48、其中，表示由原始可见光分支描述子、人体解析分支描述子、全局融合描述子和个局部融合描述子构成的监督特征集合；表示与监督描述子对应的身份分类头，表示身份标签；
49、表示用于约束行人身份类别判别的身份分类损失，表示用于约束同身份特征距离小于不同身份特征距离的三元组损失，表示分层对比损失；表示分层对比损失权重, 身份分类损失权重和三元组损失权重设置为1。
50、而且，s9和s10中，模型推理阶段仅保留训练后的原始可见光分支，将查询图像和候选库图像分别输入所述原始可见光分支得到查询特征和候选特征，并根据余弦相似度得到重识别结果，用公式表示为：
51、
52、其中，表示查询图像特征，表示候选库图像特征，表示查询图像与候选库图像之间的余弦相似度；按照余弦相似度由高到低输出与查询图像身份相匹配的候选行人图像。
53、与现有技术相比本发明有益效果。
54、本发明利用人体解析图提供人体部位布局和结构先验，通过局部差异门控融合机制自适应调节不同局部区域中人体结构先验的融合强度，从而削弱服装颜色、纹理和款式变化带来的干扰。
55、本发明在保留原始可见光图像细粒度外观信息的同时，引入人体解析图中的结构信息，并采用残差注入方式进行局部融合，避免单纯依赖解析图像造成身份细节丢失。
56、本发明通过局部重构特征图和全局融合特征图共同监督模型训练，使模型同时获得局部区域判别能力和整体身份表征能力，提高换装场景下的特征鲁棒性。
57、本发明设计分层对比损失，同时考虑同一图像实例的强正样本对齐和同一身份不同图像实例的弱正样本一致性，能够缓解换装引起的类内特征分散问题，增强身份特征的聚集性。同时，在训练阶段利用人体解析分支和差异门控局部融合模块进行辅助学习，在推理阶段仅保留原始可见光分支进行特征提取和检索，因此在提高识别精度的同时兼顾实际部署效率。