基于多语义Token解耦与记忆关系蒸馏的行人重识别方法

摘要: 本发明涉及计算机视觉,尤其涉及一种基于多语义token解耦与记忆关系蒸馏的行人重识别方法。背景技术:1、行人重识别(personre-identificatio...
基于多语义Token解耦与记忆关系蒸馏的行人重识别方法

本发明涉及计算机视觉,尤其涉及一种基于多语义token解耦与记忆关系蒸馏的行人重识别方法。

背景技术:

1、行人重识别(person re-identification),简称reid,旨在实现跨非重叠摄像头场景下特定行人身份的检索与匹配,在智能视频监控、公共安全等领域具有重要应用价值。近年来,随着深度学习技术的发展,行人重识别技术取得了较大进展。然而,在实际应用场景中,不同摄像头之间普遍存在光照变化、视角差异、背景干扰、目标遮挡以及摄像头成像风格差异等因素,由此产生的域偏移容易使模型学习到与特定场景相关的外观统计信息,而非稳定的身份判别特征,进而导致模型在未知摄像头或未知场景中的识别性能下降。近年来,以对比语言-图像预训练模型(contrastive language-image pre-training),简称clip,为代表的视觉语言预训练模型被逐步应用于行人重识别任务。该类方法通过将文本语义信息引入视觉特征学习过程,利用文本表示对视觉身份特征进行辅助约束,从而增强行人身份表示的语义表达能力。现有视觉-语言行人重识别方法通常采用单一的身份级文本表示作为跨模态对齐载体,其经文本编码后主要用于形成统一的身份级语义表示,缺少针对不同身份判别语义成分的显式分解和差异化建模机制。

2、由于多个身份判别语义被集中编码于统一的文本表示中,模型容易优先关注服装颜色、人体整体轮廓等显著的粗粒度外观特征,如图1中的(a)所示,而对随身物品、局部服饰纹理、鞋部外观以及局部人体结构等细粒度身份线索的建模不足,如图1中的(b)所示。当不同语义成分缺少有效的差异化约束时,不同语义表示还可能重复关注相似的显著特征,产生较高的语义冗余,从而限制身份特征的细粒度表达能力。特别是在跨摄像头和跨场景条件下,上述统一语义表示还容易将身份判别信息与光照、背景及摄像头风格等域相关因素混合编码,使跨模态学习受到域偏移的影响。此外,现有文本引导行人重识别方法中的文本语义表示通常随着当前训练批次中的视觉特征进行动态更新,当前训练批次中包含的光照变化、摄像头色偏、背景干扰等瞬时域相关信息可能进一步传递至文本语义表示,使模型在训练过程中形成不稳定的身份关系。仅依赖当前训练批次中的样本关系进行特征学习,难以充分利用跨训练迭代积累的稳定身份语义信息,也缺少针对不同细粒度语义成分分别维护稳定身份关系的机制,因而容易受到瞬时域噪声的干扰。

3、因此,如何对行人身份信息进行多语义层面的细粒度分解,降低不同语义表示之间的冗余,并建立不同语义成分与局部视觉特征之间的有效对应关系。同时,如何利用跨训练迭代积累的稳定语义信息约束当前样本的身份关系,降低光照、背景及摄像头风格等域相关噪声对模型学习的影响,是现有视觉-语言行人重识别技术中有待解决的问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于多语义token解耦与记忆关系蒸馏的行人重识别方法。

2、为了实现本发明的上述目的,本发明提供了一种基于多语义token解耦与记忆关系蒸馏的行人重识别方法,包括以下步骤:

3、s1,获取具有身份标签的行人图像,通过视觉编码器提取所述行人图像的局部视觉图块特征;设置多个可学习的语义token,并通过文本编码器获得每个语义token级文本表示;

4、s2,根据多个token级文本表示确定不同语义token对应的语义特征方向,对多个所述语义特征方向进行正交化处理,并根据正交化前后的语义特征方向建立正交约束,以降低不同语义token之间的语义冗余,使多个语义token分别学习相互补充的身份判别语义;

5、s3,针对各token级文本表示,分别确定其与所述行人图像的多个局部视觉图块特征之间的关联程度,并根据所述关联程度对局部视觉图块特征进行聚合,得到分别对应于各语义token的token级视觉表示,以建立不同语义token与行人局部视觉特征之间的对应关系;

6、s4,构建多语义token感知记忆库,针对各训练身份分别维护多个语义token对应的token记忆中心,并根据训练过程中获得的token级文本表示对相应token记忆中心进行跨训练迭代更新;

7、s5,针对当前训练样本的任一语义token,将其对应的token级文本表示与所述多语义token感知记忆库中各身份对应的token记忆中心进行特征关系计算,构建当前token关系分布;根据当前训练样本所属身份对应的token记忆中心,与所述多语义token感知记忆库中各身份对应的token记忆中心之间的特征关系,构建记忆引导的目标token关系分布;

8、s6,根据所述当前token关系分布与所述记忆引导的目标token关系分布之间的差异建立token级关系分布约束,并结合身份监督约束、特征度量约束、语义差异化正交约束及语义视觉对齐约束对行人重识别模型进行训练,在推理阶段仅使用视觉编码器进行特征提取与身份匹配。

9、上述技术方案优选的,s2中所述正交化处理及正交约束包括:在每个训练批次中,根据训练批次内各样本对应语义token的token级文本表示的均值计算各语义token的原型表示,以所述原型表示作为各语义token的主导语义方向;采用施密特正交化方法,针对多个所述主导语义方向,依次消除当前主导语义方向在已获得正交语义方向上的投影分量,并对投影消除后的语义方向进行归一化,得到多个正交语义基;根据各主导语义方向与对应正交语义基之间的余弦相似度构建正交约束损失,通过最小化所述正交约束损失使各主导语义方向与其对应的正交语义基保持一致,以降低不同语义token之间的语义冗余。

10、上述技术方案优选的,s3中所述确定token级文本表示与局部视觉图块特征之间的关联程度并进行聚合包括:采用跨注意力机制,以token级文本表示作为查询向量,以局部视觉图块特征作为键向量和值向量,计算各token级文本表示与多个局部视觉图块特征之间的注意力权重,并根据所述注意力权重对局部视觉图块特征进行加权聚合,得到分别对应于各语义token的token级视觉表示。

11、上述技术方案优选的,s4中所述多语义token感知记忆库按照训练身份和语义token进行组织,每一训练身份分别对应多个语义token的token记忆中心。

12、上述技术方案优选的,所述token记忆中心的跨训练迭代更新包括:采用指数滑动平均方式,根据当前训练样本对应的token级文本表示对相应token记忆中心进行更新,并对更新后的token记忆中心进行归一化处理。

13、上述技术方案优选的,s5中所述当前token关系分布和记忆引导的目标token关系分布的构建包括:针对当前训练样本的第k个语义token,计算其token级文本表示与所述多语义token感知记忆库中各训练身份对应的第k个语义token的token记忆中心之间的相似度,并根据所得相似度构建当前token关系分布;获取当前训练样本所属身份对应的第k个语义token记忆中心,计算该token记忆中心与所述多语义token感知记忆库中各训练身份对应的第k个语义token记忆中心之间的相似度,并根据所得相似度构建记忆引导的目标token关系分布。

14、上述技术方案优选的,s6中所述token级关系分布约束包括:采用kl散度度量所述记忆引导的目标token关系分布与所述当前token关系分布之间的差异,并对不同训练样本及不同语义token对应的kl散度进行聚合,得到关系蒸馏损失,通过最小化所述关系蒸馏损失,使当前token关系分布向记忆引导的目标token关系分布进行对齐。

15、上述技术方案优选的,s6中所述语义-视觉对齐约束包括:以各语义token对应的token级视觉表示作为语义锚点,引导对应语义token及其token级文本表示的学习;分别构建图像到文本的对比约束和文本到图像的对比约束,以建立token级视觉表示与token级文本表示之间的语义一致性,并利用学习得到的token级文本表示引导视觉编码器学习不同的细粒度身份判别特征。

16、上述技术方案优选的,s6中所述对行人重识别模型进行训练采用两阶段优化策略,包括:第一阶段进行语义学习,基于语义-视觉对齐约束和关系蒸馏约束对语义token及token级文本表示进行优化;第二阶段进行视觉特征学习,基于身份分类约束、特征度量约束以及语义-视觉对齐约束对视觉编码器进行优化,以获得用于行人身份匹配的视觉特征表示。

17、上述技术方案优选的,s6中所述在推理阶段仅使用视觉编码器进行特征提取与身份匹配包括:在行人重识别模型训练完成后,移除文本编码器、多语义token感知记忆库及语义token,仅利用训练后的视觉编码器分别提取待查询行人图像和候选行人图像的视觉特征,并根据所述视觉特征之间的相似度确定身份匹配结果。

18、综上所述,由于采用了上述技术方案,本发明的有益效果是:

19、突破传统单token(令牌)提示学习模式,引入多个可学习文本token对行人身份进行多视角语义建模,从而捕获更加丰富且互补的细粒度身份语义信息;设计基于正交约束的token多样化学习机制以及token-视觉图块交互策略,通过约束不同token学习相互独立的语义子空间,并建立文本token与局部视觉区域之间的对应关系,使不同token能够关注不同的判别性视觉线索,从而增强模型对细粒度身份特征的表征能力;提出一种token级记忆引导关系分布蒸馏模块(token-wise memory-guided relational distributiondistillation, tmrd),该模块利用多语义token感知记忆库中的记忆中心构建token级身份关系分布,并将其作为稳定监督信号指导当前token学习,从而有效过滤受域噪声干扰的语义表示,抑制域相关偏差,提高模型的跨域鲁棒性和域泛化能力。

20、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。