一种语义迁移引导的身份仿射调制行人重识别方法与流程

摘要: 本发明涉及图像识别,具体涉及一种语义迁移引导的身份仿射调制行人重识别方法。背景技术:1、行人重识别(personre-identification,re-id)...
一种语义迁移引导的身份仿射调制行人重识别方法与流程

本发明涉及图像识别,具体涉及一种语义迁移引导的身份仿射调制行人重识别方法。

背景技术:

1、行人重识别(person re-identification, re-id)旨在跨越非重叠摄像头视角以及不同时间戳对同一行人进行匹配。得益于深度神经网络所学习到的判别性特征,该任务已经取得了显著进展。然而,这些学习到的特征空间通常依赖于训练数据与测试数据独立同分布(independent and identically distributed, i.i.d.)的假设,这在存在分布偏移的未见领域中会导致性能显著下降。为了解决这一问题,域泛化行人重识别(domaingeneralization person re-id, dg re-id)近年来逐渐兴起,其目标是探索图像的领域不变表示。

2、现有的域泛化方法主要关注消除不同域之间的分布差异,从而学习领域不变特征。这些dg方法通常假设一种同质化环境,即源域与目标域共享相同的类别空间。然而,域泛化行人重识别(dg re-id)面临更加复杂的开放世界设定,即不同域之间不存在身份(id)重叠。不同的标签集合不可避免地会引入源域与目标域之间的语义差异,从而导致模型对源域身份的过拟合。现有以风格为中心的域泛化方法主要尝试对视觉风格,如颜色进行归一化或数据增强,而底层的语义多样性,如形状仍然局限于源域。因此,学习到的表示往往会过度拟合源域中观察到的语义模式,无法覆盖在未见目标域中可能出现的潜在语义变化。这种跨域语义鸿沟严重阻碍了真正具有泛化能力表示的学习,但在dg re-id研究中却常常被忽视。为了解决这一问题,一种直观的方法是利用生成对抗网络(generativeadversarial network, gan)来合成具有不同语义内容的新图像。然而,这类方法计算成本高,在设计和训练额外的数据增强网络时较为复杂,并且所生成的数据多样性有限。近年来,视觉语言模型的发展为利用文本语义信息辅助视觉特征学习提供了新的途径,通过引入丰富的语义描述可以提供超越视觉样本本身的语义知识。然而,现有文本引导方法通常仅利用文本特征作为辅助信息,缺少对语义变化过程的显式描述,无法明确刻画由一种语义状态向另一种语义状态变化的方向关系,也难以进一步指导视觉特征沿目标语义方向进行有效迁移。因此,如何构建能够描述不同语义变化趋势的语义迁移方向表示,并利用该语义迁移方向动态调节视觉特征,使模型在保持身份判别信息的同时适应未知环境中的语义变化,成为开放环境行人重识别领域亟需解决的问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种语义迁移引导的身份仿射调制行人重识别方法。

2、为了实现本发明的上述目的,本发明提供了一种语义迁移引导的身份仿射调制行人重识别方法,包括以下步骤:

3、s1,构建语义迁移方向库,存储不同语义变化的原始语义特征、目标语义特征及语义迁移方向;

4、s2,提取待处理行人图像的视觉特征,根据各语义迁移方向的适配程度确定目标语义迁移方向;

5、s3,根据目标语义迁移方向生成对应的通道缩放参数和通道偏移参数;

6、s4,利用通道缩放参数和通道偏移参数对视觉编码器的中间层视觉特征进行条件仿射调制,并进行残差融合;

7、s5,利用语义关系一致性约束和身份保持约束对视觉编码器及语义条件映射模块进行联合优化,推理阶段使用训练完成的视觉编码器。

8、上述技术方案优选的,s1中所述构建语义迁移方向库包括:按照与行人外观及成像条件相关的语义类别,利用大语言模型生成结构化语义描述;针对每一种语义变化构建原始语义描述和目标语义描述,并通过语义编码网络分别对所述原始语义描述和所述目标语义描述进行编码,获得原始语义特征和目标语义特征。

9、上述技术方案优选的,根据所述原始语义特征与所述目标语义特征之间的差异构建语义迁移方向,并对所述语义迁移方向进行归一化处理;将所述原始语义特征、所述目标语义特征及所述语义迁移方向进行关联存储,形成语义迁移方向库。

10、上述技术方案优选的,s2中所述根据各语义迁移方向的适配程度确定目标语义迁移方向包括:针对每个语义迁移方向,分别计算所述视觉特征与所述语义迁移方向对应的原始语义特征和目标语义特征之间的相似关系;根据原始语义匹配程度与目标语义匹配程度确定匹配评分,并对所述匹配评分进行归一化处理,获得各语义迁移方向对应的迁移权重。

11、上述技术方案优选的,根据所述迁移权重对多个所述语义迁移方向进行加权组合,获得目标语义迁移方向,并对所述目标语义迁移方向进行归一化处理。

12、上述技术方案优选的,将归一化处理后的所述目标语义迁移方向输入语义条件映射模块,通过可学习映射网络将所述目标语义迁移方向映射至与视觉编码器中间层视觉特征的通道维度相匹配的特征空间,生成通道缩放参数和通道偏移参数。

13、上述技术方案优选的,对所述中间层视觉特征进行特征归一化处理,利用所述通道缩放参数进行通道维度调整,并利用所述通道偏移参数引入语义偏移信息,得到语义增强特征;将所述语义增强特征与条件仿射调制前的原始中间视觉特征进行残差融合,得到语义迁移后的中间视觉特征;将所述语义迁移后的中间视觉特征输入视觉编码器后续网络层,得到语义迁移视觉特征;将未经条件仿射调制时视觉编码器输出的视觉特征记为原始视觉特征。

14、上述技术方案优选的,根据所述原始视觉特征和所述语义迁移视觉特征确定视觉特征变化方向,并通过语义关系一致性约束使所述视觉特征变化方向与所述目标语义迁移方向保持一致。

15、上述技术方案优选的,将所述原始视觉特征和所述语义迁移视觉特征分别输入身份分类模块,并利用相同的身份标签进行监督,使语义迁移前后的视觉特征保持与真实行人身份一致的判别结果。

16、上述技术方案优选的,s5中所述训练采用两阶段训练策略:第一阶段,固定视觉编码器和语义编码网络,仅优化与各行人身份对应的可学习语义提示token集合;第二阶段,固定语义编码网络及第一阶段学习得到的语义提示表示,解冻视觉编码器,并联合优化语义迁移方向建模模块和语义方向引导仿射调制模块。

17、综上所述,由于采用了上述技术方案,本发明的有益效果是:

18、充分利用文本语义中蕴含的属性变化、外观变化和环境变化信息,引导视觉模型学习具有语义迁移能力和身份判别能力的视觉表示,用于开放环境行人重识别任务;提出语义迁移方向建模模块,通过构建语义迁移方向库,并结合待处理行人图像的视觉特征与各语义迁移方向对应的原始语义特征和目标语义特征之间的关联关系,自适应确定各迁移方向的权重并形成与当前样本相适应的目标语义迁移方向;提出语义方向引导仿射调制模块,将目标语义迁移方向映射为通道缩放参数和通道偏移参数,对视觉编码器中间层特征进行条件仿射调制,并结合残差融合、语义关系一致性约束和身份保持约束,使视觉特征沿目标语义方向发生定向变化,从而提升模型对未见目标域语义变化的泛化能力。

19、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。