一种基于提示学习与三维步态场的视频换衣行人重识别方法
本发明涉及计算机视觉与智能安防,尤其涉及一种基于提示学习与三维步态场的视频换衣行人重识别方法。
背景技术:
1、行人重识别(re-id)是智能安防、视频检索、跨镜追踪场景的核心技术。传统方法普遍以外观视觉特征为核心判别依据,然而在行人服装发生改变时,由于过于依赖衣着纹理,外观特征的区分度会大幅下降,识别精度严重下滑。视频换衣行人重识别(vccre-id)的核心目标是从行人视频中学习衣着无关的身份特征,现有主流方案同时依赖两类特征实现身份判别:一类是经过衣着脱敏处理的视觉外观特征;另一类是从视频时序序列中提取的步态特征,步态作为行人固有的生物特征,受衣着变化干扰小,是跨衣着场景下的核心可靠判别线索。
2、现有技术在实际应用中仍存在多项关键瓶颈。在语义监督层面,现有跨衣着训练方案对预训练视觉-语言模型的探索较少,对提示学习的运用仍局限于预设的静态模板,未针对外观、步态模态构建身份专属的文本语义原型,无法从语义层面引导模型学习衣着无关的身份表征。在步态表征层面,现有二维步态表征(如轮廓、二维姿态点)受视角变化影响显著,对局部遮挡敏感;现有三维步态表征虽引入点云、人体网格参数序列等几何结构信息,对视角变化的鲁棒性较好,但其与常规视觉外观特征的时空维度、数据格式不匹配,不易进行跨模态对齐与融合。
3、因此,如何基于提示学习建立外观、步态模态身份专属的文本语义原型,以及如何构建与输入视频时空对齐并且适配标准视觉输入的三维步态表征,是视频换衣行人重识别领域亟需突破的核心技术瓶颈。
技术实现思路
1、针对现有技术的不足,本发明的目的在于提供一种基于提示学习与三维步态场的视频换衣行人重识别方法,通过构建与输入视频时空对齐的三维步态场,打通三维步态表征与视觉外观特征的融合壁垒;依托提示学习机制建立外观、步态双模态身份专属的文本语义原型;最终实现跨衣着场景下高精度的视频行人身份匹配。
2、为实现上述目的,本发明采用如下技术方案:
3、一种基于提示学习与三维步态场的视频换衣行人重识别方法,包括以下步骤:
4、s1:基于规范空间smpl人体模型预训练网格顶点特征;
5、s2:以行人视频序列为输入,逐帧获取三维网格顶点到二维图像像素的对应关系,训练具备三维几何感知能力的帧级像素特征提取器,其输出的帧级特征用于构建与输入视频时空对齐且通道维度匹配的三维步态场;
6、s3:采用浅层参数共享、深层分支独立的外观-步态双模态clip视觉编码器,通过对该编码器进行第一阶段微调,实现外观分支的衣着脱敏,同时强化身份判别能力,并利用视觉-语言亲和度蒸馏技术保留clip原生图文对齐特性;
7、s4:利用冻结的外观-步态双模态clip视觉编码器与clip文本编码器,分别学习外观与步态模态的身份级文本提示,并通过clip文本编码器将其转化为对应身份的文本语义原型;
8、s5:以步骤s4的文本语义原型作为语义监督,对外观-步态双模态clip视觉编码器进行第二阶段微调;
9、s6:推理阶段,对外观特征与步态特征进行无参的语义自适应加权融合,得到行人身份特征;
10、s7:根据行人身份特征从候选视频集中匹配目标行人视频,完成检索匹配。
11、进一步地,所述步骤s1具体包括如下子步骤:
12、s11:将规范空间smpl人体网格建模为无向图结构,以顶点三维坐标作为图节点初始特征;
13、s12:利用测地距离损失优化图残差卷积网络,最终得到编码人体几何结构先验的三通道网格顶点特征,与标准 rgb 图像通道维度一致;所述测地距离损失定义为:
14、;
15、其中,表示顶点集合,、分别为顶点,的特征,为两个顶点特征间的l2距离,为两个顶点在网格表面归一化到区间的测地距离。
16、进一步地,所述步骤s2具体包括如下子步骤:
17、s21:对输入行人视频序列逐帧恢复smpl人体网格,同时估计对应的相机参数;
18、s22:利用相机参数将三维网格顶点投影至图像平面,构建二维图像像素点-三维网格顶点配对数据;
19、s23:训练具备三维几何感知能力的帧级像素特征提取器,施加像素-顶点对齐约束,使前景像素特征与对应三维顶点特征保持一致;所述像素-顶点对齐约束损失定义为:
20、
;
21、其中,为一个训练批次内的样本总数,为视频序列帧数,为输入视频的第帧中与三维网格顶点配对的有效前景像素集合,为该集合包含的像素点数量;为输入视频的第帧经帧级特征提取器输出的特征图中,坐标处的像素对应的特征向量;为该像素对应三维顶点的预训练特征向量;
22、s24:将各帧输出的像素特征沿时间维度拼接,得到三维步态场;该步态场在时间、空间维度与输入视频完全对齐,单帧特征通道数为3,与标准 rgb 图像通道维度一致,可直接输入clip视觉编码器;所述三维步态场定义为:
23、;
24、其中,为像素坐标,为时间戳,为帧级像素特征提取器,为第帧输入图像,像素特征的维度为3,与预训练网格顶点特征通道数相同;所得到的三维步态场不仅在时空维度上与输入视频对齐,其通道维度还与标准rgb图像通道数一致,可逐帧输入clip视觉编码器进行进一步的特征提取。
25、进一步地,所述步骤s3具体包括如下子步骤:
26、s31:以预训练的clip vit-b/16视觉编码器为骨干,浅层编码器参数共享,深层编码器分为外观与步态两个独立分支,构建外观-步态双模态clip视觉编码器;
27、s32:在外观分支引入衣着对抗损失,构建衣着判别器与外观特征提取分支的对抗训练机制,抑制外观特征中的衣着属性信息,实现衣着脱敏;
28、s33:以冻结的原生clip视觉编码器作为教师网络,引入视觉-语言亲和度蒸馏损失,约束微调后的外观-步态双模态clip视觉编码器与教师网络保持一致的跨模态语义排序关系,以此留存clip预训练阶段习得的原生图文对齐先验;
29、s34:联合身份分类损失、三元组损失、衣着对抗损失与视觉-语言亲和度蒸馏损失,端到端完成外观-步态双模态clip视觉编码器的第一阶段微调,在实现外观分支衣着脱敏的同时,强化外观、步态双分支的身份判别能力,并保留clip原生图文对齐特性。
30、进一步地,所述步骤s4具体包括如下子步骤:
31、s41:冻结外观-步态双模态clip视觉编码器与clip文本编码器,分别为外观与步态模态设计“固定前缀+可学习词元+固定后缀”的身份级文本提示模板;
32、s42:针对外观与步态模态,分别计算视觉到文本、文本到视觉的对比学习损失,以同身份的视觉与文本特征对齐为目标,优化当前模态的可学习词元;
33、s43:优化完成后得到两组身份级文本提示,其经过clip文本编码器进一步编码,转化为两组身份专属文本语义原型。
34、进一步地,所述步骤s5具体包括如下子步骤:
35、s51:以步骤s4得到的两组身份专属文本语义原型作为语义监督,实现外观特征、步态特征与对应模态的身份专属文本语义原型的精准对齐,计算语义原型对齐损失;所述语义原型对齐损失定义为:
36、;
37、其中,为一个训练批次内的样本总数;为余弦相似度函数;为第个样本的真实身份标签;、分别为外观分支、步态分支输出的第个样本特征向量;为第个身份对应的外观文本语义原型,为第个身份对应的步态文本语义原型;
38、s52:联合身份分类损失、三元组损失、语义原型对齐损失,端到端完成外观-步态双模态clip视觉编码器的第二阶段微调。
39、进一步地,所述步骤s6具体包括如下子步骤:
40、s61:推理阶段,基于全量身份的文本语义原型库计算当前身份的外观特征、步态特征的最大语义匹配度作为置信权重;
41、s62:根据步骤s61计算得到的外观特征与步态特征的置信权重,通过加权融合得到最终的行人身份特征;所述置信权重的加权融合过程定义为:
42、
43、其中为最终输出的行人身份特征,为外观特征,为步态特征;为外观模态置信权重,即外观特征与全量身份外观文本语义原型的最大余弦相似度,为步态模态置信权重,即步态特征与全量身份步态文本语义原型的最大余弦相似度。
44、具体地,所述步骤s32中,衣着对抗损失定义为:
45、;
46、其中,为一个训练批次内的样本总数,为外观分支的网络参数,为衣着判别器的网络参数,为第个样本经外观分支输出的特征向量,为第个样本对应的真实衣着类别,为随机采样的非匹配衣着类别,为衣着判别器输出的分类概率。
47、具体地,所述步骤s33中,视觉-语言亲和度蒸馏损失定义为:
48、;
49、其中,为一个训练批次内的样本总数,为模态索引,、分别对应外观模态与步态模态,为外观-步态双模态clip视觉编码器输出的第个样本模态的视觉特征,为冻结的教师clip视觉编码器输出的第个样本模态的视觉特征,为第个基准文本特征,为基准文本总数,为余弦相似度函数,为kl散度函数。
50、具体地,所述步骤s41中,两类文本提示模板为:
51、外观模态:;
52、步态模态:;
53、其中,、分别为外观与步态模态的可学习词元,前后固定文本沿用clip预训练的语义范式,代表可学习词元数量。
54、与现有技术相比,本发明所达到的有益效果是:
55、1)本发明构建了与输入视频时空对齐的三维步态场,通过像素-顶点对齐约束将三维网格顶点特征蒸馏至二维像素特征。三维步态场的单帧特征通道设定为与标准rgb图像一致,从而可直接复用clip视觉编码器进行后续特征提取,解决了传统三维步态表征与外观特征格式不兼容、跨模态对齐融合难度大的问题。
56、2)本发明采用浅层共享、深层分支的外观-步态双模态clip视觉编码器结构。第一阶段微调过程中,模型在强化外观、步态分支身份判别能力的同时,引入衣着对抗损失与视觉-语言亲和度蒸馏损失,既抑制了外观特征中的衣着属性信息,又保留原生clip视觉编码器的图文语义对齐能力。以第一阶段微调后的视觉编码器为基础进行身份级文本提示学习,可生成具备衣着无关特性的文本语义原型,不仅规避了人工文本标注难以精准刻画衣着无关身份语义的痛点,而且为外观特征与步态特征的进一步训练提供了可靠的语义锚点。
57、3)本发明分别为外观、步态模态设定了身份级可学习文本提示,通过视觉到文本、文本到视觉的双向对比学习,优化对应模态的文本提示,而后通过clip文本编码器将其转化为身份专属文本语义原型,从而在语义层面进一步引导模型学习可靠的衣着无关身份表征。相比于预设的静态提示模板,本发明提出的提示学习方法实现了更细粒度的语义监督与更灵活的模态适配能力。
58、4)本发明提出了无参的语义自适应加权融合策略,基于全量文本语义原型库的最大语义匹配度自动为外观与步态模态生成置信权重,无需引入额外可训练参数。本质上,该策略根据输入样本的模态质量动态调整融合占比,不仅实现了外观与步态特征的优势互补,而且避免了因新增融合参数带来的过拟合风险。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com