基于骨架引导可微剪影的端到端步态识别方法及系统
本发明涉及步态识别,具体涉及一种可微分剪影桥接实现端到端优化的步态识别方法及系统,适用于复杂场景下基于视频图像序列的步态识别。
背景技术:
1、步态识别是一种利用人体行走姿态变化进行身份区分的生物特征识别技术。现有步态识别方法多采用“两步走”方案,即先通过语义分割或姿态估计算法从rgb(red-green-blue,红绿蓝三通道)图像中提取剪影或骨架等中间表示,再基于这些中间表示训练深度网络进行识别。这种方案在遮挡及夜间光照不足等复杂场景下易产生上游分割误差,且该误差会累积传递至下游识别模型,导致模型在真实环境中的识别精度与鲁棒性显著下降。为解决上述问题,近年来出现了端到端步态识别方案,将剪影生成与特征提取纳入统一框架联合优化,在一定程度上缓解了两步法固有的误差累积问题。然而这也引入了新的挑战——识别梯度直接回传至剪影生成过程时,衣物纹理等身份无关信息极易被同步引入剪影之中,造成纹理泄露。现有端到端方案在抑制纹理方面进行了许多探索,但普遍未对中间剪影表示施加合理的结构约束:缺乏显式约束的方法在识别梯度的作用下极易引入身份无关纹理以辅助识别;采用刚性约束的方法难以灵活覆盖复杂的结构争议区域,使得端到端联合优化的优势无法充分发挥。
2、可微分二值化是一种将连续概率图转化为近似二值图的数学方法,通过引入可学习的阈值图,使二值化过程可导。该方法中天然具备对连续概率响应中的纹理波动进行抑制的特性,已在场景文本检测等领域得到成功应用。然而在端到端步态识别任务中,如何构建合理的可学习阈值图,在保持剪影可训练的同时,有效抑制纹理信息向下游模型传递,现有技术尚缺乏系统性的解决方案。尤其是在大规模多协变量数据集上兼顾纹理抑制与识别任务需求的前提下,构建一种通用的端到端步态识别框架仍存在较大挑战。
技术实现思路
1、本发明的目的在于提供一种通用的端到端步态识别方法及系统,以解决现有技术中分割误差累积与外观纹理泄露的问题,实现对多种下游步态识别模型的灵活适配。
2、为实现上述目的,本发明一方面,提供一种基于骨架引导可微剪影桥的端到端步态识别方法,包括以下步骤:
3、步骤1:获取行人视频序列,预处理得到骨架置信度图与真实剪影。
4、优选地,对输入的行人视频序列,采用预训练的人体姿态估计算法提取各帧图像的人体关键点及其骨骼拓扑连接,生成包含关节通道与骨骼通道的双通道骨架图与单通道骨架置信度图,并通过双通道骨架图取最大值合成单通道骨架置信度图;同时利用预训练分割算法或标注数据获取各帧对应的前景掩码作为真实剪影;将所述骨架图、真实剪影与对应的行人视频序列在空间维度上执行几何对齐与尺寸标准化处理,作为后续特征提取的输入先验与结构监督信号。
5、步骤2:构建双分支分离解码网络,基于骨架置信度图与真实剪影生成前景概率图与自适应阈值图。
6、优选地,对输入的行人视频序列,采用分割网络u-net(一种常见的轻量级图像分割卷积神经网络)的编码器部分作为共享编码器,提取各帧图像的帧级特征图;随后将该帧级特征图分别输入相互独立的前景解码器和阈值解码器。所述前景解码器以步骤1获取的真实剪影为监督信号,生成用于提供基础人体形状估计的前景概率图;所述阈值解码器以真实剪影与骨架置信度图构建阈值监督目标,生成用于调整二值化边界的自适应阈值图。此处的双分支独立解码器结构与u-net分割解码器一致,分离架构仅用于解耦前景估计与自适应阈值预测,防止共享解码参数引入梯度干扰。
7、步骤3:基于前景概率图与自适应阈值图,进行前景概率图线性区间校准及可微二值图的自适应对齐。
8、优选地,首先根据预设的上下界参数对前景概率图进行线性区间校准,得到压缩差异范围后的校准前景概率图,将校准后的前景概率图与自适应阈值图的差值执行可微二值化运算,映射生成近似二值剪影。
9、示例性的,可微二值化运算采用带陡度因子的sigmoid函数:
10、
11、其中,sigmoid函数是一种映射函数,可将输入单调映射至(0,1)区间,为陡度控制因子,为校准前景概率图,为自适应阈值图。随后,根据该近似二值剪影提取人体前景像素分布的最小外接矩形框,并在区域采样前执行人体区域可靠性质量评估:统计前景像素分布的有效图像行数,以及前景框高度占图像总高度的比例。当上述图像指标均满足预设可靠性阈值时,对该前景框执行尺寸重采样对齐,调整至与下游步态识别模型输入要求一致;当任一比例低于预设可靠性阈值时,触发保守降级退回机制,采用预设的固定上下边界范围重置裁剪生成的近似二值剪影,避免由样本质量导致的过度裁剪。
12、步骤4:基于骨架置信度图、真实剪影与自适应阈值图构建结构先验,并获取空间结构约束区域,计算空间加权阈值损失。
13、优选地,本步骤以步骤1预处理得到的骨架置信度图、真实剪影与步骤2生成的自适应阈值图为输入,构建结构先验并约束阈值解码器的学习:
14、根据真实剪影与预设骨架置信度阈值所确定的骨架高置信区域,取真实剪影和骨架高置信区域的并集作为空间结构约束区域,该区域用于限定阈值图中允许接收识别梯度更新的空间范围。
15、结合真实剪影、骨架置信度图与空间结构约束区域生成结构监督权重图,在真实剪影与骨架置信度图高度一致的位置赋予较大权重;在两者不一致的结构争议区域赋予较小权重。利用该权重图对自适应阈值图的损失函数进行按位置加权计算,得到空间加权阈值损失。
16、步骤5:基于空间结构约束区域进行选择性识别梯度传播。
17、优选地,选择性识别梯度传播包括两个部分的梯度截断操作:其一,对校准后的前景概率图施加梯度截断,阻断下游识别梯度经前景解码器回传至共享编码器及前景解码器,使基础前景表征不被身份监督信号干扰;其二,在阈值解码器的梯度回传路径中,仅允许下游识别梯度在步骤4所构建的空间结构约束区域内传入,该区域外的梯度被截断,避免背景信息污染阈值解码器。
18、经上述选择性梯度传播后,识别损失梯度仅更新阈值解码器在空间结构约束区域内的参数,进而移动可微二值化的判决边界,使近似二值剪影的局部轮廓形态沿识别损失下降方向发生受控调整。该调整仅发生在结构约束区域,在结构约束区域允许识别任务校正二值化边界,使近二值剪影在保持抑制纹理的特点的同时,逐步趋向于强化身份判别有效区域,实现表征与识别任务的自适应对齐。
19、步骤6:选择性识别梯度传播后,基于两阶段优化策略完成联合训练与步态识别。
20、优选地,网络训练采用两阶段优化策略:第一阶段为基础表征学习阶段,利用分割损失与空间加权阈值损失同时优化优化共享编码器、前景解码器和阈值解码器,该阶段截断指向截断指向剪影生成端的识别梯度,确保在没有下游模型干扰的情况下形成稳定的基础前景表征。第二阶段为联合优化阶段,冻结共享编码器和前景解码器,保持前景表征基底固定,仅联合优化下游步态识别模型和阈值解码器,且识别梯度仅在空间结构约束区域内更新阈值解码器,实现剪影表征对识别任务的自适应适配。
21、模型训练完成后进入推理阶段:该阶段仅需输入行人视频序列,网络将自适应生成前景概率图与自适应阈值图,经可微二值化与自适应对齐得到近似二值剪影并输入训练好的下游步态识别模型。识别模型将提取查询样本的步态嵌入向量,与候选样本库中各嵌入向量计算距离并排序,取距离最小的候选样本对应的身份作为识别结果输出,最终完成身份识别。
22、本发明另一方面,还提供基于骨架引导可微剪影的端到端步态识别系统,包括以下模块:
23、行人视频预处理模块,用于获取行人视频序列,预处理得到骨架置信度图与真实剪影。
24、分离解码模块,用于构建双分支分离解码网络,基于骨架置信度图与真实剪影生成前景概率图与自适应阈值图。
25、校准与对齐模块,基于前景概率图与自适应阈值图,进行前景概率图线性区间校准及可微二值图的自适应对齐。
26、空间加权阈值损失模块,基于骨架置信度图、真实剪影与自适应阈值图构建结构先验,并获取空间结构约束区域,计算空间加权阈值损失。
27、步态识别模块,基于空间结构约束区域进行选择性识别梯度传播,然后通过两阶段优化策略完成联合训练与步态识别。
28、与现有技术相比,本发明所达到的有益效果是:本发明通过构建骨架引导的可微剪影桥,将剪影生成与步态识别纳入统一的端到端框架,有效缓解了两步法方案中分割误差累积传递至下游识别模型的问题。相比现有端到端方法,本发明采用可微分二值化机制与结构先验相结合,将识别驱动的自适应调节精确限定在结构约束区域内,既发挥了端到端联合优化的优势,又避免了背景区域被错误强化,实现了显式形态保持与识别任务适配的统一,能够更灵活地应对换装、遮挡等复杂场景下的结构变化。实验证明本发明可灵活适配多种下游步态识别模型,可使现有剪影式步态识别方法在大规模多协变量数据集上均取得显著的性能提升,具有良好的鲁棒性和实际应用价值。本发明从骨架引导的可微分剪影生成出发,为端到端步态识别提供了一种兼顾精度与泛化能力的新技术途径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com