零样本骨骼动作识别方法及系统

摘要: 本发明涉及动作识别,尤其涉及一种零样本骨骼动作识别方法及系统。背景技术:1、人体动作识别广泛应用于智能监控、人机交互、医疗康复、智能家居和机器人感知等场景。与r...
零样本骨骼动作识别方法及系统

本发明涉及动作识别,尤其涉及一种零样本骨骼动作识别方法及系统。

背景技术:

1、人体动作识别广泛应用于智能监控、人机交互、医疗康复、智能家居和机器人感知等场景。与rgb视频相比,骨骼序列只包含人体关节坐标及其运动关系,能够降低背景、光照、衣着和身份信息带来的干扰,且隐私风险较低。因此,基于骨骼的动作识别成为开放环境人体行为理解的重要技术路线。

2、现有骨骼动作识别模型通常依赖大量已标注动作样本,并默认测试动作类别已经在训练集中出现。当系统部署到真实场景时,经常会遇到训练阶段没有标注样本的新动作,例如新的交互动作、细粒度手部动作、局部身体不适动作或多人交互动作。传统闭集分类器无法直接识别这些未见类别。

3、零样本骨骼动作识别尝试利用类别文本名称、属性描述或大模型语义嵌入来识别未见动作。常见方案是将骨骼特征与动作文本特征投影到同一空间,再根据相似度分类。然而,该类方案至少存在四个突出问题:第一,clip等文本原型主要来自图文预训练,动作名称中包含的物体、场景或意图信息未必能从骨骼关节坐标中观察到,导致文本原型与骨骼运动簇存在偏移;第二,全局池化骨骼描述通常对所有候选类别共用同一个视觉向量,难以表达“同一骨骼样本在不同候选动作下应关注不同关节”的事实;第三,普通注意力只输出相关性,无法验证得分是否真实依赖被候选语义指向的关节区域,容易形成不可审查的偶然匹配;第四,在广义零样本识别中,测试样本可能来自已见类别或未见类别,模型得分往往偏向已见类别,导致未见类别召回不足。

4、已有的注意力机制通常用于序列内部自注意、通道注意或普通文本-视觉交互,但其并未把动作文本拆解为人体部位级先验,也没有针对人体固定关节拓扑建立候选类别级证据场,更缺乏对高响应关节、低响应关节和拓扑邻域关节的反事实校验。因此,需要一种面向骨骼动作场景特化的零样本识别方案,使动作语义既能作为类别原型参与分类,又能转化为可分配、可遮蔽、可传输的关节证据质量,并在不使用真实未见标签的情况下校准目标样本分配。

技术实现思路

1、本发明的目的在于提供一种零样本骨骼动作识别方法及系统,旨在解决现有零样本骨骼动作识别中存在的文本原型与骨骼运动空间不对齐、全局骨骼特征缺乏候选类别特异性、候选类别得分缺少反事实证据校验、以及广义零样本识别中已见类别偏置明显的问题。

2、第一方面,本发明提供一种零样本骨骼动作识别方法,所述方法包括:

3、获取已见类别的人体骨骼动作序列作为训练样本,无标签的人体骨骼动作序列作为目标样本,获取包含已见类别和未见类别的候选动作文本,并从所述训练样本和目标样本中分别提取有序骨骼特征矩阵,并将所述候选动作文本编码为初始动作文本向量;

4、将所述初始动作文本向量输入残差调整网络,依次进行文本向量投影、残差校正、受限比例相加和归一化,得到候选动作文本向量;

5、根据所述候选动作文本向量生成候选动作文本查询向量,并根据所述有序骨骼特征矩阵的每一行数值向量生成值向量,并根据所述候选动作文本查询向量和所述值向量生成候选动作相关骨骼向量;

6、将所述候选动作相关骨骼向量依次经过线性映射、层归一化和gelu处理,得到第一骨骼向量,并根据所述第一骨骼向量生成最终骨骼向量,并根据所述最终骨骼向量计算得到候选类别得分;

7、对未见类别的候选动作文本向量进行校正,得到校正后的未见类别候选动作文本向量,根据所述校正后的未见类别候选动作文本向量重新计算未见类别的候选动作得分,得到校正后得分矩阵;

8、对所述校正后得分矩阵中未见类别候选动作所在的列进行整批最优传输分配,根据分配结果与所述目标样本的无文本骨骼向量对应的已见类别候选动作得分的比较结果,输出每个目标样本的零样本或广义零样本动作类别。

9、第二方面,本发明提供一种零样本骨骼动作识别系统,所述系统包括:

10、样本获取模块,用于获取已见类别的人体骨骼动作序列作为训练样本,无标签的人体骨骼动作序列作为目标样本,获取包含已见类别和未见类别的候选动作文本,并从所述训练样本和目标样本中分别提取有序骨骼特征矩阵,并将所述候选动作文本编码为初始动作文本向量;

11、向量提取模块,用于将所述初始动作文本向量输入残差调整网络,依次进行文本向量投影、残差校正、受限比例相加和归一化,得到候选动作文本向量;

12、查询向量生成模块,用于根据所述候选动作文本向量生成候选动作文本查询向量,并根据所述有序骨骼特征矩阵的每一行数值向量生成值向量,并根据所述候选动作文本查询向量和所述值向量生成候选动作相关骨骼向量;

13、得分计算模块,用于将所述候选动作相关骨骼向量依次经过线性映射、层归一化和gelu处理,得到第一骨骼向量,并根据所述第一骨骼向量生成最终骨骼向量,并根据所述最终骨骼向量计算得到候选类别得分;

14、矩阵构建模块,用于对未见类别的候选动作文本向量进行校正,得到校正后的未见类别候选动作文本向量,根据所述校正后的未见类别候选动作文本向量重新计算未见类别的候选动作得分,得到校正后得分矩阵;

15、类别输出模块,用于对所述校正后得分矩阵中未见类别候选动作所在的列进行整批最优传输分配,根据分配结果与所述目标样本的无文本骨骼向量对应的已见类别候选动作得分的比较结果,输出每个目标样本的零样本或广义零样本动作类别。

16、第三方面,本发明提供一种存储介质,所述存储介质存储一个或多个程序,该程序被处理器执行时实现上述的零样本骨骼动作识别方法。

17、第四方面,本发明提供一种电子设备,所述电子设备包括存储器和处理器,其中:

18、所述存储器用于存放计算机程序;

19、所述处理器用于执行存储器上所存放的计算机程序时,实现上述的零样本骨骼动作识别方法。

20、与现有技术相比,本发明具有如下优点:

21、本发明通过残差调整网络对初始文本向量进行投影、残差校正、受限比例相加及归一化处理,能够有效增强文本特征对未见类别的泛化表达能力;同时,利用交叉注意力机制生成的候选动作相关骨骼向量,结合多分支特征融合(骨骼相关特征、全局均值特征、全局展开特征)与得分修正量,可充分挖掘骨骼序列的时空判别信息,提升类别得分的准确性;进一步地,通过对未见类别文本向量进行校正并采用整批最优传输分配,能够缓解广义零样本识别中的偏见问题,实现未见类别与已见类别得分的合理比较,最终在零样本和广义零样本两种设定下均能稳定输出准确的动作类别,显著提高模型对未见过动作的识别能力。

1.一种零样本骨骼动作识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的零样本骨骼动作识别方法,其特征在于,所述从所述训练样本和目标样本中分别提取有序骨骼特征矩阵的步骤包括:

3.根据权利要求2所述的零样本骨骼动作识别方法,其特征在于,所述将所述初始动作文本向量输入残差调整网络,依次进行文本向量投影、残差校正、受限比例相加和归一化,得到候选动作文本向量的步骤包括:

4.根据权利要求3所述的零样本骨骼动作识别方法,其特征在于,所述根据所述候选动作文本向量生成候选动作文本查询向量,并根据所述有序骨骼特征矩阵的每一行数值向量生成值向量,并根据所述候选动作文本查询向量和所述值向量生成候选动作相关骨骼向量的步骤包括:

5.根据权利要求4所述的零样本骨骼动作识别方法,其特征在于,所述将所述候选动作相关骨骼向量依次经过线性映射、层归一化和gelu处理,得到第一骨骼向量,并根据所述第一骨骼向量生成最终骨骼向量,并根据所述最终骨骼向量计算得到候选类别得分的步骤包括:

6.根据权利要求5所述的零样本骨骼动作识别方法,其特征在于,所述对未见类别的候选动作文本向量进行校正,得到校正后的未见类别候选动作文本向量,根据所述校正后的未见类别候选动作文本向量重新计算未见类别的候选动作得分,得到校正后得分矩阵的步骤包括:

7.根据权利要求6所述的零样本骨骼动作识别方法,其特征在于,所述对所述校正后得分矩阵中未见类别候选动作所在的列进行整批最优传输分配,根据分配结果与所述目标样本的无文本骨骼向量对应的已见类别候选动作得分的比较结果,输出每个目标样本的零样本或广义零样本动作类别的步骤包括:

8.一种零样本骨骼动作识别系统,其特征在于,所述系统包括:

9.一种存储介质,其特征在于,所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1-7任一项所述的零样本骨骼动作识别方法。

10.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,其中: