体感游戏机的人体动作语义识别方法、装置及存储介质与流程

摘要: 本发明属于图像识别的,尤其涉及一种体感游戏机的人体动作语义识别方法、装置及存储介质。背景技术:1、人体动作识别技术是计算机视觉与人工智能领域承担视频行为理解、人...
体感游戏机的人体动作语义识别方法、装置及存储介质与流程

本发明属于图像识别的,尤其涉及一种体感游戏机的人体动作语义识别方法、装置及存储介质。

背景技术:

1、人体动作识别技术是计算机视觉与人工智能领域承担视频行为理解、人机交互意图感知与智能监控分析等功能的核心手段,其输入源通常来自单目或多目摄像头采集的视频流,亦可借助深度传感器或可穿戴惯性测量单元获取的人体姿态轨迹。该技术在家庭服务机器人交互、自动驾驶舱内乘员行为监测、养老看护异常事件检测、安防视频结构化分析、运动员技术动作评估等场景中扮演关键角色,其识别结果的细粒度与可解释性直接关系到下游决策的可靠性与人机协作的安全。一旦识别结果出现偏差,轻则造成意图误判、交互错位,重则导致监护失效、误报警乃至操控风险,直接威胁系统可用性与用户人身安全。

2、针对上述需求,现有技术中的人体动作识别方案多以单一动作类别分类为目标,将连续运动过程压缩为若干离散标签,例如仅输出走、跑、坐、站等粗粒度行为类型,对动作与场景对象交互的过程缺乏结构化描述,在需要细粒度语义或多动作并发场景下容易出现类别混淆或语义断裂。

技术实现思路

1、有鉴于此,本发明实施例提供了一种体感游戏机的人体动作语义识别方法、装置及存储介质,以解决现有技术对动作与场景对象交互的过程缺乏结构化描述,在需要细粒度语义或多动作并发场景下容易出现类别混淆或语义断裂的技术问题。

2、本发明实施例的第一方面提供了一种体感游戏机的人体动作语义识别方法,所述体感游戏机的人体动作语义识别方法包括:

3、获取按时间顺序排列的多帧骨架关键点序列,将所述骨架关键点序列分解为按时间顺序排列的语义基元序列;其中,语义基元包括描述人体自身运动的运动基元和描述人体与场景对象之间交互的交互基元;

4、根据所述语义基元序列从预设的语义框架库中激活至少一个候选语义框架;其中,所述语义框架库中的每个语义框架包括表示动作语义的谓词和表示动作参与要素的若干个槽位;

5、根据所述语义基元序列与所述候选语义框架中多个槽位之间的匹配程度,从多个候选语义框架中确定目标语义框架;

6、将所述目标语义框架的谓词与各槽位的填充内容组合为人体动作语义识别结果。

7、进一步地,所述获取按时间顺序排列的多帧骨架关键点序列,将所述骨架关键点序列分解为按时间顺序排列的语义基元序列的步骤包括:

8、获取按时间顺序排列的多帧骨架关键点序列;

9、针对每个骨架关键点,计算骨架关键点序列中相邻时刻各骨架关键点的速度向量;

10、计算各时刻手部关键点与场景对象之间的相对距离,并将所述相对距离小于接触距离阈值时的状态记为接触状态;

11、当任一骨架关键点的速度向量的方向变化角大于方向阈值时,将对应时刻确定为第一突变时刻;其中,方向变化角是指相邻两帧的速度向量的夹角;

12、当相对距离的变化率的绝对值大于距离变化阈值时,将对应时刻确定为第二突变时刻;

13、当所述接触状态发生翻转时,将对应时刻确定为第三突变时刻;

14、针对每个骨架关键点,以所述第一突变时刻和所述第二突变时刻为分割点对所述骨架关键点序列进行切分,并将切分后时长小于预设最小时长的片段与其相邻片段合并,得到按时间顺序排列的基元片段序列;

15、将所述基元片段序列中不包含所述第三突变时刻的片段标注为运动基元;

16、将所述基元片段序列中包含所述第三突变时刻的片段标注为交互基元。

17、进一步地,所述根据所述语义基元序列从预设的语义框架库中激活至少一个候选语义框架的步骤包括:

18、针对所述语义框架库中的每个语义框架,统计所述语义基元序列中出现的基元类型占该语义框架的基元脚本所包含基元类型的比例,作为基元类型匹配度;其中,所述基元脚本为该语义框架对应的语义基元类型及其时序排列模板;

19、将所述语义基元序列中各基元类型的出现顺序与该语义框架的基元脚本的时序排列进行对齐,将顺序一致的基元类型的数量占所述基元脚本所包含基元类型总数的比例作为时序结构匹配度;

20、将所述基元类型匹配度与所述时序结构匹配度的加权和作为该语义框架的激活度;

21、将激活度大于激活阈值的语义框架确定为候选语义框架。

22、进一步地,在所述根据所述语义基元序列与所述候选语义框架中多个槽位之间的匹配程度,从多个候选语义框架中确定目标语义框架的步骤之前,还包括:

23、为每个语义框架定义谓词、全部槽位以及基元脚本;其中,所述基元脚本为该语义框架对应的语义基元类型及其时序排列模板;

24、将每个语义框架的全部槽位划分为被标记为必须填充的必要槽位和未被标记为必须填充的可选槽位;

25、按照语义框架所涉及的场景对象的类型,将各语义框架划分为自动作类、对象操作类和人际交互类;

26、建立基元类型到语义框架的倒排索引;其中,所述倒排索引的键为基元类型,值为基元脚本中包含该基元类型的语义框架的列表;

27、存储各语义框架以及所述倒排索引,构成所述语义框架库。

28、进一步地,所述根据所述语义基元序列与所述候选语义框架中多个槽位之间的匹配程度,从多个候选语义框架中确定目标语义框架的步骤包括:

29、针对所述候选语义框架中未被所述语义基元序列填充的槽位,以该槽位的语义约束为条件对所述骨架关键点序列进行定向证据回检,将回检得到的证据填充至对应的槽位;

30、根据各候选语义框架中已填充槽位的数量占该候选语义框架全部槽位数量的比例确定槽位填充完整度;

31、根据各已填充槽位的填充内容与所述骨架关键点序列之间的一致程度确定证据支持度;

32、根据所述槽位填充完整度和所述证据支持度从各候选语义框架中确定目标语义框架。

33、进一步地,所述针对所述候选语义框架中未被所述语义基元序列填充的槽位,以该槽位的语义约束为条件对所述骨架关键点序列进行定向证据回检,将回检得到的证据填充至对应的槽位的步骤包括:

34、根据未被填充的槽位的槽位类型确定证据存在条件;其中,所述证据存在条件描述该槽位的填充内容在所述骨架关键点序列中应表现出的运动学特征;

35、确定所述语义基元序列中已被填充至该候选语义框架的其他槽位的基元所在的时间区间,将所述时间区间向前后各扩展预设时长,得到该槽位对应的回检区间;

36、在所述回检区间内提取满足所述证据存在条件的候选证据;

37、计算各候选证据的运动学特征与该槽位的语义约束之间的匹配度;

38、将匹配度最高的候选证据作为该槽位的填充内容填充至该槽位。

39、进一步地,所述在所述回检区间内提取满足所述证据存在条件的候选证据的步骤包括:

40、以预设时长为窗口长度、以预设步长为滑动间隔,在所述回检区间内对所述骨架关键点序列进行滑动窗口切分,得到多个候选时间片段;

41、针对每个所述候选时间片段,计算该候选时间片段内骨架关键点的运动学特征;其中,所述运动学特征包括速度变化特征、方向变化特征以及与场景对象之间的相对距离变化特征中的至少一项;

42、针对每个所述候选时间片段,计算该候选时间片段的所述运动学特征与所述证据存在条件所描述的运动学特征之间的特征差异;

43、将所述特征差异小于预设差异阈值的候选时间片段确定为候选证据。

44、进一步地,所述根据各已填充槽位的填充内容与所述骨架关键点序列之间的一致程度确定证据支持度的步骤包括:

45、对每个已填充的槽位,提取该槽位的填充内容对应的运动学特征向量;

46、将该槽位的语义约束转换为约束特征向量;

47、计算所述运动学特征向量与所述约束特征向量的余弦相似度,将所述余弦相似度作为该槽位的证据置信度;

48、对各已填充槽位的证据置信度按照该槽位在候选语义框架中的必要性等级进行加权平均,得到加权平均置信度;其中,所述必要性等级将槽位划分为被标记为必须填充的必要槽位和未被标记为必须填充的可选槽位,所述必要槽位对应的权重大于所述可选槽位对应的权重;

49、将所述加权平均置信度作为该候选语义框架的证据支持度。

50、进一步地,所述根据所述槽位填充完整度和所述证据支持度从各候选语义框架中确定目标语义框架的步骤包括:

51、将各候选语义框架按照所述证据支持度从高到低排序;

52、当排序相邻的前两个候选语义框架的证据支持度差值大于歧义阈值时,将证据支持度最高的候选语义框架确定为目标语义框架;

53、当所述证据支持度差值不大于所述歧义阈值时,取所述前两个候选语义框架各自独有的槽位,将所述各自独有的槽位作为区分性槽位;

54、比较所述前两个候选语义框架各自在所述区分性槽位上的证据置信度之和;其中,所述证据置信度为已填充槽位的填充内容与该槽位的语义约束之间的相似程度;

55、将所述证据置信度之和较大的候选语义框架确定为目标语义框架;

56、当所述前两个候选语义框架在所述区分性槽位上均不存在已填充的槽位时,将所述前两个候选语义框架的谓词所共有的上位谓词对应的候选语义框架确定为目标语义框架。

57、进一步地,所述将所述目标语义框架的谓词与各槽位的填充内容组合为人体动作语义识别结果的步骤包括:

58、将所述目标语义框架的谓词作为动作语义标签;

59、将各已填充槽位的槽位名称与对应的填充内容组成槽位值对;

60、当所述目标语义框架存在未填充的可选槽位时,在该可选槽位对应的槽位值对中标注缺失标记;其中,所述可选槽位为该目标语义框架的全部槽位中未被标记为必须填充的槽位;

61、将所述动作语义标签、各槽位值对以及识别置信度组合为结构化语义元组,作为所述人体动作语义识别结果输出;其中,所述识别置信度为所述目标语义框架的槽位填充完整度与证据支持度的乘积。

62、本发明实施例的第二方面提供了一种体感游戏机的人体动作语义识别装置,包括:

63、分解单元,用于获取按时间顺序排列的多帧骨架关键点序列,将所述骨架关键点序列分解为按时间顺序排列的语义基元序列;其中,语义基元包括描述人体自身运动的运动基元和描述人体与场景对象之间交互的交互基元;

64、激活单元,用于根据所述语义基元序列从预设的语义框架库中激活至少一个候选语义框架;其中,所述语义框架库中的每个语义框架包括表示动作语义的谓词和表示动作参与要素的若干个槽位;

65、匹配单元,用于根据所述语义基元序列与所述候选语义框架中多个槽位之间的匹配程度,从多个候选语义框架中确定目标语义框架;

66、识别单元,用于将所述目标语义框架的谓词与各槽位的填充内容组合为人体动作语义识别结果。

67、本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述体感游戏机的人体动作语义识别方法中的步骤。

68、本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述体感游戏机的人体动作语义识别方法中的步骤。

69、本发明实施例与现有技术相比存在的有益效果是:通过对连续骨架关键点轨迹进行时序分解,将整段运动过程拆解为按时间排列的语义基元序列,运动成分与交互成分以独立单元形式被识别与对齐,使识别过程从端到端的类别映射转变为可追溯的语义结构化过程,避免了传统方案只能输出离散类别、无法描述动作内部组成与时序衔接的局限。基于语义框架库进行候选激活,由谓词与多个槽位构成的形式化模型将动作语义转化为可计算的语义结构,使原始骨架数据得以映射到预设的语义单元,避免了传统方案直接由底层特征到顶层标签的黑箱映射,识别过程的可解释性与跨场景扩展性随之提升。通过计算语义基元序列与候选语义框架多个槽位之间的匹配程度,从多个候选中筛选与本次动作最为契合的目标语义框架,使识别结果能够同时给出动作类型、参与对象与运动学参数等多个语义要素,避免了传统方案单一类别输出无法承载丰富语义的局限。将目标语义框架的谓词与各槽位的填充内容组合为结构化的识别结果,使最终输出不仅包含动作类型标签,还包含参与对象、施力方向、起止时间等可追溯的语义要素,下游决策模块可以直接基于结构化语义进行推理或应答,避免了传统方案下游模块需要重新解析标签的二次解读成本。最终在动作类别识别的基础上进一步输出结构化的动作语义描述,使人行为识别技术在复杂人机交互、智能看护、视频结构化等场景下既具备类别判断的准确性,又具备语义表达的丰富性与可解释性。