一种体感游戏机的人体姿态识别方法及装置与流程

本发明属于图像识别的，尤其涉及一种体感游戏机的人体姿态识别方法及装置。

背景技术：

1、体感游戏机是面向室内健身与娱乐场景、依托摄像头对使用者全身动作进行实时追踪并转化为游戏操控指令的交互终端，承担人体姿态识别、动作语义理解与游戏反馈驱动等功能。此类设备通过普通可见光摄像头采集使用者身体区域的连续图像序列，其与主机之间的人体姿态估计数据链路通常工作于室内复杂光照与多变背景环境下。此类环境同时容纳环境光扰动、家具陈设干扰、多人同框、肢体自遮挡与极限身体动作等多种因素，图像背景杂乱且目标形态变化剧烈。一旦人体关键点估计环节失效，轻则造成游戏角色动作滞后、指令误触发，重则导致姿态轨迹跳变甚至完全丢失目标，直接威胁游戏操作的流畅性与沉浸体验。

2、针对上述问题，现有技术中的关键点定位通常仅以单帧热图响应峰值作为判断标准，在遮挡、运动模糊、多人交错与画面边界的动态场景下容易出现主峰误选与定位漂移，被遮挡或出界期间关键点轨迹的中断不断累积，反而加剧姿态识别的抖动与失真。

技术实现思路

1、有鉴于此，本发明实施例提供了一种体感游戏机的人体姿态识别方法及装置，以解决现有技术中的关键点定位通常仅以单帧热图响应峰值作为判断标准，在遮挡、运动模糊、多人交错与画面边界的动态场景下容易出现主峰误选与定位漂移的技术问题。

2、本发明实施例的第一方面提供了一种体感游戏机的人体姿态识别方法，所述体感游戏机的人体姿态识别方法包括：

3、采集人体的视频帧序列，将所述视频帧序列中的当前视频帧输入预训练的姿态估计网络，得到所述当前视频帧中人体各关键点的初始热图，并取各张初始热图中响应值最大的主峰的位置作为各关键点的初始位置；

4、提取各张初始热图的形态特征，基于形态特征匹配各关键点对应的误差模式；其中，所述误差模式表征关键点的观测因不同成因而失效的类别，所述误差模式包括遮挡弥散型、模糊分裂型、实例混淆型、出界截断型和可靠观测型；

5、匹配所述误差模式对应的补偿路径，并基于所述补偿路径对各关键点的初始位置进行修正，得到各关键点的补偿位置；其中，所述补偿路径为针对所对应误差模式的成因对关键点的初始定位进行修正的处理流程；

6、根据各关键点的补偿位置之间的骨骼结构关系与运动关系，对各关键点的补偿位置进行一致性校验，根据一致性校验结果确定各关键点的汇聚权重；

7、按所述汇聚权重将各关键点的补偿位置与对应的运动外推位置进行加权融合，输出所述当前视频帧的体感游戏机的人体姿态识别结果；其中，所述运动外推位置由对应关键点在所述视频帧序列中所述当前视频帧之前的历史轨迹外推得到。

8、进一步地，所述提取各张初始热图的形态特征，基于形态特征匹配各关键点对应的误差模式的步骤包括：

9、对每张初始热图，计算所述初始热图中所述主峰的峰值与所述初始热图中响应值超过预设响应门限的像素集合的响应均值之间的比值，作为主峰锐度；

10、提取所述初始热图中响应值仅次于所述主峰的次峰，计算所述次峰的峰值与所述主峰的峰值之间的比值，作为次峰竞争度；

11、统计所述像素集合包含的像素数量，作为支撑域面积；

12、统计所述像素集合中与所述当前视频帧的图像边界相接的像素数量，计算相接的像素数量与所述支撑域面积之间的比值，作为边缘截断比例；

13、当所述次峰竞争度高于预设竞争阈值，且所述次峰与所述主峰之间的间距大于所述关键点所在肢体段的尺度先验值时，将所述关键点的误差模式归类为实例混淆型；其中，所述尺度先验值表征所述关键点所在肢体段在图像中的估计长度；

14、当所述支撑域面积大于预设弥散阈值，且所述主峰锐度低于预设锐度阈值时，将所述关键点的误差模式归类为遮挡弥散型；

15、当所述边缘截断比例大于预设截断阈值时，将所述关键点的误差模式归类为出界截断型；

16、当所述主峰锐度低于所述预设锐度阈值，且所述支撑域面积不大于所述预设弥散阈值时，将所述关键点的误差模式归类为模糊分裂型；

17、当所述关键点的初始热图不满足所述实例混淆型、所述遮挡弥散型、所述出界截断型和所述模糊分裂型的归类条件时，将所述关键点的误差模式归类为可靠观测型；

18、当所述关键点的初始热图同时满足多个误差模式的归类条件时，按照预设的优先顺序将所述关键点归类为所述优先顺序在前的误差模式。

19、进一步地，当被归类的误差模式为遮挡弥散型时，所述补偿路径为结构补全路径；

20、其中，所述匹配所述误差模式对应的补偿路径，并基于所述补偿路径对各关键点的初始位置进行修正，得到各关键点的补偿位置的步骤包括：

21、选取与当前关键点位于同一运动链上且误差模式为可靠观测型的关键点，作为支撑关键点；

22、根据所述支撑关键点的位置、所述支撑关键点与所述当前关键点之间肢体段的骨骼长度先验值、以及所述支撑关键点处关节的可行角度范围，生成所述当前关键点的多个候选位置；其中，所述骨骼长度先验值为预设的对应肢体段的平均生理长度，所述可行角度范围为预设的所述关节的生理可转动角度区间；

23、对每个候选位置，以所述候选位置为中心提取预设尺寸的局部图像块，提取所述局部图像块在预设边缘方向上的边缘响应强度；其中，所述预设边缘方向与所述支撑关键点指向所述候选位置的方向垂直；

24、计算每个候选位置的边缘响应强度在所有候选位置的边缘响应强度总和中的占比，作为每个候选位置的证据得分；

25、计算证据得分最高的候选位置的证据得分与证据得分次高的候选位置的证据得分之间的得分差值；

26、当所述得分差值大于预设间隔阈值时，将所述证据得分最高的候选位置作为所述当前关键点的补偿位置；

27、当所述得分差值不大于所述预设间隔阈值时，将各候选位置按各自的证据得分加权求和，将得到的位置作为所述当前关键点的补偿位置。

28、进一步地，当被归类的误差模式为模糊分裂型时，所述补偿路径为时域锐化路径；

29、其中，所述匹配所述误差模式对应的补偿路径，并基于所述补偿路径对各关键点的初始位置进行修正，得到各关键点的补偿位置的步骤包括：

30、从所述视频帧序列中选取位于所述当前视频帧之前的连续预设数量个历史视频帧；

31、对每个历史视频帧，通过光流估计计算所述当前视频帧与所述历史视频帧之间的运动场，并根据所述运动场确定当前关键点的初始位置在所述历史视频帧中的对应位置；

32、按照所述对应位置与所述初始位置之间的偏移，对每个历史视频帧中当前关键点的初始热图进行空间对齐；

33、对空间对齐后的每张初始热图，计算该初始热图的响应最大值与该初始热图中响应值超过预设门限的像素的响应均值之间的比值，并将各张初始热图对应的比值归一化，得到各帧初始热图对应的叠加权重；

34、将空间对齐后的各历史视频帧的初始热图与所述当前视频帧的初始热图按各自的叠加权重逐像素加权叠加，得到当前关键点的锐化热图；

35、取所述锐化热图中响应值最大的位置，作为所述关键点的补偿位置。

36、进一步地，当被归类的误差模式为实例混淆型时，所述补偿路径为实例归属仲裁路径；

37、其中，所述匹配所述误差模式对应的补偿路径，并基于所述补偿路径对各关键点的初始位置进行修正，得到各关键点的补偿位置的步骤包括：

38、对所述当前视频帧进行人体实例检测，得到各人体实例的检测框；

39、提取当前关键点的初始热图中响应值仅次于所述主峰的次峰，将所述主峰的位置和所述次峰的位置分别与各人体实例的检测框进行位置匹配；

40、统计每个人体实例的检测框内误差模式为可靠观测型的关键点的数量，将数量最多的人体实例作为所述关键点所属的目标人体实例；

41、当所述主峰的位置落入所述目标人体实例的检测框内时，将所述主峰的位置作为当前关键点的补偿位置；

42、当所述主峰的位置未落入所述目标人体实例的检测框内，且所述次峰的位置落入所述目标人体实例的检测框内时，将所述次峰的位置作为当前关键点的补偿位置；

43、当所述主峰的位置和所述次峰的位置均未落入所述目标人体实例的检测框内时，将所述当前关键点的误差模式重新归类为遮挡弥散型，并为当前关键点执行与遮挡弥散型对应的补偿路径处理流程。

44、进一步地，当被归类的误差模式为出界截断型时，所述补偿路径为边界外推路径；

45、其中，所述匹配所述误差模式对应的补偿路径，并基于所述补偿路径对各关键点的初始位置进行修正，得到各关键点的补偿位置的步骤包括：

46、选取当前关键点所属肢体段的另一端误差模式为可靠观测型的关键点，作为锚定关键点；

47、从所述视频帧序列中确定当前关键点最近一次被归类为可靠观测型的参考视频帧，并记录所述参考视频帧中所述锚定关键点与所述当前关键点之间的肢体段图像长度；

48、根据所述当前关键点在所述参考视频帧中的位置相对于所述锚定关键点在所述参考视频帧中的位置的方位以及所述锚定关键点从所述参考视频帧到所述当前视频帧的运动方向，确定所述肢体段朝向所述当前视频帧的图像边界之外的延伸方向向量；

49、以所述锚定关键点在所述当前视频帧中的位置为起点，沿所述延伸方向向量外推与所述肢体段图像长度相等的距离，将得到的位置作为当前关键点的补偿位置；

50、将当前关键点的补偿位置标记为低置信位置；其中，被标记为低置信位置的关键点在所述一致性校验中，豁免当前关键点所属肢体段的图像长度与骨骼长度先验值之间一致性的检查，所述骨骼长度先验值为预设的对应肢体段的平均生理长度。

51、进一步地，所述根据各关键点的补偿位置之间的骨骼结构关系与运动关系，对各关键点的补偿位置进行一致性校验，根据一致性校验结果确定各关键点的汇聚权重的步骤包括：

52、确定人体图像尺度；其中，所述人体图像尺度由被归类为可靠观测型的关键点所构成的参考肢体段在所述当前视频帧中的图像长度与所述参考肢体段的骨骼长度先验值之间的比值确定，所述骨骼长度先验值为预设的对应肢体段的平均生理长度；

53、对每段肢体段，计算所述肢体段两端关键点的补偿位置之间的图像长度与肢体段的骨骼长度先验值经所述人体图像尺度缩放后的长度之间的偏差，作为所述肢体段的骨骼长度偏差；

54、对每个关键点，取以所述关键点为端点的各肢体段的骨骼长度偏差中的最大值，作为所述关键点的骨骼长度偏差；

55、对每个连接两段肢体段的关节，计算所述关节处两段肢体段由补偿位置确定的夹角，当所述夹角超出所述关节的可行角度范围时，将超出量作为所述关节的关节角度越界量；

56、对每个关键点，计算所述关键点的补偿位置与所述关键点的运动外推位置之间的偏差，作为所述关键点的时序运动偏差；

57、对每个关键点，将所述关键点的骨骼长度偏差、所述关键点所关联关节的关节角度越界量和所述关键点的时序运动偏差分别与各自对应的预设校验阈值比较，统计未通过比较的检查项数量；

58、计算所述检查项数量与检查项总数的比值，作为所述关键点的校验未通过度；

59、计算所述校验未通过度的补数与预设基准权重的乘积，将所述乘积作为所述关键点的汇聚权重。

60、进一步地，所述按所述汇聚权重将各关键点的补偿位置与对应的运动外推位置进行加权融合，输出所述当前视频帧的体感游戏机的人体姿态识别结果的步骤包括：

61、对每个关键点，计算所述关键点的补偿位置与所述汇聚权重的乘积，作为第一加权位置；

62、计算所述关键点的运动外推位置与1减去所述汇聚权重的差值之间的乘积，作为第二加权位置；

63、将所述第一加权位置与所述第二加权位置相加，得到所述关键点的融合位置；

64、按照预设的人体骨架连接关系连接各关键点的融合位置，并将各关键点的汇聚权重作为对应关键点的输出置信度一并输出，得到所述体感游戏机的人体姿态识别结果。

65、本发明实施例的第二方面提供了一种体感游戏机的人体姿态识别装置，包括：

66、采集单元，用于采集人体的视频帧序列，将所述视频帧序列中的当前视频帧输入预训练的姿态估计网络，得到所述当前视频帧中人体各关键点的初始热图，并取各张初始热图中响应值最大的主峰的位置作为各关键点的初始位置；

67、提取单元，用于提取各张初始热图的形态特征，基于形态特征匹配各关键点对应的误差模式；其中，所述误差模式表征关键点的观测因不同成因而失效的类别，所述误差模式包括遮挡弥散型、模糊分裂型、实例混淆型、出界截断型和可靠观测型；

68、匹配单元，用于匹配所述误差模式对应的补偿路径，并基于所述补偿路径对各关键点的初始位置进行修正，得到各关键点的补偿位置；其中，所述补偿路径为针对所对应误差模式的成因对关键点的初始定位进行修正的处理流程；

69、校验单元，用于根据各关键点的补偿位置之间的骨骼结构关系与运动关系，对各关键点的补偿位置进行一致性校验，根据一致性校验结果确定各关键点的汇聚权重；

70、融合单元，用于按所述汇聚权重将各关键点的补偿位置与对应的运动外推位置进行加权融合，输出所述当前视频帧的体感游戏机的人体姿态识别结果；其中，所述运动外推位置由对应关键点在所述视频帧序列中所述当前视频帧之前的历史轨迹外推得到。

71、本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述体感游戏机的人体姿态识别方法中的步骤。

72、本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述体感游戏机的人体姿态识别方法中的步骤。

73、本发明实施例与现有技术相比存在的有益效果是：通过采集连续的视频帧序列并将当前视频帧输入预训练的姿态估计网络，得到各人体关键点的初始热图并提取各热图主峰的响应峰值位置作为关键点的初始位置，为后续的定位校正提供了统一且可量化的观测基准，克服了现有方法直接取网络原始输出而导致定位被单帧噪声主导的局限。通过提取各张初始热图的响应分布形态特征，并据此将每个关键点的失效成因细分为遮挡弥散、模糊分裂、实例混淆、出界截断与可靠观测等多种误差模式，实现了对关键点观测失效成因的精细化归因，克服了传统方法对所有失效一视同仁、无法区分失效类型的局限，为差异化处理提供了分类依据。通过为每种误差模式匹配成因针对性的补偿路径并对初始位置进行修正，使遮挡场景下的结构补全、模糊场景下的时域锐化、多实例场景下的归属仲裁与出界场景下的边界外推得以各取所长，克服了单一补偿手段无法覆盖多种失效成因、补偿介入时机滞后的缺陷，将失效关键点的定位误差在成因层面直接消减。通过依据骨骼结构关系与运动关系对补偿位置进行一致性校验并据此确定各关键点的汇聚权重，使生理结构约束与运动连续性约束共同参与位置可信度的评估，克服了现有方法无差别融合观测与预测、对异常定位缺乏甄别的缺陷，抑制了结构冲突与运动跳变对最终结果的影响。通过按汇聚权重将关键点的补偿位置与历史轨迹外推得到的运动外推位置加权融合，使静态观测信息与动态运动信息按可信度互补结合，避免了权重恒定或硬切换带来的定位突变，将各关键点在遮挡、模糊、交错与边界等复杂场景下的定位结果稳定衔接，最终提升体感游戏机在复杂室内环境下的人体姿态识别准确性、动作追踪连续性与游戏操控实时性。