具身智能遮挡场景下的人体姿态估计方法、设备及介质与流程

本发明涉及具身智能，尤其涉及一种具身智能遮挡场景下的人体姿态估计方法、设备及介质。

背景技术：

1、在具身智能系统中，机器视觉技术需要从图像或视频中准确估计人体姿态，以支撑智能体理解人类动作并实现自然交互。在物理世界中，人体运动受到骨骼长度、关节连接等物理模型约束，但真实场景中频繁出现的遮挡使部分关节点不可见，机器视觉算法难以获得完整观测，导致姿态估计误差增大，进而影响具身智能系统在真实环境中的交互可靠性。

2、目前，在现有技术中，通常先利用卷积神经网络提取图像特征，再基于可见区域特征对所有关节点坐标进行直接回归。当关节点被遮挡时，对应区域缺乏有效视觉信息，回归过程缺少可靠依据，估计结果往往与真实位置偏差较大。进一步地，另一类方法尝试利用关节点周围的局部图像上下文对被遮挡关节点进行特征推断，但局部上下文容易受到遮挡物外观、背景杂乱以及相似人体部位干扰，推断得到的特征稳定性较差。上述缺陷导致人群密集、物体遮挡等实际环境下姿态估计精度明显下降，使具身智能系统在复杂物理场景中的动作理解和交互能力受到较大限制。

技术实现思路

1、本发明提供了一种具身智能遮挡场景下的人体姿态估计方法、设备及介质，旨在解决的技术问题是：如何提供一种能够在遮挡场景下有效提升人体姿态估计精度的解决方案。

2、第一方面，本发明提供了一种具身智能遮挡场景下的人体姿态估计方法，其包括：

3、响应于接收到输入图像，对所述输入图像进行卷积特征提取，得到图像特征；

4、对所述图像特征进行初始姿态估计，得到所有关节点的初始位置；

5、以所述所有关节点的初始位置为顶点，以人体骨架中关节点之间的骨骼连接为边，构建人体骨架图，并从所述图像特征中获取各关节点在所述初始位置处的特征，作为所述人体骨架图中各顶点的初始特征；

6、在所述人体骨架图上，根据相邻关节点之间的关节类型和相对位置确定边权重，并基于所述边权重执行多层图卷积消息传递，使被遮挡关节点的特征由相邻关节点的特征进行补全，得到补全后的关节点特征图；

7、对所述补全后的关节点特征图进行坐标回归，得到所有关节点的位置坐标。

8、第二方面，本发明还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

9、第三方面，本发明还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

10、本发明提供了一种具身智能遮挡场景下的人体姿态估计方法、设备及介质，通过卷积特征提取得到图像特征，为后续关节点定位提供特征基础；进一步地，对图像特征进行初始姿态估计得到所有关节点的初始位置，在遮挡情况下仍能获得各关节点的初始位置估计。进一步地，以所有关节点的初始位置为顶点、骨骼连接为边构建人体骨架图，并从图像特征中获取各顶点的初始特征，将人体骨架拓扑结构引入特征表示。进一步地，在人体骨架图上，根据相邻关节点之间的关节类型和相对位置确定边权重，使边权重反映相邻关节点之间的结构关联程度，并基于边权重执行多层图卷积消息传递，使被遮挡关节点的特征由相邻关节点的特征补全，增强被遮挡关节点特征的鲁棒性和准确性。进一步地，对补全后的关节点特征图进行坐标回归，得到所有关节点的位置坐标。由此，该方法利用人体骨架拓扑先验进行特征补全，在部分关节点不可见时仍能获得有效特征表示，从而提升了遮挡场景下人体姿态估计精度。

1.一种具身智能遮挡场景下的人体姿态估计方法，其特征在于，包括：

2.根据权利要求1所述的具身智能遮挡场景下的人体姿态估计方法，其特征在于，所述对所述图像特征进行初始姿态估计，得到所有关节点的初始位置，包括：

3.根据权利要求1所述的具身智能遮挡场景下的人体姿态估计方法，其特征在于，所述从所述图像特征中获取各关节点在所述初始位置处的特征，作为所述人体骨架图中各顶点的初始特征，包括：

4.根据权利要求1所述的具身智能遮挡场景下的人体姿态估计方法，其特征在于，所述在所述人体骨架图上，根据相邻关节点之间的关节类型和相对位置确定边权重，包括：

5.根据权利要求4所述的具身智能遮挡场景下的人体姿态估计方法，其特征在于，所述计算所述骨骼长度与人体各部位长度比例统计先验之间的偏差，根据所述偏差确定先验一致性系数，包括：

6.根据权利要求1所述的具身智能遮挡场景下的人体姿态估计方法，其特征在于，所述基于所述边权重执行多层图卷积消息传递，使被遮挡关节点的特征由相邻关节点的特征进行补全，得到补全后的关节点特征图，包括：

7.根据权利要求1所述的具身智能遮挡场景下的人体姿态估计方法，其特征在于，所述对所述补全后的关节点特征图进行坐标回归，得到所有关节点的位置坐标，包括：

8.根据权利要求1所述的具身智能遮挡场景下的人体姿态估计方法，其特征在于，在所述响应于接收到输入图像之前，所述方法还包括对网络参数进行端到端训练的步骤，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-8中任一项所述的方法。