基于多模态数据动态融合的VR全身姿态估计方法和系统与流程

本技术涉及虚拟现实姿态估计，尤其涉及一种基于多模态数据动态融合的vr全身姿态估计方法和系统。

背景技术：

1、在虚拟现实交互、沉浸式训练、虚拟直播和数字人驱动等场景中，系统通常需要实时估计目标用户的全身姿态，并将全身姿态映射到虚拟空间。现有方案常使用惯性传感设备采集肢体姿态，或者使用深度传感设备采集人体空间位置。

2、然而，单独使用惯性传感设备时，系统容易因姿态积分误差产生空间漂移；单独使用深度传感设备时，目标用户肢体被桌椅、墙体、扶手或训练器械遮挡后，系统容易发生关节丢失或姿态断裂。

3、并且，现有方案通常缺少将环境深度点云数据与实时旋转角度数据进行动态融合的处理机制，难以判断推算出的肢体关节坐标是否穿入物理遮挡物内部，导致vr场景中的虚拟肢体出现穿模、跳变或姿态序列不连续问题。

技术实现思路

1、本技术的目的在于避免现有vr全身姿态估计方案中，单一模态数据容易产生漂移、遮挡丢失、虚拟肢体穿模和姿态序列不连续的问题，提供一种基于多模态数据动态融合的vr全身姿态估计方法和系统，通过环境深度点云数据与实时旋转角度数据的协同处理，生成避开物理遮挡物的全身姿态估计结果和全身连续姿态序列。

2、第一方面，本技术提供了一种基于多模态数据动态融合的vr全身姿态估计方法，包括：

3、获取目标区域包含物理遮挡物的环境深度点云数据以及目标用户各个肢体关节的实时旋转角度数据；

4、根据所述实时旋转角度数据推算出各个肢体关节的初始三维坐标，并从所述环境深度点云数据中提取出所述目标区域中物理遮挡物的几何外表面边界；

5、从所述初始三维坐标中筛选出穿透所述几何外表面边界的穿透坐标，并计算所述穿透坐标穿入所述几何外表面边界的穿模重叠距离；

6、根据所述穿模重叠距离，生成针对所述穿透坐标的反向位置修正量；

7、将所述反向位置修正量叠加到对应的所述穿透坐标上得到修正坐标，并将未穿透的初始三维坐标与所述修正坐标汇总，得到各个肢体关节在避开所述物理遮挡物时的无碰撞目标三维坐标；

8、将所述无碰撞目标三维坐标按照获取所述实时旋转角度数据的时间顺序进行拼接，生成所述目标用户的全身连续姿态序列。

9、可选地，获取目标区域包含物理遮挡物的环境深度点云数据以及目标用户各个肢体关节的实时旋转角度数据，包括：

10、通过深度传感设备扫描所述目标区域，得到所述目标区域中物理遮挡物的表面深度数据；

11、将所述表面深度数据转化为所述环境深度点云数据；

12、通过穿戴在所述目标用户身上的惯性传感设备，采集所述目标用户在空间中的运动姿态数据；

13、解析所述运动姿态数据，得到所述目标用户各个肢体关节的实时旋转角度数据；

14、提取采集所述实时旋转角度数据时的采集时间戳，并将所述采集时间戳绑定至对应的所述实时旋转角度数据。

15、可选地，根据所述实时旋转角度数据推算出各个肢体关节的初始三维坐标，并从所述环境深度点云数据中提取出所述目标区域中物理遮挡物的几何外表面边界，包括：

16、获取所述目标用户的真实肢体长度；

17、按照预设的人体关节连接关系建立包含根节点和子节点的初始骨骼架构；

18、将所述真实肢体长度赋予所述初始骨骼架构，生成属于所述目标用户的人体骨骼模型；

19、将所述实时旋转角度数据代入所述人体骨骼模型，推导所述各个肢体关节的初始三维坐标；

20、从所述环境深度点云数据中提取属于所述物理遮挡物的遮挡点云数据；

21、基于所述物理遮挡物的遮挡点云数据，构建包裹所述遮挡点云数据的外侧包络面，以得到所述几何外表面边界。

22、可选地，从所述初始三维坐标中筛选出穿透所述几何外表面边界的穿透坐标，并计算所述穿透坐标穿入所述几何外表面边界的穿模重叠距离，包括：

23、将所述初始三维坐标与所述几何外表面边界统一至同一空间坐标系；

24、判断所述初始三维坐标是否位于所述几何外表面边界所包围的内部遮挡空间；

25、若位于所述内部遮挡空间，则判定所述初始三维坐标为穿透坐标；

26、在所述几何外表面边界上获取距离所述穿透坐标最近的表面边界点；

27、计算所述穿透坐标与所述表面边界点之间的空间直线长度，得到所述穿模重叠距离。

28、可选地，根据所述穿模重叠距离，生成针对所述穿透坐标的反向位置修正量，包括：

29、获取所述表面边界点对应的表面法向量；

30、根据所述表面法向量，确定指向所述内部遮挡空间外部的修正方向；

31、以所述表面边界点为起点，沿着所述修正方向构建修正基准线；

32、截取所述修正基准线上长度等于所述穿模重叠距离的目标线段；

33、将所述目标线段的向量确认为针对所述穿透坐标的反向位置修正量。

34、可选地，将所述反向位置修正量叠加到对应的所述穿透坐标上得到修正坐标，并将未穿透的初始三维坐标与所述修正坐标汇总，得到各个肢体关节在避开所述物理遮挡物时的无碰撞目标三维坐标，包括：

35、将所述反向位置修正量叠加至对应的所述穿透坐标，得到修正坐标；

36、在所述人体骨骼模型中，提取与所述穿透坐标相连接的关联关节坐标；

37、根据所述人体骨骼模型中的肢体长度，跟随所述修正坐标平移所述关联关节坐标，得到更新后的关联关节坐标；

38、将所述修正坐标、所述更新后的关联关节坐标以及未穿透的初始三维坐标进行汇总，得到所述无碰撞目标三维坐标。

39、可选地，将所述无碰撞目标三维坐标按照获取所述实时旋转角度数据的时间顺序进行拼接，生成所述目标用户的全身连续姿态序列，包括：

40、调取绑定在所述实时旋转角度数据上的采集时间戳；

41、将所述采集时间戳赋予对应的所述无碰撞目标三维坐标；

42、按照所述采集时间戳由先到后的递增顺序，依次排列所述无碰撞目标三维坐标；

43、根据排列结果，计算相邻两个所述无碰撞目标三维坐标之间的位置跨度值；

44、在所述位置跨度值小于预设跨度阈值时，将依次排列的所述无碰撞目标三维坐标连接为所述全身连续姿态序列。

45、第二方面，本技术提供了一种基于多模态数据动态融合的vr全身姿态估计系统，包括：

46、获取模块，用于获取目标区域包含物理遮挡物的环境深度点云数据以及目标用户各个肢体关节的实时旋转角度数据；

47、推算模块，用于根据所述实时旋转角度数据推算出各个肢体关节的初始三维坐标，并从所述环境深度点云数据中提取出所述目标区域中物理遮挡物的几何外表面边界；

48、计算模块，用于从所述初始三维坐标中筛选出穿透所述几何外表面边界的穿透坐标，并计算所述穿透坐标穿入所述几何外表面边界的穿模重叠距离；

49、生成模块，用于根据所述穿模重叠距离，生成针对所述穿透坐标的反向位置修正量；

50、叠加汇总模块，用于将所述反向位置修正量叠加到对应的所述穿透坐标上得到修正坐标，并将未穿透的初始三维坐标与所述修正坐标汇总，得到各个肢体关节在避开所述物理遮挡物时的无碰撞目标三维坐标；

51、拼接生成模块，用于将所述无碰撞目标三维坐标按照获取所述实时旋转角度数据的时间顺序进行拼接，生成所述目标用户的全身连续姿态序列。

52、第三方面，本技术提供了一种计算设备，包括处理组件以及存储组件；所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如上述第一方面所述的一种基于多模态数据动态融合的vr全身姿态估计方法。

53、第四方面，本技术提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被计算机执行时，实现如第一方面所述的一种基于多模态数据动态融合的vr全身姿态估计方法。

54、本技术将环境深度点云数据与实时旋转角度数据进行动态融合，使全身姿态估计过程同时受到人体骨骼运动约束和目标区域环境边界约束，能够减少单一惯性姿态估计造成的空间漂移问题，也能够减少单一深度感知在遮挡状态下造成的关节丢失问题。

55、本技术从环境深度点云数据中提取物理遮挡物的几何外表面边界，并对初始三维坐标进行穿透筛选和穿模重叠距离计算，能够明确识别发生穿模的肢体关节位置以及穿入深度，为反向位置修正量的生成提供量化依据。

56、本技术根据表面边界点的表面法向量确定修正方向，根据穿模重叠距离确定修正长度，使穿透坐标能够被推出内部遮挡空间，从而降低虚拟肢体穿入物理遮挡物对应虚拟区域的概率。

57、本技术在修正穿透坐标时同步处理关联关节坐标，使修正后的关节坐标仍满足人体骨骼模型中的肢体长度约束，减少单点修正造成的骨骼拉伸、肢体断裂或姿态突变。

58、本技术按照采集时间戳拼接无碰撞目标三维坐标，并通过位置跨度值和预设跨度阈值进行连续性校验，能够减少异常跳变对全身连续姿态序列的影响，提升vr交互中全身姿态估计结果的稳定性。

59、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。