一种三维交互姿态生成与校正方法、系统及存储介质

本发明属于智能感知，具体涉及一种三维交互姿态生成与校正方法、系统及存储介质。

背景技术：

1、随着协作机器人、数字孪生、虚拟现实/增强现实、智能制造和数字人交互等技术的发展，系统不仅需要识别三维场景中的物体，还需要理解“人将如何与物体发生交互”。三维交互姿态生成正是面向这一需求的关键技术：其目标是在给定三维物体、场景几何和交互意图的条件下，自动生成符合人体运动规律、物体功能属性和空间约束的人体姿态。例如，对于椅子，系统不仅要知道其类别为“椅子”，还要生成能够自然坐下的人体姿态；对于门把手，系统不仅要识别其位置，还要生成手臂、手腕与把手方向相匹配的抓握或开门姿态。

2、进行三维交互姿态生成具有重要应用意义。一方面，在人机协作和智能制造场景中，准确预测或生成未来交互姿态有助于机器人提前判断人的操作意图，进行安全避让、路径规划和协同作业，降低碰撞和误操作风险。另一方面，在 vr/ar 训练、数字人动画、游戏仿真和具身智能任务中，系统需要根据目标物体和交互语义自动合成自然、可信、可控的人体动作，减少人工动画制作和手工姿态标注成本。若生成姿态仅满足“到达目标位置”，但不满足目标物体的功能面朝向、接触关系和重力合理性，就容易出现身体悬浮、穿模、接触部位错位、坐姿朝向错误或抓握角度异常等问题。

3、在现有技术中，斯坦福大学与马克斯·普朗克研究所提出的gap3ds（gaze-drivendual-mode human motion prediction in 3d scenes，cvpr 2025）是最具代表性的三维交互姿态生成方法之一。gap3ds首次将功能可供性（affordance）检测与扩散式人体运动生成整合到一个统一框架中：首先利用三维场景理解网络在物体点云上检测功能可供性标签（例如椅面标注为“可坐”、门把手标注为“可抓握”），随后将检测到的功能标签与注视方向（gaze direction）作为条件信号共同注入预训练运动扩散模型（mdm），以生成与场景功能区域相关联的人体交互姿态序列。

4、然而，gap3ds存在一个制约交互姿态几何精度的根本性缺陷：其功能可供性检测模块的输出停留在语义级别，仅以离散标签或热力图的形式告知“物体的哪个区域支持何种交互功能（例如椅面区域支持‘坐’）”。再加上由于gap3ds完全依赖粗略的视觉注意力信号，即将注视方向作为朝向引导，而注视方向并非精确的几何约束，导致其生成的交互姿态在朝向精度上存在严重偏差，人物姿态常出现如“臀部悬浮于椅面上方但朝向歪斜”“手部到达目标物体位置但抓握角度错误”等几何不对齐现象，难以满足真实交互场景的使用要求。

技术实现思路

1、为了解决上述问题，本发明提供了一种三维交互姿态生成与校正方法，具体为一种从目标物体功能区域提取功能面法向量，利用大语言模型生成运动描述，驱动扩散模型生成交互姿态，并通过几何、物理和语义三级校正输出三维交互姿态的方法。目的在于建立功能表面法向量提取、语言提示桥接扩散生成、rodrigues解析式朝向校正、重力一致性验证到全局朝向消歧的完整闭环流程，使生成的三维交互姿态既满足交互语义要求，又实现交互部位与功能表面之间的精确几何对齐。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种三维交互姿态生成与校正方法，包括以下步骤：

4、获取目标物体对应的三维物体点云；

5、从所述三维物体点云中提取目标物体的功能表面单位法向量和功能表面几何中心；基于目标物体类别和功能标签、人体交互部位名称，以及由功能表面单位法向量转换得到的功能表面方向描述生成表征人机交互上下文信息的结构化提示文本；对所述结构化提示文本依次进行语义生成和文本编码，生成初始人体交互姿态序列；

6、从所述初始多帧人体交互姿态序列中提取人体交互部位对应的单位方向向量；依据交互类型确定目标几何约束，结合所述单位方向向量与功能表面单位法向量，采用rodrigues旋转公式对姿态进行旋转校正，使人体交互部位朝向满足对应的目标几何约束；基于功能表面几何中心求解平移向量，利用所述平移向量对旋转后的姿态整体平移，将人体交互参考关节对齐至功能表面几何中心，输出校正后的人体交互姿态序列。

7、优选地，从所述三维物体点云中提取目标物体的功能表面单位法向量和功能表面几何中心，具体包括以下步骤：

8、利用openad网络在三维物体点云上检测功能区域，输出逐点置信度热力图；

9、以自适应阈值τ对热力图二值化，通过三维连通分量分析提取功能区域功能表面点集；对功能表面点集内所有三维坐标求取均值，得到功能表面几何中心；

10、对所述功能表面点集采用ransac算法剔除离群噪声点，对剩余功能表面点执行最小二乘平面拟合，构造内点集协方差矩阵并进行特征值分解，取最小特征值对应的特征向量，归一化后作为功能表面单位法向量；所述内点为功能表面点集中，到ransac迭代生成的拟合平面距离小于预设误差阈值的三维点。

11、优选地，所述基于目标物体类别和功能标签、人体交互部位名称，以及由功能表面单位法向量转换得到的表面方向描述生成表征人机交互上下文信息的结构化提示文本，具体包括以下步骤：

12、从三维物体点云中获取当前目标物体类别与功能标签；

13、根据当前目标物体类别与功能标签，查询预设映射表，匹配得到当前交互动作对应的人体交互部位名称；

14、依据三维空间方位规则，将功能表面单位法向量转换为自然语言形式的功能表面方向描述；

15、将目标物体类别、功能标签、人体交互部位名称及功能表面方向描述进行统一整合；

16、按照固定规整文本格式，对整合后的全部交互信息进行编排输出，生成用于表征人机交互上下文信息的结构化提示文本；所述人机交互完整上下文信息包含目标物体语义信息、人体交互肢体信息、功能表面空间朝向信息。

17、优选地，对所述结构化提示文本依次进行语义生成和文本编码，生成初始人体交互姿态序列，具体包括以下步骤：

18、将所述结构化提示文本输入大语言模型，基于结构化提示文本包含的人机交互上下文信息生成对应的人机交互运动描述文本；

19、将生成的人机交互运动描述文本输入clip文本编码器，对文本进行编码处理，输出对应的语义特征向量；

20、将得到的语义特征向量作为条件输入mdm扩散模型，控制 mdm扩散模型执行反向扩散采样运算，输出初始多帧人体交互姿态序列。

21、优选地，所述采用rodrigues旋转公式对姿态进行旋转校正，具体包括以下步骤：

22、基于人体交互部位对应的单位方向向量与功能面单位法向量，通过rodrigues旋转公式的旋转逻辑求解得到旋转矩阵，并对旋转矩阵进行求解；

23、使用求解完成的旋转矩阵对初始人体交互姿态序列内全部人体三维关节坐标同步执行旋转变换；

24、完成全部关节旋转操作，使人体交互部位朝向匹配预设的目标几何约束，得到旋转校正后的人体交互姿态序列。

25、优选地，还包括对校正后的人体交互姿态序列进行重力一致性校验，具体为：

26、通过人体躯干向量判断姿态竖直度；若竖直度未达到预设阈值，则求解重力补偿旋转矩阵修正姿态朝向，并将补偿旋转叠加至原rodrigues旋转矩阵，重新执行姿态对齐操作，直至姿态竖直度达标；

27、对竖直度校验达标的姿态执行全局朝向消歧，消除rodrigues法向量校正产生的180°双向等效朝向歧义，结合场景空间信息确定唯一合理人体朝向，输出最终人体交互姿态序列；

28、所述场景空间信息包括功能表面几何中心、功能面单位法向量，以及当前人体姿态序列全部关节三维坐标和躯干重力方向向量。

29、优选地，所述通过人体躯干向量判断姿态竖直度，具体包括以下步骤：

30、以竖直度量函数量化脊柱在重力方向上的平均投影长度；

31、式中，为姿态竖直度指标，用来判断人体姿态是否存在倾斜；为世界坐标系中的竖直方向单位向量，为第帧中胸腔关节的三维位置，为第帧中骨盆关节的三维位置；

k为当前姿态序列内包含的总帧数；

32、当s(p)低于预设最小竖直度阈值时，自动构造绕骨盆关节的额外旋转矩阵使脊柱方向向对齐，并将修正后姿态回送至rodrigues校正步骤重新进行法向量对齐，直至姿态竖直度达标。

33、优选地，所述对竖直度校验达标的姿态执行全局朝向消歧，具体包括以下步骤：

34、将功能表面单位法向量、物体质心到功能表面中心的向量、观察者方向向量和人体根关节姿态多维特征输入三层mlp网络；

35、所述三层mlp网络输出面向物体和背对物体的二分类概率；

36、当背对概率大于面向概率时，施加绕世界坐标系z轴180度旋转矩阵进行朝向翻转，实现全局朝向消歧。

37、本发明还提供了一种三维交互姿态生成与校正系统，包括：

38、数据获取模块，用于获取目标物体对应的三维物体点云；

39、目标导向可供性解析模块，用于从所述三维物体点云中提取目标物体的功能表面单位法向量和功能表面几何中心；基于目标物体类别和功能标签、人体交互部位名称，以及由功能表面单位法向量转换得到的功能表面方向描述生成表征人机交互上下文信息的结构化提示文本；对所述结构化提示文本依次进行语义生成和文本编码，生成初始人体交互姿态序列；

40、朝向约束交互姿态合成模块，用于从所述初始多帧人体交互姿态序列中提取人体交互部位对应的单位方向向量；依据交互类型确定目标几何约束，结合所述单位方向向量与功能表面单位法向量，采用rodrigues旋转公式对姿态进行旋转校正，使人体交互部位朝向满足对应的目标几何约束；基于功能表面几何中心求解平移向量，利用所述平移向量对旋转后的姿态整体平移，将人体交互参考关节对齐至功能表面几何中心，输出校正后的人体交互姿态序列

41、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器加载时，能够执行所述三维交互姿态生成与校正方法中任一项所述的步骤。

42、本发明提供的三维交互姿态生成与校正方法具有以下有益效果：

43、本发明通过提取功能表面单位法向量与几何中心，将单纯语义层面的可供性信息转化为可量化的精准几何约束，替代模糊的注视方向信号；再基于功能表面单位法向量生成初始交互姿态，在姿态生成阶段融入精确空间朝向信息；同时依托功能面几何中心完成平移对齐，对初始交互姿态进行精确校准，实现交互部位与物体功能面精准贴合，输出的交互姿态同时满足交互语义、空间几何与人体位置匹配要求，几何对齐误差大幅降低，能够输出贴合真实人机交互的姿态，可适配vr、ar 实时交互场景的精度与性能需求。