一种基于多视角的物体间类型化物理约束生成方法及系统

摘要: 本发明涉及三维场景理解、计算机视觉和物理仿真,具体地说是一种基于多视角的物体间类型化物理约束生成方法及系统。背景技术:1、现有三维场景方法较多关注物体能否稳定摆...
一种基于多视角的物体间类型化物理约束生成方法及系统

本发明涉及三维场景理解、计算机视觉和物理仿真,具体地说是一种基于多视角的物体间类型化物理约束生成方法及系统。

背景技术:

1、现有三维场景方法较多关注物体能否稳定摆放,通常判断是否悬空、是否穿插或静态状态是否合理。这类方法可以得到一个物体的位置,但难以继续说明门和门框之间是否应采用铰链、抽屉和柜体之间是否应采用滑轨,也难以直接判断这些结构能否完成开合、拉出或摆动。另一类方法会重建单个物体内部的关节,例如从柜门、柜体等部件中恢复转轴和关节参数。这类方法依赖同一物体内部已有的部件关系。对于两个独立重建的三维物体,两侧网格通常没有共同的运动学骨架,因此不能直接照搬。

2、物体间约束还存在一个实际问题,预测锚点距离真实位置较近,并不代表约束一定能够工作。锚点的位置、运动方向和周围几何结构共同决定了物体是否会卡住、穿插或失稳,只用点到点距离很难反映这些差异,因此需要把预测结果真正放入仿真中验证。此外,常见几何候选点容易漏掉连接位置,铰链往往位于部件边缘,绳系端点往往位于细长结构的末端,若只使用包围盒面心或少量最远点采样,候选集合中可能根本没有可行锚点。

3、综上所述,现有技术的三维场景方法主要存在以下问题:1)难以直接生成带类型的物体间物理连接并验证其功能正确性;2)预测结果缺少物理仿真闭环验证以及依据测试结果进行自动修正的机制;3)通用几何候选方法对铰链边缘、细长结构末端等实际连接位置的覆盖不足。

技术实现思路

1、本发明的目的是针对现有技术的不足而提供的一种基于多视角的物体间类型化物理约束生成方法及系统,采用物理仿真验证和修正约束参数的方法,从两个三维物体的多视角图像中判断物体间连接方式,并通过物理仿真验证和修正约束参数,生成物体间类型化物理约束。该方法输入两个三维物体的网格模型,从多个视角渲染图像并生成带编号的候选锚点,视觉语言模型根据图像选择约束类型、锚点编号和轴向,将结果还原为三维参数并编译成动力学模型;随后执行静态平衡、非穿插、扰动恢复和功能测试;若测试未通过,系统调整锚点位置,或把测试结果反馈给模型继续修改;对于绳系约束,系统固定绳长并搜索端点位置,减少过松或过紧的无效配置。本发明可直接判断生成约束在物理仿真中是否成立,并在失败后自动修正,可用于机器人交互规划、可动三维资产装配和三维场景物理校验,具有良好的工程实用性和推广价值。

2、实现本发明目的的具体技术方案是:一种基于多视角的物体间类型化物理约束生成方法,其特点是所述方法具体包括:

3、步骤1:获取第一物体和第二物体的三维网格,从多个视角渲染得到图像。

4、步骤2:对物体网格生成候选锚点,对候选锚点去重并分配编号,将编号标记绘制到多视角图像中。

5、步骤3:将带编号的多视角图像输入视觉语言模型,且由视觉语言模型输出约束类型、候选锚点编号和轴向信息。

6、步骤4:根据候选锚点编号读取对应的三维坐标,对约束参数进行完整性检查,并将其编译为物理仿真器可执行的动力学模型。

7、步骤5:对动力学模型执行仿真测试,所述仿真测试包括:静态平衡测试、非穿插测试、扰动恢复测试以及与约束类型对应的功能测试,全部测试通过后输出物理约束。

8、步骤6:仿真测试未全部通过时,则根据测试结果判断是否为锚点位置、约束类型或轴向问题,对于锚点位置问题,在候选点附近继续搜索连续位置;对于约束类型或轴向问题,将仿真测试结果反馈给视觉语言模型重新选择,并在预设次数内重复步骤3至步骤5,直至仿真测试全部通过,并输出物理约束。

9、所述候选锚点由多粒度部件分割结果和基础几何候选共同生成,每个部件至少生成部件质心、主轴方向上的极值点以及相邻部件接缝附近的候选点,所述基础几何候选至少包括:包围盒面心、包围盒棱边中点、凸分解端点或最远点采样点中的一种。

10、所述候选锚点分为分析集合和展示集合,所述分析集合检查候选生成方法是否覆盖可能的连接位置;所述展示集合在多视角图像中显示候选编号并供视觉语言模型选择,系统在判定结果前检查编号说明、图中标记和实际读取坐标是否一致。

11、所述约束类型为固定约束、铰链约束、绳系约束、滑轨约束和无约束五种类型,所述绳系约束将第一端锚点和方向作为连续搜索变量,第二端锚点由绳长确定,使每一个被评估的配置均满足给定绳长,其参数关系由下式表示为:

12、 ;

13、 ;

14、 。

15、其中,为搜索变量;为第一端锚点;为第二端锚点;d为方向向量;l为给定绳长;为单位方向向量;为实数域。

16、所述功能测试按约束类型分别设置为;铰链约束检查物体能否绕给定轴转动至目标角度;滑轨约束检查物体能否沿给定方向移动至目标行程;绳系约束检查受扰后是否能够形成摆动;固定约束检查受力后的位移是否保持在阈值范围内。

17、所述反馈给视觉语言模型的信息来自仿真测试本身,至少包括:失败测试名称、位移量、穿透量、轴向偏差或功能量程中的一种,并记录已经选择且未通过测试的候选编号,以减少重复选择;反馈信息不包含真实约束答案。

18、一种基于多视角的物体间类型化物理约束生成系统,其特点是所述系统包括:多视角渲染模块、候选锚点生成模块、约束推断模块、参数解析与编译模块、仿真判定模块、连续位置搜索模块和修复调度模块,各模块被配置为执行本发明所述的方法。

19、本发明与现有技术相比具有以下有益的技术效果和显著的技术进步:

20、1)生成结果可以直接进入物理仿真,不再只用几何距离判断是否正确,能够检查门能否打开、抽屉能否拉出、悬挂物能否摆动等实际功能。

21、2)视觉语言模型只选择候选编号、约束类型和轴向,三维坐标由系统读取,减少了模型直接输出连续坐标时产生的大幅定位误差。

22、3)仿真失败后可以继续自动修正。反馈内容来自测试结果,不需要向模型提供真实答案。

23、4)部件感知候选与连续位置搜索配合使用,前者提高铰链边缘和细长结构末端等位置的覆盖率,后者处理离散候选中没有可行点的情况。

24、5)绳系约束在搜索过程中始终满足绳长条件,可明显减少无效端点组合。

25、6)本发明采用固定、铰链、绳系、滑轨和无约束五类连接。对于需要锚点的约束,系统先生成一组带编号的候选位置,视觉语言模型只选择编号而不直接给出三维坐标,这样可以减少坐标自由输出带来的误差,也便于后续逐个候选进行检查。

26、7)本发明可直接判断生成约束在物理仿真中是否成立,并在失败后自动修正,可用于机器人交互规划、可动三维资产装配和三维场景物理校验。

1.一种基于多视角的物体间类型化物理约束生成方法,其特征在于,该方法具体包括:

2.根据权利要求1所述的基于多视角的物体间类型化物理约束生成方法,其特征在于,所述候选锚点由多粒度部件分割结果和基础几何候选共同生成,每个部件至少生成部件质心、主轴方向上的极值点以及相邻部件接缝附近的候选点,所述基础几何候选至少包括:包围盒面心、包围盒棱边中点、凸分解端点或最远点采样点中的一种。

3.根据权利要求1所述的基于多视角的物体间类型化物理约束生成方法,其特征在于,所述约束类型为固定约束、铰链约束、绳系约束、滑轨约束和无约束五种类型,所述绳系约束将第一端锚点和方向作为连续搜索变量,第二端锚点由绳长确定,使每一个被评估的配置均满足给定绳长,其参数关系由下式表示为:

4.根据权利要求1所述的基于多视角的物体间类型化物理约束生成方法,其特征在于,所述功能测试按约束类型设置为;铰链约束检查物体能否绕给定轴转动至目标角度;滑轨约束检查物体能否沿给定方向移动至目标行程;绳系约束检查受扰后是否能够形成摆动;固定约束检查受力后的位移是否保持在阈值范围内。

5.根据权利要求1所述的基于多视角的物体间类型化物理约束生成方法,其特征在于,所述仿真测试结果反馈给视觉语言模型的信息至少包括:失败测试名称、位移量、穿透量、轴向偏差或功能量程中的一种,并记录已经选择且未通过测试的候选编号。

6.根据权利要求1或权利要求2所述的基于多视角的物体间类型化物理约束生成方法,其特征在于,所述候选锚点分为分析集合和展示集合,所述分析集合检查候选生成方法是否覆盖可能的连接位置;所述展示集合在多视角图像中显示候选编号并供视觉语言模型选择,系统在判定结果前检查编号说明、图中标记和实际读取坐标是否一致。

7.一种权利要求1所述的基于多视角的物体间类型化物理约束生成方法构建的系统,其特征在于,所述系统包括:多视角渲染模块、候选锚点生成模块、约束推断模块、参数解析与编译模块、仿真判定模块、连续位置搜索模块和修复调度模块,各模块被配置为执行权利要求1至6任一项所述的方法。