三维场景重建方法、具身智能模型训练方法及具身机器人与流程

摘要: 本技术涉及图像处理,特别是涉及三维场景重建方法、具身智能模型训练方法及具身机器人。背景技术:1、随着图像处理技术的发展,可以将通过图像传感器采集到的二维图像转化...
三维场景重建方法、具身智能模型训练方法及具身机器人与流程

本技术涉及图像处理,特别是涉及三维场景重建方法、具身智能模型训练方法及具身机器人。

背景技术:

1、随着图像处理技术的发展,可以将通过图像传感器采集到的二维图像转化为三维模型,以便于利用三维模型获取到的当前场景的相关信息去执行一些任务。例如机器人通过将采集到的二维图像转化为三维模型,以获取到所处的周围环境的信息,以用于指导该机器人在当前环境中移动或其他任务。

2、然而,在将采集到二维图像转化为三维模型的过程中,传统技术中,通常是将二维图像中的各个物体的图像均转化成对应的三维模型之后,将各个物体对应的三维模型组合起来得到与整个二维图像对应的三维模型。如此可能会导致所生成的三维模型的场景真实度较低、场景中的结构不合理的情况发生。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够确保生成的三维场景中的物体位置的逻辑正确,从而提高生成的三维场景的合理性和真实度的三维场景重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本技术提供了一种三维场景重建方法,包括:

3、获取初始三维场景,并对初始三维场景进行分割,得到位于初始三维场景中的多个重建对象;

4、确定任意两个重建对象之间的物理依赖关系,并基于物理依赖关系,构建目标物理依赖图;其中,物理依赖关系包括有向遮挡关系,或者包括有向遮挡关系和有向支撑关系;

5、基于目标物理依赖图,确定各个重建对象对应的调整顺序;

6、按照调整顺序依次对各个重建对象进行调整,得到调整后的目标三维场景。

7、在一些实施例中,确定任意两个重建对象之间的物理依赖关系,包括:针对任意两个重建对象,基于所述两个重建对象在目标二维图像中分别对应的局部图像区域之间的相邻性,确定两个重建对象之间是否存在遮挡关系;其中,所述目标二维图像为用于生成所述初始三维场景的二维图像;

8、若两个重建对象之间存在遮挡关系,则确定两个重建对象之间的有向遮挡关系,并确定两个重建对象之间的支撑判断结果;基于有向遮挡关系和支撑判断结果,确定两个重建对象之间的物理依赖关系;其中,支撑判断结果用于表征两个重建对象之间不存在支撑关系,或者表征两个重建对象之间的有向支撑关系。

9、在一些实施例中,基于所述两个重建对象在目标二维图像中分别对应的局部图像区域之间的相邻性,确定两个重建对象之间是否存在遮挡关系,包括:获取目标二维图像;确定两个重建对象在目标二维图像中分别对应的局部图像区域;判断两个重建对象分别对应的局部图像区域是否相邻;若两个重建对象分别对应的局部图像区域相邻,则确定两个重建对象之间存在遮挡关系;若两个重建对象分别对应的局部图像区域不相邻,则确定两个重建对象之间不存在遮挡关系。

10、在一些实施例中,确定两个重建对象之间的有向遮挡关系,包括:获取初始三维场景在目标二维图像对应视角下的深度图;基于两个重建对象在目标二维图像中分别对应的掩码区域,从深度图中分别计算两个重建对象对应的第一深度信息和第二深度信息;基于第一深度信息和第二深度信息,确定两个重建对象中的遮挡对象与被遮挡对象;基于遮挡对象与被遮挡对象,确定两个重建对象之间的有向遮挡关系。

11、在一些实施例中,第一深度信息和第二深度信息分别为两个重建对象对应的掩码区域在深度图中的加权平均深度;基于第一深度信息和第二深度信息,确定两个重建对象中的遮挡对象与被遮挡对象,包括:若第一深度信息大于第二深度信息,则确定第一深度信息对应的重建对象为被遮挡对象,确定第二深度信息对应的重建对象为遮挡对象;若第二深度信息大于第一深度信息,则确定第二深度信息对应的重建对象为被遮挡对象,确定第一深度信息对应的重建对象为遮挡对象;有向遮挡关系的方向为由被遮挡对象指向遮挡对象。

12、在一些实施例中,确定两个重建对象之间的支撑判断结果,包括:从初始三维场景中渲染出多个不同视角对应的二维视角图像;获取两个重建对象在各个二维视角图像中对应的空间方位信息和对象属性;将多个不同视角对应的二维视角图像、两个重建对象在各个二维视角图像中对应的空间方位信息和对象属性输入至关系预测模型,得到两个重建对象之间的支撑判断结果。

13、在一些实施例中,将多个不同视角对应的二维视角图像、两个重建对象在各个二维视角图像中对应的空间方位信息和对象属性输入至关系预测模型,得到两个重建对象之间的支撑判断结果,包括:针对各个二维视角图像,确定两个重建对象在二维视角图像中分别对应的中心位置;基于二维视角图像的中心以及两个重建对象分别对应的中心位置,确定两个重建对象在二维视角图像中的空间方位信息;将二维视角图像、两个重建对象在二维视角图像中的空间方位信息和对象属性输入至关系预测模型,得到当前视角下的候选支撑判断结果;基于多个视角下的候选支撑判断结果进行投票,得到两个重建对象之间的支撑判断结果。

14、在一些实施例中,目标物理依赖图包括多个节点,各个节点分别表征各个重建对象;基于物理依赖关系,构建目标物理依赖图,包括:针对任意两个重建对象,若两个重建对象之间的物理依赖关系仅包括有向遮挡关系,则基于有向遮挡关系,在两个重建对象对应的节点之间生成有向遮挡连接边;若两个重建对象之间的物理依赖关系包括有向遮挡关系和有向支撑关系,则分别基于有向遮挡关系和有向支撑关系,在两个重建对象对应的节点之间生成有向遮挡连接边和有向支撑连接边;基于各个节点、各条有向遮挡连接边和各条有向支撑连接边,构建初始物理依赖图;基于初始物理依赖图,构建目标物理依赖图。

15、在一些实施例中,基于初始物理依赖图,构建目标物理依赖图,包括:若初始物理依赖图中的两个节点之间存在一条有向遮挡连接边和一条有向支撑连接边,且有向遮挡连接边与有向支撑连接边的方向相反,则保留有向支撑连接边,并移除有向遮挡连接边,以得到目标物理依赖图。

16、在一些实施例中,初始三维场景由多个高斯核构成,按照调整顺序依次对各个重建对象进行调整,包括:获取已调整对象集合,已调整对象集合包括按照调整顺序已完成调整的重建对象;针对当前重建对象中的当前高斯核,获取当前高斯核的原始梯度;基于当前高斯核与已调整对象集合中的各个已调整对象对应的已调整高斯核之间的距离,确定当前高斯核是否位于相交区域;若当前高斯核位于相交区域,则基于与当前高斯核距离最近的已调整高斯核的邻近高斯核,确定表面法向量;基于表面法向量对当前高斯核的原始梯度进行修正,并基于修正后的梯度对当前重建对象进行调整。

17、在一些实施例中,按照调整顺序依次对各个重建对象进行调整,包括:获取可微分物理仿真器和已调整对象集合;针对当前重建对象,将当前重建对象与已调整对象集合输入至可微分物理仿真器,得到当前重建对象对应的稳定状态信息和接触信息,接触信息包括当前重建对象的接触点以及环境接触点的法向量;基于当前重建对象的当前状态信息和稳定状态信息之间的差异,确定稳定性梯度;基于当前重建对象的接触点以及环境接触点的法向量,对稳定性梯度进行选择性处理,得到目标梯度,并基于目标梯度对当前重建对象进行调整。

18、第二方面,本技术还提供了一种具身智能模型训练方法,包括:

19、获取多个目标三维场景,多个目标三维场景是采用上述各方法实施例所描述的步骤得到的;

20、基于多个目标三维场景构建三维场景数据集;

21、将三维场景数据集加载至仿真环境中,生成具身机器人在多个目标三维场景中的仿真交互数据;

22、基于仿真交互数据,对具身智能模型进行训练。

23、第三方面,本技术还提供了一种具身机器人,具身机器人包括感知模块、决策模块和运动执行模块;

24、感知模块用于获取环境感知信息;

25、决策模块部署有具身智能模型,用于将所述环境感知信息输入至所述具身智能模型,得到运动控制信息;该具身智能模型基于三维场景数据集训练得到,三维场景数据集包括采用上述各方法实施例所描述的步骤得到的多个目标三维场景;

26、运动执行模块用于基于运动控制信息执行运动控制。

27、第四方面,本技术还提供了一种三维场景重建装置,包括:

28、初始重建模块,用于获取初始三维场景,并对初始三维场景进行分割,得到位于初始三维场景中的多个重建对象;

29、依赖确定模块,用于确定任意两个重建对象之间的物理依赖关系,并基于物理依赖关系,构建目标物理依赖图;其中,物理依赖关系包括有向遮挡关系,或者包括有向遮挡关系和有向支撑关系;

30、顺序确定模块,用于基于目标物理依赖图,确定各个重建对象对应的调整顺序;

31、调整重建模块,用于按照调整顺序依次对各个重建对象进行调整,得到调整后的目标三维场景。

32、第五方面,本技术还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述各方法实施例中所描述的步骤。

33、第六方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中所描述的步骤。

34、第七方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中所描述的步骤。

35、上述三维场景重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取初始三维场景,并在对初始三维场景进行分割之后得到位于初始三维场景中的多个重建对象,确定初始三维场景中任意两个重建对象之间的物理依赖关系,并基于该物理依赖关系构建目标物理依赖图。其中,该物理依赖关系包括有向遮挡关系、有向支撑关系等,目标物理依赖图能够表征各个重建对象之间的遮挡依赖和支撑依赖,因而基于所述目标物理依赖图确定的调整顺序能够使被依赖的重建对象先于依赖该重建对象的其他重建对象进行调整。按照所述调整顺序依次调整各个重建对象,有利于减少不同重建对象的调整过程相互干扰,提高目标三维场景中各个重建对象之间空间关系和支撑关系的合理性,进而提高目标三维场景的结构合理性和真实感。