针对三维对象的空间理解方法、装置及相关设备与流程

摘要: 本公开涉及计算机,尤其涉及空间生成、空间理解、人工智能、图像处理等。背景技术:1、随着ar(augmentedreality,增强现实)扫描以及3dgs(3dg...
针对三维对象的空间理解方法、装置及相关设备与流程

本公开涉及计算机,尤其涉及空间生成、空间理解、人工智能、图像处理等。

背景技术:

1、随着ar(augmented reality,增强现实)扫描以及3dgs(3d gaussian splatting,三维高斯泼溅)等技术的发展,利用移动终端摄像头对现实场景中的物体进行扫描并自动生成三维模型的应用日益广泛。这类应用通常要求用户围绕目标物体进行多角度拍摄或环拍,系统随后基于采集到的图像序列进行三维建模。

2、因此扫描的质量将影响三维模型建模的精度。

技术实现思路

1、本公开提供了一种针对三维对象的空间理解方法、装置及相关设备,以解决或缓解现有技术中的一项或更多项技术问题。

2、根据本公开的一方面,提供了一种针对三维对象的空间理解方法,包括:

3、显示图像采集装置采集的目标图像;

4、响应于对目标图像中的目标对象配置的目标点,获取包含目标对象的深度图像;

5、确定目标对象在目标图像中的目标检测框;

6、将目标检测框投射到深度图像中,得到兴趣框;

7、确定目标点在深度图像中的初始深度值;

8、在深度图像的目标对象的兴趣框内,查找与初始深度值的深度差小于第一阈值的深度点,得到第一深度点集;

9、基于第一深度点集,确定目标点的目标深度;

10、基于目标点的目标深度,在目标对象的深度图像中的兴趣框内进行采样,得到用于表达目标对象所包含的深度点的第二深度点集;

11、基于第二深度点集,确定目标对象在三维空间中的三维中心点和三维范围。

12、根据本公开的另一方面,提供了一种针对三维对象的空间理解装置,包括:

13、显示模块,用于显示图像采集装置采集的目标图像;

14、获取模块,用于响应于对目标图像中的目标对象配置的目标点,获取包含目标对象的深度图像;

15、检测框确定模块,用于确定目标对象在目标图像中的目标检测框;

16、映射模块,用于将目标检测框投射到深度图像中,得到兴趣框;

17、第一确定模块,用于确定目标点在深度图像中的初始深度值;

18、第一查找模块,用于在深度图像的目标对象的兴趣框内,查找与初始深度值的深度差小于第一阈值的深度点,得到第一深度点集;

19、第二确定模块,用于基于第一深度点集,确定目标点的目标深度;

20、采样模块,用于基于目标点的目标深度,在目标对象的深度图像中的兴趣框内进行采样,得到用于表达目标对象所包含的深度点的第二深度点集;

21、第三确定模块,用于基于第二深度点集,确定目标对象在三维空间中的三维中心点和三维范围。

22、根据本公开的另一方面,提供了一种电子设备,包括:

23、至少一个处理器;以及与该至少一个处理器通信连接的存储器;其中,该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一的方法。

24、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

25、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

26、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种针对三维对象的空间理解方法,包括:

2.根据权利要求1所述的方法,其中,所述基于所述目标点的目标深度,在所述目标对象的深度图像中的兴趣框内进行采样,得到用于表达所述目标对象所包含的深度点的第二深度点集,包括:

3.根据权利要求2所述的方法,还包括:

4.根据权利要求1所述的方法,其中,所述基于所述第二深度点集,确定所述目标对象在三维空间中的三维中心点和三维范围,包括:

5.根据权利要求4所述的方法,还包括:

6.根据权利要求1所述的方法,其中,所述确定所述目标对象在所述目标图像中的目标检测框,包括:

7.根据权利要求1所述的方法,还包括:

8.根据权利要求7所述的方法,还包括:

9.根据权利要求8所述的方法,还包括:

10.根据权利要求1-9中任一项所述的方法,还包括:

11.根据权利要求1-9中任一项所述的方法,还包括:

12.一种针对三维对象的空间理解装置,包括:

13.一种电子设备,其特征在于,包括:

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

15.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。