一种场景重建方法、装置、存储介质及电子设备与流程

摘要: 本发明涉及三维重建,尤其涉及一种场景重建方法、装置、存储介质及电子设备。背景技术:1、三维重建技术是数字孪生、虚拟现实及文化遗产数字化保护等领域的核心技术支撑。...
一种场景重建方法、装置、存储介质及电子设备与流程

本发明涉及三维重建,尤其涉及一种场景重建方法、装置、存储介质及电子设备。

背景技术:

1、三维重建技术是数字孪生、虚拟现实及文化遗产数字化保护等领域的核心技术支撑。三维高斯泼溅(3d gaussian splatting,简称3dgs)因渲染速度快、细节表现力强,已成为该领域的主流技术方向之一。

2、然而,3dgs技术要求采集场景处于完全受控状态,场景内不存在任何可能干扰采集的物体或因素,否则这些干扰因素会被纳入重建优化过程,导致模型出现纹理混叠与结构畸变。室外真实场景通常包含持续流动的人群、车辆等移动因素,按传统方式实施重建需临时封闭场地,涉及大量协调工作。部分场景客观上不具备封闭条件,致使该技术规模化落地困难。

3、因此,如何在大规模复杂场景下实现高精度的场景重建,成为本领域技术人员亟需解决的技术问题。

技术实现思路

1、鉴于上述问题,本发明提供一种克服上述问题或者至少部分地解决上述问题的一种场景重建方法、装置、存储介质及电子设备,技术方案如下:

2、一种场景重建方法,包括:

3、获得目标场景的激光点云数据、可见光图像数据和空中图像数据;

4、基于所述可见光图像数据和所述空中图像数据进行联合位姿解算,获得位姿解算结果;

5、利用所述位姿解算结果和所述激光点云数据,生成与所述目标场景对应的稀疏点云数据;

6、利用所述可见光图像数据和所述空中图像数据进行语义分割,生成二值掩码数据;

7、利用所述稀疏点云数据和所述二值掩码数据对所述目标场景进行三维重建,获得与所述目标场景对应的三维场景模型。

8、可选的,所述利用所述稀疏点云数据和所述二值掩码数据对所述目标场景进行三维重建,获得与所述目标场景对应的三维场景模型,包括:

9、利用所述稀疏点云数据将所述目标场景划分为多个子场景;

10、获得各子场景对应的局部稀疏点云数据和局部二值掩码数据;

11、分别根据各子场景对应的局部稀疏点云数据和局部二值掩码数据进行三维重建,获得各子场景对应的子场景模型;

12、将各子场景对应的子场景模型进行拼接,获得所述三维场景模型。

13、可选的,所述分别根据各子场景对应的局部稀疏点云数据和局部二值掩码数据进行三维重建,获得各子场景对应的子场景模型,包括:

14、利用当前子场景对应的局部稀疏点云数据,获得三维高斯分布集合;

15、利用所述当前子场景对应的局部二值掩码数据,确定有效像素区域;

16、基于所述有效像素区域计算损失值;

17、通过所述损失值迭代优化所述三维高斯分布集合中的高斯参数;

18、当所述损失值满足预设收敛条件时停止迭代,获得所述当前子场景对应的子场景模型。

19、可选的,所述利用所述稀疏点云数据将所述目标场景划分为多个子场景,包括:

20、获得所述稀疏点云数据的空间包围盒,根据预设资源上限对所述空间包围盒进行划分,获得初始分区结果;

21、建立所述稀疏点云数据中各三维点与所述可见光图像数据和所述空中图像数据中各图像之间的关联索引关系;

22、根据所述关联索引关系统计各初始分区结果对应的图像数量;

23、将对应图像数量低于预设图像数量阈值的初始分区与相邻分区进行合并,直至合并后各分区对应的图像数量均达到所述预设图像数量阈值。

24、可选的,所述将各子场景对应的子场景模型进行拼接,获得所述三维场景模型,包括:

25、提取相邻子场景模型之间的公共稀疏点云;

26、利用所述公共稀疏点云对各子场景模型进行坐标对齐;

27、将坐标对齐后的各子场景模型进行融合拼接,获得所述三维场景模型。

28、可选的,所述基于所述可见光图像数据和所述空中图像数据进行联合位姿解算,获得位姿解算结果,包括:

29、获得所述可见光图像数据的初始相机位姿数据;

30、利用所述可见光图像数据和所述空中图像数据之间的公共特征点数据,以所述初始相机位姿数据为基准对全部相机位姿进行联合优化,获得位姿解算结果。

31、可选的,所述二值掩码数据中动态物体区域标记为无效区域、场景主体区域标记为有效区域。

32、一种场景重建装置,包括:数据获得单元、位姿解算单元、稀疏点云生成单元、掩码生成单元和三维重建单元;

33、所述数据获得单元,用于获得目标场景的激光点云数据、可见光图像数据和空中图像数据;

34、所述位姿解算单元,用于基于所述可见光图像数据和所述空中图像数据进行联合位姿解算,获得位姿解算结果;

35、所述稀疏点云生成单元,用于利用所述位姿解算结果和所述激光点云数据,生成与所述目标场景对应的稀疏点云数据;

36、所述掩码生成单元,用于利用所述可见光图像数据和所述空中图像数据进行语义分割,生成二值掩码数据;

37、所述三维重建单元,用于利用所述稀疏点云数据和所述二值掩码数据对所述目标场景进行三维重建,获得与所述目标场景对应的三维场景模型。

38、一种计算机可读存储介质,其上存储有程序,所述程序被处理器执行时实现所述的场景重建方法。

39、一种电子设备,所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行所述的场景重建方法。

40、借由上述技术方案,本发明提供的一种场景重建方法、装置、存储介质及电子设备,通过多源数据融合策略,综合激光点云数据、可见光图像数据和空中图像数据进行联合位姿解算与稀疏点云生成,保证了复杂场景下位姿解算的精度与稀疏点云的完整性,并在此基础上,引入了语义分割生成二值掩码数据并以此约束三维重建过程,将分割出的物体区域对应的像素排除在重建优化之外,从而避免干扰物被纳入重建模型导致纹理混叠与结构畸变的问题,该策略特别适用于存在动态物体的场景,无需物理隔离即可完成高保真重建;同时采用基于稀疏点云将目标场景划分为多个子场景进行重建的策略,实现在大规模复杂场景下的高精度场景重建。

41、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

1.一种场景重建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述稀疏点云数据和所述二值掩码数据对所述目标场景进行三维重建,获得与所述目标场景对应的三维场景模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述分别根据各子场景对应的局部稀疏点云数据和局部二值掩码数据进行三维重建,获得各子场景对应的子场景模型,包括:

4.根据权利要求2所述的方法,其特征在于,所述利用所述稀疏点云数据将所述目标场景划分为多个子场景,包括:

5.根据权利要求2所述的方法,其特征在于,所述将各子场景对应的子场景模型进行拼接,获得所述三维场景模型,包括:

6.根据权利要求1所述的方法,其特征在于,所述基于所述可见光图像数据和所述空中图像数据进行联合位姿解算,获得位姿解算结果,包括:

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述二值掩码数据中动态物体区域标记为无效区域、场景主体区域标记为有效区域。

8.一种场景重建装置,其特征在于,包括:数据获得单元、位姿解算单元、稀疏点云生成单元、掩码生成单元和三维重建单元;

9.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的场景重建方法。

10.一种电子设备,其特征在于,所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1至7中任一项所述的场景重建方法。