基于加权稀疏几何监督的神经辐射场三维重建方法及系统

本发明属于三维重建，尤其涉及基于加权稀疏几何监督的神经辐射场三维重建方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、复杂场景三维重建是移动机器人、智能巡检、无人系统感知和数字孪生建模中的基础问题。传统三维重建依赖多视图几何、点云配准、稠密匹配或slam建图流程，能恢复显式几何结构，但在弱纹理、遮挡、光照变化和局部细节复杂的真实场景中易受特征匹配质量和点云噪声影响。近年来神经隐式表示技术快速发展：nerf通过可微渲染从多视角图像中学习三维一致的场景表示，instant-ngp、plenoctrees、3d gaussian splatting等变体显著提升了训练和渲染效率；为改善几何约束不足，一类方法引入深度先验等约束，相关研究表明，真实场景nerf训练结果受模型结构、输入质量、相机位姿、稀疏几何先验、监督信号可靠性等多重因素影响。

3、sfm/colmap稀疏点云是nerf训练常用几何来源，colmap可从多视角图像恢复相机位姿等信息，为稀疏深度监督提供基础。现有nerf方法训练仅能约束渲染颜色与真实图像的差异，易出现模糊、细节缺失问题。而常用的colmap稀疏点云存在噪声、外点、分布不均等缺陷，若直接等权用于监督训练，观测质量差的点会误导模型，导致重建几何精度不足、鲁棒性差，难以满足工程应用对空间结构可靠性的要求。几何估计领域相关研究均强调监督质量的重要性，已有研究指出，真实场景几何恢复面临多重挑战，复杂场景中可靠对应关系建模仍是提高几何估计鲁棒性的关键问题。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了基于加权稀疏几何监督的神经辐射场三维重建方法及系统，解决现有nerf三维重建中，colmap稀疏点云质量不均直接作为监督易误导模型训练，导致重建几何精度低、鲁棒性差的技术问题。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、本发明第一方面提供了基于加权稀疏几何监督的神经辐射场三维重建方法，包括：

4、获取多视角图像和对应的相机参数，并将所述多视角图像划分为训练视图和测试视图；

5、对所述训练视图进行运动恢复结构处理，得到稀疏三维点云、每个稀疏三维点的观测次数和重投影误差，以及各训练视图的相机位姿；

6、根据所述观测次数和重投影误差，构建每个稀疏三维点的可靠性权重；

7、将所述稀疏三维点云投影至各训练视图，获得每个训练视图的稀疏深度图；

8、构建联合训练损失函数，所述联合训练损失函数包括rgb重建损失和稀疏深度损失；以所述联合训练损失函数最小化为目标，训练神经辐射场模型；其中，所述稀疏深度损失为基于所述可靠性权重加权的深度误差，不同可靠性的稀疏三维点以不同监督强度参与神经辐射场模型优化；

9、将所述测试视图输入训练后的神经辐射场模型，得到三维重建结果。

10、作为进一步的技术方案，在所述稀疏深度损失计算过程中设计top-k可靠点筛选策略，仅选取每幅训练视图稀疏深度图中可靠性权重排名比例前k的稀疏三维点参与可靠性加权几何监督。

11、作为进一步的技术方案，所述top-k可靠点筛选策略具体为：将稀疏三维点按照可靠性权重从高到低排序，根据预设的保留比例k确定筛选阈值，定义筛选掩码；当稀疏三维点的可靠性权重大于或等于筛选阈值时，筛选掩码为1，稀疏三维点被保留并参与可靠性加权几何监督；否则筛选掩码为0，稀疏三维点被剔除。

12、作为进一步的技术方案，在构建所述可靠性权重之前，对所述稀疏三维点进行预筛选，剔除观测次数小于预设值或重投影误差大于预设值的稀疏三维点；

13、对于预筛选后保留的第个稀疏三维点，根据其观测次数构建观测支持项，根据其重投影误差构建重投影一致性项，基于所述观测支持项和所述重投影一致性项采用乘法耦合方式确定所述第个稀疏三维点的可靠性权重：

14、

15、

16、

17、其中，表示第个稀疏三维点的多视角观测支持程度；表示第个稀疏三维点的重投影一致性程度；表示预筛选后保留的稀疏三维点中的最大观测次数，为数值稳定项，表示第个稀疏三维点的可靠性权重。

18、作为进一步的技术方案，所述联合训练损失的计算公式为：

19、

20、其中，为稀疏几何监督权重，为rgb重建损失，为稀疏深度损失。

21、作为进一步的技术方案，经top-k可靠点筛选后的稀疏深度损失为：

22、

23、其中，为筛选掩码，为可靠性权重，为有效监督掩码，为神经辐射场模型预测深度，为稀疏三维点的投影深度，为数值稳定项。

24、本发明第二方面提供了基于加权稀疏几何监督的神经辐射场三维重建系统，包括：

25、二维图像获取模块，被配置为：获取多视角图像和对应的相机参数，并将所述多视角图像划分为训练视图和测试视图；

26、稀疏点表征模块，被配置为：对所述训练视图进行运动恢复结构处理，得到稀疏三维点云、每个稀疏三维点的观测次数和重投影误差，以及各训练视图的相机位姿；

27、可靠性权重构建模块，被配置为：根据所述观测次数和重投影误差，构建每个稀疏三维点的可靠性权重；

28、稀疏点投影模块，被配置为：将所述稀疏三维点云投影至各训练视图，获得每个训练视图的稀疏深度图；

29、模型训练模块，被配置为：构建联合训练损失函数，所述联合训练损失函数包括rgb重建损失和稀疏深度损失；以所述联合训练损失函数最小化为目标，训练神经辐射场模型；其中，所述稀疏深度损失为基于所述可靠性权重加权的深度误差，不同可靠性的稀疏三维点以不同监督强度参与神经辐射场模型优化；

30、三维重建模块，被配置为：将所述测试视图输入训练后的神经辐射场模型，得到三维重建结果。

31、作为进一步的技术方案，在所述稀疏深度损失计算过程中设计top-k可靠点筛选策略，仅选取每幅训练视图稀疏深度图中可靠性权重排名比例前k的稀疏三维点参与可靠性加权几何监督。

32、本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于加权稀疏几何监督的神经辐射场三维重建方法中的步骤。

33、本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于加权稀疏几何监督的神经辐射场三维重建方法中的步骤。

34、以上一个或多个技术方案存在以下有益效果：

35、本发明提出可靠性加权稀疏几何监督方法。根据colmap稀疏点的观测次数和重投影误差构建可靠性权重，并将其嵌入稀疏深度监督损失，降低低质量点对神经辐射场密度场优化的干扰。

36、从实验结果看，可靠性加权监督在多个室内外场景中表现出较好的稳定性；不仅验证了可靠性加权的有效性，也说明稀疏点质量分布和空间覆盖情况会直接影响几何监督策略的选择。

37、从工程应用角度看，本发明方法无需额外深度传感器，仅依赖常规多视角图像和colmap预处理结果即可构建几何约束，适用于低成本实景三维建模、移动机器人环境感知和数字孪生场景构建。

38、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。