一种图像重建模型的处理方法及相关装置与流程

本申请涉及计算机视觉，特别是涉及一种图像重建模型的处理方法及相关装置。

背景技术：

1、随着计算机视觉技术的快速发展，通过特定场景的样本图像训练基于神经辐射场的初始重建模型得到图像重建模型，使得图像重建模型在特定场景下多视角下的二维图像的基础上，可渲染得到特定场景的新视角下的二维图像，或可重建得到特定场景的三维模型。

2、相关技术中，图像重建模型的训练方法是指：基于特定场景的样本图像随机选取多条采样射线，通过基于神经辐射场的初始重建模型输出每条采样射线上每个采样点对应的预测颜色和预测密度并体积渲染出渲染图像，按照渲染图像与样本图像之间的颜色损失，训练初始重建模型得到图像重建模型。

3、然而，上述方法中多条采样射线是基于特定场景的样本图像随机选取的，多条采样射线较为离散，按照渲染图像与样本图像之间的颜色损失训练神经辐射场，无法关注学习样本图像的结构信息，导致图像重建模型在图像结构上的重建性能较差。

技术实现思路

1、为了解决上述技术问题，本申请提供了一种图像重建模型的处理方法及相关装置，提升图像重建模型在图像结构上的重建性能。

2、本申请实施例公开了如下技术方案：

3、一方面，本申请实施例提供一种图像重建模型的处理方法，所述方法包括：

4、根据目标场景的样本图像块对应的每条采样射线上多个采样点，通过基于神经辐射场的初始重建模型进行颜色预测和密度预测，获得所述每条采样射线上每个采样点对应的预测颜色和预测密度；

5、根据所述每条采样射线上每个采样点对应的预测颜色和预测密度，通过所述初始重建模型进行体积渲染，获得所述样本图像块对应的渲染图像块；

6、根据所述渲染图像块与所述样本图像块之间的颜色损失、以及所述渲染图像块与所述样本图像块之间的结构性损失，训练所述初始重建模型获得图像重建模型。

7、另一方面，本申请实施例提供一种图像重建模型的处理装置，所述装置包括：预测单元、渲染单元和训练单元；

8、所述预测单元，用于根据目标场景的样本图像块对应的每条采样射线上多个采样点，通过基于神经辐射场的初始重建模型进行颜色预测和密度预测，获得所述每条采样射线上每个采样点对应的预测颜色和预测密度；

9、所述渲染单元，用于根据所述每条采样射线上每个采样点对应的预测颜色和预测密度，通过所述初始重建模型进行体积渲染，获得所述样本图像块对应的渲染图像块；

10、所述训练单元，用于根据所述渲染图像块与所述样本图像块之间的颜色损失、以及所述渲染图像块与所述样本图像块之间的结构性损失，训练所述初始重建模型获得图像重建模型。

11、另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器以及存储器：

12、所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；

13、所述处理器用于根据所述计算机程序中的指令执行前述任一方面所述的方法。

14、另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行前述任一方面所述的方法。

15、另一方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行前述任一方面所述的方法。

16、由上述技术方案可以看出，首先，将目标场景的样本图像块对应的每条采样射线上多个采样点，输入基于神经辐射场的初始重建模型进行颜色预测和密度预测，输出每条采样射线上每个采样点对应的预测颜色和预测密度，表示目标场景下从样本图像块的拍摄点位沿样本图像块中每个样本像素点发出的每条采样射线上每个采样点的三维结构信息，以表示目标场景的样本图像块对应的部分场景的三维结构信息。然后，将每条采样射线上每个采样点对应的预测颜色和预测密度，输入初始重建模型进行体积渲染，输出样本图像块对应的渲染图像块，实现将目标场景下从样本图像块的拍摄点位沿样本图像块中每个像素点发出的每条采样射线上每个采样点的三维结构信息，转换为样本图像块中每个样本像素点对应的渲染图像块中渲染像素点的二维视觉信息，以实现将目标场景的样本图像块对应的部分场景的三维结构信息映射为二维视觉信息。最后，通过渲染图像块与样本图像块之间的颜色损失、以及渲染图像块与样本图像块之间的结构性损失，训练初始重建模型得到图像重建模型，确保渲染图像块中每个渲染像素点与对应的样本图像块中样本像素点在颜色上一致，并确保渲染图像块与样本图像块在结构上一致，使得图像重建模型不仅学习到样本图像块中每个样本像素点的颜色信息，而且学习到样本图像块的结构信息，从而提升图像重建模型在图像结构上的重建性能。

1.一种图像重建模型的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述渲染图像块与所述样本图像块之间的结构性损失包括所述渲染图像块与所述样本图像块之间的梯度损失、所述渲染图像块与所述样本图像块之间的结构相似损失、或所述渲染图像块与所述样本图像块之间的感知特征损失中的一种或多种。

3.根据权利要求2所述的方法，其特征在于，所述渲染图像块与所述样本图像块之间的结构性损失包括所述渲染图像块与所述样本图像块之间的梯度损失；所述梯度损失的确定步骤，包括：

4.根据权利要求2所述的方法，其特征在于，所述渲染图像块与所述样本图像块之间的结构性损失包括所述渲染图像块与所述样本图像块之间的结构相似损失；所述结构相似损失的确定步骤，包括：

5.根据权利要求2所述的方法，其特征在于，所述渲染图像块与所述样本图像块之间的结构性损失包括所述渲染图像块与所述样本图像块之间的感知特征损失；所述感知特征损失的确定步骤，包括：

6.根据权利要求1所述的方法，其特征在于，所述颜色损失的确定步骤，包括：

7.根据权利要求6所述的方法，其特征在于，所述多个采样点的确定步骤，包括：

8.根据权利要求6所述的方法，其特征在于，所述样本图像块是全景图像块，所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述样本图像块是全景图像块，所述方法还包括：

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

13.根据权利要求1-12中任一项所述的方法，其特征在于，所述方法还包括：

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

15.一种图像重建模型的处理装置，其特征在于，所述装置包括：预测单元、渲染单元和训练单元；

16.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行权利要求1-14任一项所述的方法。

18.一种计算机程序产品，包括计算机程序，其特征在于，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行权利要求1-14任一项所述的方法。