增量式三维重建的方法、装置、设备及存储介质与流程

本技术涉及图像处理领域，具体涉及一种增量式三维重建的方法、装置、设备及存储介质。

背景技术：

1、随着计算机视觉和人工智能技术的迅速发展，三维重建技术在多个应用场景得到了广泛应用，例如自动驾驶场景、虚拟现实场景和地图构建场景等。而三维重建的核心任务是通过从多个视角捕捉的二维图像数据，推算出物体或场景的三维结构。

2、在现有的三维重建技术中，通常需要多个相机采集的图像数据来进行特征点的匹配和三维坐标的恢复。大多数方法依赖于对所有图像中特征点的全局匹配与三角化处理，尽管这些方法能够处理多相机系统中的数据，但通常需要大量的计算资源，并且在处理误差较大时，可能会影响最终重建的精度。

3、因此，如何提高三维重建的精度和效率成为亟待解决的问题。

技术实现思路

1、本技术提供一种增量式三维重建的方法、装置、设备及存储介质，用以减少三维重建的误差，提高三维重建的精度和效率。

2、为了实现上述目的，本技术采用的技术方案如下：

3、第一方面，本技术提供一种增量式三维重建的方法，所述方法包括：

4、获取多相机采集的图像数据；

5、根据所述图像数据确定所有图像特征点的共视匹配关系，所述共视匹配关系用于表示具有相同二维特征的一组特征点；

6、对于所述图像数据中任一需要三维重建的目标特征点，根据所述共视匹配关系确定是否存在共视匹配点，所述共视匹配点用于表示在所述目标特征点所在组中其他特征点；

7、若存在所述共视匹配点，则确定是否存在三维坐标点，所述三维坐标点是基于所述目标特征点所在组中至少两个共视匹配点通过三角化处理得到的坐标点；

8、若存在所述三维坐标点，则确定所述三维坐标点在参考图像上的重投影误差，所述参考图像是所述目标特征点所在组中未参与三角化处理的共视匹配点对应的图像，所述重投影误差表示所述三维坐标点在所述参考图像的投影与所述参考图像中的共视匹配点的距离误差；

9、若所述重投影误差在预设误差范围内，则将所述三维坐标点作为所述目标特征点的三维坐标。

10、通过上述技术手段，通过逐步获取目标特征点及其共视匹配点来确定是否能够进行三角化处理，这种增量式的方式减少了计算的复杂性，避免了一次性处理所有特征点的高计算负担。通过重投影误差的计算，确保了只有当三维坐标点在参考图像上的投影误差在预设误差范围内时，才会将其作为目标特征点的三维坐标，在保证高精度的同时，显著提高处理效率。

11、进一步，所述方法还包括：

12、若不存在所述三维坐标点，则根据所述目标特征点和所述共视匹配点进行三角化处理，得到目标三维坐标点；

13、将所述目标三维坐标点作为所述目标特征点的三维坐标。

14、进一步，所述根据所述目标特征点和所述共视匹配点进行三角化处理，得到目标三维坐标点，包括：

15、从所述目标特征点和所述共视匹配点中，选择任意两个特征点作为三角化特征对；

16、对所述三角化特征对进行三角化处理，得到待选三维坐标点；

17、根据所述待选三维坐标点，确定所述待选三维坐标点在未三角化图像上的重投影误差均值，所述未三角化图像是所述目标特征点所在组中除所述三角化特征对之外的特征点对应的图像；

18、根据所有三角化特征对的重投影误差均值，确定所述目标三维坐标点。

19、进一步，所述根据所有三角化特征对的重投影误差均值，确定所述目标三维坐标点，包括：

20、根据所有三角化特征对的重投影误差均值，确定最小重投影误差均值；

21、将所述最小重投影误差均值对应的待选三维坐标点作为所述目标三维坐标点。

22、进一步，所述方法还包括：

23、若不存在所述共视匹配点，或者所述重投影误差不在所述误差范围内，则将所述目标特征点删除，删除后的所述目标特征点不参与三维重建。

24、进一步，所述方法还包括：

25、通过图优化算法对三维坐标点集合进行优化，得到优化后的三维坐标点集合，所述图优化算法的约束条件包括各个相机的导航定位约束，和/或，多相机之间的相对运动约束，所述三维坐标点集合包括多个所述三维坐标点。

26、进一步，所述确定所述三维坐标点在参考图像上的重投影误差之前，所述方法还包括：

27、获取所述目标特征点对应的所述共视匹配点的数量；

28、若所述共视匹配点的数量为1，则将所述三维坐标点直接作为所述目标特征点的三维坐标。

29、第二方面，本技术提供一种增量式三维重建的装置，所述装置包括：

30、获取模块，用于获取多相机采集的图像数据；

31、第一确定模块，用于根据所述图像数据确定所有图像特征点的共视匹配关系，所述共视匹配关系用于表示具有相同二维特征的一组特征点；

32、第二确定模块，用于对于所述图像数据中任一需要三维重建的目标特征点，根据所述共视匹配关系确定是否存在共视匹配点，所述共视匹配点用于表示在所述目标特征点所在组中其他特征点；

33、第三确定模块，用于若存在所述共视匹配点，则确定是否存在三维坐标点，所述三维坐标点是基于所述目标特征点所在组中至少两个共视匹配点通过三角化处理得到的坐标点；

34、第四确定模块，用于若存在所述三维坐标点，则确定所述三维坐标点在参考图像上的重投影误差，所述参考图像是所述目标特征点所在组中未参与三角化处理的共视匹配点对应的图像，所述重投影误差表示所述三维坐标点在所述参考图像的投影与所述参考图像中的共视匹配点的距离误差；

35、坐标确定模块，用于若所述重投影误差在预设误差范围内，则将所述三维坐标点作为所述目标特征点的三维坐标。

36、第三方面，本技术提供一种电子设备，包括：存储器，处理器；

37、所述存储器存储计算机执行指令；

38、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第一方面任一项所述的方法。

39、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。

40、本技术的有益效果：

41、本方案的增量式三维重建方法相比于传统的全局三维重建技术具有显著的优势。首先，通过逐步获取目标特征点及其共视匹配点来确定是否能够进行三角化处理，这种增量式的方式减少了计算的复杂性，避免了一次性处理所有特征点的高计算负担。其次，方法中引入了重投影误差的计算，确保了只有当三维坐标点在参考图像上的投影误差在预设误差范围内时，才会将其作为目标特征点的三维坐标。这一机制有效提升了三维重建的准确性与可靠性，避免了因误差较大的三维点对重建结果造成的影响。因此，本技术的增量式三维重建方法能够在保证高精度的同时，显著提高处理效率，特别适用于大规模多相机系统的三维重建任务。