三维重建电力数字孪生构建方法、装置、电子设备以及存储介质与流程

摘要: 本发明涉及数字孪生构建,尤其涉及一种三维重建电力数字孪生构建方法、装置、电子设备以及存储介质。背景技术:1、输电线路巡检通常依赖无人机采集多视角图像,再通过三维...
三维重建电力数字孪生构建方法、装置、电子设备以及存储介质与流程

本发明涉及数字孪生构建,尤其涉及一种三维重建电力数字孪生构建方法、装置、电子设备以及存储介质。

背景技术:

1、输电线路巡检通常依赖无人机采集多视角图像,再通过三维重建方法生成线路与目标设施的空间模型。现有三维重建方法在工程场景中普遍面临两个问题:一是巡检图像背景复杂,天空、植被、地面及远处无关设施会在重建结果中形成大量噪声点,削弱目标结构的辨识度;二是部分方法为了抑制背景而直接在输入端对图像进行裁剪或遮挡,容易破坏全局几何线索,导致相机位姿估计、深度预测和点云完整性下降。

2、vggt作为一种无需逐场景优化的多视角三维重建基础模型,能够从输入图像直接回归相机位姿、深度图、每像素世界坐标和置信度,具有推理速度快、流程简洁等优点。然而,在输电线路等强背景干扰场景中,vggt对全图进行稠密预测时,背景区域同样会产生点云坐标和置信度,容易使最终重建结果出现背景噪声多、目标边界不清晰、点云结构不连续等问题。若简单采用输入端遮挡方式,又可能削弱模型对场景整体几何关系的感知能力,不利于三维重建精度提升。并且输电线路数字孪生平台还需要将电力资产数据、巡检图像、重建点云、线路拓扑、告警信息和运维记录统一关联,形成可检索、可定位、可回溯的空间业务闭环。单纯的三维点云结果若缺少地图、拓扑和资产数据支撑,难以直接服务于实际应用场景、对象定位和辅助运维。

技术实现思路

1、本发明提供了一种三维重建电力数字孪生构建方法、装置、电子设备以及存储介质,以解决重建结果背景噪声多、目标边界不清晰、点云结构不连续等问题。

2、根据本发明的一方面,提供了一种三维重建电力数字孪生系统构建方法,该方法包括:

3、确定若干第一图像组;第一图像组为在不同视角下拍摄同一个杆塔后生成的第一图像所构成的图像集合;各个第一图像组所拍摄的杆塔不同;

4、确定第一图像组中各个第一图像中目标图像区域的灰度掩膜;目标图像区域为杆塔在第一图像中的图像区域;

5、将第一图像组输入第一模型,得到三维重建模型参数;第一模型为基于视觉几何约束的transformer模型;三维重建模型参数包括相机位姿、深度图、三维点云及置信度信息;

6、基于灰度掩膜对三维重建模型参数中的置信度信息进行加权,并基于加权结果与三维重建模型参数,确定三维重建模型;

7、基于预先确定的电力专题矢量语义数据以及三维重建模型,生成三维重建电力数字孪生系统。

8、根据本发明的另一方面,提供了一种三维重建电力数字孪生系统构建装置,该装置包括:

9、图像获取模块,用于确定若干第一图像组;第一图像组为在不同视角下拍摄同一个杆塔后生成的第一图像所构成的图像集合;各个第一图像组所拍摄的杆塔不同;

10、掩膜计算模块,用于确定第一图像组中各个第一图像中目标图像区域的灰度掩膜;目标图像区域为杆塔在第一图像中的图像区域;

11、参数获取模块,用于将第一图像组输入第一模型,得到三维重建模型参数;第一模型为基于视觉几何约束的transformer模型;三维重建模型参数包括相机位姿、深度图、三维点云及置信度信息;

12、模型构建模块,用于基于灰度掩膜对三维重建模型参数中的置信度信息进行加权,并基于加权结果与三维重建模型参数,确定三维重建模型;

13、系统构建模块,用于基于预先确定的电力专题矢量语义数据以及三维重建模型,生成三维重建电力数字孪生系统。

14、根据本发明的另一方面,提供了一种电子设备,电子设备包括:

15、至少一个处理器;以及

16、与至少一个处理器通信连接的存储器;其中,

17、存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的三维重建电力数字孪生系统构建方法。

18、根据本发明的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例的三维重建电力数字孪生系统构建方法。

19、根据本发明的另一方面,提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序在被处理器执行时实现本发明任一实施例的三维重建电力数字孪生系统构建方法。

20、本发明实施例的技术方案,通过确定若干第一图像组;第一图像组为在不同视角下拍摄同一个杆塔后生成的第一图像所构成的图像集合;各个第一图像组所拍摄的杆塔不同;确定第一图像组中各个第一图像中目标图像区域的灰度掩膜;目标图像区域为杆塔在第一图像中的图像区域;将第一图像组输入第一模型,得到三维重建模型参数;第一模型为基于视觉几何约束的transformer模型;三维重建模型参数包括相机位姿、深度图、三维点云及置信度信息;基于灰度掩膜对三维重建模型参数中的置信度信息进行加权,并基于加权结果与三维重建模型参数,确定三维重建模型;基于预先确定的电力专题矢量语义数据以及三维重建模型,生成三维重建电力数字孪生系统,利用vggt进行三维重建模型快速构建的情况下,利用灰度掩膜尽可能仅对杆塔进行处理,避免无关数据的数据噪声,从而实现对三维重建电力数字孪生的快速且自动化构建。

21、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种三维重建电力数字孪生系统构建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,确定第一图像组中各个第一图像中目标图像区域的灰度掩膜,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述边界框坐标,确定第一图像中目标图像区域对应的灰度掩膜,包括:

4.根据权利要求2所述的方法,其特征在于,确定所述第一图像组中各个第一图像的边界框坐标,包括:

5.根据权利要求2所述的方法,其特征在于,确定所述第一图像组中各个第一图像的边界框坐标,包括:

6.根据权利要求1所述的方法,其特征在于,所述置信度信息包括三维点云置信度以及深度置信度;

7.根据权利要求1所述的方法,其特征在于,确定若干第一图像组,包括:

8.一种三维重建电力数字孪生系统构建装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的三维重建电力数字孪生系统构建方法。