基于全景影像的工程巡检可视化管理平台系统及其控制方法与流程

本发明涉及建筑工程信息化管理，尤其是涉及基于全景影像的工程巡检可视化管理平台系统及其控制方法。

背景技术：

1、随着建筑行业数字化转型的加速推进，工程巡检作为施工过程管理的关键环节，面临着效率低下、信息不可追溯、远程管理困难等亟待解决的技术问题。传统的巡检方式依赖管理人员实地巡视并手工填写纸质记录，不仅耗费大量人力和时间成本，而且巡检记录与施工现场的空间位置缺乏精确关联，事后追溯困难。近年来，全景视觉技术和同步定位与建图技术在视觉呈现和空间定位领域分别取得了进展，但现有技术中尚未出现将全景影像采集、同步定位与建图、神经辐射场三维重建三者有机融合形成闭环协同工作系统的技术方案。

2、现有技术存在涉及ipli-slam算法和plp-slam算法的相关文献，但上述文献仅公开了单一算法的基本技术框架，未涉及将两种同步定位与建图算法与神经辐射场算法进行双向数据交互与闭环协同优化的技术方案。在神经辐射场应用于施工场景的现有技术中，也未出现利用同步定位与建图算法输出的三维场景结构作为神经辐射场几何先验、并将神经辐射场训练完成后生成的体密度分布反馈至同步定位与建图算法用于几何验证的协同机制。

技术实现思路

1、本发明提供基于全景影像的工程巡检可视化管理平台系统及其控制方法，旨在解决现有技术中施工现场巡检效率低下、巡检记录与空间位置缺乏精确关联、远程管理困难以及全景影像数据与空间定位数据无法形成闭环协同优化的技术问题。具体而言，本发明依托物联网技术，建立互联协同、科学管理的项目信息化生态圈，对信息数据进行挖掘分析，提供过程趋势预测及处理预案，实现工程施工可视化、量化指标的监管，提高巡检管理的数字化、信息化水平，从而降低施工过程中的人员成本和预算成本。

2、为实现上述目的，本发明采用了如下技术方案：

3、基于全景影像的工程巡检可视化管理平台系统的控制方法，包括：

4、采集施工现场的360度全景视频数据和惯性传感数据，所述惯性传感数据包含加速度计偏置和陀螺仪偏置，通过时间戳对齐实现所述360度全景视频数据与惯性传感数据的同步；

5、根据同步后的所述360度全景视频数据和惯性传感数据，实时输出每一帧全景图像的相机位姿估计结果、点特征集合和线段特征集合；

6、根据所述点特征集合和线段特征集合，以所述相机位姿估计结果作为位姿先验值进行全局优化，输出优化后的全局相机位姿和三维场景结构，所述三维场景结构包含地图点云、地图线段和地图平面；

7、以所述优化后的全局相机位姿和三维场景结构作为几何先验进行训练，训练完成后生成场景的隐式神经表示，训练过程中产生体积密度分布；

8、执行双向数据交互的闭环协同优化，将所述优化后的全局相机位姿与所述相机位姿估计结果之间的差异定义为位姿残差，将所述位姿残差反馈用于修正所述加速度计偏置和陀螺仪偏置，将所述体积密度分布反馈用于对所述三维场景结构中的地图平面进行验证和精化；

9、基于所述隐式神经表示提供自由视角漫游功能和全景图像查看功能。

10、基于全景影像的工程巡检可视化管理平台系统，应用所述基于全景影像的工程巡检可视化管理平台系统的控制方法，所述基于全景影像的工程巡检可视化管理平台系统包括数据采集模块、云端数据处理模块、云端数据存储模块、全景影像日志档案模块、前端展示与协同标注模块以及报告导出与数据分享模块；

11、所述数据采集模块包含全景相机、智能手机和惯性传感单元，所述全景相机用于采集施工现场的360度全景视频数据和360度全景照片数据，所述智能手机安装有数据采集应用程序，所述惯性传感单元集成于所述智能手机内部用于采集加速度计数据和陀螺仪数据，所述数据采集模块内部部署有改进型点线特征与惯性传感单元紧耦合同步定位与建图算法，所述改进型点线特征与惯性传感单元紧耦合同步定位与建图算法用于根据所述360度全景视频数据和所述惯性传感单元数据实时输出每一帧全景图像的相机位姿估计结果、点特征集合和线段特征集合；

12、所述云端数据处理模块接收来自所述数据采集模块的360度全景视频数据、360度全景照片数据、惯性传感单元数据以及所述改进型点线特征与惯性传感单元紧耦合同步定位与建图算法输出的相机位姿估计结果、点特征集合和线段特征集合，所述云端数据处理模块内部部署有点-线段-平面特征融合同步定位与建图算法，所述点-线段-平面特征融合同步定位与建图算法以所述相机位姿估计结果作为位姿先验值并根据所述点特征集合和所述线段特征集合进行全局优化，输出优化后的全局相机位姿和三维场景结构；

13、所述云端数据存储模块接收并存储来自所述云端数据处理模块的优化后的全局相机位姿和三维场景结构以及来自所述数据采集模块的360度全景视频数据、360度全景照片数据和惯性传感单元数据；

14、所述全景影像日志档案模块从所述云端数据存储模块读取项目基本信息、处理后的全景图像、巡检轨迹数据和结构化数据索引，按位置和时间组织进度图像数据并构建全过程影像留痕日志；

15、所述前端展示与协同标注模块内部部署有改进型神经辐射场算法，所述改进型神经辐射场算法利用所述点-线段-平面特征融合同步定位与建图算法输出的优化后的全局相机位姿和三维场景结构作为几何先验进行训练并生成场景的隐式神经表示，所述前端展示与协同标注模块基于所述隐式神经表示向用户提供自由视角漫游、全景查看、标注测量和报告导出功能；

16、所述报告导出与数据分享模块从所述云端数据存储模块读取项目基本信息、360度全景图像、巡检轨迹数据和用户创建的批注数据，向用户提供巡检记录等级设定功能、巡检记录自定义导出功能和自定义分享功能；

17、所述改进型点线特征与惯性传感单元紧耦合同步定位与建图算法、所述点-线段-平面特征融合同步定位与建图算法与所述改进型神经辐射场算法之间构成双向数据交互的闭环协同工作关系。

18、综上所述，本发明至少具有以下有益效果：

19、通过改进型点线特征与惯性传感单元紧耦合同步定位与建图算法在数据采集端的实时运行，实现了施工现场全景影像数据与空间位姿数据的同步采集与实时关联，克服了传统巡检方式中图像数据与空间位置脱节的技术缺陷。

20、通过点-线段-平面特征融合同步定位与建图算法在云端数据处理模块的全局优化，利用平面特征为线段特征提供几何约束，有效降低了基于纯点特征同步定位与建图算法的计算量和环境存储空间负荷，同时提升了全局定位精度。

21、通过改进型神经辐射场算法利用同步定位与建图算法输出的三维场景结构作为几何先验，显著加速了神经辐射场的训练收敛速度，并通过动态光照嵌入向量实现了施工现场不同光照条件下场景渲染的一致性。

22、通过改进型点线特征与惯性传感单元紧耦合同步定位与建图算法、点-线段-平面特征融合同步定位与建图算法与改进型神经辐射场算法三者之间的双向数据交互与闭环协同优化，形成了位姿残差反馈、体密度分布反馈和位姿精化残差反馈的三重闭环机制，实现了数据采集、全局优化与三维场景建模的相互增强。

23、通过全景影像日志档案模块按平面图坐标和时间双维度组织全景图像数据，实现了全过程影像留痕追溯，支持同一位置不同时间和同一时间不同位置的交叉检索。