基于多模态融合图像识别的无人机影像桥梁施工进度识别方法与流程

本发明属于无人机遥感监测与智能图像识别，具体涉及一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法。

背景技术：

1、桥梁工程施工周期长、作业环境复杂、构件类型多样，传统施工进度监测依赖人工巡检、全站仪测量及报表统计等方式，存在效率低下、数据滞后、主观性强及高危区域难以抵达等问题。

2、随着无人机技术与计算机视觉的发展，基于无人机影像的施工进度监测成为研究热点，但现有技术仍存在显著局限：特征提取单一化，现有方法多依赖单模态影像的纹理、轮廓特征，难以应对桥梁施工过程中光照变化、遮挡干扰、构件形态动态变化等复杂场景，导致关键施工构件识别精度不足；施工阶段语义建模缺失，未针对桥梁施工的时序性特征构建专用语义模型，无法有效区分构件施工的不同阶段，如墩柱钢筋绑扎、模板安装、混凝土浇筑等，进度量化误差较大；多源数据融合不足，未充分利用无人机可见光、红外、lidar等多模态影像的互补信息，对复杂施工环境的适应性较差；进度评估指标单一，多基于单一构件的完成率进行判断，缺乏对施工工序衔接、整体进度匹配度的综合评估能力。

3、这些问题导致现有技术难以满足桥梁工程精细化施工管理的需求，亟需构建一种兼顾识别精度、环境适应性与进度量化科学性的智能监测方法。

技术实现思路

1、本发明为了解决现有技术中存在的上述至少一个技术问题，提供了一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法。

2、本发明采用如下的技术方案实现：一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，包括以下步骤：

3、获取桥梁施工区域的影像数据和三维点云数据，经时空配准后得到多模态数据集；

4、构建双分支特征提取网络，提取多模态数据集中的纹理及温度特征、空间几何特征；基于跨模态加权注意力融合模块及改进的特征金字塔网络bifpn对多模态数据集中的纹理及温度特征、空间几何特征进行深度融合，生成融合特征图；

5、结合预先构建的桥梁施工阶段语义知识库，通过动态检测头识别融合特征图中的关键构件并判断其所属的施工阶段；

6、基于识别结果构建面向桥梁施工场景的三维分层进度评估指标体系，进度评估指标包括但不限于构件完成率、工序衔接效率以及关键路径匹配度；

7、基于三维分层进度评估指标体系进行桥梁施工进度评估，生成并输出包含量化进度评估结果与可视化标注的报告。

8、优选地，桥梁施工区域的影像数据包括rgb影像、红外影像；得到多模态数据集的过程包括采用基于互信息的刚性配准算法进行空间配准，通过自适应辐射校正消除光照差异，利用改进型ransac算法滤除噪声，进而得到时空对齐的标准化多模态数据集。

9、优选地，双分支特征提取网络中，第一分支基于改进的transformer架构处理rgb影像、红外影像，transformer架构引入局部窗口注意力与全局稀疏注意力融合机制，提取纹理及温度特征；第二分支基于pointpillars与pointnet++处理三维点云数据，提取空间几何特征。

10、优选地，所属的施工阶段包括但不限于基础施工、墩柱施工中的钢筋绑扎、模板安装、混凝土浇筑、梁体施工及桥面系施工；关键构件及其所属的施工阶段识别阶段还包括引入时序注意力机制，基于历史多模态数据构建施工状态时序演化模型。

11、优选地，三维分层进度评估指标体系的进度评估指标中，构件完成率用于统计当前图像内已完成施工构件数量与计划构件总数量的比值，公式为，式中，为识别出的已完工构件数，为该工序对应的计划施工构件总数；工序衔接效率用于基于构件时序施工逻辑，量化前后相邻工序的衔接完成程度，公式为，式中，

m为当前关联工序数量，为工序衔接权重系数，为第i道工序衔接匹配度；关键路径匹配度用于对照施工计划网络图，公式为：

12、，其中cp为施工计划关键路径全部工序集合，为识别得到的已完工且属于关键路径的工序集合，为工序j对应的计划工期，计算当前实际施工工序与项目关键路径的重合占比，反映整体工期推进合理性。

13、优选地，基于三维分层进度评估指标体系进行桥梁施工进度评估的步骤包括:

14、采用层次分析法构建判断矩阵，通过一致性检验确定构件完成率、工序衔接效率以及关键路径匹配度对应的权重、、；

15、基于权重配比计算综合实际进度；

16、结合预设的计划进度，得到进度偏差率：，进而实现对桥梁施工进度的评估。

17、优选地，还包括引入时序平滑因子，优化综合实际进度；优化后的综合实际进度的计算公式为：，将优化后的综合实际进度带入优化后的综合实际进度的计算公式中代替原始的综合实际进度。

18、优选地，还包括定期或根据新增的多模态数据，采用增量学习机制对特征提取网络与识别模型进行微调，基于桥梁施工构件类别分布特征，采用类别感知的增量样本筛选策略，更新包括但不限于钢筋、模板、梁体在内的易混淆构件样本；

19、采用加权混合损失函数优化模型训练，损失函数表达式为：，式中为焦点损失，用于降低构件类别不平衡影响；为改进加权交并比损失，用于针对施工构件边界模糊、遮挡问题优化边界框回归精度；

20、通过结构化模型剪枝剔除冗余卷积通道，采用8位整型量化压缩模型参数。

21、与现有技术相比，本发明的有益效果是：

22、本发明通过多模态数据融合与改进型特征提取网络，有效克服光照、遮挡等复杂环境干扰，能够有效提升关键构件识别准确率以及施工阶段的分类精度；构建的三维进度评估体系兼顾构件完成状态、工序衔接与整体路径匹配度，较传统单一指标评估方法更贴合工程实际；

23、本发明实现从影像数据采集、特征提取、状态识别到进度评估的全流程自动化，能够大幅减少人工干预，降低监测成本，提升施工管理效率。

1.一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于：桥梁施工区域的影像数据包括rgb影像、红外影像；得到多模态数据集的过程包括采用基于互信息的刚性配准算法进行空间配准，通过自适应辐射校正消除光照差异，利用改进型ransac算法滤除噪声，进而得到时空对齐的标准化多模态数据集。

3.根据权利要求2所述的一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于：双分支特征提取网络中，第一分支基于改进的transformer架构处理rgb影像、红外影像，transformer架构引入局部窗口注意力与全局稀疏注意力融合机制，提取纹理及温度特征；第二分支基于pointpillars与pointnet++处理三维点云数据，提取空间几何特征。

4.根据权利要求2所述的一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于：所属的施工阶段包括但不限于基础施工、墩柱施工中的钢筋绑扎、模板安装、混凝土浇筑、梁体施工及桥面系施工；关键构件及其所属的施工阶段识别阶段还包括引入时序注意力机制，基于历史多模态数据构建施工状态时序演化模型。

5.根据权利要求2所述的一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于：三维分层进度评估指标体系的进度评估指标中，构件完成率用于统计当前图像内已完成施工构件数量与计划构件总数量的比值，公式为，式中，式中为识别出的已完工构件数，为该工序对应的计划施工构件总数；工序衔接效率用于基于构件时序施工逻辑，量化前后相邻工序的衔接完成程度，，式中，m为当前关联工序数量，为工序衔接权重系数，为第i道工序衔接匹配度；关键路径匹配度用于对照施工计划网络图，公式为：

6.根据权利要求5所述的一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于：基于三维分层进度评估指标体系进行桥梁施工进度评估的步骤包括:

7.根据权利要求6所述的一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于：

8.根据权利要求6所述的一种基于多模态融合图像识别的无人机影像桥梁施工进度识别方法，其特征在于：