基于轻量化神经网络与边缘计算的桥梁缺陷识别方法及系统与流程

摘要: 本发明属于桥梁结构健康监测与计算机视觉,具体涉及一种基于轻量化神经网络与边缘计算的桥梁缺陷识别方法及系统。背景技术:1、桥梁结构在长期运营过程中受荷载、环境侵蚀...
基于轻量化神经网络与边缘计算的桥梁缺陷识别方法及系统与流程

本发明属于桥梁结构健康监测与计算机视觉,具体涉及一种基于轻量化神经网络与边缘计算的桥梁缺陷识别方法及系统。

背景技术:

1、桥梁结构在长期运营过程中受荷载、环境侵蚀及材料老化等因素影响,表面易产生裂缝、锈蚀、剥落等缺陷,威胁结构安全。传统人工巡检效率低、主观性强,难以覆盖长大桥梁全域。随着计算机视觉与深度学习技术的发展,基于图像的桥梁缺陷自动检测方法逐渐成为研究热点,通过卷积神经网络或视觉变换器对巡检图像进行缺陷分类与定位,显著提升了检测效率与精度。

2、然而,现有技术仍存在以下不足:第一,多数方法仅依赖图像数据驱动,未充分利用桥梁bim或点云模型中的构件语义、表面法向及施工缝走向等几何先验信息,导致缺陷检测结果与物理空间结构脱节,难以约束掩膜几何走向符合实际构件形态。第二,深度学习模型参数量大、计算复杂度高,直接部署于无人机或巡检机器人等边缘设备时面临算力受限、推理时延高的困境,现有方案通常采用固定网络结构,无法根据缺陷尺度与边缘节点实时算力动态调节计算负载,难以在精度与实时性之间取得平衡。第三,现有方法多停留在二维图像检测层面,缺乏将缺陷从二维影像准确映射至三维构件表面的能力,多视角、多节点间的检测结果缺乏有效的去重与置信度融合机制,无法生成统一的三维空间缺陷实例用于数字孪生平台的可视化与运维决策。

3、因此,亟需一种能够融合bim几何先验约束、支持边缘端动态推理并实现二维缺陷到三维空间精准映射的桥梁缺陷识别方法。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提供一种基于轻量化神经网络与边缘计算的桥梁缺陷识别方法,通过融合bim几何先验与动态推理策略,实现边缘端高精度、低时延的缺陷检测与三维空间定位。

2、第一方面,本发明实施例提供一种基于轻量化神经网络与边缘计算的桥梁缺陷识别方法,所述方法包括:

3、获取桥梁多视角图像及位姿,提取bim构件语义、表面法向及施工缝走向,编码为空间定位张量;

4、依据所述空间定位张量中的构件语义裁剪图像,以施工缝走向与表面法向校正归一化,得到附带法向标签的图像集;

5、将所述附带法向标签的图像集输入轻量化双头网络,第一头输出缺陷类别与边界框,第二头输出像素级掩膜及几何属性;以所述空间定位张量中的表面法向约束掩膜几何,并将所述空间定位张量作为偏置嵌入网络中间层,输出中间识别结果;

6、依据所述中间识别结果中的边界框尺寸与掩膜面积,结合边缘节点实时算力,动态选择网络分支宽度与分辨率执行精修,输出精修后类别、边界框及掩膜;

7、以精修后边界框与掩膜为匹配基元,结合所述空间定位张量实施三维反投影配准,生成带三维坐标的缺陷实例,在多节点间按构件标识去重融合后输出最终结果。

8、第二方面,本发明实施例提供一种基于轻量化神经网络与边缘计算的桥梁缺陷识别系统,应用于如第一方面所述的方法,所述系统包括:

9、数据获取与张量编码模块,用于获取桥梁多视角图像及位姿,提取bim构件语义、表面法向及施工缝走向,编码为空间定位张量;

10、图像校正与标签生成模块,用于依据所述空间定位张量中的构件语义裁剪图像,以施工缝走向与表面法向校正归一化,得到附带法向标签的图像集;

11、双头网络推理模块,用于将所述附带法向标签的图像集输入轻量化双头网络,第一头输出缺陷类别与边界框,第二头输出像素级掩膜及几何属性;以所述空间定位张量中的表面法向约束掩膜几何,并将所述空间定位张量作为偏置嵌入网络中间层,输出中间识别结果;

12、动态精修模块,用于依据所述中间识别结果中的边界框尺寸与掩膜面积,结合边缘节点实时算力,动态选择网络分支宽度与分辨率执行精修,输出精修后类别、边界框及掩膜;

13、三维配准与融合输出模块,用于以精修后边界框与掩膜为匹配基元,结合所述空间定位张量实施三维反投影配准,生成带三维坐标的缺陷实例,在多节点间按构件标识去重融合后输出最终结果。

14、第三方面,本发明实施例提供一种电子设备,包括:

15、处理器;

16、用于存储处理器可执行指令的存储器;

17、其中,所述处理器被配置为执行所述指令时实现如第一方面所述的基于轻量化神经网络与边缘计算的桥梁缺陷识别方法。

18、第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有程序,所述程序指示设备执行如第一方面所述的基于轻量化神经网络与边缘计算的桥梁缺陷识别方法。

19、本发明通过引入bim构件语义、表面法向及施工缝走向等几何先验,以空间定位张量形式贯穿数据预处理、网络推理与三维配准全流程,并以法向一致性损失约束掩膜边界走向,使检测结果符合物理空间结构,显著提升缺陷定位精度;通过轻量化双头网络结合动态精修策略,依据缺陷尺度与边缘节点实时算力自适应调节计算负载,在保证精度的同时降低推理时延,适应边缘端资源受限环境;通过边界框顶点与掩膜轮廓点为联合匹配基元,结合表面法向约束实施三维反投影配准,实现二维缺陷到三维构件表面的精准映射,并基于构件标识的多节点去重融合,为数字孪生平台提供可靠的空间运维数据支撑。

1.一种基于轻量化神经网络与边缘计算的桥梁缺陷识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述编码为空间定位张量,包括:

3.根据权利要求1所述的方法,其特征在于,所述依据空间定位张量中的构件语义裁剪图像,以施工缝走向与表面法向校正归一化,得到附带法向标签的图像集,包括:

4.根据权利要求1所述的方法,其特征在于,所述将附带法向标签的图像集输入轻量化双头网络,包括:

5.根据权利要求4所述的方法,其特征在于,所述以空间定位张量中的表面法向约束掩膜几何,并将空间定位张量作为偏置嵌入网络中间层,包括:

6.根据权利要求1所述的方法,其特征在于,所述依据中间识别结果中的边界框尺寸与掩膜面积,结合边缘节点实时算力,动态选择网络分支宽度与分辨率执行精修,包括:

7.根据权利要求6所述的方法,其特征在于,所述资源配置映射表的构建及动态选择具体为:

8.根据权利要求1所述的方法,其特征在于,所述以精修后边界框与掩膜为匹配基元,结合所述空间定位张量实施三维反投影配准,包括:

9.根据权利要求8所述的方法,其特征在于,所述在多节点间按构件标识去重融合后输出最终结果,包括:

10.一种基于轻量化神经网络与边缘计算的桥梁缺陷识别系统,应用于如权利要求1至9任一项所述的方法,其特征在于,所述系统包括: