基于深度学习的道路桥梁表面缺陷快速评估系统

摘要: 本发明涉及道路养护,具体是涉及基于深度学习的道路桥梁表面缺陷快速评估系统。背景技术:1、道路桥梁的定期外观巡检是养护管理的基础环节,目前普遍采用无人机或人工持相...
基于深度学习的道路桥梁表面缺陷快速评估系统

本发明涉及道路养护,具体是涉及基于深度学习的道路桥梁表面缺陷快速评估系统。

背景技术:

1、道路桥梁的定期外观巡检是养护管理的基础环节,目前普遍采用无人机或人工持相机沿桥体表面拍摄图像,再由检测算法或人工从图像中识别表面缺陷。为确保巡检覆盖完整性,现有技术主要从两个方向着手,一是在巡检前基于桥梁三维模型进行无人机航线规划或拍摄点位预设,通过优化飞行路径减少遗漏;二是提升缺陷检测算法的识别精度,从已采集的图像中更完整的提取病害信息;

2、实际巡检中预设航线的执行常因设备临时故障、桥下管线遮挡视角或操作偏差等因素发生偏移,导致部分结构构件表面未被有效拍摄。现有的路径规划方法均属于事前策略,无法在巡检完成后对实际拍摄结果进行结构化的覆盖验证。当巡检结束后,覆盖率的验收仍依赖人工对照桥梁图纸逐项核查构件拍摄情况,效率低且容易遗漏。另一方面,现有的缺陷检测算法默认输入图像已覆盖待检区域,并不考虑输入数据本身的完整性,当关键区域漏检时算法不会发出提示,病害遗漏直接传递至养护决策中。具体而言,当前缺乏一种以构件为基本单元、能够自动识别哪些结构构件表面未被有效拍摄并给出补检指引的技术方案。对此,我们提出了基于深度学习的道路桥梁表面缺陷快速评估系统。

技术实现思路

1、为解决上述技术问题,提供基于深度学习的道路桥梁表面缺陷快速评估系统,包括:

2、构件参考表构建模块、图像覆盖映射模块、盲区识别模块、补检指引生成模块;

3、所述构件参考表构建模块用于依据桥梁设计资料按可视面为基本单元划分桥体表面,生成含构件类别、跨号、编号、空间坐标及表面积的构件参考表;

4、所述图像覆盖映射模块与构件参考表构建模块电性连接,用于对巡检图像执行构件语义分割识别各像素所属类别,结合图像定位信息与构件参考表匹配确定具体构件编号,并按构件类别对应的有效识别距离阈值、观测角度阈值及最低对比度判定覆盖有效性,将有效覆盖映射至构件参考表;

5、所述盲区识别模块与图像覆盖映射模块电性连接,用于按各构件面有效覆盖面积与表面积之比计算覆盖率,将低于对应覆盖阈值的构件面标记为盲区构件,将同一跨内空间相邻的盲区构件聚合为盲区区域;

6、所述补检指引生成模块与盲区识别模块电性连接,用于依据各盲区区域的空间位置及构件类型,输出包含补检构件列表、建议拍摄方位与距离范围及按空间相邻关系排序的补检路径序列。

7、优选的,所述构件参考表构建模块,构建构件参考表的方法为:

8、从桥梁设计图纸中提取桥梁的跨数、各跨构件布置及构件几何尺寸信息,按跨号、构件类别与可视面方向逐级划分桥体表面,以单个构件的单个可视面为基本记录单元;

9、对每个记录单元,依据其几何尺寸计算表面积,依据其在桥体整体坐标系中的位置确定中心点三维坐标,将构件类别、跨号、构件编号、中心点坐标与表面积组合为一条构件面记录;

10、汇集全部构件面记录,构建构件参考表。

11、优选的,所述构件类别包括桥面板底面、t梁腹板、桥墩侧面、盖梁底面与侧面、挡块侧面;

12、每个构件面的编号由跨号、构件类别标识与同跨同类别内的顺序号组合生成;

13、所述表面积依据对应构件面的几何形状与设计图纸标注的尺寸参数计算得出。

14、优选的,所述图像覆盖映射模块中,执行构件语义分割与构件编号匹配的方法为:

15、利用桥梁构件语义分割网络对巡检图像进行逐像素分类,标注每个像素所属的构件类别;

16、读取图像附带的gps坐标与imu姿态数据,确定拍摄位置与相机朝向;

17、将拍摄位置与构件参考表中各构件面的空间坐标进行匹配,锁定图像对应的跨号与候选构件编号集合;

18、将像素级类别标注与候选构件编号集合取交集,确定各像素区域对应的具体构件编号,完成图像到构件参考表的映射。

19、优选的,所述图像覆盖映射模块中,按构件类别对应的阈值判定覆盖有效性的方法为:

20、根据相机内参与构件在图像中的成像占比推算拍摄距离,根据图像平面法向量与构件表面法向量的夹角确定拍摄角度,根据构件区域像素灰度的局部对比度衡量曝光充分度;

21、当拍摄距离不超过该构件类别对应的有效识别距离阈值、拍摄角度不超过有效观测角度阈值、且局部对比度不低于最低识别对比度时,判定该图像对该构件面为有效覆盖,否则判定为无效覆盖且不计入该构件面的覆盖面积。

22、优选的,所述图像覆盖映射模块中,有效识别距离阈值、有效观测角度阈值与最低识别对比度的设定方法为:

23、有效识别距离阈值依据该构件类别对应的最小缺陷识别尺度与相机的空间分辨率参数确定;

24、有效观测角度阈值依据构件表面的几何特征设定,平面类构件的阈值大于曲面类构件;

25、最低识别对比度依据该构件类别表面缺陷与背景之间的典型灰度差值设定。

26、优选的,所述盲区识别模块,覆盖率计算与盲区标记方法为:

27、遍历构件参考表,对每个构件面将其已记录的有效覆盖面积与该构件面的表面积相除,得到该构件面的覆盖率;

28、将每个构件面的覆盖率与该构件类别对应的覆盖阈值进行比较,覆盖率低于覆盖阈值的构件面标记为盲区构件;

29、所述覆盖阈值按构件类别分别设定,病害易发构件类别的覆盖阈值高于病害低发构件类别。

30、优选的,所述盲区识别模块,聚合盲区区域的方法为:

31、对标记的盲区构件按跨号分组,在同一跨内判断两个盲区构件是否满足空间相邻条件,所述空间相邻条件为两个构件面在桥体坐标系中的中心点距离小于预设邻接距离阈值或两个构件面共享结构边界;

32、将满足空间相邻条件的盲区构件归入同一盲区区域,标注该区域的空间范围与所含构件面列表。

33、优选的,所述补检指引生成模块,补检路径序列的生成方法为:

34、对每个盲区区域,依据其所含各构件面的构件类型分别确定建议拍摄方位与拍摄距离范围;

35、以巡检人员当前站位为起点,在盲区区域所含构件面中选取空间距离最近的构件面作为首个补检目标,此后每次从当前构件面的相邻未补检构件面中选取距离最近者作为下一补检目标,依次遍历该盲区区域的全部构件面,形成补检路径序列。

36、优选的,所述补检指引生成模块在巡检人员按补检指引完成补充拍摄后,将新采集图像输入图像覆盖映射模块与盲区识别模块重新执行覆盖映射与盲区识别,更新各构件面的覆盖率与盲区标记;

37、当全部构件面的覆盖率均达到对应覆盖阈值,或剩余未达标构件面经标记为物理不可达区域后,终止盲区识别流程。

38、与现有技术相比,本发明的有益效果在于:

39、本发明提出的道路桥梁表面缺陷快速评估系统,将巡检完整性验证从事前路径规划延伸至巡检完成后的覆盖验收环节,填补了现有技术中巡检后无法自动获知哪些构件表面未被有效拍摄的空白,为巡检结果的完整性提供了可量化的检验手段,通过引入拍摄质量评估区分拍到与拍得可用于缺陷识别,将拍摄距离、观测角度与曝光充分度纳入覆盖有效性判定,使覆盖率统计更贴近实际检测能力,避免仅统计图像是否覆盖某区域而导致对巡检完整性的高估;以构件为基本单元定位盲区并输出补检指引,包含补检构件列表、建议拍摄方位与距离范围及补检路径序列,使盲区发现后可直接驱动补检行动,减少人工二次规划补检路线的工作量;构件参考表基于桥梁设计图纸构建,无需依赖完整的bim模型或高精度三维点云,对未建立数字化模型的老旧桥梁亦可实施,适用范围较广。