一种基于深度学习的钢结构桥梁螺栓缺陷识别与状态评估方法与流程

摘要: 本发明涉及人工智能、计算机视觉、图像识别及桥梁结构健康监测,具体涉及一种基于深度学习的钢结构桥梁螺栓缺陷识别与状态评估方法。背景技术:1、钢结构桥梁通常采用大量...
一种基于深度学习的钢结构桥梁螺栓缺陷识别与状态评估方法与流程

本发明涉及人工智能、计算机视觉、图像识别及桥梁结构健康监测,具体涉及一种基于深度学习的钢结构桥梁螺栓缺陷识别与状态评估方法。

背景技术:

1、钢结构桥梁通常采用大量高强度螺栓实现钢梁、连接板、节点板及其他钢结构构件之间的连接。螺栓连接结构具有施工方便、连接可靠及便于维护等优点,被广泛应用于钢结构桥梁的主要受力节点及附属连接结构中。由于钢结构桥梁长期承受车辆循环荷载、结构振动、温度变化及环境腐蚀等作用,螺栓连接部位可能逐渐出现裂纹、锈蚀、松动、缺失及局部结构损伤等缺陷,影响连接节点的受力性能及桥梁结构的服役安全。因此,对钢结构桥梁螺栓连接状态进行准确检测和健康状态评估具有重要意义。

2、现有钢结构桥梁螺栓检测主要采用人工目视检查、扭矩检测以及接触式传感检测等方式。由于钢结构桥梁螺栓数量较多,且部分螺栓位于高空、狭窄空间或复杂连接节点,人工检测存在劳动强度大、检测效率较低以及检测结果容易受到检测人员经验影响的问题。此外,对于螺栓表面的微小裂纹、初期锈蚀以及轻微松动等缺陷,人工目视检查难以实现连续、稳定的定量判断。

3、随着机器视觉和深度学习技术的发展,利用桥梁检测机器人、无人机或者固定图像采集设备获取螺栓图像,并采用深度神经网络进行自动检测逐渐成为钢结构桥梁智能检测的重要发展方向。然而,钢结构桥梁实际服役环境与实验室检测环境存在明显差异,现场采集的螺栓图像容易受到光照不均、阴影、反光、雨雾、表面锈蚀、油污、局部遮挡以及拍摄距离和拍摄角度变化等因素影响,导致螺栓目标轮廓、表面纹理及空间位置等视觉特征发生变化。

4、现有基于深度学习的螺栓缺陷识别方法通常采用目标检测网络或图像分类网络,根据单个螺栓图像中的局部视觉信息判断其是否存在缺陷。然而,不同类型螺栓缺陷具有不同的视觉表现形式。其中,裂纹主要表现为细长纹理及局部边缘不连续,锈蚀主要表现为表面纹理及颜色分布变化,松动主要表现为螺栓与连接面之间的间隙变化、相对位置偏移或者外观形态变化,而螺栓缺失则表现为原有螺栓群空间排列关系被破坏。

5、因此,仅依靠单一视觉特征难以同时实现不同类型螺栓缺陷的准确识别,尤其是在螺栓被局部遮挡、图像清晰度不足或者缺失位置不存在实际螺栓实体的情况下,传统目标检测方法容易出现误检和漏检。

6、另一方面,现有螺栓缺陷识别方法通常直接根据分类网络输出的缺陷类别进行状态判断,缺少对缺陷风险、缺陷区域尺度、缺陷严重程度及螺栓空间关系异常程度的联合量化分析,难以建立缺陷识别结果与螺栓健康状态等级之间的对应关系。同时,对于识别置信度较低或者不同视觉特征对应的判断结果存在冲突的螺栓,现有检测方式通常缺少主动调整拍摄条件并重新获取检测信息的复检机制。

7、因此,亟需提供一种能够适应钢结构桥梁复杂现场环境,综合利用螺栓形态特征、表面纹理特征及空间关系特征,并能够根据图像质量状态动态调整不同特征的可靠性权重,实现多类型螺栓缺陷识别、健康状态量化评估及低置信度自主复检的方法。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的钢结构桥梁螺栓缺陷识别与状态评估方法,以解决现有螺栓视觉检测方法在复杂光照、锈蚀、遮挡和图像模糊等条件下识别稳定性不足,难以综合利用不同类型视觉特征识别裂纹、松动和缺失等缺陷,以及缺少缺陷风险量化评估和低置信度自主复检机制的技术问题。

2、本发明通过建立图像质量自适应增强、螺栓实例定位、形态特征与表面纹理特征及空间关系特征联合提取、基于图像质量的可靠性加权、跨特征交互融合、多任务缺陷识别、健康状态量化评估以及低置信度自主复检的技术流程,实现复杂环境下钢结构桥梁螺栓缺陷的自动识别和健康状态评估。

3、为解决上述技术问题,本发明提供一种基于深度学习的钢结构桥梁螺栓缺陷识别与状态评估方法,包括如下步骤:

4、s1、图像采集、质量分析及自适应图像增强。

5、获取检测机器人对钢结构桥梁螺栓连接区域采集的原始图像,计算原始图像的亮度分布参数、对比度参数、清晰度参数和遮挡参数,根据上述参数确定图像质量状态,并根据图像质量状态对原始图像执行自适应图像增强处理,得到增强图像。

6、具体地,将原始图像划分为多个局部图像块,分别计算各局部图像块的平均灰度值和灰度离散程度,获得亮度分布参数和对比度参数;计算各局部图像块的梯度响应,根据梯度响应的空间分布确定清晰度参数;通过预设螺栓区域粗定位模型确定螺栓候选区域,并根据螺栓候选区域内有效边缘与预设完整螺栓轮廓之间的匹配关系确定遮挡参数。

7、将上述参数组成图像质量向量,并基于图像质量向量确定对应的图像增强策略。所述图像增强策略包括亮度补偿、局部对比度增强、去噪处理和细节恢复中的至少一种。

8、当原始图像亮度不足时进行亮度补偿;当图像局部明暗差异明显时进行局部对比度增强;当图像存在明显噪声时执行去噪处理;当图像存在轻微模糊时执行细节恢复,以获得能够保留螺栓轮廓及表面缺陷特征的增强图像。

9、s2、螺栓实例定位及感兴趣区域提取。

10、将增强图像输入预先训练的螺栓实例定位网络,通过多尺度特征提取获得不同尺度的螺栓候选特征,根据螺栓候选特征确定各螺栓实例的目标区域和实例掩膜,并根据目标区域和实例掩膜获得对应的螺栓感兴趣区域。

11、所述螺栓实例定位网络包括骨干特征提取模块、多尺度特征融合模块、目标定位模块和实例分割模块。

12、所述骨干特征提取模块用于从增强图像中提取不同分辨率的层级特征;多尺度特征融合模块用于将浅层位置特征与深层语义特征进行双向融合,形成多尺度融合特征;目标定位模块用于根据多尺度融合特征确定各螺栓实例的目标区域;实例分割模块用于在目标区域内生成对应的螺栓实例掩膜。

13、根据螺栓实例掩膜确定螺栓主体区域,并根据对应的目标区域保留螺栓主体区域与连接面之间的邻接区域,形成包含螺栓主体及其与连接面接触边界的螺栓感兴趣区域。

14、通过上述方式,在减少钢梁表面、连接板、铆接结构及其他无关背景区域干扰的同时,保留后续提取螺栓与连接面之间间隙特征所需的图像信息。

15、s3、形态特征、表面纹理特征及空间关系特征提取。

16、针对各螺栓感兴趣区域分别建立形态特征分支和表面纹理特征分支,通过形态特征分支提取表征螺栓轮廓、边缘连续性及局部几何形变的形态特征,通过表面纹理特征分支提取表征裂纹、锈蚀及表面损伤的多尺度纹理特征。

17、其中,形态特征包括螺栓轮廓完整度、螺栓头部边缘连续度、轮廓偏移量、轮廓局部曲率以及螺栓与连接面的间隙特征中的至少一种。所述间隙特征根据螺栓感兴趣区域中螺栓主体与连接面之间的接触边界确定。

18、表面纹理特征通过不同感受野的卷积分支提取,并通过边缘增强分支强化细长裂纹和锈蚀边界对应的高频响应。

19、根据同一螺栓连接区域内各已定位螺栓实例的空间分布构建螺栓空间关系图,通过空间关系特征分支提取各已定位螺栓实例相对于对应连接构件以及相邻螺栓的空间关系特征。

20、具体地,将同一螺栓连接区域内各已定位螺栓实例作为节点,根据节点之间的空间邻近关系建立连接边,并根据相邻节点之间的中心距离、方向夹角和尺度比生成边特征。

21、对各节点对应的局部视觉特征以及边特征进行聚合,获得当前螺栓的邻域关系表征。

22、根据同一螺栓连接区域内相邻节点之间中心距离和排列方向的统计分布,确定横向基准间距、纵向基准间距及基准排列方向,并根据上述参数确定局部排列规律。

23、将当前螺栓的实际空间关系与局部排列规律进行比较,获得空间关系异常程度。

24、根据局部排列规律生成理论螺栓位置,将理论螺栓位置与实际检测到的螺栓实例进行匹配,将符合局部排列规律但不存在对应已定位螺栓实例的理论螺栓位置确定为候选缺失位置。

25、进一步根据候选缺失位置与理论螺栓位置的一致程度,以及相邻已定位螺栓实例对局部排列规律的支持程度,确定候选缺失位置对应的缺失状态置信度。

26、由此,即使缺失位置不存在可供目标检测网络直接识别的螺栓实体,也能够通过螺栓群的空间排列规律获得候选缺失位置。

27、s4、基于图像质量状态的可靠性加权及跨特征交互融合。

28、根据s1获得的图像质量状态,分别确定形态特征、表面纹理特征和空间关系特征的可靠性权重,并对三类特征进行可靠性加权。

29、设形态特征为,表面纹理特征为,空间关系特征为,将由亮度分布参数、对比度参数、清晰度参数和遮挡参数组成的图像质量向量

q输入可靠性权重生成网络,按照下式生成可靠性权重:

30、

31、其中:

q为图像质量向量;为可靠性权重生成网络的映射权重矩阵;为偏置向量;softmax为归一化指数函数;为形态特征可靠性权重;为表面纹理特征可靠性权重;为空间关系特征可靠性权重;且满足:

32、

33、

34、针对各已定位螺栓实例,根据该螺栓实例所在原始图像区域对应的图像质量参数确定图像质量向量

q,从而分别获得对应的形态特征可靠性权重、表面纹理特征可靠性权重和空间关系特征可靠性权重。

35、对三类特征分别进行可靠性加权,得到:

36、

37、

38、

39、其中,示可靠性加权后的形态特征;表示可靠性加权后的表面纹理特征;表示可靠性加权后的空间关系特征。

40、将可靠性加权后的三类特征输入跨特征交互模块,分别进行线性映射,获得对应的查询向量、键向量和值向量;计算不同特征之间的相关性矩阵,根据相关性矩阵获得不同特征之间的注意力权重,并利用注意力权重对对应特征进行加权聚合,获得跨特征交互特征。

41、将所述跨特征交互特征进行融合,得到螺栓融合状态特征。

42、通过可靠性加权和跨特征交互,使形态特征、表面纹理特征和空间关系特征能够根据图像质量状态动态调整对融合结果的贡献,减少单一不可靠特征对最终缺陷识别结果的影响。

43、s5、多任务螺栓缺陷识别。

44、将螺栓融合状态特征输入多任务缺陷识别网络。

45、所述多任务缺陷识别网络采用共享特征编码结构以及分别与共享特征编码结构连接的缺陷分类分支、缺陷定位分支和缺陷程度回归分支。

46、共享特征编码结构用于对螺栓融合状态特征进行编码,获得供各任务分支共同使用的共享特征。

47、缺陷分类分支用于输出已定位螺栓实例对应的正常、裂纹、松动和锈蚀状态的类别概率,并根据类别概率确定对应的缺陷类型。

48、对于候选缺失位置,根据候选缺失位置周围已定位螺栓实例的空间分布、局部排列规律以及候选缺失位置与理论螺栓位置之间的匹配情况确定螺栓缺失状态及缺失状态置信度。

49、缺陷定位分支用于对裂纹和锈蚀缺陷输出对应的像素级缺陷掩膜,并根据像素级缺陷掩膜确定缺陷区域。

50、缺陷程度回归分支用于根据与目标缺陷自身严重程度相关的特征输出连续的缺陷程度参数。

51、对于裂纹,根据裂纹长度和裂纹宽度中的至少一种确定裂纹缺陷程度;对于锈蚀,根据锈蚀纹理强度确定锈蚀缺陷程度;对于松动,根据螺栓与连接面的间隙变化量和螺栓位置偏移量中的至少一种确定松动缺陷程度。

52、其中,本发明所述松动识别主要针对能够引起螺栓与连接面间隙、螺栓相对位置或者外观形态发生可视觉感知变化的松动状态。

53、s6、螺栓健康状态量化评估。

54、对于已定位螺栓实例,根据缺陷分类分支输出的类别概率确定缺陷风险表征值,并根据缺陷风险表征值、缺陷区域的相对尺度、缺陷程度参数以及空间关系异常程度计算螺栓状态评价值。

55、所述螺栓状态评价值按照下式确定:

56、

57、其中,表示螺栓状态评价值,表示目标螺栓属于缺陷状态的缺陷风险表征值,所述缺陷风险表征值根据1减去正常状态类别概率或者各缺陷状态类别概率中的最大值确定,表示缺陷区域相对于螺栓有效区域的尺度表征值,表示缺陷程度参数,表示空间关系异常程度;

c、

d、

r、

a均为归一化至0~1范围的评价参数;、、和分别表示对应评价参数的权重系数;

58、所述权重系数满足:

59、

60、

61、所述缺陷风险表征值

c根据1减去正常状态类别概率或者各缺陷状态类别概率中的最大值确定。

62、对于缺陷定位分支输出像素级缺陷掩膜的螺栓实例,根据缺陷掩膜对应的缺陷区域与螺栓有效区域之间的相对尺度确定

d。

63、对于未获得像素级缺陷区域的松动缺陷,将

d设置为0,并通过缺陷程度参数r和空间关系异常程度

a表征对应的松动异常。

64、对于螺栓缺失状态,由于候选缺失位置不存在对应的螺栓有效区域,因此不采用缺陷区域相对尺度表征其异常程度,而是根据缺失状态置信度和空间关系异常程度按照下式确定缺

65、其中,表示缺失螺栓状态评价值,表示缺失状态置信度,表示空间关系异常程度,、分别表示对应评价参数的权重系数,所述权重系数满足:

66、

67、

68、根据螺栓状态评价值

h或者缺失螺栓状态评价值与对应的预设状态阈值之间的关系,将螺栓健康状态划分为正常状态、关注状态、异常状态和严重异常状态四个等级。

69、其中,状态评价值越大,表示对应螺栓的异常程度越高。

70、所述预设状态阈值及各权重系数可以通过经过状态标定的历史桥梁螺栓检测数据或者训练数据确定。

71、s7、低置信度检测对象自主复检。

72、在完成s6之后,判断当前检测对象是否满足预设复检触发条件。

73、当已定位螺栓实例的预测类别置信度低于预设类别置信度阈值、候选缺失位置的缺失状态置信度低于预设缺失置信度阈值、不同特征分支对应判断结果之间的差异超过预设一致性阈值、遮挡参数超过预设遮挡阈值或者清晰度参数低于预设清晰度阈值中的至少一种情况发生时,将对应的已定位螺栓实例或者候选缺失位置标记为低置信度检测对象。

74、所述预测类别置信度为缺陷分类分支输出的各类别概率中的最大值,用于表征当前分类结果的可信程度,与s6中用于状态评价的缺陷风险表征值相区分。

75、根据低置信度检测对象在当前图像中的位置及检测机器人的当前位姿生成复检指令。

76、检测机器人根据复检指令调整拍摄位置、拍摄角度或者成像参数,重新采集对应区域的图像。

77、将重新采集的图像再次执行s1至s6,获得复检结果,并将复检结果与初次检测结果进行综合,以更新对应的缺陷类型、缺陷区域和健康状态等级。

78、当复检结果与初次检测结果一致时,输出更新后的缺陷识别结果和健康状态等级;当复检结果与初次检测结果仍存在超过预设一致性阈值的差异时,继续生成复检指令;当复检次数达到预设最大复检次数后,将对应的低置信度检测对象标记为人工复核对象。

79、本发明还提供一种基于深度学习的钢结构桥梁螺栓缺陷识别与状态评估系统,包括图像质量分析与增强模块、螺栓实例定位模块、多分支特征提取模块、特征交互融合模块、多任务缺陷识别模块、状态评估模块以及自主复检控制模块。

80、所述图像质量分析与增强模块的图像输出端与螺栓实例定位模块的输入端连接,用于获取检测机器人采集的钢结构桥梁螺栓原始图像,确定图像质量状态,执行自适应图像增强,并输出增强图像及对应的图像质量状态。

81、所述螺栓实例定位模块与多分支特征提取模块连接,用于对增强图像进行多尺度特征提取,确定螺栓实例的目标区域和实例掩膜,并获得螺栓感兴趣区域。

82、所述多分支特征提取模块包括形态特征提取分支、表面纹理特征提取分支和空间关系特征提取分支,用于分别提取螺栓的形态特征、表面纹理特征和空间关系特征,构建螺栓空间关系图,并根据螺栓空间关系图确定候选缺失位置。

83、所述特征交互融合模块分别与图像质量分析与增强模块及多分支特征提取模块连接,用于根据图像质量状态确定各类特征的可靠性权重,并对可靠性加权后的三类特征进行跨特征交互融合,得到螺栓融合状态特征。

84、所述多任务缺陷识别模块与特征交互融合模块连接,用于根据螺栓融合状态特征确定已定位螺栓实例的缺陷类型、类别概率、缺陷区域和缺陷程度参数,并根据候选缺失位置及其相邻螺栓实例的空间关系确定螺栓缺失状态及缺失状态置信度。

85、所述状态评估模块与多任务缺陷识别模块连接,用于根据缺陷风险表征值、缺陷区域相对尺度、缺陷程度参数和空间关系异常程度确定已定位螺栓的健康状态等级,并根据缺失状态置信度和空间关系异常程度确定缺失螺栓的健康状态等级。

86、所述自主复检控制模块分别与图像质量分析与增强模块、状态评估模块及检测机器人的控制端连接,用于判断当前检测对象是否满足复检触发条件,并在满足复检触发条件时生成复检指令,控制检测机器人重新采集对应区域的图像,使重新采集的图像依次经过各处理模块进行重新识别和状态评估,并根据复检结果更新缺陷类型和健康状态等级。

87、本发明的有益效果在于:

88、(1)首先根据原始图像的亮度分布参数、对比度参数、清晰度参数和遮挡参数确定图像质量状态,并根据图像质量状态自适应选择对应的图像增强方式,能够减少固定图像增强策略造成的过度增强、纹理失真及细节丢失问题,提高复杂现场环境下螺栓图像的可用性。

89、(2)通过螺栓实例定位网络确定螺栓目标区域及实例掩膜,在减少复杂背景干扰的同时,保留螺栓主体与连接面之间的邻接区域,使后续特征提取不仅能够获得螺栓自身的轮廓和纹理信息,还能够提取用于判断松动状态的接触边界及间隙特征。

90、(3)本发明分别提取螺栓形态特征、表面纹理特征和空间关系特征,根据不同类型缺陷的视觉表现进行联合分析,使裂纹能够通过细粒度纹理及边缘特征进行识别,使松动能够结合螺栓形态及空间位置关系进行识别,使缺失能够结合螺栓群空间排列规律进行识别,从而减少依赖单一视觉特征导致的误检和漏检。

91、(4)根据图像质量状态动态确定三类特征的可靠性权重,并通过跨特征交互模块建立不同特征之间的关联关系,使图像模糊、局部遮挡等因素影响较大的特征不会直接主导最终识别结果,提高螺栓缺陷识别的稳定性。

92、(5)本发明采用缺陷分类、缺陷定位和缺陷程度回归相结合的多任务识别方式,不仅能够识别缺陷类型,还能够获得缺陷区域及缺陷程度参数,为螺栓健康状态的定量评估提供数据基础。

93、(6)根据不同缺陷类型的特点建立相应的状态评价机制,对具有像素级缺陷区域的裂纹和锈蚀进行区域尺度评价,对松动结合间隙变化和空间关系异常进行评价,对缺失单独采用缺失状态置信度及空间关系异常程度进行评价,避免不同缺陷类型使用相同评价参数时出现部分参数无法确定的问题。

94、(7)通过自主复检机制,对低置信度或者不同特征判断结果存在冲突的检测对象主动生成复检指令,并控制检测机器人调整拍摄条件重新获取图像,实现螺栓缺陷识别、状态评估、复检及结果更新的闭环处理。

95、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。