一种桥梁上部开裂激光点云形态特征向水下基础开裂声呐点云形态特征的迁移学习方法、系统、设备及介质

摘要: 本发明属于桥梁病害识别的,尤其涉及一种桥梁上部开裂激光点云形态特征向水下基础开裂声呐点云形态特征的迁移学习方法、设备及介质。背景技术:1、水下桥梁作为现代城市交...
一种桥梁上部开裂激光点云形态特征向水下基础开裂声呐点云形态特征的迁移学习方法、系统、设备及介质

本发明属于桥梁病害识别的,尤其涉及一种桥梁上部开裂激光点云形态特征向水下基础开裂声呐点云形态特征的迁移学习方法、设备及介质。

背景技术:

1、水下桥梁作为现代城市交通网络的关键枢纽,在跨江、跨海等大型桥梁工程中,下部结构如水下桩基常年处于高湿、高腐蚀、高冲刷的复杂流体环境中,极易发生结构性劣化。结构开裂作为该类区域最常见且最具隐蔽性的病害形式,不仅削弱承载能力,还可能诱发更严重的次生损伤,若未及时识别处理,将严重威胁桥梁的服役安全性和运营稳定性。

2、当前工程实践中,水下结构的常规检测手段主要依赖两种技术路径:一是在清水环境中由专业潜水员结合光学图像设备进行人工检查;二是在浑浊水域中应用声呐系统进行结构成像与点云采集。由于声呐具备良好的水体穿透能力,已成为获取桥梁下部结构三维数据的主要手段。然而,声呐点云检测在实际应用中仍面临关键技术挑战:点云密度稀疏,特征表达能力较弱,监督标签稀缺,难以支撑现有基于图像深度学习模型的直接迁移与识别。

技术实现思路

1、发明目的:本发明的目的是提供一种桥梁上部开裂激光点云形态特征向水下基础开裂声呐点云形态特征的迁移学习方法、系统、设备及介质,有效提升了对开裂病害的识别精度与稳定性。

2、技术方案:为实现以上目的,本发明公开了一种桥梁上部开裂激光点云形态特征向水下基础开裂声呐点云形态特征的迁移学习方法,包括如下步骤:

3、(1)采集桥梁上部结构开裂病害的激光点云数据和桥梁下部结构开裂病害的声呐点云数据,分别进行开裂病害点级标注,并形成带真实激光点级开裂标注的桥梁上部结构开裂病害的激光点云数据集和带真实声呐点级开裂标注的桥梁下部结构开裂病害的声呐点云数据集;

4、(2)构建点云知识蒸馏教师网络,点云知识蒸馏教师网络的输入为激光点云数据集及其真实激光点级开裂标注,点云知识蒸馏教师网络的输出为激光点预测开裂概率,训练点云知识蒸馏教师网络,采用点级二元交叉熵损失函数度量激光点预测开裂概率与真实激光点级开裂标注之间的差异,得到训练后的点云知识蒸馏教师网络;

5、(3)基于训练后的点云知识蒸馏教师网络,提取开裂病害的高维语义几何嵌入特征,对高维语义几何嵌入特征进行聚合得到开裂病害的几何形态原型向量;

6、(4)针对结构开裂病害区域,分别构建上部点云局部拓扑结构图和下部点云局部拓扑结构图;

7、(5)构建点云学生网络,点云学生网络的输入为声呐点云数据集及其真实声呐点级开裂标注,点云学生网络的输出为声呐点预测开裂概率;基于开裂病害的几何形态原型向量、上部点云局部拓扑结构图和下部点云局部拓扑结构图,设计包含几何原型蒸馏损失、拓扑结构蒸馏损失与监督分类损失在内的联合训练目标,对点云学生网络进行训练,得到训练后的点云学生网络;

8、(6)将训练完成的点云学生模型应用于待检测的桥梁下部结构声呐点云数据,对开裂病害区域进行识别与分割。

9、可选的,所述步骤(1)具体包括如下步骤:

10、(1.1)采集桥梁上部结构开裂病害的激光点云数据,采用p50激光扫描仪对桥梁上部结构进行分站扫测,得到桥梁上部结构开裂病害的激光点云原始数据,再对激光点云原始数据进行手动开裂病害点级标注,并整理形成带真实激光点级开裂标注的桥梁上部结构开裂病害的激光点云数据集;

11、具体的,激光点云数据集表示为:,其中:表示第组激光点云数据中各点的三维坐标集合,;为第组激光点云数据中第个点的三维坐标,为第组激光点云数据中的点数;为与第组激光点云数据中各点一一对应的点级开裂标注集合,,为第组激光点云数据中第个点的真实激光点级开裂标注,表示该激光点为开裂病害点,表示该激光点为非开裂病害点,为激光点云数据的组数;

12、(1.2)采集桥梁下部结构开裂病害的声呐点云数据,对桥梁下部结构进行水下扫测,获得桥梁下部结构开裂病害的声呐点云原始数据,对声呐点云原始数据进行去噪预处理和体素化下采样,得到处理后的声呐点云数据;再对处理后的声呐点云数据进行手动开裂病害点级标注,并整理形成带真实声呐点级开裂标注的桥梁下部结构开裂病害的声呐点云数据集;

13、对声呐点云原始数据进行去噪预处理,具体为,对声呐点云原始数据进行初步去噪,手动去除孤立点与回波异常点,得到去噪预处理后点云集合,再对去噪预处理后点云集合进行体素化下采样,以统一点云密度分布,从而得到处理后的声呐点云数据集;对处理后的声呐点云数据集进行分组手动开裂病害点级标注,并整理形成带真实病害标签的桥梁下部结构开裂病害的声呐点云数据集;

14、,

15、其中,表示第组声呐点云数据中各点的三维坐标集合,,为第组声呐点云数据中第个点的三维坐标,为第组声呐点云中的点数;为与所述第组声呐点云数据中各点一一对应的点级开裂标注集合,,为第组声呐点云中第个点的真实声呐点级开裂标注,表示该声呐点为开裂病害点,表示该声呐点为非开裂病害点,为声呐点云数据的组数。

16、可选的,所述步骤(2)具体包括如下步骤:

17、(2.1)构建点云知识蒸馏教师网络,将点云知识蒸馏教师网络表示为由第一编码器和第一分割头串联组成的网络结构;将第组激光点云数据输入第一编码器,第一编码器将激光点云数据映射为点级几何嵌入特征集合:

18、,

19、其中,为第组激光点云数据中第个点的维几何嵌入特征,为嵌入特征维度;

20、第一分割头将几何嵌入特征映射为对应的上部结构开裂得分:

21、,

22、其中为第组激光点云数据中第个点的上部结构开裂得分;

23、并在蒸馏温度系数下,通过sigmoid激活函数得到第组激光点云数据中第个点的激光点预测开裂概率:

24、,

25、其中,为sigmoid激活函数,表示该点为开裂病害点的激光点预测开裂概率;

26、(2.2)将激光点云数据集及其真实激光点级开裂标注组成训练集,对点云知识蒸馏教师网络进行预训练,训练阶段采用点级二元交叉熵损失函数度量网络的激光点预测开裂概率与真实激光点级开裂标注之间的差异;

27、设训练集中点的总数为:

28、,

29、其中,为激光点云数据的组数,为第组激光点云数据的点数;为第组激光点云中第个点的真实激光点级开裂标注,为相应的激光点预测开裂概率,则二元点级交叉熵损失函数表示为:

30、,

31、通过最小化二元点级交叉熵损失函数,优化第一编码器与第一分割头的网络参数,得到训练后的点云知识蒸馏教师网络。

32、可选的,所述步骤(3)具体包括如下步骤:

33、(3.1)在训练后的点云知识蒸馏教师网络中,选取第一编码器内部的某一中间层作为高维语义几何嵌入特征的提取位置,将该中间层对应的映射记为特征提取模块,用于提取激光点云中各点的高维语义几何嵌入特征;

34、对于第组激光点云数据,通过特征提取模块提取得到高维语义几何嵌入特征,高维语义几何嵌入特征集合表示为:

35、,

36、其中,为第组激光点云数据中第个点在所选中间层位置对应的高维语义几何嵌入特征,为嵌入特征的维度;

37、(3.2)根据真实激光点级开裂标注,定义激光点云数据集中所有开裂病害点的索引集合为:,对应的开裂病害点总数为,收集激光点云数据集中所有被标注为开裂病害点的高维语义几何嵌入特征,则开裂病害的几何形态原型向量记为,其计算公式为:

38、,

39、其中,为开裂病害在所选中间层语义几何嵌入空间中的几何形态原型向量;

40、最后得到的桥梁上部结构激光点云的结构开裂几何形态原型特征库为:。

41、可选的,所述步骤(4)具体包括如下步骤:

42、(4.1)根据真实激光点级开裂标注,从激光点云数据集中提取被标注为开裂病害点的激光点集,则激光点云数据集中开裂病害点的空间坐标集合,即上部结构开裂病害点集表示为:,其中为激光点云数据集中所有开裂病害点的索引集合;

43、根据真实声呐点级开裂标注,从声呐点云数据集中提取被标注为开裂病害点的声呐点集,则声呐点云数据集中开裂病害点的空间坐标集合,即下部结构开裂病害点集表示为:,其中为声呐点云数据集中所有开裂病害点的索引集合,;

44、(4.2)以上部结构开裂病害点集为节点集合,定义相应的邻接矩阵,构建上部点云局部拓扑结构图;

45、具体为,将上部结构开裂病害点集表示为上部结构开裂病害点的节点集合:

46、,

47、其中为第个节点的三维空间坐标,为上部结构开裂病害点的总数;

48、上部结构邻接矩阵定义为:

49、,

50、其中,为第个点与第个点的欧氏距离,为第个点与第个点之间的邻接权重,用于表征两节点之间的局部空间关联程度,,为连接半径阈值,为控制边权重距离衰减的参数;

51、由此得到上部点云局部拓扑结构图,;

52、以下部结构开裂病害点集为节点集合,定义相应的邻接矩阵,构建下部点云局部拓扑结构图;

53、具体为,将下部结构开裂病害点集表示为下部结构开裂病害点的节点集合:,其中为第个节点的三维空间坐标,为下部结构开裂病害点的总数,;

54、下部结构邻接矩阵定义为:

55、,

56、其中,为第个点与第个点的欧氏距离,为第个点与第个点之间的邻接权重,用于表征两节点之间的局部空间关联程度,,为连接半径阈值,为控制边权重距离衰减的参数;由此得到下部点云局部拓扑结构图,。

57、可选的,所述步骤(5)具体包括如下步骤:

58、(5.1)构建点云学生网络,以处理后的声呐点云数据集为输入,提取每个声呐点的高维几何嵌入向量,并输出对应的声呐点预测开裂概率;点云学生网络由第二编码器和第二分类头串联组成,

59、对于第组声呐点云数据,第二编码器输出的高维几何嵌入向量集合表示为:

60、,

61、其中,为第组声呐点云数据中第个点的高维几何嵌入向量,与步骤(3.1)中的嵌入特征的维度一致;

62、第二分类头将高维几何嵌入向量映射为下部结构开裂得分:

63、,

64、并通过sigmoid激活函数得到点云学生网络对该点为开裂病害点的声呐点预测开裂概率:

65、,

66、其中,为第组声呐点云数据中第个点为开裂病害点的声呐点预测开裂概率;

67、(5.2)在步骤(3)获得的开裂病害的几何形态原型向量和步骤(4)获得的上部点云局部拓扑结构图及下部点云局部拓扑结构图的基础上,对点云学生网络设计包含几何原型蒸馏损失、拓扑结构蒸馏损失与监督分类损失在内的联合训练目标,对点云学生网络进行训练;

68、几何原型蒸馏损失函数定义为:

69、,

70、其中,为步骤(4.1)中定义的声呐点云数据集中所有开裂病害点的索引集合,为下部结构的开裂病害点总数;为第组声呐点云数据中第个点的高维几何嵌入向量;为步骤(3)获得的开裂病害的几何形态原型向量;

71、拓扑结构蒸馏损失函数定义为

72、,

73、其中,为上部结构邻接矩阵,为下部结构接邻矩阵;为frobenius范数;

74、监督分类损失函数采用点级二元交叉熵形式表示为:

75、,

76、其中,为声呐点云中参与训练的点总数,为声呐点云数据的组数,为第组声呐点云中的点数;为真实声呐点级开裂标注;为第组声呐点云数据中第个点为开裂病害点的下部结构预测开裂概率;

77、构建学生网络的联合训练目标函数为:

78、,

79、其中,为损失加权系数;通过最小化联合训练目标函数,对点云学生模型的第二编码器与第二分类头的参数进行联合优化,得到训练完成的点云学生模型。

80、可选的,对待检测的桥梁下部结构声呐点云数据:

81、,

82、输入至训练后的点云学生网络,利用第二编码器与第二分类头进行向前推理,得到每个点的开裂预测概率:

83、,

84、通过设定预设阈值,对开裂预测概率进行二值化,得到点级预测标签:

85、,

86、并得到预测的开裂病害点集合:

87、,

88、基于点级预测标签,对预测的开裂病害点集合进行空间聚合,将空间上相邻或连通的开裂病害点归并形成连续的三维空间病害区域,实现对声呐三维点云中开裂病害区域的分割。

89、基于相同的技术构思,本发明的一种桥梁上部开裂激光点云形态特征向水下基础开裂声呐点云形态特征的迁移学习系统,包括:

90、训练数据采集模块,用于采集桥梁上部结构开裂病害的激光点云数据和桥梁下部结构开裂病害的声呐点云数据,分别进行开裂病害点级标注,并形成带真实激光点级开裂标注的桥梁上部结构开裂病害的激光点云数据集和带真实声呐点级开裂标注的桥梁下部结构开裂病害的声呐点云数据集;

91、教师网络构建模块,用于构建点云知识蒸馏教师网络,点云知识蒸馏教师网络的输入为激光点云数据集及其真实激光点级开裂标注,点云知识蒸馏教师网络的输出为激光点预测开裂概率,训练点云知识蒸馏教师网络,采用点级二元交叉熵损失函数度量激光点预测开裂概率与真实激光点级开裂标注之间的差异,得到训练后的点云知识蒸馏教师网络;

92、几何形态提取模块,用于根据训练后的点云知识蒸馏教师网络,提取开裂病害的高维语义几何嵌入特征,对高维语义几何嵌入特征进行聚合得到开裂病害的几何形态原型向量;

93、点云拓扑图构建模块,用于针对结构开裂病害区域,分别构建上部点云局部拓扑结构图和下部点云局部拓扑结构图;

94、学生网络构建模块,用于构建点云学生网络,点云学生网络的输入为声呐点云数据集及其真实声呐点级开裂标注,点云学生网络的输出为声呐点预测开裂概率;基于开裂病害的几何形态原型向量、上部点云局部拓扑结构图和下部点云局部拓扑结构图,设计包含几何原型蒸馏损失、拓扑结构蒸馏损失与监督分类损失在内的联合训练目标,对点云学生网络进行训练,得到训练后的点云学生网络;

95、点云识别分割模块,用于将训练完成的点云学生模型应用于待检测的桥梁下部结构声呐点云数据,对开裂病害区域进行识别与分割。

96、基于相同的发明构思,本发明所述的一种电子设备,包括处理器及存储介质;

97、所述存储介质用于存储指令;

98、所述处理器用于根据所述指令进行操作以执行如上所述方法的步骤。

99、基于相同的发明构思,本发明所述的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述方法的步骤。

100、有益效果:与现有技术相比,本发明具有以下显著优点:本发明构建结构开裂几何形态原型库,提取高质量激光点云中典型开裂区域的几何嵌入向量,增强目标语义表达;本发明在激光-声呐双模态点云中构建局部拓扑图结构,通过结构蒸馏损失保持点间空间组织一致性;本发明构建多任务联合训练目标函数,融合原型蒸馏损失、结构保持损失与监督分类损失,在有限标注条件下提升点云学生模型对开裂病害的识别精度与稳定性;本发明借助高质量激光点云中提取的结构开裂形态特征,引导点云学生模型学习几何表征与拓扑结构,从而提升其对结构开裂的自动识别能力,进一步增强模型的鲁棒性。