一种面向桥梁水下结构病害的单Ping声呐点云实时检测方法、设备及介质

摘要: 本发明属于桥梁水下检测的,尤其涉及一种面向桥梁水下结构病害的单ping声呐点云实时检测方法、设备及介质。背景技术:1、桥梁水下结构长期处于复杂水动力、泥沙冲刷、...
一种面向桥梁水下结构病害的单Ping声呐点云实时检测方法、设备及介质

本发明属于桥梁水下检测的,尤其涉及一种面向桥梁水下结构病害的单ping声呐点云实时检测方法、设备及介质。

背景技术:

1、桥梁水下结构长期处于复杂水动力、泥沙冲刷、腐蚀、船舶撞击和生物附着等环境中,容易产生剥落、露筋、裂缝、缩径、局部缺损等病害。上述病害若不能被及时发现,可能进一步影响桥梁水下基础的耐久性和服役安全。由于水下环境存在低照度、浑浊水体和检测可达性差等问题,常规光学检测方法难以稳定获取桥梁水下结构表观状态。

2、三维成像声呐能够利用声波在低能见度水体中获取目标的三维空间信息,因而成为桥梁水下结构检测的重要技术手段。现有三维声呐检测方法多通过多帧或多测站数据的配准与拼接构建较完整的桥梁水下结构点云,并在全局点云模型上开展结构识别和病害检测。然而,多帧点云拼接容易受到声呐平台定位误差、姿态估计误差、时间同步误差及点云配准误差等因素影响,使拼接后的点云产生局部错位、边界重影和几何畸变。对于局部剥落、缩径等弱特征病害,上述误差可能掩盖其真实几何特征,进而造成病害漏检或误检。同时,多帧配准、拼接和全局模型重建过程通常具有较高的计算开销,难以满足现场实时检测需求。

3、单ping声呐点云是三维成像声呐通过单次声脉冲采集获得的局部三维点云,无需进行跨ping配准和多帧拼接,能够保留当前观测时刻的原始几何信息与声强信息,具有数据保真度高、处理流程短和实时性强等特点。然而,受声呐波束覆盖范围限制,单个单ping点云仅包含当前视场内的局部地形和局部结构,不能形成完整的水下结构或河床模型。同时,单ping声呐点云通常存在点云密度低、局部数据空洞明显、几何信息稀疏、声学噪声强及病害点数量少等问题,使水下结构病害在点云中往往表现为少量、弱小且不连续的局部异常。

4、在单ping声呐点云中,地形点和正常结构点的数量通常远多于病害点,直接进行三分类容易使病害类别被优势类别淹没。与此同时,地形与结构之间的差异主要表现为区域尺度差异,正常结构与病害之间的差异则主要表现为局部几何异常和声强异常,二者所需的判别特征存在差异;因此现有分割网络难以有效解决单ping声呐点云中的类别不平衡及弱病害特征识别问题。

5、另外考虑到现有基于深度学习的点云分割方法通常依赖大量且准确标注的训练样本。然而,含真实病害的桥梁水下结构实测单ping声呐点云难以大量获取,且精确标注成本较高,导致样本规模有限、类别分布不均衡,容易造成分割模型过拟合和泛化能力不足。因此难以为单ping声呐病害检测网络的训练、验证和性能评价提供稳定的数据基础。

技术实现思路

1、发明目的:本发明的目的是提供一种面向桥梁水下结构病害的单ping声呐点云实时检测方法、设备及介质,提高单ping声呐点云中病害的实时检测精度、鲁棒性和工程适用性。

2、技术方案:为实现以上目的,本发明所述的一种面向桥梁水下结构病害的单ping声呐点云实时检测方法,包括如下步骤:

3、s1、获取多组实测单ping声呐点云、多组半合成单ping声呐点云和多组全合成单ping声呐点云,合并组成数据集d,对数据集d中每一组单ping声呐点云样本中单ping声呐点进行标注形成真实标签;

4、s2、搭建单ping声呐点云分割网络hae-pointnet++,以pointnet++为主干网络,通过pointnet++主干网络进行多尺度特征编码与逐级特征传播获得多尺度点级特征,并引入局部异常增强模块提取病害区域相对于邻域正常结构的高维异常嵌入特征;将多尺度点级特征和高维异常嵌入特征进行残差融合得到异常增强特征;构建包括粗分类头和细分类头的层级分割头,异常增强特征输入层级分割头进行分类,最终获得地形、正常结构和病害三类点级预测标签;

5、s3、将数据集d和真实标签划分为训练集和验证集,设定粗分割监督标签和细分割监督标签;粗分割损失采用加权交叉熵损失函数,细分割损失采用focal损失函数,共同构成hae-pointnet++的层级训练损失,训练hae-pointnet++,通过最小化层级训练损失更新网络参数,得到训练后的hae-pointnet++;

6、s4、基于训练后的hae-pointnet++进行病害检测,输出病害点云、病害标签和病害点数量。

7、可选的,所述步骤s1具体包括如下步骤:

8、s1.1、针对桥梁水下结构,进行三维实时声呐设备环绕式采集获得原始实测单ping声呐点云,进行去噪预处理后得到多组实测单ping声呐点云;

9、其中实测单ping声呐点云,为一组实测单ping声呐点云中的点数;第个点的三维坐标,表示第个点对应的声呐回波强度;

10、s1.2、分割实测单ping声呐点云中的地形点云和结构物点云,对地形点云随机选取点簇,并进行坐标偏移操作,偏移后的点簇定义为病害点,最终生成多组半合成单ping声呐点云,其中,为一组半合成单ping声呐点云中的点数;

11、s1.3、基于声呐成像原理构建全合成单ping声呐点云,其中,

12、,为一组全合成单ping声呐点云中的点数;

13、具体为,首先构建包含桥梁水下结构、河床地形和病害区域的三维模型;

14、设声呐水平视场角为、声呐垂直视场角为、水平波束数为和垂直波束数为,则全合成单ping声呐点云的点数,第条声波的水平角和垂直角分别为:

15、,

16、,

17、则声呐坐标系下第条声波的中心波束方向为:

18、,

19、式中,为矩阵转置;

20、设声呐位姿为:

21、,

22、式中,为声呐坐标系至世界坐标系的3×3旋转矩阵;为声呐中心在世界坐标系中的平移向量;

23、则第条声波的中心波束方向转换至世界坐标系为:

24、,

25、声呐发射原点为:

26、,

27、第条声波的波束与三维模型的首达交点距离为:

28、,

29、其中为波束与三维模型的所有交点距离;

30、第条声波的命中点为:

31、,

32、设命中面片法向量为,声波传播方向为,则表面反射项表示为:

33、,

34、其中,为角度响应指数;为命中面片法向量的转置向量;

35、第条声波的合成回波强度为:

36、,

37、其中,为初始声强,为水体声吸收系数,为回波强度噪声;

38、考虑声呐径向分辨率和传播距离误差,第条声波的量测距离为:

39、,

40、其中函数为四舍五入取整函数,传播距离误差采用正态分布,即,为正态分布标准差;

41、第条声波的全合成声呐点坐标为:

42、,

43、引入第条声波的遮挡掩膜,则得到第条声波所采集到目标物三维坐标和第条声波的回波强度;

44、,

45、,

46、式中,,为伯努利分布,为水体对目标物的遮挡概率;

47、获得全合成单ping声呐点云:

48、,

49、其中,为第条声波所采集到目标物三维坐标,为第条声波的回波强度;

50、s1.4、对多组实测单ping声呐点云、半合成单ping声呐点云和全合成单ping声呐点云,进行合并组成数据集d,对数据集d中每一组样本中单ping声呐点进行标注形成真实标签,则第个样本表示为:

51、,其中,,0表示地形,1表示正常结构,2表示病害;第个点的三维坐标,表示第个点对应的声呐回波强度,表示第个样本中的点数。

52、可选的,所述s2具体包括以下步骤:

53、s2.1、对输入的单ping声呐点云样本进行固定点数采样,进行归一化预处理,得到预处理后的单ping声呐点云为:

54、,

55、其中,为单ping声呐点云中的点数,为第个点归一化坐标,为第个点归一化声强;

56、对于所有点,

57、,

58、,

59、并输出单ping声呐点云坐标和反射强度属性特征;

60、s2.2、采用pointnet++主干网络提取预处理后的单ping声呐点云的多尺度点级特征,具体为,将单ping声呐点云坐标输入pointnet++主干网络,pointnet++主干网络包括l级集合抽象模块和l级特征传播模块,其中;通过l级集合抽象模块逐级降低点云空间分辨率并提高特征维度,再通过l级特征传播模块逐级恢复至原始点级分辨率并融合反射强度属性特征,得到多尺度点级特征,其中为第个点的多尺度点级特征;

61、s2.3、搭建局部异常增强模块,将单ping声呐点云坐标输入局部异常增强模块,为每个点计算5维局部异常特征;将所有点的5维局部异常特征向量映射为高维异常嵌入特征;

62、s2.4、将高维异常嵌入特征与多尺度点级特征进行残差融合形成异常增强特征,为第个点的异常增强特征;

63、s2.5、基于异常增强特征经过层级分割头同时进行粗分割和细分割,粗分类头输出地形概率和结构物概率,细分类头输出正常结构概率和病害概率,得到第个点的三分类概率,;

64、s2.6、引入病害概率阈值,联合第个点的三分类概率输出第个点的点级预测标签:

65、,

66、其中,;

67、最终获得所有点的点级预测标签:。

68、可选的,所述s2.1具体包括以下步骤:

69、对输入的单ping声呐点云样本进行固定点数采样,获得个点,得到采样后的单ping声呐点云:

70、,

71、点云坐标中心为:

72、,

73、尺度归一化因子为:

74、,

75、第个点归一化坐标为:

76、,

77、其中为极小数,防止分数出现分母为0;

78、声强均值和标准差分别为:

79、,

80、,

81、第个点归一化声强为:

82、,

83、最终得到预处理后的单ping声呐点云为:

84、,

85、并输出单ping声呐点云坐标和反射强度属性特征,其中,。

86、可选的,所述s2.2中设pointnet++主干网络的第级集合抽象模块中第个中心点为,其在半径下的邻域为,则对应局部特征表示为:

87、,

88、其中,为邻域点,为邻域点相对于中心点的局部坐标,为第级点特征,预设为空集;为第级第个尺度半径下的共享多层感知机,为逐通道最大池化;

89、对于多个尺度半径,多尺度局部特征经通道拼接后得到:

90、,

91、式中,为特征通道拼接操作;为尺度半径的总数;

92、第级集合抽象模块输出特征为,,为第级集合抽象模块中的点数,;

93、当时,利用第级特征传播模块对第级集合抽象模块输出特征和第级集合抽象模块输出特征进行融合处理,得到第级融合特征;

94、当时,利用第级特征传播模块对第级融合特征和第级集合抽象模块输出特征进行融合处理,得到第级融合特征;

95、当时,利用第1级特征传播模块对第2级融合特征和反射强度属性特征进行融合处理,得到多尺度点级特征。

96、可选的,所述s2.3具体包括如下步骤:

97、搭建局部异常增强模块,将单ping声呐点云坐标输入局部异常增强模块,为每个点计算5维局部异常特征;

98、对于点,首先搜索其个近邻点:

99、,

100、其中,表示为点云近邻算法;

101、邻域中心为:

102、,

103、其中为点的近邻领域中第个点的三维坐标;

104、中心偏移为:

105、,

106、其中,为中心偏移的三个坐标分量;

107、距离残差为:

108、,

109、邻域协方差矩阵为:

110、,

111、对协方差矩阵进行特征分解:

112、,

113、式中,为第个点对应的局部邻域协方差矩阵的第m个特征值;为与特征值对应的单位特征向量;m为特征值及其对应特征向量的序号,且;

114、取最小特征值对应的特征向量作为局部平面法向量:

115、,

116、局部平面残差为:

117、,

118、构造第点的5维局部异常特征向量:

119、,

120、并得到所有点的5维局部异常特征矩阵,;

121、将所有点的5维局部异常特征向量映射为高维异常嵌入特征,首先将第点的5维局部异常特征向量输入小型多层感知机,映射为第点的高维异常嵌入特征:

122、,

123、并得到所有点的高维异常嵌入特征,。

124、可选的,所述s2.5具体包括如下步骤:

125、对于第个点,粗分割头首先输出其属于地形区域和结构物区域的两个原始得分:

126、,

127、其中,;表示粗分割头中的可学习权重矩阵;是粗分割头的分类偏置向量,为粗分割头输出的原始分类得分向量,其两个分量分别对应地形区域和结构区域;

128、再通过激活函数将两个原始分类得分归一化为概率分布,从而得到第个点属于地形和结构物的概率,粗分割概率向量即:,其中,;为粗分割阶段预测为地形的概率,为粗分割阶段预测为结构物的概率;

129、对于第个点,细分割头首先输出其属于正常结构区域和病害区域的两个原始得分:

130、,

131、其中,表示细分割头中的可学习权重矩阵,是细分割的分类偏置向量,为细分割头输出的原始分类得分向量,其两个向量分别对应正常结构和病害;

132、再通过函数将两个原始分类得分归一化为概率分布,从而得到第个点属于正常结构和病害的概率;细分割概率向量即:,其中:,为细分割阶段预测第个点为正常结构的概率;为细分割阶段预测第个点属于病害的概率;

133、获得第个点的三分类概率,第个点的地形概率为:

134、,

135、第个点的正常结构概率为:

136、,

137、第个点的病害概率为:

138、,

139、第个点的三分类概率向量:

140、。

141、可选的,所述s3具体包括如下步骤:

142、粗分割监督标签定义为:

143、,

144、其中,表示地形,表示结构物,结构物包括正常结构和病害;

145、粗分割损失采用加权交叉熵损失函数:

146、,

147、式中,为粗分割概率向量中与粗分割监督标签对应的预测概率;为粗分割类别权重;

148、细分割监督标签定义为:

149、,

150、其中,表示正常结构,表示病害;

151、细分割损失采用focal损失函数:

152、,

153、其中为参与细分割的点云数量;为聚焦参数;为细分割类别权重;为细分割概率向量中与细分割监督标签对应的预测概率;

154、粗分割损失和细分割损失构成hae-pointnet++网络的层级训练损失:

155、,

156、式中,为粗分割损失的权重系数,为细分割损失的权重系数,通过最小化层级训练损失更新网络参数,得到训练后的hae-pointnet++网络。

157、基于相同的发明构思,本发明的一种电子设备,包括处理器及存储介质;

158、所述存储介质用于存储指令;

159、所述处理器用于根据所述指令进行操作以执行如上所述一种面向桥梁水下结构病害的单ping声呐点云实时检测方法的步骤。

160、基于相同的发明构思,本发明的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述一种面向桥梁水下结构病害的单ping声呐点云实时检测方法的步骤。

161、有益效果:与现有技术相比,本发明具有以下显著优点:

162、(1)本发明直接处理单ping三维声呐点云,不依赖多ping(帧)拼接,能够避免多帧配准误差和平台定位误差对病害识别的影响;

163、(2)本发明以实测单ping声呐点云、半合成单ping声呐点云和全合成单ping声呐点云为基础构成数据集,可为网络训练提供多样化病害样本和精确点级标签;

164、(3)本发明采用粗分割和细分割相结合的层级分割策略,使病害识别更符合桥梁水下结构病害嵌入于结构表面的语义关系,能够降低病害点被地形和正常结构点淹没的风险,缓解类别不平衡问题;

165、(4)本发明提出局部异常增强模块,通过中心偏移、距离残差、局部平面残差等显式异常特征,提高网络对小尺度弱特征病害的感知能力;

166、(5)本发明提高单ping声呐点云中病害的实时检测精度、鲁棒性和工程适用性,适用于桥梁水下结构实时检测、无人船搭载检测、水下机器人检测和桥梁健康监测等工程应用场景。