基于区域占用与骨架拓扑联合约束的表面裂缝识别方法与流程

摘要: 本发明涉及基础设施表观缺陷检测的,尤其是一种基于区域占用与骨架拓扑联合约束的表面裂缝识别方法。背景技术:1、道路、桥梁、隧道、建筑物和工业构件在长期服役过程中容...
基于区域占用与骨架拓扑联合约束的表面裂缝识别方法与流程

本发明涉及基础设施表观缺陷检测的,尤其是一种基于区域占用与骨架拓扑联合约束的表面裂缝识别方法。

背景技术:

1、道路、桥梁、隧道、建筑物和工业构件在长期服役过程中容易产生表面裂缝。裂缝通常具有宽度小、长度跨度大、灰度对比度低、方向变化复杂以及分叉、交叉和局部遮挡等特征。传统人工巡检存在效率低、主观性强和难以持续覆盖大范围结构表面的缺点,因此,利用无人机、移动巡检设备或固定摄像设备采集图像,并通过深度学习模型自动识别裂缝,已成为基础设施智能巡检的重要技术方向。

2、与一般面状目标相比,裂缝前景像素占比通常较低,前景与背景类别严重不均衡;裂缝又具有细长、弯曲、分叉及跨尺度延伸的拓扑特点。常规语义分割网络经过连续下采样后,微细裂缝容易被背景响应淹没;若直接恢复与输入图像等大的全分辨率掩码,则会显著增加显存占用和计算量。仅利用像素级分类损失进行训练时,相邻裂缝段容易出现断裂,且预测结果的中心线连通性和拓扑完整性不足。

3、现有方案已经采用多尺度特征、空洞卷积、注意力机制、方向上下文或骨架约束改善裂缝分割。例如,部分方案通过融合结构特征和细节特征提高裂缝边缘识别能力,部分方案通过行列方向上下文或多通道空洞卷积扩大感受野,也有方案采用中心线相关损失约束细长结构。然而,上述技术通常分别解决局部细节、多尺度上下文、方向建模或拓扑约束中的某一方面,尚缺少一条面向低分辨率裂缝区域占用预测的完整技术链路,使网络能够在降低输出分辨率和计算开销的同时,保留微细裂缝响应,并兼顾裂缝的局部细节、跨尺度连续性、方向自适应性和骨架拓扑完整性。

技术实现思路

1、本发明的目的是根据上述现有技术的不足,提供了一种基于区域占用与骨架拓扑联合约束的表面裂缝识别方法,该识别方法可以解决现有裂缝识别方案中微细裂缝在尺度变换过程中容易消失、复杂方向裂缝响应不足、跨尺度裂缝段容易断裂、预测结果拓扑连续性不足以及全分辨率预测计算量较大的问题。

2、本发明目的实现由以下技术方案完成:

3、一种基于区域占用与骨架拓扑联合约束的表面裂缝识别方法,所述识别方法包括以下步骤:

4、(s100)获取待识别结构物表面彩色图像;对所述图像执行尺寸裁剪、尺度归一化和像素归一化处理后,得到预处理图像,并将所述预处理图像输入裂缝识别网络;所述裂缝识别网络包括特征编码器、金字塔尺度适配器、上下文自适应融合单元、多阶段拓扑特征细化模块、裂缝区域预测分支、裂缝骨架预测分支和辅助裂缝区域预测分支;所述裂缝识别网络通过训练预先获得;

5、(s200)所述特征编码器对步骤s100中的所述预处理图像进行分层特征提取,获得多个中间层特征;所述金字塔尺度适配器通过通道投影和空间尺度变换,由多个所述中间层特征分别构建第一尺度特征图、第二尺度特征图和第三尺度特征图,其中,所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图相对于步骤s100中的所述预处理图像的空间分辨率的步长分别为4、8和16;所述金字塔尺度适配器分别对所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图执行1×1卷积通道映射,并将通道映射后的所述第二尺度特征图和所述第三尺度特征图上采样至所述第一尺度特征图的空间尺寸,得到对齐后的第一尺度特征图、对齐后的第二尺度特征图和对齐后的第三尺度特征图;

6、(s300)所述上下文自适应融合单元对对齐后的第一尺度特征图执行局部残差细节增强,得到细节增强特征;将所述细节增强特征与对齐后的第二尺度特征图、对齐后的第三尺度特征图沿通道维拼接,形成聚合特征;根据所述聚合特征分别生成上下文增强特征和融合权重;根据所述融合权重对所述细节增强特征和所述上下文增强特征进行逐位置、逐通道互补加权,得到融合特征;

7、(s400)所述多阶段拓扑特征细化模块将所述融合特征作为其输入,所述多阶段拓扑特征细化模块至少包括两级串联的拓扑细化单元,其中第一级拓扑细化单元依次包括第一多尺度上下文增强单元、第一方向特征自适应融合单元和第一残差特征校正单元,第二级拓扑细化单元依次包括第二多尺度上下文增强单元、第二方向特征自适应融合单元、第二残差特征校正单元和第三残差特征校正单元;所述多阶段拓扑特征细化模块对所述融合特征执行拓扑细化后,输出最终细化特征;其中,第一多尺度上下文增强单元的输出记为第一级多尺度上下文增强特征;

8、(s500)所述裂缝区域预测分支将所述最终细化特征作为其输入,输出裂缝区域占用逻辑值图;所述裂缝骨架预测分支将所述最终细化特征作为其输入,输出裂缝骨架逻辑值图;所述辅助裂缝区域预测分支将第一级多尺度上下文增强特征作为其输入,输出辅助裂缝区域占用逻辑值图;

9、(s600)分别对所述裂缝区域占用逻辑值图和所述裂缝骨架逻辑值图执行激活和阈值化,获得二值裂缝区域占用图和二值裂缝骨架图,并映射至输入图像坐标系。

10、步骤s200中,所述金字塔尺度适配器执行1×1卷积通道映射和上采样的方式为:

11、;

12、;

13、;

14、其中,表示1×1卷积映射,和分别表示倍率为2和4的空间上采样操作。

15、步骤s300中,所述细节增强特征表示为:

16、;

17、其中,和表示两个步长为1的3×3卷积,

n表示归一化操作,表示非线性激活函数;

18、所述聚合特征

z的构建方式、所述上下文增强特征和所述融合权重

g的生成方式为:

19、;

20、;

21、;

22、其中,

concat(·) 表示沿通道维拼接操作;表示用于生成上下文特征的3×3卷积,表示用于生成上下文特征的1×1卷积,和构成上下文特征生成分支,

n表示归一化操作,表示非线性激活函数;

sigmoid(·) 表示sigmoid激活函数,表示用于生成融合权重的1×1卷积,构成融合权重生成分支;融合权重与细节增强特征、上下文增强特征具有相同的空间尺寸和通道数,且的取值范围为[0,1];

23、逐位置、逐通道互补加权的方式为:

24、;

25、其中,表示逐元素乘法。

26、步骤s400中,所述多尺度上下文增强单元对于任一级输入特征

x,设置多个具有不同感受野的并行特征提取分支,各分支输出为:

27、;

28、其中,表示分支输出特征,表示膨胀率为的3×3空洞卷积,

n表示归一化操作,表示非线性激活函数,为膨胀率集合,;

29、将各分支输出沿通道维拼接,并通过1×1卷积完成通道融合:

30、;

31、其中,表示通道融合后的聚合特征,表示用于通道融合的1×1卷积,

concat(·) 表示沿通道维拼接操作,、、、分别为膨胀率

r=1、2、4、8时的分支输出特征;

32、对聚合特征执行全局平均池化,并通过两层通道映射生成通道权重:

33、;

34、其中,

sigmoid(·) 表示sigmoid激活函数,表示非线性激活函数,

gap(·) 表示全局平均池化操作,和分别表示两层通道映射的权重矩阵,用于将通道数由压缩至,用于将通道数恢复至,为通道压缩比;

35、利用通道权重对聚合特征进行逐通道重标定,并与输入特征

x残差相加,得到多尺度上下文增强单元的输出特征 :

36、;

37、其中,表示逐元素乘法;

38、方向特征自适应融合单元中,对于多尺度上下文增强单元输出的特征

x,分别沿横向和纵向进行方向特征提取,得到横向特征

h和纵向特征

v:

39、;

40、;

41、其中,表示逐通道卷积,为条带卷积长度,表示卷积核尺寸为1×

k的逐通道条带卷积,表示卷积核尺寸为的逐通道条带卷积;

42、将横向特征和纵向特征沿通道维拼接后,生成方向融合权重

a:

43、;

44、其中,表示用于生成方向融合权重的1×1卷积,

concat(·) 表示沿通道维拼接操作,

sigmoid(·) 表示sigmoid激活函数;

45、根据方向融合权重

a对横向特征和纵向特征进行互补加权:

46、;

47、其中,表示逐元素乘法;

48、对互补加权结果执行3×3卷积细化,并与多尺度上下文增强单元输出的特征

x残差相加,得到方向特征自适应融合单元的输出特征:

49、;

50、其中,表示用于细化的3×3卷积,

n表示归一化操作,表示非线性激活函数;

51、残差特征校正单元的输出特征表示为:

52、;

53、其中,和表示两个3×3卷积,

n表示归一化操作,表示非线性激活函数;

54、两级拓扑细化结构的特征传递关系为:

55、;

56、;

57、;

58、;

59、其中,为第一级方向特征自适应融合和残差特征校正后的输出特征,为第二级多尺度上下文增强的输出特征。

60、步骤s500中,所述裂缝区域预测分支、所述裂缝骨架预测分支和所述辅助裂缝区域预测分支分别先通过3×3卷积降低通道数,再通过1×1卷积输出单通道逻辑值图,所述裂缝区域预测分支的输出特征、所述裂缝骨架预测分支的输出特征和所述辅助裂缝区域预测分支的输出特征分别表示为:

61、;

62、;

63、;

64、其中,、、表示3×3卷积,、、表示1×1卷积,

n表示归一化操作,表示非线性激活函数。

65、步骤s600中,激活为:

66、;

67、;

68、其中,表示裂缝区域占用概率图,表示裂缝骨架概率图,(·)表示sigmoid激活函数;

69、阈值化为:

70、;

71、;

72、其中,为区域阈值,为骨架阈值,1[·]为指示函数,当括号内条件成立时取值为1,否则取值为0。

73、所述裂缝识别网络的训练方法包括以下步骤:

74、(a)构建裂缝区域占用监督目标:

75、设原始像素级类别掩码为

m,裂缝前景类别集合为,忽略标记为

q;根据原始像素级类别掩码

m和裂缝前景类别集合构建裂缝前景掩码

b和有效区域掩码;对裂缝前景掩码

b执行形态学扩展和块级尺度映射,得到裂缝区域占用目标;同步将有效区域掩码映射至裂缝区域预测分辨率,得到;

76、(b)构建裂缝骨架监督目标:

77、对裂缝区域占用目标执行可微骨架化,得到裂缝骨架监督目标;

78、(c)计算联合损失:

79、所述裂缝区域预测分支输出的裂缝区域占用概率图为,所述辅助裂缝区域预测分支输出的辅助裂缝区域占用概率图为,所述裂缝骨架预测分支输出的裂缝骨架概率图为;根据裂缝区域占用概率图和裂缝区域占用目标计算裂缝区域主预测损失;根据辅助裂缝区域占用概率图和裂缝区域占用目标计算辅助裂缝区域预测损失;根据裂缝骨架概率图和裂缝骨架监督目标计算裂缝骨架损失;分别对裂缝区域占用概率图和裂缝区域占用目标进行可微骨架化,根据可微骨架化结果计算中心线dice损失;

80、(d)联合优化:

81、网络总损失函数由裂缝区域主预测损失、辅助裂缝区域预测损失、裂缝骨架损失和中心线dice损失加权求和构成;根据总损失函数联合优化裂缝识别网络的参数。

82、步骤a中,裂缝前景掩码

b和有效区域掩码定义为:

83、;

84、;

85、其中,

x表示像素位置;

86、形态学扩展和块级尺度映射的方式为:

87、;

88、;

89、;

90、其中,表示形态学扩展后的裂缝前景掩码,表示窗口尺寸为、步长为1的最大池化,表示窗口尺寸和移动步长均为

s的最大池化,1[·] 为指示函数。

91、步骤b中,可微骨架化的具体方式为:

92、定义软腐蚀、软膨胀和软开运算:

93、;

94、;

95、;

96、其中,

p表示输入的概率图或二值图,、、分别表示窗口尺寸为3×1、1×3、3×3的最大池化;

97、初始化软骨架响应和迭代输入:

98、;

99、;

100、其中,

relu(·) 表示线性整流激活函数;

101、第

t次迭代的软骨架更新为:

102、;

103、;

104、;

105、其中,表示第

t次迭代的输入图,表示第

t-1次迭代的输入图,表示第

t次迭代的软骨架增量响应,表示第

t次迭代后的累计软骨架响应,表示第

t-1次迭代后的累计软骨架响应,表示逐元素乘法;

106、迭代

t次后,将作为裂缝骨架监督目标。

107、步骤c中,裂缝区域主预测损失、辅助裂缝区域预测损失、裂缝骨架损失和中心线dice损失的具体计算方式为:

108、设

p表示经sigmoid激活后的裂缝区域占用概率,

y表示裂缝区域占用目标,

v表示对应有效区域掩码,,其中

i为像素索引,为第

i个像素的有效区域掩码值,为有效像素总数;

109、掩码焦点二元交叉熵损失定义为:

110、;

111、其中,表示第

i个像素的预测概率值,表示第

i个像素的标签值,

α为正样本权重,

γ为聚焦参数,为数值稳定项;

112、占用dice损失定义为:

113、;

114、裂缝区域主预测损失由和构成,其中为基于裂缝区域占用概率图和裂缝区域占用目标计算的焦点损失,为基于裂缝区域占用概率图和裂缝区域占用目标计算的dice损失;

115、辅助裂缝区域预测损失采用相同的焦点损失和dice损失:

116、;

117、裂缝骨架损失由骨架二元交叉熵损失和骨架dice损失组成:

118、;

119、分别对裂缝区域占用概率图和裂缝区域占用目标进行可微骨架化,得到和,其中,为对裂缝区域占用概率图执行可微骨架化后得到的软骨架响应,为对裂缝区域占用目标执行可微骨架化后得到的软骨架响应;

120、定义拓扑精确率和拓扑召回率:

121、;

122、;

123、其中,、、、分别表示对应图中第

i个像素的值;

124、中心线dice损失定义为:

125、;

126、网络总损失函数为:

127、;

128、其中,、、、、分别表示各损失项的权重。

129、本发明的优点是:

130、(1)通过将像素级裂缝标注先进行前景扩展,再映射为低分辨率块级区域占用目标,使微细裂缝只要落入对应图像块即可形成正监督,降低下采样和尺度变换造成的裂缝漏检,同时减少全分辨率预测的计算和显存开销;

131、(2)通过局部残差细节增强保留高分辨率浅层特征中的裂缝边缘和细线响应,并通过逐位置、逐通道的融合权重在细节特征和多尺度上下文特征之间进行自适应选择,降低背景纹理、阴影、接缝等干扰造成的误识别;

132、(3)通过膨胀率分别为1、2、4和8的并行空洞卷积分支获取不同感受野下的裂缝上下文,并通过通道权重重标定突出与裂缝相关的尺度响应,提高不同宽度和不同延伸尺度裂缝的识别能力;

133、(4)通过横向和纵向逐通道条带卷积提取方向响应,并采用互补方向权重对两个方向特征进行自适应融合,使不同位置和通道能够根据裂缝局部走向选择方向信息,提高弯曲、斜向和分叉裂缝的连续响应;

134、(5)通过两级多尺度上下文增强、两级方向特征融合和多次残差特征校正逐步细化裂缝拓扑,使跨尺度裂缝段之间的信息能够连续传递,减少裂缝预测结果中的断裂和局部缺失;

135、(6)通过裂缝区域占用预测分支和裂缝骨架预测分支的联合训练,以及中心线损失对拓扑连通性的直接约束,在保证区域检出能力的同时,提高裂缝中心线的连通性、分支保持能力和拓扑完整性。