合成裂缝预训练与困难负样本约束的ECC裂缝分割方法

摘要: 本技术涉及数字图像处理与计算机视觉,特别是涉及一种合成裂缝预训练与困难负样本约束的ecc裂缝分割方法。背景技术:1、工程水泥基复合材料(engineeredce...
合成裂缝预训练与困难负样本约束的ECC裂缝分割方法

本技术涉及数字图像处理与计算机视觉,特别是涉及一种合成裂缝预训练与困难负样本约束的ecc裂缝分割方法。

背景技术:

1、工程水泥基复合材料(engineered cementitious composite,ecc)具有应变硬化和多缝开裂特征,在拉伸或受弯过程中通常形成数量较多、宽度较小且分布较为分散的表面裂缝。对裂缝的位置、长度、面积和宽度进行准确提取,是评价ecc损伤演化、自愈效果以及损伤状态的重要基础。

2、现有ecc裂缝检测通常采用人工目测、显微观察、阈值分割或基于深度学习的语义分割方法。人工标注能够获得较准确的裂缝轮廓,但对细裂缝逐像素标注耗时较长,且不同标注人员之间容易产生边界差异。传统阈值或边缘方法容易受到光照变化、表面灰度不均、纤维纹理、孔洞、污渍及阴影等因素影响。直接采用深度学习模型进行监督训练时,又需要数量较多的真实裂缝图像和像素级掩膜;当真实标注样本有限时,模型容易出现过拟合、细裂缝漏检或非裂缝纹理误检。

3、利用正常表面图像生成合成裂缝及其自动掩膜,可在减少人工标注的条件下扩充训练数据,但合成裂缝与真实ecc裂缝在形态、灰度、宽度及边缘过渡方面仍存在差异,单独依赖合成数据训练的模型对真实图像的适应能力有限。此外,ecc表面存在大量与裂缝形态相近的纤维、划痕和暗色纹理,若训练数据中缺少相应的困难负样本,模型容易产生误检;若困难负样本比例过高,模型又可能趋于保守,造成微细裂缝漏检。

4、因此,如何在真实像素级裂缝标注数量有限的条件下,克服合成数据与真实数据之间的分布差异,并同时实现对低对比度微细裂缝的准确检出和复杂非裂缝纹理的有效抑制,以获得完整且连续的ecc表面裂缝掩膜,是本领域亟待解决的技术问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种合成裂缝预训练与困难负样本约束的ecc裂缝分割方法。

2、第一方面,本技术提供了一种合成裂缝预训练与困难负样本约束的ecc裂缝分割方法。所述方法包括:

3、获取ecc表面图像并划分为图像块,所述图像块包括正常图像块和带有像素级裂缝掩膜的真实裂缝图像块;

4、在所述正常图像块上叠加合成裂缝并同步生成对应的二值掩膜,得到合成裂缝图像块;

5、构建包括重建子网络和判别分割子网络的双分支网络,将所述合成裂缝图像块输入所述重建子网络得到重建正常图像块,将所述合成裂缝图像块与所述重建正常图像块拼接后输入所述判别分割子网络得到裂缝预测图;

6、选取包含非裂缝干扰纹理的图像块作为困难负样本,所述困难负样本的裂缝掩膜为全零掩膜;

7、利用所述合成裂缝图像块及对应的二值掩膜对所述双分支网络进行预训练,利用所述困难负样本对预训练后的双分支网络进行约束训练,利用所述真实裂缝图像块及对应的像素级裂缝掩膜对约束训练后的双分支网络进行监督微调;

8、将待检测ecc表面图像划分为待检测图像块,依次经所述重建子网络和所述判别分割子网络得到各待检测图像块的裂缝概率图,按照各待检测图像块在原始图像中的空间位置合并所述裂缝概率图,得到完整裂缝掩膜。

9、可选的,在本技术的一个实施例中,所述在所述正常图像块上叠加合成裂缝并同步生成对应的二值掩膜包括:

10、在所述正常图像块中生成裂缝中心线,所述裂缝中心线由起始点和多个路径点依次连接形成,相邻路径点之间的延伸方向加入随机角度扰动;

11、沿所述裂缝中心线的法线方向根据预设宽度进行像素填充,得到裂缝区域;

12、对所述裂缝区域进行高斯模糊后与所述正常图像块进行加权融合,得到所述合成裂缝图像块;

13、将所述裂缝区域中像素值大于零的区域设置为裂缝像素,其余区域设置为非裂缝像素,生成所述二值掩膜。

14、可选的,在本技术的一个实施例中,所述裂缝中心线包括主裂缝中心线和分支裂缝中心线,所述分支裂缝中心线从所述主裂缝中心线上的随机路径点出发,延伸方向相对于所述主裂缝中心线的延伸方向产生侧向偏转。

15、可选的,在本技术的一个实施例中,所述在所述正常图像块上叠加合成裂缝并同步生成对应的二值掩膜还包括:

16、在所述裂缝区域上设置遮挡区域并将所述遮挡区域内的裂缝像素去除,形成断续裂缝。

17、可选的,在本技术的一个实施例中,所述重建子网络采用编码器-解码器结构,所述重建子网络的编码器与解码器之间不设置跳跃连接;所述判别分割子网络采用编码器-解码器结构,所述判别分割子网络的编码器与解码器对应尺度之间设置跳跃连接。

18、可选的,在本技术的一个实施例中,还包括构建总损失函数,所述总损失函数包括重建损失和分割损失,所述重建损失用于约束所述重建正常图像块与所述正常图像块之间的差异,所述分割损失用于约束所述裂缝预测图与所述二值掩膜或所述像素级裂缝掩膜之间的差异。

19、可选的,在本技术的一个实施例中,在利用所述真实裂缝图像块及对应的像素级裂缝掩膜进行监督微调时,冻结所述重建子网络的参数,仅更新所述判别分割子网络的参数。

20、可选的,在本技术的一个实施例中,所述分割损失在预训练阶段采用focal loss,在监督微调阶段采用focal loss与dice loss的组合。

21、可选的,在本技术的一个实施例中,将预训练后的双分支网络的模型参数作为所述约束训练的初始化参数,将所述约束训练后的双分支网络的模型参数作为所述监督微调的初始化参数。

22、可选的,在本技术的一个实施例中,所述按照各待检测图像块在原始图像中的空间位置合并所述裂缝概率图包括:

23、对于相邻待检测图像块之间的重叠区域,取各待检测图像块在所述重叠区域的裂缝概率值的平均值作为合并后的裂缝概率值。

24、上述合成裂缝预训练与困难负样本约束的ecc裂缝分割方法,与现有技术相比,具有以下有益效果:

25、(1)利用正常ecc表面图像构建合成裂缝及自动掩膜,可在真实像素级标注数量有限的情况下形成较大规模的预训练数据,降低模型训练对人工逐像素标注的依赖。

26、(2)通过重建子网络生成正常表面参考图像,并由判别分割子网络联合分析原始裂缝图像和重建图像,有利于突出裂缝区域与正常背景之间的差异,提高低对比度裂缝的可分辨性。

27、(3)将纤维、孔洞、污渍和阴影等复杂无裂缝区域作为困难负样本加入训练,可抑制将非裂缝纹理误判为裂缝的情况。

28、(4)在完成合成裂缝预训练和困难负样本约束训练后,采用真实裂缝掩膜进行监督微调,可减小合成裂缝、困难样本与真实ecc裂缝在形态和图像分布方面的差异,提高模型对真实场景的适应能力。

29、(5)通过设置不同宽度的合成裂缝,能够覆盖细裂缝、中等宽度裂缝和较宽裂缝等多尺度裂缝,为模型识别ecc多尺度裂缝提供训练基础。

30、(6)采用图像块预测及空间位置合并方式,可处理尺寸大于网络输入尺寸的ecc表面图像,并输出完整裂缝掩膜,便于后续计算裂缝面积、长度和宽度等定量指标。