一种基于弱监督提示和双模型协同的裂缝分割方法及系统与流程

摘要: 本发明涉及计算机视觉,具体而言,涉及一种基于弱监督提示和双模型协同的裂缝分割方法及系统。背景技术:1、裂缝检测是基础设施安全运维中的核心任务,广泛应用于水利大坝...
一种基于弱监督提示和双模型协同的裂缝分割方法及系统与流程

本发明涉及计算机视觉,具体而言,涉及一种基于弱监督提示和双模型协同的裂缝分割方法及系统。

背景技术:

1、裂缝检测是基础设施安全运维中的核心任务,广泛应用于水利大坝、道路桥梁、隧道涵洞等工程领域。由于裂缝形态细长、延伸范围广且背景纹理复杂,对其实现高精度自动化分割是计算机视觉领域的一项重要挑战。目前,以目标检测模型和通用分割模型为代表的深度学习技术,已初步应用于裂缝的自动化识别与分割任务中。

2、在相关技术中,常规检测模型虽具备一定的实时检测能力,但对于裂缝这类细长且不规则的线状目标,分割结果的精细化程度不足,难以满足工程应用中几何参数精确测量的需求。通用分割模型虽然分割能力较强,但其性能高度依赖输入提示的质量,而针对裂缝场景的提示信息往往依赖人工提供或简单规则生成,难以兼顾自动化程度与提示质量,限制了其在批量化和无人化场景中的部署。或者将两类模型进行串联组合,由检测模型生成提示信息供分割模型使用,但此类方案对检测模型输出结果的处理方式较为直接,未充分考虑裂缝目标的形态特殊性,最终分割结果的精度和完整性仍有不足。

技术实现思路

1、本发明解决的问题是如何提升裂缝分割的自动化程度和精度。

2、为解决上述问题,本发明提供一种基于弱监督提示和双模型协同的裂缝分割方法及系统。

3、第一方面,本发明的一种基于弱监督提示和双模型协同的裂缝分割方法,包括:

4、获取第一裂缝图像集,所述第一裂缝图像集中的裂缝图像标注有通过轮廓勾勒方式获得的弱监督标注样本;

5、根据所述第一裂缝图像集和所述弱监督标注样本训练第一检测模型;

6、获取第二裂缝图像集,根据训练后的所述第一检测模型对所述第二裂缝图像集中的裂缝图像进行检测,得到检测结果,将所述检测结果以标记形式叠加于对应的裂缝图像上,生成提示图像集;

7、根据所述提示图像集进行hsv颜色空间转换,并通过多阈值分割提取所述提示图像集中的标记区域,得到稠密掩码提示集;

8、根据所述稠密掩码提示集的最小外接矩形生成初始边界框,并根据裂缝尺度对所述初始边界框进行自适应扩展,得到稀疏边界框提示集;

9、根据所述第二裂缝图像集、所述稠密掩码提示集和所述稀疏边界框提示集构造训练样本,根据所述训练样本和所述弱监督标注样本转化的伪标签对第二分割模型进行更新;

10、其中,在所述第二分割模型的更新过程中,根据当前训练进度确定提示丢弃率,按照所述提示丢弃率对所述训练样本中的提示信息进行丢弃处理,将丢弃处理后的训练样本输入所述第二分割模型得到预测结果;根据所述预测结果与所述伪标签计算拓扑感知损失值,根据所述拓扑感知损失值更新所述第二分割模型的当前参数;根据更新后的所述当前参数和历史参数更新所述第二分割模型;

11、根据更新完成的所述第二分割模型对目标裂缝图像进行分割,得到裂缝分割结果。

12、可选地,所述获取第一裂缝图像集,所述第一裂缝图像集中的裂缝图像标注有通过轮廓勾勒方式获得的弱监督标注样本,包括:

13、获取裂缝图像;

14、根据所述裂缝图像对裂缝区域进行轮廓勾勒,生成边界框,所述边界框覆盖裂缝区域及裂缝周边的背景区域,且所述边界框的边缘与裂缝轮廓之间预留有边距;

15、根据所述裂缝图像和对应的所述边界框,生成弱监督标注样本;

16、根据所述裂缝图像和所述弱监督标注样本,构建所述第一裂缝图像集。

17、可选地,所述根据所述第一裂缝图像集和所述弱监督标注样本训练第一检测模型,包括:

18、获取预训练的第一检测模型权重,根据所述预训练的第一检测模型权重初始化所述第一检测模型的参数,得到初始化后的所述第一检测模型;

19、将所述第一裂缝图像集中的裂缝图像输入初始化后的所述第一检测模型,得到预测检测结果;

20、根据所述预测检测结果与对应的所述弱监督标注样本确定检测损失值;

21、根据所述检测损失值更新初始化后的所述第一检测模型的参数,得到更新后的所述第一检测模型;

22、将更新后的所述第一检测模型作为下一轮迭代的初始化模型,重复执行将所述第一裂缝图像集中的裂缝图像输入初始化后的所述第一检测模型,得到预测检测结果至根据所述检测损失值更新初始化后的所述第一检测模型的参数,得到更新后的所述第一检测模型的步骤,直至达到预设训练轮数,得到训练完成的所述第一检测模型。

23、可选地,所述获取第二裂缝图像集,根据训练后的所述第一检测模型对所述第二裂缝图像集中的裂缝图像进行检测,得到检测结果,包括:

24、获取第二裂缝图像集,所述第二裂缝图像集包括未标注的裂缝图像;

25、将所述未标注的裂缝图像输入训练完成的所述第一检测模型,得到所述检测结果,所述检测结果包括分割掩膜区域。

26、可选地,所述将所述检测结果以标记形式叠加于对应的裂缝图像上,生成提示图像集,包括:

27、根据所述分割掩膜区域生成标记区域;

28、将所述标记区域叠加于所述第二裂缝图像集中对应的裂缝图像上,生成所述裂缝图像对应的提示图像;

29、根据各裂缝图像对应的所述提示图像构建所述提示图像集。

30、可选地,所述根据所述提示图像集进行hsv颜色空间转换,并通过多阈值分割提取所述提示图像集中的标记区域,得到稠密掩码提示集,包括:

31、将所述提示图像集中的各提示图像从rgb色彩空间转换至hsv色彩空间,得到hsv提示图像;

32、根据红色在hsv空间中的双峰分布特性,设定第一阈值范围和第二阈值范围,其中,所述第一阈值范围为色调分量在0至10之间、饱和度分量在30至255之间、明度分量在30至255之间,所述第二阈值范围为色调分量在160至180之间、饱和度分量在30至255之间、明度分量在30至255之间;

33、根据所述第一阈值范围对所述hsv提示图像进行分割,得到第一红色区域二值掩码;

34、根据所述第二阈值范围对所述hsv提示图像进行分割,得到第二红色区域二值掩码;

35、合并所述第一红色区域二值掩码和所述第二红色区域二值掩码,得到完整红色区域二值掩码;

36、对所述完整红色区域二值掩码进行形态学闭运算,得到连通后的红色区域二值掩码;

37、提取所述连通后的红色区域二值掩码中面积最大的连通区域,作为稠密掩码提示;

38、根据各提示图像对应的所述稠密掩码提示构建所述稠密掩码提示集。

39、可选地,所述根据所述稠密掩码提示集的最小外接矩形生成初始边界框,并根据裂缝尺度对所述初始边界框进行自适应扩展,得到稀疏边界框提示集,包括:

40、确定所述稠密掩码提示集中各稠密掩码提示的最小外接矩形,作为初始边界框;并确定所述初始边界框的裂缝尺寸,所述裂缝尺寸为所述初始边界框在垂直方向和水平方向中像素尺寸范围的最大值;

41、根据所述裂缝尺寸确定扩展比例,并根据所述扩展比例确定扩展边距;

42、根据所述扩展边距对所述初始边界框的四条边分别进行扩展,得到扩展边界框;

43、将所述扩展边界框中超出对应裂缝图像边界的部分截断至所述裂缝图像的边缘,得到稀疏边界框提示;

44、根据各稠密掩码提示对应的所述稀疏边界框提示构建所述稀疏边界框提示集。

45、可选地,所述根据所述第二裂缝图像集、所述稠密掩码提示集和所述稀疏边界框提示集构造训练样本,根据所述训练样本和所述弱监督标注样本转化的伪标签对第二分割模型进行更新,包括:

46、将所述第二裂缝图像集中的裂缝图像、对应的所述稠密掩码提示和对应的所述稀疏边界框提示组合为一个训练样本,遍历所述第二裂缝图像集中的全部裂缝图像,得到多个所述训练样本;

47、将所述弱监督标注样本转化为伪标签;

48、将多个所述训练样本依次输入第二分割模型,得到预测结果;

49、根据所述预测结果与所述伪标签确定拓扑感知损失值;

50、根据所述拓扑感知损失值更新所述第二分割模型的参数;

51、重复执行将多个所述训练样本依次输入第二分割模型,得到预测结果至根据所述拓扑感知损失值更新所述第二分割模型的参数的步骤,直至达到预设微调轮数,得到更新完成的所述第二分割模型。

52、可选地,所述根据更新完成的所述第二分割模型对目标裂缝图像进行分割,得到裂缝分割结果,包括:

53、将所述目标裂缝图像输入更新完成的所述第二分割模型,所述第二分割模型根据所述目标裂缝图像的图像特征输出对应的分割掩膜;

54、根据所述分割掩膜得到所述目标裂缝图像的裂缝分割结果。

55、第二方面,本发明的一种基于弱监督提示和双模型协同的裂缝分割系统,包括:

56、第一图像处理单元,用于获取第一裂缝图像集,所述第一裂缝图像集中的裂缝图像标注有通过轮廓勾勒方式获得的弱监督标注样本;

57、第一模型训练单元,用于根据所述第一裂缝图像集和所述弱监督标注样本训练第一检测模型;

58、第二图像处理单元,用于获取第二裂缝图像集,根据训练后的所述第一检测模型对所述第二裂缝图像集中的裂缝图像进行检测,得到检测结果,将所述检测结果以标记形式叠加于对应的裂缝图像上,生成提示图像集;

59、稠密提示生成单元,用于根据所述提示图像集进行hsv颜色空间转换,并通过多阈值分割提取所述提示图像集中的标记区域,得到稠密掩码提示集;

60、稀疏提示生成单元,用于根据所述稠密掩码提示集的最小外接矩形生成初始边界框,并根据裂缝尺度对所述初始边界框进行自适应扩展,得到稀疏边界框提示集;

61、模型更新单元,用于根据所述第二裂缝图像集、所述稠密掩码提示集和所述稀疏边界框提示集构造训练样本,根据所述训练样本和所述弱监督标注样本转化的伪标签对第二分割模型进行更新;

62、其中,在所述第二分割模型的更新过程中,根据当前训练进度确定提示丢弃率,按照所述提示丢弃率对所述训练样本中的提示信息进行丢弃处理,将丢弃处理后的训练样本输入所述第二分割模型得到预测结果;根据所述预测结果与所述伪标签计算拓扑感知损失值,根据所述拓扑感知损失值更新所述第二分割模型的当前参数;根据更新后的所述当前参数和历史参数更新所述第二分割模型;

63、分割结果输出单元,用于根据更新完成的所述第二分割模型对目标裂缝图像进行分割,得到裂缝分割结果。

64、本发明的基于弱监督提示和双模型协同的裂缝分割方法及系统,首先采用轮廓勾勒的弱监督标注方式训练第一检测模型,使标注人员无需逐像素勾勒裂缝边界,仅需绘制少量关键轮廓点即可提供有效监督,从而在保证模型定位能力的前提下,将数据标注的成本降低,破解了大规模工程数据标注的瓶颈。在此基础上,本发明利用训练后的检测模型自动生成提示图像集,并通过hsv颜色空间转换与多阈值分割精准提取标记区域,形成稠密掩码提示集,该过程完全无需人工干预,同时利用颜色通道的强对比度保留了裂缝边缘的细微起伏和分支细节,显著提升了分割结果在局部区域的边界附着力;进一步地,本发明对稠密掩码计算最小外接矩形,并根据裂缝细长延伸的形态特性沿主轴方向自适应扩展,得到稀疏边界框提示集,有效避免了常规边界框因过紧而截断裂缝延伸段或因过松而混入背景干扰,确保分割模型能够完整捕获裂缝的全长及分叉结构,从而大幅减少了长距离裂缝分割中常见的断裂和截断现象。在第二分割模型的训练阶段,本发明根据当前训练进度动态确定提示丢弃率,初期以较高丢弃率迫使模型更多依赖图像自身特征学习泛化性表征,后期逐步降低丢弃率以增强提示利用,这种策略模拟了实际推理中提示可能缺失或带噪声的情形,使得训练完成后的模型在面对不完美提示时仍能保持稳定的分割性能,极大提升了批量化和无人化部署的鲁棒性;同时,本发明采用拓扑感知损失函数,在常规像素损失之外额外比较预测结果与伪标签的连通分量数量、面积匹配度以及骨架端点分支一致性,直接约束裂缝的连通性和走向,有效抑制了传统分割中常见的孤立噪点和随机断裂,保证了输出结果的几何连续性;此外,通过历史参数加权平均的方式平滑模型更新过程,缓解了弱监督伪标签噪声对训练的扰动,使模型收敛更平稳,预测一致性更高。

65、综上,本发明通过弱监督标注下的双模态提示自动生成策略,结合动态提示丢弃与拓扑感知约束的训练机制,实现了在降低人工标注成本的同时,有效抑制了裂缝分割中常见的边缘毛刺、局部断裂和孤立噪点问题,使分割结果在边界贴合度与走向连续性上均满足工程几何参数的测量要求。