建筑幕墙缺陷智能识别方法及系统与流程

摘要: 本发明涉及计算机视觉与图像识别,尤其涉及一种建筑幕墙缺陷智能识别方法及系统。背景技术:1、建筑幕墙作为建筑外围护结构,通常包括玻璃、金属板、石材板以及密封胶等外...
建筑幕墙缺陷智能识别方法及系统与流程

本发明涉及计算机视觉与图像识别,尤其涉及一种建筑幕墙缺陷智能识别方法及系统。

背景技术:

1、建筑幕墙作为建筑外围护结构,通常包括玻璃、金属板、石材板以及密封胶等外露构件。在长期服役过程中,受温度变化、风荷载、材料老化以及外界环境作用影响,幕墙表面或连接区域可能出现玻璃裂纹、玻璃破损、密封胶开裂、密封胶老化、板面变形、涂层剥离、连接件外露等缺陷。随着计算机视觉和深度学习技术的发展,基于建筑幕墙视觉图像的缺陷图像识别方法逐渐被用于幕墙缺陷的自动化分类处理。

2、现有的幕墙或建筑外立面缺陷图像识别方法通常包括图像采集、图像预处理、特征提取、缺陷候选区域确定以及缺陷分类等步骤。例如,授权公告号为:cn119887763b,其公开了一种建筑外立面缺陷智能检测方法,其通过多光照条件下的图像采集与预处理、多尺度特征提取、复杂背景下缺陷候选区域分割以及缺陷分类等方式,对建筑外立面缺陷进行检测和识别。该类方法能够利用视觉图像中的纹理、边缘和语义特征,对建筑外表面缺陷进行自动分析。

3、但是,在建筑幕墙视觉图像中,玻璃幕墙及金属板幕墙容易形成局部强反光区域,反光区域的边界在图像中往往表现为高亮突变、边缘断续或纹理异常,其视觉表现与玻璃裂纹、涂层剥离、密封胶开裂等缺陷边缘存在相似性。现有图像识别模型在进行特征提取和缺陷分类时,通常将反光区域和真实缺陷边缘共同输入后续分类网络,容易使反光伪边缘参与分类特征表达,进而影响缺陷类别判断。

4、同时,建筑幕墙缺陷中的玻璃裂纹、密封胶开裂等细纹类缺陷通常具有线状、窄宽度和局部连续的图像特征。现有基于多尺度卷积或池化的图像识别方法在提取深层语义特征时,可能弱化细纹边缘在浅层图像中的方向性和连续性,使细纹类缺陷在分类特征向量中的表征不足。对于玻璃裂纹、密封胶开裂、涂层剥离等边缘形态相近的缺陷类别,仅依靠单一概率分类结果进行类别输出时,容易出现相近缺陷类别之间的混淆。

5、因此,现有建筑幕墙缺陷图像识别方法在处理存在反光伪边缘和细纹类缺陷边缘相互干扰的视觉图像时,仍存在分类特征容易受反光伪边缘影响、细纹类缺陷边缘表征不足以及相近缺陷类别区分稳定性不足的问题。由此,需要解决的主要技术问题是:如何在建筑幕墙视觉图像中存在反光伪边缘和细纹类缺陷边缘相互干扰的情况下,提高多类别缺陷图像分类过程中有效分类特征的表达稳定性和相近缺陷类别的区分能力。

技术实现思路

1、为了克服上述技术缺陷,本发明的目的在于提供一种建筑幕墙缺陷智能识别方法及系统。本发明通过采用反光边缘识别与特征替换、缺陷候选边缘驱动的细纹方向门控融合、以及初始概率序列、类别原型距离序列和边缘形态一致性序列联合复核分类的图像识别方案,解决建筑幕墙视觉图像中反光伪边缘和细纹类缺陷边缘相互干扰导致多类别缺陷分类稳定性不足的问题。

2、本发明公开了一种建筑幕墙缺陷智能识别方法,包括以下步骤:

3、获取待检测的建筑幕墙视觉图像,并基于建筑幕墙视觉图像构建模型输入数据;

4、调用预先训练的图像识别模型对模型输入数据进行处理,图像识别模型包括特征提取主干网络、边缘分离子网络、特征替换子网络、细纹保留子网络和复核分类器;

5、通过特征提取主干网络对模型输入数据进行特征提取,得到初始特征图;

6、通过边缘分离子网络从模型输入数据中提取亮度显著图、饱和度显著图和方向边缘图,将同时满足预设亮度条件、预设饱和度条件和预设方向断续条件的像素位置写入反光边缘图,并将满足预设边缘连续条件且不属于反光边缘图的像素位置写入缺陷候选边缘图;

7、通过特征替换子网络将反光边缘图映射至初始特征图,在初始特征图中选取非反光特征位置,并采用非反光特征位置的同通道中值特征替换反光特征位置的原始特征,得到反光抑制特征图;

8、通过细纹保留子网络依据缺陷候选边缘图生成细纹线段组,并按照细纹线段组的线段方向对反光抑制特征图进行边缘门控融合,得到分类特征向量;

9、通过复核分类器根据分类特征向量和缺陷候选边缘图生成初始概率序列、类别原型距离序列和边缘形态一致性序列,并基于初始概率序列、类别原型距离序列和边缘形态一致性序列输出多个预设缺陷类别之一的缺陷类别标签。

10、优选地,基于建筑幕墙视觉图像构建模型输入数据,包括:

11、提取建筑幕墙视觉图像中的幕墙分格线,基于幕墙分格线确定幕墙板块区域和幕墙接缝区域;

12、按照幕墙板块区域生成无重叠图像块,按照幕墙接缝区域生成跨缝重叠图像块;

13、基于无重叠图像块和跨缝重叠图像块生成图像块序列,模型输入数据包括图像块序列。

14、优选地,基于幕墙分格线确定幕墙板块区域和幕墙接缝区域之后,还包括:

15、根据像素位置至相邻幕墙分格线的距离生成分格距离编码图;

16、根据像素位置相对于相邻幕墙分格线的方位生成分格方位编码图;

17、从分格距离编码图中裁切得到与无重叠图像块和跨缝重叠图像块对应的分格距离编码块;

18、从分格方位编码图中裁切得到与无重叠图像块和跨缝重叠图像块对应的分格方位编码块;

19、将分格距离编码块、分格方位编码块与对应的无重叠图像块或跨缝重叠图像块进行通道拼接,得到编码图像块;

20、图像块序列包括编码图像块。

21、优选地,将同时满足预设亮度条件、预设饱和度条件和预设方向断续条件的像素位置写入反光边缘图,包括:

22、将亮度显著图中亮度值大于第一亮度阈值的像素位置写入亮度标记图;

23、将饱和度显著图中饱和度值小于第一饱和度阈值的像素位置写入饱和度标记图;

24、将方向边缘图中边缘方向变化次数大于第一变化阈值的像素位置写入断续边缘标记图;

25、将同时属于亮度标记图、饱和度标记图和断续边缘标记图的像素位置写入反光边缘图。

26、优选地,将满足预设边缘连续条件且不属于反光边缘图的像素位置写入缺陷候选边缘图,包括:

27、从方向边缘图中提取连续边缘连通域;

28、计算连续边缘连通域的边缘连续长度和边缘宽度;

29、将边缘连续长度不小于第一长度阈值、边缘宽度不大于第一宽度阈值且不属于反光边缘图的像素位置写入缺陷候选边缘图。

30、优选地,采用非反光特征位置的同通道中值特征替换反光特征位置的原始特征,包括:

31、将反光边缘图映射至初始特征图的各尺度特征层,得到各尺度反光位置映射图;

32、在每一尺度特征层中确定与各尺度反光位置映射图对应的反光特征位置;

33、在反光特征位置的预设邻域内选取不属于各尺度反光位置映射图的非反光特征位置;

34、以非反光特征位置在相同通道上的中值特征替换反光特征位置的原始特征,得到对应尺度特征层的替换后特征层;

35、由各替换后特征层组成反光抑制特征图。

36、优选地,通过细纹保留子网络依据缺陷候选边缘图生成细纹线段组,包括:

37、对缺陷候选边缘图进行骨架化处理,得到候选边缘骨架;

38、对候选边缘骨架进行线段拟合,得到候选线段集合;

39、从候选线段集合中筛选线段长度不小于第二长度阈值、线段宽度不大于第二宽度阈值的候选线段,得到细纹线段组。

40、优选地,按照细纹线段组的线段方向对反光抑制特征图进行边缘门控融合,包括:

41、按照细纹线段组的线段方向设置方向卷积核组;

42、采用方向卷积核组对反光抑制特征图进行方向卷积处理,得到细纹方向特征图;

43、根据缺陷候选边缘图生成边缘门控图;

44、采用边缘门控图对细纹方向特征图和反光抑制特征图进行位置选择,并将位置选择后的细纹方向特征图和位置选择后的反光抑制特征图进行融合,得到分类特征向量。

45、优选地,多个预设缺陷类别包括正常类别、玻璃裂纹类别、玻璃破损类别、密封胶开裂类别、密封胶老化类别、板面变形类别、涂层剥离类别和连接件外露类别;

46、复核分类器包括概率分类子层、类别原型表、边缘形态表以及二级复核子层;

47、概率分类子层用于根据分类特征向量生成初始概率序列;

48、类别原型表用于根据分类特征向量生成类别原型距离序列;

49、边缘形态表用于根据缺陷候选边缘图生成边缘形态一致性序列。

50、优选地,类别原型表通过以下步骤建立:

51、获取带有缺陷类别标注的幕墙样本图像集;

52、通过图像识别模型对幕墙样本图像集中的幕墙样本图像进行处理,得到样本反光抑制特征图、样本缺陷候选边缘图和样本分类特征向量集合;

53、基于幕墙样本图像中的幕墙分格线确定样本幕墙分格位置;

54、基于样本缺陷候选边缘图确定样本缺陷边缘方向;

55、对样本反光抑制特征图进行纹理编码,得到样本缺陷纹理编码;

56、按照样本幕墙分格位置、样本缺陷边缘方向和样本缺陷纹理编码对样本分类特征向量集合进行聚类,得到每一预设缺陷类别对应的至少两个类别原型向量;

57、将至少两个类别原型向量写入类别原型表。

58、优选地,根据分类特征向量生成类别原型距离序列,包括:

59、从类别原型表中读取每一预设缺陷类别对应的类别原型向量;

60、分别计算分类特征向量与各类别原型向量之间的特征距离;

61、将同一预设缺陷类别下的最小特征距离作为该预设缺陷类别对应的类别距离;

62、按照多个预设缺陷类别的排列顺序组合各类别距离,得到类别原型距离序列。

63、优选地,边缘形态表包括各预设缺陷类别对应的原型边缘方向、原型边缘长度、原型边缘宽度和原型边缘分支数;

64、根据缺陷候选边缘图生成边缘形态一致性序列,包括:

65、从缺陷候选边缘图中提取候选边缘方向、候选边缘长度、候选边缘宽度和候选边缘分支数;

66、分别将候选边缘方向、候选边缘长度、候选边缘宽度和候选边缘分支数与各预设缺陷类别对应的原型边缘方向、原型边缘长度、原型边缘宽度和原型边缘分支数进行匹配,得到各预设缺陷类别对应的边缘形态一致性值;

67、按照多个预设缺陷类别的排列顺序组合各边缘形态一致性值,得到边缘形态一致性序列。

68、优选地,基于初始概率序列、类别原型距离序列和边缘形态一致性序列输出多个预设缺陷类别之一的缺陷类别标签,包括:

69、根据初始概率序列确定第一候选缺陷类别和第二候选缺陷类别;

70、从初始概率序列中提取第一候选缺陷类别对应的第一初始概率值和第二候选缺陷类别对应的第二初始概率值;

71、从类别原型距离序列中提取第一候选缺陷类别对应的第一类别距离和第二候选缺陷类别对应的第二类别距离;

72、从边缘形态一致性序列中提取第一候选缺陷类别对应的第一边缘形态一致性值和第二候选缺陷类别对应的第二边缘形态一致性值;

73、当第一初始概率值与第二初始概率值之间的差值不小于第一概率差阈值时,将第一候选缺陷类别确定为缺陷类别标签;

74、当第一初始概率值与第二初始概率值之间的差值小于第一概率差阈值时,将第一类别距离和第二类别距离中较小者对应的候选缺陷类别确定为类别距离比较结果,将第一边缘形态一致性值和第二边缘形态一致性值中较大者对应的候选缺陷类别确定为边缘形态一致性比较结果;

75、当类别距离比较结果与边缘形态一致性比较结果相同时,将类别距离比较结果确定为缺陷类别标签;

76、当类别距离比较结果与边缘形态一致性比较结果不同时,将分类特征向量输入二级复核子层,并将二级复核子层输出的类别确定为缺陷类别标签。

77、优选地,当类别距离比较结果与边缘形态一致性比较结果不同时,还包括:

78、将对应的建筑幕墙视觉图像写入难分类样本缓存区;

79、获取难分类样本缓存区中的建筑幕墙视觉图像对应的复标缺陷类别,得到复标样本图像;

80、通过边缘分离子网络、特征替换子网络和细纹保留子网络对复标样本图像进行处理,得到复标分类特征向量;

81、将复标分类特征向量并入复标缺陷类别对应的样本分类特征向量集合;

82、基于并入后的样本分类特征向量集合更新复标缺陷类别对应的类别原型向量,并将更新后的类别原型向量写入类别原型表。

83、有鉴于此,本发明的目的之二在于提供一种建筑幕墙缺陷智能识别系统,包括图像获取模块、模型调用模块、特征提取模块、边缘分离模块、特征替换模块、细纹保留模块、复核分类模块和结果输出模块;

84、图像获取模块用于获取待检测的建筑幕墙视觉图像,并基于建筑幕墙视觉图像构建模型输入数据;

85、模型调用模块用于调用预先训练的图像识别模型对模型输入数据进行处理,图像识别模型包括特征提取主干网络、边缘分离子网络、特征替换子网络、细纹保留子网络和复核分类器;

86、特征提取模块用于通过特征提取主干网络对模型输入数据进行特征提取,得到初始特征图;

87、边缘分离模块用于通过边缘分离子网络从模型输入数据中提取亮度显著图、饱和度显著图和方向边缘图,将同时满足预设亮度条件、预设饱和度条件和预设方向断续条件的像素位置写入反光边缘图,并将满足预设边缘连续条件且不属于反光边缘图的像素位置写入缺陷候选边缘图;

88、特征替换模块用于通过特征替换子网络将反光边缘图映射至初始特征图,采用非反光特征位置的同通道中值特征替换反光特征位置的原始特征,得到反光抑制特征图;

89、细纹保留模块用于通过细纹保留子网络依据缺陷候选边缘图生成细纹线段组,并按照细纹线段组的线段方向对反光抑制特征图进行边缘门控融合,得到分类特征向量;

90、复核分类模块用于通过复核分类器根据分类特征向量和缺陷候选边缘图生成初始概率序列、类别原型距离序列和边缘形态一致性序列;

91、结果输出模块用于基于初始概率序列、类别原型距离序列和边缘形态一致性序列输出多个预设缺陷类别之一的缺陷类别标签。

92、有鉴于此,本发明的目的之三在于提供一种电子设备,包括:

93、至少一个处理器;以及

94、与至少一个处理器通信连接的存储器;

95、其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行建筑幕墙缺陷智能识别方法的步骤。

96、有鉴于此,本发明的目的之四在于提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现建筑幕墙缺陷智能识别方法的步骤。

97、采用了上述技术方案后,与现有技术相比,具有以下有益效果:

98、1.本发明通过边缘分离子网络从模型输入数据中生成反光边缘图和缺陷候选边缘图,并将反光边缘图映射至初始特征图后进行同通道中值特征替换,能够在特征层面削弱玻璃幕墙、金属幕墙等表面反光伪边缘对分类特征的干扰,提高建筑幕墙缺陷图像识别过程中特征表达的稳定性。

99、2.本发明通过缺陷候选边缘图生成细纹线段组,并按照细纹线段组的线段方向对反光抑制特征图进行边缘门控融合,使玻璃裂纹、密封胶开裂等细纹类缺陷的方向性和连续性特征能够在分类特征向量中得到保留,有利于降低细纹类缺陷在多尺度特征提取过程中的漏检风险。

100、3.本发明通过复核分类器同时生成初始概率序列、类别原型距离序列和边缘形态一致性序列,并基于三类序列综合输出缺陷类别标签,避免仅依赖单一概率分类结果进行判断,有利于提高玻璃裂纹、密封胶开裂、涂层剥离等相近缺陷类别之间的区分能力。

101、4.本发明通过类别原型表对不同预设缺陷类别的分类特征向量进行原型化表达,并通过边缘形态表对缺陷候选边缘图中的边缘方向、边缘长度、边缘宽度和边缘分支数进行匹配,使缺陷分类过程同时结合深度特征和边缘形态特征,有利于提高多类别幕墙缺陷分类结果的可靠性。

102、5.本发明在类别距离比较结果与边缘形态一致性比较结果不一致时,将对应建筑幕墙视觉图像写入难分类样本缓存区,并基于复标样本图像更新类别原型表,使图像识别模型能够针对易混淆样本持续补充类别原型信息,有利于提升后续批次建筑幕墙缺陷识别的适应性。