一种基于深度学习的钢结构焊接缺陷智能检测方法与流程

本发明涉及焊接缺陷检测，特别是涉及一种基于深度学习的钢结构焊接缺陷智能检测方法。

背景技术：

1、钢结构广泛应用于桥梁、厂房、压力容器和大型钢构件的制造与安装，焊缝质量直接关系到构件的承载能力与服役安全，焊接完成后须对焊缝本体及其邻近热影响区域实施缺陷检查。人工目视检查和人工评片受检验人员经验、疲劳状态以及现场光照条件的影响，判定一致性较差，检验速度也难以匹配批量化生产的节拍。随着工业相机和数字射线成像设备在产线上的普及，以焊缝表面图像或射线灰度图像作为输入、由深度学习检测网络输出缺陷类别与位置的自动检测方式逐步取代人工判读，成为焊缝质量在线检验的主要技术路线。

2、现有基于深度学习的焊缝缺陷检测方案多沿单级全图检测的思路展开，即将整幅采集图像统一缩放至网络输入尺寸后一次性推理。钢结构焊缝的常见缺陷中，细裂纹、针状气孔和小尺寸咬边本身所占像素比例极小，原始采集分辨率越高，统一缩放后剩余的有效像素越少，叠加焊缝区域固有的低灰度对比和模糊边界，此类目标极易被漏检。为提升小目标检出能力，常见的改进手段是增加高分辨率检测尺度、构建更复杂的多尺度特征融合路径、引入注意力模块或者增设并行输入分支，这些手段确实能够在一定程度上改善小缺陷指标，但都以更高的推理计算量、更大的显存占用和更长的单帧时延为代价，在算力受限的产线设备上难以落地。

3、另一类做法是保持原始分辨率，将整幅图像按固定尺寸切割为图块并逐块送入检测网络。该做法保留了微小缺陷的原生细节，代价则是无论焊缝是否存在异常，所有图块都被投入强度相同的运算。实际生产中绝大多数图块对应正常焊缝或者母材背景，由此产生的无效计算占比很高，单幅图像的处理耗时和设备成本随采集分辨率的提高而迅速上升。切块检测还会切断各图块之间的空间关联，母材划痕、构件边缘和喷码字符等背景纹理在局部视野中与真实缺陷相似，容易被误报。

4、为减少背景干扰，也有方案先提取焊缝所在的矩形感兴趣区域再执行检测，但矩形裁剪对倾斜、弯曲或存在透视变形的焊缝仍会纳入较多母材区域，区域内部依旧采用与图像内容无关的固定遍历方式，计算资源的分配并未随焊缝的实际状态发生变化。采用粗检测与精检测级联的结构可以减少后级运算量，然而粗级通常仅以缺陷置信度是否超过固定阈值作为是否继续处理的依据，而微小、模糊的真实缺陷在粗尺度上恰恰表现为低置信度，一旦在粗级被提前排除，后级网络便再无恢复机会；同时进入后级的区域数量完全随图像内容波动，单帧时延缺乏上界，不利于产线节拍控制。

5、由此可见，如何在钢结构焊缝检测中既保留原始分辨率所承载的微小缺陷细节以抑制漏检，又避免对占比很高的正常区域投入同等强度的高分辨率运算，是本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的钢结构焊接缺陷智能检测方法，以解决现有焊缝缺陷检测中保留原始分辨率所承载的微小缺陷信息与避免对占比很高的正常区域投入同等强度高分辨率运算之间难以兼顾的问题，在抑制微小缺陷漏检的同时降低对正常区域的无效计算，并使单幅图像的高分辨率检测负荷具有可控的上界。

2、为实现上述目的，本发明采用如下技术方案。

3、一种基于深度学习的钢结构焊接缺陷智能检测方法，包括：获取钢结构焊接区域图像，并将该图像以原始分辨率保存；对所述图像进行焊缝定位得到焊缝概率图，由所述焊缝概率图确定焊缝中心线及局部焊缝宽度，沿焊缝方向将焊缝重采样为归一化的带状焊接检测区域，并保存所述带状焊接检测区域与所述图像之间的坐标映射关系；将所述带状焊接检测区域降低分辨率后划分为多个相互重叠的局部区域，通过第一深度学习网络得到各所述局部区域的至少缺陷存在概率、类别概率和特征信息；对每一所述局部区域，根据所述缺陷存在概率、由所述类别概率得到的预测不确定性以及由所述特征信息得到的细节残差，确定该局部区域的风险值；根据各所述局部区域的风险值并结合预设的计算预算，从所述多个局部区域中选择部分局部区域，且所选择的局部区域的数量不少于最小保护预算并且不多于最大预算；从以原始分辨率保存的所述图像中，获取所选择的局部区域所对应的高分辨率图像区域；通过第二深度学习网络对所述高分辨率图像区域进行焊接缺陷检测，得到缺陷检测结果；依据所述坐标映射关系将所述缺陷检测结果恢复至所述图像的坐标，并依据缺陷相对于焊缝的位置关系对恢复后的缺陷检测结果进行一致性校正，输出焊接缺陷的类别及位置。由此，正常焊缝区域在低分辨率阶段即以较低成本完成风险评估，仅高风险区域被回读原始分辨率并送入高成本检测，从而在保留微小缺陷细节的同时减少对正常区域的重复高分辨率运算。

4、作为本发明的一种优选技术方案，所述预测不确定性为对所述类别概率计算得到的归一化熵，当所配置的缺陷类别为多个时，所述归一化熵随所述类别概率的分布趋于均匀而增大；当所配置的缺陷类别为单个时，所述预测不确定性由所述缺陷存在概率的二值熵得到，从而在不同类别配置下均可度量网络对该局部区域是否存在缺陷的不确定程度。

5、作为本发明的一种优选技术方案，所述细节残差由所述特征信息与该特征信息经下采样再上采样后所得结果之间的差异得到，用以表征所述局部区域中难以由低频结构解释的局部信息，使缺陷概率虽低但存在明显局部异常纹理的区域仍能得到较高的风险评估。

6、作为本发明的一种优选技术方案，所述确定该局部区域的风险值，包括：对所述缺陷存在概率、所述预测不确定性以及经归一化的所述细节残差按各自的权重进行加权组合，再经单调饱和映射得到所述风险值，所述各自的权重通过训练得到，使得缺陷存在概率高的局部区域、缺陷存在概率居中而预测不确定性高的局部区域以及缺陷存在概率低而细节残差显著的局部区域均得到较高的风险值，避免仅依据缺陷存在概率而将低置信度的微小缺陷提前排除。

7、作为本发明的一种优选技术方案，所述从所述多个局部区域中选择部分局部区域，包括：由当前图像内各所述局部区域的风险值的中位数与绝对中位差确定动态阈值，选择风险值达到所述动态阈值的局部区域；当风险值达到所述动态阈值的局部区域的数量多于所述最大预算时，按风险值由高到低保留数量为所述最大预算的局部区域，使被选择的区域随每幅图像自身的风险分布自适应确定。

8、作为本发明的一种优选技术方案，所述最小保护预算不小于1，当各所述局部区域的风险值均未达到所述动态阈值时，仍按风险值由高到低选择数量不少于所述最小保护预算的局部区域，送入所述第二深度学习网络进行焊接缺陷检测，以避免整幅图像风险普遍偏低时因零选择而漏检恰好存在的微小缺陷。

9、作为本发明的一种优选技术方案，所述最大预算根据执行所述方法的处理器的负载或者待处理图像的排队情况动态调整，在偏重降低漏检时增大所述最大预算，在偏重降低处理时延时减小所述最大预算，使同一模型无需改动网络结构即可适配不同算力条件与不同检测策略。

10、作为本发明的一种优选技术方案，所述第一深度学习网络、所述风险值的确定以及所述第二深度学习网络经联合训练得到，在训练中将所述选择表示为可微的软门控，并采用预算损失和路由监督损失进行约束，所述预算损失使被选择的局部区域的平均比例趋近预设的目标比例，所述路由监督损失使与真实缺陷标注相交的局部区域优先被选择，从而将计算量的控制作为训练目标的组成部分而无需在训练结束后另行剪枝。

11、作为本发明的一种优选技术方案，所述一致性校正，包括：确定所述缺陷检测结果的中心至所述焊缝中心线的、以所述局部焊缝宽度归一化的偏离程度，并据此降低偏离焊缝的缺陷检测结果的得分；对于位置预期处于焊趾附近的缺陷类别，采用与该缺陷类别相关的几何约束，使该缺陷类别的缺陷检测结果不因位于焊趾附近而被降低得分，从而在抑制远离焊缝的伪缺陷的同时避免真实焊趾缺陷被错误压制。

12、作为本发明的一种优选技术方案，当连续获取多幅所述图像时，将该多幅图像各自所选择的局部区域所对应的高分辨率图像区域合并为一个批次，对所述第二深度学习网络执行一次前向计算，其中每一高分辨率图像区域携带其所属图像的标识以及坐标恢复所需的映射参数，并按所述标识将焊接缺陷检测结果分发至对应的图像，从而在减少小批量推理造成的计算单元空闲的同时保持各图像与其检测结论之间的对应关系。

13、与现有技术相比，本发明具有以下有益效果：

14、本发明依据焊缝定位结果建立沿焊缝方向的曲线坐标并将焊缝重采样为标准带状区域，倾斜、弯曲或者存在透视变形的焊缝被展平为方向一致、中心对齐、相对宽度统一的图像，进入网络视野的母材远端纹理、工装夹具和喷码字符相应减少，同时为后续判断候选缺陷相对焊缝中心的偏离程度提供了统一的度量基准，这是矩形感兴趣区域裁剪所不能提供的。

15、区域风险由缺陷概率、类别概率的预测熵以及中间特征的细节残差共同构成，而非仅取决于缺陷概率是否超过固定阈值。缺陷概率不高但预测熵较大的区域，以及概率较低但局部细节残差显著的区域，同样能够进入第二级精检测，从而缓解了级联结构中低置信度微小缺陷在第一级被提前排除且后级无从恢复的问题。被选中的区域从缓存的原始图像重新读取像素，而不是对缩小后的粗尺度图像放大，微小缺陷得以在原生分辨率下被识别。

16、是否调用精检测被表示为受计算预算约束的路由决策，单幅图像进入精检测的区域数量被限定在最小保护预算与最大预算之间，最小保护预算保证整图风险普遍偏低时仍有若干最高风险区域被复检，最大预算则为单帧计算量和时延给出上界。在正常焊缝占多数的工况下，实际进入精检测的区域数量明显低于逻辑区域总数，总计算量相对于对全部区域执行精检测的固定方案有所下降，该下降来自实际执行路径的缩短，不依赖于压缩网络权重或削减卷积通道，因而不以牺牲精检测网络本身的表达能力为前提。路由比例在训练阶段即通过计算预算损失与路由监督损失一并约束，无需在训练结束后另行剪枝。

17、由于预算参数与网络结构相互独立，同一套模型权重可以通过调整最大预算适配边缘计算平台、工作站和服务器等不同算力条件，也可以在运行期间依据处理器负载或者队列长度动态调整，在偏重漏检控制时提高预算、在偏重节拍时延时降低预算，上述调整均不需要重新训练。多幅图像被路由的区域还可以合并为动态批次统一执行精检测，减少小批量推理造成的计算单元空闲。

18、精检测结果经逆映射恢复至原始图像坐标后，依据候选中心到焊缝中心线的法向距离与局部焊缝宽度之比进行拓扑一致性校核，并对咬边等本应出现在焊趾附近的类别采用与类别相关的几何约束系数，在降低母材划痕、构件边缘和字符等远离焊缝位置的伪缺陷得分的同时，避免真实焊趾缺陷被错误压制，有利于减少复杂背景下的误报。