一种用于检测钢管焊接数字射线图像中缺陷的方法与流程

1.本发明涉及钢管焊接缺陷检测领域，特别是一种用于检测钢管焊接数字射线图像 中缺陷的方法。


背景技术：

2.在钢管焊接过程中，受生产环境和制造工艺的影响，不可避免地出现各种焊接缺 陷，如气孔、裂纹、不熔合和溅射等。这些缺陷在很大程度上影响了产品的性能。检 测焊接缺陷并及时修复是非常重要的。目前，行业内常用的焊接检测方法有人工检测 和非破坏性检测，包括射线检测、涡流检测、渗透检测、超声波检测和磁粉检测。虽 然无损检测可以解决大部分重要的表面缺陷，但它需要专门的技术人员进行现场检测。 对于企业来说，在检测效率和经济成本上很难达标。在实际焊接中，应尽量避免剩余 材料的产生。对焊接区域的检测和对缺陷位置的再加工，有利于提高钢管的使用质量 和利用率。因此，提高焊接缺陷检测的质量和效率就显得尤为重要。
3.目前，钢管焊缝通常采用无损检测方法，其中x射线是最常用的方法。x射线焊 缝检测根据图像的不同分为射线胶片检测和数字检测。前者主观性强，容易产生误判， 而后者利用计算机算法进行图像识别和检测。为了减轻人工分析的困难，目前已经开 发了一些自动化或半自动化技术。特别地，依靠传统计算机视觉或浅层机器学习的自 动分析已经在该领域得到了一些应用。遗憾的是，由于存在各种挑战，如焊缝的几何 形状，较低的对比度和不一致的亮度，以及外观差异较大的缺陷，此类方法在实际焊 接应用中并没有被广泛采用。最近，人们对机器学习和深度学习的兴趣激增，特别是 在图像分析方面。深度学习模型是通过从包含数千或数百万例子的大量数据集中学习 而开发的。对于许多无损检测应用来说，有注释的训练数据资源是有限的，因此，深 度学习的潜力可能没有得到充分的利用。当前该领域常采用目标检测或者语义分割模 型以发现和定位缺陷的位置，但此类方法均属于监督学习方法，自然训练实例的不足 导致模型无法有效地的被优化，在实际中性能较差。
4.综上所述，大多数相关企业仍然采用传统的人工观测的方法，这种方法主观因素 多，检测效率低，容易造成焊接质量问题。而自动方法因为种种原因，例如，特征表 能力不足或人工标记样本数量不足，难以取得满意的性能。因此，有必要提供一种用 于检测钢管焊接数字射线图像中缺陷的方法，以解决上述问题。
5.中国专利号cn111738991a涉及一种焊缝缺陷的数字射线检测模型的创建方法。 其工作原理是：运用数字图像处理技术提取出图像中的焊缝；通过运用图像增强技术 对焊缝图像进行样本数量的扩充；利用搭建的深度学习模型和设计的损失函数来训练 模型，能够从现有的缺陷图像中学习缺陷规律，使用深度神经网络能够更加灵活的对 所有待测图像进行批处理，更灵活且性能更加稳定，保证模型较高的召回率和一定的 准确率；通过对模型的封装保存方便对模型的调用和使用。减少人为工作量，提高工 作效率。但该专利在使用时，特征表能力不足或人工标记样本数量不足，难以取得满 意的性能。使用存在缺陷。
部分的描述；
26.b2:采用了多个特征存储模块，用于存储训练时选取的有代表性的特征，在测试 阶段中利用存储的特征来重建输入图像。
27.优选的方案中，b1中增强特征关于图像中主要部分的描述的步骤是：
28.c1：通过变形模块将其变为(h
×
w)
×
c，通过聚类算法将h
×
w个维度为c的一维 向量聚类成k类，得到k个类心，每个类心向量维度为c维；
29.其中c，h和w分别为特征的通道数；
30.c2：通过变形模块将其变为(h
×
w)
×
c，然后按照下式来计算特征图上每个位置 f_i与聚类中心向量μ_j之间的相似度s_ij：
[0031][0032]
其中i∈(1,2,
…
,w*h)，j∈(1,2,
…
,k)，j^'∈(1,2,
…
,k)。α控制相似度分布 的形状，在本技术的方案中，α＝1是一个常规的选择；
[0033]
c3：相似度归一化：
[0034]
c4：计算损失l_cluster以增强特征对图像中主要部分的描述能力：
[0035][0036]
其中kl为kullback-leibler散度。
[0037]
优选的方案中，b2中用存储的特征来重建输入图像的步骤是：
[0038]
d1：计算特征图上每个位置q_i与每个存储单元m_j之间的距离：
[0039][0040]
其中i∈(1,2,
…
,w*h)，j∈(1,2,
…
,n)，j^'∈(1,2,
…
,n)；
[0041]
d2：求出输入向量q_i的重建结果q^^i：
[0042]
d3：对损失函数进行约束：
[0043]
d4：最初输入图像计算重建损失：
[0044]
r和c表示图像的第r行和第c列；
[0045]
d5：整个系统的损失函数如下式：
[0046][0047]
优选的方案中，s3中模型参数优化训练的步骤是：
[0048]
e1：计算重建图像和输入图像之间的差值图像：
[0049]
e2：二值化处理：
[0050]
r和c表示图像的第r行和第c列。β为一个常数，β＝0.7是一个常规选择。th_val 也是一个常数；
[0051]
计算平均灰度值作为th_val：
[0052]
s为集合中图像张数，h和w分别为图像的高度和宽度。d
io
(s,r,c)表示第s张 差值图像中的位于第r行、第c列的像素灰度值。
[0053]
优选的方案中，缺陷位置确定方法为：通过二值化结果图像中非零像素位置将被 判断为缺陷所在位置,如果没有非零像素，则该图像中没有缺陷。
[0054]
本发明提供了一种用于检测钢管焊接数字射线图像中缺陷的方法，通过采用以上 的方案，通过定制的预处理算法，提高了dr图像清晰度，增加了缺陷与背景的区分 度；构建新颖的图像重建深度卷积网络模型，提高网络的特征提取能力和图像重建 的精确性，稳定性，使重建图像与输入图像之间的差分结果更稳健，实现了缺陷检测 的稳定性和精确性的统一。本发明能够实时检测钢管焊缝中的裂纹﹑未焊透﹑未熔合 ﹑咬边﹑条形﹑圆形﹑飞溅等各类缺陷，优选的方案中，在保证缺陷误检率的基础上， 获得了较高的焊缝缺陷检测率。在提高检测速度的同时，极大的降低了人工缺陷检测 的工作量。
附图说明
[0055]
下面结合附图和实施例对本发明作进一步说明：
[0056]
图1是一张没有缺陷的钢管焊缝dr图像；
[0057]
图2是一种符合本技术要求的网络模型的实施例；
[0058]
图3是聚类模块中一种生成聚类中心的示意图；
[0059]
图4是聚类模块中一种计算聚类损失的示意图；
[0060]
图5是一种训练流程的示意图；
[0061]
图6是图5所示训练流程中，一种验证子流程的示意图；
[0062]
图7是图6中一种计算二值化分割阈值的示意图；
[0063]
图8是当训练完成后，一种实际工作中缺陷检测的流程示意图。
具体实施方式
[0064]
实施例1：
[0065]
一种用于检测钢管焊接数字射线图像中缺陷的方法，包括以下步骤：
[0066]
s1、采集多个dr图像，扩大样本数据集，对多个dr图像进行预处理，并构造训 练数据集合；
[0067]
s2、构建基于图像重建的深度卷积网络模型，该网络模型至少包含一个基于卷积 网络的编码器和一个对应的解码器；
[0068]
s3、进行模型参数优化训练，利用训练数据集以优化网络参数，并得到优化后的 网络模型；
[0069]
s4、将采集的dr图像输入优化后的网络模型进行推理，得到重建的图像；将重 建图像与输入图像进行差分运算，并将差分结果进行二值化以获得最终缺陷位置；
[0070]
通过以上方法，获得最终缺陷位置。
[0071]
优选的方案中，在步骤s1中，用于构造训练数据集合的dr图像中应不包含缺陷， 多个dr图像进行图像增强处理；
[0072]
对多个dr图像进行预处理的步骤为：
[0073]
a1：将多通道图像转换为单通道灰度图，转换函数为：
[0074]
f0(r,c)＝0.299
×
r(r,c) 0.587
×
g(r,c) 0.114
×
b(r,c)
[0075]
其中，f0(r,c)为转换后的灰度图像，r(r,c)，g(r,c)和b(r,c)分别为输入图像 的红色、绿色和蓝色通道图像。r和c表示图像的第r行和第c列；
[0076]
a2：采用直方图均衡化以强调图像的对比度；
[0077]
a3：采用中值滤波以过滤图像中的脉冲型噪声；
[0078]
a4：采用其他非线性变化函数对图像对比度进行调整，函数为：其中，f0(x,y)为输入单通道图 像，f(x,y)为输出图像，a和b分别为f0(x,y)的最小灰度值和最大灰度值。
[0079]
优选的方案中，图像增强处理包括直接和间接扩大样本数量，直接扩大样本数量 的方法包括额外进行现场图像采集，生成对抗模型、变分自动编码器模型深度模型生 成额外的图像，间接扩大样本数量的方法包括图像进行平移、尺度缩放、旋转、剪切、 镜像、灰度抖动、模板消除处理。
[0080]
优选的方案中，卷积网络模型设计网络模块为：relu”块为激活层；“maxpool
”ꢀ
块为最大池化层；“resize”块为2倍分辨率上采样层；“concat”块为特征拼接层，
ꢀ“
cluster_n”和“memory_n”分别为特征聚类层和特征存储层；
[0081]
编码器用于将输入的图像编码为多尺度的描述特征，解码器用于将描述特征翻译 为二维图像；
[0082]
优选的方案中，步骤s2中基于图像重建的深度卷积网络模型的步骤是：
[0083]
b1:特征聚类层仅工作在训练过程中，通过损失设计以增强特征关于图像中主要 部分的描述；
[0084]
b2:采用了多个特征存储模块，用于存储训练时选取的有代表性的特征，在测试 阶段中利用存储的特征来重建输入图像。
[0085]
优选的方案中，b1中增强特征关于图像中主要部分的描述的步骤是：
[0086]
c1：通过变形模块将其变为(h
×
w)
×
c，通过聚类算法将h
×
w个维度为c的一维 向量聚类成k类，得到k个类心，每个类心向量维度为c维；
[0087]
其中c，h和w分别为特征的通道数；
[0088]
c2：通过变形模块将其变为(h
×
w)
×
c，然后按照下式来计算特征图上每个位置 f_i与聚类中心向量μ_j之间的相似度s_ij：
[0089][0090]
其中i∈(1,2,
…
,w*h)，j∈(1,2,
…
,k)，j^'∈(1,2,
…
,k)。α控制相似度分布 的形状，在本技术的方案中，α＝1是一个常规的选择；
[0091]
c3：相似度归一化：
[0092]
c4：计算损失l_cluster以增强特征对图像中主要部分的描述能力：
[0093][0094]
其中kl为kullback-leibler散度。
[0095]
优选的方案中，b2中用存储的特征来重建输入图像的步骤是：
[0096]
d1：计算特征图上每个位置q_i与每个存储单元m_j之间的距离：
[0097][0098]
其中i∈(1,2,
…
,w*h)，j∈(1,2,
…
,n)，j^'∈(1,2,
…
,n)；
[0099]
d2：求出输入向量q_i的重建结果q^^i：
[0100]
d3：对损失函数进行约束：
[0101]
d4：最初输入图像计算重建损失：
[0102]
r和c表示图像的第r行和第c列；
[0103]
d5：整个系统的损失函数如下式：
[0104][0105]
优选的方案中，s3中模型参数优化训练的步骤是：
[0106]
e1：计算重建图像和输入图像之间的差值图像：
[0107]
e2：二值化处理：
[0108]
r和c表示图像的第r行和第c列。β为一个常数，β＝0.7是一个常规选择。th_val 也是一个常数；
[0109]
计算平均灰度值作为th_val：
[0110]
s为集合中图像张数，h和w分别为图像的高度和宽度。d
io
(s,r,c)表示第s张 差值图像中的位于第r行、第c列的像素灰度值。
[0111]
优选的方案中，缺陷位置确定方法为：通过二值化结果图像中非零像素位置将被 判断为缺陷所在位置,如果没有非零像素，则该图像中没有缺陷。
[0112]
实施例2：
[0113]
结合图1～8进一步说明:
[0114]
针对钢管焊接的dr图像进行处理。图x给出了本技术实施例提供的钢管焊接缺 陷检测方法的一种示意性流程图，可以包括以下几个步骤：
[0115]
构造训练数据集合。构成训练的数据集合是现场采集的dr图像，本技术的特征 在于，图像中无需缺陷存在。在现代化生产过程中，以当前的焊接工艺水平，无缺陷 图像的收集难度要远低于有缺陷的图像。因此，在实际应用中可以较为方便地收集到 足够数量的用于训练的图像。注意，足够数量并未指定固定的张数。考虑到模型参数 的训练过程可以在长时间的调试过程中不断迭代，这里可以是多张。图1给出了一张 训练图像的示例，注意，该图像中焊缝的方向，宽度，灰度以及对比度等不应作为唯 一标准。针对采集的图像，需要对图像进行预处理。作为一种实现方式，预处理步骤 可以为：
[0116]
如果图像为多通道图像，转换为单通道灰度图。以常见3通道rgb图像转换为单 通道灰度图为例，一种转换函数为：
[0117]
f0(r,c)＝0.299
×
r(r,c) 0.587
×
g(r,c) 0.114
×
b(r,c)
ꢀꢀ
(1)
[0118]
其中，f0(r,c)为转换后的灰度图像，r(r,c)，g(r,c)和b(r,c)分别为输入图像的红色、 绿色和蓝色通道图像。r和c表示图像的第r行和第c列。注意，该转换函数符合国际电 信联盟推荐的bt.601-7建议书，但不应作为唯一转换标准。
[0119]
采用直方图均衡化以强调图像的对比度；
[0120]
采用中值滤波以过滤图像中的脉冲型噪声，注意，中值滤波模板的尺寸，形状可 以根据不同设备采集的图像来针对设计，不应作为唯一限制。
[0121]
采用其他非线性变化函数对图像对比度进行调整，例如以下函数：
[0122][0123]
其中，f0(x,y)为输入单通道图像，f(x,y)为输出图像，a和b分别为f0(x,y)的最小 灰度值和最大灰度值。
[0124]
由于在训练过程中，样本数据集中的样本数量越大，其参数泛化能力更高，因此， 还需要对图像进行数据增强处理。其中，本技术所述的数据增强，指直接或间接扩大 样本数据集中的样本数量。其中直接扩大样本数量的方法包括额外进行现场图像采集， 或通过生成对抗模型、变分自动编码器模型等深度模型生成额外的图像。间接扩大样 本数量的方法包括但不限于将批注后的图像进行平移、尺度缩放、旋转、剪切、镜像、 灰度抖动、模板消除等处理。
[0125]
构建基于图像重建的深度卷积网络模型。图2给出了一种可选的实现方式。图2 中，c
out
×cin
×h×
w块为卷积层，其中c
out
，c
in
，h，w分别为卷积核的输出通道数 (卷积核个数)、输入通道数、高度和宽度；“relu”块为激活层；“maxpool”块为 最大池化层；“resize”块为2倍分辨率上采样层；“concat”块为特征拼接层。上 述这些层均为卷积网络模型设计中常见的网络模块。“cluster_n”和“memory_n”分 别为特征聚类层和特征存储层，为本技术所示例模型中特有的模块。整个网络由编码 器和解码器两部分组成。编码器用于将输入的图像编码为多尺度的描述特征，解码器 用于将描述特征翻译为二维图像。注意的是，图2中采用了3个尺度的编码器和解码 器，但该层数不应作为唯一配置。
[0126]
图2中采用了三个特征聚类模块：“cluster_1”、“cluster_2”和“cluster_3”。 聚类模块仅工作在训练过程中，通过损失设计以增强特征关于图像中主要部分的描述。 其工作模式分为两步：
[0127]
在第一阶段训练中，其工作模式如图3所示。设编码器侧面输出的特征维度为 c
×h×
w，其中c，h和w分别为特征的通道数，高度和宽度。首先通过变形模块将其 变为(h
×
w)
×
c，然后通过聚类算法将h
×
w个维度为c的一维向量聚类成k类，即得到 k个类心，每个类心向量维度为c维。
[0128]
在第二阶段训练中，其工作模式如图4所示。设编码器侧面输出的特征维度为 c
×h×
w，其中c，h和w分别为特征的通道数，高度和宽度。首先通过变形模块将其 变为(h
×
w)
×
c，然后按照下式来计算特征图上每个位置fi与聚类中心向量μj之间的相 似度s
ij
：
[0129][0130]
其中i∈(1,2,
…
,w*h)，j∈(1,2,
…
,k)，j
′
∈(1,2,
…
,k)。α控制相似度分布的形状，在本申 请的方案中，α＝1是一个常规的选择。
[0131]
然后对于相似度分布进行如下所示的归一化：
[0132][0133]
最后通过计算损失l
cluster
以增强特征对图像中主要部分的描述能力。其定义为：
[0134][0135]
其中kl为kullback-leibler散度。
[0136]
图2中采用了三个特征存储模块：“memory_1”、“memory_2”和“memory_3”。 特征存储单元用于存储训练时选取的有代表性的特征。然后在测试阶段中利用存储的 特征来重建输入图像。考虑到本技术方案中在训练阶段只采用了没有缺陷的样本，因 此在测试阶段中若输入有缺陷的图像，则可以认为是将无缺陷的样本组合起来以重建 缺陷图像。在这种情况下，能够有效地的去除图像中的缺陷。具体来说，设m＝ {m1,m2,
…
,mn}∈rn×c是一个实值的矩阵，其中n表示存储向量的个数，c表示存储向量 的维度。类似聚类模块，设存储模块的输入特征的维度为c
×h×
w，其中c，h和w分 别为特征的通道数，高度和宽度。首先通过变形模块将其变为(h
×
w)
×
c，然后按照 下式计算特征图上每个位置qi与每个存储单元mj之间的距离：
[0137][0138]
其中i∈(1,2,
…
,w*h)，j∈(1,2,
…
,n)，j
′
∈(1,2,
…
,n)。得到所有wi后，输入向量qi的重 建结果可以由下式确定：
[0139][0140]
考虑到存储单元应保留输入特征向量的代表性部分，其数值应该是较为稀疏的， 因此，每个存储单元引入下列损失函数进行约束：
[0141][0142]
最后，重建的结果图像需要和最初输入图像x之间计算如下的重建损失：
[0143][0144]
其中，r和c表示图像的第r行和第c列。综上所述，整个系统的损失函数如下式所 示：
[0145][0146]
其中，a0 a1 a2 a3 b1 b2 b3＝1。在本技术的方案中，a0＝0.8,＝0.8,b1＝b2＝b3＝0.05是一个常规的选择。
[0147]
进行模型参数优化训练。一种模型训练的流程如图5所示。该训练流程中需要构 建验证样本集合。本技术中构建验证样本集合的过程和训练样本集合保持一致。其中， 一种验证流程如图6所示。下面先对图5中的部分步骤进行详细说明。网络前向推理 后得到的特征参与计算上述损失并通过该损失计算s02，在s02中，一种优化 策略是采用随机梯度下降法，并设置动量值为0.9，权重衰减系数为0.001。s03中 判断是否进入验证阶段的标准可以设置为网络前向传播-反向优化固定次数后进行， 比如500次迭代后开始执行验证步骤s04。当s04的输出满足一定条件时，s05输出 训练过程结束信号。下面对s04对应的一种实施例，即图6中的部分步骤进行详细说 明。s06获取网络前向推理结果，即针对输入图像x的一张重建图像后，首先根据下 式计算重建图像和输入图像之间的差值图像：
[0148][0149]
可以看到，d
io
和具有类似的计算形式。然后对d
io
进行二值化得到二值图像db
io
， 一种二值化的方法如下式所示：
[0150][0151]
其中，r和c表示图像的第r行和第c列。β为一个常数，β＝0.7是一个常规选择。 th
val
也是一个常数，该常数的计算方法如图7所示。首先，选取验证样本中所有带有 缺陷的图像作为一个图像集合。逐一输入集合中图像至s10中并获取该图像的重建图 像。s11用于计算两张图像之间的差值图像，并保存在计算机中。s12中进行对输入 图像的计数，若达到固定数值则可开始计算所有保存图像的平均灰度值。该固定数值 选择集合中图像总数是一个常规选择。s13按照下式计算所有保存的差值图像的平均 灰度值，并将该值作为th
val
。
[0152][0153]
其中，s为集合中图像张数，h和w分别为图像的高度和宽度。d
io
(s,r,c)表示第s 张差值图像中的位于第r行、第c列的像素灰度值。
[0154]
实际工作中，将采集的dr图像输入优化后的网络模型进行推理，得到重建的图 像；将得到的重建图像于输入图像进行差分运算，并将差分结果进行二值化以获得最 终缺陷位置。图2给出了一种实现该流程的示意图。实际工作时，前端设备会实时采 集焊缝的dr图像并输入到本技术设计的处理系统。首先，利用训练好的网络模型对 单张图像进行推理，并得到重建图像。计算重建图像和输入图像之间的差值图像，计 算方法如公式(11)所示。对差值图像进行二值化，计算方法如公式(12)所示。最后， 因为此时已经得到二值化结果图像，因此图像中非零像素位置将被判断为缺陷所在位 置。如果没有非零像素，则该图
像中没有缺陷。
[0155]
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申 请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保 护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等 同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。