一种长输管道射线底片智能缺欠评定系统及方法与流程

1.本发明涉及管道焊缝质量评估技术领域，尤其涉及一种长输管道射线底片智能缺欠评定系统及方法。


背景技术：

2.石化工业是国民经济的命脉，油气管道被广泛应用于运输工程。目前、管道泄漏情形时有发生，油气管道的安全引起了国家高度重视，焊缝质量评估是维护管道安全当中的关键一环。
3.在当前的焊缝质量评估过程中，缺欠评定主要依赖于人工专家。然而，人工评定存在大量的缺点，其一、人工评定具有主观性，其二、人工评定效率低下。因此设计一种智能缺欠评定系统具有重大价值。
4.完整的缺欠智能识别系统研发具有较多的难点，例如评定流程繁琐，除缺欠智能识别以外包括熔合线提取，射线图像质量检查，签字提取等操作，针对核心部分缺欠智能识别而言又包含以下几点挑战：缺欠类型繁多，缺欠形状变化较大，缺欠影像不清晰，伪像等背景复杂严重干扰缺欠定性等多种困难。针对以上所列多处挑战，本发明旨在设计一种管道射线底片缺欠智能综合评定系统，该系统可以包含上述全部功能，为焊缝质量评估工程提供了重要参考价值。
5.目前，深度学习技术广泛应用到工业领域，采用数据驱动的方式训练模型已经成为主流，智能模型可以有效地避免人工评定的缺点，极大的提升了评定效率，为快速查找高后果区，高风险区危害缺欠提供了重大技术支持。


技术实现要素：

6.针对目前管道射线底片缺欠人工评定效率低下，本发明提出一种长输管道射线底片智能缺欠评定系统及方法，该系统按照国家标准包含整个焊缝质量综合评级的全部流程。
7.具体技术方案如下：
8.一种长输管道射线底片智能缺欠评定系统及方法，具体包括以下步骤：
9.步骤1：对于待评定射线图像按照检测流程进行矫正；
10.步骤1-1：判断射线图像的像素宽高，确定竖片与横片，横片则向下进行，竖片需要转换为横片后向下进行；
11.步骤1-2：图像分割：记原始图像宽高为(w，h)，切割方式按照如下所示：切割后图像高固定为648像素，宽度按照缩放比例通过双线性插值方式进行等比缩放，其中缩放比例t满足t为整数，则缩放后的图像分辨率为(w',h')＝(t
×
w，648)，利用正方形进行有交叠图像切割，确定重叠图像宽度为γ，并对宽度进行补零操作以确保切割子图数量n
为整数，这里其中：ε为填充零的宽度；
12.步骤2：对焊缝图像进行ocr识别进行签字提取；
13.步骤3：按照国家标准对焊缝图像进行质量审查；
14.步骤4：将分割后的子图像依次输入缺欠识别模型中进行识别，输出缺欠像素位置信息和初步定性信息；
15.步骤5：焊道识别，识别底片中根部熔合线和外表面熔合线；
16.步骤6：缺欠精确定性和定位，输出精确定性和精确定位；
17.步骤7：缺欠定量评级，根据国家标准进行缺欠定量测量与综合评级，输出缺欠危害级别。
18.步骤2所述的对焊缝图像进行ocr识别进行签字提取，具体包括如下步骤：
19.步骤2-1：首先对签字进行标签集建立，确定字符的全部种类并制作数据集其中每张图像含有多个实例即
20.其中，代表字符实例，共计n个目标字符，其对应的标签满足对于其中每个目标字符标签由两部分组成其中为目标字符的位置信息，为目标字符的类别信息；
21.步骤2-2：按照上述标签进行深度学习模型建立，选取跨阶段网络cspdarknet53作为主干网络，基于交叉熵损失与交并比损失分别进行分类与回归操作；
22.步骤2-3：按照梯度下降法进行权重更新，当损失收敛时，停止训练，获取ocr检测模型m
ocr
；
23.步骤2-4：逻辑后处理操作，为了保证识别的准确性，设置字符提取阈值为tre
ocr
＝0.5，对所有子图推理完毕后进行图像整合，确定长图签字信息，对于未检测到的字符，按照前后文本逻辑顺序进行字符补齐与对齐，其中ocr识别模型可提取处标尺签字信息，公称厚度信息，如果底片壁厚信息缺失，优先复用已经识别的壁厚信息，其次使用系统初始化时默认输入壁厚信息。
24.步骤3所述的按照国家标准对焊缝图像进行质量审查，具体包括以下步骤：
25.步骤3-1：建立像质计训练标签，基于关键点标注；
26.步骤3-2：由于像质计特征清洗，与底片背景容易区分，按照轻量级神经网络进行快速训练，可获得具备快速推理能力的像质计识别模型；
27.步骤3-2：阈值选取，基于推理后的置信度确定像质计识别区域，由于像质计形状大致固定，且没有黑度，因此可通过图像处理手段对其进行像素后处理，以保证像质计识别准确率；
28.步骤3-3：对子图进行整合确定原始射线图像的像质计识别丝数，结合步骤2中确定的壁厚信息，根据国家标准，检查丝号是否满足要求；如果满足要求，可以进行智能评定，否则，不进行智能评定。
29.步骤4所述的将分割后的子图像依次输入缺欠识别模型中进行识别，输出缺欠像
素位置信息和初步定性信息，具体包括如下步骤：
30.步骤4-1：建立目标缺陷训练集，具体包含以下类别，圆形，条形，未熔合，烧穿，裂纹，未焊透等缺陷标签数据库；
31.步骤4-2：基于自注意力目标检测算法训练缺陷检测模型，通过构建注意力机制该模型可以较好的实现背景的抑制并凸显缺陷的位置，具体实现如下，首先将切割子图送入卷积主干网络提取多级特征；然后按照高斯分布初始化权重矩阵,q,k,v～n(μ,σ),这里μ＝0，σ＝1从均值为0，方差为1的高斯分布，并将所得向量作为初始权值，并通过使用softmax函数来获得值的权重，因此该输出矩阵为：
32.步骤4-3：基于待遇注意力导向的特征进行锚点预测，通过损失训练网络参数，获得检测模型，其中损失包含检测框的位置损失以及检测目标的类别损失，通过优化如下公式进行参数训练：
[0033][0034]
其中，fl(
·
)为focal分类损失函数，ciou(
·
)为边界框位置回归损失函数，和分别代表网络预测图像的分类概率分布和位置回归概率分布，和分别代表图像yi中真实的类别标签和位置标签；
[0035]
步骤4-4：权值更新：通过反向传播更新权重实现最小化损失，将损失作为权值参数的函数，使用随机梯度下降方法在梯度下降最快的方向迭代更新权值，直到满足参数停止更新的条件，可获得缺欠智能识别模型m
defect
；
[0036]
步骤4-5：图像推理，训练迭代停止后，基于缺陷检测模型进行图像缺欠的位置与类别识别，输出缺欠像素位置信息和初步定性信息。
[0037]
步骤5所述的焊道识别具体包括如下步骤：
[0038]
步骤5-1：由于熔合线具备存在变化趋势，因此矩形框不能精确的识别出焊道的走势，为了精确定位，这里采用关键点下的掩膜标注构建数据集，该数据集包含两类，外层熔合线与根部熔合线；
[0039]
步骤5-2：基于实例分割模型建立焊道识别模型，选定主干网络resnet50，颈部网络选定fpn pan模型通过自上而下与自下而上融合提取丰富的位置特征与语义特征；
[0040]
步骤5-3：构建损失，在如上所述的熔合线分类、掩膜生成和边界框回归三个分支任务中，通过损失函数l反向传递使得目标区域的预测值与真实值误差最小，得到神经网络的损失函数l如下：
[0041]
l＝l
cls
l
mask
l
box
[0042]
其中，l
cls
为熔合线分类的损失函数，是目标与非目标的对数损失即交叉熵损失；l
mask
为mask生成的损失函数，神经网络为每一类生成一个mask，不用与其他类进行竞争，其依赖于熔合线分类分支所预测的类别标签来选择输出的掩膜；l
box
为边界框回归损失，通过iou损失计算，即通过判断预测框与真实框的重叠度继续损失判定；
[0043]
步骤5-4：通过训练损失调节参数获取焊道提取模型m
fusion
后引入逻辑操作进行位置精修，具体方式如下：首先基于焊道提取模型推理图像而获得的焊道掩膜位置信息，该掩
膜信息为0-1矩阵，其中1代表目标焊道区域，0代表背景区域；由于模型推理时部分熔合线会存在断续可能，因此基于三次样条插值将射线底片检测结果中为断续的焊道区域进行连接；然后利用canny算子对掩膜矩阵进行边缘提取，把提取到的边缘关键点信息保存下来，最后把边缘关键点信息绘制到原始底片图像上，得到最终的焊道定位结果显示图像。
[0044]
步骤6所述的缺欠精确定性和定位，输出精确定性和精确定位，具体包括如下步骤：
[0045]
步骤6-1：根据外表面熔合线位置，去除焊道热影响区以外的误检；然后对待测试的张焊缝缺陷图像进行定位，得到两条根部融合线间的区域：mask1,mask2＝m
fusion
(x)，其中：mask1为焊缝处掩膜区域，mask2为根部处掩膜区域；对于缺欠位置满足loc＝m
defect
(x)，根据缺陷可能生成位置则必须满足缺欠区，然后含于焊缝区域以内，因此满足：
[0046]
步骤6-2：对于未熔合缺陷则进一步需要根据位置区分根部未熔合，夹层未熔合，以及外表面未熔合三种类型，根据熔合线定位，根部未熔合缺陷区域应该在根部熔合线区域之间，而夹层未熔合区域应该在根部熔合线区域之外，
[0047]
步骤6-3：根据标尺铅字位置，输出像素位置对应的实际标尺位置；如果底片铅字确实或者识别出错，将返回缺欠位置到片头的距离。
[0048]
步骤4-1中的未熔合包括根部未熔合，夹层未熔合或外表面未熔合。
[0049]
与现有技术相比，本发明具有如下有益技术效果：
[0050]
本发明首先对待评定原始图像进行矫正并基于质量检查模型进行底片质量分析。然后对合格底片进行缺陷智能识别并进行外层熔合线和根部熔合线提取。接着通过ocr识别模型确定壁厚信息与签字位置信息。对焊道内的智能识别缺陷位置按照国家标准进行定量和综合评级，实现了智能焊缝质量评估，极大的提高了评估效率。可以实现缺陷智能识别，与现有发明相比本文所基于的检测模型更具准确性。本发明完成了焊缝质量综合评级系统，相较于其它发明而言，本发明更具全面性。
附图说明
[0051]
图1为本发明实施例提供的一种长输管道射线底片智能缺欠评定系统及方法总结构图。
具体实施方式
[0052]
下面结合附图和实施例对本发明进行详细说明，但本发明的保护范围不受附图和实施例所限。
[0053]
实施例1：
[0054]
本发明长输管道射线底片智能缺欠评定系统及方法，主要包括以下几大部分：数据获取部分，图像质量检测部分，字符提取部分，焊道提取部分，缺欠智能识别部分，定量与综合评级部分，总结构图如图1所示。
[0055]
步骤1：对于待评定射线图像按照检测流程进行矫正。
[0056]
步骤1-1：判断射线图像的像素宽高，确定竖片与横片，横片则向下进行，竖片需要
转换为横片后向下进行。
[0057]
步骤1-2：图像分割：记原始图像宽高为(w，h)，切割方式按照如下所示：切割后图像高固定为648像素，宽度按照固定比例按照双线性插值方式进行等比缩放，其中缩放比例t满足t为整数，则缩放后的图像分辨率为(w',h')＝(t
×
w，648)，利用正方形进行有交叠图像切割，确定重叠图像宽度为γ，并对宽度进行补零操作以确保切割子图数量n为整数，这里其中ε为填充零的宽度。
[0058]
步骤2：对焊缝图像进行ocr识别进行签字提取。
[0059]
步骤2-1：首先对签字进行标签集建立，确定字符的全部种类并制作数据集标签集，其中对于每个图像含有多个实例目标即多个字符，其中为上述数据集中的一个字符，共计n个目标字符，其对应的标签满足对于其中每个目标字符标签由两部分组成其中为目标字符的位置信息，为目标字符的类别信息。
[0060]
步骤2-2：按照上述标签进行深度学习模型建立，选取跨阶段网络cspdarknet53作为主干网络，基于交叉熵损失与交并比损失分别进行分类与回归操作。
[0061]
步骤2-3：按照梯度下降法进行权重更新，当损失收敛时，停止训练，获取ocr检测模型m
ocr
[0062]
步骤2-4：逻辑后处理操作，为了保证识别的准确性，设置字符提取阈值为tre
ocr
＝0.5。对所有子图推理完毕后进行图像整合，确定长图签字信息。对于未检测到的字符，按照前后文本逻辑顺序进行字符补齐与对齐。其中ocr识别模型可提取处标尺签字信息，公称厚度信息，如果底片壁厚信息缺失，优先复用已经识别的壁厚信息，其次使用系统初始化时默认输入壁厚信息。
[0063]
步骤3：按照国家标准对焊缝图像进行质量审查。
[0064]
步骤3-1：建立像质计训练标签，基于关键点标注。
[0065]
步骤3-2：由于像质计特征清洗，与底片背景容易区分，按照轻量级神经网络进行快速训练，可获得具备快速推理能力的像质计识别模型。
[0066]
步骤3-2：阈值选取，基于推理后的置信度确定像质计识别区域，由于像质计形状大致固定，且没有黑度，因此可通过图像处理手段对其进行像素后处理，以保证像质计识别准确率。
[0067]
步骤3-3：对子图进行整合确定原始射线图像的像质计识别丝数，结合步骤2中确定的壁厚信息，根据国家标准，检查丝号是否满足要求；如果满足要求，可以进行智能评定，否则，不进行智能评定。
[0068]
步骤4：将分割后的子图像依次输入缺欠识别模型中进行识别。输出缺欠像素位置信息和初步定性信息。
[0069]
步骤4-1：建立目标缺陷训练集，具体包含以下类别，圆形，条形，未熔合(根部未熔
合，夹层未熔合，外表面未熔合)，烧穿，裂纹，未焊透等以下缺陷标签数据库。
[0070]
步骤4-2：基于自注意力目标检测算法训练缺陷检测模型，通过构建注意力机制该模型可以较好的实现背景的抑制并凸显缺陷的位置。具体实现如下，首先将切割子图送入卷积主干网络提取多级特征。然后按照高斯分布初始化权重矩阵,q,k,v～n(μ,σ),这里μ＝0，σ＝1从均值为0，方差为1的高斯分布，并将所得向量作为初始权值，并通过使用softmax函数来获得值的权重。因此该输出矩阵为：
[0071]
步骤4-3：基于待遇注意力导向的特征进行锚点预测，通过损失训练网络参数，获得检测模型，其中损失包含检测框的位置损失以及检测目标的类别损失。通过优化如下公式进行参数训练，其中fl(
·
)为focal分类损失函数，ciou(
·
)为边界框位置回归损失函数，和分别代表网络预测图像的分类概率分布和位置回归概率分布，分类概率分布和位置回归概率分布，和分别代表图像yi中真实的类别标签和位置标签。
[0072]
步骤4-4：权值更新：通过反向传播更新权重的目的是为了最小化损失，将损失作为权值参数的函数，cnn需要计算损失相对于每个权值参数的偏导数，然后使用随机梯度下降(sgd)方法在梯度下降最快的方向迭代更新权值，直到满足参数停止更新的条件，可获得缺欠智能识别模型m
defect
。
[0073]
步骤4-5：图像推理，训练迭代停止后，基于缺陷检测模型进行图像缺欠的位置与类别识别，输出缺欠像素位置信息和初步定性信息。
[0074]
步骤5：焊道识别。识别底片中根部熔合线和外表面熔合线。
[0075]
步骤5-1：由于熔合线具备存在变化趋势，因此矩形框不能精确的识别出焊道的走势，为了精确定位，这里采用关键点下的掩膜标注构建数据集，该数据集包含两类，外层熔合线与根部熔合线。
[0076]
步骤5-2：基于实例分割模型建立焊道识别模型，选定主干网络resnet50，颈部网络选定fpn pan模型通过自上而下与自下而上融合提取丰富的位置特征与语义特征。
[0077]
步骤5-3：构建损失，在如上所述的熔合线分类、掩膜生成和边界框回归三个分支任务中，通过损失函数l反向传递使得目标区域的预测值与真实值误差最小，得到神经网络的损失函数l如下：
[0078]
l＝l
cls
l
mask
l
box
[0079]
其中l
cls
为熔合线分类的损失函数，是目标与非目标的对数损失即交叉熵损失；l
mask
为mask生成的损失函数，神经网络为每一类生成一个mask，不用与其他类进行竞争，其依赖于熔合线分类分支所预测的类别标签来选择输出的掩膜；l
box
为边界框回归损失，通过iou损失计算，即通过判断预测框与真实框的重叠度继续损失判定。
[0080]
步骤5-4：通过训练损失调节参数获取焊道提取模型m
fusion
后引入逻辑操作进行位置精修，具体方式如下：首先基于焊道提取模型推理图像而获得的焊道掩膜位置信息，该掩膜信息为0-1矩阵，其中1代表目标焊道区域，0代表背景区域。由于模型推理时部分熔合线会存在断续可能，因此基于三次样条插值将射线底片检测结果中为断续的焊道区域进行连
接。然后利用canny算子对掩膜矩阵进行边缘提取，把提取到的边缘关键点信息保存下来。最后把边缘关键点信息绘制到原始底片图像上，得到最终的焊道定位结果显示图像。
[0081]
步骤6：缺欠精确定性和定位。输出精确定性和精确定位。
[0082]
步骤6-1：根据外表面熔合线位置，去除焊道热影响区以外的误检；步骤6-8:根据步骤6-7得到的熔合线测试模型，对待测试的张焊缝缺陷图像进行定位，得到两条根部融合线间的区域：mask1,mask2＝m
fusion
(x)，其中mask1为焊缝处掩膜区域，mask2为根部处掩膜区域。对于缺欠位置满足loc＝m
defect
(x)，根据缺陷可能生成位置则必须满足缺欠区域含于焊缝区域以内，因此满足：
[0083]
步骤6-2：对于未熔合缺陷则进一步需要根据位置区分根部未熔合，夹层未熔合，以及外表面未熔合三种类型。根据熔合线定位，根部未熔合缺陷区域应该在根部熔合线区域之间，而夹层未熔合区域应该在根部熔合线区域之外。
[0084]
步骤6-3：根据标尺铅字位置，输出像素位置对应的实际标尺位置；如果底片铅字确实或者识别出错，将返回缺欠位置到片头的距离。
[0085]
步骤7：缺欠定量评级。根据国家标准进行缺欠定量测量与综合评级，输出缺欠危害级别。