一种工业射线底片的假片识别方法与流程

1.本发明涉及深度学习及图像处理技术领域，具体涉及一种工业射线底片的 假片识别方法。


背景技术：

2.随着焊接工艺的快速发展，焊接质量的好坏成为制造业评判焊接安全性的 重要关注问题。在焊缝数量过大的时候，焊缝数字化成像时可能会出现部分焊 缝没有拍到的以及一个焊缝拍到多次的情况，从而产生工业假片，从而导致大 量焊缝未被评价，造成巨大的安全、经济损失。
3.工业中的假片识别问题为两个底片图像中焊缝的相似性问题。目前业内普 遍采用人眼辨别“假片”的工作方式，费时费力，工作量大、繁琐和准确率低；
4.目前主流的相似度判断方法是通过直方图法、图像模板匹配法、psnr峰 值信噪比、ssim(structural similarity)结构相似性、感知哈希算法等来对比， 经试验鲁棒性极差，准确度低。
5.上述现有方法评判错误会影响焊接质量评价，从而造成安全问题。
6.为了克服现有方法的缺陷，本发明提出一种工业射线底片的假片识别方法。


技术实现要素：

7.有鉴于此，本发明为解决现有人工手段的种种不足以及当前其他方法对此 类长宽比例较大底片的相似度评判，准确率低的问题，提供一种工业射线底片 的假片识别方法，其通过构建孪生神经网络，然后对数据集的优化及主干特征 提取网络的改进保证了准确率及效率。
8.为解决现有技术存在的问题，本发明的技术方案是：一种工业射线底片的 假片识别方法，其特征在于：方法步骤为：
9.1)进行高斯差分法提取焊缝区域、提取包含中心点及以焊缝中心点对称的 五块感兴趣区域、对感兴趣区域伪彩色处理；
10.2)将伪彩色处理过的感兴趣区域送入改进过的孪生神经网络训练识别，得 出两两评判后的数值；
11.3)进行自定义权值运算，大于所取阈值判定为假片。
12.具体的方法为：
13.1)输入两张底片图像，分别为一张基准片和一张待判别片，将两张图像 分别分割成若干以底片宽度为边长的正方形区域，使用高斯差分法提取正方形 内焊缝区域，通过统计各焊缝区域纵向的上、下坐标，提取出完整焊缝区域， 并制定感兴趣区域提取规则，提取每块焊缝的五块感兴趣区域，对其进行序号 标定；
14.2)将每块焊缝提取到的五块感兴趣区域，进行伪彩色处理，然后按照标 定好的对应关系，送入经改进过的孪生神经网络进行训练识别，并对结果量化 处理，得到一一对应
的相似度概率值；
15.3)将得到的相似度概率值，一一与自定义的权值进行加权运算，输出真实 相似度评判值，若大于相似度评判阈值，判定为假片。
16.上述步骤1)中的高斯差分法提取焊缝区域的方法步骤为：
[0017]1‑
1)区域分块提取：对提取到的正方形区域左上角为坐标原点建立坐标 系，将横向、纵向分别进行四等分处理，取正方形区域右上角顶点、左下角顶 点距离坐标原点长度为1，取横纵向(1/4，3/4)部分区域；
[0018]2‑
2)两次高斯差分处理：输入p部分区域，即输入矩阵为i”local1/2
×
1/2
，使用 两个高斯低通滤波器分别平滑图像，其中平滑参数分别为δ1＝5、δ2＝10，然后对 平滑后图像作差，使得图像特征更加平稳，有效焊缝区域内出现明显的波峰， 更加容易区分；
[0019]3‑
3)确定x轴交点坐标：确定曲线与x轴交点坐标，其中左侧坐标为焊缝 上坐标的纵向坐标、右侧坐标为下坐标的纵向坐标；
[0020]4‑
4)焊缝区域定位：通过高斯差分法定位出来的焊缝区域为两条纵向线段 中包含的区域。
[0021]
上述步骤1)焊缝区域的提取方法为：
[0022]
对分块区域进行焊缝区域预提取，得到焊缝区域定位的上下坐标，对所有 上、下坐标的纵向坐标进行排序，取上坐标的纵向坐标最小值及下坐标纵向坐 标的最大值，确定纵向坐标区间，根据上下坐标的纵向区间，准确提取焊缝区 域。
[0023]
上述步骤1)感兴趣区域提取规则为：在两张底片上分别以等间距提取5 个正方形区域，五个正方形区域的边长为提取到的焊缝宽度。
[0024]
上述步骤2)中：
[0025]
所述的伪彩色处理是将单色图像变换成给定彩色分布的图像；
[0026]
所述的孪生神经网络是基于两个人工神经网络建立的耦合构架，以两个样 本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度，进行 小样本/单样本学习，且不容易被错误样本干扰；
[0027]
所述的孪生神经网络的主干特征提取网络为repvgg。
[0028]
上述步骤3)的具体方法为：
[0029]
将基准片和待判别片焊缝中分别提取到的五块感兴趣区域进行两两对比， 相似度概率值与自定义权值进行点乘，求出真实相似度评判值，其中自定义权 值为w
ai
‑
bi
，相似度概率值为sim(a
i
‑
b
i
)，相似度真实评判值为sim(a
i
‑
b
i
)，(a
i
‑
b
i
) 代表a
i
与b
i
的对比，i代表感兴趣区域编号。运算方法如公式(5)为：
[0030][0031]
其中，根据本发明自定义权值，w
ai
‑
bi
权重值分别为：w
a1
‑
b1
＝0.125， w
a2
‑
b2
＝0.125，w
a3
‑
b3
＝0.5，w
a4
‑
b4
＝0.125，w
a5
‑
b5
＝0.125
[0032]
根据上述公式，计算真实相似度评判值，阈值设定为0.900，当两张工业射 线底片的真实相似度评判值大于阈值0.900时，认定为及其相似，即认定为假 片。
[0033]
与现有技术相比，本发明的优点如下：
[0034]
1)本发明针对传统的阈值分割算法，对于不同目标灰度值有重叠分割不明 显、对灰度差异不明显等问题，本发明将传统的焊缝阈值分割问题转换为图像 信息统计学分析
问题，解决射线底片尤其过亮和过暗焊缝区域难以定位问题；
[0035]
2)本发明采用了基于改进的孪生神经网络，并设计了一套基于自定义权值 的底片相似度评判体系，确保了相似度评判的真实性、可靠性，为图像处理领 域中“以图搜图”、人脸验证的任务提供了理论思路；
[0036]
3)本发明提出的假片识别方法及焊缝区域定位方法，代替了人力，极大程 度提高了工作效率，降低了能耗；
[0037]
4)本发明方法可以有效的判别出工业底片中的假片，在261张测试集样本 中，准确率可达99.1％以上，该方法简洁有效，具有一定的实际可行性。
[0038]
5)由于工业底片长宽比大，内存大，像素多，特征多，对于孪生神经网络 来说，直接输入两张这样的底片进去训练识别，会极大地影响判别精度，从而 影响判别准确率，因此本发明采用分块提取区域的方式，而分块区域过多的话 会极大地增加时间开销；分块区域过少又会出现偶然性过大的情况、从而导致 判别失误，因此在充分保护精度和减少时间开销的情况下，经大量试验，本发 明选择提取五块感兴趣区域，为性价比最高的选择。
附图说明：
[0039]
图1为假片评定流程图；
[0040]
图2为底片图像分割示意图；其中(a)(b)(c)(d)均为以底片图像宽度 为边长的正方形区域，(e)为提取长度不足部分；
[0041]
图3为区域分块提取图；
[0042]
图4为有效焊缝区域差分图；其中样本差分输出图(a)为底片图像分割图 (a)提取到的正方形区域差分图；样本差分输出图(b)为底片图像分割图(b) 提取到的正方形区域差分图；样本差分输出图(c)为底片图像分割图(c)提 取到的正方形区域差分图；样本差分输出图(d)为底片图像分割图(d)提取 到的正方形区域差分图；样本差分输出图(e)为底片图像分割图(e)提取到 的区域差分图。
[0043]
图5为x轴交点坐标图；其中x轴坐标确定图(a)为底片图像分割图(a) 提取到的正方形区域确定的纵向坐标图；x轴坐标确定图(b)为底片图像分割 图(b)提取到的正方形区域确定的纵向坐标图；x轴坐标确定图(c)为底片 图像分割图(c)提取到的正方形区域确定的纵向坐标图；x轴坐标确定图(d) 为底片图像分割图(d)提取到的正方形区域确定的纵向坐标图；x轴坐标确定 图(e)为底片图像分割图(e)提取到的区域确定的纵向坐标图。
[0044]
图6为焊缝区域定位图；其中焊缝区域定位图(a)为底片图像分割图(a) 提取到的正方形区域中的焊缝定位图；焊缝区域定位图(b)为底片图像分割图(b)提取到的正方形区域中的焊缝定位图；焊缝区域定位图(c)为底片图像 分割图(c)提取到的正方形区域中的焊缝定位图；焊缝区域定位图(d)为底 片图像分割图(d)提取到的正方形区域中的焊缝定位图；焊缝区域定位图(e) 为底片图像分割图(e)提取到的区域中的焊缝定位图；
[0045]
图7为感兴趣区域提取规则制定图；其中(a)焊缝1图中a1、a2、a3、 a4、a5分别为基准片中预提取的以焊缝宽度为边长的五个正方形区域；(b)焊 缝2图中b1、b2、b3、b4、b5分别为判别片预提取的以焊缝宽度为边长的五个 正方形区域。
[0046]
图8为感兴趣区域提取图；其中(a)焊缝1图中a1、a2、a3、a4、a5分 别为基准片中提取到的以焊缝宽度为边长的五个正方形区域；(b)焊缝2图中 b1、b2、b3、b4、b5分别为判别
片提取到的以焊缝宽度为边长的五个正方形区 域。
[0047]
图9为相似度对比图；其中(a)为焊缝1中a1与焊缝2中b5相似度对比 结果图；(b)为焊缝1中a2与焊缝2中b4相似度对比结果图；(c)为焊缝1 中a3与焊缝2中b3相似度对比结果图；(d)为焊缝1中a4与焊缝2中b2相 似度对比结果图；(e)为焊缝1中a5与焊缝2中b1相似度对比结果图；
具体实施方式
[0048]
下面将结合本发明中的实施例，对本发明中的技术方案进行清楚、完整的 描述。显然所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。
[0049]
本发明一种工业射线底片的假片识别方法为：
[0050]
首先进行高斯差分法提取焊缝区域、提取焊缝区域中包含中心点及以焊缝 中心点对称的五块感兴趣区域、对感兴趣区域伪彩色处理；其次，将伪彩色处 理过的感兴趣区域送入改进过的孪生神经网络训练识别，得出两两评判后的概 率值；最后进行自定义权值运算，大于所取阈值判定为假片，如图1所示。
[0051]
具体包括如下步骤：
[0052]
第1步：感兴趣区域提取阶段
[0053]
输入两张底片图像，分别为一张基准片和一张待判别片，将两张图像分别 分割成若干以底片宽度为边长的正方形区域，使用高斯差分法提取正方形内焊 缝区域，通过统计各焊缝区域的纵向的上、下坐标，提取出完整焊缝区域，并 制定感兴趣区域提取规则，并提取每块焊缝的五块感兴趣区域，按序号对其进 行标定；主要步骤如下所示：
[0054]
(1)输入一张样本片和一张判别片；
[0055]
(2)将两张底片图像分割成若干正方形区域；
[0056]
如图2所示，将底片图像分割成若干以底片宽度为边长的正方形区域，其 中长度不足的以剩余长度提取，如图2所示，分割成五块区域，图2中(a)(b) (c)(d)为底片图像宽度为边长的正方形区域，图2(e)为提取长度不足部 分。
[0057]
(3)高斯差分法预提取焊缝区域
[0058]
提取焊缝区域是后续提取感兴趣区域的关键一步，本发明设计一种高斯差 分区域分块法预提取焊缝区域，将传统的焊缝阈值分割问题转换为图像信息统 计学分析问题。具体步骤为：
[0059]
a.区域分块提取
[0060]
对提取到的正方形区域左上角为坐标原点建立坐标系，将横向、纵向分别 进行四等分处理，取正方形区域右上角顶点、左下角顶点距离坐标原点长度为 1，取横纵向(1/4，3/4)部分区域，即图3中p部分区域。
[0061]
b.两次高斯差分处理
[0062]
该算法输入待定位焊缝局部区域，输出定位的有效焊缝区域。本发明设输 入矩阵为i”local1/2
×
1/2
，根据公式(1)将二维图像特征转换为一维图像特征，记为 h
1/2
×1，并对其进行公式(2)处理，其中h
i1
为h
1/2
×1中第i1个数据，h
mean
为h
1/2
×1的 均值，h
std
为h
1/2
×1的标准差。
[0063][0064][0065]
高斯差分算子提取输入图像边缘特征，使用两个高斯低通滤波器分别平滑 图像，然后对平滑后图像作差。本发明输入图像特征h
1/2
×1，作为输入进行两次 高斯差分，分别根据公式(3)和(4)分别进行横纵向高斯差分处理，其中δ2＞δ1， δ2＝10、δ1＝5，使得图像特征更加平稳，有效焊缝区域内出现明显的波峰，更加 容易区分，如图4所示。
[0066][0067]
其中如公式(4)所示：
[0068][0069]
c.确定x轴交点坐标
[0070]
如图5所示，确定高斯曲线与x轴交点坐标，其中左侧坐标为焊缝上坐标 的纵向坐标、右侧坐标为下坐标的纵向坐标。
[0071]
d.焊缝区域定位
[0072]
如图6所示，通过高斯差分法定位出来的焊缝区域为两条纵向线段中包含 的区域。
[0073]
(4)焊缝区域提取
[0074]
步骤(3)对分块区域进行焊缝区域预提取，得到焊缝区域定位的上下坐标， 对所有上、下坐标的纵向坐标进行排序，取上坐标的纵向坐标最小值及下坐标 纵向坐标的最大值，确定纵向坐标区间，根据上下坐标的纵向区间，准确提取 焊缝区域。
[0075]
(5)制定感兴趣区域提取规则
[0076]
如图7所示，为上一步骤提取到的焊缝1。a1
‑
a5为以提取到的焊缝宽度为 边长的五个正方形区域，a3为以焊缝长度的中点为中心点的正方形，五个矩形 之间间距相等。同理图7焊缝2中b1
‑
b5也是如此。(注：焊缝2为焊缝1旋转 180
°
的图像)
[0077]
(6)提取五块感兴趣区域
[0078]
第2步：相似度对比阶段
[0079]
将每块焊缝提取到的五块感兴趣区域，进行伪彩色处理，按照图中情况一 标定好的对应关系，送入经改进过的孪生神经网络进行训练识别，并对结果量 化处理，得到一一对应的相似度概率值；主要步骤如下所示：
[0080]
(1)感兴趣区域的伪彩色处理
[0081]
对提取到的感兴趣区域进行伪彩色处理，伪彩色处理是将单色图像变换成 给定彩色分布的图像，提高人眼对图像的细节分辨能力，以达到图像增强的目 的，由图6可以看到视觉效果明显增强了，便于下一步处理。
[0082]
(2)数据集的构建
[0083]
孪生神经网络是基于两个人工神经网络建立的耦合构架，以两个样本为输 入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度，进行小样本/ 单样本学习，且不容易被错误样本干扰。
[0084]
根据孪生神经网络特有的特征，本发明数据集采用不同分辨率下的感兴趣 区域，及经伪彩色处理过的感兴趣区域，每组分类下约40张，共计41组。
[0085]
(3)基于改进的孪生神经网络的识别
[0086]
为了使该网络的速度和精度得到同等提升，本发明将孪生神经网络的主干 特征提取网络由传统的vgg更换为repvgg。
[0087]
repvgg是一个分类网络，是在vgg网络的基础上进行改进，主要的改进包 括：(1)在vgg网络的block块中加入了identity和残差分支，相当于把resnet 网络中的精华应用到vgg网络中；(2)模型推理阶段，通过op融合策略将所 有的网络层都转换为conv3*3，便于模型的部署与加速。
[0088]
识别情况如图9所示，其中图9中，(a)、(b)、(c)、(d)、(e)分别为a1
‑
b5、 a2
‑
b4、a3
‑
b3、a4
‑
b2、a5
‑
b1的相似度对比结果。
[0089]
(4)输出两两对比后的相似度概率值
[0090]
第3步：自定义权值运算
[0091]
将得到的相似度概率值，一一与本发明自定义的权值进行加权运算，输出 真实相似度评判值，若大于相似度评判阈值，判定为假片。
[0092]
(1)相似度评判体系的建立
[0093]
根据发明的研究内容，建立相似度评判体系。经大量试验及数据分析，将 基准片和待判别片焊缝中分别提取到的五块感兴趣区域进行两两对比。介于中 间部分感兴趣区域相似度普遍较高(即图7中焊缝1中a3与焊缝2中b3对比)， 本发明提出相似度概率值与自定义权值进行点乘，求出真实相似度评判值。其 中自定义权值为ω(a
i
‑
b
i
)，相似度概率值为sim(a
i
‑
b
i
)，相似度真实评判值为 sim(a
i
‑
b
i
)，(a
i
‑
b
i
)代表a
i
与b
i
的对比，i代表感兴趣区域编号。运算方法如公 式(5)为：
[0094][0095]
其中，根据本发明自定义权值，w
ai
‑
bi
权重值分别为：w
a1
‑
b1
＝0.125， w
a2
‑
b2
＝0.125，w
a3
‑
b3
＝0.5，w
a4
‑
b4
＝0.125，w
a5
‑
b5
＝0.125。
[0096]
(2)输出真实相似度评判值
[0097]
根据上述公式，计算真实相似度评判值
[0098]
(3)阈值的设定
[0099]
根据大量测试及实验数据分析，本发明对阈值的设定为0.900。
[0100]
(4)假片的评定
[0101]
当两张工业射线底片的真实相似度评判值大于阈值0.900时，认定为及其 相似，即认定为假片。
[0102]
本发明提出的工业射线底片的假片识别方法，将工业射线底片的假片识别 问题转化为基于高斯差分法的底片感兴趣区域定位问题及基于孪生神经网络的 图像相似度对比问题，将复杂问题分解为多个简单问题，极大的简化了工程实 际中面临的假片识别问题。为大量的工业射线底片中的假片识别工作，提供了 一种理论依据和实际解决方法，具
有一定的实际可行性，为假片识别提供了可 行方案。
[0103]
以上所述仅是本发明的优选实施例，并非用于限定本发明的保护范围，应 当指出，对本技术领域的普通技术人员在不脱离本发明原理的前提下，对其进 行若干改进与润饰，均应视为本发明的保护范围。