一种焊缝检测方法及装置与流程

1.本发明涉及焊接检测技术领域，具体涉及一种焊缝检测方法及装置。


背景技术：

2.对于通过焊接装配而成的产品而言，通常在产品上留下焊缝。以电池模组为例，盖板的周边焊接形成焊缝。而焊缝处的连接是否可靠，是产品性能的重要影响因素之一。
3.目前，焊缝的智能检测方法主要采用2d相机摄像进行灰度分析，但是焊缝的凹凸部分的灰度值相差不大，同时在微小的焊缝针中，其灰度值也难于识别。在此情况下，2d相机获取焊缝图像的检测方法中难以检测出凹凸类缺陷，同时微小焊接针孔缺陷的检出率不高，容易造成焊缝焊接缺陷的遗漏。


技术实现要素：

4.本发明的目的在于提供一种焊缝检测方法及装置，可以避免现有技术中的焊缝检测方法难以检测出凹凸类缺陷的问题。
5.本发明的目的是通过以下技术方案实现的：本发明提供一种焊缝检测方法，包括以下步骤：步骤一、获取焊缝的3d图像；通过3d算法模型对所述3d图像进行识别分析，判断是否存在第一焊接缺陷,然后进入步骤二；步骤二、获取焊缝的2d图像；通过2d算法模型对所述2d图像进行特征分析，判断是否存在第二焊接缺陷；步骤三、将均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像进行结合分析，判断是否存在第三焊接缺陷；步骤四、若焊缝均不存在第一焊接缺陷、第二焊接缺陷和第三焊接缺陷，则判定焊缝为合格，反之，则判定焊缝为不合格。
6.进一步的，所述步骤一中，还包括利用3d相机对焊缝进行360度扫描；所述步骤二中，还包括利用2d相机对工件的焊缝进行拍摄。
7.进一步的，所述通过3d算法模型对所述3d图像进行识别分析，判断是否存在第一焊接缺陷包括：对3d图像的灰度和深度进行分析，结合灰度特征和三维立体特征，计算焊缝的凸起高度和凹陷高度是否在设定阈值内，若不在设定阈值内，则将第一焊接缺陷分类成凸起缺陷和凹陷缺陷。
8.进一步的，所述凸起缺陷包括焊缝凸起、焊缝爆点和焊缝变形；所述凹陷缺陷包括焊缝凹陷、焊缝针孔和焊缝变形。
9.进一步的，所述通过2d算法模型对所述2d图像进行特征分析，判断是否存在第二焊接缺陷包括：对2d图像进行灰度特征分析，提取出潜在缺陷区域，并计算所述潜在缺陷区域的
长度、半径和偏移量是否在设定阈值内，若不在设定阈值内，则将第二焊接缺陷分类成长度缺陷、半径缺陷和偏移缺陷。
10.进一步的，所述长度缺陷包括焊缝变黑和焊缝裂纹；所述半径缺陷包括焊缝针孔；所述偏移缺陷包括焊缝爆点。
11.进一步的，所述将均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像进行结合分析，判断是否存在第三焊接缺陷包括：筛选出均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像；结合所述焊缝的3d图像和2d图像生成三维模型；通过深度学习算法识别所述三维模型，得到疑似不良的微小区域；通过ai分割出疑似不良区域，结合剥面效果进行分析，将第三焊接缺陷分类为焊缝针孔和其它焊接缺陷。
12.进一步的，所述利用3d相机对焊缝进行360度扫描具体指：通过固定3d相机与待测物体的角度，调节待测物体的旋转，对焊缝进行360度扫描。
13.本发明还提供一种焊缝检测装置，包括：3d图像获取模块，用于获取焊缝的3d图像；2d图像获取模块，用于获取焊缝的2d图像；算法判断模块，用于对所述3d图像进行识别分析，判断是否存在第一焊接缺陷、用于通过2d算法模型对所述2d图像进行特征分析，判断是否存在第二焊接缺陷、用于将均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像进行结合分析，判断是否存在第三焊接缺陷。
14.进一步的，所述算法判断模块包括分类子模块；所述分类子模块，用于将第一焊接缺陷分类成凸起缺陷和凹陷缺陷、用于将第二焊接缺陷分类成长度缺陷、半径缺陷和偏移缺陷、用于将第三焊接缺陷分类为焊缝针孔和其它焊接缺陷。
15.进一步的，所述算法判断模块还包括：筛选子模块。用于筛选出均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像；三维模型生成子模块，用于结合所述焊缝的3d图像和2d图像生成三维模型。
16.识别子模块，用于通过深度学习算法识别所述三维模型，得到疑似不良的微小区域。
17.ai分析子模块，用于通过ai分割出疑似不良区域，结合剥面效果进行分析，将第三焊接缺陷分类为焊缝针孔和其它焊接缺陷。
18.本发明的有益效果：1.本发明的焊缝检测方法通过获取焊缝的3d图像和2d图像，利用3d算法模型对3d图像进行识别分析，主要检测出焊缝的凹凸类缺陷；利用2d算法模型对2d图像进行识别分析,主要检测出焊缝的爆点和偏大的针孔缺陷。
19.2.本发明的焊缝检测方法通过利用3d图像和2d图像的结合生成三维模型，再通过深度学习算法识别三维模型得到疑似不良的微小区域，通过ai分割出疑似不良区域，结合
剥面效果进行分析，检测出微小焊缝针孔，避免的微小焊缝针孔缺陷的更多遗漏，提高检出率。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
21.图1为焊缝检测方法的步骤示意图；图2为焊缝检测方法的工位布局示意图；图3为3d算法模型中焊缝凹凸类缺陷的判断原理示意图；图4为3d算法模型中焊缝爆点/针孔的判断原理示意图。
具体实施方式
22.下面结合附图对本公开实施例进行详细描述。
23.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
24.为了更好的说明焊缝检测的过程和原理，以下实施例中所描述的焊缝以电池两侧盖板的焊缝为例进行检测说明。
25.请参阅图1和图2，本发明实施例提供一种焊缝检测方法，包括以下步骤：步骤一、利用3d相机对电池两侧盖板的焊缝进行360度扫描，获取焊缝的3d图像；通过3d算法模型对所述3d图像进行识别分析，判断是否存在第一焊接缺陷,主要为凹凸类的焊接缺陷，然后进入步骤二；通过固定3d相机与待测物体（电池盖板两侧的焊缝）的角度，调节电池的中轴进行旋转，对焊缝进行360度扫描，设置为3d工位；此部分涉及对待测物体电池的旋转的结构设计，由于此部分设计在相关技术文件中以实现，在此不在赘述，主要说明具体的检测过程。
26.其中，3d工位中3d相机的设置为：电池沿水平中轴旋转，3d相机进行扫描；相机工作距离：64
ꢀ±ꢀ
7.3mm；相机扫描幅宽：16mm；相机扫描分辨率：0.005mm/pixel；速度：150mm/s。
27.步骤二、用2d相机对工件的焊缝进行拍摄，获取焊缝的2d图像；通过2d算法模型对所述2d图像进行特征分析，判断是否存在第二焊接缺陷，主要为焊缝爆点和偏大的焊缝针孔。
28.其中，2d工位中2d相机的设置为：相机垂直电池的顶盖端面进行拍摄；相机工作距离：130
ꢀ±ꢀ
20mm；相机视野：66*50mm；相机扫描分辨率：0.016mm/pixel。
29.步骤三、将均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像进行结合分析，判断是否存在第三焊接缺陷，主要为微小的焊缝针孔。
30.步骤四、若焊缝均不存在第一焊接缺陷、第二焊接缺陷和第三焊接缺陷，则判定焊缝为合格，反之，则判定焊缝为不合格。
31.进一步的，本发明的一个优选实施方式中，所述通过3d算法模型对所述3d图像进行识别分析，判断是否存在第一焊接缺陷包括：由于3d图像的原始图像包括灰度图像和深度图像，对3d图像的灰度和深度进行分析，结合灰度特征和三维立体特征，计算焊缝的凸起高度和凹陷高度是否在设定阈值内，（如图3所示，焊接轨迹本身凹凸不平且高度变化平缓。但缺陷焊缝凸起超过预设阈值时往往再高度上存在突变）若不在设定阈值内，则将第一焊接缺陷分类成凸起缺陷和凹陷缺陷。
32.如图4所示，所述凸起缺陷包括焊缝凸起、焊缝爆点（爆点陡然升高）和焊缝变形；所述凹陷缺陷包括焊缝凹陷、焊缝针孔（针孔陡然减）和焊缝变形。
33.进一步的，本发明的一个优选实施方式中，所述通过2d算法模型对所述2d图像进行特征分析，判断是否存在第二焊接缺陷包括：对2d图像进行灰度特征分析，提取出潜在缺陷区域，并计算所述潜在缺陷区域的长度、半径和偏移量是否在设定阈值内，若不在设定阈值内，则将第二焊接缺陷分类成长度缺陷、半径缺陷和偏移缺陷。
34.所述长度缺陷包括焊缝变黑和焊缝裂纹；所述半径缺陷包括焊缝针孔；在2d图像中识别区域的灰度值大于预设阈值时，此部分区域为具有所述焊缝穿孔或所述焊缝变色的潜在缺陷的缺陷区域，通过识别计算潜在缺陷的缺陷区域的长度（判断焊缝裂纹）或者半径（判断焊缝针孔）当计算到的长度或者半径大于预设阈值时，则判定存在缺陷。
35.所述偏移缺陷包括焊缝爆点，焊缝爆点在3d中判断爆点的凸起高度，爆点的水平方向上判断其偏移量，偏移缺陷：焊缝的采样部位与基准部位之间的距离，当该距离大于预设阈值时，判定存在焊缝偏移缺陷。
36.进一步的，本发明的一个优选实施方式中，所述将均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像进行结合分析，判断是否存在第三焊接缺陷包括：筛选出均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像；结合所述焊缝的3d图像和2d图像生成三维模型；通过深度学习算法识别所述三维模型，得到疑似不良的微小区域；通过ai分割出疑似不良区域，结合剥面效果进行分析，将第三焊接缺陷分类为焊缝针孔和其它焊接缺陷。
37.深度学习算法和ai识别的具体原理如下（此类技术应用较为成熟，以下简述过程）：数据收集阶段：采用传统特征（灰度特征）检测算法，对图像与分类保存；数据标注阶段：算法工程师与标注工程师按照缺陷学习与标准缺陷文档要求，对收集到的各缺陷进行标注操作；模型训练与模型选择：输入已标注的样本集至深度学习网络，使其可对缺陷特征结构进行归类，对比不同深度网络输出缺陷判定的真伪结果并结合人工复判选定最优解模
型；模型迭代与精度爬坡阶段：持续采集缺陷数据，为模型判断准确率提供数据支持。
38.图像校正与检测模型优化技术：前景分割算法：对焊缝在图片中的位置进行精确定位和分割；multi-scale training：多尺度训练模型，适应多尺寸图片自动缩放；noise label：带噪声学习，增强模型使用有噪声数据的容错性；cp-paste：目的是在模型训练过程中的缺陷样本量少的情况，自动合成缺陷样本；动态采样算法：通常情况下，模型训练过程中如果输入的缺陷分布不均、数量比例失调会导致模型预测准确度降低，动态采样算法的目的就是为了削弱这些问题。
39.本发明实施例还提供一种焊缝检测装置，包括：3d图像获取模块，用于获取焊缝的3d图像；其中3d图像的原始图像包括深度图像和灰度图像。
40.2d图像获取模块，用于获取焊缝的2d图像；2d图像原始图像为灰度图像。
41.算法判断模块，用于对所述3d图像进行识别分析，判断是否存在第一焊接缺陷、用于通过2d算法模型对所述2d图像进行特征分析，判断是否存在第二焊接缺陷、用于将均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像进行结合分析，判断是否存在第三焊接缺陷。
42.具体的，所述算法判断模块包括分类子模块；所述分类子模块，用于将第一焊接缺陷分类成凸起缺陷和凹陷缺陷、用于将第二焊接缺陷分类成长度缺陷、半径缺陷和偏移缺陷、用于将第三焊接缺陷分类为焊缝针孔和其它焊接缺陷。
43.具体的，所述算法判断模块还包括：筛选子模块，用于筛选出均不存在第一焊接缺陷和第二焊接缺陷的焊缝的3d图像和2d图像；三维模型生成子模块，用于结合所述焊缝的3d图像和2d图像生成三维模型。
44.识别子模块，用于通过深度学习算法识别所述三维模型，得到疑似不良的微小区域。
45.ai分析子模块，用于通过ai分割出疑似不良区域，结合剥面效果进行分析，将第三焊接缺陷分类为焊缝针孔和其它焊接缺陷。
46.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
47.以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。