基于深度学习语义分割的新能源电池焊接缺陷检测方法与流程

1.本发明涉及新能源电池焊接缺陷检测技术领域，特别涉及一种基于深度学习语义分割的新能源电池焊接缺陷检测方法。


背景技术：

2.目前，新能源电池已广泛应用于汽车、航空航天、飞机和电气设备的各个部分。工业进入4.0时代以来，一个大趋势是越来越多的机器人逐渐取代了人，这可以大大提高生产效率。然而，缺点是在自动焊接过程中，没有人为智能地来控制或停止焊接缺陷。此外，由于焊接过程的复杂性和随机性，安全阀表面的塌陷、孔洞、焊接不完整等缺陷通常是不可避免的。这些缺陷不仅影响电池的外观和性能，而且存在电池泄漏或电池爆炸等安全隐患。因此，保证新能源电池整个制造工艺链的实时监测和缺陷检测具有重要意义。但在大规模质量控制过程中，焊接缺陷仍由人工反复检测，具有主观性强、精度有限、效率低的缺点。因此，人们对自动焊接缺陷检测系统的需求十分迫切。本发明通过基于深度学习的语义分割方法，能够高效精确地检测出缺陷的类别、位置和形状的几何信息。此外，这种方法将有助于评估产品质量和优化生产过程，以减少缺陷产品的数量，适合投入工业市场使用。
3.专利号cn107093175b提出了利用图像分割的方法对动力电池缺陷进行检测。
4.传统的计算机视觉算法需要对参数选择进行工程判断，或者使用传统的基于图像处理算法和统计机器学习模型的方法对手工制作的特征进行调整，以提供精度上的优势。随着工业4.0范式的发展，生产线的推广，需要快速适应新产品，这限制了传统计算机视觉算法的通用性。设计不同的特性以适应不同的工件需要很长的开发周期和专家经验，这对于工业应用是难以接受的。而基于深度学习的图像分类算法和目标检测算法，虽然它们对缺陷的类别进行了很好的分类，并且可以适应不同的产品，但要覆盖同一图像中不同焊接缺陷类型的多次出现仍然具有挑战性。此外，这两种方法都不采用像素级的缺陷检测，除非与后处理算法相结合，否则它们不能计算缺陷的面积。


技术实现要素：

5.为了解决上述技术问题，本发明提供了一种基于深度学习语义分割的新能源电池焊接缺陷检测方法，包括以下步骤：
6.s100现场实时采集新能源电池焊接的焊接图片；
7.s200对焊接图片进行预处理；
8.s300将预处理后的焊接图片输入基于深度学习的语义分割模型中进行缺陷判断，输出缺陷判断结果。
9.可选的，在s300步骤中，所述语义分割模型通过以下方式构建：
10.s310获取训练集、验证集和测试集，所述训练集、验证集和测试集由新能源电池焊接的合格样本图片和标注缺陷类型后的缺陷样本图片随机按比例分成得到；
11.s320构建语义分割神经网络，并将训练集的缺陷样本图片输入语义分割神经网络
进行数据训练，在每轮训练结束后，将验证集的缺陷样本图片输入语义分割神经网络进行验证，通过性能评判指标保存一组训练得到的最佳模型参数；
12.s330将测试集的缺陷样本图片输入训练后的语义分割神经网络，输出分割结果；若结果与测试集的缺陷样本标注不相符则重新清洗出的合格样本图片和缺陷样本图片，进行缺陷样本图片的缺陷类型标注，分配训练集、验证集和测试集用于语义分割神经网络的数据训练；若结果与测试集的缺陷样本标注相符，即以该训练后的语义分割神经网络作为语义分割模型。
13.可选的，在s310步骤中，所述合格样本图片和标注缺陷类型后的缺陷样本图片通过以下方式得到：
14.s311根据缺陷产生的原因以及缺陷之间存在的差异，定义缺陷类型；
15.s312采集新能源电池焊接的样本图片，从样本图片中清洗出的合格样本图片和缺陷样本图片，并对缺陷样本图片进行缺陷类型的人工标注。
16.可选的，在s311步骤中，缺陷类型定义为焊洞缺陷、焊塌缺陷、焊高缺陷、缺焊缺陷、偏位缺陷和未焊缺陷这六种；在s312步骤中，采集新能源电池焊接的样本图片不少于四万张，清洗出的合格样本图片和缺陷样本图片分别不少于560张和4100张。
17.可选的，在s312步骤中，对缺陷样本图片进行缺陷类型的人工标注使用labelme标注工具进行。
18.可选的，在s310步骤中，所述训练集、验证集和测试集的缺陷样本图片比例为8：1：1。
19.可选的，在s300步骤中，若焊接图片的缺陷判断为存在缺陷，则显示出缺陷所在的区域，并通过显示颜色代表缺陷类型。
20.可选的，在s100步骤中，采集焊接图片时，若环境亮度低于亮度阈值则进行照明补偿；并对采集的焊接图片进行如下处理：
21.首先，对焊接图片进行多层小波分解，得到各个频率段的小波系数；
22.其次，将各个频率段的小波系数与系数阈值进行对比，若小波系数大于系数阈值，则对相应频率段的小波系数进行增强处理；
23.最后，对处理之后的小波系数进行小波重构，得到增强后的焊接图片。
24.可选的，在s300步骤中，缺陷所在区域通过以下过程进行定位：
25.首先，建立定位坐标系，选定焊接图片的一个角作为定位坐标系的原点，以像素作为坐标单位；
26.其次，标记焊接图片中每一个点的像素坐标值；
27.最后，根据语义分割模型判断的缺陷在焊接图片中的坐标，确定缺陷所在区域的像素坐标值范围。
28.可选的，在s100步骤中，实时采集新能源电池焊接的多项焊接参数，所述焊接参数包括焊接环境参数和焊接控制参数；在s300步骤中，将缺陷判断结果与焊接参数进行关联并存储；
29.按照设定周期对存储的缺陷判断结果及其关联的焊接参数进行数据分析，将焊接合格产品与有焊接缺陷产品各自所关联的焊接参数进行比对，通过预设算法计算各焊接参数对焊接质量的影响系数，根据影响系数排序得到各焊接参数对焊接质量的影响排序；
30.从排序中选定对焊接质量影响排位在设定名次之前的焊接参数，再就焊接合格产品关联的对应焊接参数的正态分布情况，取正态分布中值作为对焊接质量影响排位在设定名次之前的对应焊接参数的最佳值；
31.在焊接控制中，以对应焊接参数的最佳值作为新能源电池焊接的焊接参数控制值。
32.本发明的基于深度学习语义分割的新能源电池焊接缺陷检测方法，通过实时采集新能源电池焊接的焊接图片，经预处理后，再由基于深度学习的语义分割模型进行缺陷判断得到结果；其中的语义分割模型基于语义分割神经网络构建，语义分割网络中的分割头可以监督上下文信息分支的不同位置来获取不同阶段的特征语义信息，与空间分支做到更好地互补与融合。网络中所使用的到的卷积核可以根据实际应用需求进行替换，轻量化模型，便于部署到嵌入式设备，进行实时监测，有效结合了缺陷的空间信息和语义信息，能够检测出多种缺陷，提高网络检测小缺陷的能力，并实现速度和准确性之间的良好权衡；本发明提出的基于深度学习的语义分割网络的新能源电池焊接缺陷检测算法可以将生产现场采集来的图片数据经预处理后直接送入模型中进行判决而无需人工干预，相比较于传统人工筛选以及后来的基于机器视觉的缺陷检测方法，减少了大量人力，且其缺陷检测速率和精度都大大提高，性能更加优越，同时，该算法能够做到零漏检率，这对工业应用具有重大意义。
33.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
34.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
35.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
36.图1为本发明实施例中一种基于深度学习语义分割的新能源电池焊接缺陷检测方法流程图；
37.图2为本发明的基于深度学习语义分割的新能源电池焊接缺陷检测方法实施例采用的语义分割模型构建方式流程图；
38.图3为本发明的基于深度学习语义分割的新能源电池焊接缺陷检测方法实施例采用的语义分割模型构建中使用的合格样本图片和标注缺陷类型后的缺陷样本图片的获取方式流程图；
39.图4为本发明的基于深度学习语义分割的新能源电池焊接缺陷检测方法实施例的缺陷样本图片标注示意图；
40.图5为本发明的基于深度学习语义分割的新能源电池焊接缺陷检测方法实施例的语义分割神经网络结构示意图；
41.图6为图5中的信息子模块示意图。
具体实施方式
42.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
43.如图1
‑
6所示，本发明实施例提供了一种基于深度学习语义分割的新能源电池焊接缺陷检测方法，包括以下步骤：
44.s100现场实时采集新能源电池焊接的焊接图片；
45.s200对焊接图片进行预处理；
46.s300将预处理后的焊接图片输入基于深度学习的语义分割模型中进行缺陷判断，输出缺陷判断结果。
47.上述技术方案的工作原理和有益效果为：本方案通过实时采集新能源电池焊接的焊接图片，经预处理去除噪音干扰后，再由基于深度学习的语义分割模型进行缺陷判断得到结果；其中的语义分割模型基于语义分割神经网络构建，语义分割网络中的分割头可以监督上下文信息分支的不同位置来获取不同阶段的特征语义信息，与空间分支做到更好地互补与融合。网络中所使用的到的卷积核可以根据实际应用需求进行替换，轻量化模型，便于部署到嵌入式设备，进行实时监测，有效结合了缺陷的空间信息和语义信息，能够检测出多种缺陷，提高网络检测小缺陷的能力，并实现速度和准确性之间的良好权衡；本方案提出的基于深度学习的语义分割网络的新能源电池焊接缺陷检测算法可以将生产现场采集来的图片数据经预处理后直接送入模型中进行判决而无需人工干预，相比较于传统人工筛选以及后来的基于机器视觉的缺陷检测方法，减少了大量人力，且其缺陷检测速率和精度都大大提高，性能更加优越，同时，该算法能够做到零漏检率，这对工业应用具有重大意义。
48.在一个实施例中，如图2所示，在s300步骤中，所述语义分割模型通过以下方式构建：
49.s310获取训练集、验证集和测试集，所述训练集、验证集和测试集由新能源电池焊接的合格样本图片和标注缺陷类型后的缺陷样本图片随机按比例分成得到；
50.s320构建语义分割神经网络，并将训练集的缺陷样本图片输入语义分割神经网络进行数据训练，在每轮训练结束后，将验证集的缺陷样本图片输入语义分割神经网络进行验证，通过性能评判指标保存一组训练得到的最佳模型参数；
51.s330将测试集的缺陷样本图片输入训练后的语义分割神经网络，输出分割结果；若结果与测试集的缺陷样本标注不相符则重新清洗出的合格样本图片和缺陷样本图片，进行缺陷样本图片的缺陷类型标注，分配训练集、验证集和测试集用于语义分割神经网络的数据训练；若结果与测试集的缺陷样本标注相符，即以该训练后的语义分割神经网络作为语义分割模型。
52.上述技术方案的工作原理和有益效果为：本方案的语义分割模型，在构建方法中引入有监督训练方法，采用双分支(two
‑
branch)语义分割神经网络，轻量化的空间分支(spatial branch)仅仅通过堆叠几个卷积层就能够提取低级空间细节，上下文信息分支(context branch)通过改进、组合mobilenetv2中的mobile inverted bottleneck作为分支的主干部分，再细化不同尺度的高级语义。这两个分支得到的特征表示是具有互补意义的，所以通过特征融合块进行融合，给定训练集样本输入到网络中进行训练，在每轮训练结束后，验证集样本输入模型进行验证，通过性能评判指标保存一组训练得到的最佳模型参
数；采用双分支语义分割网络能准确提取缺陷特征，有效解决了类内不一致和类间模糊的问题，大大提高新能源电池缺陷检测的精度；低级特征映射的语义较弱，为了确保特征映射语义强，且缺陷检测准确率良好，本发明插入分割头(segment head)以监督上下文分支的不同位置。它优化了模型，使得模型所得到的特征信息更加丰富，并在实际检测的阶段增加的计算复杂度较小。
53.在一个实施例中，如图3所示，在s310步骤中，所述合格样本图片和标注缺陷类型后的缺陷样本图片通过以下方式得到：
54.s311根据缺陷产生的原因以及缺陷之间存在的差异，定义缺陷类型；
55.s312采集新能源电池焊接的样本图片，从样本图片中清洗出的合格样本图片和缺陷样本图片，并对缺陷样本图片进行缺陷类型的人工标注。
56.上述技术方案的工作原理和有益效果为：本方案对用于构建语义分割模型进行训练的训练集、验证集和测试集中的样本图片提供了取得方式，即以实际工业现场的流水线上采集的样本图片，通过定义的缺陷类型进行人工标注后得到；以此方法得到的样本图片进行训练，能够使得训练后得到语义分割模型与新能源电池焊接契合度高，从而提高模型的适用性和处理准确性。
57.在一个实施例中，在s311步骤中，缺陷类型定义为焊洞缺陷、焊塌缺陷、焊高缺陷、缺焊缺陷、偏位缺陷和未焊缺陷这六种；在s312步骤中，采集新能源电池焊接的样本图片不少于四万张，清洗出的合格样本图片和缺陷样本图片分别不少于560张和4100张。例如合格样本图片568张和缺陷样本图片4140张。
58.上述技术方案的工作原理和有益效果为：本方案将焊接的缺陷类型定义为焊洞缺陷、焊塌缺陷、焊高缺陷、缺焊缺陷、偏位缺陷和未焊缺陷这六种，在采集的大量样本图片中，清洗出一部分合格样本图片和缺陷样本图片，用于分配组成训练用的训练集、验证集和测试集；通过清洗可以排除部分品质较低的样本图片，提高用于训练的样本图片质量，从而提高训练的效率，增强训练效果。
59.在一个实施例中，在s312步骤中，对缺陷样本图片进行缺陷类型的人工标注使用labelme标注工具进行。
60.上述技术方案的工作原理和有益效果为：本方案采用labelme标注工具来对缺陷样本图片进行缺陷类型的标注，labelme是一个开源图像标注工具，相比较于传统人工筛选标注，标注效率更高，减少了大量人力。
61.在一个实施例中，在s310步骤中，所述训练集、验证集和测试集的缺陷样本图片比例为8：1：1。
62.上述技术方案的工作原理和有益效果为：本方案对创建的训练集、验证集和测试集，给定了三者样本量的比例为8：1：1，可以在保证训练效果的同时，控制训练的效率。
63.在一个实施例中，在s300步骤中，若焊接图片的缺陷判断为存在缺陷，则显示出缺陷所在的区域，并通过显示颜色代表缺陷类型。即不同的颜色代表不同的缺陷类型。
64.上述技术方案的工作原理和有益效果为：本方案对于判断为存在缺陷的焊接图片，显示出缺陷所在的区域，并通过显示颜色代表缺陷类型；不同的缺陷类型以不同的颜色代表，可以增强识别显示的对比度与直观性，能够快速获取缺陷类型信息，避免需要二次辨别。
65.在一个实施例中，在s100步骤中，采集焊接图片时，若环境亮度低于亮度阈值则进行照明补偿；并对采集的焊接图片进行如下处理：
66.首先，对焊接图片进行多层小波分解，得到各个频率段的小波系数；
67.其次，将各个频率段的小波系数与系数阈值进行对比，若小波系数大于系数阈值，则对相应频率段的小波系数进行增强处理；
68.最后，对处理之后的小波系数进行小波重构，得到增强后的焊接图片。
69.上述技术方案的工作原理和有益效果为：本方案中的焊接图片表示二维离散数字信号，小波分解时对其进行二维离散小波变换，若小波分解为三层分解，过程为：给定一幅焊接图片，分别在水平和垂直方向上进行滤波，得到四个频率子带为：水平与垂直方向上的低频子带，水平向低频与垂直向高频组成的子带，水平向高频与垂直向低频组成的子带，水平向与垂直向高频子带，对低频子带再进行分解可以得到频率更低的四个次频率子带，接着再对单个次频率子带分解为四个二阶次频率子带；小波分解的层数越多，增强效果越好，但是分解层数多时，计算量就越大，所以，需要考虑分解次数和算法效率之间的权衡；对需要增强的信息在对应频率段的小波系数分别进行增强处理，达到去除噪声或者增强目标的目的；小波重构为小波分解的逆变换过程，每重构一次，信号量就可增加一倍；可以提高用于分析的焊接图片质量，排除干扰，从而提高分析结果的准确性。
70.在一个实施例中，在s300步骤中，缺陷所在区域通过以下过程进行定位：
71.首先，建立定位坐标系，选定焊接图片的一个角作为定位坐标系的原点，以像素作为坐标单位；
72.其次，标记焊接图片中每一个点的像素坐标值；
73.最后，根据语义分割模型判断的缺陷在焊接图片中的坐标，确定缺陷所在区域的像素坐标值范围。
74.上述技术方案的工作原理和有益效果为：本方案通过建立坐标系，对焊接图片中的各点进行定位标记，在识别出缺陷时，即可用缺陷在焊接图片中的坐标对应的像素坐标值，确定缺陷所在区域的像素坐标值范围，作为缺陷的位置进行输出反馈，实现缺陷点精确的定位识别，为缺陷补救提供精确定位基础，提高处理效率。
75.在一个实施例中，在s100步骤中，实时采集新能源电池焊接的多项焊接参数，所述焊接参数包括焊接环境参数和焊接控制参数；在s300步骤中，将缺陷判断结果与焊接参数进行关联并存储；
76.按照设定周期对存储的缺陷判断结果及其关联的焊接参数进行数据分析，将焊接合格产品与有焊接缺陷产品各自所关联的焊接参数进行比对，通过预设算法计算各焊接参数对焊接质量的影响系数，根据影响系数排序得到各焊接参数对焊接质量的影响排序；
77.从排序中选定对焊接质量影响排位在设定名次之前的焊接参数，再就焊接合格产品关联的对应焊接参数的正态分布情况，取正态分布中值作为对焊接质量影响排位在设定名次之前的对应焊接参数的最佳值；
78.在焊接控制中，以对应焊接参数的最佳值作为新能源电池焊接的焊接参数控制值。
79.上述技术方案的工作原理和有益效果为：本方案通过实时采集新能源电池焊接的多项焊接参数，并将其与缺陷判断结果关联存储，以设定周期对存储数据进行分析，得到各
焊接参数对焊接质量的影响程度排序，排序由影响程度高到影响程度低，针对焊接质量的影响排位在设定名次之前的焊接参数；通过统计合格产品关联的对应焊接参数的正态分布情况，取正态分布中值作为对焊接质量影响排位在设定名次之前的对应焊接参数的最佳值，以此最佳值作为后续焊接的控制值；本方案可以自动调整新能源电池焊接工艺中的焊接参数控制，即赋予了焊接工艺的自身改善功能，提高焊接合格率，减少焊接缺陷几率，从而降低成本，提高生产效率。
80.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。