电池表面缺陷和粘合剂检测方法、装置、介质和电子设备与流程

1.本发明涉及工业缺陷检测技术领域，特别是涉及一种电池表面缺陷和粘合剂检测方法、装置、存储介质以及电子设备。


背景技术：

2.自动工业检测是计算机视觉技术最重要的应用之一，这些检测系统中的大多数都集中在检测工业生产环境中的表面缺陷，例如划痕、空洞和变色。缺陷检测的传统方法是对图像进行预处理，然后人工提取特征，最后训练分类器对缺陷进行分类。其需要技术人员花费大量的时间利用图像算法提取特征，项目周期长，并且特征提取的好坏直接影响精度的高低，鲁棒性差，远远不能满足工业自动化生产对于缺陷检测的精度、速度和泛化能力的需求。
3.与传统方法相比，深度学习可以省略数据的预处理，直接从原始数据中学习抽象的、本质的特征，从而代替人工提取特征，近年来被广泛地应用于缺陷检测领域。电池表面的缺陷会导致电池内部的化学液体泄漏并导致可怕的事故，以及涂在电池表面用于后续密封的胶水粘合剂如果脱落，也会导致安全事故，因此对电池表面缺陷和粘合剂进行检测成为一项至关重要而且必要的任务。但是，电池表面的缺陷和粘合剂都是小规模的，并且随着高性能图像采集设备的普及，高质量图像获取的门槛得以降低，从而带来了高分辨率图像中检测小目标的问题，即缺陷只占整张高分辨率图片的一小部分，现有的深度学习模型很难自发地集中在这些零星分布的微小结构上，导致训练效果不佳，进而导致电池表面缺陷和粘合剂检测精度低，无法对电池表面缺陷和粘合剂的位置进行有效定位。


技术实现要素：

4.基于此，本发明的目的在于，提供一种电池表面缺陷和粘合剂检测方法、装置、存储介质以及电子设备，其具有提高电池表面缺陷和粘合剂检测精度、对表面缺陷位置和粘合剂位置进行定位的优点。
5.根据本技术实施例的第一方面，提供一种电池表面缺陷和粘合剂检测方法，包括如下步骤：
6.获取待检测的电池表面图像；
7.建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
8.将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
9.将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。
10.根据本技术实施例的第二方面，提供一种电池表面缺陷和粘合剂检测装置，包括：
11.获取模块，用于获取待检测的电池表面图像；
12.建立与训练模块，用于建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
13.分割模块，用于将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
14.分类模块，用于将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。
15.根据本技术实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述任意一项所述的电池表面缺陷和粘合剂检测方法。
16.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的电池表面缺陷和粘合剂检测方法。
17.本技术实施例通过获取待检测的电池表面图像，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型，所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络包括卷积网络以及残差挤压和激励网络，将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像，将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。利用所述分割网络中的卷积网络提取图像不同层次的特征，利用所述残差挤压和激励网络自适应的注意力特性，减少了分割网络的参数量，同时增大了感受野，提高了网络捕获小目标的能力，从而实现了提高电池表面缺陷和粘合剂检测精度、对电池表面缺陷位置和粘合剂位置进行定位。
18.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
19.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
20.图1为本发明电池表面缺陷和粘合剂检测方法的流程示意图；
21.图2为本发明电池表面缺陷和粘合剂检测方法中s30的流程示意图；
22.图3为本发明电池表面缺陷和粘合剂检测方法中s32的流程示意图；
23.图4为本发明电池表面缺陷和粘合剂检测方法中s40的流程示意图；
24.图5为本发明电池表面缺陷和粘合剂检测装置的结构框图；
25.图6为本发明电池表面缺陷和粘合剂检测装置分割模块56的结构框图；
26.图7为本发明电池表面缺陷和粘合剂检测装置第二输入单元562的结构框图。
具体实施方式
27.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
28.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
29.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
30.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
31.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
32.请参阅图1，本发明实施例提供一种电池表面缺陷和粘合剂检测方法，包括如下步骤：
33.s10.获取待检测的电池表面图像。
34.在本技术实施例中，通过高分辨率相机采集待检测的电池表面图像。
35.s20.建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积神经网络以及残差挤压和激励网络。
36.本技术实施例的卷积神经网络(convolutional neural networks，简称cnn)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。
37.本技术实施例的残差挤压和激励网络(residual squeeze
‑
and
‑
excitation，简称resse)是残差网络、挤压和激励网络两种网络结构的组合，其中，残差网络是一种卷积神经网络，其具有容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。挤压和激励网络通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应，可以学习使用全局信息来选择性地强调信息性特征，并抑制不太有用的特征。
38.表面异常在图像中占据很小的局部区域，因此需要深度学习网络保留详细信息，将异常与周围背景区分开来。同时，在真实的工业生产环境中收集异常图像的成本非常高，深度学习网络需要很好地适应最少量的训练样本。为此，本技术构建了电池表面缺陷和粘合剂检测模型。
39.具体的，在本技术实施例中，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型的过程如下：首先，构建数据集，由高分辨率相机采集工业电池表面的图像样
本，所述图像样本的一个像素近似对应于边长为7μm的正方形。所述图像样本包括电池表面缺陷和粘合剂，所述电池表面缺陷以各种形式出现，如划痕、空洞和腐蚀留下的痕迹，所述粘合剂呈现出较为单一的图案，在图像样本中看起来像细条。对于每个图像样本，这些电池表面缺陷和粘合剂的定位粗略地用点或虚线标注，然后根据这些标注生成两个地面实况掩码，值对y∈{0，1}2表示每个图像样本中存在电池表面缺陷和粘合剂。最终获得的整个数据集由591个训练图像样本和323个测试图像样本组成，每个图像样本具有512
×
1224大小和rgb通道。然后构建分割网络，将训练集数据输入到分割网络，利用像素分割标签对分割网络进行训练，输出电池表面缺陷图像和粘合剂图像。最后构建分类网络，将电池表面缺陷图像和粘合剂图像输入到分类网络，先将训练好的分割网络的权重参数冻结，然后再根据已标注的标签训练分类网络，有缺陷的样本标签为1，无缺陷的样本标签为0。将测试集数据输入到训练好的分割网络和分类网络中，输出0～1之间的概率值，概率越大代表存在缺陷的可能性越高。选用0.9作为判定正负样本的阈值，大于等于0.9的为有缺陷的样本，小于0.9的为无缺陷的样本。
40.所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络用于从训练样本图像背景中分割定位出缺陷和粘合剂，所述分类网络用于对电池表面缺陷和粘合剂进行分类，输出预测概率值。
41.s30.将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像。
42.在本技术实施例中，通过将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，提取不同层次的图像的特征，并利用嵌入在残差网络中的挤压和激励网络的自适应空间注意力特性，从而定位出所述电池表面图像的缺陷和粘合剂，得到电池表面缺陷图像和粘合剂图像。
43.s40.将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测。
44.在本技术实施例中，通过分类网络对所述电池表面缺陷图像和粘合剂图像进行概率预测，输出两个表面缺陷和粘合剂的分类分数。
45.应用本发明实施例，通过获取待检测的电池表面图像，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型，所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络包括卷积网络以及残差挤压和激励网络，将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像，将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到缺陷检测得分。利用所述分割网络中的卷积网络提取图像不同层次的特征，利用所述残差挤压和激励网络自适应的注意力特性，减少了分割网络的参数量，同时增大了感受野，提高了网络捕获小目标的能力，从而实现了提高电池表面缺陷和粘合剂检测精度、对电池表面缺陷位置和粘合剂位置进行定位。
46.在一个可选的实施例中，所述卷积网络包括第一卷积网络、第二卷积网络以及第三卷积网络，所述残差挤压和激励网络包括第一残差挤压和激励网络和第二残差挤压和激励网络。请参阅图2，所述步骤s30，包括s31～s35，具体如下：
47.s31.将所述电池表面图像输入至所述第一卷积网络进行特征提取，得到第一特征
图；
48.s32.将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第二特征图；
49.s33.将所述第二特征图输入至所述第二卷积网络进行特征提取，得到第三特征图；
50.s34.将所述第三特征图输入至所述第二残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第四特征图；
51.s35.将所述第四特征图输入至所述第三卷积网络，得到电池表面缺陷图像和粘合剂图像。
52.在本技术实施例中，通过第一卷积网络、第二卷积网络以及第三卷积网络对所述电池表面图像进行特征提取，得到特征图。通过所述第一残差挤压和激励网络和所述第二残差挤压和激励网络对所述特征图进行全局平均池化、通道建模和融合处理，实现空间信息的提取，从而达到高精度的定位缺陷和粘合剂位置。
53.在一个可选的实施例中，请参阅图3，所述步骤s32，包括s321～s323，具体如下：
54.s321.将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化，得到所述第一特征图的挤压信息；其中，所述全局平均池化公式为：
[0055][0056]
其中，为输入的所述第一特征图，h、w和c分别代表所述第一特征图的高度、宽度和通道维度，s
c
表示每个通道中所述第一特征图的挤压信息；
[0057]
s322.将所述挤压信息进行通道建模，得到所述第一特征图的激励值；其中，所述通道建模公式为：
[0058]
e
c
＝sigmoid(k2×
relu(k1×
s))
[0059]
其中k1和k2是所述第一残差挤压和激励网络中两个全连接层的参数矩阵，relu和sigmoid是激活函数，e
c
是所述第一特征图的激励值；
[0060]
s323.将所述激励值与所述第一特征图相乘，并与所述第一特征图相加融合，得到所述第二特征图；其中，所述融合公式为：
[0061][0062]
其中，为输出的所述第二特征图。
[0063]
在本技术实施例中，分割网络中采用了残差挤压和激励网络，可以有效地提高小目标的分割精度，也更容易捕获全局信息，并且有效地缓解小样本带来的过拟合问题。
[0064]
在一个可选的实施例中，所述第三卷积网络包括依次连接的第一卷积层、第二卷积层和第三卷积层；所述分类网络包括卷积层、全局最大池化层和全局平均池化层、以及全连接层；
[0065]
请参阅图4，所述步骤s40，包括s41～s45，具体如下：
[0066]
s41.将所述第四特征图输入至所述第一卷积层和所述第二卷积层进行特征提取，
得到第五特征图；
[0067]
s42.将所述第五特征图输入至所述分类网络的卷积层进行特征提取，得到第六特征图；
[0068]
s43.将所述第六特征图和所述电池表面缺陷图像和粘合剂图像输入至所述分类网路的全局最大池化层和全局平均池化层进行特征提取，得到最大池化结果和平均池化结果；
[0069]
s44.将所述最大池化结果和所述平均池化结果拼接，并输入到所述分类网络的全连接层，得到输出结果；
[0070]
s45.将所述输出结果经过sigmoid激活函数，得到电池表面缺陷和粘合剂检测得分。
[0071]
在本技术实施例中，所述分类网络通过结合特征图和电池表面缺陷图像和粘合剂图像来预测最终的分类分数。具体地，所述分类网络的卷积层用于调整分割网络提取的特征图，同时减小所述电池表面缺陷模型大小，以避免在有限的训练样本下过度拟合。联合采用全局最大池化和平均全局池化从电池表面缺陷图像和粘合剂图像和特征图中提取分类所需的信息，使用这种组合预测分类分数。
[0072]
在一个可选的实施例中，所述步骤s40之后，包括s402，具体如下：
[0073]
s402.将所述电池表面缺陷图像和粘合剂图像输入至sigmoid激活函数，得到电池表面缺陷分割掩码和粘合剂分割掩码；所述电池表面缺陷分割掩码用于定位电池表面缺陷位置，所述粘合剂分割掩码用于定位粘合剂位置。
[0074]
在本技术实施例中，通过sigmoid激活函数输出两个大小均为64
×
153的电池表面缺陷分割掩码和粘合剂分割掩码，从而定位电池表面缺陷位置和粘合剂位置。
[0075]
在一个可选的实施例中，所述步骤s20包括s22，具体如下：
[0076]
s22.采集所述电池表面图像样本，并通过数据增强扩充，得到扩充后的图像样本；其中，所述数据增强扩充包括：
[0077]
对于每个所述电池表面图像样本，随机确定不小于预定义阈值δ的作物比率δ；
[0078]
将所述电池表面图像样本进行随机裁剪，得到图像块，所述图像块的大小为所述电池表面图像样本大小与所述作物比率δ的乘积；
[0079]
调整所述图像块为统一的大小，输入至所述深度学习网络进行训练，获得电池表面缺陷和粘合剂检测模型。
[0080]
在实际的工业生产场景中，相机到电池表面的距离可以是多种多样的，从而产生电池表面的多尺度视图。在本技术实施例中，给定相机从固定距离收集电池表面图像样本，对数据集的数据增强扩充，来模拟真实场景并在训练期间生成各种尺度的图像样本。
[0081]
在一个可选的实施例中，所述电池表面缺陷和粘合剂检测模型包括二元交叉熵损失函数，所述二元交叉熵损失函数包括用于所述分割网络的第一二元交叉熵损失函数和用于所述分类网路的第二二元交叉熵损失函数。
[0082]
所述第一二元交叉熵损失函数的公式为：
[0083]
[0084]
其中，b、h和w分别表示训练样本的批次大小、高度维度和宽度维度，b表示所述训练样本的批次索引，p表示所述训练样本的高度维度和宽度维度的乘积索引，c表示通道索引，k是分类的类别数，表示所述分割网络给出的样本属于类别k的预测值，y
b，p，c
(k)表示所述分割网络的类别k的标签值；
[0085]
所述第二二元交叉熵损失函数的公式为：
[0086][0087]
其中，b表示所述训练样本的批次索引，c表示通道索引，k是分类的类别数，表示所述分类网络给出的样本属于类别k的预测值，y
b，c
(k)表示所述分类网络的类别k的标签值。
[0088]
在本技术实施例中，在建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型的过程中，使用二元交叉熵损失函数，将所述训练集输入至所述深度学习网络进行特征提取，获得特征图，并根据所述特征图以及所述二元交叉熵损失函数，计算所述交叉熵损失值，且所述交叉熵值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述深度学习网络的网络参数，以根据设定的迭代次数重复计算所述交叉熵损失值，直至所述交叉熵损失值下降至预设阈值。
[0089]
相应于上述方法实施例，请参阅图5，本发明实施例提供一种电池表面缺陷和粘合剂检测装置5，包括：
[0090]
获取模块52，用于获取待检测的电池表面图像；
[0091]
建立与训练模块54，用于建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
[0092]
分割模块56，用于将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
[0093]
分类模块58，用于将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到缺陷检测得分。
[0094]
可选的，请参阅图6，所述分割模块56，包括：
[0095]
第一输入单元561，用于将所述电池表面图像输入至所述第一卷积网络进行特征提取，得到第一特征图；
[0096]
第二输入单元562，用于将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第二特征图；
[0097]
第三输入单元563，用于将所述第二特征图输入至所述第二卷积网络进行特征提取，得到第三特征图；
[0098]
第四输入单元564，用于将所述第三特征图输入至所述第二残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第四特征图；
[0099]
第五输入单元565，用于将所述第四特征图输入至所述第三卷积网络，得到电池表面缺陷图像和粘合剂图像。
[0100]
可选的，请参阅图7，第二输入单元562，包括：
[0101]
池化单元5622，用于将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化，得到所述第一特征图的挤压信息；
[0102]
通道建模单元5624，用于将所述挤压信息进行通道建模，得到所述第一特征图的激励值；
[0103]
融合单元5626，用于将所述激励值与所述第一特征图相乘，并与所述第一特征图相加融合，得到所述第二特征图。
[0104]
应用本发明实施例，通过获取待检测的电池表面图像，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型，所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络包括卷积网络以及残差挤压和激励网络，将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像，将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到缺陷检测得分。利用所述分割网络中的卷积网络提取图像不同层次的特征，利用所述残差挤压和激励网络自适应的注意力特性，减少了分割网络的参数量，同时增大了感受野，提高了网络捕获小目标的能力，从而实现了提高电池表面缺陷和粘合剂检测精度、对电池表面缺陷位置和粘合剂位置进行定位。
[0105]
本技术还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的方法步骤。
[0106]
本技术还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述实施例的方法步骤。
[0107]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。