基于YOLOv5的锂电池缺陷检测方法、系统、设备以及存储介质与流程

基于yolov5的锂电池缺陷检测方法、系统、设备以及存储介质
技术领域
1.本发明涉及工业自动化机器视觉技术领域，尤其涉及一种基于yolov5的锂电池缺陷检测方法、系统、设备以及存储介质。


背景技术：

2.在生产加工过程中，因工艺限制或操作失误，锂电池表面难免会出现划痕、凹坑等缺陷。这些缺陷除了会降低产品质量外，还有可能造成安全隐患。因此，必须对锂电池的表面进行缺陷检测。在工业自动化机器视觉领域，目标检测算法逐渐取代了传统机器视觉在缺陷检测领域的地位。近年来，得益于算法通用性强和背景误检率低的优点，yolo及其改进算法受到市场的青睐。而yolov5模型是yolo系列算法中检测速度及精度表现良好的检测算法。目前市面上很多基于yolov5的算法都是对整张图像进行处理，这种处理的缺点有以下两点：一是锂电表面缺陷检测行业通常采集到的作为模型输入的样本图像尺寸较大，通用开源模型未能做很好的适配；二是在大尺度图像的输入上，划痕所占像素通常只占整张图像像素的很小一部分，一些小划痕不易检出或是检出的置信度不高。


技术实现要素：

3.本发明要解决的技术问题在于，针对现有技术存在的至少一个缺陷，提供一种基于yolov5的锂电池缺陷检测方法、系统、设备以及存储介质。
4.本发明解决其技术问题所采用的技术方案是：构造一种基于yolov5的锂电池缺陷检测方法，包括以下步骤：
5.s1：获取原图像，将所述原图像的有效检测区域框选出来得到有效检测区域图像；
6.s2：将所述有效检测区域图像缩放至统一尺寸，并将所述有效检测区域图像分割成适应模型输入的统一尺寸的多个小图像；
7.s3：对分割后的所述多个小图像进行数据标注，并对在更大数据集上训练好的yolov5模型进行应用并完成训练；
8.s4：训练完成后，使用训练得到的模型进行推理得到模型推理结果，并根据所述模型推理结果将所述多个小图像进行拼接，使其还原至所述有效检测区域图像大小，以得到锂电池缺陷检测的结果。
9.优选地，在执行所述步骤s1之后还包括：
10.对所述有效检测区域图像进行平滑去噪处理。
11.优选地，相邻两个所述小图像的临边区域形成有12％-18％的重叠面积。
12.优选地，在执行所述步骤s4之前还包括：
13.训练完成后，获得模型权重，使用测试集测试模型的准确度。
14.优选地，所述步骤s2中的将所述有效检测区域图像缩放至统一尺寸包括：将所述有效检测区域图像的宽和高等分，并使所述有效检测区域图像的长边尺寸设置到与yolov5模型的输入尺寸相近。
15.优选地，在执行所述步骤s4之后，还包括：
16.对拼接后的所述效检测区域图像进行非极大值抑制处理。
17.本发明还提供一种基于yolov5的锂电池缺陷检测系统，该系统包括：
18.有效检测区域图像获取模块，用于获取原图像，将所述原图像的有效检测区域框选出来得到有效检测区域图像；
19.分割模块，用于将所述有效检测区域图像缩放至统一尺寸，并将所述有效检测区域图像分割成适应模型输入的统一尺寸的多个小图像；
20.模型训练模块，用于对分割后的所述多个小图像进行数据标注，并对在更大数据集上训练好的yolov5模型进行应用并完成训练；
21.缺陷检测结果获取模块，用于训练完成后，使用训练得到的模型进行推理得到模型推理结果，并根据所述模型推理结果将所述多个小图像进行拼接，使其还原至所述有效检测区域图像大小，以得到锂电池缺陷检测的结果。
22.本发明还提供一种电子设备，其特征在于，包括处理器和存储有计算机可读指令的存储器，所述处理器被配置在执行所述计算机可读指令时，执行如上述任一项所述的方法。
23.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一项所述的方法。
24.通过实施本发明，具有以下有益效果：
25.本发明可以根据检测需求裁剪任意位置任意形状的检测区域，且将有效检测区域图像进行分割和拼接，能够降低锂电池缺陷检测的误检率和漏检率，有效提高检测效率。
附图说明
26.下面将结合附图及实施例对本发明作进一步说明，附图中：
27.图1为本发明一些实施例中锂电池密封钉表面需检测的划痕缺陷；
28.图2为本发明一种基于yolov5的锂电池缺陷检测方法的处理流程图；
29.图3为原图像中有效检测区域的框选图；
30.图4为对有效检测区域图像进行分割处理的示意图；
31.图5为本发明一种基于yolov5的锂电池缺陷检测系统的框图；
32.图6a为没有进行图像切割预处理的验证结果图；图6b为进行图像切割预处理后的验证结果图；
33.图7a为没有进行图像切割预处理的推理结果图；图7b为进行图像切割预处理后的推理结果图。
具体实施方式
34.为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
35.需要说明的是，附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
36.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
37.在工业自动化机器视觉领域，锂电池表面缺陷检测通常在现场传回的图像尺寸相对较大，划痕对比度较低，如果仅仅使用yolov5的通用模型来检测是远远不够的。因此，需要考虑将原始输入图像提前进行分割的预处理。如图1所示是常见的锂电池密封钉表面需要检测产品图中的缺陷。一般的处理流程是先将图像做标注，然后将标注后的图像文件和原图像一起导入模型进行模型训练，最后得到模型训练结果进行缺陷的预测。在检测阶段中，给予输入图像进行小目标检测，以输入图像2048
×
2048为例，yolov5中进行了5次下采样，最后得到的特征图大小分别是64
×
64、128
×
128与256
×
256，这3个中最大的256
×
256负责检测小目标，对应到2048
×
2048上，每个特征图的感受视野尺寸大小是8
×
8。
38.具体地，如图2所示，本发明公开了一种基于yolov5的锂电池缺陷检测方法，该方法包括以下步骤：
39.s1：获取原图像，将原图像的有效检测区域框选出来得到有效检测区域图像；
40.s2：将有效检测区域图像缩放至统一尺寸，并将有效检测区域图像分割成适应模型输入的统一尺寸的多个小图像；
41.s3：对分割后的多个小图像进行数据标注，并对在更大数据集上训练好的yolov5模型进行应用并完成训练；
42.s4：训练完成后，使用训练得到的模型进行推理得到模型推理结果，并根据模型推理结果将多个小图像进行拼接，使其还原至有效检测区域图像大小，以得到锂电池缺陷检测的结果。
43.具体地，如图3所示，步骤s1：获取原图像，将原图像的有效检测区域框选出来得到有效检测区域图像；从图像中可以看，原图像的有效检测区域为图3中白色区域，其周围的黑色区域极大降低了有效检测区域在原图像中的占比，并且有碍于锂电池表面划痕缺陷检测的检测准确性，因此，在图像进行处理时应当去除黑色区域以得到有效检测区域图像。
44.在执行步骤s1之后还包括：
45.对有效检测区域图像进行平滑去噪处理。具体地，使用中值滤波法对有效检测区域图像进行平滑去噪处理，其能够有效去除有效检测区域图像的孤立的噪声点，使其缺陷和背景信息更好地区分，并且也能保留大部分的边缘信息，使其不被模糊。
46.步骤s2：将有效检测区域图像缩放至统一尺寸，并将有效检测区域图像分割成适应模型输入的统一尺寸的多个小图像。
47.其中，将有效检测区域图像缩放至统一尺寸包括：将有效检测区域图像的宽和高等分，并使有效检测区域图像的长边尺寸设置到与yolov5模型的输入尺寸相近。具体地，在一些实施例中，有效检测区域图像的长边尺寸可设置为2048px，可以理解地，在其他一些实施例中，，有效检测区域图像的长边尺寸也可根据需要进行不同的设置。
48.由于锂电池表面缺陷存在一定的细微型划痕缺陷，所以在yolov5检测网络结构的基础上，需要借鉴yolt算法对输入大分辨率图像检测的方式进行改进，如图4所示，对有效检测区域图像进行分割，变成九张小图像，再进行检测。进一步地相邻两个小图像的临边区域形成有12％-18％的重叠面积，以更好地对小图像的边缘区域的划痕缺陷进行检测，提高
检测准确度。
49.步骤s3：对分割后的多个小图像进行数据标注，并对在更大数据集上训练好的yolov5模型进行应用并完成训练。同时，对在更大数据集上训练好的yolov5模型进行应用并完成训练指的是将开源的别人在更大数据集上训练好的yolov5模型用于本项目的训练，借用目前在更大数据集上训练好的模型对本项目进行测试，能够大大减少前期模型训练的工作量，并达到良好的训练效果。
50.步骤s4：训练完成后，使用训练得到的模型进行推理得到模型推理结果，并根据模型推理结果将多个小图像进行拼接，使其还原至有效检测区域图像大小，以得到锂电池缺陷检测的结果。
51.具体地，使用训练得到的模型对多个小图像进行缺陷检测，再将多个小图像进行拼接，使其还原至有效检测区域图像大小，最终得到整个锂电池缺陷检测的结果。其中，在执行步骤s4之前还包括：训练完成后，获得模型权重，使用测试集测试模型的准确度。
52.在执行s4之后，还包括：
53.对拼接后的效检测区域图像进行非极大值抑制处理。其能够消除多余的框，筛选目标框，以实现对同一个检测目标的多个预测框的甄选，进而提高锂电池表面缺陷检测的准确性。
54.如图5所示，本发明公开了一种基于yolov5的锂电池缺陷检测系统，该系统包括：
55.有效检测区域图像获取模块，用于获取原图像，将原图像的有效检测区域框选出来得到有效检测区域图像；
56.分割模块，用于将有效检测区域图像进行缩放至统一尺寸，并将有效检测区域图像分割成适应模型输入的统一尺寸的多个小图像；
57.模型训练模块，用于对分割后的多个小图像进行数据标注，并对在更大数据集上训练好的yolov5模型进行应用并完成训练；
58.缺陷检测结果获取模块，用于训练完成后，使用训练得到的模型进行推理得到模型推理结果，并根据模型推理结果将多个小图像进行拼接，使其还原至有效检测区域图像大小，以得到锂电池缺陷检测的结果。
59.具体地，如图3所示，有效检测区域图像获取模块，用于获取原图像，将原图像的有效检测区域框选出来得到有效检测区域图像；从图像中可以看，原图像的有效检测区域为图3中白色区域，其周围的黑色区域极大降低了有效检测区域在原图像中的占比，并且有碍于锂电池表面划痕缺陷检测的检测准确性，因此，在图像进行处理时应当去除黑色区域以得到有效检测区域图像。
60.在执行有效检测区域图像获取模块之前还包括：
61.对有效检测区域图像进行平滑去噪处理。具体地，使用中值滤波法对有效检测区域图像进行平滑去噪处理，其能够有效去除有效检测区域图像的孤立的噪声点，使其缺陷和背景信息更好地区分，并且也能保留大部分的边缘信息，使其不被模糊。
62.分割模块，用于将有效检测区域图像缩放至统一尺寸，并将有效检测区域图像分割成适应模型输入的统一尺寸的多个小图像。
63.其中，将有效检测区域图像缩放至统一尺寸包括：将有效检测区域图像的宽和高等分，并使有效检测区域图像的长边尺寸设置到与yolov5模型的输入尺寸相近。具体地，在
一些实施例中，有效检测区域图像的长边尺寸可设置为2048px，可以理解地，在其他一些实施例中，有效检测区域图像的长边尺寸也可根据需要进行不同的设置。
64.由于锂电池表面缺陷存在一定的细微型划痕缺陷，所以在yolov5检测网络结构的基础上，需要借鉴yolt算法对输入大分辨率图像检测的方式进行改进，如图4所示，对有效检测区域图像进行分割，变成九张小图像，再进行检测。进一步地相邻两个小图像的临边区域形成有12％-18％的重叠面积，以更好地对小图像的边缘区域的划痕缺陷进行检测，提高检测准确度。
65.模型训练模块，用于对分割后的多个小图像进行数据标注，并对在更大数据集上训练好的yolov5模型进行应用并完成训练。同时，对在更大数据集上训练好的yolov5模型进行应用并完成训练指的是将开源的别人在更大数据集上训练好的yolov5模型用于本项目的训练，借用目前在更大数据集上训练好的模型对本项目进行测试，能够大大减少前期模型训练的工作量，并达到良好的训练效果。
66.缺陷检测结果获取模块，用于训练完成后，使用训练得到的模型进行推理得到模型推理结果，并根据模型推理结果将多个小图像进行拼接，使其还原至有效检测区域图像大小，以得到锂电池缺陷检测的结果。
67.具体地，使用训练得到的模型对多个小图像进行缺陷检测，再将多个小图像进行拼接，使其还原至有效检测区域图像大小，最终得到整个锂电池缺陷检测的结果。
68.其中，在执行缺陷检测结果获取模块之前还包括：训练完成后，获得模型权重，使用测试集测试模型的准确度。
69.在执行缺陷检测结果获取模块之后，还包括：
70.对拼接后的效检测区域图像进行非极大值抑制处理。其能够消除多余的框，筛选目标框，以实现对同一个检测目标的多个预测框的甄选，进而提高锂电池表面缺陷检测的准确性。
71.本发明还提供一种电子设备，其特征在于，包括处理器和存储有计算机可读指令的存储器，处理器被配置在执行计算机可读指令时，执行如上述任一项的方法。
72.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一项的方法。
73.通过实施本发明，具有如下有益效果：本发明可以根据检测需求裁剪任意位置任意形状的检测区域，且将有效检测区域图像进行分割和拼接，能够降低锂电池缺陷检测的误检率和漏检率，有效提高检测效率。
74.具体地，图6a为没有进行图像切割预处理的验证结果图；图6b为进行图像切割预处理后的验证结果图，下表1为图像切割预处理和未切割预处理的各项数据比较。可以看出切割后的锂电缺陷检测精度提高3.0％。
[0075] precisionrecallnap50nap50-95未切割96.40％92.30％96.60％94.80％已切割99.40％99.70％99.50％95.70％
[0076]
表1
[0077]
图7a为没有进行图像切割预处理的推理结果图；图7b为进行图像切割预处理后的推理结果图。可以看出切割预处理后的模型能检出小目标缺陷，并且平均精度提高12％。
[0078]
可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。