一种复杂混叠场景下多类别五金件的快速识别方法与流程

1.本公开涉及但不限于计算机图像识别技术领域，尤其涉及一种复杂混叠场景下多类别五金件的快速识别方法。


背景技术：

2.对于五金件生产加工行业而言，五金件表面存在反光强烈现象以及加工现场光照条件复杂等因素，这对机器视觉检测技术的应用带来较大挑战，尤其是在上下料及分拣环节中，多种类别五金件由于随意摆放会出现外轮廓相互粘连、混叠和遮挡的情况，导致现有的视觉检测算法在五金件识别及定位过程中会出现误识别率高、识别速度慢及定位精度差的问题，无法有效辅助工业机器人实现五金件的智能抓取。
3.如今普遍的做法通过是修改目标检测算法程序的运行参数，使用分辨率更加清晰的输出图像，改变训练验证样本比例，改进损失函数等方式提高识别算法的精度。但是对于相互粘连、混叠和遮挡的五金件识别效果并不能有很大的性能提升，反而会因为添加或修改算法导致算法的速度下降，无法进行实时检测。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本公开实施例提供了一种复杂混叠场景下多类别五金件的快速识别方法，为了解决现有视觉检测算法在多类别五金件复杂混叠场景中出现的误检及漏检问题，本发明提出了一种复杂混叠场景下多类别五金件的快速识别算法，能够在五金件杂乱摆放的场景下，准确地识别出其类别与位置，为工业机器人实现五金件智能抓取打下坚实的基础。
6.本公开实施例提供了一种复杂混叠场景下多类别五金件的快速识别方法，包括：
7.步骤s100，获取训练样本集，所述训练样本集中的训练样本包括图像以及该图像对应的xml格式文件，所述xml格式文件用于标注对应的图像中五金件的位置和类别；
8.步骤s200，将所述训练样本集输入基于yolov5改进的模型进行训练，生成五金件检测模型；
9.步骤s300，获取待检测的图像，将所述待检测的图像输入五金件检测模型进行检测，对所述待检测的图像中包含的五金件进行识别；
10.步骤s400，输出所述待检测的图像中包含的五金件的位置和类别。
11.在一些实施例中，步骤s200中，所述将所述训练样本集输入基于yolov5改进的模型进行训练，生成五金件检测模型，包括但不限于有以下步骤：
12.步骤s210，搭建yolov5模型；其中，所述yolov5模型包括：输入端、backbone端、neck端和输出端；
13.步骤s220，将初始化的yolov5模型中的anchor值设置为四组，在neck端中增加一组特征融合模块，将yolov5模型的输出端设置为四层，得到基于yolov5改进的模型；其中，
所述特征融合模块包含一个csp2_x结构，一个cbl结构，一个上采样操作模块和一个concat操作模块；
14.步骤s230，获取对基于yolov5改进的模型进行训练的训练参数，将所述训练样本集输入基于yolov5改进的模型进行训练；其中，所述训练参数包括：目标类别数，网络深度，网络宽度，批量大小，输入端接收图像的尺寸，初始学习率，网络的权重衰减率，以及动量参数；
15.步骤s240，将完成训练的基于yolov5改进的模型作为五金件检测模型。
16.在一些实施例中，所述目标类别数为3，网络深度为0.33，网络宽度为0.5，批量大小为1，初始学习率为0.01，网络的权重衰减率是0.0005，动量参数为0.8。
17.在一些实施例中，在训练过程中所述训练样本集被迭代的次数为100。
18.在一些实施例中，所述训练样本集中图像的尺寸为640*640。
19.在一些实施例中，所述方法还包括：
20.步骤s101，选取不同规格的螺栓、螺母和垫片随机摆放的图像作为实验数据集；
21.步骤s102，使用labelimg标注工具对实验数据集中图像内的五金件的位置和类别进行标注，生成实验数据集中每张图像对应的xml格式文件；其中，所述xml格式文件包含对应的图像中五金件的位置和类别；
22.步骤s103，对实验数据集中的每张图像，以及每张图像对应的xml格式文件进行数据增强操作，得到训练样本集；其中，所述数据增强操作包括旋转、翻转变化和裁剪。
23.本公开实施例包括：获取训练样本集，所述训练样本集中的训练样本包括图像以及该图像对应的xml格式文件，所述xml格式文件用于标注对应的图像中五金件的位置和类别；将所述训练样本集输入基于yolov5改进的模型进行训练，生成五金件检测模型；获取待检测的图像，将所述待检测的图像输入五金件检测模型进行检测，对所述待检测的图像中包含的五金件进行识别；输出所述待检测的图像中包含的五金件的位置和类别。
24.本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
25.附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
26.图1是本公开一个实施例提供的复杂混叠场景下多类别五金件的快速识别方法的流程图；
27.图2是本公开一个实施例中基于yolov5改进的模型的结构图。
具体实施方式
28.为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。
29.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻
辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
30.如图1所示，图1是本公开一个实施例提供的一种复杂混叠场景下多类别五金件的快速识别方法的流程图，在该方法中，包括但不限于有以下步骤：
31.步骤s100，获取训练样本集，所述训练样本集中的训练样本包括图像以及该图像对应的xml格式文件，所述xml格式文件用于标注对应的图像中五金件的位置和类别；
32.步骤s200，将所述训练样本集输入基于yolov5改进的模型进行训练，生成五金件检测模型；
33.步骤s300，获取待检测的图像，将所述待检测的图像输入五金件检测模型进行检测，对所述待检测的图像中包含的五金件进行识别；
34.步骤s400，输出所述待检测的图像中包含的五金件的位置和类别。
35.本公开提供的实施例中，训练样本集中的训练样本为yolov5模型可读的xml格式文件，其包含图像中五金件的坐标和类别信息。需要说明的是，为了提高yolov5模型对小目标的检测精度，本公开提供的实施例中，对原有的yolov5模型的网络框架结构进行了改进，重新搭建yolov5模型，生成的五金件检测模型能提高对小目标的检测精度。最终识别的结果包括两类：一是五金件的包围框中心点坐标和它的长宽，以及置信度；二是该物体的类别，即螺栓、螺母或垫片等。
36.另外，参考图2，步骤s200中，所述将所述训练样本集输入基于yolov5改进的模型进行训练，生成五金件检测模型，包括但不限于有以下步骤：
37.步骤s210，搭建yolov5模型；其中，所述yolov5模型包括：输入端、backbone端、neck端和输出端；
38.步骤s220，将初始化的yolov5模型中的anchor值设置为四组，在neck端中增加一组特征融合模块，将yolov5模型的输出端设置为四层，得到基于yolov5改进的模型；其中，所述特征融合模块包含一个csp2_x结构，一个cbl结构，一个上采样操作模块和一个concat操作模块；
39.步骤s230，获取对基于yolov5改进的模型进行训练的训练参数，将所述训练样本集输入基于yolov5改进的模型进行训练；其中，所述训练参数包括：目标类别数，网络深度，网络宽度，批量大小，输入端接收图像的尺寸，初始学习率，网络的权重衰减率，以及动量参数；
40.步骤s240，将完成训练的基于yolov5改进的模型作为五金件检测模型。
41.本实施例中，在neck端中增加一个csp2_x结构是为了将上一级concat操作模块得到的输出进行多次卷积操作并通过残差结构加强网络特征融合能力；在neck端中增加一个cbl结构是为了改变输入的图像的维度，为特征融合做准备；在neck端中增加一个上采样操作模块是为了将输入的图像的大小翻倍，而不改变其维度，为特征融合做准备；在neck端中增加一个concat操作模块是为了将深层特征与浅层特征进行特征融合，增加算法的鲁棒性；在neck端中增加的csp2_x结构、cbl结构和上采样结构共同处理得到的图像输入下一级concat操作模块是为了将得到160
×
160的检测层输出，用于检测尺寸4
×
4像素以上的目标。
42.另外，在一实施例中，所述目标类别数为3，网络深度为0.33，网络宽度为0.5，批量大小为1，初始学习率为0.01，网络的权重衰减率是0.0005，动量参数为0.8。
43.在一些实施例中，在训练过程中所述训练样本集被迭代的次数为100。
44.另外，在一实施例中，所述训练样本集中图像的尺寸为640*640。即为输入端接收图像的尺寸。
45.另外，在一实施例中，在步骤s100之前，所述方法还包括但不限于有以下步骤：
46.步骤s101，选取不同规格的螺栓、螺母和垫片随机摆放的图像作为实验数据集；
47.步骤s102，使用labelimg标注工具对实验数据集中图像内的五金件的位置和类别进行标注，生成实验数据集中每张图像对应的xml格式文件；其中，所述xml格式文件包含对应的图像中五金件的位置和类别；
48.步骤s103，对实验数据集中的每张图像，以及每张图像对应的xml格式文件进行数据增强操作，得到训练样本集；其中，所述数据增强操作包括旋转、翻转变化和裁剪。
49.本公开提供的实施例中，选取了不同规格的螺栓、螺母和垫片随机摆放的图像作为实验数据集，共收集到1650张包含五金件的图像，图像的分辨率为640
×
480，选用的图像是在不同照明方式、不同复杂程度和不同背景下采集的。
50.接着，对收集到的图像进行五金件标注，具体地，使用labelimg标注工具对图像中五金件的位置和类别进行标注，生成目标检测算法可读的xml格式文件。图像中包含不同尺寸的螺栓(bolt)，螺母(nut)和垫片(washer)，标注后生成的是包含坐标和类别信息的xml文件。
51.然后，为了解决数据不足的问题，对实验数据集中的每张图像，以及每张图像对应的xml格式文件进行数据增强。本公开提供的实施例使用的数据增强操作有旋转、翻转变化和裁剪，具体操作如下：
52.旋转：将图像沿顺时针每90
°
旋转一次后保存一次，共旋转三次；
53.翻转：将图像进行左右翻转后沿顺时针旋转90
°
，将图像进行上下翻转后沿顺时针旋转90
°
；
54.裁剪：因为采集到的图像的尺寸大小为640
×
480，而用于训练的图片的尺寸大小为500
×
375，故本实施例中，基于原图像的四个角点裁剪出尺寸大小为500
×
375的训练样本。
55.本公开提供的实施例中，本软件的运行环境为windows10操作系统，处理器为intel(r)core(tm)i7-6700 cpu、gpu为6gb的nvidia geforce gtx 1060，系统运行内存为24gb，开发工具为jetbrains pycharm 2019软件，使用python语言编程。
56.本公开采用基于yolov5模型进行改进构建五金件检测模型，通过在输出端增加一层，并且合理配置基于yolov5改进的模型的损失函数和后处理方案，提升了算法的检测性能及泛化能力。
57.参考表1，通过从五个维度对比现有经典视觉检测算法在多类别五金件识别方面的性能，得出本公开所提出算法在目标物识别率、召回率等多方面具有较大优势，证明了本发明所提出算法的有效性。
58.表1算法性能对比：
[0059][0060]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0061]
以上是对本公开的较佳实施进行了具体说明，但本公开并不局限于上述实施方式，熟悉本领域的技术人员在不违背本公开精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本公开权利要求所限定的范围内。