一种基于YOLOV7目标检测算法实现检测烟丝杂物识别方法与流程

一种基于yolov7目标检测算法实现检测烟丝杂物识别方法
技术领域
1.本发明涉及人工智能技术领域，更具体的说是涉及一种基于yolov7目标检测算法实现检测烟丝杂物识别方法。


背景技术：

2.一般来说，在一些烟厂，每个月制丝部都会收到卷包部在成品烟丝中发现各类异物的相关投诉，带来的产品质量风险很大。目前烟草制品中发现的杂物主要有：麻绳、棉絮、纸制包装物、金属、玻璃、石头碎屑、塑料包装物、羽毛等。
3.这些烟草制品中混入的杂物如果没有被及时发现和清理，无论是对设备安全还是产品质量来说，风险都是巨大的。另外，制丝线制程长达数百米，大大增加了杂物混入在制品的风险。目前，制丝线只在松散回潮和切丝工序之间设置了激光除杂机和金属除杂仪这两类较为专业的杂物剔除设备。
4.虽然制丝线上设置了烟草除杂设备，但在最后一道工序储丝工序前，即使前部工序采取很多杂物剔除手段，烟草制品中还是有很大可能系混入杂物，出现这种现象的最根本原因是因为目前的杂物检测方式为利用工业相机进行识别，在进行特征的提取和识别时容易出现遗漏和误判，导致烟丝中混杂有杂物，对此一种对烟丝进行准确的杂物检测识别方法亟待解决。


技术实现要素：

5.针对现有技术存在的不足，本发明的目的在于提供一种基于yolov7目标检测算法实现检测烟丝杂物识别方法，具有对烟丝中的杂物进行准确识别的效果。
6.为实现上述目的，本发明提供了如下技术方案：一种基于yolov7目标检测算法实现检测烟丝杂物识别方法，提供用于烟丝识别的图像识别系统，所述图像识别系统设置于机体上并用于对输送装置上输送的烟丝进行识别，所述机体上还设置有平摊装置和剔除装置，所述平摊装置用于对烟丝进行摊薄处理，所述剔除装置用于对烟丝中的杂物进行剔除；所述图像识别系统包括：图像获取模块，所述图像获取模块内配置有成像策略，所述成像策略包括利用工业相机对位于输送装置上的烟丝进行拍摄并形成平摊图像；图像模型模块，所述图像模型模块内配置有建模策略，所述建模策略包括调取平摊图像以平摊图像中心点建立复摊坐标系并控制所述平摊装置对平摊图像部分进行二次摊平，并拍摄获得复摊图像；杂物识别模块，所述杂物识别模块内配置有杂物特征库和杂物识别策略，所述杂物识别策略包括调取平摊图像中的特征与杂物特征库内的杂物特征比对并在检测到杂物时生成杂物标记，对复摊图像中杂物标记的特征进一步根据目标检测算法检测并与杂物特征库内的杂物特征比对判断是否为杂物，并在确定为杂物时控制剔除装置对杂物进行剔
除。
7.作为本发明的进一步改进，所述剔除装置包括剔除控制模块和剔除识别模块；剔除识别模块内配置有对焦相机和杂物对焦策略，所述杂物对焦策略包括调取复摊图像和剔除标记，通过剔除控制模块控制剔除装置移动至剔除标记对应于复摊图像的烟丝部位，所述对焦相机内配置有范围阈值，以剔除标记位置为中心以范围阈值为半径获得对焦图像，将对焦图像中剔除标记位置的杂物与杂物特征库比对进一步判断是否为杂物，若确认为杂物时生成批准信号，所述剔除控制模块根据批准信号对剔除标记位置的杂物进行剔除。
8.作为本发明的进一步改进，所述图像获取模块和图像模型模块内均配置有成像策略，所述成像策略具体为：获取输送装置的转速值，并根据输送装置的转速值匹配工业相机的拍摄间隔，并设定工业相机的拍摄张数，形成多张图像，根据多张图像判断成像时烟丝的深度，生成平摊图像和复摊图像。
9.作为本发明的进一步改进，所述杂物特征库包括杂物类型和杂物特性，所述杂物识别模块内还配置有比对逻辑，所述比对逻辑具体为：根据对沿输送装置输送的烟丝进行检测时，对首次检测到杂物的烟丝中杂物特性与杂物特征库比对后确定杂物类型，获得同一批烟丝中的杂物类型，在持续对烟丝检测到杂物时将后续检测到的杂物与首次检测到的杂物特性比对判断是否为同类型的杂物，若为同类型的杂物则不进行与杂物特征库进行比对，若检测到新的杂物特性，则再次与杂物特征库比对确定杂物类型。
10.所述比对逻辑还包括：设定检测的频次阈值，在频次阈值范围内计算不同杂物类型出现的概率还离散程度，通过离散程度判断同批烟丝中出现的杂物类型和杂物在烟丝中的占比。
11.作为本发明的进一步改进，所述图像识别系统还包括探照模块；所述探照模块用于提供对烟丝进行照射的光源，所述杂物识别策略还包括区域子策略，所述区域子策略包括调取平摊图像，由于所述探照模块照射在形成的平摊图像上会形成亮光面积和边缘面积，选取处于亮光面积内的平摊图像并对亮光面积内平摊图像中的特征进行识别是否存在杂物；还调取复摊图像，选取处于亮光面积内的复摊图像并对亮光面积内复摊图像中的特征进行识别是否存在杂物。
12.作为本发明的进一步改进，所述对焦策略中还包括图像割分逻辑，所述图像割分逻辑包括对复摊图像进行划分标准格区域，所述标准格区域的划分方式为：测量复摊图像的长度和宽度，对复摊图像沿长度和宽度方向分别划定若干等分线，根据等分线在复摊图像上划分形成棋盘格。
13.作为本发明的进一步改进，所述范围阈值的确定方式为：以剔除标记位置为圆心画圆时，圆周与条相邻的等分线相切确定最终的圆，剔除标记位置至等分线的位置为范围阈值，以使根据不同的剔除标记位置可以获得范围阈值并获得预计的对焦图像大小。
14.作为本发明的进一步改进，所述对焦相机内配置有预设的对焦广角，所述杂物对
焦策略还包括：当在需要使用对焦相机获得对焦图像时，根据剔除标记位置、得出的范围阈值和对焦广角生成相机高度，发送相机高度至剔除控制模块，所述剔除控制模块控制剔除装置移动，并使得对焦相机处于相机高度位置，同时对焦相机的准心对准剔除标记位置，以使所述对焦相机形成对焦图像。
15.作为本发明的进一步改进，所述剔除识别模块内还配置有遍历轨迹和遍历高度，所述对焦策略还包括：若复摊图像中未检测到杂物和未形成剔除标记时生成遍历信号，所述剔除控制模块控制对焦相机移动至遍历高度，并以沿遍历轨迹对复摊图像进行遍历识别是否存在杂物，若检测到杂物时对杂物进行剔除。
16.作为本发明的进一步改进，所述图像识别系统还包括修正模块，所述修正模块内配置有修正策略，所述修正策略具体为：根据目标检测算法检测的特征与杂物特征库内杂物特征匹配不上并且与烟丝特征也不匹配时判定为新的杂物类型，获取对应特征的杂物特性基于云端系统识别杂物类型并生成新杂数据，利用新杂数据修正所述杂物特征库。
17.本发明的有益效果：通过利用图像获取模块先获取到位于输送装置上烟丝的平摊图像，根据工业相机中基于yolov7的目标检测算法对平摊图像中的特征与杂物特征库进行比对，识别是否有杂物，并在识别到杂物时对杂物形成杂物标记，经过二次摊平时获得复摊图像，并再次基于目标检测算法对复摊图像中标记杂物标记的特征与杂物特征库比对确认是否为杂物，并在确认为杂物时生成剔除标记，当剔除装置对标记剔除标记的杂物进行剔除时会在此进行确认，最终确认为杂物后进行剔除。
附图说明
18.图1为体现基于yolov7算法内的elan模型图；图2为体现基于yolov7算法内的e-elan模型图；图3为检测到烟丝内杂物的图像。
具体实施方式
19.下面结合附图和实施例，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
20.参考图1至图3所示，为本发明一种基于yolov7目标检测算法实现检测烟丝杂物识别方法的具体实施方式，提供用于烟丝识别的图像识别系统，所述图像识别系统设置于机体上并用于对输送装置上输送的烟丝进行识别，所述机体上还设置有平摊装置和剔除装置，所述平摊装置用于对烟丝进行摊薄处理，所述剔除装置用于对烟丝中的杂物进行剔除，剔除装置设置于输送装置靠近卷烟装置的终端位置。
21.所述图像识别系统包括：图像获取模块，所述图像获取模内配置有成像策略，所述成像策略包括利用工业
相机对位于输送装置上的烟丝进行拍摄并形成平摊图像。
22.图像模型模块，所述图像模型模块内配置有建模策略，所述建模策略包括调取平摊图像以平摊图像中心点建立复摊坐标系，并生成复摊信号，所述平摊装置根据复摊信号对平摊图像部分进行二次摊平，并利用工业相机对经过二次平摊后的烟丝再次拍摄获得复摊图像。
23.杂物识别模块，所述杂物识别模块内配置有杂物特征库和杂物识别策略，所述杂物识别策略包括标记子策略和识别子策略，所述标记子策略包括调取平摊图像，利用目标检测算法对平摊图像中的特征与杂物特征库内的杂物特征比对并在检测到杂物时生成杂物标记，所述识别子策略包括调取复摊图像，对复摊图像中杂物标记的特征进一步根据目标检测算法检测并与杂物特征库内的杂物特征比对判断是否为杂物，并且确定为杂物时形成剔除标记，并生成剔除信号并发送至剔除装置。
24.目标检测算法选用为yolov7算法，yolov7算法可以分析输入、输出信道比、架构的分支数和元素级操作对网络推理速度的影响，在执行模型缩放时还需考虑激活函数，即更多地考虑卷积层输出张量中的元素数量，其中还包括elan模型，该模型高效层聚合网络 c 包含 convolutionallayer卷积层， bnlayer归一化层和silu_激活函数，左边第一个c代表输入网络的特征经过1乘以1的卷积层，归一化层，和silu_激活函数后将特征输出至下方。左边第二个c代表输入网络的同一个特征经过1乘以1的卷积层，归一化层和silu_激活函数后将特征输出至下方。另外，左边第二个c有个向右的分支经过两个3乘以3的卷积后，将特征输出至下方。最右边的分支是，经过两个3乘以3的卷积后，将特征输出至下方。最后将这四个分支做连接操作，最后经过1乘以1卷积得出最终的特征。
25.扩展高效层聚合网络e-elan, 可以看做是将高效层聚合网络elan运行了两遍，并最终组合起来。具体情况是，e-elan将送入网络的特征分成两部分，分别进行各自的特征提取，如elan网络一样将处理后的4个特征连接起来，形成特征如图2中的4c特征。然后将两个4c特征进行连接，得到8c的特征，最后经过1乘以1的卷积得到最终特征。
26.在yolov7中，提出了基于elan的扩展版本e-elan。在大规模elan中，无论梯度路径长度和计算模块数量如何，都达到了稳定的状态。但如果更多计算模块被无限地堆叠，这种稳定状态可能会被破坏，参数利用率也会降低。yolov7提出的e-elan采用expand、shuffle、merge cardinality结构，使现在不破坏原始梯度路径的情况下，提高网络的学习能力。
27.所述剔除装置包括剔除控制模块和剔除识别模块；剔除识别模块内配置有对焦相机和杂物对焦策略，所述杂物对焦策略包括调取复摊图像和剔除标记，通过剔除控制模块控制剔除装置移动至剔除标记对应于复摊图像的烟丝部位，所述对焦相机内配置有范围阈值，以剔除标记位置为中心以范围阈值为半径获得对焦图像，将对焦图像中剔除标记位置的杂物与杂物特征库比对进一步判断是否为杂物，若确认为杂物时生成批准信号，所述剔除控制模块根据批准信号对剔除标记位置的杂物进行剔除。
28.所述图像获取模块和图像模型模块内均配置有成像策略，所述成像策略具体为：获取输送装置的转速值，并根据输送装置的转速值匹配工业相机的拍摄间隔，并设定工业相机的拍摄张数，形成多张图像，根据多张图像判断成像时烟丝的深度，生成平摊图像和复摊图像。
29.所述杂物特征库包括杂物类型和杂物特性，所述杂物识别模块内还配置有比对逻辑，所述比对逻辑具体为：根据对沿输送装置输送的烟丝进行检测时，对首次检测到杂物的烟丝中杂物特性与杂物特征库比对后确定杂物类型，获得同一批烟丝中的杂物类型，在持续对烟丝检测到杂物时将后续检测到的杂物与首次检测到的杂物特性比对判断是否为同类型的杂物，若为同类型的杂物则不进行与杂物特征库进行比对，若检测到新的杂物特性，则再次与杂物特征库比对确定杂物类型，以使对于同批烟丝中出现的杂物在首次检测到后，后续出现同样杂物特性时不需要与杂物特征库进行比对，减小特征的比对时间，从而加速对杂物的识别和提取。
30.所述比对逻辑还包括：设定检测的频次阈值，在频次阈值范围内计算不同杂物类型出现的概率还离散程度，通过离散程度判断同批烟丝中出现的杂物类型和杂物在烟丝中的占比，从而能够判断在同一批烟丝中杂物的种类和杂物的分布情况，提高对杂物的分析能力。
31.所述图像识别系统还包括探照模块；所述探照模块用于提供对烟丝进行照射的光源，所述杂物识别策略还包括区域子策略，所述区域子策略包括调取平摊图像，由于所述探照模块照射在形成的平摊图像上会形成亮光面积和边缘面积，选取处于亮光面积内的平摊图像并对亮光面积内平摊图像中的特征进行识别是否存在杂物。还调取复摊图像，选取处于亮光面积内的复摊图像并对亮光面积内复摊图像中的特征进行识别是否存在杂物，通过对烟丝照射光源，使得在经过照射后能够清楚的烟丝的特征和杂物的特征进行识别，提高工业相机的识别效率。
32.所述对焦策略中还包括图像割分逻辑，所述图像割分逻辑包括对复摊图像进行划分标准格区域，所述标准格区域的划分方式为：测量复摊图像的长度和宽度，对复摊图像沿长度和宽度方向分别划定若干等分线，根据等分线在复摊图像上划分形成棋盘格，例如：复摊图像的长度为100cm，宽度为80cm,对应长度方向对应以10cm每格划分等分线，对应宽度方向为以10cm每格划分等分线，从而形成以10cm*10cm的每小格对复摊图像划分形成的棋盘格。
33.所述剔除模块内还配置有极限阈值，所述范围阈值的确定方式为：以剔除标记位置为圆心画圆，圆周与相邻的等分线相切确定最终的圆，剔除标记位置至等分线的位置为范围阈值，以使根据不同的剔除标记位置可以获得范围阈值并获得预计的对焦图像大小，例如圆心位置为在10*10小格内偏向左上角位置时，判定圆心距离小格上边的等分线和左边的等分线之间的最短距离，与最短距离的等分线相切形成圆，圆心至等分线之间的距离为范围阈值，若范围阈值小于极限阈值时，则以极限阈值为半径确定对焦图像的圆周大小，从而保持最小的对焦图像大小。
34.所述对焦相机内配置有预设的对焦广角，所述杂物对焦策略还包括：当在需要使用对焦相机获得对焦图像时，根据剔除标记位置、得出的范围阈值和对焦广角生成相机高度，发送相机高度至剔除控制模块，所述剔除控制模块控制剔除装置移动，并使得对焦相机处于相机高度位置，同时对焦相机的准心对准剔除标记位置，以使所述对焦相机形成对焦图像，从而实现在确定对焦图像大小后控制对焦相机的位置进行准确检测，由于对焦图像面积较小，以使在基于目标检测算法的检测时能够更加精准的进行检
测识别，使得在确定为杂物后进行剔除，并且能够在若出现误判时，排除因误判造成烟丝被剔除的情况。
35.所述剔除识别模块内还配置有遍历轨迹和遍历高度，所述对焦策略还包括：若复摊图像中未检测到杂物和未形成剔除标记时生成遍历信号，所述剔除控制模块控制对焦相机移动至遍历高度，并以沿遍历轨迹对复摊图像进行遍历识别是否存在杂物，若检测到杂物时对杂物进行剔除，从而实现在对烟丝在进行卷烟前的最终遍历检测，减小卷烟后出现杂物卷入的情况。
36.所述图像识别系统还包括修正模块，所述修正模块内配置有修正策略，所述修正策略具体为：根据目标检测算法检测的特征与杂物特征库内杂物特征匹配不上并且与烟丝特征也不匹配时判定为新的杂物类型，获取对应特征的杂物特性基于云端系统识别杂物类型并生成新杂数据，利用新杂数据修正所述杂物特征库。
37.工作原理及其效果：通过利用图像获取模块先获取到位于输送装置上烟丝的平摊图像，根据工业相机中基于yolov7的目标检测算法对平摊图像中的特征与杂物特征库进行比对，识别是否有杂物，并在识别到杂物时对杂物形成杂物标记，经过二次摊平时获得复摊图像，并再次基于目标检测算法对复摊图像中标记杂物标记的特征与杂物特征库比对确认是否为杂物，并在确认为杂物时生成剔除标记，当剔除装置对标记剔除标记的杂物进行剔除时会在此进行确认，最终确认为杂物后进行剔除。
38.以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。