一种基于深度学习流水线产品追溯方法及系统与流程

1.本发明涉及产品追踪领域，具体涉及一种基于深度学习流水线产品追溯方法及系统。


背景技术：

2.追溯系统目前已经被广泛应用于各个行业中，它其实就是一种可以对产品进行正向，逆向或不定向追踪的生产控制系统，可适用于各种类型的过程和生产控制系统，但是目前在生产过程中，很多产品无法进行实体标签，由于缺乏标签，对追溯产品生产过程造成困难，无法了解每个产品的生产过程。


技术实现要素：

3.本发明的目的是提供一种基于深度学习流水线产品追溯方法，解决在生产过程中无法使用实体标签的产品的生产追溯问题。
4.为了解决上述技术问题，本发明提供了一种基于深度学习流水线产品追溯方法，包括以下步骤：
5.s1：采集生产流水线图片，并根据图片检测目标产品；
6.s2：获取唯一虚拟标签，并与s1中目标产品进行绑定；
7.s3：将采集的图片、目标产品及虚拟标签的信息发送至后台数据；
8.s4：将虚拟标签与实体标签进行绑定；
9.s5：通过搜索实体标签找到对应的虚拟标签，根据对应的虚拟标签追溯目标产品的生产过程。
10.作为本发明的进一步改进，所述步骤s1中采集生产流水线图片采用多个工业相机进行整条流水线图片采集。
11.作为本发明的进一步改进，所述步骤s1中检测目标产品的检测方法，包括以下步骤：
12.s11：根据采集的图片制作数据集；
13.s12：将数据集输入深度学习目标检测模型进行训练；
14.s13：训练完成后进行模型剪切和量化；
15.s14：使用训练后的模型对采集的图片进行目标检测。
16.作为本发明的进一步改进，所述深度学习目标检测模型包括基础模型和检测模型，所述基础模型采用mobilenet网络结构，所述检测模型采用ssd网络，所述mobilenet网络结构提取目标特征，并在ssd网络中进行目标位置检测得到检测框和物体类别。
17.作为本发明的进一步改进，所述步骤s14中的目标检测结果包括产品的形状及颜色，所述颜色根据产品均匀分别的点像素值判断，采集多点像素值，减去均值，并根据三原色数值关系准确得到产品颜色。
18.作为本发明的进一步改进，所述步骤s2中虚拟标签与目标产品进行绑定的方法，
具体包括以下步骤：
19.s21：基于sort跟踪算法对目标进行跟踪；
20.s22：针对第一个工业相机，当有新的目标进入，在指定位置流入相机则根据相机序列号赋予一个新的虚拟标签；当有新的目标未从指定位置流入相机，则赋予一个特别标签，表明该产品是非正常流入，需做处理；
21.s23：当同一目标产品从上一个相机视野流入下一个相机视野，从上一个相机获取虚拟标签赋予下一个相机此目标产品。
22.作为本发明的进一步改进，所述步骤s21中对目标进行跟踪，包括以下步骤：
23.s211：采用卡尔曼滤波通过历史帧的目标框数据预测得到当前帧目标框的预测值；
24.s212：使用检测框和预测值的iou定义损失矩阵，采用匈牙利算法将前后帧两幅图像中的多个目标以损失最小的方式匹配关联起来，当一个目标消失多帧后就将其判定为流出当前相机视野，并将相关信息存储并通过mqtt传送到下一个相机子目标追踪系统中。
25.作为本发明的进一步改进，所述步骤s3具体包括以下步骤：将当前采集的图片及包含各目标位置、对应虚拟标签、对应目标形状及颜色信息发送给后端，并将图片缩小至原图的十六分之一，选取关键帧存储，关键帧的选择采用进或出相机视野帧。
26.作为本发明的进一步改进，所述步骤s6具体包括以下步骤：在前端显示实时检测结果，并进行历史搜索，根据实体标签搜索，找到与实体标签绑定的虚拟标签，在数据库中将所有此虚拟标签对应的图片提取出来，并显示在前端。
27.一种基于深度学习流水线产品追溯系统，包括：
28.采集检测模块，用于采集生产流水线图片，并根据图片检测目标产品；
29.虚拟标签绑定模块，用于获取唯一虚拟标签，并与目标产品进行绑定；
30.传输模块，用于将采集的图片、目标产品及虚拟标签的信息发送至后台数据；
31.实体标签绑定模块，用于将虚拟标签与实体标签进行绑定；
32.追溯模块，用于通过搜索实体标签找到对应的虚拟标签，根据对应的虚拟标签追溯目标产品的生产过程。
33.本发明的有益效果：本发明提供生产过程中的产品生成一个虚拟标签，在后期将虚拟标签与实体标签绑定，并存储相关数据，从而追溯每个产品的生产过程；整个生产过程中对产品进行全程跟踪标识；将虚拟标签与实体标签绑定，解决生产过程中无标识的问题；完整产品生产过程中数据存储，完成此类产品的可追溯。
附图说明
34.图1是本发明方法流程示意图；
35.图2是本发明实施整体流水线示意图；
36.图3是本发明目标检测训练结构示意图；
37.图4是本发明实施目标追踪示意图；
38.图中标号说明：1、追踪相机；2、包装盒；3、光电传感器；4、qrcode相机；5、产品。
具体实施方式
39.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
40.实施例一
41.参考图1，本发明实施例提供了一种基于深度学习流水线产品追溯方法，包括以下步骤：
42.s1：采集生产流水线图片，并根据图片检测目标产品；
43.s2：获取唯一虚拟标签，并与s1中目标产品进行绑定；
44.s3：将采集的图片、目标产品及虚拟标签的信息发送至后台数据；
45.s4：将虚拟标签与实体标签进行绑定；
46.s5：通过搜索实体标签找到对应的虚拟标签，根据对应的虚拟标签追溯目标产品的生产过程。
47.具体的，参考图2，使用多个工业相机采集整条流水线的图片，针对采集的图片进行目标检测，检测形状及颜色。参考图3，目标检测采用深度学习目标检测模型，模型数据集由采集图片组成，标注数据集。为保证实时检测和检测准确率达到要求，基础模型选择mobilenet，检测模型选择ssd。进行模型训练，训练完成后进行模型剪切，并量化，进一步加速模型推理。使用该模型对采集图片进行目标检测。目标检测结果中包含物体形状，颜色根据计算均匀分布的9个点，根据9个点像素值判断颜色，根据三原色原理，在像素点去除最小值颜色，当此颜色的值大于另外两个颜色的值的和，则该颜色即是该物体的颜色。
48.参考图4，同种颜色线条对应同一个目标不同时刻位置，两位置差距小于阈值则表示为统一目标，并将上一帧该目标虚拟标签赋予当前目标，即同一目标产品从上一个相机视野流入下一个相机视野，从上一个相机通过mqtt信息获取虚拟标签赋予下一个相机此目标产品。此处阈值为根据流水线移动速度和相机获取图像的帧率决定。同种颜色线条对应一个物体从一号相机视野流入二号相机视野，从一号相机获取虚拟标签赋予二号相机该目标。
49.由多个相机覆盖整条流水线，每个相机获取图片，分别进行目标检测。基于sort跟踪算法对目标进行跟踪，具体原理如下：sort跟踪针对单个相机，包含三个部分：1)目标检测object detection；2)卡尔曼滤波kalman filter；3)匈牙利算法hungarian algorithm。目标检测采用深度学习网络，由mobilenet基础网络和ssd检测网络组成，mobilenet提取目标特征，在ssd网络中进行目标位置检测得到检测框bbox
measurement
和物体类别。卡尔曼滤波通过历史帧的目标框数据预测得到当前帧目标框的预测值bbox
prediction
，，匈牙利算法是针对一幅图像中多个目标进行全局优化，是一种数据关联data association算法，将前后帧两幅图像中的多个目标以损失最小的方式匹配关联起来，达到目标跟踪和目标检测框优化的目的。该算法进行前需要定义损失矩阵，使用bbox
prediction
和bbox
measuerment
的iou定义损失矩阵。如果一个目标消失多帧后就将其判定为流出当前相机视野，并将相关信息存储并通过mqtt传送到下一个相机子目标追踪系统中。针对第一个工业子相机，如果有新的目标进入，分两种情况分别进行处理，一种是在指定位置流入相机则根据相机序列号赋予一个新的虚拟标签，相机序列号为1则从后台获取一个新的虚拟标签，相机序列号不为1，则从此相机前一序列号相机获取一个虚拟标签。另一种不是从指定位置流入相机，则赋予一个特别
标签，表明该产品是非正常流入，需要做相关处理。
50.将获取图片和获取的目标及获取的虚拟标签相关信息发送至后台数据，将当前图片及包含各目标位置、对应虚拟标签、对应目标形状及颜色信息发送给后端，为减少后台存储空间压力，采用两种措施减少存储量，将图片缩小至原图的1/16，选取关键帧存储，关键帧的选择采用进或出相机视野帧。生产结束时，将产品得到的实体标签与虚拟标签绑定。在前端搜索产品实体标签，搜索对应虚拟标签，根据虚拟标签追溯所有此产品的生产过程。在前端显示实时检测结果，并可进行历史搜索，根据实体标签搜索，第一步找到与实体标签绑定的虚拟标签，在数据库中将所有该虚拟标签对应的图片提取出来，并显示在前端。
51.实施例二
52.参考图1
‑
图4，本发明实施例提供了一种基于深度学习流水线产品追溯系统，包括：
53.采集检测模块，用于采集生产流水线图片，并根据图片检测目标产品；
54.虚拟标签绑定模块，用于获取唯一虚拟标签，并与目标产品进行绑定；
55.传输模块，用于将采集的图片、目标产品及虚拟标签的信息发送至后台数据；
56.实体标签绑定模块，用于将虚拟标签与实体标签进行绑定；
57.追溯模块，用于通过搜索实体标签找到对应的虚拟标签，根据对应的虚拟标签追溯目标产品的生产过程。
58.具体的，1)采集产品生产流水线图片：装配多个相机覆盖一条流水线，采集图像；
59.2)根据步骤1采集的图片，检测目标，采用神经网络进行目标检测；
60.3)获取唯一虚拟标签，并与步骤2中识别目标进行绑定；
61.4)将实体标签与虚拟标签绑定；
62.5)将步骤1中获取图片和步骤2中获取的目标及步骤3中获取的虚拟标签相关信息通过mqtt发送至后台并存储；
63.6)在前端搜索产品实体标签，搜索对应虚拟标签，根据虚拟标签追溯所有此产品的生产过程。
64.本发明使用多个相机联合，在整个生产过程中对产品进行全程跟踪标识，将虚拟标签与实体标签绑定，解决生产过程中无标识的问题，完整产品生产过程中数据存储，完成此类产品的可追溯；产品颜色检测，采集多点像素值，减去均值，并根据三原色数值关系准确得到产品颜色。
65.以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。