一种包装漏件检测的方法和装置与流程

1.本发明属于包装检测技术领域，具体是指一种包装漏件检测的方法和装置。


背景技术：

2.随着人工智能技术在视觉图像方面的发展日新月异，工业场景也不断加入了人工智能技术以用于提升生产效率。目标检测作为一种从图像中找出感兴趣物体的类别和位置信息的技术逐渐成为了工业场景中主流研究方向。其中，包括制造业中的包装漏件检测场景。
3.利用目标检测技术可以对制造业中的包装漏件检测场景进行实时识别检测，当某件包装组件在打包阶段没有放入包装时发出警告信息，帮助管理人员和一线包装工人及时发现漏件情况并给予补充。该场景相对于常见的目标检测场景有一项特点，即包装物体的外观与工作订单属于强绑定关系。当工作订单发生变化时，包装组件的个数、外观必然会有不同程度的改变。这种改变是会使得针对上一工作订单训练好的目标检测模型无法很好地适用于下一个工作订单，而下一个工作订单对应的包装物体目标检测模型又需要重新采集视频、图像等数据进行人工数据标注，然后重新针对该数据集进行模型训练得到相应的目标检测模型。这会导致每一批工作订单都需要重新人工数据标注，并且相应的目标检测模型无法及时投入现场使用。


技术实现要素：

4.为了解决上述难题，本发明提供了一种可以当包装物体个数和外观因工作订单的变化而发生变化时完成该包装组件图像数据的自动标注，然后用模型针对标注好的数据进行训练的包装漏件检测的方法和装置。
5.为了实现上述功能，本发明采取的技术方案如下：一种包装漏件检测方法，包括如下步骤：
6.(1)采集没有包装组件或包装成品的空工作台图像作为背景图像；
7.(2)包装组件和包装成品逐一摆放在工作台上进行拍摄，每个物体至少拍摄一张图像，并记录该组件或成品的名称，即该组件或成品的类别信息。拍摄期间保持摄像头型号、拍摄距离、拍摄角度、光线等参数与步骤1一致。包装组件或包装成品拍摄完后移出拍摄视野范围；
8.(3)逐一计算步骤2中拍摄的图像与步骤1中拍摄图像的结构相似度ssim，利用其结构相似性索引得到两幅图像的差分图像；
9.(4)对差分图像进行二值化，利用轮廓检测算法计算得到摆拍包装组件或包装成品的轮廓图像；
10.(5)对轮廓图像获取其最小外接矩形，该矩形参数即该包装组件或包装成品的标签位置信息。通过上述步骤已经获取目标检测类型算法所需的所有包装组件或包装成品的标注信息；
11.(6)对完成标注的图像数据连同标注信息进行数据增强。数据增强方式包括常见的水平翻转、随机噪声、随机裁剪等常见算法，也包括根据实际场景中包装组件的摆放前后顺序进行组件之间的叠加增强。将增强后的数据集按照9：1比例划分训练集和验证集；
12.(7)利用目标检测算法，如yolov4、faster rcnn算法，对训练集的数据进行模型训练，并选择验证集上效果最好的迭代模型作为最后部署的模型文件；
13.(8)将步骤7得到的模型文件部署到服务器，对工作台摄像头实时视频流进行目标检测；
14.(9)根据包装组件个数设定相同数量的变量，初始值为0。当检测模型检测到任一个包装组件时，表示本轮包装打包漏件检测开始，同时，该组件对应的变量值加1；
15.(10)每检测到一类包装组件时，该组件对应的变量值加1；
16.(11)检测到包装成品时表示本轮打包结束。如果有某个组件变量值为0，表示该组件存在漏件，否则本轮包装过程不存在漏件情况。然后，执行步骤9开始下一轮检测。
17.进一步地，所述利用结构相似度、轮廓检测、最小外接矩形算法得到包装组件或包装成品图像应用于目标检测算法时的标注数据。
18.进一步地，所述包装漏件检测采用的目标检测模型训练所需的图像标签数据自动获取，无需人工手动标注。
19.进一步地，所述包装漏件检测开始信号触发条件为目标检测算法检测到任一包装组件，结束信号触发条件为目标检测算法检测到包装成品。
20.本发明还包括一种包装漏件检测装置，包括采集单元、标注单元、训练单元和检测单元。
21.本发明取得有益效果如下：本发明提供的一种包装漏件检测的方法和装置，自动对包装组件或包装成品图像进行数据标注，无需人工手动标注信息，可以适应包装组件个数和外观变化较为频繁的包装漏件检测场景，包装组件或包装成品样品在时间维度上先于产线正式包装阶段，每个工作订单对应的包装漏件检测模型部署不会产生滞后。
附图说明
22.图1为本发明一种包装漏件检测的方法的流程图；
23.图2为本发明一种包装漏件检测装置的结构框图。
具体实施方式
24.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。以下结合附图，对本发明做进一步详细说明。
26.如图1
‑
2所述，本发明一种包装漏件检测方法，包括如下步骤：
27.(1)采集没有包装组件或包装成品的空工作台图像作为背景图像；
28.(2)包装组件和包装成品逐一摆放在工作台上进行拍摄，每个物体至少拍摄一张图像，并记录该组件或成品的名称，即该组件或成品的类别信息。拍摄期间保持摄像头型号、拍摄距离、拍摄角度、光线等参数与步骤1一致。包装组件或包装成品拍摄完后移出拍摄视野范围；
29.(3)逐一计算步骤2中拍摄的图像与步骤1中拍摄图像的结构相似度ssim，利用其结构相似性索引得到两幅图像的差分图像；
30.(4)对差分图像进行二值化，利用轮廓检测算法计算得到摆拍包装组件或包装成品的轮廓图像；
31.(5)对轮廓图像获取其最小外接矩形，该矩形参数即该包装组件或包装成品的标签位置信息。通过上述步骤已经获取目标检测类型算法所需的所有包装组件或包装成品的标注信息；
32.(6)对完成标注的图像数据连同标注信息进行数据增强。数据增强方式包括常见的水平翻转、随机噪声、随机裁剪等常见算法，也包括根据实际场景中包装组件的摆放前后顺序进行组件之间的叠加增强。将增强后的数据集按照9：1比例划分训练集和验证集；
33.(7)利用目标检测算法，如yolov4、faster rcnn算法，对训练集的数据进行模型训练，并选择验证集上效果最好的迭代模型作为最后部署的模型文件；
34.(8)将步骤7得到的模型文件部署到服务器，对工作台摄像头实时视频流进行目标检测；
35.(9)根据包装组件个数设定相同数量的变量，初始值为0。当检测模型检测到任一个包装组件时，表示本轮包装打包漏件检测开始，同时，该组件对应的变量值加1；
36.(10)每检测到一类包装组件时，该组件对应的变量值加1；
37.(11)检测到包装成品时表示本轮打包结束。如果有某个组件变量值为0，表示该组件存在漏件，否则本轮包装过程不存在漏件情况。然后，执行步骤9开始下一轮检测。
38.所述利用结构相似度、轮廓检测、最小外接矩形算法得到包装组件或包装成品图像应用于目标检测算法时的标注数据。
39.所述包装漏件检测采用的目标检测模型训练所需的图像标签数据自动获取，无需人工手动标注。
40.所述包装漏件检测开始信号触发条件为目标检测算法检测到任一包装组件，结束信号触发条件为目标检测算法检测到包装成品。
41.本发明还包括一种包装漏件检测装置，包括采集单元、标注单元、训练单元和检测单元。
42.以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。