基于目标检测算法的边缘端在位监测系统的制作方法

1.本发明涉及物流设备技术领域，尤其涉及基于目标检测算法的边缘端在位监测系统。


背景技术：

2.经检索，中国专利号cn108750509a公开了一种基于agv小车的货位检测方法及agv小车，该发明通过传感器对货位的当前情况进行检测，虽然减少了agv小车在取放物料时的误操作，但该发明只能检测出货位上有无货物，并不能检测出货物的类别，进而无法辅助货物管理平台进行实时的货物监测管理；agv(automated guided vehicle，简称agv)小车，是指装备有自动导引装置，能够沿规定的导引路径自动行驶，具有多种自动移载功能的运输车，目前，随着电子技术的发展，agv的应用范围在不断扩展，且其在物流系统方面的应用最为广泛，但现有agv小车的功能相对单一，仅仅只能实现物流运输功能；在实际物流仓库中，由于货物数量庞大且货物流转频繁，因而需要对货架各仓位上的产品情况进行实时了解；但现有方法大多通过人工巡检方式实现，不仅费时费力，还容易出错；所以，如何将agv小车与目标检测系统相结合应用到仓位的检测和识别成为当下重要研究课题；因此，发明出基于目标检测算法的边缘端在位监测系统变得尤为重要；
3.现有的在位监测系统只能检测出货位上有无货物，并不能检测出货物的类别，进而无法辅助货物管理平台进行实时的货物监测管理；为此，我们提出基于目标检测算法的边缘端在位监测系统。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于目标检测算法的边缘端在位监测系统。
5.为了实现上述目的，本发明采用了如下技术方案：
6.基于目标检测算法的边缘端在位监测系统，包括智能在位检测模块和管理平台；
7.其中，所述智能在位检测模块安装于agv小车上，其包括边缘端设备、图像采集单元和电源单元；所述边缘端设备包括图像获取单元、图像检测单元和货物识别单元；所述智能在位检测模块与管理平台通过无线通信技术进行远程通信。
8.进一步地，所述图像采集单元具体为摄像头，用于在agv小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；所述电源单元用于对智能在位检测模块进行供电。
9.进一步地，所述图像获取单元用于获取所述图像采集单元采集到的产品图像；所述图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，所述图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；所述货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
10.进一步地，所述完整边缘端目标检测模型的具体形成过程如下：
11.s1：首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；
12.s2：然后，采用mobilenet轻量级目标检测网络对步骤s1所述样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；
13.s3：接着，将步骤s2所述初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；
14.s4：获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；
15.s5：将步骤s4所述失败产品图像样本集添加到步骤s1样本数据集中，形成新的样本数据集，并再次采用mobilenet轻量级目标检测网络对其进行目标检测算法训练；
16.s6：然后，对步骤s5所述目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；
17.s7：重复步骤s3-s6，直至模型性能达到最优，即得到完整边缘端目标检测模型。
18.进一步地，所述标注的格式包括但不限于voc格式和coco格式；所述硬件包括但不限于jeston nano、rk3399pro开发板和树莓派；所述目标检测算法具体为yolov3和ssd。
19.进一步地，所述无线通信技术包括但不限于wifi、4g和5g；所述管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
20.相比于现有技术，本发明的有益效果在于：
21.1、该基于目标检测算法的边缘端在位监测系统，采用yolov3和ssd目标检测算法进行样本训练，得到完整边缘端目标检测模型，其相较于传统的two-stage方法，检测与识别速度更快，并且本发明通过重复测试和样本添加，使得模型不断优化，进而提高了该模型的检测与识别准确度；此外，本发明产品图像的检测和识别均在边缘端设备上实现，进而有利于降低管理平台的数据处理压力；
22.2、该基于目标检测算法的边缘端在位监测系统，将完整边缘端目标检测模型通过体积较小的硬件(如：jeston nano、rk3399pro开发板和树莓派，)与agv小车进行结合，进而携带便捷，可应用在工业生产运输多个领域。
附图说明
23.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
24.图1为本发明提出的基于目标检测算法的边缘端在位监测系统的整体结构示意图；
25.图2为本发明提出的基于目标检测算法的边缘端在位监测系统搭配agv小车的结构示意图；
26.图3为本发明中完整边缘端目标检测模型形成过程的流程示意图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
28.在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
29.参照图1-2，本实施例公开了基于目标检测算法的边缘端在位监测系统，包括智能在位检测模块和管理平台；
30.其中，智能在位检测模块安装于agv小车上，其包括边缘端设备、图像采集单元和电源单元；边缘端设备包括图像获取单元、图像检测单元和货物识别单元；智能在位检测模块与管理平台通过无线通信技术进行远程通信。
31.图像采集单元具体为摄像头，用于在agv小车的运行过程中对货架上各仓位进行图像拍摄，采集产品图像；
32.具体的，该图像采集单元需要根据不同的场景安装情况调节摄像头至最佳位置，实现产品视角全覆盖；
33.电源单元用于对智能在位检测模块进行供电。
34.图像获取单元用于获取图像采集单元采集到的产品图像；图像检测单元用于通过完整边缘端目标检测模型对产品图像进行检测，得到图像检测结果，图像检测结果包括两种情况：一种为仓位上有货物，另一种是仓位上无货物；
35.具体的，对于无货物的图像检测结果直接上报至管理平台，而对有货物的图像检测结果需要进行类别识别后，再上传至管理平台；
36.货物识别单元用于通过完整边缘端目标检测模型对图像检测结果为有货物的产品图像进行类别识别，得到货物类别识别结果。
37.无线通信技术包括但不限于wifi、4g和5g；
38.具体，该无线通信技术可根据实际通信距离和预计通信成本进行无线通信技术选择，并不局限于本实例所列出的；
39.管理平台用于接收图像检测结果和货物类别识别结果，并根据其进行业务处理。
40.参照图3，本实施例公开了基于目标检测算法的边缘端在位监测系统，包括智能在位检测模块和管理平台；
41.其中，智能在位检测模块安装于agv小车上，其包括边缘端设备、图像采集单元和电源单元；边缘端设备包括图像获取单元、图像检测单元和货物识别单元；智能在位检测模块与管理平台通过无线通信技术进行远程通信。
42.除与上述实施例相同结构外，本实施例将具体介绍完整边缘端目标检测模型的形成过程；
43.具体的，该完整边缘端目标检测模型的具体形成过程如下：
44.首先，通过检测单元收集各类产品图像，并对其进行类别标注，形成所需样本数据集；然后，采用mobilenet轻量级目标检测网络对样本数据集进行目标检测算法训练，形成初始边缘端检测模型一；接着，将初始边缘端检测模型通过硬件部署至边缘端设备上，将其应用运行在实际发生的所有场景中，以测试模型性能；获取测试过程中所有场景识别的产品图像，对检测和识别失败的产品图像进行负样本标注，得到失败产品图像样本集；将失败产品图像样本集添加到样本数据集中，形成新的样本数据集，并再次采用mobilenet轻量级
目标检测网络对其进行目标检测算法训练；然后，对目标检测模型进行剪裁、量化和蒸馏操作，形成初始边缘端检测模型二；重复上述步骤，直至模型性能达到最优，即得到完整边缘端目标检测模型。
45.具体的，该标注的格式包括但不限于voc格式和coco格式；该硬件包括但不限于jeston nano、rk3399pro开发板和树莓派；该目标检测算法具体为yolov3和ssd。
46.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。