一种基于神经网络的包裹堆叠检测方法及装置与流程

技术特征：
1.一种基于神经网络的包裹堆叠检测方法，其特征是，所述包裹堆叠方法检测方法包括如下步骤：步骤101、训练得到包裹检测神经网络模型，其中，所述包裹检测神经网络基于yolov3目标检测模型，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框；步骤102、通过顶扫相机获取输送包裹时的皮带图像；步骤103、通过上述的包裹检测神经网络模型提取上述皮带图像中的包裹信息，所述包裹检测神经网络模型提取的包裹信息包括包裹的位置以及包裹之间关系；步骤104、根据上述提取的包裹信息判断包裹堆叠的状态。2.根据权利要求1所述的基于神经网络的包裹堆叠检测方法，其特征是，步骤101中，采用基于yolov3目标检测模型时，则神经网络的训练包括与预训练步骤以及堆叠检测训练步骤；其中，在预训练时，所述预训练的数据集为coco数据集，网络权重初始化使用何凯明初始化方法；网络固定迭代m1次，选取map最优的权重为预训练权重；在堆叠检测训练时，利用采集的堆叠检测数据集进行堆叠检测训练，网络权重初始化使用预训练得到的权重；挑选验证集时，只挑选仅含有一个单包或仅含有一个多包的图片；经过非极大值抑制后，对每张验证集图片分类，分为单包或多包，计算f1
‑
score，记录f1
‑
score曲线，并在训练结束时挑选f1
‑
score最优的权重；初始学习率为0.0005，学习率衰减策略为余弦退火。3.根据权利要求1所述的基于神经网络的包裹堆叠检测方法，其特征是，通过包裹检测神经网络模型提取皮带图像中的包裹信息时，使用非极大值抑制对提取的包裹目标进行后处理，且只在同类间进行抑制。4.根据权利要求3所述的基于神经网络的包裹堆叠检测方法，其特征是，使用非极大值抑制对提取的包裹目标进行处理与抑制时，包括如下过程：对目标框集合{b}内的目标框按置信度从高到低排序；遍历目标框集合{b}，对每个目标框b
i
从目标框b
i 1
向后遍历，若目标框b
i
与目标框b
j
属于同一类且交并比大于阈值，将目标框b
j
标记剔除；若在遍历目标框集合{b}时，目标框b
i
已被标记剔除，则跳过此轮遍历后续操作，从目标框b
i 1
开始遍历；其中，i的取值范围为[0，n
‑
2]，n为目标框的数量，j的取值范围为[i 1，n
‑
1]。5.根据权利要求1至4任一项所述的基于神经网络的包裹堆叠检测方法，其特征是，步骤104中，根据提取包裹信息判断包裹堆叠的状态，所述包裹堆叠的状态包括：仅出现一个单包时，则判定为非堆叠情形；出现多个包裹时，当第一个包裹与第二个包裹正矩形框首尾间距小于阈值l时，则判定为堆叠情形；出现多个包裹时，当第一个包裹类别为单包，且与第二个包裹正矩形框首尾间距大于阈值l时，则判定为非堆叠情形；无论是否有多个包裹，当第一个包裹类别为多包时，则判定为堆叠情形。6.根据权利要求5所述的基于神经网络的包裹堆叠检测方法，其特征是，所述阈值l不
大于250mm。7.一种基于神经网络的包裹堆叠检测装置，其特征是：包括图像采集模块，通过图像采集模块能获取输送包裹时的皮带图像；堆叠检测模块，与图像采集模块连接，并在所述堆叠检测模块内设置包裹检测神经网络模型，所述包裹检测神经网络基于yolov3目标检测模型，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框；所述堆叠检测模块根据图像采集模块获取的皮带图像能提取皮带图像中的包裹信息，并根据所提取的包裹信息判断皮带图像对应的包裹堆叠状态；信号发送模块，与堆叠检测模块连接以及包裹输送控制系统连接，能将堆叠检测模块判断的包裹堆叠状态发送至包裹输送控制系统。8.根据权利要求7所述基于神经网络的包裹堆叠检测装置，其特征是：所述图像采集模块包括面阵彩色相机，图像采集模块与输送包裹的皮带间的距离为1000mm到1200mm。9.根据权利要求7或8所述基于神经网络的包裹堆叠检测装置，其特征是：根据提取包裹信息判断包裹堆叠的状态，所述包裹堆叠的状态包括：仅出现一个单包时，则判定为非堆叠情形；出现多个包裹时，当第一个包裹与第二个包裹正矩形框首尾间距小于阈值l时，则判定为堆叠情形；出现多个包裹时，当第一个包裹类别为单包，且与第二个包裹正矩形框首尾间距大于阈值l时，则判定为非堆叠情形；无论是否有多个包裹，当第一个包裹类别为多包时，则判定为堆叠情形。10.根据权利要求7或8所述基于神经网络的包裹堆叠检测装置，其特征是：在信号发送模块内，设置虚拟发送线，仅在有包裹触碰发送线时才将堆叠信号发送给控制系统；通过目标追踪，抑制同一包裹多次触发发送信号。

技术总结
本发明涉及一种基于神经网络的包裹堆叠检测方法及装置。其包括如下步骤：步骤101、训练得到包裹检测神经网络模型，其中，所述包裹检测神经网络基于YOLOV3目标检测模型，骨干网络采用基于MobileNetV2架构，检测头部分使用二层的YOLO层输出检测框；步骤102、通过顶扫相机获取输送包裹时的皮带图像；步骤103、通过上述的包裹检测神经网络模型提取上述皮带图像中的包裹信息，所述包裹检测神经网络模型提取的包裹信息包括包裹的位置以及包裹之间关系；步骤104、根据上述提取的包裹信息判断包裹堆叠的状态。本发明能有效实现对包裹堆叠的检测，提高自动供包的准确性以及分拣效率。提高自动供包的准确性以及分拣效率。提高自动供包的准确性以及分拣效率。


技术研发人员：朱强 唐金亚 杜萍
受保护的技术使用者：中科微至智能制造科技江苏股份有限公司
技术研发日：2021.09.15
技术公布日：2021/12/7