一种基于神经网络的包裹堆叠检测方法及装置与流程

1.本发明涉及一种检测方法及装置，尤其是一种基于神经网络的包裹堆叠检测方法及装置。


背景技术：

2.全自动供包系统由交叉带式分拣系统与包裹分离系统组成。在进入交叉带式分拣系统时，必须保证包裹是按顺序逐个进入。如果有堆叠包裹进入交叉带式分拣系统，将导致包裹分拣失败并降低分拣效率。
3.目前，对于包裹的分离，是依靠改变皮带速率从而控制包裹分离的，无法将堆叠严重的包裹分开。因此，为了保证包裹的分拣准确率与效率，如何在进入交叉带分拣系统之前检测出堆叠的包裹成为了急需解决的问题。


技术实现要素：

4.本发明的目的是克服现有技术中存在的不足，提供一种基于神经网络的包裹堆叠检测方法及装置，其能有效实现对包裹堆叠的检测，提高自动供包的准确性以及分拣效率。
5.按照本发明提供的技术方案，一种基于神经网络的包裹堆叠检测方法，所述包裹堆叠方法检测方法包括如下步骤：
6.步骤101、训练得到包裹检测神经网络模型，其中，所述包裹检测神经网络基于yolov3目标检测模型，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框；
7.步骤102、通过顶扫相机获取输送包裹时的皮带图像；
8.步骤103、通过上述的包裹检测神经网络模型提取上述皮带图像中的包裹信息，所述包裹检测神经网络模型提取的包裹信息包括包裹的位置以及包裹之间关系；
9.步骤104、根据上述提取的包裹信息判断包裹堆叠的状态。
10.步骤101中，采用基于yolov3目标检测模型时，则神经网络的训练包括与预训练步骤以及堆叠检测训练步骤；其中，
11.在预训练时，所述预训练的数据集为coco数据集，网络权重初始化使用何凯明初始化方法；网络固定迭代m1次，选取map最优的权重为预训练权重；
12.在堆叠检测训练时，利用采集的堆叠检测数据集进行堆叠检测训练，网络权重初始化使用预训练得到的权重；挑选验证集时，只挑选仅含有一个单包或仅含有一个多包的图片；经过非极大值抑制后，对每张验证集图片分类，分为单包或多包，计算f1
‑
score，记录f1
‑
score曲线，并在训练结束时挑选 f1
‑
score最优的权重；初始学习率为0.0005，学习率衰减策略为余弦退火。
13.通过包裹检测神经网络模型提取皮带图像中的包裹信息时，使用非极大值抑制对提取的包裹目标进行后处理，且只在同类间进行抑制。
14.使用非极大值抑制对提取的包裹目标进行处理与抑制时，包括如下过程：
15.对目标框集合{b}内的目标框按置信度从高到低排序；
16.遍历目标框集合{b}，对每个目标框b
i
从目标框b
i 1
向后遍历，若目标框b
i
与目标框b
j
属于同一类且交并比大于阈值，将目标框b
j
标记剔除；
17.若在遍历目标框集合{b}时，目标框b
i
已被标记剔除，则跳过此轮遍历后续操作，从目标框b
i 1
开始遍历；其中，i的取值范围为[0,n
‑
2]，n为目标框的数量，j的取值范围为[i 1,n
‑
1]。
[0018]
步骤104中，根据提取包裹信息判断包裹堆叠的状态，所述包裹堆叠的状态包括：
[0019]
仅出现一个单包时，则判定为非堆叠情形；
[0020]
出现多个包裹时，当第一个包裹与第二个包裹正矩形框首尾间距小于阈值l时，则判定为堆叠情形；
[0021]
出现多个包裹时，当第一个包裹类别为单包，且与第二个包裹正矩形框首尾间距大于阈值l时，则判定为非堆叠情形；
[0022]
无论是否有多个包裹，当第一个包裹类别为多包时，则判定为堆叠情形。
[0023]
所述阈值l不大于250mm。
[0024]
一种基于神经网络的包裹堆叠检测装置，其特征是：包括
[0025]
图像采集模块，通过图像采集模块能获取输送包裹时的皮带图像；
[0026]
堆叠检测模块，与图像采集模块连接，并在所述堆叠检测模块内设置包裹检测神经网络模型，所述包裹检测神经网络基于yolov3目标检测模型，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框；所述堆叠检测模块根据图像采集模块获取的皮带图像能提取皮带图像中的包裹信息，并根据所提取的包裹信息判断皮带图像对应的包裹堆叠状态；
[0027]
信号发送模块，与堆叠检测模块连接以及包裹输送控制系统连接，能将堆叠检测模块判断的包裹堆叠状态发送至包裹输送控制系统。
[0028]
所述图像采集模块包括面阵彩色相机，图像采集模块与输送包裹的皮带间的距离为1000mm到1200mm。
[0029]
根据提取包裹信息判断包裹堆叠的状态，所述包裹堆叠的状态包括：
[0030]
仅出现一个单包时，则判定为非堆叠情形；
[0031]
出现多个包裹时，当第一个包裹与第二个包裹正矩形框首尾间距小于阈值l时，则判定为堆叠情形；
[0032]
出现多个包裹时，当第一个包裹类别为单包，且与第二个包裹正矩形框首尾间距大于阈值l时，则判定为非堆叠情形；
[0033]
无论是否有多个包裹，当第一个包裹类别为多包时，则判定为堆叠情形。
[0034]
在信号发送模块内，设置虚拟发送线，仅在有包裹触碰发送线时才将堆叠信号发送给控制系统；通过目标追踪，抑制同一包裹多次触发发送信号。
[0035]
本发明的优点：通过所述图像采集模块获取皮带图像，所述皮带用于传送包裹；堆叠检测模块内设置包裹检测神经网络模型，所述包裹检测神经网络基于yolov3目标检测模型，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框；所述堆叠检测模块根据图像采集模块获取的皮带图像能提取皮带图像中的包裹信息，并根据所提取的包裹信息判断皮带图像对应的包裹堆叠状态，即通过所述堆叠检测模块提取包裹信
息并判断当前时刻堆叠情况，通过所述信号发送模块将堆叠情况发送给控制系统；控制系统可以根据堆叠情况改变包裹运行方向，避免堆叠包裹进入后续分拣系统，有效提升了供包准确性与分拣效率。
附图说明
[0036]
图1为本发明的检测流程图。
[0037]
图2为本发明控制包裹输送的流程图。
[0038]
图3为本发明基于mobilenetv2架构的示意图。
具体实施方式
[0039]
下面结合具体附图和实施例对本发明作进一步说明。
[0040]
如图1所示，为了能有效实现对包裹堆叠的检测，提高自动供包的准确性以及分拣效率，本发明所述包裹堆叠方法检测方法包括如下步骤：
[0041]
步骤101、训练得到包裹检测神经网络模型，其中，所述包裹检测神经网络基于yolov3目标检测模型，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框；
[0042]
具体实施时，yolov3目标检测模型为现有常用的目标检测模型，具体为本技术领域人员所熟知，此处不再赘述。为了能适应包裹的检测，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框，其中，基于mobilenetv2架构的具体情况与现有相一致。图3中示出了基于 mobilenetv2架构的情况，具体地，input代表输入张量大小，operator表示张量运算方法，c代表输出通道数，n代表operator迭代次数，s表示输出相对于输入的步长，conv2d为2d卷积，bottleneck为反残差模块，反残差模块 bottleneck具体可以采用现有常用的形式，即mobilenetv2架构的具体具体为本技术领域人员所熟知，此处不再赘述。
[0043]
此外，检测头部分使用二层的yolo层输出检测框，具体与yolov3目标检测模型相关，具体为本技术领域人员所熟知，此处不再赘述。
[0044]
本发明实施例中，当包裹检测神经网络模型基于yolov3目标检测模型时，则神经网络的训练包括与预训练步骤以及堆叠检测训练步骤；具体实施时，预训练以及堆叠检测训练时，图片分辨率大小会影响前向推理时所需的图片分辨率大小。训练的图片分辨率是根据推理所需的图片分辨率得出的，具体的，推理所需的图片分辨率大小处于训练图片分辨率最大值与最小值之间。例如，推理时图片分辨率为320x320，训练图片分辨率最小值为224，最大值为512，即选择的输入图片分辨率在224
‑
512之间取32的倍数。
[0045]
在预训练时，所述预训练的数据集为coco数据集，网络权重初始化使用何凯明初始化方法；网络固定迭代m1次，选取map最优的权重为预训练权重；
[0046]
为了能适应对包裹的检测，在选择基于yolov3目标检测模型后，还需要进行相应的训练步骤，所述训练步骤具体包括预训练步骤以及堆叠检测步骤，具体步骤的目的与现有相一致，此处不再赘述。
[0047]
本发明实施例中，在预训练过程中，在coco数据集上训练，网络权重初始化使用何凯明初始化方法；具体地，coco数据集具体为ms
‑
coco
‑
2017 数据集，所述ms
‑
coco
‑
2017数
据集可从ms coco官网获取。预训练时，将网络设置成检测80类即可。具体实施时，网络固定迭代m1设置为800020 次，选取map值最优的权重为预训练权重；初始学习率为0.001，学习率衰减策略为分段式衰减，在第400000及650000迭代时衰减0.9倍；前4000步迭代时，学习率从0匀速上升至0.001。
[0048]
在选定预训练过程中的数据集、网络权重初始化方法等条件后，能实现对y0lov3目标检测模型进行预训练，具体训练过程为本技术领域人员所熟知，此处不再赘述。
[0049]
在堆叠检测训练时，利用采集的堆叠检测数据集进行堆叠检测训练，网络权重初始化使用预训练得到的权重；挑选验证集时，只挑选仅含有一个单包或仅含有一个多包的图片；经过非极大值抑制后，对每张验证集图片分类，分为单包或多包，计算f1
‑
score，记录f1
‑
score曲线，并在训练结束时挑选 f1
‑
score最优的权重；初始学习率为0.0005，学习率衰减策略为余弦退火。
[0050]
本发明实施例中，堆叠检测训练数据集可在实际流水线中抓拍获取。具体的，将相机固定在皮带上采集图片。在没有任何样本的情况下，采用等间隔抓拍的方式获取图片，人工挑选出有效样本；在获得小规模样本的情况下，进行初步堆叠检测训练，相机实时抓拍图片，利用训练好的模型自动保存含有包裹的图片作为有效样本。在堆叠检测训练时，将网络设置成检测2类，即分为单包样本与多包样本，具体获取堆叠检测训练数据集的过程可根据实际需要选择确定，具体为本技术领域人员所熟知，此处不再赘述。
[0051]
具体实施时，在采集的堆叠检测数据集上训练，网络权重初始化使用预训练得到的权重；挑选验证集时，只挑选仅含有一个单包或仅含有一个多包的图片；经过非极大值抑制后，对每张验证集图片分类，分为单包或多包，计算f1
‑
score，记录f1
‑
score曲线，并在训练结束时挑选f1
‑
score最优的权重；初始学习率为0.0005，学习率衰减策略为余弦退火；训练总轮数由数据集大小确定，应当不小于2000迭代批次。具体训练过程中，当采集图片样本较多，可固定训练150轮。
[0052]
上述训练过程中，计算f1
‑
score，记录f1
‑
score曲线，并在训练结束时挑选f1
‑
score最优的权重的具体过程均与现有相一致，具体为本技术领域人员所熟知，此处不再赘述。当经过上述预训练以及堆叠检测训练后，即可得到所需的基于yolov3目标检测模型的包裹检测神经网络模型。
[0053]
步骤102、通过顶扫相机获取输送包裹时的皮带图像；
[0054]
具体地，通过顶扫相机获取皮带图像的方式以及过程均与现有相一致，具体为本技术领域人员所熟知，此处不再赘述。
[0055]
步骤103、通过上述的包裹检测神经网络模型提取上述皮带图像中的包裹信息，所述包裹检测神经网络模型提取的包裹信息包括包裹的位置以及包裹之间关系；
[0056]
本发明实施例中，在得到包裹检测神经网络模型后，对于任意获取的一皮带图像，均可以利用所述包裹检测神经网络模型提取得到皮条图像中的包裹信息，具体利用包裹检测神经网络模型得到包裹信息的过程与现有相一致，此处不再赘述。具体实施时，提取得到的包裹信息包括包裹的位置以及包裹之间关系。
[0057]
具体实施时，通过包裹检测神经网络模型提取皮带图像中的包裹信息时，使用非极大值抑制对提取的包裹目标进行后处理，且只在同类间进行抑制。
[0058]
本发明实施例中，使用非极大值抑制对提取的包裹目标进行处理与抑制时，包括
如下过程：
[0059]
对目标框集合{b}内的目标框按置信度从高到低排序；
[0060]
遍历目标框集合{b}，对每个目标框b
i
从目标框b
i 1
向后遍历，若目标框b
i
与目标框b
j
属于同一类且交并比大于阈值，将目标框b
j
标记剔除；
[0061]
若在遍历目标框集合{b}时，目标框b
i
已被标记剔除，则跳过此轮遍历后续操作，从目标框b
i 1
开始遍历；其中，i的取值范围为[0,n
‑
2]，n为目标框的数量，j的取值范围为[i 1,n
‑
1]。
[0062]
本发明实施例中，目标框集合{b}内包含若干个目标框，目标框的数量与获取的皮带图像相关，具体为本技术领域人员所熟知，此处不再赘述。在利用包裹检测神经网络模型提取得到包裹信息后，也同时给出每个目标框的置信度，具体与现有相一致，此处不再赘述。通过非极大值抑制处理后，能减少单包信息与多包信息之间的干扰。
[0063]
步骤104、根据上述提取的包裹信息判断包裹堆叠的状态。
[0064]
具体实施时，根据提取包裹信息判断包裹堆叠的状态，所述包裹堆叠的状态包括：
[0065]
仅出现一个单包时，则判定为非堆叠情形；
[0066]
出现多个包裹时，当第一个包裹与第二个包裹正矩形框首尾间距小于阈值l时，则判定为堆叠情形；
[0067]
出现多个包裹时，当第一个包裹类别为单包，且与第二个包裹正矩形框首尾间距大于阈值l时，则判定为非堆叠情形；
[0068]
无论是否有多个包裹，当第一个包裹类别为多包时，则判定为堆叠情形。
[0069]
由上述说明可知，在对皮带图像提取得到包裹信息后，能得到包裹的位置以及包裹之间的关系，因此，可以根据包裹信息对包裹堆叠状态进行判断。具体实施时，阈值l不大于250mm，阈值l的具体情况可以根据实际对包裹的传送等情况选择，具体为本技术领域人员所熟知，此处不再赘述。
[0070]
综上，可得到基于神经网络的包裹堆叠检测装置，具体地，包括
[0071]
图像采集模块，通过图像采集模块能获取输送包裹时的皮带图像；
[0072]
堆叠检测模块，与图像采集模块连接，并在所述堆叠检测模块内设置包裹检测神经网络模型，所述包裹检测神经网络基于yolov3目标检测模型，骨干网络采用基于mobilenetv2架构，检测头部分使用二层的yolo层输出检测框；所述堆叠检测模块根据图像采集模块获取的皮带图像能提取皮带图像中的包裹信息，并根据所提取的包裹信息判断皮带图像对应的包裹堆叠状态；
[0073]
信号发送模块，与堆叠检测模块连接以及包裹输送控制系统连接，能将堆叠检测模块判断的包裹堆叠状态发送至包裹输送控制系统。
[0074]
本发明实施例中，对于图像采集模块，可使用面阵相机、彩色或者灰度传感器，具体可以根据实际需要选择，此处不再赘述。当使用面阵彩色相机获取目标图像，悬挂高度依据实际视野情况而定，具体地，面阵彩色相机悬挂高度优选为1000mm到1200mm之间。
[0075]
在实际场景中，包裹可能会高速运动，为避免拍摄图像运动模糊应当降低曝光时间。因此，还应当包括补光模块。补光模块可采用主流的led光源，它具有发热量小、亮度高、寿命长等特点。本装置采用固定发射角的白光led 灯珠。
[0076]
对于堆叠检测模块，在堆叠检测模块内设置包裹检测神经网络，包裹检测神经网
络的具体情况以及对皮带图像的检测等均与上述说明相一致，具体可以参考上述数模，此处不再赘述。
[0077]
在信号发送模块内，设置虚拟发送线，仅在有包裹触碰发送线时才将堆叠信号发送给控制系统；通过目标追踪，抑制同一包裹多次触发发送信号。
[0078]
本发明实施例中，对每个包裹进行追踪，当包裹进入视野开始就加入追踪列表；设置虚拟发送线，当包裹触碰到虚拟发送线时，将堆叠情况发送给包裹输送控制系统，包裹输送控制系统能对包裹的输送过程进行控制，包裹输送控制系统可采用现有常用的形式，具体对包裹的输送控制过程等均与现有相一致，具体为本技术领域人员所熟知，此处不再随时。
[0079]
具体实施时，设置虚拟发送线时应当考虑图像采集帧率以及包裹运动速率。应当保证在两帧图像采集的间隔内，包裹不会从未触碰发送线的位置直接运动至图像视野外部。当包裹移动速度为1800mm/s，拍照间隔为100ms，虚拟发送线设置至距离视野出口边缘250mm处。具体地，虚拟发送线设置至距离视野出口边缘250mm处，，该边缘指的是包裹在图像中离开时触碰到的那一侧。对于虚拟发送线的具体位置，具体需要根据皮带的运动速度与图像采集间隔调节，需要略大于在一次采集间隔内皮带运动的距离。工作时，每帧图像都会判断最前端的包裹与发送线的位置关系，当最前端的包裹触碰到发送线时，就会向包裹输送控制系统发送当前的判断结果。
[0080]
目标追踪可采用该领域技术人员所熟知的track
‑
by
‑
detection的方式，将当前帧包裹检测结果与上一帧的结果进行目标框匹配，从而实现追踪，具体目标追踪过程与现有相一致，具体为本技术领域人员所熟知，不再赘述。
[0081]
如图2所示，为本发明包裹堆叠检测装置的工作流程图，具体地：通过所述图像采集模块获取皮带图像，所述皮带用于传送包裹；通过堆叠检测模块提取包裹信息并判断当前时刻堆叠情况，所述包裹信息包括包裹位置、包裹间距以及包裹类型；通过信号发送模块将堆叠情况发送给控制系统。解决了因包裹堆叠而造成的错分问题，有效提升自动供包效率与准确性。
[0082]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0083]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。