包裹检测方法、装置及系统与流程

1.本发明涉及物流运输技术领域，具体涉及一种包裹检测方法，同时还涉及相应的包裹检测装置及系统。


背景技术：

2.目前，物流运输行业的发展越来越智能化，主流的物流公司大多拥有自动分拣线，能够实现快速地对包裹进行检测以及分拣，从而节省人力以及提高效率。
3.包裹的一种常用检测方式是：通过工业相机拍摄分拣线的现场图像，将现场图像输入目标检测模型(或者称为算法)中识别出包裹。检测出包裹之后，根据贴在包裹上的面单还可以识别出运单号，而根据运单号便可以查询到包裹的重量、收件人、寄件人以及路由等信息。
4.上述目标检测模型可以采用基于深度卷积神经网络的yolov3目标检测模型(yolo目标检测模型的第3个版本，yolo即you only look once的缩写)，该模型具有较强的检测能力，能够达到较好的检测效果。但仍然存在一定的缺陷:由于物流运输行业需要处理大量的包裹，并且实时性要求较高,对包裹的检测速度将在很大程度上决定了分拣线的分拣速度；而目前yolov3目标检测模型的特征提取网络darknet53的结构过于复杂，运算量较大，导致检测速度被拖慢。


技术实现要素：

5.本发明的主要目的在于，公开一种检测速度更快的包裹检测方法。
6.本发明公开的一种包裹检测方法，通过将待检测包裹的现场图像输入一轻量化目标检测模型进行检测并得出检测结果；其中，所述轻量化目标检测模型通过以下轻量化训练步骤a1-a3训练而成：
7.a1：对yolov3目标检测模型的批量归一化层的权重的梯度进行稀疏训练，获得稀疏化目标检测模型；
8.a2：对所述稀疏化目标检测模型根据其批量归一化层的权重按预设比例进行裁剪，获得轻量化目标检测模型；
9.a3：基于聚类训练得到的预置数据集对所述轻量化目标检测模型进行训练。
10.本发明通过对批量归一化层(即batch norm层)的权重的梯度进行稀疏训练获得稀疏化目标检测模型，以及根据批量归一化层的权重按预设比例进行裁剪，可使模型得到压缩，所获得的轻量化目标检测模型的运算量较小，从而可以大幅度提高检测速度。并且，由于聚类训练得到的预置数据集对所述轻量化目标检测模型进行训练，可以进一步提高包裹检测的速度及准确性。
11.作为优选，所述聚类训练得到的预置数据集通过以下聚类训练步骤b1-b3训练而成：
12.b1：获取供聚类训练用的多幅具有包裹的现场图像，形成聚类训练图像集；
13.b2：对聚类训练图像集中的各现场图像，根据包裹所处位置进行边界框标注，获得各组边界框信息，形成边界框信息集；
14.b3：对所述边界框信息集进行聚类运算，获得多组锚框信息，形成锚框信息集；将所述锚框信息集及其对应的现场图像作为所述预置数据集。
15.作为优选，步骤a3中基于预置数据集对所述轻量化目标检测模型的训练包括基于数据增益方面优化的训练。
16.作为优选，步骤a3中基于预置数据集对所述轻量化目标检测模型的训练包括基于超参数自动搜索以及余弦退火的学习率调节算法的训练。
17.作为优选，所述轻量化目标检测模型在所述轻量化训练之后，还通过以下半监督训练步骤c1-c3训练而成：
18.c1：获取供半监督训练用的多幅具有包裹的现场图像，形成半监督训练图像集；
19.c2：将半监督训练图像集中的现场图像分为标注图像和未标注图像；其中，所述标注图像根据包裹所处位置进行边界框标注而具有边界框信息；
20.c3：基于所述标注图像和未标注图像对所述轻量化目标检测模型进行半监督训练。
21.作为优选，所述半监督训练图像集中标注图像的比例为30％，未标注图像的比例为70％。
22.作为优选，所述边界框信息集中的每一组边界框信息包括四维度的坐标值和一维度的类型值；所述锚框信息集中的每一组锚框信息包括四维度的坐标值。
23.作为优选，所述锚框信息集包括九组锚框信息。
24.本发明还相应公开一种包裹检测装置，其配置有上述任一项方案的轻量化目标检测模型，通过将待检测包裹的现场图像输入所述轻量化目标检测模型进行检测，得出检测结果。
25.本发明还相应公开一种包裹检测系统，其包括相机、工控机和服务器，三者依次电连接；所述服务器包括上述包裹检测装置；所述相机用于获取待检测包裹的现场图像并通过所述工控机中输入所述服务器中；所述服务器利用所述包裹检测装置执行包裹检测。
26.有益效果：本发明采用的轻量化目标检测模型相对于原有的yolov3目标检测模型做了大幅度压缩，减少了运算量，并提高了包裹检测速度；并且，本发明基于聚类训练得到的预置数据集对轻量化目标检测模型进行训练，还进一步提高包裹检测的速度及准确性。
附图说明
27.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是实施例公开的包裹检测方法中轻量化目标检测模型的基于模型剪枝的训练流程示意图；
29.图2是实施例公开的包裹检测方法中预置数据集的训练流程示意图；
30.图3是实施例公开的包裹检测方法中轻量化目标检测模型的半监督训练流程示意
图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.本实施例公开的一种包裹检测方法，通过将待检测包裹的现场图像输入一轻量化目标检测模型进行检测并得出检测结果。例如，在物流分拣线现场具有用于输送包裹的皮带机，皮带机上方安装有摄像机；摄像机对皮带机的输送表面(皮带表面)进行现场图像采集；将采集得到的现场图像输入该轻量化目标检测模型进行检测，即检测出现场图像中的全部包裹(也即得出检测结果，即是否存在包裹、包裹的数量等)；进而，根据检测结果还可以得出皮带机在每个时间段的输送量，便于物流管理。
33.以下主要介绍该轻量化目标检测模型的获得(即训练)，将待检测包裹的现场图像输入训练后的轻量化目标检测模型中即可得出检测结果。
34.轻量化目标检测模型的训练包括模型本身以及用于训练的数据集两部分；其中，轻量化目标检测模型的训练主要是基于模型剪枝理念的训练方式。
35.一、轻量化目标检测模型基于模型剪枝的训练
36.请参阅图1，本实施例中轻量化目标检测模型通过以下轻量化训练步骤s10-s30训练而成：
37.s10：对yolov3目标检测模型的批量归一化层的权重的梯度进行稀疏训练，获得稀疏化目标检测模型。
38.批量归一化层即batch norm层，属于yolov3目标检测模型的特征提取网络darknet53的一部分。步骤s10的稀疏化训练是为了配合后续步骤s20中的裁剪(称为模型剪枝)的一种训练方式；具体而言，即是通过对批量归一化层的权重的梯度进行赋值，使批量归一化层的每一个特征通道得到相应的权重，而根据得到的权重可以衡量相应特征通道的重要程度，作为步骤s20进行裁剪的依据。
39.从而，通过步骤s10的稀疏训练之后得到稀疏化目标检测模型。
40.s20：对所述稀疏化目标检测模型根据其批量归一化层的权重按预设比例进行裁剪，获得轻量化目标检测模型。
41.步骤s20可根据全局的批量归一化层的权重进行裁剪，裁剪的比例可以根据需要进行预设。预设比例越大则裁剪得越多，模型的运算速度越快，但会相应损失一部分特征值，对识别效果带来不利。例如，当预设比例为0.9，假设yolov3目标检测模型具有100个特征通道，则批量归一化层对应有100个权重，这些权重从小到大排序，就选择第90个权重作为阈值，后续将使用这个阈值对批量归一化层的每一个权重进行过滤，只保留大于阈值的特征通道。如果对模型的运算速度要求不高，可以将预设比例设置小一些，例如0.5。
42.s30：基于聚类训练得到的预置数据集对所述轻量化目标检测模型进行训练。
43.经过步骤s20的裁剪之后，yolov3目标检测模型得到压缩，运算量减少，成为一个轻量化的目标检测模型，该轻量化目标检测模型的运算速度将得到大幅度提高，从而能够
提高包裹的检测速度。
44.步骤30可通过预置数据集(预先准备的具有包裹的现场图像)对所述轻量化目标检测模型进行训练，获得最优的轻量化目标检测模型。该预置数据集优选是经过聚类训练(例如通过k-means算法聚类运算)得到的预置数据集，这些预置数据集属于参考数据，可以进一步提高检测精度和速度。
45.此外，步骤s30中基于预置数据集对轻量化目标检测模型的训练还可包括基于数据增益方面优化的训练。该数据增益方面优化的训练包括但不限于mosaic数据增益、hsv数据增益、运动模糊、多尺度输入、高斯模糊、对比度增强等一系列的数据增益优化。进一步的，步骤s30中基于预置数据集对轻量化目标检测模型的训练还可包括基于超参数自动搜索以及余弦退火的学习率调节算法的训练；其中，超参数自动搜索是指通过遗传算法对训练模型时输入的一些参数(例如比如学习率，优化器的参数)进行搜索，得出一组最优的用来训练的参数(即超参数)；余弦退火是用来调节学习率的算法，指按照余弦函数的方式进行学习率下降调节。这些算法能够使得模型更加稳定或者效果更好。由于介绍这些算法的现成资料较多，这里不作展开介绍。
46.二、预置数据集的训练
47.请参阅图2，针对前面步骤s30涉及的预置数据集的聚类训练，以下介绍一种优选方案。具体的，该预置数据集通过以下聚类训练步骤l10-l30训练而成：
48.l10：获取供聚类训练用的多幅具有包裹的现场图像，形成聚类训练图像集。
49.步骤l10主要在于预先准备一定数量的现场图像作为聚类训练的数据，为便于描述，将这些数据整体上称为聚类训练图像集。
50.l20：对聚类训练图像集中的各现场图像，根据包裹所处位置进行边界框标注，获得各组边界框信息，形成边界框信息集。
51.步骤l20可以采用人工标注的方式进行边界框标注。例如可以将各现场图像导入colabeler(精灵标注助手)中进行人工标注，包括标注边界框(矩形框)和物的类型(即包裹)，标注之后在colabeler中便存在边界框信息。每一组边界框信息包括四维度的坐标值和一维度的类型值；例如[x1,y1,x2,y2]表示边界框四个顶点的坐标，label表示边界框中物的类型，本实施例中label的值仅有一个，代表包裹。
[0052]
l30：对所述边界框信息集进行聚类运算，获得多组锚框信息，形成锚框信息集；将所述锚框信息集及其对应的现场图像作为所述预置数据集。
[0053]
步骤l30可以采用但不限于k-means算法聚类运算对聚类训练图像集中的各现场图像进行聚类运算，得到最适合训练数据的锚框(anchorbox)。相对于前述边界框信息，由于物的类型为已知，锚框信息仅包括四维度的坐标值的即可。
[0054]
由于yolov3目标检测模型可以进行3种不同尺度的特征图的预测，本实施例中的锚框信息按其不同尺寸分为三类，每一类按不同尺寸又分为三组，因此锚框信息集共包括九组锚框信息。
[0055]
由于本实施采用具有锚框信息的预置数据集作为轻量化目标检测模型的训练数据，从而可以进一步提高包裹检测的速度及准确性。
[0056]
三、轻量化目标检测模型的半监督训练
[0057]
经过以上聚类训练的预置数据集对上述轻量化目标检测模型进行训练后，便能够
得到一个检测速度和准确性均得到提高的轻量化目标检测模型。然而，以上聚类训练往往是基于数量较为有限的现场图像得出的训练结果，轻量化目标检测模型可能会存在泛化能力不高的问题，导致难以适用于不同条件(例如光照条件、拍摄角度等)的现场场景。因此，为了提高轻量化目标检测模型的泛化能力，则需要基于非常多的现场图像进行训练，而对这些现场图像进行边界框标注将成为一项耗费大量精力且枯燥乏味的工程。
[0058]
为此，以下提出一种可以减少标注工作量的半监督训练方案。
[0059]
请参阅图3，轻量化目标检测模型在轻量化训练之后，还通过以下半监督训练步骤m10-m30训练而成：
[0060]
m10：获取供半监督训练用的多幅具有包裹的现场图像，形成半监督训练图像集。
[0061]
具体的，可以通过相机在分拣线上对包裹所处的现场进行拍摄获得现场图像，也可通过网上下载等途径获得分拣线上包裹的现场图像，为便于描述，将这些现场图像整体称为半监督训练图像集。
[0062]
m20：将半监督训练图像集中的现场图像分为标注图像和未标注图像；其中，所述标注图像根据包裹所处位置进行边界框标注而具有边界框信息。
[0063]
关于标注图像和未标注图像的比例，经过发明人的研究，在本实施例中，当标注图像的比例为30％时，其训练效果与标注图像的比例为40％、50％时的训练效果基本一致，而相对于标注图像的比例为20％的训练效果则明显更优。因此，为了确保训练效果同时节省人力，本实施例优选的比例为：标注图像的比例为30％，未标注图像的比例为70％。
[0064]
m30：基于所述标注图像和未标注图像对所述轻量化目标检测模型进行半监督训练。
[0065]
半监督训练属于弱监督训练的一种，步骤m30的半监督训练可以采用但不限于mean teachers are better role models：weight-averaged consistency targets improve semi-supervised deep learning results的算法进行半监督训练，增强模型的鲁棒性，从而经过少量的标注最终可以获得泛化能力更强的模型，更加适用于不同条件的现场场景。
[0066]
在以上对包裹检测方法做了详细介绍的基础上，可以理解的，上述包裹检测方法可以具体化为由一种包裹检测装置作为执行载体，该包裹检测装置通过将待检测包裹的现场图像输入所述轻量化目标检测模型进行检测，得出检测结果。进一步的，当前的分拣线往往设置有相机和工控机，后台布置有服务器，并且相机、工控机和服务器三者依次电连接；因此，前述包裹检测方法及装置的功能可以具体由这些硬件设备组成的物理系统作为物理载体；其中，该服务器包括前述包裹检测装置，相机用于获取待检测包裹的现场图像并通过工控机中输入服务器中，服务器利用该包裹检测装置执行包裹检测。
[0067]
以上仅对本发明的一部分进行了详细介绍，目的在于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。