包裹偏离识别方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种包裹偏离识别方法、装置、设备及存储介质。


背景技术：

2.现阶段人们的生活越来越离不开快递，物流运输也在不断改进和优化，为智慧城市赋能。在分拨分拣过程中，包裹在经过交叉带中的弧道时，易出现物品因重力和惯性的作用下出现移动或者甩出的现象，造成物件无法顺利的分送，甩出了轨架或偏离了轨道挡住了其他物件的输送使其他物件无法顺利分送。传统的处理方式需要人工检查，工作量大，而且存在遗漏情况。


技术实现要素：

3.本发明的主要目的在于解决现有的在包裹偏离传送带的处理过程中存在遗漏的技术问题。
4.本发明第一方面提供了一种包裹偏离识别方法，包括：采集原始监控图像样本，并对所述原始监控图像样本中的交叉带区域和包裹进行标注；基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹。
5.可选的，在本发明第一方面的第一种实现方式中，所述基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型包括：将标注后的原始监控图像样本划分为训练集和测试集；基于所述训练集和预设的实例分割模型神经网络，训练得到交叉带识别模型；基于所述训练集和预设的目标检测网络，训练得到包裹定位模型；分别通过所述测试集验证所述交叉带识别模型和所述包裹定位模型的检测效果。
6.可选的，在本发明第一方面的第二种实现方式中，所述将所述规范驾驶数据输入预设的场景复杂度评估模型中，基于所述场景复杂度评估模型输出的场景复杂度构建测试精选集包括：按照预设的时刻跨度，将所述目标区域的规范驾驶数据进行滑动窗口处理，分别得到多个时刻场景；将所述时刻场景输入预设的场景复杂度评估模型中，得到多个时刻场景对应的场景复杂度；基于各时刻场景对应的场景复杂度构建测试精选集。
7.可选的，在本发明第一方面的第三种实现方式中，所述交叉带识别模型包括特征提取网络，目标区域粗提取网络，交叉带分割网络；所述获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息包括：获取待识别监控图像，将所述待识别监控图像所述交叉带识别模型中，通过所述实例交叉带识别模型中的特征提取网络，得到所述待识别监控图像对应的特征图像；将所述特征图像输入所述交叉带识别模型中的目标
区域粗提取网络中，得到对应的目标区域特征图像；将所述目标区域特征图像输入交叉带分割网络中，得到交叉带掩模图像；将所述待识别监控图像输入所述包裹定位模型中，得到包裹的包裹定位信息。
8.可选的，在本发明第一方面的第四种实现方式中，所述目标区域粗提取网络基于特征金字塔网络fpn、区域提取网络rpn和兴趣区域匹配网络roi align构建；所述将所述特征图像输入所述交叉带识别模型中的目标区域粗提取网络中，得到对应的目标区域特征图像包括：将所述特征图输入目标区域粗提取网络的fpn中，通过fpn将所述特征图像切分成不同尺寸大小的图像；将不同尺寸大小的图像输入rpn中，通过rpn计算交叉带的目标预选区域，基于不同尺寸大小的图像和目标预选区域进行多尺度特征融合，得到特征张量；将所述特征张量输入roi align中，通过roi align对目标预选区域进行调整，得到对应的目标区域特征图像。
9.可选的，在本发明第一方面的第五种实现方式中，所述目标检测网络为centernet；所述基于所述训练集和预设的目标检测网络，训练得到包裹定位模型包括：将所述训练集输入centernet中，得到训练集的预测标签和嵌入向量；计算所述预测标签和标注后的原始监控图像样本中的包裹标签的第二损失值；计算所述嵌入向量的第三损失值，并将所述第二损失值和第三损失值作为所述目标检测网络的总损失值；利用梯度下降法，通过所述总损失值对所述centernet进行迭代训练，得到包裹定位模型。
10.可选的，在本发明第一方面的第六种实现方式中，所述基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹包括：获取所述交叉带掩模图像在所述待识别监控图像中的像素信息，得到所述交叉带掩模图像对应的第一像素集合；根据各包裹对应的包裹定位信息获取所述待识别监控图像中对应的像素信息，得到各包裹对应的第二像素集合；逐个判断各包裹对应的第二像素集合是否为所述第一像素集合的真子集；将为第一像素集合的真子集的第二像素集合对应的包裹识别为偏离包裹。
11.本发明第二方面提供了一种包裹偏离识别装置，包括：样本采集模块，用于采集原始监控图像样本，并对所述原始监控图像样本中的交叉带区域和包裹进行标注；模型训练模块，用于基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；模型输入模块，用于获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；识别模块，用于基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹。
12.可选的，在本发明第二方面的第一种实现方式中，所述样本采集模块具体用于：获取原始监控视频流；对所述原始监控视频流进行分帧处理，得到原始监控图像样本；利用预设的标注软件对所述原始监控图像样本中的交叉带区域和包裹进行标注。
13.可选的，在本发明第二方面的第二种实现方式中，所述模型训练建模块具体包括：样本划分单元，用于将标注后的原始监控图像样本划分为训练集和测试集；第一训练单元，用于基于所述训练集和预设的实例分割模型神经网络，训练得到交叉带识别模型；第二训练单元，用于基于所述训练集和预设的目标检测网络，训练得到包裹定位模型；测试单元，用于分别通过所述测试集验证所述交叉带识别模型和所述包裹定位模型的检测效果。
14.可选的，在本发明第二方面的第三种实现方式中，所述交叉带识别模型包括特征
提取网络，目标区域粗提取网络，交叉带分割网络；所述模型输入模块具体包括：特征提取单元，用于获取待识别监控图像，将所述待识别监控图像所述交叉带识别模型中，通过所述实例交叉带识别模型中的特征提取网络，得到所述待识别监控图像对应的特征图像；区域粗提取单元，用于将所述特征图像输入所述交叉带识别模型中的目标区域粗提取网络中，得到对应的目标区域特征图像；掩模单元，用于将所述目标区域特征图像输入交叉带分割网络中，得到交叉带掩模图像；包裹定位单元，用于将所述待识别监控图像输入所述包裹定位模型中，得到包裹的包裹定位信息。
15.可选的，在本发明第二方面的第四种实现方式中，所述目标区域粗提取网络基于特征金字塔网络fpn、区域提取网络rpn和兴趣区域匹配网络roi align构建；所述区域粗提取单元具体用于：将所述特征图输入目标区域粗提取网络的fpn中，通过fpn将所述特征图像切分成不同尺寸大小的图像；将不同尺寸大小的图像输入rpn中，通过rpn计算交叉带的目标预选区域，基于不同尺寸大小的图像和目标预选区域进行多尺度特征融合，得到特征张量；将所述特征张量输入roi align中，通过roi align对目标预选区域进行调整，得到对应的目标区域特征图像。
16.可选的，在本发明第二方面的第五种实现方式中，所述目标检测网络为centernet，所述第二训练单元具体用于：将所述训练集输入centernet中，得到训练集的预测标签和嵌入向量；计算所述预测标签和标注后的原始监控图像样本中的包裹标签的第二损失值；计算所述嵌入向量的第三损失值，并将所述第二损失值和第三损失值作为所述目标检测网络的总损失值；利用梯度下降法，通过所述总损失值对所述centernet进行迭代训练，得到包裹定位模型。
17.可选的，在本发明第二方面的第六种实现方式中，所述识别模块具体用于：获取所述交叉带掩模图像在所述待识别监控图像中的像素信息，得到所述交叉带掩模图像对应的第一像素集合；根据各包裹对应的包裹定位信息获取所述待识别监控图像中对应的像素信息，得到各包裹对应的第二像素集合；逐个判断各包裹对应的第二像素集合是否为所述第一像素集合的真子集；将为第一像素集合的真子集的第二像素集合对应的包裹识别为偏离包裹。
18.本发明第三方面提供了一种包裹偏离识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述包裹偏离识别设备执行上述的包裹偏离识别方法的步骤。
19.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的包裹偏离识别方法的步骤。
20.本发明的技术方案中，采集原始监控图像样本，并对所述原始监控图像样本中的交叉带区域和包裹进行标注；基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹。本方法使用计算机视觉技术，对包裹跑偏情况进行识别，能够对监控中的包裹进行实时跟踪，不容易漏检，提高识别率，对偏离的包裹能够及时告警，通知相
segmentation)算法架构，可以增加不同的分支完成不同的任务，可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务，maskrcnn的大体框架还是faster-rcnn的框架在基础特征网络之后又加入了全连接的分割子网，当该网络中输入一张任意大小的图像，系统会通过深度卷积网络完成两个任务，第一个任务是faster r-cnn的rpn网络，主要实现候选区域；第二个任务是目标检测mask r-cnn网络经过区域推荐网络提取候选区域，区域推荐网络是一个轻量的神经网络，通过滑动窗口扫描特征图进行卷积操作，结合不同的尺寸与长宽比，生成互相重叠区域，即anchor，并给出每个anchor默认预置的位置信息，用以后续提取候选区域。区域推荐网络针对每个anchor输出两种信息，第一种信息是对anchor前景或背景类别的预测，前景类别代表该anchor中具有一定概率存在某类或多类目标，背景类别指待检测目标之外的其它物体，后续会滤除。第二种信息是预置边框的精调，当目标的中心与前景anchor的中心不完全重合，即存在偏移时，输出位置信息(x，y，w，h)的变化百分比，以精确地调整anchor位置，对目标位置的拟合更正确。在前景anchor中存在互相重叠的现象，通过非极大值抑制方法滤除前景得分低的anchor，保留得分最高的anchor，最终得到的兴趣区域，在本实施例中，兴趣区域即为交叉带区域，通过训练出的交叉带识别模型能够输出交叉带在监控图像中的掩模图像。
37.在实际应用中，centernet是一种anchor-free的目标检测网络，通过将目标检测问题变成了一个标准的关键点估计问题，将图像传入全卷积网络，得到一个热力图，热力图峰值点即中心点，每个特征图的峰值点位置预测了目标的宽高信息，即可预测目标在图像中的位置，在本实施例中，目标即为包裹。
38.104、基于包裹定位信息和交叉带掩模图像，识别待识别监控图像中的偏离包裹。
39.在本实施例中，交叉带识别模型和包裹定位模型输出的包裹定位信息和交叉带掩模图像，识别包裹定位信息是否于交叉带掩模图像在待识别监控图像中有交集，若有，则确定包裹定位信息对应的包裹为待识别监控图像中的偏离包裹，若否，则说明包裹定位信息对应的包裹在待识别监控图像中并没有出现偏离。
40.在本实施例中，通过采集原始监控图像样本，并对所述原始监控图像样本中的交叉带区域和包裹进行标注；基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹。本方法使用计算机视觉技术，对包裹跑偏情况进行识别，能够对监控中的包裹进行实时跟踪，不容易漏检，提高识别率，对偏离的包裹能够及时告警，通知相关人员处理，提高物流运输效率。
41.请参阅图2，本发明实施例中包裹偏离识别方法的第二个实施例包括：
42.201、获取原始监控视频流；
43.202、对原始监控视频流进行分帧处理，得到原始监控图像样本；
44.在本实施例中，通过视频抽帧的方式获取原始监控视频流中的原始监控图像样本，视频抽帧，就是从视频流中，通过编解码视频，通过间隔一定帧抽取若干帧的方式，模拟每隔一段时间拍摄一张照片。在本实施例中每秒抽取固定的数帧图像，例如两帧，也就是原始监控视频流为30秒，则抽取出的原始监控图像样本为60张。
45.203、利用预设的标注软件对原始监控图像样本中的交叉带区域和包裹进行标注；
46.在本实施例中，用标注软件1abelme在原始监控图像样本上标注交叉带区域的标签和包裹的标签，交叉带区域的标签为交叉带区域的轮廓，包裹的标签为包裹的轮廓，获得始监控图像样本中交叉带区域和对应标签的json文件以及包裹和对应标签的json文件。
47.204、基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；
48.205、获取待识别监控图像，将待识别监控图像分别输入交叉带识别模型和包裹定位模型中，分别得到待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；
49.206、获取交叉带掩模图像在待识别监控图像中的像素信息，得到交叉带掩模图像对应的第一像素集合；
50.207、根据各包裹对应的包裹定位信息获取待识别监控图像中对应的像素信息，得到各包裹对应的第二像素集合；
51.208、逐个判断各包裹对应的第二像素集合是否为第一像素集合的真子集；
52.209、将为第一像素集合的真子集的第二像素集合对应的包裹识别为偏离包裹。
53.在实际应用中，可以通过多种方式基于包裹定位信息和交叉带掩模图像，识别待识别监控图像中的偏离包裹，例如通过确定交叉带掩模图像在待识别监控图像中的位置，确定在待识别监控图像中的交叉带区域，通过包裹定位信息判断对应的包裹是否在交叉带区域中，若有，则确定包裹定位信息对应的包裹为待识别监控图像中的偏离包裹，若否，则说明包裹定位信息对应的包裹在待识别监控图像中并没有出现偏离。在本实施例中，主要是通过获取交叉带掩模图像在待识别监控图像中的像素和包裹定位信息对应的像素是否存在重合，进而判断对应的包裹是否偏离，将出现像素重合，也就是各包裹对应的第二像素集合是否为第一像素集合的真子集，若是，则将为第一像素集合的真子集的第二像素集合对应的包裹识别为偏离包裹。
54.本实施例在上一实施例的基础上，详细基于目标区域的规范驾驶数据，构建测试全集的过程，按照预设的时间间隔，将所述目标区域的规范驾驶数据进行滑动窗口处理，分别得到多个第一子场景；获取所述第一子场景对应的时间信息，并基于所述时间信息，确定各第一子场景对应的模拟目的地；将所述模拟目的地设置为对应的第一子场景的模拟因素，将所有第一子场景和对应的模拟因素汇总，得到测试全集。本方法通过规范驾驶数据构建驾驶全集，并利用场景复杂度评估模型构建测试精选集，提高了目标区域的仿真场景的复杂性和全面性，进而提高包裹偏离识别的准确性。
55.请参阅图3，本发明实施例中包裹偏离识别方法的第三个实施例包括：
56.301、采集原始监控图像样本，并对原始监控图像样本中的交叉带区域和包裹进行标注；
57.302、将标注后的原始监控图像样本划分为训练集和测试集；
58.303、基于训练集和预设的实例分割模型神经网络，训练得到交叉带识别模型；
59.分别基于maskrcnn网络架构训练得到交叉带识别模型和基于centernet网络架构训练得到包裹定位模型。
60.在本实施例中，实例分割模型神经网络包括特征提取网络，目标区域粗提取网络，交叉带分割网络；交叉带识别模型通过以下过程训练得到：将训练集输入实例分割模型神
经网络中，通过实例分割模型神经网络中的特征提取网络，得到训练集对应的特征图像；将特征图像输入实例分割模型神经网络中的目标区域粗提取网络中，得到对应的目标区域特征图像；将目标区域特征图像输入交叉带分割网络中，得到区域分割结果；将区域分割结果和训练集输入预设的损失函数中，进行第一损失值计算；判断第一损失值是否小于预设的损失阈值；若否，则基于第一损失值更新实例分割模型神经网络的模型参数，并返回将训练集输入实例分割模型神经网络中的步骤，直至第一损失值小于预设的损失阈值；若是，则基于实例分割模型神经网络的模型参数生成交叉带识别模型。在本实施例中，目标区域粗提取网络基于特征金字塔网络fpn、区域提取网络rpn和兴趣区域匹配网络roi align构建；将特征图像输入实例分割模型神经网络中的目标区域粗提取网络中，得到对应的目标区域特征图像包括：将特征图输入目标区域粗提取网络的fpn中，通过fpn将特征图像切分成不同尺寸大小的图像；将不同尺寸大小的图像输入rpn中，通过rpn计算交叉带的目标预选区域，基于不同尺寸大小的图像和目标预选区域进行多尺度特征融合，得到特征张量；将特征张量输入roi align中，通过roi align对目标预选区域进行调整，得到对应的目标区域特征图像。
61.304、基于训练集和预设的目标检测网络，训练得到包裹定位模型；
62.在本实施例中，目标检测网络为centernet，包裹定位模型通过以下步骤训练得到：将训练集输入centernet中，得到训练集的预测标签和嵌入向量；计算预测标签和标注后的原始监控图像样本中的包裹标签的第二损失值；计算嵌入向量的第三损失值，并将第二损失值和第三损失值作为目标检测网络的总损失值；利用梯度下降法，通过总损失值对centernet进行迭代训练，得到包裹定位模型。
63.305、分别通过测试集验证交叉带识别模型和包裹定位模型的检测效果；
64.306、获取待识别监控图像，将待识别监控图像交叉带识别模型中，通过实例交叉带识别模型中的特征提取网络，得到待识别监控图像对应的特征图像；
65.307、将特征图输入目标区域粗提取网络的fpn中，通过fpn将特征图像切分成不同尺寸大小的图像；
66.308、将不同尺寸大小的图像输入rpn中，通过rpn计算交叉带的目标预选区域，基于不同尺寸大小的图像和目标预选区域进行多尺度特征融合，得到特征张量；
67.在本实施例中，可以减少rpn中的锚点anchor，其中，anchor表示特征图像上进行点观测时大小和长宽比例不同的k个窗口，将k个窗口按尺寸从大到小的顺序进行排序，按预设比例将排在后面的窗口进行删除，本实施例中预设比例设为50％，即将排在后面的k/2个anchor进行删除。由于待分割的目标主要为交叉带，在环境中待分割目标比较大，因此，通过减少rpn的anchor，能够有效减少运算步骤，从而极大提高了计算效率。
68.309、将特征张量输入roi align中，通过roi align对目标预选区域进行调整，得到对应的目标区域特征图像；
69.310、将目标区域特征图像输入交叉带分割网络中，得到交叉带掩模图像；
70.311、将待识别监控图像输入包裹定位模型中，得到包裹的包裹定位信息。
71.本实施例在前实施例的基础上，详细描述了轮廓识别模型的训练过程，轮廓识别模型能够根据人脸图像不同区域的像素值进行头发轮廓的识别，识别精度高，使得后续计算头发细节信息更加精准。
72.上面对本发明实施例中包裹偏离识别方法进行了描述，下面对本发明实施例中包裹偏离识别装置进行描述，请参阅图4，本发明实施例中包裹偏离识别装置一个实施例包括：
73.样本采集模块401，用于采集原始监控图像样本，并对所述原始监控图像样本中的交叉带区域和包裹进行标注；
74.模型训练模块402，用于基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；
75.模型输入模块403，用于获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；
76.识别模块404，用于基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹。
77.本发明实施例中，所述包裹偏离识别装置运行上述包裹偏离识别方法，所述包裹偏离识别装置采集原始监控图像样本，并对所述原始监控图像样本中的交叉带区域和包裹进行标注；基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹。本方法使用计算机视觉技术，对包裹跑偏情况进行识别，能够对监控中的包裹进行实时跟踪，不容易漏检，提高识别率，对偏离的包裹能够及时告警，通知相关人员处理，提高物流运输效率。
78.请参阅图5，本发明实施例中包裹偏离识别装置的第二个实施例包括：
79.样本采集模块401，用于采集原始监控图像样本，并对所述原始监控图像样本中的交叉带区域和包裹进行标注；
80.模型训练模块402，用于基于标注后的原始监控图像样本进行模型训练，分别得到交叉带识别模型和包裹定位模型；
81.模型输入模块403，用于获取待识别监控图像，将所述待识别监控图像分别输入所述交叉带识别模型和包裹定位模型中，分别得到所述待识别监控图像中的交叉带掩模图像和包裹的包裹定位信息；
82.识别模块404，用于基于所述包裹定位信息和所述交叉带掩模图像，识别所述待识别监控图像中的偏离包裹。
83.在本实施例中，所述样本采集模块具体用于：获取原始监控视频流；对所述原始监控视频流进行分帧处理，得到原始监控图像样本；利用预设的标注软件对所述原始监控图像样本中的交叉带区域和包裹进行标注。
84.在本实施例中，所述模型训练建模块402具体包括：样本划分单元4021，用于将标注后的原始监控图像样本划分为训练集和测试集；第一训练单元4022，用于基于所述训练集和预设的实例分割模型神经网络，训练得到交叉带识别模型；第二训练单元4023，用于基于所述训练集和预设的目标检测网络，训练得到包裹定位模型；测试单元4024，用于分别通过所述测试集验证所述交叉带识别模型和所述包裹定位模型的检测效果。
85.在本实施例中，所述交叉带识别模型包括特征提取网络，目标区域粗提取网络，交叉带分割网络；所述模型输入模块403具体包括：特征提取单元4031，用于获取待识别监控图像，将所述待识别监控图像所述交叉带识别模型中，通过所述实例交叉带识别模型中的特征提取网络，得到所述待识别监控图像对应的特征图像；区域粗提取单元4032，用于将所述特征图像输入所述交叉带识别模型中的目标区域粗提取网络中，得到对应的目标区域特征图像；掩模单元4033，用于将所述目标区域特征图像输入交叉带分割网络中，得到交叉带掩模图像；包裹定位单元4034，用于将所述待识别监控图像输入所述包裹定位模型中，得到包裹的包裹定位信息。
86.在本实施例中，所述目标区域粗提取网络基于特征金字塔网络fpn、区域提取网络rpn和兴趣区域匹配网络roi align构建；所述区域粗提取单元4032具体用于：将所述特征图输入目标区域粗提取网络的fpn中，通过fpn将所述特征图像切分成不同尺寸大小的图像；将不同尺寸大小的图像输入rpn中，通过rpn计算交叉带的目标预选区域，基于不同尺寸大小的图像和目标预选区域进行多尺度特征融合，得到特征张量；将所述特征张量输入roi align中，通过roi align对目标预选区域进行调整，得到对应的目标区域特征图像。
87.在本实施例中，所述目标检测网络为centernet，所述第二训练单元4023具体用于：将所述训练集输入centernet中，得到训练集的预测标签和嵌入向量；计算所述预测标签和标注后的原始监控图像样本中的包裹标签的第二损失值；计算所述嵌入向量的第三损失值，并将所述第二损失值和第三损失值作为所述目标检测网络的总损失值；利用梯度下降法，通过所述总损失值对所述centernet进行迭代训练，得到包裹定位模型。
88.在本实施例中，所述识别模块404具体用于：获取所述交叉带掩模图像在所述待识别监控图像中的像素信息，得到所述交叉带掩模图像对应的第一像素集合；根据各包裹对应的包裹定位信息获取所述待识别监控图像中对应的像素信息，得到各包裹对应的第二像素集合；逐个判断各包裹对应的第二像素集合是否为所述第一像素集合的真子集；将为第一像素集合的真子集的第二像素集合对应的包裹识别为偏离包裹。
89.本实施例在上一实施例的基础上，详细描述了各个模块的具体功能以及部分模块的单元构成，使用计算机视觉技术，对包裹跑偏情况进行识别，能够对监控中的包裹进行实时跟踪，不容易漏检，提高识别率，对偏离的包裹及时告警，通知相关人员，提高物流运输效率。
90.上面图4和图5从模块化功能实体的角度对本发明实施例中的中包裹偏离识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中包裹偏离识别设备进行详细描述。
91.图6是本发明实施例提供的一种包裹偏离识别设备的结构示意图，该包裹偏离识别设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对包裹偏离识别设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在包裹偏离识别设备600上执行存储介质630中的一系列指令操作，以实现上述包裹偏离识别方法
的步骤。
92.包裹偏离识别设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图6示出的包裹偏离识别设备结构并不构成对本技术提供的包裹偏离识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
93.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述包裹偏离识别方法的步骤。
94.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
95.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
96.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。