包裹异常检测方法、装置、控制设备及存储介质与流程

1.本技术涉及包裹检测技术领域，具体涉及一种包裹异常检测方法、装置、控制设备及存储介质。


背景技术：

2.近年来，机器视觉算法在物流分拣领域的应用越来越广泛，机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。
3.目前，在物流分拣领域，大多依靠光电传感器来感知物体。对于区域性传送来说，通常将若干光电排列成一个队列，形成一个触发边缘感知物体到达了该区域。特别是对于广域型分拣来说，需要大量光电传感器才能有效感应到物体到达了指定传送或者分拣区域，安装复杂，且该方式不能实时感知物体传送过程中的状态信息。


技术实现要素：

4.本技术提供一种包裹异常检测方法、装置、控制设备及存储介质，采集多个传送区域的视觉图像来进行一个物流区域的包裹异常整体检测，避免对单一传送装置或单一传送区域检测不够整体的问题，可以自动检测整个物流区域包裹异常，生成整个物流区域的异常状态集成信息，极大提高了分拣效能，减少了维护成本。
5.一方面，本技术提供一种包裹异常检测方法，所述方法包括：
6.获取多个摄像装置采集的多个传送区域的包裹传送图像，所述多个传送区域为预设物流区域中多个传送装置的传送区域，所述多个摄像装置的视野覆盖范围覆盖所述多个传送区域，每个摄像装置对应所述多个传送区域中至少一个传送区域；
7.对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息；
8.基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置上包裹的异常状态集成信息。
9.在本技术一些实施方案中，每个传送区域对应预先确定的多个传送网格单元，在所述通过多个摄像装置采集多个传送装置中多个传送区域的包裹传送图像之前，所述方法还包括：
10.通过所述多个摄像装置，对所述多个传送装置上多个传送区域进行图像视野划分和网格定位识别，得到每个传送区域对应的网格单元，以及每个摄像装置在所述多个传送区域中的视野覆盖范围。
11.在本技术一些实施方案中，所述通过所述多个摄像装置，对所述多个传送装置上多个传送区域进行网格定位识别和图像视野划分，得到每个传送区域对应的网格单元，以及每个摄像装置在所述多个传送区域中的视野覆盖范围，包括：
12.在所述多个摄像装置按照预设安装策略固定位置之后，分别发送控制指令到所述多个摄像装置，所述控制指令用于指示各摄像装置调整自身的摄像角度，以确定每个摄像装置在所述多个传送区域中的视野覆盖范围；
13.获取所述多个摄像装置分别采集的所述多个传送区域对应的第一配准图像；
14.分别以每个传送区域为目标传送区域，按照预设网格尺寸信息，对所述目标传送区域对应的目标配准图像进行网格边界点识别，确定所述目标传送区域中的网格边界点；
15.根据所述目标传送区域中的网格边界点，确定所述目标传送区域对应的网格单元。
16.在本技术一些实施方案中，所述方法还包括：
17.获取用户调整划分传送区域网格尺寸的调整请求，所述调整请求包括新的网格尺寸信息；
18.获取所述多个摄像装置分别采集的所述多个传送区域对应的第二配准图像；
19.按照所述新的网格尺寸信息，重新分别对所述多个传送区域进行网格边界点识别，确定所述多个传送区域中的网格边界点；
20.根据所述多个传送区域中的网格边界点，确定所述多个传送区域对应的网格单元。
21.在本技术一些实施方案中，所述对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息，包括：
22.分别以所述多个传送区域的包裹传送图像为目标包裹图像，对所述目标包裹图像进行包裹检测，确定所述目标包裹图像中包裹当前放置区域；
23.基于预先建立的坐标系中，获取所述包裹当前放置区域对应的坐标信息；
24.根据所述包裹当前放置区域对应的坐标信息，获取所述目标包裹图像中包裹在对应的传送区域的位置信息；
25.检测所述目标包裹图像中包裹的状态，得到所述目标包裹图像中包裹的状态信息。
26.在本技术一些实施方案中，所述基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置中包裹的异常状态信息，包括：
27.将所述包裹的位置信息及包裹的状态信息中每个包裹的位置信息和每个包裹状态信息，分别填入预置的包裹异常状态信息表，得到多个传送装置中包裹的异常状态集成信息。
28.在本技术一些实施方案中，在基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置中包裹的异常状态信息之后，所述方法还包括：
29.基于所述异常状态集成信息，确定存在异常的传送区域；
30.向所述存在异常的传送区域对应的用户设备发送提示信息，所述提示信息中包括所述异常状态集成信息。
31.另一方面，本技术提供一种包裹异常检测装置，所述装置包括：
32.图像获取模块，用于获取多个摄像装置采集的多个传送区域的包裹传送图像，所述多个传送区域为预设物流区域中多个传送装置的传送区域，所述多个摄像装置的视野覆盖范围覆盖所述多个传送区域，每个摄像装置对应所述多个传送区域中至少一个传送区
域；
33.包裹检测模块，用于对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息；
34.信息生成模块，用于基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置上包裹的异常状态集成信息。
35.在本技术一些实施方案中，每个传送区域对应预先确定的多个传送网格单元，所述装置还包括区域划分模块：
36.所述区域划分模块用于在所述通过多个摄像装置采集多个传送装置中多个传送区域的包裹传送图像之前，通过所述多个摄像装置，对所述多个传送装置上多个传送区域进行图像视野划分和网格定位识别，得到每个传送区域对应的网格单元，以及每个摄像装置在所述多个传送区域中的视野覆盖范围。
37.在本技术一些实施方案中，所述区域划分模块具体用于：
38.在所述多个摄像装置按照预设安装策略固定位置之后，分别发送控制指令到所述多个摄像装置，所述控制指令用于指示各摄像装置调整自身的摄像角度，以确定每个摄像装置在所述多个传送区域中的视野覆盖范围；
39.获取所述多个摄像装置分别采集的所述多个传送区域对应的第一配准图像；
40.分别以每个传送区域为目标传送区域，按照预设网格尺寸信息，对所述目标传送区域对应的目标配准图像进行网格边界点识别，确定所述目标传送区域中的网格边界点；
41.根据所述目标传送区域中的网格边界点，确定所述目标传送区域对应的网格单元。
42.在本技术一些实施方案中，所述区域划分模块还用于：
43.获取用户调整划分传送区域网格尺寸的调整请求，所述调整请求包括新的网格尺寸信息；
44.获取所述多个摄像装置分别采集的所述多个传送区域对应的第二配准图像；
45.按照所述新的网格尺寸信息，重新分别对所述多个传送区域进行网格边界点识别，确定所述多个传送区域中的网格边界点；
46.根据所述多个传送区域中的网格边界点，确定所述多个传送区域对应的网格单元。
47.在本技术一些实施方案中，所述包裹检测模块具体用于：
48.分别以所述多个传送区域的包裹传送图像为目标包裹图像，对所述目标包裹图像进行包裹检测，确定所述目标包裹图像中包裹当前放置区域；
49.基于预先建立的坐标系中，获取所述包裹当前放置区域对应的坐标信息；
50.根据所述包裹当前放置区域对应的坐标信息，获取所述目标包裹图像中包裹在对应的传送区域的位置信息；
51.检测所述目标包裹图像中包裹的状态，得到所述目标包裹图像中包裹的状态信息。
52.在本技术一些实施方案中，所述信息生成模块具体用于：
53.将所述包裹的位置信息及包裹的状态信息中每个包裹的位置信息和每个包裹状态信息，分别填入预置的包裹异常状态信息表，得到多个传送装置中包裹的异常状态集成
信息。
54.在本技术一些实施方案中，所述装置还包括提示模块，所述提示模块用于：
55.在基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置中包裹的异常状态信息之后，基于所述异常状态集成信息，确定存在异常的传送区域；
56.向所述存在异常的传送区域对应的用户设备发送提示信息，所述提示信息中包括所述异常状态集成信息。
57.另一方面，本技术还提供一种控制设备，所述控制设备包括：
58.一个或多个处理器；
59.存储器；以及
60.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的包裹异常检测方法。
61.另一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的包裹异常检测方法中的步骤。
62.本技术在现有技术的大量光电传感器安装复杂，且不能实时感知物体传送过程中的状态信息基础上，一方面通过多个摄像装置覆盖至少一个传送装置上多个传送区域，采集多个传送区域的视觉图像来进行一个物流区域的包裹异常整体检测，避免对单一传送装置或单一传送区域检测不够整体的问题，另一方面，通过对多个传送区域的包裹异常检测，可以自动检测整个物流区域包裹异常，生成整个物流区域的异常状态集成信息，方便管理人员对物流分拣过程中的状态进行整体把控，保证物体传送分拣的正常运行，极大提高了分拣效能，减少了维护成本。
附图说明
63.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
64.图1是本技术实施例提供的包裹异常检测系统的场景示意图；
65.图2是本技术实施例多个摄像装置的视野展示图；
66.图3是本技术实施例中提供的包裹异常检测方法的一个实施例流程示意图；
67.图4是本技术实施例中提供的确定目标传送区域中网格单元的一个实施例流程示意图；
68.图5是本技术实施例中提供的传送区域中网格单元的一个实施例场景示意图；
69.图6是本技术实施例中提供的重新进行网格化处理的一个实施例流程示意图；
70.图7是本技术实施例中提供的步骤302的一个实施例流程示意图
71.图8是本技术实施例中提供的包裹信息与传送区域的异常状态展示图；
72.图9是本技术实施例中提供的网格化传送区域状态表的实施例示意图；
73.图10是本技术实施例中提供的包裹异常检测装置的一个实施例结构示意图；
74.图11是本技术实施例中提供的控制设备的一个实施例结构示意图。
具体实施方式
75.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
76.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
77.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
78.本技术实施例提供一种包裹异常检测方法、装置、服务器及存储介质，以下分别进行详细说明。
79.请参阅图1，图1为本技术实施例所提供的包裹异常检测系统的场景示意图，该包裹异常检测系统可以包括控制设备100以及与所述控制设备网络连接的多个摄像装置200，控制设备100中集成有包裹异常检测装置，如图1中的控制设备。
80.本技术实施例中控制设备100主要用于获取多个摄像装置采集的多个传送区域的包裹传送图像，所述多个传送区域为预设物流区域中多个传送装置的传送区域，所述多个摄像装置的视野覆盖范围覆盖所述多个传送区域，每个摄像装置对应所述多个传送区域中至少一个传送区域；对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息；基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置上包裹的异常状态集成信息。
81.其中，所述多个摄像装置中，摄像装置可以是工业相机，例如标准的工业摄像头，具体的，如焦距5mm，帧率在30fps(frames per second，每秒传输帧数)，像素为200万像素，视野覆盖范围能够覆盖2mx2m的区域。
82.多个摄像装置可以对应所述至少一个传送装置设置，一个摄像装置可以对应一个传送装置的传送区域，也可以对应多个传送装置的多个传送区域，如图2所示，为摄像装置设置一个具体场景，一个相机对应一个传送装置的一个传送区域，如相机1对应传送区域1，当相机的视野覆盖范围足够大时，可以覆盖多个传送区域，例如图2中，相机1视野覆盖范围足够大时，可以覆盖传送区域1、传送区域2、传送区域3、传送区域4等。
83.需要说明的是，本技术实施例中，摄像装置需要对准传送装置的至少一个传送区域来设置，保证摄像装置视野覆盖范围覆盖传送装置的至少一个传送区域，这样摄像装置才能起到实际的作用。
84.另外，本技术物流区域的场地面积与摄像装置数量可以呈正比设置，即物流区域面积越大，摄像装置数量可以设置越多，保证物流区域中所有传送装置的传送区域都能够被摄像装置覆盖到，具体可以根据实际情况确定。例如，假设物流区域为35米长，26米宽的场地，单个摄像装置视野大小能够覆盖2mx2m的区域，于是使用了30个摄像头进行视野覆盖。
85.本技术实施例中，控制设备100可以是一个设备，也可以是多个设备的集群，例如可以是一个控制设备，也可以是包括控制装置和多个工控机的集群，例如，在一个具体实施例中，一个工控机可以连接4个摄像装置，负责处理4个视野区域的触发状态，当多个摄像装置中摄像装置超过4个时，则整个控制设备100可以包括1个控制装置和多个工控机，1个控制装置分别和多个工控机连接，多个工控机可以通过位置定位服务器(position location server，pls)来与控制装置，控制装置可以是一个控制终端。
86.具体的，该控制设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本技术实施例中所描述的控制设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
87.可以理解的是，本技术实施例中所使用的控制设备100还可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的控制设备100具体可以是台式终端或移动终端，例如可以是手机、平板电脑、笔记本电脑等中的一种。
88.本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本技术方案一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的控制设备，例如图1中仅示出1个控制设备和2个摄像装置，可以理解的，该包裹异常检测系统还可以包括一个或多个其他摄像装置，具体此处不作限定。
89.另外，如图1所示，该包裹异常检测系统还可以包括存储器300，用于存储包裹数据，例如摄像装置采集的图像数据和包裹异常状态数据等。
90.需要说明的是，图1所示的包裹异常检测系统的场景示意图仅仅是一个示例，本技术实施例描述的包裹异常检测系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着包裹异常检测系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
91.如图3所示，为本技术实施例中包裹异常检测方法的一个实施例流程示意图，该包裹异常检测方法包括如下步骤301～303：
92.301、获取多个摄像装置采集的多个传送区域的包裹传送图像。
93.其中，所述多个传送区域为预设物流区域中多个传送装置的传送区域，每个摄像装置都有一个视野覆盖范围，所述多个摄像装置中每个摄像装置的视野覆盖范围可以相
同，也可以不同，具体不作限定，只需要保证所述多个摄像装置的视野覆盖范围覆盖所述多个传送区域即可，每个摄像装置对应所述多个传送区域中至少一个传送区域。
94.此外，本技术实施例中所描述的物流区域可以是物流网点的全部或部分区域，例如物流网点的某个分拣区域等；传送装置可以是传送带或传送板等各种具有平面传送区域的传送装置；传送区域可以是传送装置的全部区域(传送装置的传送区域较小时，例如传送板)，也可以是传送装置的一部分(例如传送带的一部分)，具体此处均不作限定。
95.302、对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息。
96.303、基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置上包裹的异常状态集成信息。
97.本技术在现有技术的大量光电传感器安装复杂，且不能实时感知物体传送过程中的状态信息基础上，一方面通过多个摄像装置覆盖至少一个传送装置上多个传送区域，采集多个传送区域的视觉图像来进行一个物流区域的包裹异常整体检测，避免对单一传送装置或单一传送区域检测不够整体的问题，另一方面，通过对多个传送区域的包裹异常检测，可以自动检测整个物流区域包裹异常，生成整个物流区域的异常状态集成信息，方便管理人员对物流分拣过程中的状态进行整体把控，保证物体传送分拣的正常运行，极大提高了分拣效能，减少了维护成本。
98.在图3所示实施例中，每个传送区域可以对应预先确定的多个传送网格单元，即已经预先确定了每个传送区域对应多个传送网格单元，因此，在本技术一些实施方案中，在所述通过多个摄像装置采集多个传送装置中多个传送区域的包裹传送图像之前，需要预先确定每个传送区域对应多个传送网格单元，此时，该包裹异常检测方法还可以包括：通过所述多个摄像装置，对所述多个传送装置上多个传送区域进行图像视野划分和网格定位识别，得到每个传送区域对应的网格单元，以及每个摄像装置在所述多个传送区域中的视野覆盖范围。
99.具体的，如图4所示，所述通过所述多个摄像装置，对所述多个传送装置上多个传送区域进行网格定位识别和图像视野划分，得到每个传送区域对应的网格单元，以及每个摄像装置在所述多个传送区域中的视野覆盖范围，可以包括如下步骤401～404：
100.401、在所述多个摄像装置按照预设安装策略固定位置之后，分别发送控制指令到所述多个摄像装置。
101.其中，所述控制指令用于指示各摄像装置调整自身的摄像角度，以确定每个摄像装置在所述多个传送区域中的视野覆盖范围。
102.402、获取所述多个摄像装置分别采集的所述多个传送区域对应的第一配准图像。
103.具体的，第一配准图像用于后续步骤中图像网格化，进行传送区域的识别和配准。
104.403、分别以每个传送区域为目标传送区域，按照预设网格尺寸信息，对所述目标传送区域对应的目标配准图像进行网格边界点识别，确定所述目标传送区域中的网格边界点。
105.为了让图像完成网格化，需要，具体的，可以按照预设网格尺寸信息，对所述目标传送区域对应的目标配准图像进行网格边界点识别，确定所述目标传送区域中的网格边界点。其中，网格尺寸信息为后续划分网格单元的尺寸信息，网格尺寸信息可以按照当前传送
装置传送包裹的尺寸来确定，例如网格尺寸信息为20cm*20cm等，具体此处不作限定。
106.需要说明的是，由于不同传送装置中传送的包裹尺寸可能不相同，因此，对于不同传送装置的网格尺寸信息，可以不同，即预设网格尺寸信息中可以包括多种网格尺寸信息，多种网格尺寸信息分别对应所述多个传送装置中不同的传送装置，例如，多个传送装置中包括传送装置a、传送装置b，传送装置a传送大包裹，传送装置b传送小包裹，预设网格尺寸信息中包括网格尺寸信息1(20cm*20cm)，网格尺寸信息2(10cm*10cm)，传送装置a对应网格尺寸信息1，传送装置b对应网格尺寸信息2等。
107.404、根据所述目标传送区域中的网格边界点，确定所述目标传送区域对应的网格单元。
108.由于步骤403中已经确定目标传送区域中的网格边界点，因此基于多个网格边界点，可以直接形成目标传送区域对应的网格单元，例如形成2x2或者3x3或者其他自由的网格单元。
109.如图5所示，在物体传送过程中，可以根据实际情况对摄像装置和传送区域进行配置，对于小件分拣使用2x2的网格视野进行适配，对于大件分拣使用3x3的网格视野进行适配。一个摄像装置是对应多个传送区域，如对应9个传送板的传送区域，每个传送板的传送区域可以分为多个网格单元；传送板中网格单元大小的划分可以根据包裹大小来划分，大包裹划分少一点数量的网格单元，小包裹划分多一点数量的网格单元，具体此处不作限定。
110.由于一个传送装置不可能一直只传送一种规格的包裹，因此对传送区域的网格化，并不是一成不变的，针对不同的包裹大小的传送需求，可以随时调整传送区域的网格化处理，得到不同规格的网格单元。具体的，所述包裹异常检测方法还可以包括重新进行网格化处理的步骤，具体可以包括图6中601～604：
111.601、获取用户调整划分传送区域网格尺寸的调整请求，所述调整请求包括新的网格尺寸信息。
112.602、获取所述多个摄像装置分别采集的所述多个传送区域对应的第二配准图像。
113.603、按照所述新的网格尺寸信息，重新分别对所述多个传送区域进行网格边界点识别，确定所述多个传送区域中的网格边界点。
114.604、根据所述多个传送区域中的网格边界点，确定所述多个传送区域对应的网格单元。
115.步骤601～604中的过程与步骤401～404中涉及到的传送区域网格化的相关步骤类似，具体可以参照上述实施例，此处不再赘述。
116.摄像装置的图像分辨率一般为1080p，720p，480p等。图像不同的分辨率结合不同的焦距以及镜头会形成的不同的视角区域，在物流网点的分拣区域环境中，一个摄像装置视野对应一个传送板显然是十分浪费的事情。本技术实施例中可以使用统一规格的了大视野相机(例如1080p的大视野相机)作为统一标准，只需要调节相机高度就可以得到不同的视野覆盖范围，在这个视野里可以任意的进行网格化，来配准传送区域。
117.如图7所示，步骤302中所述对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息，可以进一步包括：
118.701、分别以所述多个传送区域的包裹传送图像为目标包裹图像，对所述目标包裹图像进行包裹检测，确定所述目标包裹图像中包裹当前放置区域。
119.其中，对所述目标包裹图像进行包裹检测，确定所述目标包裹图像中包裹当前放置区域可以采用现有的目标检测算法，例如v-j检测算法，yolo算法等。
120.702、基于预先建立的坐标系中，获取所述包裹当前放置区域对应的坐标信息。
121.在步骤701中确定目标包裹图像中包裹当前放置区域之后，即可在预先建立的坐标系中直接获取所述包裹当前放置区域对应的坐标信息。
122.需要说明的是，本技术实施例中，所述多个传送装置设置时，规则设置，例如并排设置，则多个传送区域也是有规则的并排展现，预先建立的坐标系可以是以所述多个传送区域来建立，例如，当所述多个传送装置并排设置时，以所述多个传送装置的一个角落端点为原点，以多个传送装置中原点对应的传送装置横向边界为横坐标，纵向边界为纵坐标，建立坐标系，如图8所示，以最左侧传送装置1的左上角端点为原点，传送装置1的横向边界为横坐标，纵向边界为纵坐标，建立坐标系。
123.703、根据所述包裹当前放置区域对应的坐标信息，获取所述目标包裹图像中包裹在对应的传送区域的位置信息。
124.具体的，在步骤702中得到所述包裹当前放置区域对应的坐标信息之后，即可根据所述包裹当前放置区域对应的坐标信息，在预先建立的坐标系中货物目标包裹图像中包裹在对应的传送区域的位置信息。
125.704、检测所述目标包裹图像中包裹的状态，得到所述目标包裹图像中包裹的状态信息。
126.本技术实施例中，步骤704中检测所述目标包裹图像中包裹的状态，得到所述目标包裹图像中包裹的状态信息可以利用预先训练好的神经网络模型来检测，具体的，即将所述目标包裹图像输入到预先训练好的神经网络模型中，输出所述目标包裹图像中包裹的状态信息。
127.其中，预先训练好的神经网络模型可以是卷积神经网络(convolutional neural networks,cnn)模型，或者循环神经网络(recurrent neural network，rnn)模型等，具体此处不作限定。
128.本技术实施例中，包裹的异常状态可以包括如下几种：
129.叠件状态：出现包裹重叠，扎堆状况的状态；
130.破损状态：包裹破损；
131.非标准物流件：包裹标准物流件；
132.卡件状态：连续检测在该传送区域停留时间，若停留时间超过了系统设置的阈值t。
133.其中，可以通过采集大量叠件状态、破损状态、非标准物流件等类型的图像，来训练初始神经网络模型，得到预先训练好的神经网络模型。
134.本技术实施例中，可以通过检测所述目标包裹图像中包裹的状态，得到所述目标包裹图像中包裹的状态信息，进而得到所述多个传送区域中包裹的状态信息，例如包裹的上述几种异常状态的信息以及包裹的正常状态信息。需要说明的是，包裹的状态信息可以是文字，例如，如图8中所示，“叠件”表示“叠件状态”，“卡件”表示“卡件状态”，“正常”表示“正常状态”等；也可以是预设的多种不同的标识(可以是字母、数字或者它们的结合)，例如，“1”表示“叠件状态”，“2”表示“卡件状态”，“3”表示“正常状态”等。
135.确定所述多个传送区域中包裹的状态信息之后，即可以确定所述多个传送区域中哪些区域的包裹的状态是异常状态，哪些包裹的状态是正常状态。
136.在本技术的实施方案中，步骤303中所述基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置中包裹的异常状态信息，可以进一步包括：
137.将所述包裹的位置信息及包裹的状态信息中每个包裹的位置信息和每个包裹状态信息，分别填入预置的包裹异常状态信息表，得到多个传送装置中包裹的异常状态集成信息。
138.具体的，可以先根据所述包裹的位置信息及包裹的状态信息中每个包裹的位置信息和每个包裹状态信息，生成包裹状态向量；将所述包裹状态向量填入预置的包裹异常状态信息表，得到多个传送装置中包裹的异常状态集成信息。
139.需要说明的是，上述实施例中描述的是将所述多个传送区域中包裹的状态信息均填入预置的包裹异常状态信息表，可以理解的是，在本技术其他一些实施例中，为了减少数据量，保留有效信息，也可以仅将所述多个传送区域中包裹的状态信息中包裹的异常状态信息填入预置的包裹异常状态信息表(即忽略包裹的正常状态信息)。
140.其中，包裹异常状态信息表中，每个单元格对应所述多个传送区域中的一个传送区域，可以在单元格中填入对应包裹的状态信息，若某个传送区域的包裹为正常状态，则其在包裹异常状态信息表中对应的单元格可不填入信息，当然，也可以填入表示正常状态的标识，具体此处不作限定。
141.如图8所示，为包裹的信息和传送区域的异常状态关系展示图，图8中box表示包裹，每个方格表示一个网格单元，一个网格单元中有多个包裹表示叠件，在预设时间段内包裹一直在一个网格单元中表示包裹卡件。
142.其中，包裹状态向量可以用p＝[p1，p2，p3....]来表示，p1表示网格单元1中包裹状态，p2表示网格单元2中包裹状态，p3表示网格单元3中包裹状态，以此类推，将所述包裹状态向量填入预置的包裹异常状态信息表，最终形成一个视觉网格化异常状态集成信息表。这个异常状态集成信息表可以实时发送给管理员对应的用户终端进行分拣或者传送使用。如图9所示，为2
×
2以及3
×
3网格化后异常状态集成信息表的示意图。
[0143]
在获取异常状态集成信息表之后，控制设备可以将异常状态集成信息表发送给管理员的用户设备，以提醒管理员进行相应的处理，使得异常能够及时得到解决，因此在基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置中包裹的异常状态信息之后，本技术实施例中方法还可以包括：基于所述异常状态集成信息，确定存在异常的传送区域；向所述存在异常的传送区域对应的用户设备发送提示信息，所述提示信息中包括所述异常状态集成信息。
[0144]
基于上述的原理机制，原来的单视野包裹异常状态信息转变为了多区域物体异常状态信息表，这个信息包含了此刻包裹是在传送板某个位置的相关状态。管理人员获得了这个信息，就可以根据状态信息知道包裹在具体某一块传送区域的实际状态。若发现包裹处于异常的运行状态，可以立即停止附近传送装置的运转，让其他包裹绕开问题区域，继续进行后续分拣任务。相关管理人员可以立马处理问题传送区域上包裹的相关问题，同时不影响后续的分拣生产，提高分拣效率和分拣质量。
[0145]
为了更好实施本技术实施例中包裹异常检测方法，在包裹异常检测方法基础之
上，本技术实施例中还提供一种包裹异常检测装置，如图10所示，所述包裹异常检测装置1000包括：
[0146]
图像获取模块1001，用于获取多个摄像装置采集的多个传送区域的包裹传送图像，所述多个传送区域为预设物流区域中多个传送装置的传送区域，所述多个摄像装置的视野覆盖范围覆盖所述多个传送区域，每个摄像装置对应所述多个传送区域中至少一个传送区域；
[0147]
包裹检测模块1002，用于对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息；
[0148]
信息生成模块1003，用于基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置上包裹的异常状态集成信息。
[0149]
本技术在现有技术的大量光电传感器安装复杂，且不能实时感知物体传送过程中的状态信息基础上，一方面通过多个摄像装置覆盖至少一个传送装置上多个传送区域，采集多个传送区域的视觉图像来进行一个物流区域的包裹异常整体检测，避免对单一传送装置或单一传送区域检测不够整体的问题，另一方面，通过对多个传送区域的包裹异常检测，可以自动检测整个物流区域包裹异常，生成整个物流区域的异常状态集成信息，方便管理人员对物流分拣过程中的状态进行整体把控，保证物体传送分拣的正常运行，极大提高了分拣效能，减少了维护成本。
[0150]
在本技术一些实施方案中，每个传送区域对应预先确定的多个传送网格单元，所述装置还包括区域划分模块：
[0151]
所述区域划分模块用于在所述通过多个摄像装置采集多个传送装置中多个传送区域的包裹传送图像之前，通过所述多个摄像装置，对所述多个传送装置上多个传送区域进行图像视野划分和网格定位识别，得到每个传送区域对应的网格单元，以及每个摄像装置在所述多个传送区域中的视野覆盖范围。
[0152]
在本技术一些实施方案中，所述区域划分模块具体用于：
[0153]
在所述多个摄像装置按照预设安装策略固定位置之后，分别发送控制指令到所述多个摄像装置，所述控制指令用于指示各摄像装置调整自身的摄像角度，以确定每个摄像装置在所述多个传送区域中的视野覆盖范围；
[0154]
获取所述多个摄像装置分别采集的所述多个传送区域对应的第一配准图像；
[0155]
分别以每个传送区域为目标传送区域，按照预设网格尺寸信息，对所述目标传送区域对应的目标配准图像进行网格边界点识别，确定所述目标传送区域中的网格边界点；
[0156]
根据所述目标传送区域中的网格边界点，确定所述目标传送区域对应的网格单元。
[0157]
在本技术一些实施方案中，所述区域划分模块还用于：
[0158]
获取用户调整划分传送区域网格尺寸的调整请求，所述调整请求包括新的网格尺寸信息；
[0159]
获取所述多个摄像装置分别采集的所述多个传送区域对应的第二配准图像；
[0160]
按照所述新的网格尺寸信息，重新分别对所述多个传送区域进行网格边界点识别，确定所述多个传送区域中的网格边界点；
[0161]
根据所述多个传送区域中的网格边界点，确定所述多个传送区域对应的网格单
元。
[0162]
在本技术一些实施方案中，所述包裹检测模块1002具体用于：
[0163]
分别以所述多个传送区域的包裹传送图像为目标包裹图像，对所述目标包裹图像进行包裹检测，确定所述目标包裹图像中包裹当前放置区域；
[0164]
基于预先建立的坐标系中，获取所述包裹当前放置区域对应的坐标信息；
[0165]
根据所述包裹当前放置区域对应的坐标信息，获取所述目标包裹图像中包裹在对应的传送区域的位置信息；
[0166]
检测所述目标包裹图像中包裹的状态，得到所述目标包裹图像中包裹的状态信息。
[0167]
在本技术一些实施方案中，所述信息生成模块1003具体用于：
[0168]
将所述包裹的位置信息及包裹的状态信息中每个包裹的位置信息和每个包裹状态信息，分别填入预置的包裹异常状态信息表，得到多个传送装置中包裹的异常状态集成信息。
[0169]
在本技术一些实施方案中，所述装置还包括提示模块，所述提示模块用于：
[0170]
在基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置中包裹的异常状态信息之后，基于所述异常状态集成信息，确定存在异常的传送区域；
[0171]
向所述存在异常的传送区域对应的用户设备发送提示信息，所述提示信息中包括所述异常状态集成信息。
[0172]
本发明实施例还提供一种控制设备，其集成了本发明实施例所提供的任一种包裹异常检测装置，所述控制设备包括：
[0173]
一个或多个处理器；
[0174]
存储器；以及
[0175]
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述包裹异常检测方法实施例中任一实施例中所述的包裹异常检测方法中的步骤。
[0176]
本发明实施例还提供一种控制设备，其集成了本发明实施例所提供的任一种包裹异常检测装置。如图11所示，其示出了本发明实施例所涉及的控制设备的结构示意图，具体来讲：
[0177]
该控制设备可以包括一个或者一个以上处理核心的处理器1101、一个或一个以上计算机可读存储介质的存储器1102、电源1103和输入单元1104等部件。本领域技术人员可以理解，图11中示出的控制设备结构并不构成对控制设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0178]
处理器1101是该控制设备的控制中心，利用各种接口和线路连接整个控制设备的各个部分，通过运行或执行存储在存储器1102内的软件程序和/或模块，以及调用存储在存储器1102内的数据，执行控制设备的各种功能和处理数据，从而对控制设备进行整体监控。可选的，处理器1101可包括一个或多个处理核心；优选的，处理器1101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1101中。
[0179]
存储器1102可用于存储软件程序以及模块，处理器1101通过运行存储在存储器1102的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据控制设备的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1102还可以包括存储器控制器，以提供处理器1101对存储器1102的访问。
[0180]
控制设备还包括给各个部件供电的电源1103，优选的，电源1103可以通过电源管理系统与处理器1101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0181]
该控制设备还可包括输入单元1104，该输入单元1104可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0182]
尽管未示出，控制设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，控制设备中的处理器1101会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1102中，并由处理器1101来运行存储在存储器1102中的应用程序，从而实现各种功能，如下：
[0183]
获取多个摄像装置采集的多个传送区域的包裹传送图像，所述多个传送区域为预设物流区域中多个传送装置的传送区域，所述多个摄像装置的视野覆盖范围覆盖所述多个传送区域，每个摄像装置对应所述多个传送区域中至少一个传送区域；
[0184]
对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息；
[0185]
基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置上包裹的异常状态集成信息。
[0186]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0187]
为此，本发明实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本发明实施例所提供的任一种包裹异常检测方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
[0188]
获取多个摄像装置采集的多个传送区域的包裹传送图像，所述多个传送区域为预设物流区域中多个传送装置的传送区域，所述多个摄像装置的视野覆盖范围覆盖所述多个传送区域，每个摄像装置对应所述多个传送区域中至少一个传送区域；
[0189]
对所述多个传送区域的包裹传送图像分别进行包裹检测，以确定所述多个传送区域中包裹的位置信息及包裹的状态信息；
[0190]
基于所述包裹的位置信息及包裹的状态信息，生成多个传送装置上包裹的异常状
态集成信息。
[0191]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
[0192]
以上对本技术实施例所提供的一种包裹异常检测方法、装置、控制设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。