货物堆积检测方法、装置、设备和系统与流程

1.本技术涉及网络视频监控技术领域，尤其涉及一种货物堆积检测方法、装置、设备和系统。


背景技术：

2.随着互联网技术和信息科技技术的飞速发展，带动了大数据，人工智能，物联网，5g网络的普及，也促进了图像传输和处理，视频终端接收技术的发展，网络视频监控技术也随之出现了革新，网络视频监控系统由于所采集的图像信息丰富，像素高清，技术先进以及便利直观等优势和特点，因此，在不同领域，不同场合都得到了广泛应用和普及。
3.目前网络视频监控领域主要依赖于人工操作，比如在快递行业，由于电商的快速发展，带动了快递业的高速增长，对快递企业来说每逢节假日时常会发生快递货物堆积过多的情况(俗称爆仓)，这不仅影响了客户的购物体验，而且会引发连锁效应，导致爆仓情况越来越严重。为了解决这一问题，快递企业的每个大型操作场地都会设置上百个摄像头，并配备多名安保人员通过视频监控场地内快递货物堆积情况，在快递货物堆积过多时及时预警。不过，一方面，需要配备多名相关人员持续查看监控视频，人工成本较高；另一方面，人工长时间观看屏幕非常枯燥且很容易造成视觉疲劳，从而可能导致不能及时发现快递货物堆积异常的情况。
4.也就是说，目前快递企业或相关企业中，通过人工查看监控视频从而判断货物堆积情况的方法中，存在人工成本高和不及时的问题。


技术实现要素：

5.本技术提供一种货物堆积检测方法、装置、设备和系统，以解决人工查看监控视频从而判断货物堆积情况的方法中，人工成本高和不及时的问题。
6.本技术的上述目的是通过以下技术方案实现的：
7.第一方面，本技术实施例提供一种货物堆积检测方法，包括：
8.获取货物的监控视频，并每隔预设时间，从所述监控视频中截取图像；
9.将截取的图像由彩色图像转化为灰度图像，再转化为图像矩阵；
10.将所述图像矩阵输入至预先设置的预处理网络，得到共享特征图；
11.将所述共享特征图输入至预先训练的货物数量分类网络，得到货物数量量级的分类特征图；
12.将所述共享特征图和所述分类特征图输入至预先训练的货物密度评估网络，得到与所述图像矩阵大小相同的货物密度评估图；
13.基于所述货物密度评估图，计算得到货物数量并输出。
14.可选的，所述预处理网络的预先设置过程包括：
15.基于获取的参数，对预先构建的第一卷积神经网络中各卷积层的卷积核参数进行调整，得到所述预处理网络。
16.可选的，所述货物数量分类网络的训练过程包括：
17.获取预设数量的包含不同货物数量量级的图像样本；
18.将各所述图像样本转化为图像矩阵，并输入至所述预处理网络，得到样本特征图；
19.将所述样本特征图输入至预先构建的第二卷积神经网络，并对不同货物数量量级进行一一标识，从而得到所述货物数量分类网络。
20.可选的，所述货物密度评估网络包括初步处理子网络和输出子网络；所述初步输出子网络以所述预处理网络的输出为输入；所述输出子网络以所述初步输出子网络的输出和所述货物数量分类网络的输出为共同输入；
21.所述货物密度评估网络的训练过程包括：
22.将所述预处理网络输出的样本特征图输入至预先构建的第三卷积神经网络，并对目标处理对象进行一一标识，得到所述初步处理子网络；
23.将所述初步处理子网络以及所述货物数量分类网络训练过程中的输出，共同输入至预先构建的第四卷积神经网络，并设置其中反卷积层的输出参数，得到所述输出子网络。
24.可选的，所述第二卷积神经网络包括一个spp-net函数层，用于在训练所述货物数量分类网络时，能够支持输入任意大小的图像。
25.可选的，所述基于所述货物密度评估图，计算得到货物数量并输出之后，还包括：
26.若计算得到的货物数量超出预设的阈值，发出预警信号。
27.第二方面，本技术实施例还提供一种货物堆积检测装置，包括：
28.图像获取模块，用于获取货物的监控视频，并每隔预设时间，从所述监控视频中截取图像；
29.图像转化模块，用于将截取的图像由彩色图像转化为灰度图像，再转化为图像矩阵；
30.预处理模块，用于将所述图像矩阵输入至预先设置的预处理网络，得到共享特征图；
31.分类模块，用于将所述共享特征图输入至预先训练的货物数量分类网络，得到货物数量量级的分类特征图；
32.密度评估模块，用于将所述共享特征图和所述分类特征图输入至预先训练的货物密度评估网络，得到与所述图像矩阵大小相同的货物密度评估图；
33.输出模块，用于基于所述货物密度评估图，计算得到货物数量并输出。
34.可选的，所述装置还包括：
35.预警模块，用于若计算得到的货物数量超出预设的阈值，发出预警信号。
36.第三方面，本技术实施例还提供一种货物堆积检测设备，包括：
37.存储器和与所述存储器相连接的处理器；
38.所述存储器，用于存储程序，所述程序至少用于执行上述的货物堆积检测方法；
39.所述处理器，用于调用并执行所述存储器存储的所述程序。
40.第四方面，本技术实施例还提供一种货物堆积检测系统，包括：
41.上述的货物堆积检测设备和设置在货物堆积场地周围的摄像头；所述摄像头和所述检测设备通信连接。
42.本技术的实施例提供的技术方案可以包括以下有益效果：
43.本技术的实施例提供的技术方案中，首先对摄像头拍摄的监控视频进行处理得到图像矩阵，然后基于卷积神经网络对图像矩阵进行识别、分析和处理，从而得到货物密度评估图，并最终得到货物数量。如此设置，相对于传统的人工查看监控视频的方式，不需要过多人工参与，可以有效节约人工成本，并且识别及时，从而可以在此基础上，及时准确的对场地内的货物异常情况进行预警，进而可以帮助快递公司合理调派资源，预防快递货物发生爆仓的情况。
44.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
45.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
46.图1为本技术实施例提供的一种货物堆积检测方法的流程示意图；
47.图2为本技术实施例提供的一种货物堆积检测装置的结构示意图；
48.图3为本技术实施例提供的一种货物堆积检测系统的结构示意图。
具体实施方式
49.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
50.实施例
51.请参阅图1，图1为本技术实施例提供的一种货物堆积检测方法的流程示意图。如图1所示，该方法包括以下步骤：
52.s101：获取货物的监控视频，并每隔预设时间，从所述监控视频中截取图像；
53.具体的，可以使用传统的opencv(open source computer vision library，开源计算机视觉库)当中的videocapture方法加载各个操作中心的摄像头rtsp(real time streaming protocol，实时流传输协议)地址，完成对视频流的接入。
54.此外，监控视频图像中，其帧率通常在25帧每秒左右。不过，考虑到实际情况中，货物的数量变化不会太快，因此，截取图像的频率设定为每秒一帧足以满足检测要求，即每间隔1秒从监控视频中截取一次图像。
55.s102：将截取的图像由彩色图像转化为灰度图像，再转化为图像矩阵；
56.具体的，将彩色图像转化为灰度图像，也即，使图像由rgb三通道图像转化为单通道图像，使图像中的每个像素点只有0～255这256种取值，其作用主要是为了在保证后续的计算结果精度足够的基础上，减少计算量。在具体实施时，可以直接采用opencv中的灰度处理方法实现，即在读取图像时，用户将读取模式设置为0即可。
57.关于图像矩阵，灰度图像中，因为每个像素点都只用一个数值(灰度值)表示，因此整幅灰度图像的像素数据可以视为一个矩阵，矩阵的行对应图像的高(单位为像素)，矩阵的列对应图像的宽(单位为像素)，矩阵的元素对应图像的像素，矩阵元素的值就是像素的
灰度值。
58.s103：将所述图像矩阵输入至预先设置的预处理网络，得到共享特征图；
59.由于后续步骤中的两个神经网络在进行特定处理之前，都需要先获取图像特征，因此，设置这一步骤来对图像进行预处理。预处理得到的特征图由后续的两个神经网络共享使用。
60.一些实施例中，所述预处理网络的预先设置过程包括：基于获取的参数，对预先构建的第一卷积神经网络中各卷积层的卷积核参数进行调整，得到所述预处理网络。
61.进一步的，预先构建的第一卷积神经网络包括两个卷积层，每个卷积层后各紧接一个激活函数层；其中，第一个卷积层包含16种大小均为9
×
9的卷积核，第二个卷积层包含32种大小均为7
×
7的卷积核。
62.激活函数的作用是增加神经网络的非线性，使得神经网络可以逼近非线性函数。本实施例中，无特殊说明的话，各神经网络中的激活函数都可以选择参数线性整流函数prelu(parametric rectified linear unit)。
63.此外，基于每种卷积核对输入的矩阵数组进行一次卷积操作后都可以得到一张特征图，因此设置多种卷积核时，可以得到多张特征图，每张特征图表示所关注的图像特征的侧重点不同。
64.s104：将所述共享特征图输入至预先训练的货物数量分类网络，得到货物数量量级的分类特征图；
65.货物数量量级，可以认为是货物数量多少的“程度”，即少量、中量等，可以根据实际需求划分。确定货物数量量级有利于后续进一步计算货物密度。
66.一些实施例中，所述货物数量分类网络的训练过程包括：获取预设数量的包含不同货物数量量级的图像样本；将各所述图像样本转化为图像矩阵，并输入至所述预处理网络，得到样本特征图；将所述样本特征图输入至预先构建的第二卷积神经网络，并对不同货物数量量级进行一一标识，从而得到所述货物数量分类网络。
67.进一步的，预先构建的第二卷积神经网络包括四个卷积层，每个卷积层后各紧接一个激活函数层，前两个激活函数层之后各紧接一个最大池化层，最后一个激活函数层之后连接三个全连接层和一个sigmoid函数层，每个全连接层后各紧接一个激活函数层；其中，两个所述最大池化层的步长均为2，三个全连接层包含的神经元的个数依次为512个、256个和10个。
68.sigmoid函数也是一种激活函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。输入货物数量分类网络的特征图经由各处理层处理后，最终输出对货物数量量级的分类预测。
69.可选的，所述第二卷积神经网络包括一个spp-net(spatial pyramid pooling network)函数层，用于在训练所述货物数量分类网络时，能够支持输入任意大小的图像。其中，涉及到的损失函数采用交叉熵损失，用于表示模型输出和观测结果间概率分布差异的量化。
70.s105：将所述共享特征图和所述分类特征图输入至预先训练的货物密度评估网络，得到与所述图像矩阵大小相同的货物密度评估图；
71.一些实施例中，所述货物密度评估网络包括初步处理子网络和输出子网络；所述初步输出子网络以所述预处理网络的输出为输入；所述输出子网络以所述初步输出子网络的输出和所述货物数量分类网络的输出为共同输入；
72.所述货物密度评估网络的训练过程包括：将所述预处理网络输出的样本特征图输入至预先构建的第三卷积神经网络，并对目标处理对象进行一一标识，得到所述初步处理子网络；将所述初步处理子网络以及所述货物数量分类网络训练过程中的输出，共同输入至预先构建的第四卷积神经网络，并设置其中反卷积层的输出参数，得到所述输出子网络。
73.进一步的，预先构建的第三卷积神经网络包括四个卷积层，每个卷积层后各紧接一个激活函数层，前两个激活函数层之后各紧接一个最大池化层；其中，第一个卷积层包含20种大小均为7
×
7的卷积核，第二个卷积层包含40种大小均为5
×
5的卷积核，第三个卷积层包含20种大小均为5
×
5的卷积核，第四个卷积层包含10种大小均为5
×
5的卷积核。
74.预先构建的第四卷积神经网络包括两个卷积层和两个反卷积层；其中，第一个卷积层包含24种大小均为3
×
3的卷积核，第二个卷积层包含32种大小均为3
×
3的卷积核，两个反卷积层的特征数分别为16和18。
75.经过之前的神经网络处理后得到的特征图，最终输入两个反卷积层，将特征图恢复到原图大小，从而可以修复之前池化时损失的细节。涉及到的损失函数采用标准的pixel-wise的欧式距离损失。
76.s106：基于所述货物密度评估图，计算得到货物数量并输出。
77.之后还可以根据设定的阈值，判断是否需要进行预警，即若计算得到的货物数量超出阈值，发出预警信号。预警信号可以发送至向特定的计算机或移动智能设备，例如相关负责人员的手机。
78.本技术的实施例提供的技术方案可以包括以下有益效果：
79.本技术的实施例提供的技术方案中，首先对摄像头拍摄的监控视频进行处理得到图像矩阵，然后基于卷积神经网络对图像矩阵进行识别、分析和处理，从而得到货物密度评估图，并最终得到货物数量。如此设置，相对于传统的人工查看监控视频的方式，不需要过多人工参与，可以有效节约人工成本，并且识别及时，从而可以在此基础上，及时准确的对场地内的货物异常情况进行预警，进而可以帮助快递公司合理调派资源，预防快递货物发生爆仓的情况。
80.为了对本技术的技术方案进行更全面的介绍，对应于本技术上述实施例提供的货物数量检测方法，本技术实施例还提供一种货物数量检测装置。
81.请参阅图2，图2为本技术实施例提供的一种货物数量检测装置的结构示意图。如图2所示，该装置包括：
82.图像获取模块21，用于获取货物的监控视频，并每隔预设时间，从所述监控视频中截取图像；
83.图像转化模块22，用于将截取的图像由彩色图像转化为灰度图像，再转化为图像矩阵；
84.预处理模块23，用于将所述图像矩阵输入至预先设置的预处理网络，得到共享特征图；
85.分类模块24，用于将所述共享特征图输入至预先训练的货物数量分类网络，得到
货物数量量级的分类特征图；
86.密度评估模块25，用于将所述共享特征图和所述分类特征图输入至预先训练的货物密度评估网络，得到与所述图像矩阵大小相同的货物密度评估图；
87.输出模块26，用于基于所述货物密度评估图，计算得到货物数量并输出。
88.可选的，所述装置还包括：
89.预警模块，用于若计算得到的货物数量超出预设的阈值，发出预警信号。
90.具体的，该装置的各功能模块的具体实现方法请参阅上述实施例中的货物数量检测方法中的相关内容来实现，在此不再详述。
91.为了对本技术的技术方案进行更全面的介绍，对应于本技术上述实施例提供的货物数量检测方法，本技术实施例还提供一种货物数量检测系统。
92.请参阅图3，图3为本技术实施例提供的一种货物数量检测设备的系统示意图。如图3所示，该系统包括：
93.设置在货物堆积场地周围的摄像头3和与摄像头3通信连接的货物堆积检测设备4。
94.其中，摄像头3的数量为多个，货物堆积检测设备4包括存储器41和与存储器41相连接的处理器42；
95.存储器41用于存储程序，所述程序至少用于执行上述实施例的货物堆积检测方法；
96.处理器42用于调用并执行存储器41存储的所述程序。
97.具体的，货物堆积检测设备4中的功能程序的具体实现方法请参阅上述实施例中的货物堆积检测方法中的相关内容来实现，在此不再详述。
98.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
99.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是指至少两个。
100.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
101.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
102.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介
质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
103.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
104.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
105.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
106.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。