货物检测及卡货处理方法、装置、系统及存储介质与流程

1.本发明涉及自动售货柜技术领域，尤其是涉及一种货物检测及卡货处理方法、装置、系统及存储介质。


背景技术：

2.随着移动互联网的高速发展和电子信息技术的广泛应用，越来越多的自动售货柜开始投放市场。用户通过线上下单或线下扫码支付后，售货柜驱动货道出货，然后通过传送带将货物传送到取货口，由用户自行领取或由对接配送机器人取货。目前，现有自动售货柜采用机械开关传感器、压力传感器和红外传感器等进行售货柜掉货检测，虽然其具有低成本、高灵敏度的优点，但是由于传感器特性和机械安装误差等因素，导致其检测范围和准确率无法达到需求。另外，目前缺乏有效的检测方法用于对传送过程中发生的异常情况进行检测，导致无法确定货物是否传送到取货口。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种货物检测及卡货处理方法、装置、系统及存储介质，可以增大掉货检测的检测范围以及提高掉货检测的检测准确率，从而降低掉货误检测概率，还可以实现货物传送检测，从而高效、可靠地对货物传送过程的异常情况进行识别。
4.第一方面，本发明实施例提供了一种货物检测及卡货处理方法，所述方法应用于货物检测系统，所述货物检测系统与自动售货柜连接，所述货物检测系统配置有红外检测结构和图像检测结构，所述方法包括：当接收到所述自动售货柜发送的出货指令时，利用所述红外检测结构和/或所述图像检测结构，确定所述自动售货柜的货物掉落检测结果；如果所述货物掉落检测结果为掉货成功，利用所述图像检测结构确定所述自动售货柜的货物传送检测结果；如果所述货物传送检测结果为传送成功，向所述自动售货柜发送停止传送指令，以使所述自动售货柜停止传送动作。
5.在一种实施方式中，所述自动售货柜设置有升降机，所述红外检测结构设置于所述升降机的两端处，所述红外检测结构与所述升降机之间的相对高度大于预设高度值，所述图像检测结构设置于所述自动售货柜的内部顶端；所述利用所述红外检测结构和/或所述图像检测结构，确定所述自动售货柜的货物掉落检测结果的步骤，包括：根据所述红外检测结构的红外接收端的电平变化，确定第一检测结果；利用所述图像检测结构采集货物掉落图像，并根据所述图像掉落图像确定第二检测结果；基于所述第一检测结果和/或所述第二检测结果，确定所述自动售货柜的货物掉落检测结果。
6.在一种实施方式中，所述红外检测结构包括红外发射端和红外接收端，所述红外发射端向所述红外接收端发射红外线，所述红外接收端接收到所述红外线时输出第一电平；所述根据所述红外检测结构的红外接收端的电平变化，确定第一检测结果的步骤，包括：如果监听到所述红外接收端从所述第一电平跳变至第二电平，且在第一预设时长内所
述红外接收端输出的电平保持为所述第二电平，确定所述红外发射端发射的红外线被货物遮挡；如果监听到所述红外接收端从所述第二电平跳变至所述第一电平，且在第二预设时长内所述红外接收端输出的电平保持为所述第一电平，确定所述红外发射端发射的红外线未被货物遮挡；确定第一检测结果为掉货成功。
7.在一种实施方式中，所述根据所述图像掉落图像确定第二检测结果的步骤，包括：提取所述货物掉落图像的第一特征向量，并计算所述第一特征向量与预先确定的第二特征向量之间的特征相似度；其中，所述第二特征向量是对升降机区域进行特征提取得到的；如果所述特征相似度小于预设相似阈值，从所述货物掉落图像中提取感兴趣区域；如果所述感兴趣区域的分布半径大于预设半径阈值，确定第二检测结果为掉货成功。
8.在一种实施方式中，所述基于所述第一检测结果和/或所述第二检测结果，确定所述自动售货柜的货物掉落检测结果的步骤，包括：如果所述第一检测结果为掉货成功，根据红外线被遮挡时长确定第一正态分布概率；以及，如果所述第二检测结果为掉货成功，根据感兴趣区域确定第二正态分布概率；对所述第一正态分布概率和所述第二正态分布概率进行加权求和，得到掉货概率；如果所述掉货概率大于预设概率阈值，确定所述自动售货柜的货物掉落检测结果为掉货成功；如果所述掉货概率小于或等于所述预设概率阈值，确定所述自动售货柜的货物掉落检测结果为掉货失败。
9.在一种实施方式中，所述方法还包括：如果所述货物掉落检测结果为掉货失败，对感兴趣区域进行聚类处理得到聚类后感兴趣区域；根据所述聚类后感兴趣区域的平均中心和所述聚类后感兴趣区域与升降机区域的边缘之间的距离，判断货物是否被滞留于货道；如果是，向所述自动售货柜发送继续出货指令，以使所述货物从所述货道掉落至所述升降机上；其中，所述继续出货指令包括弹簧旋转指令或传送带移动指令。
10.在一种实施方式中，所述升降机设置有传送带，所述传送带用于将货物传送至所述自动售货柜的取货口；所述利用所述图像检测结构确定所述自动售货柜的货物传送检测结果的步骤，包括：在自动售货柜未传送货物的情况下，确定所述货物在所述升降机上的初始掉落位置，并基于所述初始掉落位置生成滤波器；在自动售货柜开始传送货物的情况下，利用所述图像检测结构采集货物传送图像；基于所述滤波器确定所述货物传送图像中最大响应强度对应的位置；如果满足以下条件中的一种或多种，确定所述自动售货柜的货物传送检测结果为传送成功：所述货物传送图像对应的所述位置，与前一货物传送图像对应的位置之间的距离小于第一预设距离阈值；所述货物传送图像的所述位置与所述自动售货柜的取货口之间的相对距离持续减小，且所述相对距离小于第二预设距离阈值；货物移动速度与传送带移动速度之间的差值小于预设差值阈值。
11.第二方面，本发明实施例还提供一种货物检测及卡货处理装置，所述装置应用于货物检测系统，所述货物检测系统与自动售货柜连接，所述货物检测系统配置有红外检测结构和图像检测结构，所述装置包括：掉落检测模块，用于当接收到所述自动售货柜发送的出货指令时，利用所述红外检测结构和/或所述图像检测结构，确定所述自动售货柜的货物掉落检测结果；传送检测模块，用于如果所述货物掉落检测结果为掉货成功，利用所述图像检测结构确定所述自动售货柜的货物传送检测结果；指令发送模块，用于如果所述货物传送检测结果为传送成功，向所述自动售货柜发送停止传送指令，以使所述自动售货柜停止传送动作。
12.第三方面，本发明实施例还提供一种货物检测系统，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
13.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
14.本发明实施例提供的一种货物检测及卡货处理方法、装置、系统及存储介质，应用于货物检测系统，货物检测系统与自动售货柜连接，货物检测系统配置有红外检测结构和图像检测结构，当接收到自动售货柜发送的出货指令时，将利用红外检测结构和/或图像检测结构，确定自动售货柜的货物掉落检测结果，并在货物掉落检测结果为掉货成功时，利用图像检测结构确定自动售货柜的货物传送检测结果，如果货物传送检测结果为传送成功，则可向自动售货柜发送停止传送指令，以使自动售货柜停止传送动作。上述方法采用红外检测结构和图像检测结构进行掉货检测，可以增大掉货检测的检测范围以及提高掉货检测的检测准确率，从而降低掉货误检测概率，还可以采用图像检测结构实现货物传送检测，从而高效、可靠地对货物传送过程的异常情况进行识别，以及可以确认货物是否传送到取货口。
15.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
16.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种货物检测及卡货处理方法的流程示意图；
19.图2为本发明实施例提供的一种系统工作示意图；
20.图3为本发明实施例提供的一种货物检测系统的架构示意图；
21.图4为本发明实施例提供的一种货物检测系统的安装示意图；
22.图5为本发明实施例提供的另一种货物检测及卡货处理方法的流程示意图；
23.图6为本发明实施例提供的一种货物检测及卡货处理装置的结构示意图；
24.图7为本发明实施例提供的一种货物检测系统的结构示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前
提下所获得的所有其他实施例，都属于本发明保护的范围。
26.目前，传统售货柜只进行掉货检测，而且在进行掉落检测时存在检测范围小、准确率不高、掉货错误检测等情况，由于传统售货柜缺少货物传送检测，无法对传送过程中的异常情况进行识别，而且无法确认货物是否传送到取货口。此外，传统售货柜无法判断卡货的具体原因，缺乏自动恢复机制，由于其完全依赖人工处理，导致增加了维护售货柜所需的人力成本和时间成本。综上所述，传统售货柜实际使用中卡货概率增加，增加了维护的时间、人力和成本。
27.基于此，本发明实施提供了一种货物检测及卡货处理方法、装置、系统及存储介质，可以增大掉货检测的检测范围以及提高掉货检测的检测准确率，从而降低掉货误检测概率，还可以实现货物传送检测，从而高效、可靠地对货物传送过程的异常情况进行识别。
28.为便于对本实施例进行理解，首先对本发明实施例所公开的一种货物检测及卡货处理方法进行详细介绍，方法应用于货物检测系统，货物检测系统与自动售货柜连接，货物检测系统配置有红外检测结构和图像检测结构，参见图1所示的一种货物检测及卡货处理方法的流程示意图，该方法主要包括以下步骤s102至步骤s106：
29.步骤s102，当接收到自动售货柜发送的出货指令时，利用红外检测结构和/或图像检测结构，确定自动售货柜的货物掉落检测结果。其中，自动售货柜设置有升降机，升降机用于上升至待出货的货道下方，出货指令用于表明自动售货柜正在执行出货动作，红外检测结构可以为红外传感器，图像检测结构可以为图像传感器，货物掉落检测结果用于表征货物是否从货道上正常掉落至升降机上。在一种实施方式中，在接收到自动售货柜发送的出货指令时，可以根据红外传感器的红外接收端的电平变化判断货物是否正常掉落，也可根据图像传感器采集的货物掉落图像判断货物是否正常掉落，也可以综合考虑红外传感器和图像传感器的判断结果，判断货物是否正常掉落。
30.步骤s104，如果货物掉落检测结果为掉货成功，利用图像检测结构确定自动售货柜的货物传送检测结果。其中，升降机设置有传送带，传送带用于将掉落至升降机上的货物传送至取货口，货物传送检测结果用于表征货物是否正常传送至取货口。在一种实施方式中，可以通过图像传感器对货物进行持续追踪，计算货物相对于传送带的位置和移动速度，从而预测货物是否传送完成。
31.步骤s106，如果货物传送检测结果为传送成功，向自动售货柜发送停止传送指令，以使自动售货柜停止传送动作。在一种实施方式中，可以在货物传送成功时，向自动售货柜发送停止传送指令，以使自动售货柜控制传送带停止移动。
32.本发明实施例提供的货物检测及卡货处理方法，采用红外检测结构和图像检测结构进行掉货检测，可以增大掉货检测的检测范围以及提高掉货检测的检测准确率，从而降低掉货误检测概率，还可以采用图像检测结构实现货物传送检测，从而高效、可靠地对货物传送过程的异常情况进行识别，以及可以确认货物是否传送到取货口。
33.在实际应用中，本发明实施例所涉及的系统主要包括自动售货柜、货物检测系统、远程服务器和监控终端，本发明实施例的主体为货物检测系统，其他部分均可在满足功能需求的情况下进行替换。参见图2所示的一种系统工作示意图，自动售货柜与货物检测系统通过rs232接口连接，双方通过rs232接口发送和接收控制指令。货物检测系统通过4g网络连接远程服务器，监控终端通过以太网连接远程服务器，通过远程服务器的消息中转，完成
货物检测系统与监控终端的信息交互。
34.对于上述货物检测系统，本发明实施例提供了一种如图3所示的一种货物检测系统的架构示意图，货物检测系统包括传感器单元、计算单元和通信单元。
35.在一种实施方式中，传感器单元负责采集出货过程的相关数据，并将数据发送到计算单元进行处理和计算。传感器单元主要包括红外传感器和图像传感器：
36.(1)对于红外传感器：红外传感器将检测到的红外光学信号转换为电信号，通过普通io(input/output，输入/输出)口输出到计算单元。本发明实施例采用分离式的红外对管，包括一个红外发射端和一个红外接收端，具有低成本高灵敏度的优点。红外检测结构设置于升降机的两端处，红外检测结构与升降机之间的相对高度大于预设高度值，预设高度值可以基于自动售货柜内售卖的货物尺寸确定得到，红外传感器主要用于掉货检测，货物掉落过程中遮挡红外传播线路，使红外接收端输出电平产生变化，计算单元通过检测电平变化判断货物是否掉落。
37.(2)对于图像传感器：图像传感器将图像光学信号转换为数字信号，通过usb2.0(universal serial bus，通用串行总线)接口和yuv协议输出到计算单元。本发明实施例采用动态范围大、视场角范围宽的鱼眼摄像头，具有对比度高视野范围广的优点。图像传感器主要用于掉货检测和传送检测：在掉货检测阶段，图像传感器持续采集货物掉落图像，将货物掉落图像发送至计算单元，以通过计算单元基于货物掉落图像检测升降机区域、监测升降机区域的变化和计算升降机区域内掉落物体的特征，进而判断是否掉货活成；在传送检测阶段，图像传感器持续采集货物传送图像，并将货物传送图像发送至计算单元，以通过计算单元基于货物传送图像确定货物掉落至升降机时的初始掉落位置，根据该初始掉落位置构建滤波器，从而采用滤波器对货物进行持续追踪，计算货物相对传送带的位置和移动速度，进而预测货物是否传送完成。
38.在一种实施方式中，计算单元负责接收和处理传感器单元数据，并将控制指令发送给通信单元。计算单元可采用安卓平台、intel平台或者amd平台。计算单元主要包括存储子单元、运算子单元和外围电路：
39.(1)存储子单元包括硬盘和内存，分别通过sata(serial advanced technology attachment，串口硬盘)接口和pcie(peripheral component interconnect express，高速串行计算机扩展总线标准)接口与运算子单元连接。硬盘用于安装软件操作系统，保存检测程序和检测结果，内存用于暂时存储运算单元的运算数据及与外设交换的数据。
40.(2)运算子单元主要包括运算器和控制器。运算子单元用于运行硬盘上的检测程序，执行出货检测的计算，将检测结果存储于硬盘和内存中，根据检测结果进行相应处理，并将处理结果转换为相应控制指令发送到通信模块。示例性的，当检测结果为掉货成功时可以生成传送指令，当检测结果为传送成功时可以生成停止传送指令等。
41.(3)外围电路主要包括电源电路和外设接口，外围电路为存储子单元和运算子单元的提供电源输出，外设接口用于连接传感器单元和通信单元，外设接口中的普通io口和usb2.0接口与传感器模块连接，外设接口中的一个rs232接口与通信模块连接，另一个rs232接口和自动售货柜连接。
42.在一种实施方式中，通信单元负责货物检测系统与监控终端的相互通信，通过4g网络单元连接互联网，将货物检测系统的报警信息发送到监控终端，并接收和处理监控终
端发送的信息。通信单元主要包括应用子单元和网络子单元：应用子单元负责解析和处理控制指令，完成协议转换和数据封装，网络子单元负责数据的接收和发送。
43.在前述实施例的基础上，本发明实施例提供了如图4所示的一种货物检测系统的安装示意图，图4示意出自动售货柜设置有升降机，红外传感器安装在升降机的左右两端，示例性的，升降机左端安装红外发射端，升降机右端安装红外接收端，红外传感器距离升降机底部的距离应大于货物的最大尺寸。图4还示意出图像检测结构设置于自动售货柜的内部顶端，向下可俯视整个自动售货柜内部。图4还示意出计算单元和通信单元的集成模块安装于自动售货柜内部侧壁上。
44.在执行前述步骤s102之前，所述方法还包括：接收自动售货柜发送的准备出货指令，对红外检测结构进行初始化以及对图像检测结构进行初始化，向自动售货柜发送初始化完成指令，以使自动售货柜执行出货动作，并向货物检测系统发送出货指令。在实际应用中，用户完成支付后，自动售货柜准备出货，自动售货柜可以通过rs232接口向货物检测系统发送出货指令，货物检测系统接收到出货指令，进行系统初始化(包括红外传感器初始化和图像传感器初始化)，并在初始化完成后通过rs232接口向自动售货柜发送初始化完成指令。为便于对初始化过程进行理解，本发明实施例还分别提供了红外传感器初始化过程和图像传感器初始化过程，具体的：
45.(一)红外传感器初始化过程：a1)设置红外传感器的输出引脚为输入模式，并检测初始输出电平是否正确；b1)配置红外传感器输出引脚的外部中断，设置为上升沿和下降沿触发；c1)初始化红外检测线程，开启指定时长的定时器，运行红外检测状态机，红外检测状态机也即检测红外接收端输出的电平变化，该电平变化可以体现红外发射端发射的红外线是否被货物遮挡，进而可以表征货物是否正常掉落。
46.(二)图像传感器初始化过程：a2)枚举所有相机设备，若未发现自动售货柜内部顶端的图像传感器，则等待一段时间后，尝试重新初始化；b2)连接图像传感器，并设置其分辨率、帧率和格式等；c2)初始化图像掉货检测线程，开启指定时长的定时器，运行图像掉货检测状态机，图像掉落检测状态机也即检测升降机中货物的状态，诸如升降机中无货物、升降机中有货物、升降机中货物移动的相关状态等。
47.在前述实施例的基础上，当接收到自动售货柜发送的出货指令，自动售货柜接收到货物检测系统发送的初始化完成指令后，向货物检测系统回复开始出货指令。自动售货柜检测货道状态正常后，控制升降机上升到指定货道，然后控制弹簧转动或传送带移动，带动货物向前移动，直至货物掉落到升降机内。
48.基于此，本发明实施例提供了一种利用红外检测结构和/或图像检测结构，确定自动售货柜的货物掉落检测结果的实施方式，参见如下步骤1至步骤3：
49.步骤1，根据红外检测结构的红外接收端的电平变化，确定第一检测结果。在实际应用中，红外检测结构包括红外发射端和红外接收端，红外发射端向红外接收端发射红外线，红外接收端接收到红外线时输出第一电平，示例性的，第一电平可以为高电平。
50.在一种实施方式中，如果红外检测状态经历未遮挡-被遮挡-未遮挡变化，且被遮挡时长介于预设时长范围内，则红外检测掉货成功，其中，未遮挡状态或被遮挡状态均可通过红外接收端的电平变化体现。为便于理解，本发明实施例提供了一种根据红外检测结构的红外接收端的电平变化，确定第一检测结果的实施方式，参见如下步骤1.1至步骤1.3：
51.步骤1.1，如果监听到红外接收端从第一电平跳变至第二电平，且在第一预设时长内红外接收端输出的电平保持为第二电平，确定红外发射端发射的红外线被货物遮挡。示例性的，第二电平为低电平。在具体实现时，初始状态下红外发射端发射的红外线无阻挡，此时红外接收端输出第一电平，设置状态为未遮挡，当货物掉落时红外线被阻挡，此时红外接收端输出从第一电平跳变至第二电平，触发下降沿中断，如果在第一预设时长内检测红外接收端输出的电平稳定为第二电平，则设置状态为被遮挡。
52.步骤1.2，如果监听到红外接收端从第二电平跳变至第一电平，且在第二预设时长内红外接收端输出的电平保持为第一电平，确定红外发射端发射的红外线未被货物遮挡。在具体实现时，货物掉落后红外线无阻挡，此时红外接收端的输出从第二电平跳变至第一电平，触发上升沿中断，如果在第二预设时长内检测红外接收端输出的电平稳定为第一电平，则设置状态为未遮挡。
53.步骤1.3，确定第一检测结果为掉货成功。在实际应注意，如果检测到未遮挡-被遮挡-未遮挡的状态变化，且被遮挡时长介于预设时长范围内，则说明第一检测结果为掉货成功，如果未检测到上述状态变化，则说明第一检测结果为掉货失败。
54.步骤2，利用图像检测结构采集货物掉落图像，并根据图像掉落图像确定第二检测结果。为便于理解，参见如下步骤2.1至步骤2.3：
55.步骤2.1，提取货物掉落图像的第一特征向量，并计算第一特征向量与预先确定的第二特征向量之间的特征相似度。其中，第二特征向量是对升降机区域进行特征提取得到的，第二特征向量也即货物未掉落至升降机区域时(也即，升降机内无货物)的特征向量。步骤2.2，如果特征相似度小于预设相似阈值，从货物掉落图像中提取感兴趣区域；步骤2.3，如果感兴趣区域的分布半径大于预设半径阈值，确定第二检测结果为掉货成功。
56.本发明实施例提供了一种提取第二特征向量的实施方式：a3)在升降机内无货物时采集售货柜内部图像，对售货柜内部图像进行二值化处理，得到二值化图像；b3)对二值化图像进行边缘检测和直线提取，筛选一定长度和角度的直线构成多边形区域；c3)对二值化图像进行形态学操作得到若干区域，然后提取区域轮廓并计算特征，筛选特征符合条件的区域；d3)对区域进行匹配和筛选，得到升降机区域；e3)连续提取多帧售货柜内部图像中的升降机区域，并计算升降机区域的灰度特征和角点特征，综合得到归一化的第二特征向量v0。
57.进一步的，货物掉落时，通过图像检测升降机区域内是否有货物掉落。具体方法为：a4)更新区域图像，计算区域的灰度特征和角点特征，得到归一化的特征向量vt；b4)计算vt与v0的余弦相似度(也即，上述特征相似度)，若余弦相似度大于预设相似阈值则返回a4)步骤，若余弦相似度小于预设相似阈值则执行c4)步骤；c4)对区域的图像进行二值化处理，然后进行形态学操作得到若干区域，然后提取区域轮廓并计算特征，筛选特征符合条件的子区域(也即，上述感兴趣区域)；d4)重复a4)到c4)步骤，对上述步骤提取到的所有子区域进行匹配和筛选，计算子区域中心的分布半径，若分布半径大于预设半径阈值，则图像掉货检测成功，若分布半径小于预设半径阈值，则重复a4)到d4)步骤；e4)若重复a4)到d4)步骤，且指定时长内未检测到货物掉落，则图像掉货检测失败。
58.步骤3，基于第一检测结果和/或第二检测结果，确定自动售货柜的货物掉落检测结果。在具体实现时，可参见如下步骤3.1至步骤3.3：
59.步骤3.1，如果第一检测结果为掉货成功，根据红外线被遮挡时长确定第一正态分布概率p1。其中，第一正态分布概率p1也即被遮挡时长为t时掉货成功的概率p1。在实际应用中，可以根据红外接收端输出电平保持为第二电平的时长，确定红外线被遮挡时长，进而确定被遮挡时长对应的第一正态分布概率p1。
60.步骤3.2，如果第二检测结果为掉货成功，根据感兴趣区域确定第二正态分布概率p2。在一种实施方式中，可以根据感兴趣区域的面积、长宽比等参数确定第二正态分布概率p2。其中，第二正太分布概率p2也即感兴趣区域为面积s或长宽比l:w时掉货成功的概率p2。在实际应用中，可以提取感兴趣区域的面积和长宽比，从而根据面积和/或长宽比确定第二正态分布概率p2。
61.步骤3.3，对第一正态分布概率和第二正态分布概率进行加权求和，得到掉货概率。具体的，计算掉货概率为p＝w1*p1 w2*p2，其中w1和w2分别为第一检测结果和第二检测结果的权重。
62.步骤3.4，如果掉货概率大于预设概率阈值，确定自动售货柜的货物掉落检测结果为掉货成功；如果掉货概率小于或等于预设概率阈值，确定自动售货柜的货物掉落检测结果为掉货失败。示例性的，若掉货概率p大于预设概率阈值，则未卡货(也即，掉货成功)，否则为卡货(也即，掉货失败)。
63.在掉货失败的情况下，通过图像检测进一步判断卡货原因，并尝试自动恢复。具体的，本发明实施例提供了一种卡货自动恢复的实施方式，参见如下步骤一至步骤三：
64.步骤一，如果货物掉落检测结果为掉货失败，对感兴趣区域进行聚类处理得到聚类后感兴趣区域。对前述实施例筛选得到的子区域进行聚类，得到面积及区域中心相近的子区域(也即，聚类后感兴趣区域)。
65.步骤二，根据聚类后感兴趣区域的平均中心和聚类后感兴趣区域与升降机区域的边缘之间的距离，判断货物是否被滞留于货道。在一种实施方式中，可以计算子区域的平均中心，以及平均中心与升降机边缘之间的相对距离，若平均中心位置变化较小，且相对升降机边缘较近，则可能为货物卡在货道上(也即，货物被滞留于货道)，否则视为卡货恢复失败。
66.步骤三，如果是，向自动售货柜发送继续出货指令，以使货物从货道掉落至升降机上。其中，继续出货指令包括弹簧旋转指令或传送带移动指令。在具体实现时，对于弹簧货道，货物检测系统向自动售货柜发送指令，控制弹簧货道旋转指定圈数(诸如1/3圈)；对于传送带货道，货物检测系统向自动售货柜发送指令，控制传送带移动指定距离(诸如，5厘米)。该过程中重复执行前述步骤a4)至步骤e4)，以检测是否掉货，若掉货则货物检测系统立即向自动售货柜发送停止指令，以使自动售货柜停止出货。若未掉货，则视为卡货恢复失败。
67.在一种实施方式中，升降机设置有传送带，传送带用于将货物传送至自动售货柜的取货口。在此基础上，本发明实施例提供了一种利用图像检测结构确定自动售货柜的货物传送检测结果的实施方式，参见如下(a)至(d)：
68.(a)在自动售货柜未传送货物的情况下，确定货物在升降机上的初始掉落位置，并基于初始掉落位置生成滤波器。在未卡货的情况下，可以检测货物降落到升降机时的初始降落位置，并生成货物图像模板，计算灰度特征，训练得到相关滤波器。进一步的，还可以初
始化图像传送检测线程，开启指定时长的定时器，并运行图像传送检测状态机。进一步的，货物检测系统向自动售货柜发送传送指令，自动售货柜控制传送带开始传输货物。
69.(b)在自动售货柜开始传送货物的情况下，利用图像检测结构采集货物传送图像。货物开始传送后，同时进行图像传送检测，定时运行如下(c)至(d)。
70.(c)基于滤波器确定货物传送图像中最大响应强度对应的位置。利用相关滤波器，计算当前货物传送图像的响应r，若响应强度大于阈值t，则找到响应强度最大的位置l，否则传送检测失败。
71.(d)如果满足以下条件中的一种或多种，确定自动售货柜的货物传送检测结果为传送成功：货物传送图像对应的位置，与前一货物传送图像对应的位置之间的距离小于第一预设距离阈值；货物传送图像的位置与自动售货柜的取货口之间的相对距离持续减小，且相对距离小于第二预设距离阈值；货物移动速度与传送带移动速度之间的差值小于预设差值阈值。在一种实施方式中，如果当前货物传送图像对应的位置l相对于上一张货物传送图像对应的位置的距离dl，小于阈值d，则更新货物当前位置为l，否则传送检测失败。在另一种实施方式中，计算货物移动速度为v，若货物移动速度方向和大小与传送带移动速度差值大于阈值dv，则传送检测失败。在另一种实施方式中，计算货物当前位置l与升降机右侧边缘的相对距离db，若db持续减小且小于一定距离，则传送成功。
72.在实际应用中，当传送成功时，延迟指定时长后，货物检测系统向自动售货柜发送停止传送指令。
73.在一种实施方式中，在卡货自动恢复失败或者传送检测失败的情况下，货物检测系统通过其4g通信模块，向远程监控终端发送报警信息，包括售货机信息和出货过程录制的视频，方便问题排查。其中，远程报警通信方式可采用5g模块、以太网或者wifi。
74.为便于对前述实施例进行理解，本发明实施例提供了一种货物检测及卡货处理方法的应用示例，参见图5所示的另一种货物检测及卡货处理方法的流程示意图，该方法主要包括以下步骤s502至步骤s520：
75.步骤s502，自动售货柜准备出货。
76.步骤s504，货物检测系统初始化。
77.步骤s506，自动售货柜开始出货。
78.步骤s508，货物检测系统进行红外检测掉货。
79.步骤s510，货物检测系统进行图像检测掉货。
80.步骤s512，货物检测系统进行卡货综合判断。如果未卡货，执行步骤s516；如果卡货，执行步骤s514。
81.步骤s514，货物检测系统进行卡货自动恢复。如果恢复成功，执行步骤s516；如果恢复失败，执行步骤s。
82.步骤s516，自动售货柜开始货物传送。
83.步骤s518，货物检测系统进行货物传送检测。如果传送失败，执行步骤s520；如果传送成功，确定自动售货柜出货完成。
84.步骤s520，远程报警，并确定自动售货柜出货失败。
85.综上所述，本发明实施例提供的货物检测及卡货处理方法，至少具有以下特点：
86.(1)采用红外传感器和图像传感器进行掉货检测，扩大了检测范围，提高了检测准
确率，降低掉货误检测概率；
87.(2)采用图像传感器进行货物传送检测，可实时监测传送过程中的异常情况，并能确认货物是否传送到取货口；
88.(3)采用红外传感器和图像传感器判断卡货原因，在部分情况下可采取自动恢复机制，恢复失败时远程报警。
89.对于前述实施例提供的货物检测及卡货处理方法，本发明实施例提供了一种货物检测及卡货处理装置，装置应用于货物检测系统，货物检测系统与自动售货柜连接，货物检测系统配置有红外检测结构和图像检测结构，参见图6所示的一种货物检测及卡货处理装置的结构示意图，该装置主要包括以下部分：
90.掉落检测模块602，用于当接收到自动售货柜发送的出货指令时，利用红外检测结构和/或图像检测结构，确定自动售货柜的货物掉落检测结果；
91.传送检测模块604，用于如果货物掉落检测结果为掉货成功，利用图像检测结构确定自动售货柜的货物传送检测结果；
92.指令发送模块606，用于如果货物传送检测结果为传送成功，向自动售货柜发送停止传送指令，以使自动售货柜停止传送动作。
93.本发明实施例提供的货物检测及卡货处理装置，采用红外检测结构和图像检测结构进行掉货检测，可以增大掉货检测的检测范围以及提高掉货检测的检测准确率，从而降低掉货误检测概率，还可以采用图像检测结构实现货物传送检测，从而高效、可靠地对货物传送过程的异常情况进行识别，以及可以确认货物是否传送到取货口。
94.在一种实施方式中，自动售货柜设置有升降机，红外检测结构设置于升降机的两端处，红外检测结构与升降机之间的相对高度大于预设高度值，图像检测结构设置于自动售货柜的内部顶端；掉落检测模块602还用于：根据红外检测结构的红外接收端的电平变化，确定第一检测结果；利用图像检测结构采集货物掉落图像，并根据图像掉落图像确定第二检测结果；基于第一检测结果和/或第二检测结果，确定自动售货柜的货物掉落检测结果。
95.在一种实施方式中，红外检测结构包括红外发射端和红外接收端，红外发射端向红外接收端发射红外线，红外接收端接收到红外线时输出第一电平；掉落检测模块602还用于：如果监听到红外接收端从第一电平跳变至第二电平，且在第一预设时长内红外接收端输出的电平保持为第二电平，确定红外发射端发射的红外线被货物遮挡；如果监听到红外接收端从第二电平跳变至第一电平，且在第二预设时长内红外接收端输出的电平保持为第一电平，确定红外发射端发射的红外线未被货物遮挡；确定第一检测结果为掉货成功。
96.在一种实施方式中，掉落检测模块602还用于：提取货物掉落图像的第一特征向量，并计算第一特征向量与预先确定的第二特征向量之间的特征相似度；其中，第二特征向量是对升降机区域进行特征提取得到的；如果特征相似度小于预设相似阈值，从货物掉落图像中提取感兴趣区域；如果感兴趣区域的分布半径大于预设半径阈值，确定第二检测结果为掉货成功。
97.在一种实施方式中，掉落检测模块602还用于：如果第一检测结果为掉货成功，根据红外线被遮挡时长确定第一正态分布概率；以及，如果第二检测结果为掉货成功，根据感兴趣区域确定第二正态分布概率；对第一正态分布概率和第二正态分布概率进行加权求
processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。
107.本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
108.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
109.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。