用于检测自助结账终端的扫描异常的系统和方法与流程

1.本公开主要涉及零售店中的自助结账终端，尤其涉及在可视扫描检测中存在扫描异常的情况下生成警报的系统。


背景技术：

2.自助结账机为顾客提供了一种处理他们自己从零售商处购物的机制。它们是传统的收银员结账的替换方案。顾客通过扫描物品并申请为其付款来自己执行收银员的工作。在典型的自助结账系统中，顾客需要对着扫描器扫描每一件物品，然后执行必要的付款。
3.然而，顾客有可能很少或者没有接受过关于自助结账终端操作方面的培训，并且有可能会在结账时出错。顾客有可能会在扫描时无意中遗漏一些物品，并且可能会在没有支付必要费用的情况下离开商店。更进一步，商店行窃是与自助结账商店相关的主要缺点。例如，顾客有可能故意不扫描一些物品，将未扫描的物品放入购物车，并且有可能在未全额付款的情况下离开商店。由此，自助结账店可能会蒙受巨大损失。因此，当前的自助结账店仍有可能需要大量职员或店员来防止盗窃以及未经授权的取货。
4.因此，有鉴于上述讨论，有必要具有一种用于检测自助结账商店中的扫描异常的方法和系统，其在用户购物篮中存在的物品与扫描器产生的扫描物品列表不匹配时会生成警报，并且克服了与现有的自助结账系统相关联的上述缺点。


技术实现要素：

5.根据本公开的第一个方面，提供了一种用于在零售店的结账处理期间检测用户在扫描一个或多个物品的过程中的扫描异常的系统。所述系统可以包括图像接收模块，其被配置成实时地从至少一个摄像机接收扫描区域的视频流，其中所述扫描区域是处于零售店的扫描器的视野中的区域。所述系统可以进一步包括图像处理模块，其被配置成处理所述视频流的每一个图像帧，以便检测一个或多个图像帧中的一个或多个可视扫描间隔，其中所述可视扫描间隔是在所述扫描区域中识别出的要由所述扫描器扫描的物品的时间间隔。所述系统可以进一步包括决策模块，其被配置成基于一组预定义规则来处理每一个检测到的可视扫描间隔，其中已处理的可视扫描间隔包括有效扫描动作，其中所述有效扫描动作是为了扫描物品而执行的用户动作，检测所述结账处理中的扫描异常，其中所述扫描异常是在已处理的可视扫描间隔中识别出的要扫描的物品在由所述扫描器在对应的间隔中产生的已扫描物品的列表中不存在时产生的，以及在用户计算设备上提供关于所述扫描异常的警报。
6.根据本公开的第二个方面，提供了一种用于在零售店的结账处理期间中检测用户在扫描一个或多个物品的过程中的扫描异常的方法。所述方法可以包括实时地从至少一个摄像机接收扫描区域的视频流，其中所述扫描区域是处于零售店的扫描器的视野中的区域。所述方法可以进一步包括处理所述视频流的每一个图像帧，以便检测一个或多个图像帧中的一个或多个可视扫描间隔，其中所述可视扫描间隔是在所述扫描区域中识别出的要
由所述扫描器扫描的物品的时间间隔。所述方法还可以进一步包括基于一组预定义规则来处理每一个检测到的可视扫描间隔，其中已处理的可视扫描间隔包括有效扫描动作，其中所述有效扫描动作是为了扫描物品而执行的用户动作。所述方法可以进一步包括检测所述结账处理中的扫描异常，其中所述扫描异常是在已处理的可视扫描间隔中识别出的要扫描的物品在由所述扫描器在对应的间隔中产生的已扫描物品的列表中不存在时产生的。所述方法可以进一步包括在用户计算设备上提供关于所述扫描异常的警报。
7.根据本公开的第三个方面，提供了一种用于在零售店的结账处理期间中检测用户在扫描一个或多个物品的过程中的扫描异常的计算机可编程产品。所述计算机可编程产品包括指令集，在被处理器执行时，所述指令集促使所述处理器实时地从至少一个摄像机接收扫描区域的视频流，其中所述扫描区域是处于零售店的扫描器的视野中的区域，处理所述视频流的每一个图像帧，以便检测一个或多个图像帧中的一个或多个可视扫描间隔，其中所述可视扫描间隔是在所述扫描区域中识别出的要由所述扫描器扫描的物品的时间间隔，基于一组预定义规则来处理每一个检测到的可视扫描间隔，其中已处理的可视扫描间隔包括有效扫描动作，其中所述有效扫描动作是为了扫描物品而执行的用户动作，检测所述结账处理中的扫描异常，其中所述扫描异常是在已处理的可视扫描间隔中识别出的要扫描的物品在由所述扫描器在对应的间隔中产生的已扫描物品的列表中不存在时产生的，以及在用户计算设备上提供关于所述扫描异常的警报。
8.本公开的各种实施例提供了一种检测自助结账商店中的扫描异常的系统和方法，其在用户购物篮中存在的物品与扫描器产生的已扫描的物品列表之间存在不匹配时生成警报。
9.应该理解的是，在不脱离附加的权利要求限定的本公开的范围的情况下，本公开的特征是很容易以各种组合方式来组合的。
附图说明
10.在结合附图阅读时，可以更好地理解以上的发明内容以及后续关于示例性实施例的详细描述。为了说明本公开，在附图中显示了本公开的示例性的构造。然而，本公开并不局限于这里公开的具体方法和手段。此外，本领域技术人员将会理解，这些附图并不是按比例绘制的。在可能的情况下，相同的要素是用相同的数字表示的。
11.现在将参考以下附图来举例描述本公开的实施例，其中：
12.图1示出了能够实践本公开的不同实施例的零售环境；
13.图2示出了根据本公开的实施例的用于在零售环境中的可视扫描检测中存在扫描异常时产生警报的系统；以及
14.图3是示出了根据本公开的实施例的用于在零售环境中的可视扫描检测中存在扫描异常时产生警报的方法的流程图。
15.在附图中，带有下划线的数字用于代表该带有下划线的数字上方的项目或是该带有下划线的数字相邻的项目。没有下划线的数字与将该无下划线的数字连接到某个项目的线条所标识的项目相关。当数字没有下划线且伴有相关箭头时，该没有下划线的数字用于标识箭头所指的通用项目。
具体实施方式
16.以下的详细描述示出了了本公开的实施例以及能够实现它们的方式。虽然公开了一些用于实施本公开的模式，但是本领域技术人员将会认识到，用于实施或实践本公开的其他实施例也是可能的。
17.参考图1，其中显示了一个可以实践本公开的各种实施例的零售环境100。该零售环境100包括第一到第三自助结账终端102a到102c(以下统称为自助结账终端102)以及中央控制单元104，其彼此通过通信网络106可通信地连接。
18.通信网络106可以是任何适当的有线网络、无线网络、这些网络的组合或是其他任何常规网络，而不会对本公开的范围构成限制。少数的示例可以包括局域网(lan)、无线lan连接、因特网连接、点对点连接或是其他网络连接及其组合。在一个示例中，该网络可以包括移动通信网络，例如2g、3g、4g或5g移动通信网络。该通信网络可以连接到一个或多个其他网络，由此提供较大数量的设备之间的连接。例如，当网络经由因特网连接在一起时，情况有可能就是这样。
19.每一个自助结账终端102a到102c(以第一结账终端102a为例)都配备了能使用户自己扫描一个或多个物品的第一扫描器108以及能使用户对一个或多个物品做出必要的选择和付款的第一用户显示器110。在一个示例中，第一扫描器108可以是用于扫描物品的条形码以识别其物品的条形码扫描器。优选地，第一扫描器108是为超市和其他零售店的结账柜台设计的用于扫描放置在扫描区域中的物品的固定的壁挂式或安装在桌面上的扫描器。在本公开的上下文中，扫描区域是第一扫描器108前方的区域，其中用户出于购买物品的目的而将这些物品带到该区域以进行扫描。
20.更进一步，每一个自助结账终端102a到102c都可以被一个或多个头顶的摄像机包围，以便捕捉每一个自助结账终端102a到102c的扫描区域，作为示例，第一自助结账终端102a被第一视频摄像头112包围。该第一摄像头112被配置成连续捕捉扫描区域的视频，以便于检测因为用户带来扫描的物品与第一扫描器108实际扫描的物品的不匹配所导致的扫描异常。
21.第一用户显示器110可以是被配置成接收并显示一个或多个指令的基于触摸的显示器。少量示例可以包括但不局限于液晶显示器(lcd)设备、基于发光二极管(led)的显示器、基于有机led(oled)的显示器设备以及基于微型oled的显示器设备。
22.在一个示例中，第一结账终端102a包括可通信地连接到第一扫描器108和第一用户显示器110的处理器(未示出)，用于记录第一扫描器108对一个或多个物品的扫描，以及在第一用户显示器110上提供用于对一个或多个已扫描物品进行支付的指令。在本公开中，术语“处理器”始终涉及可通过操作来响应和处理用于驱动对应的自助结账终端102a到102c的指令的计算部件。可选地，处理器包括但不局限于微处理器、微控制器、复杂指令集计算(cisc)微处理器、精简指令集(risc)微处理器、超长指令字(vliw)微处理器或是其他任何类型的处理电路。此外，术语“处理器”可以是指一个或多个单独的处理器、处理设备以及与之关联的各种部件。
23.每个第二和第三结账终端102b和102c在结构和功能上都与第一结账终端102a相似，因此，为了简洁起见，在此不再对其进行说明。
24.中央控制单元104可通信地连接到每一个自助结账终端102a至102c，以便控制和
管理其操作。在本公开的一个实施例中，每一个自助结账终端102a到102c的扫描器都可通信地连接到中央控制单元104，以便将扫描到的内容记录在中央控制单元104的存储器中，以供进一步处理。更进一步，在本公开的另一个实施例中，存在于零售店环境100中的摄像机可通信地连接到中央控制单元104。
25.中央控制单元104可以包括系统114。系统114用于检测被带到扫描区域中扫描的物品与零售环境100中对应的扫描器实际扫描的物品之间的不匹配。在本公开中，术语“系统114”始终涉及一种包含了被配置成存储、处理和/或共享信息的可编程和/或非可编程组件的结构和/或模块。可选地，系统114包括能够增强信息以执行各种计算任务的任何物理或虚拟计算实体装置。在一个示例中，系统114可以包括诸如存储器、处理器以及网络适配器等组件，以便存储、处理和/或与其他计算组件共享信息。
26.图2示出了根据本公开的实施例的用于当在零售环境100中的可视扫描检测中存在扫描异常时产生警报的系统114。在本公开的上下文中，“扫描异常”是在用户带到扫描区域中扫描的物品与对应的扫描器生成的已扫描物品的列表不匹配时发生的。系统114既可以在控制单元104上实施，也可以在每一个自助结账终端102上实施，还可以在所有这两者上实施。
27.系统114包括图像接收模块201、图像处理模块202和决策模块204。图像接收模块201用于接收由零售环境100的一个或多个摄像机捕获的图像。图像处理模块202用于处理捕获到的图像以检测可视扫描间隔。决策模块204用于检测有效扫描间隔，并且用于在被带来扫描的物品与零售环境100的对应扫描器实际扫描的物品之间不匹配的情况下产生警报。
28.返回参考图1，“扫描动作”指的是在用户将物品带到第一扫描器108的扫描区域中进行扫描的用户动作，但其既有可能被第一扫描器108成功扫描，也有可能不被第一扫描器108成功扫描。在一个示例，用户可以将物品带到第一扫描器108的扫描区域中，但是用户有可能以一种物品的条形码对条形码扫描器108来说不可视的方式拿着该物品。在这种情况下，用户可能在执行扫描动作后将物品放入其购物袋中，然而实际上第一扫描器108可能没有对其进行扫描，并且用户可能并没有收到关于该物品的账单。因此，在摄像机捕获的图像帧中扫描动作的检测对于确定零售环境100中的扫描器扫描的物品中的一个或多个扫描异常来说是至关重要的。
29.再次参考图2，图像处理模块202包括用于从图像接收模块201接收的当前图像帧中提取特征的一个或多个特征提取模块，这些特征指示的是当前图像帧内扫描动作的发生。这些特征可以依照所要检测的动作来设计。在本公开的上下文中，图像处理模块202包括肤色检测器206、运动检测器208以及关键点检测器210。
30.肤色检测器206被配置成提取当前图像帧中相对于前一个图像帧的皮肤像素的百分比，其目的是确定是否有手参与到了扫描动作中。在本公开的上下文中，如果发现有图像像素具有与人类皮肤颜色相似的颜色，则将该图像像素标记成皮肤像素。在扫描产品时，顾客的手通常会在扫描区域中出现，因此，当前图像帧中的皮肤像素百分比增大可以指示扫描动作。肤色检测器206接收当前图像帧作为输入，并且生成用于指示在当前图像帧中是否检测到肤色的二值图(binary map)。在本公开的一个实施例中，在每一个图像帧中，皮肤像素相对于前景像素的百分比必须小于预定义的皮肤像素阈值。这样做是为了限制因为空着
手通过扫描区域中而导致的误报。
31.运动检测器208被配置成提取当前图像帧中相对于前一个图像帧的运动像素的百分比，其目的是确定是否存在扫描动作中涉及的运动。在本公开的上下文中，如果在当前图像像素中相对于前一个图像像素检测到运动，则将当前图像像素标记成运动像素。在扫描产品时，顾客的手通常会在扫描区域中移动，因此，在视频帧中检测到的运动能够指示扫描动作。在本公开的一个实施例中，运动检测器204接收当前图像帧作为输入，并且生成用于指示在当前图像帧中是否检测到运动的二值图。
32.关键点检测器210被配置成指示扫描区域中的物体的存在性。在扫描产品时，通常在新的物体进入扫描区域时，由于场景中出现了新的几何形式(产品)，并且由于纹理覆盖了产品且该纹理有可能产生新的拐角点(corner points)，因此，关键点的数量将会增加。在本公开的一个实施例中，关键点检测器208接收当前图像帧作为输入，并且产生一组关键点作为输出。通常，大量的关键点与扫描动作相关联。扫描区域中存在的关键点数量的时间演变的阈值提供了关于可视扫描间隔的估计。在本公开的上下文中，产品的可视扫描间隔是产品在扫描区域中出现的时间间隔。在一个示例中，如果产品从上午10:00到上午10:00:02都出现在扫描区域中，则该产品的可视扫描间隔是2秒。
33.系统114还包括被配置成决定检测到的可视扫描间隔是否有效(即其是否包含扫描动作)的决策模块204。该决策模块204被进一步配置成基于一个或多个预定义规则来确定检测到的可视扫描间隔是否包含扫描动作，以使检测到的扫描间隔规则化、应对某些同步延迟以及防止最终发生错误分类。
34.决策模块204被配置成根据第一预定义规则设置一个预先定义的扫描间隔范围，并且丢弃相对于预先定义的阈值大小而言过小或者相对于预先定义的阈值大小而言过大的可视扫描间隔。在本公开的一个实施例中，所述预先定义的阈值大小可以与人手的正常速度相对应。
35.决策模块204被配置成根据第二预定义规则设置连续可视扫描间隔之间的预定义阈值第一距离，并且合并接近于该预定义阈值第一距离的可视扫描间隔。在一个示例中，如果预定义阈值距离是两秒，并且第一个可视扫描间隔是从上午10:00到上午10:00:02，第二个可视扫描间隔是从上午10:00:03到上午10:00:04，那么可以将这两个可视扫描间隔组合在一起，并且形成一个从上午10:00到上午10:00:04的组合可视扫描间隔。决策模块204被配置成根据第三预定义规则，使已扫描产品的列表中的物品与扫描间隔保持一定距离，以便应对扫描器与摄像机之间的同步延迟。该距离是可视扫描间隔的边界与被扫描物品的时间戳所给出的时刻之间的时间。决策模块204被配置成纠正小于两次连续扫描之间的停顿的微小的不同步。有时，由于网络的高延时，关于被扫描物品的信息有可能会被延迟。在一个示例中，物品有可能实际是在上午10:02扫描的，但是由于高延迟，该物品的扫描时间戳有可能被记录为上午10:03。因此，决策模块204会考虑到这个微小延迟而使检测到的可视扫描间隔有效/无效，从而保持扫描器与摄像机之间的同步。
36.决策模块204被配置成根据第四预定义规则，基于对对应的玻璃运动覆盖范围的计算而使检测到的可视扫描间隔有效/无效。在本公开的上下文中，玻璃运动覆盖范围是描绘扫描区域中的玻璃区域的帧的数量与扫描区域中具有除了玻璃区域之外的前景的帧的数量之间的比率。玻璃区域是扫描区域中包含了覆盖扫描器的玻璃的区域。对于25fps的视
频流来说，计算玻璃运动覆盖范围的帧的数量可能大约为10帧。这样做是为了消除在没有扫描意图的情况下由于物体在扫描区域中经过而产生的误报。在扫描区域中有可能存在处于玻璃区域之外的运动(例如头部经过扫描器区域的某些部分)。
37.决策模块204被配置成根据第五预定义规则，基于皮肤像素相对于前景像素的百分比来使检测到的可视扫描间隔有效/无效。当皮肤像素百分比大于预定义的皮肤像素阈值时，决策模块204可以检测在可视扫描间隔中不存在可视扫描，因为这表明在扫描区域中存在空手。并且，这还有可能表明顾客在没有扫描意图的情况下操作了扫描区域。由此，决策模块204会使对应的可视扫描间隔无效，并且不会用它来确定可视扫描检测中的扫描异常。
38.决策模块204被配置成根据第六预定义规则，在对应的关键点数量的增多小于关键点阈值的情况下使检测到的可视扫描间隔无效，因为这种增多指示的是由于噪声以及与噪声相关的误检所导致的关键点的增多。决策模块204会使对应的可视扫描间隔无效，并且不会用它来确定可视扫描检测中的扫描异常。
39.决策模块204被配置成针对每一个有效的可视扫描间隔检测扫描异常，以及在检测到扫描异常的时候产生警报。例如，决策模块204将有效可视扫描间隔的物品与为该间隔生成的已扫描物品的列表相比较。如果该有效可视扫描间隔的物品没有在该间隔中已由扫描器扫描的物品的列表中找到，那么决策模块204暗示在可视扫描检测中已经存在扫描异常。作为示例，如果摄像机检测到产品从上午10:00到上午10:00:02在扫描区域中出现，但在扫描器从上午10:00到上午10:00:02扫描的物品列表中没有该产品，那么决策模块204推测在该产品的可视扫描检测中存在扫描异常。然后，决定模块204被配置成产生警报。该警报可以作为即时消息或电子邮件或者作为短消息服务而在用户计算设备或是对应的自助结账终端的显示器上发送。
40.图3是示出了根据本公开的实施例的用于在零售环境100中的可视扫描检测中存在扫描异常的时候产生警报的方法300的流程图。方法300的描述顺序不应被解释成是一种限制，并且任何数量的所描述的方法块可被以任何恰当的顺序组合，以便执行方法300或替换方法。此外，从方法300中可以删除单个的块，而不会脱离这里描述的主题的范围。
41.在步骤302，实时地从至少一个摄像机接收扫描区域的视频流，其中该扫描区域是处于零售店的扫描器的视野中的区域。在步骤304，处理该视频流的每一个图像帧，以便检测一个或多个图像帧中的一个或多个可视扫描间隔，其中所述可视扫描间隔是在扫描区域中识别出的要由扫描器进行扫描的物品的时间间隔。在本公开的一个实施例中，该图像处理包括基于当前图像帧中人手的存在性来检测当前图像帧中的扫描动作，其中人手的存在性是基于当前图像帧中相对于前一个图像帧的皮肤像素的百分比来检测的。该图像处理进一步包括基于当前图像帧中人手的移动来检测当前图像帧中的扫描动作，其中该运动是基于当前图像帧中相对于前一个图像帧的运动像素的百分比来检测的。该图像处理进一步包括基于当前图像帧中人手中的物体的存在性来检测当前图像帧中的扫描动作，其中物体的存在性是基于扫描区域中的关键点的数量确定的，其中如果在当前图像帧中发现扫描动作，则关键点检测器检测到当前图像帧的可视扫描间隔。
42.在步骤306，基于一组预定义规则来处理每一个检测到的可视扫描间隔，其中已处理的可视扫描间隔包含有效扫描动作，其中该有效扫描动作是为了扫描物品而执行的用户
动作。
43.根据第一预定义规则，设置预定义的可视扫描间隔范围，其中使检测到的可视扫描间隔在该预定义的可视扫描间隔范围之外是无效的。根据第二预定义规则设置预定义阈值距离，其中如果两个连续的可视扫描间隔之间的距离小于该预定义阈值距离，则合并这两个连续的可视扫描间隔。根据第三预定义规则，在处理可视扫描间隔时考虑摄像机与扫描器之间的同步延迟。根据第四预定义规则，基于对一个或多个对应的图像帧中的玻璃运动覆盖范围的计算来使检测到的可视扫描间隔有效。根据第五预定义规则，基于对应的图像帧中的皮肤像素相对于前景像素的百分比来使检测到的可视扫描间隔有效。根据第六预定义规则，如果对应的图像帧中的关键点的数量小于关键点阈值，则使检测到的可视扫描间隔无效。
44.在步骤308，检测结账处理中的扫描异常，其中该扫描异常是在已处理的可视扫描间隔中识别出的要扫描的物品在由扫描器在对应的间隔中产生的已扫描物品的列表中不存在时产生的。在一个示例中，用户有可能将物品带到扫描器的扫描区域中，但是用户可能以一种物品的条形码对条形码扫描器不可视的方式拿着该物品。在这种情况下，用户可能会在执行了该扫描操作后将物品放入他们的购物袋，然而实际上，扫描器可能并没有对其进行扫描，并且用户可能没有收到该物品的账单。这样会导致扫描异常。
45.在步骤310，在用户计算设备上提供关于扫描异常的警报。该警报可以作为以即时消息或电子邮件或短消息服务而在用户计算设备或是对应的自助结账终端的显示器上发送。
46.在不脱离附加权利要求限定的本公开的范围的情况下，可以对上文描述的本公开的实施例进行修改。用于描述和请求保护本公开的表述(例如“包括”、“包含”、“合并”、“由
……
组成”、“具有”、“是”)旨在以非排他性的方式进行解释，也就是允许存在没有明确描述的物品、组件或要素。对于单数的引用还应该被解释成与复数相关。