自助结账中的防入店行窃系统和方法与流程

自助结账中的防入店行窃系统和方法
1.交叉引用
2.在本技术的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本技术的描述，并不承认任何此类参考文献是本文所述公开的“现有技术”。在本说明书中引用和讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。
技术领域
3.本技术总体上涉及自助结账技术，具体地，涉及使用视觉信息防止入店行窃的自助结账系统和方法。


背景技术：

4.在此提供的背景描述是为了概括地呈现本技术的上下文。在本背景部分描述的范围内，发明人的工作，以及在申请时可能不符合现有技术的描述方面，既不明确也不隐含地承认为针对本技术的现有技术。
5.自助结账机(也称为顾客激活的半自动终端(sacat))为顾客提供服务，以处理顾客从零售商处购买的商品。其是传统收银员结账的替代方案。也就是说，通过扫描商品并进行支付，顾客自己执行收银员的工作。自助结账容易遭受入店行窃，给零售商造成很大损失。例如，一个人可以不扫描商品而直接拿走。为此，有些商店决定安装监控系统并雇佣员工来监控入店行窃者。然而，员工很难时刻集中精力监控多台自助结账机。
6.因此，本领域存在解决上述缺陷和不足的需要。


技术实现要素：

7.在某些方面，本技术涉及一种自助结账系统，包括扫描仪、成像装置和计算装置。所述计算装置包括处理器和存储计算机可执行代码的存储装置。所述计算机可执行代码在所述处理器处执行时被配置为：
8.发起自助结账事件；
9.指示所述成像装置采集感兴趣区域roi的视频帧，其中，所述roi包括用于放置商品的工作台区域，所述工作台区域包括用于扫描所述商品的扫描区域；
10.跟踪所述视频帧中的所述商品；
11.记录所述商品的扫描状态和位置状态，其中，所述扫描状态包括已扫描和未扫描，默认扫描状态为未扫描，所述位置状态包括在所述扫描区域内、在所述工作台区域内(包括“在工作台上”和“在工作台上方”，前者指商品放置在工作台上表面并且与工作台上表面接触，后者指商品在工作台上表面上方的空中而不与工作台表面接触)以及在所述工作台区域外但在所述roi内；
12.当所述商品被放置在所述扫描区域时，响应于接收到来自所述扫描仪的扫描信号，将所述被跟踪商品的扫描状态从未扫描记录为已扫描；
13.基于所述扫描状态为未扫描并从所述工作台区域或所述roi消失的商品数量计算入店行窃风险评分；以及
14.当入店行窃风险评分大于预定值时，提供入店行窃警告。
15.在某些实施例中，所述计算机可执行代码被配置为跟踪已在视频帧中观察到的所有商品。在某些实施例中，计算机可执行代码可以被配置为仅跟踪已被扫描的商品。
16.在某些实施例中，计算机可执行代码被配置为当顾客触摸所述计算装置的触摸屏上的“开始”时，或者当顾客开始扫描商品时，或者当顾客扫描会员卡时，发起自助结账事件。
17.在某些实施例中，在所述计算装置从支付装置接收到指示自助结账事件已经完成的指令之后，或者在所述计算装置由于顾客触摸所述计算装置的触摸屏上的“结束”而接收到信号之后，或者在这两个行为之后，执行计算入店行窃风险评分的步骤。在某些实施例中，计算入店行窃风险评分的步骤可以在结账事件完成之后延迟一小段时间执行，或者直到顾客离开所述roi后执行。在某些实施例中，所述计算机可执行代码可以被配置为在延长的时间段之后处理录制的视频和相应的扫描信息。
18.在某些实施例中，所述计算机可执行代码被配置为：在跟踪所述商品之前，分割所述视频帧，使得所述视频帧的每个像素标记为顾客手部、手中商品、台上商品和背景；以及基于所述像素的标记检测所述手中商品和所述台上商品。在某些实施例中，物体检测方法(例如mask r-cnn、faster r-cnn和refinedet)可用于检测所述手中商品或所述台上商品。
19.在某些实施例中，所述计算机可执行代码被配置为使用深度卷积神经网络cnn进行分割和检测。
20.在某些实施例中，所述计算机可执行代码被配置为：当所述商品是所述手中商品时，使用检测跟踪和贪婪搜索跟踪所述商品，当所述商品是所述台上商品时，使用基于外观的跟踪器跟踪所述商品。
21.在某些实施例中，所述入店行窃风险评分r通过以下方式计算：
22.r＝r1×
n1 r2×
n223.其中n1为所述扫描状态为未扫描并从所述工作台区域消失的商品数量，n2为所述扫描状态为未扫描并从所述roi消失的商品数量，r1为中风险系数，r2为高风险系数。
24.在某些实施例中，所述中风险系数的范围为0.5～1.0，所述高风险系数的范围为1.0～2.0。在某些实施例中，高风险系数设置为中风险系数的大约两倍。
25.在某些实施例中，所述计算机可执行代码还被配置为：当r≥β1×
(n3)
α
时，提供已发生入店行窃的所述入店行窃警告；以及当β1×
(n3)
α
＞r≥β2×
(n3)
α
时，提供可能发生入店行窃的所述入店行窃警告，其中n3为所述扫描状态为已扫描的商品数量，α为0.2～1.0范围内的预定数字，β1为0.5～1.0范围内的预定数字，β2为1.0～2.0范围内的预定数字。当r＜β2×
(n3)
α
时，所述计算机可执行代码被配置为保持沉默或发送未发生入店行窃的通知。
26.在某些实施例中，所述计算机可执行代码还被配置为：当所述商品放置于所述扫描区域内且所述扫描状态为未扫描并且所述计算装置在累积时间内未从所述扫描仪接收到所述商品的扫描信号时，提供扫描困难信息，其中所述累积时间大于预定时间。
27.在某些实施例中，所述预定时间在约2～15秒的范围内。在某些实施例中，所述预定时间为3～5秒。在某些实施例中，所述预定时间为3或5秒。在某些实施例中，所述预定时
间可以根据零售商的需要进行配置。
28.在某些实施例中，所述成像装置是红绿蓝深度rgbd相机。
29.在某些实施例中，所述计算装置是嵌入式装置。在某些实施例中，所述计算装置是云装置。
30.在某些方面，本技术涉及一种自助结账方法。在某些实施例中，所述方法包括：
31.通过计算装置发起自助结账事件；
32.通过所述计算装置指示成像装置采集感兴趣区域roi的视频帧，其中，所述roi包括用于放置商品的工作台区域，所述工作台区域包括用于扫描所述商品的扫描区域；
33.通过所述计算装置跟踪所述视频帧中的所述商品；
34.通过所述计算装置记录所述商品的扫描状态和位置状态，其中，所述扫描状态包括已扫描和未扫描，默认扫描状态为未扫描，所述位置状态包括在所述扫描区域内、在所述工作台区域内以及在所述工作台区域外但在所述roi内；
35.当所述商品被放置在所述扫描区域时，响应于接收到来自扫描仪的扫描信号，通过所述计算装置将所述被跟踪商品的扫描状态从未扫描记录为已扫描；
36.基于所述扫描状态为未扫描并从所述工作台区域或所述roi消失的商品数量计算入店行窃风险评分；以及
37.当所述入店行窃风险评分大于预定值时，提供入店行窃警告。
38.在某些实施例中，所述方法还包括：在跟踪所述商品的步骤之前，通过所述计算装置分割所述视频帧，使得所述视频帧的每个像素标记为顾客手部、手中商品、台上商品和背景；以及基于所述像素的标记，通过所述计算装置检测所述手中商品和所述台上商品。
39.在某些实施例中，使用深度卷积神经网络cnn执行分割和检测步骤中的至少一个。
40.在某些实施例中，当所述商品是所述手中商品时，使用检测跟踪和贪婪搜索执行跟踪所述商品的步骤，当所述商品是所述台上商品时，使用基于外观的跟踪器执行跟踪所述商品的步骤。
41.在某些实施例中，所述入店行窃风险评分r通过以下方式计算：
42.r＝r1×
n1 r2×
n243.其中n1为所述扫描状态为未扫描并从所述工作台区域消失的商品数量，n2为所述扫描状态为未扫描并从所述roi消失的商品数量，r1为0.5～1.0范围内的中风险系数，r2为1.0～2.0范围内的高风险系数。
44.在某些实施例中，所述方法还包括：当r≥β1×
(n3)
α
时，提供已发生入店行窃的所述入店行窃警告；以及当β1×
(n3)
α
＞r≥β2×
(n3)
α
时，提供可能发生入店行窃的所述入店行窃警告，其中n3为所述扫描状态为已扫描的商品数量，α为0.2～1.0范围内的预定数字，β1为0.5～1.0范围内的预定数字，β2为1.0～2.0范围内的预定数字。当r＜β2×
(n3)
α
时，所述计算机可执行代码被配置为保持沉默或发送未发生入店行窃的通知。
45.在某些实施例中，所述方法还包括：当所述商品放置于所述扫描区域内且所述扫描状态为未扫描并且所述计算装置在累积时间内未从所述扫描仪接收到所述商品的扫描信号时，提供扫描困难信息，其中所述累积时间大于预定时间。
46.在某些实施例中，所述成像装置是红绿蓝深度rgbd相机。在某些实施例中，所述计算装置是嵌入式装置或云装置。
47.在某些方面，本技术涉及一种存储有计算机可执行代码的非暂时性计算机可读介质。所述计算机可执行代码在计算装置的处理器处执行时被配置为执行上述方法。
48.本技术的这些和其他方面将从以下结合以下附图及其说明的优选实施方案的描述中变得明显，尽管在不背离本公开的新颖概念的精神和范围的情况下，其中的变化和修改可能会受到影响。
附图说明
49.附图示出了本技术的一个或多个实施例，并与书面描述一起用于解释本技术的原理。在可能的情况下，在整个附图中使用相同的附图标记来指代实施例的相同或相似元素。
50.图1示意性地描绘了根据本技术的某些实施例的防入店行窃自助结账系统。
51.图2示意性地描绘了根据本技术的某些实施例的防入店行窃自助结账系统的实现。
52.图3示意性地描绘了图2实现方式的俯视图。
53.图4示意性地描绘了根据本技术的某些实施例的防入店行窃自助结账系统的实现。
54.图5示意性地描绘了根据本技术的某些实施例的用于分割的架构。
55.图6示意性地描绘了根据本技术的某些实施例的自助结账系统的概念性工作流程。
56.图7示意性地描绘了根据本技术的某些实施例的自助结账系统的工作流程。
57.图8示意性地描绘了根据本技术的某些实施例的自助结账方法。
具体实施方式
58.在以下示例中更具体地描述本技术，这些示例仅旨在作为说明，因为其中的许多修改和变化对于本领域技术人员来说将是显而易见的。现在详细描述本技术的各种实施例。参考附图，贯穿视图，相同的数字指示相同的部件。除非上下文另有明确规定，否则本文的描述中和整个权利要求中使用的“一个”、“一”和“所述”的含义包括复数。此外，如在本技术的描述和权利要求书中所使用的，除非上下文另有明确规定，“在”的含义包括“在
……
中”和“在
……
上”。并且，说明书中为了方便读者可以使用标题或副标题，这不影响本技术的范围。此外，本说明书中使用的一些术语在下文有更具体的定义。
59.本说明书中使用的术语在本领域中、在本技术的上下文中以及在使用每个术语的特定上下文中通常具有它们的普通含义。用于描述本技术的某些术语在下文或说明书中的其他地方讨论，以向从业者提供关于本技术的描述的额外指导。可以理解，同样的事情可以用不止一种方式表达出来。因此，替代语言和同义词可用于此处讨论的任何一个或多个术语，并且对于此处是否详细阐述或讨论术语没有任何特殊意义。本技术提供了某些术语的同义词。一个或多个同义词的使用不排除使用其他同义词。本说明书中任何地方的示例的使用，包括本文讨论的任何术语的示例，仅是说明性的，决不限制本技术内容或任何示例性术语的范围和含义。同样，本技术不限于本说明书中给出的各种实施例。
60.除非另有定义，本技术使用的所有术语(包括技术和科学术语)具有与本技术内容所属领域的普通技术人员通常理解的相同的含义。还应理解，诸如在常用词典中定义的术
语应被解释为具有与其在相关技术和本技术的上下文中一致的含义，并且，除非在此明确定义，不会被解释为理想化的或过于形式化的意义。
61.如本文所述，“大约”、“大致”、“基本上”或“近似”应通常表示给定值或范围的20％以内，优选10％以内，更优选5％以内。本文给出的数值是近似的，意味着如果没有明确说明，可以推断出术语“大约”、“大致”、“基本上”或“近似”。
62.如本文所述，“多个”是指两个或更多个。
63.如本文所述，术语“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”等应理解为开放式的，即意味着包括但不限于。
64.如本文所述，短语a、b和c中的至少一个应解释为表示逻辑(a或b或c)，使用非排外性逻辑或(or)。应当理解，在不改变本技术的原理的情况下，方法内的一个或多个步骤可以以不同的顺序(或同时)执行。如本文所述，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。
65.如本文所述，术语“模块”可指示属于或包括专用整合电路(asic)；电子线路；组合逻辑电路；现场可编程门阵列(fpga)；执行代码的处理器(共享的、专用的或组)；提供所描述功能的其他合适的硬件组件；或以上部分或全部的组合，例如在片上系统中。术语模块可以包括存储由处理器执行的代码的存储器(共享的、专用的或组)。
66.本文使用的术语“代码”可以包括软件、固件和/或微代码，并且可以指程序、例程、函数、类和/或对象。上面使用的术语共享意味着可以使用单个(共享)处理器执行来自多个模块的部分或全部代码。此外，来自多个模块的部分或全部代码可以存储在单个(共享)存储器中。上面使用的术语组意味着可以使用一组处理器执行来自单个模块的部分或全部代码。此外，可以使用一组存储器来存储来自单个模块的一些或全部代码。
67.如本文所述，术语“接口”通常是指在组件之间的交互点处用于执行组件之间的数据通信的通信工具或装置。一般而言，接口可以在硬件和软件层面都适用，可以是单向或双向接口。物理硬件接口的示例可以包括电连接器、总线、端口、电缆、端子和其他i/o设备或组件。与接口通信的组件可以是例如计算机系统的多个组件或外围设备。
68.本技术涉及计算机系统。如附图所示，计算机组件可以包括物理硬件组件，其显示为实线块，以及虚拟软件组件，其显示为虚线块。本领域普通技术人员将理解，除非另有说明，否则这些计算机组件可以以软件、固件或硬件组件或其组合的形式来实现，但不限于这些形式。
69.本文描述的装置、系统和方法可以通过由一个或多个处理器执行的一个或多个计算机程序来实现。计算机程序包括存储在非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可包括存储的数据。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器、磁存储和光存储。
70.现在将在下文中参考附图更全面地描述本技术，其中示出了本技术的实施例。然而，本技术可以以许多不同的形式体现并且不应被解释为限于这里阐述的实施例；相反，提供这些实施例是为了使本技术彻底和完整，并将本技术的范围充分传达给本领域技术人员。
71.在某些方面，本技术涉及具有检测扫描困难和检测入店行窃行为的功能的自助结账系统和方法。在某些实施例中，本技术提供一种智能的防入店行窃自助结账设备的视觉
方案和算法，该设备充当收银员，通过提供指令或帮助与顾客互动，并监控顾客的行为以阻止其入店行窃。例如，如果顾客遇到优惠券不被接受或商品扫描困难的问题，系统可以提供一些指示或通知店内工作人员提供相应的帮助。如果知道被系统监控，顾客会认真扫描商品。值得注意的是，根据本技术的某些实施例的系统能够在嵌入式装置上运行，重量较轻且零售商的成本较低。综上所述，本技术的某些实施例通过对顾客行为的检测、跟踪和了解，构建了一种智能的防入店行窃自助结账系统。
72.图1示意性地描绘了根据本技术的某些实施例的防入店行窃自助结账系统。如图1所示，系统100包括计算装置110、终端140、扫描仪150、支付装置160和成像装置170。终端140、扫描仪150、支付装置160和成像装置170与计算装置110通信。在某些实施例中，计算装置110可以是管理自助结账系统的服务器计算机、集群、云计算机或通用计算机。在某些实施例中，计算装置110优选地是具有有限处理、内存和存储容量的专用计算机，从而降低了系统100的成本并具有足够的功率来实现系统100的功能。在某些实施例中，计算装置110是嵌入式装置。在某些实施例中，通过网络进行通信，网络可以是有线或无线网络，并且可以是各种形式，例如公共网络和专用网络，或者通过非暂时性计算机介质进行通信，非暂时性计算机介质包括但不限于闪存驱动器、usb驱动器、硬盘驱动器、软盘、sd卡、光驱或任何其他便携式数据存储介质。在某些实施例中，计算装置110提供用户界面，用于配置计算装置110、终端140、扫描仪150、支付装置160和成像装置170的参数，或者用于配置或管理装置110、140、150、160和170之间的通信。
73.图2示意性地描绘了根据本技术的某些实施例的防入店行窃自助结账系统的实现。如图2所示，计算装置110、终端140和扫描仪150一体形成，并置于工作台180旁边。支付装置160位于计算装置110旁边，并且可选地与计算装置110、终端140和扫描仪150集成。成像装置170安装在终端140上方，可以拍摄感兴趣区域(roi)190的图像。参照图3，在图2实现方式的俯视图中，根据成像装置170的类型和参数，roi 190可以是锥形。roi 190包括工作台区域192。工作台区域192包括工作台180的上表面和工作台180正上方的空间，工作台区域192的上边缘由roi或预定高度限定。工作台区域192包括对应于扫描仪150的扫描区域194。扫描区域194可以是长方体或正方体形状的空间，扫描仪150可以扫描扫描区域194中的商品。图2所示的工作台180具有平坦的上表面。在其他实施例中，工作台180也可以由不同高度的不同部分形成，以方便顾客对商品的操作。
74.图2和图3示意性地描绘了根据本技术的某些实施例的实施方式，本技术不限于所示的结构。例如，图4示意性地描绘了实施方式的另一变化(相机170在工作台区域上方，未示出)。如图4所示，计算装置110、终端140、扫描仪150和支付装置160一体形成。终端140提供支付界面，扫描仪150可以读取支付信息，例如智能手机上的编码或电子信用卡。如图4所示，为方便顾客，工作台180分为两部分。工作台区域192仍然可以被定义为例如位于工作台180两个部分的垂直上方并且具有有限高度的三维空间，使用rgbd图像可以确定商品位于工作台上(与工作台180接触)或工作台上方(在工作台180上方的空中，不与工作台180接触)。此外，三维扫描区域194的底部可以在工作台180表面上方的一小段距离处，不与工作台表面重叠。此外，该系统还可包括结合在计算装置110中的打印模块，用于打印收据。触摸屏140提供打印界面，通过打印机162可以打印出收据。
75.返回参考图1，计算装置110可以包括但不限于处理器112、存储器114和存储装置
116。在某些实施例中，计算装置110可以包括其他硬件组件和软件组件(未示出)以执行其对应的任务。这些硬件和软件组件的示例可以包括但不限于其他所需的存储器、接口、总线、输入/输出(i/o)模块或设备、网络接口和外围设备。
76.处理器112可以是中央处理单元(cpu)，其被配置为控制计算装置110的操作。处理器112可以执行计算装置110的操作系统(os)或其他应用程序。在某些实施例中，计算装置110可以具有多于一个cpu作为处理器，例如两个cpu、四个cpu、八个cpu或任何合适数量的cpu。存储器114可以是易失性存储器，例如随机存取存储器(ram)，用于在计算装置110的操作期间存储数据和信息。在某些实施例中，存储器114可以是易失性存储器阵列。在某些实施例中，计算装置110可以在多于一个存储器114上运行。存储装置116是用于存储计算装置110的操作系统(未示出)和其他应用程序的非易失性数据存储介质。存储装置116的示例可以包括非易失性存储器，例如闪存、存储卡、usb驱动器、固态驱动器、硬盘驱动器、软盘、光驱、固态硬盘(ssd)或任何其他类型的数据存储装置。在某些实施例中，存储装置116可以是本地存储、远程存储或云存储。在某些实施例中，计算装置110可以具有多个存储装置116，这些存储装置116可以是相同的存储装置或不同类型的存储装置，计算装置110的应用程序可以存储在计算装置110的一个或多个存储装置116中。在某些实施例中，计算装置110是云计算机，处理器112、存储器114和存储装置116是通过互联网按需提供的共享资源。在某些实施例中，计算装置110是为自助结账而设计的嵌入式系统，可以包含具有集成存储器和外围接口的微处理器，或者包含普通微处理器。
77.如图1所示，存储装置116包括自助结账应用程序118。自助结账应用程序118被配置为向顾客提供自助结账服务，其启用扫描辅助功能和防入店行窃功能。自助结账应用程序118包括视频采集模块120、手部和商品分割模块122、手部和商品检测模块124、商品跟踪识别模块126、商品扫描状态记录模块128、反馈处理模块130、装置管理器132和用户界面134。在某些实施例中，自助结账应用程序118可以包括自助结账应用程序118操作所需的其他应用程序或模块。应该注意的是，模块各自通过计算机可执行代码或指令实现，它们共同形成一个应用程序。在某些实施例中，每个模块还包括子模块，或者一些模块可以组合为一个堆栈。在其他实施例中，某些模块可以实现为电路而非可执行代码，计算装置110可以通过简单的电路板实现，电路板上安装有其他附件组件。在某些实施例中，自助结账应用程序118的部分或所有模块可以位于远程计算装置处或分布在云中。
78.当顾客在终端140上点击“开始”，或者使用扫描仪150扫描第一商品，或者使用扫描仪150扫描会员卡时，自助结账事件开始。计算装置110被配置为，在从终端140接收到点击“开始”的信号或从扫描仪150接收到第一商品或会员卡的扫描信号时，发起自助结账应用程序118的执行。该信号可以称为发起信号。
79.视频采集模块120被配置为，在接收到发起信号或在执行自助结账应用程序118时，指示成像装置170采集三维感兴趣区域(region ofinterest，roi)190的视频帧，并将采集的视频帧发送到手部和商品分割模块122以及(可选地)手部和商品检测模块124。在某些实施例中，roi 190可以覆盖一个或多个自助结账机的自助结账区域。在某些实施例中，roi 190可以包括工作台区域192和工作台180周围的区域。在某些实施例中，被roi 190覆盖的工作台180周围的区域是有限的，并且可以覆盖或不覆盖购物车、购物袋或其部分。视频帧可以是红绿蓝深度(rgbd)帧、红绿蓝(rgb)帧或黑白帧。在某些实施例中，成像装置170是
rgbd相机，来自采集的rgbd帧的深度信息可用于确定商品是放置在工作台180的上表面与之接触或是在顾客手中。
80.手部和商品分割模块122被配置为，在接收到来自视频采集模块120的视频帧后，通过对像素进行标记，对帧进行分割以生成每个帧准确的手部区域和商品区域，并将帧的像素标签发送到手部和商品检测模块124以及(可选地)商品扫描状态记录模块128。生成的准确的手部区域和商品区域对于了解顾客的行为很重要。在某些实施例中，手部和商品分割模块122被配置为定义四个类别的像素，即手部、手中商品、台上商品和背景。在某些实施例中，手部和商品分割模块122可以先将像素确定为背景像素、手部像素和商品像素，然后使用深度信息将商品像素进一步划分为手中商品像素和台上商品像素。在某些实施例中，手部和商品分割模块122使用图像语义分割算法deeplab v3来获得像素标签。图5示意性地描绘了根据本技术的某些实施例的深度卷积神经网络(convolutional neural network，cnn)架构，其基于deeplab v3但包含新的改进。在某些实施例中，cnn通过收集的带有人工注释的数据进行训练。在某些实施例中，考虑到嵌入式装置中计算资源的限制，本技术使用高效且强大的架构而非繁重的主干来提取用于手部和商品分割的特征。在某些实施例中，高效且强大的架构包括mobilenet v2。在某些实施例中，本技术使用交叉熵损失通过随机梯度下降(stochastic gradient descent，sgd)算法训练cnn，训练后的cnn高效地确定每个像素的标签。在进行分割并与深度信息合并后，视频帧的像素可以简单地标记为数字0、1、2、3，其中0代表背景，1代表顾客手部，可以是空手或拿着商品的手，2代表手中商品，3代表台上商品。在某些实施例中，像素还可以包括其他像素标签，例如特征向量、颜色、强度。对于台上商品，商品的底面与工作台180的上表面齐平并与之接触。反之，手中商品的位置通常在工作台180的上方并且不接触工作台180的上表面。进一步地，手中商品在移入工作台区域192之前或移出工作台区域192之后，可以具有低于工作台180的上表面的深度。在某些实施例中，可以使用同时考虑二维(2d)图像信息和深度信息的分割算法，可以直接从rgbd图像生成四种类型的像素标签。如上所述，手部和商品分割模块122被配置为生成分割结果，并将分割结果发送到手部和商品检测模块124，分割结果包括四种像素标签和像素的深度信息。
81.手部和商品检测模块124被配置为，在接收到手部和商品分割模块122的分割结果后，通过生成手部和商品的边界框来检测手部、手中商品和台上商品，为每件商品分配商品标识(id)，并且(可选地)为每只手分配手部id，并将检测结果发送到商品跟踪识别模块126。检测结果包括商品id和手部id、每个id的边界框、边界框中像素的像素标签、像素深度以及商品或(可选地)手部的位置状态。每个边界框包括该边界框中大部分像素标签对应的标签，这些像素标签是手部、手中商品和台上商品。标记的像素可用于准确定义相应边界框中的商品或手部。例如，商品的边界框包含大量像素，大部分像素具有“手中商品”的像素标签，而其他一些像素可能具有“手部”或“背景”的像素标签。然后可以使用具有“手中商品”标签的像素来准确定义商品的位置。位置状态是商品或(可选地)手部所在的空间区域。位置状态包括扫描区域194、除去扫描区域194以外的工作台区域192和除去工作台区域192以外的roi 190。当商品位于除去扫描区域194以外的工作台区域192中时，位置状态进一步分为“在工作台上”和“在工作台上方”。在工作台上的位置状态是指商品放置在工作台上，商品的底面与工作台180的上表面接触，这可以使用深度信息来确定。位于工作台上方的位置
状态是指商品在工作台区域192中，但不接触工作台180的上表面，而是在工作台180上方的空中。在某些实施例中，对于第t个视频帧，手部和商品检测模块124可以产生例如的检测结果，其中是第i检测，和是该检测左上角的坐标，和是该检测的尺寸。应当注意，除了第i检测之外的其他检测可以已从其他视频帧中检测到，从不同视频帧中检测到的所有手中商品均已列出和记录。手部和商品检测模块124被配置为将手部和商品分割模块122的分割结果用于商品检测，手部和商品检测模块124使用的算法包括连通分量分析(connected component analysis)算法。通过利用分割结果的像素标签，手部和商品检测模块124可以基于像素标签估计手部和商品的边界框然后细化边界框，以此更有效地执行其功能。在某些实施例中，手部和商品检测模块124还可以被配置为仅使用视频帧而不使用分割结果，手部和商品检测模块124可以使用若干种基于深度神经网络(cnn)的算法，例如faster r-cnn、mask r-cnn、refinedet等，来实现其功能。在获得手部和商品的检测后，手部和商品检测模块124将检测结果与分割结果结合。检测结果包括商品id和手部id、商品和手的边界框、边界框中每个像素的像素标签、像素的深度以及商品或手部的位置状态。在获得检测结果后，手部和商品检测模块124还被配置为将检测结果发送到商品跟踪识别模块126。
82.商品跟踪识别模块126被配置为，在接收到来自手部和商品检测模块124的检测结果后，提供每件商品的轨迹，并将商品的轨迹发送到商品扫描状态记录模块128。具体地，在获得当前帧中的商品检测后，商品跟踪识别模块126被配置为使用检测跟踪框架生成每个新检测到的手中商品的轨迹并更新每个之前检测到的商品的轨迹。令为商品在时间t-1的跟踪轨迹，其中n
t-1
是时间t-1的跟踪轨迹的总数。然后，商品跟踪识别模块126被配置为计算商品轨迹t
t-1
的最新位置与当前帧的商品检测的位置之间的欧式距离。之后，使用贪婪搜索优化算法(greedy search optimizationalgorithm)根据最近邻度量找到t
t-1
和之间的最佳匹配。这样可以获得更新后的跟踪结果t
t
。在某些实施例中，其他度量(例如，颜色或深度特征的外观相似性)和关联算法(例如，多假设跟踪multiple hypotheses tracking、基于超图的关联等)也可以用来完成手中商品跟踪任务。需要注意的是，数字n可以大于数字k，因为顾客处理的商品可能不会全部出现在当前视频帧中。
83.此外，边界框信息和边界框中的像素标签都可以用于跟踪。边界框提供检测到的商品的位置，而边界框中像素的标签可以进一步界定边界框中商品的边缘，以便准确跟踪。边界框信息和像素标签信息的组合以及深度信息对于确定手中商品尤其有用，因为可以通过边界框中像素的标签识别该边界框中手部和商品之间的重叠。
84.此外，顾客可能在不同时间拿起多件商品，这些商品中的每一件商品都有自己的轨迹。当多件商品中的一件商品被放置在工作台上静止不动时，商品跟踪识别模块126可以使用与商品在顾客手中时使用的跟踪机制不同的跟踪机制来继续跟踪商品。在某些实施例中，商品跟踪识别模块126使用基于在线外观学习的跟踪器(例如，kcf、houghtracker和siammask)来识别和跟踪放置在工作台上的已扫描或未扫描商品。这样，自助结账应用程序118能够识别从场景中取出的未扫描商品。因此，商品的轨迹可以包括几个阶段或部分，其中一个部分对应于商品在手中并移动的时期，而另一个部分对应于商品放在工作台180上
静止的时期，轨迹的不同部分可以通过不同的技术进行跟踪，以平衡跟踪的准确性和效率。每个轨迹至少包括不同时间点的商品id和商品位置状态。商品跟踪识别模块126获得轨迹后被配置为将轨迹发送到商品扫描记录模块128，轨迹可以通过商品跟踪识别模块126进行实时更新。在某些实施例中，商品跟踪识别模块126还可以将其他相关检测结果发送到商品扫描记录模块128。
85.商品扫描状态记录模块128被配置为，在接收到来自商品跟踪识别模块126的商品轨迹并接收到来自扫描仪150的扫描信息后，记录商品的扫描状态，并将商品的记录结果发送到反馈处理模块130。在某些实施例中，商品的扫描状态包括已扫描或未扫描。未扫描状态是在检测到商品时为商品确定的默认特征，当某件商品位于扫描区域194并且自助结账应用程序118大致同时接收到扫描信号时，可以确定为已扫描状态。此外，也可基于轨迹或基于检测结果获得商品位置。因此，自助结账应用程序118能够知道商品是位于扫描区域194、除扫描区域194之外的工作台区域192还是除工作台区域192之外的roi 190，也能够知道商品的扫描状态是已扫描还是未扫描。综上所述，记录结果至少包括商品的轨迹和商品的扫描状态，在获得记录结果后，商品扫描状态记录模块128还被配置为将记录结果发送到反馈处理模块130。
86.反馈处理模块130被配置为在接收到商品扫描状态记录模块128的记录结果后，确定扫描困难事件，并向店员提供扫描困难通知。反馈处理模块130还被配置为在接收到记录结果以及接收到来自支付装置160的支付行为后，计算入店行窃风险评分，并在入店行窃风险评分大于预定阈值时，向店员提供入店行窃警告。
87.对于扫描困难的确定，反馈处理模块130被配置为当商品处于未扫描状态时，基于商品的轨迹计算未扫描商品在扫描区域停留的累积时间。当累积时间大于预定时间阈值时，反馈处理模块130被配置为向店员提供扫描困难通知。在某些实施例中，时间阈值在约2～30秒的范围内。在某些实施例中，时间阈值在约3～10秒的范围内。在某些实施例中，时间阈值为3～5秒。在某些实施例中，时间阈值为3或5秒。在某些实施例中，时间阈值由零售商定制。在某些实施例中，扫描困难通知可以被发送到店员使用的监视器，或者被发送到店员的寻呼机。在某些实施例中，累积时间从顾客手持商品的那一刻起确定。在某些实施例中，累积时间从手中商品移入扫描区域194的那一刻起确定。在某些实施例中，当手中商品移出扫描区域194时，结束累积时间的确定。在某些实施例中，在提供扫描困难通知后，反馈处理模块130可以重置商品的累积时间。
88.对于入店行窃的确定，反馈处理模块130被配置为当顾客在终端140上点击“结束”并在支付装置160上完成支付时，计算入店行窃风险评分。如果入店行窃风险评分等于或高于预定阈值，则反馈处理模块130被配置为向店员发送入店行窃警告。当入店行窃风险评分低于预定阈值时，反馈处理模块130向店员发送“正常”消息，表示扫描过程没有发生入店行窃。在某些实施例中，反馈处理模块130也可以在入店行窃风险评分较低时保持沉默，即反馈处理模块130不向店员发送消息。
89.在某些实施例中，基于可能被偷窃的商品的计数和可能未被偷窃的商品的总数来评估入店行窃风险。当商品处于未扫描状态并且从工作台区域192消失或从roi 190消失时，认为该商品可能被偷窃。
90.在某些实施例中，当未扫描商品从工作台区域192消失时，该行为被称为中风险行
为，该中风险行为被赋予中风险系数r1。当未扫描的商品从roi 190消失时，该行为被称为高风险行为，该高风险行为被赋予高风险系数r2。这里的商品从工作台区域192消失是指在商品轨迹结束时，该商品在工作台区域192中，之后该商品未出现在后面的帧中，无法再进行跟踪。商品从roi 190消失是指在商品轨迹结束时，商品在工作台区域192外但在roi 190内，之后该商品未出现在后面的帧中，无法再进行跟踪。需要注意的是，中风险行为是指未扫描的商品在离开工作台区域192后消失。因此，如果未扫描的商品离开工作台区域192进入roi 190，该商品仍然可以被跟踪，则该行为不计为中风险行为。顾客交易的入店行窃风险评分r定义为：
91.r＝r1×
n1 r2×
n292.其中n1为从工作台区域192消失的未扫描商品数量，n2为从roi 190消失的未扫描商品数量。在某些实施例中，中风险系数r1和高风险系数r2是预定参数。在某些实施例中，中风险系数r1和高风险系数r2的值分别在约0.5～1.0和约1.0～2.0的范围内。在某些实施例中，中风险系数r1和高风险系数r2的值分别为0.75和1.5。在某些实施例中，当商品先离开工作台区域192然后从roi 190消失时，该商品仅在n2中计数一次，而不在n1中计数。
93.在获得入店行窃风险评分r后，反馈处理模块130还被配置为通过以下标准确定是否存在入店行窃问题：
94.若r≥β1×
(n3)
α
，则反馈处理模块130确定发生了入店行窃，其中n3为扫描状态为已扫描的商品数量；
95.若β1×
(n3)
α
＞r≥β2×
(n3)
α
，则反馈处理模块130确定可能发生入店行窃；以及
96.若r＜β2×
(n3)
α
，则反馈处理模块130确定顾客交易中不存在入店行窃。
97.在某些实施例中，参数α、β1和β2是预先确定的，并且β1＞β2。在某些实施例中，本技术设置r1＝0.5、r2＝1.0、α＝0.2、β1＝1.0且β2＝0.5。在一个示例中，两件商品扫描成功，即n3＝2，如果系统检测到两个中风险行为和一个高风险行为，即n1＝2，n2＝1，则r＝r1×
n1 r2×
n2＝0.5
×
2 1.0
×
1＝2.0，β1×
(n3)
α
＝1.0
×
(2)
0.2
＝1.15。由于r＝2.0＞1.15，本技术确定发生了入店行窃。
98.在某些实施例中，反馈处理模块130不会在顾客开始支付过程后很快确定入店行窃风险。反之，因为顾客在支付后可能会移动一些商品，反馈处理模块130会等待一小段时间，或者等到顾客离开roi 190。
99.装置管理器132被配置为管理终端140、扫描仪150、支付装置160和成像装置170。管理可以包括定义操作参数、发送指令和接收收集的数据。装置管理器132还被配置为将某些收集的数据发送到相应的模块。例如，当装置管理器132由于顾客在终端140上点击开始而从终端140接收到开始信号，或者由于顾客未在终端140上点击开始而是直接扫描商品而从扫描仪150接收到扫描信号时，装置管理器132可以向视频采集模块120发送信号以发起自助结账事件，相应地，视频采集模块120开始采集roi 190的视频帧。在自助结账事件期间，当装置管理器132接收到来自扫描仪150的扫描信号，装置管理器132可以将扫描信号以及(可选地)其时间戳发送到商品扫描状态记录模块128，使得商品扫描状态记录模块128可以更新扫描区域194中商品的扫描状态。在自助结账事件期间，当装置管理器132由于顾客在终端140上点击结束而接收到结束信号并使用支付装置160完成支付后，装置管理器132可以将结束信号发送到反馈处理模块130，以使反馈处理模块130计算入店行窃风险评分并
确定自助结账事件的入店行窃风险。
100.用户界面134被配置为在终端140上提供图形用户界面。用户界面可以包括“开始”、“结束”、“支付”等按钮。在某些实施例中，用户界面134还被配置为在店员站点的监视器上提供图形用户界面，以便在监视器上向店员呈现扫描困难通知和入店行窃警告。在某些实施例中，用户界面134还可以通过寻呼系统将扫描困难通知和入店行窃警告链接至店员。
101.终端140是显示器，其被配置为显示通过自助结账应用程序118提供的图形用户界面。在某些实施例中，终端140是触摸屏，使得顾客可以高效地与自助结账应用程序118交互。在某些实施例中，终端140可以是提供顾客-系统交互的其他类型的装置。
102.扫描仪150被配置为当商品以合适的朝向放置在扫描区域194时识别商品。在某些实施例中，扫描仪150可以是条形码扫描仪，使用红外线识别商品的条形码。在某些实施例中，扫描仪150可以是能够识别商品的其他类型的装置。
103.支付装置160被配置为识别多种支付方式并向顾客收取购买商品的金额。支付装置160可接受的支付方式包括信用卡、移动支付、现金等。
104.成像装置170被配置为实时采集roi 190的视频图像并将采集的视频图像发送到自助结账应用程序118。在某些实施例中，成像装置170可以是rgbd相机或rgb相机，例如realsense
tm
深度相机d435和hjimi 3d相机imi a200。当成像装置170为rgbd相机时，可以利用相机采集的深度信息提高系统的精度。在采集视频帧后，成像装置170将帧发送到手部和商品分割模块122以及(可选地)手部和商品检测模块124。
105.需要注意的是，系统100还可以包括其他需要的组件，并非所有应用都需要图1所示的所有组件。例如，系统100可以包括远程监视器以用于店员查看扫描困难通知或入店行窃警告，或包括无线寻呼系统以将扫描困难通知或入店行窃警告呼叫给店员。
106.在某些实施例中，系统100对扫描困难和入店行窃进行实时监控。在其他实施例中，系统100还可以通过录制的视频和具有时间戳的扫描信号来确定入店行窃，以在以后检查入店行窃。这种情况下，自助结账应用程序118不需要所有的模块。例如，视频采集模块120不是必需的。
107.在某些实施例中，计算装置110放置在现场用于监控入店行窃。在其他实施例中，计算装置110也可以是云服务器，为多个自助结账机远程提供扫描困难通知和入店行窃警告服务。
108.图6示意性地示出了根据本技术的某些实施例的智能防入店行窃系统的概念性工作流程600。该系统应用了自助结账中的防入店行窃的可视方案。如图6所示，防入店行窃系统收集自助结账事件从开始扫描到支付的信息，并在后台向店员提供实时反馈(例如，扫描困难、入店行窃等)。店员会基于反馈采取行动。这样，零售商只需雇佣一名员工即可服务多台自助结账机，大大降低了人工成本，对顾客更加友好。具体地，从扫描开始，系统自动检测并跟踪所有手持商品和台上商品，并记录商品的扫描状态。基于采集到的每件商品的扫描状态，系统能够检测到从场景取出的未扫描商品。利用预先训练的商品识别模块，系统能够识别被盗商品，这也是零售商的重要信息。
109.图7示意性地示出了根据本技术的某些实施例的图1、2、4或6所示系统的工作流程700。工作流程700通过自助结账系统执行，自助结账系统与扫描仪150、支付装置160和成像
装置170通信。自助结账系统使用触摸屏终端140上的交互式图形用户界面gui与顾客交互。
110.如图7所示，当顾客在自助结账系统的屏幕上点击“开始”、或扫描商品或扫描会员卡时，自助结账系统接收信号并识别行为，发起新的自助结账事件。在新的自助结账事件中，自助结账系统与扫描仪150和成像装置170通信。之后，成像装置170拍摄视频帧，自助结账系统从帧中分割顾客手部、台上商品、手中商品和背景，检测台上商品和手中商品，为每件检测到的商品分配状态，并跟踪每件商品。对于手中商品，自助结账系统确定顾客是否已经扫描了扫描区域的商品，并在商品被扫描时更新商品的扫描状态。在上述操作过程中，实时更新商品的扫描状态和位置状态。对于未扫描并放置在工作台区域的商品，顾客可能稍后将其拿起进行扫描，则跟踪商品的轨迹，更新商品的状态。当顾客点击“支付”结束购物过程时，防入店行窃系统基于商品的扫描状态和位置状态对商品进行分析，以计算入店行窃风险评分。当未扫描商品被放入袋子或从roi或工作台区域消失时，入店行窃风险评分会较高，表示存在入店行窃的可能性。
111.此外，自助结账系统可以测量顾客在扫描区域手持商品的累积时间。当累积时间较长时，可能表示顾客扫描商品有困难。自助结账系统可根据累积时间长度向店员发送扫描困难通知，从而店员可以协助顾客扫描商品。
112.在某些方面，本技术涉及一种防入店行窃自助结账方法。图8示意性地描绘了这种自助结账方法，其可以通过图1所示的计算装置110实现。在某些实施例中，图8所示的方法800对应自助结账应用程序118的功能。需要特别说明的是，除非本技术另有说明，该方法的步骤可以以不同的顺序排列，不限于图8所示的顺序。
113.如图8所示，在步骤802，响应于扫描行为或顾客在触摸屏终端140上点击“开始”按钮，自助结账应用程序118发起自助结账事件。在自助结账事件发起期间，自助结账应用程序118的视频采集模块120启动，启动后的视频采集模块120向成像装置170发送指令。
114.在步骤804，在接收到来自自助结账应用程序118的指令后，成像装置170采集roi 190的视频帧，并将帧发送到手部和商品分割模块122。在某些实施例中，成像装置170是rgbd相机或rgb相机。
115.在步骤806，在接收到rgbd或rgb视频帧后，手部和商品分割模块122将帧分割成手部区域和商品区域，并将分割结果发送到手部和商品检测模块124以及(可选地)商品扫描状态记录模块128。在某些实施例中，分割结果包括像素的标签。在某些实施例中，每个像素被标记为手部、手中商品、台上商品和背景中的一个。在某些实施例中，使用cnn进行分割。
116.在步骤808，在接收到分割结果后，手部和商品检测模块124在帧中检测准确的手部区域和商品区域，并将检测结果发送到商品跟踪识别模块126。每一帧的检测结果可以包括一个或多个边界框、像素标签和像素深度，每个边界框对应手部、手中商品或台上商品。商品和(可选地)手部各自分配有唯一的id。在某些实施例中，由于可获得像素标签，手部和商品检测模块124可以基于像素标签容易地确定手部、手中商品和台上商品的边界框。在某些实施例中，手部和商品检测模块124可以不使用分割结果，而是直接从视频帧检测手部区域和商品区域。在某些实施例中，手部和商品检测模块124使用cnn进行检测。
117.在步骤810，当接收到视频帧的检测结果后，商品跟踪识别模块126跟踪每件商品以获得商品的轨迹，并将一个或多个轨迹发送到商品扫描状态记录模块128。如上所述，检测结果包括每个边界框的位置、大小和标签、像素的标签以及深度信息。由于边界框中的像
素包括商品的像素和背景等其他事物的像素，因此像素标签使得对边界框中商品的估计更加准确，有助于跟踪过程。在某些实施例中，对于视频帧中的边界框，商品跟踪识别模块126识别具有唯一商品id的第一帧中的商品，然后将在第二帧中检测到的边界框与在第一帧中检测到的边界框进行匹配。可以基于边界框的位置、边界框的大小、边界框内像素的像素标签以及深度信息来进行匹配。当第二帧中的一个边界框与第一帧中的一个边界框匹配时，为第二帧中的边界框分配与第一帧中对应的边界框相同的商品id。当在一系列视频帧中检测到具有相同id的边界框时，很容易确定和跟踪商品的轨迹。在某些实施例中，当顾客拿起商品时，商品会出现在视频帧中然后被跟踪。因此，当顾客逐件拿起多件商品时，所有这些商品最终会通过其轨迹被跟踪。轨迹记录有时间戳，从而可以知道商品在特定时间的位置。
118.在步骤812，在接收到来自商品跟踪识别模块126的商品轨迹以及(可选地)来自手部和商品分割模块122的分割结果时，商品扫描状态记录模块128实时记录或更新商品的扫描状态，并将商品的轨迹和动态扫描状态发送到反馈处理模块130。对于每件被跟踪的商品，当商品拿在手中并且位于扫描区域时，可以对商品进行扫描。当商品的轨迹与来自扫描仪150的扫描行为匹配时，商品被记录为已扫描状态。当商品的轨迹与来自扫描仪150的扫描行为不匹配或没有扫描行为时，商品被记录或保持为未扫描状态，其中未扫描是商品的默认特征。
119.在步骤814，反馈处理模块130从商品扫描状态记录模块128接收到商品的轨迹和扫描状态后，计算被跟踪商品在扫描区域194停留的累积时间，当累积时间大于预定阈值时，反馈处理模块130向店员发送顾客扫描当前商品有困难的通知，以便店员可以到自助结账区帮助顾客。
120.在步骤816，当顾客通过点击自助结账触摸屏上的“结束”来结束扫描事件并完成支付时，基于商品的状态是已扫描还是未扫描，以及是未扫描并从工作台区域192消失还是未扫描并从roi 190消失，反馈处理模块130计算入店行窃风险评分。
121.在步骤818，当确定入店行窃风险评分高于预定阈值时，反馈处理模块130向店员发送入店行窃警告消息，以便店员可以采取措施防止被盗。
122.在某些实施例中，步骤816和步骤818可以在顾客支付后的短时间后或等到顾客离开roi 190后执行，以便发现更多在支付后未扫描商品从工作台区域192或roi 190消失的情况。
123.在另一方面，本技术涉及一种存储计算机可执行代码的非暂时性计算机可读介质。该代码在计算装置的处理器处执行时可以执行如上所述的方法。在某些实施例中，非暂时性计算机可读介质可以包括但不限于任何物理或虚拟存储介质。在某些实施例中，非暂时性计算机可读介质可以实现为如图1所示的计算装置110的存储装置116。
124.总之，本技术的某些实施例提供了一种视觉辅助的防入店行窃自助结账系统。通过使用视觉辅助，顾客无需采取额外步骤，因此系统对用户友好。进一步地，自助结账系统将自助结账区域划分为roi、工作台区域和扫描区域，并对超出roi或超出工作台区域的未扫描商品使用不同的权重来评估入店行窃风险，从而更准确地估计入店行窃风险。此外，自助结账系统结合了分割和检测技术，便于进行准确的检测和跟踪。此外，自助结账系统对被跟踪商品在商品移动时(在手中)和商品静止时(放在工作台上)采用不同的跟踪方式，减少了计算需求。此外，将用于分割和检测的cnn专门设计为具有轻量级的主干，这也减少了所
需的运算资源。通过上述新颖的设计，可以通过简单的嵌入式系统来实现自助结账系统。
125.本技术的示例性实施例的前述描述仅出于说明和描述的目的而呈现并且不旨在穷举或将本技术限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。
126.选择和描述实施例是为了解释本技术的原理及其实际应用，从而使本领域的其他技术人员能够利用本技术和各种实施例以及适合于预期的特定用途的各种修改。在不脱离本技术的精神和范围的情况下，替代实施例对于本技术所属领域的技术人员将变得显而易见。因此，本技术的范围由所附权利要求而不是前述描述和其中描述的示例性实施例限定。