自助收银的风险识别方法、装置、设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种自助收银的风险识别方法、装置、设备及存储介质。


背景技术：

2.自助收银设备正在商超行业快速普及，越来越多的超市、便利店、品牌专卖店等，将原来以人工收银为主的结账模式变为以自助收银为主。
3.目前，自助收银设备的普及，在带来效率提升和体验改善的同时，也为商家带来盗损增加的问题。通常，可以基于单台自助收银设备上的相机采集到的视频，识别顾客在使用该单台自助收银机进行自助结账时存在盜损风险的商品，例如存在漏扫、假扫风险的商品。
4.然而，这样的方式，存在识别的准确率较低的问题。


技术实现要素：

5.本技术实施例提供一种自助收银的风险识别方法、装置、设备及存储介质，用以解决现有技术中识别风险商品的准确率较低的问题。
6.第一方面，本技术实施例提供一种自助收银的风险识别方法，包括：确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与所述第一人体轨迹关联的关联人体轨迹对应的应排除物品，所述第一视频和所述第二视频是由监控范围不同的拍摄装置采集得到；基于所述关联人体轨迹，对所述第一人体轨迹对应的风险商品进行相应处理，以从所述第一人体轨迹对应的风险商品中排除掉是所述关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品。
7.第二方面，本技术实施例提供一种自助收银的风险识别装置，包括：确定模块，用于确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与所述第一人体轨迹关联的关联人体轨迹对应的应排除物品，所述第一视频和所述第二视频是由监控范围不同的拍摄装置采集得到；排除模块，用于基于所述关联人体轨迹，对所述第一人体轨迹对应的风险商品进行相应处理，以从所述第一人体轨迹对应的风险商品中排除掉是所述关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品。
8.第三方面，本技术实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第一方面中任一项所述的方法。
9.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现如第一方面中任一项所述的方法。
10.本技术实施例还提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现如第一方面任一项所述的方法。
11.在本技术实施例中，可以通过联合多个拍摄装置拍摄到的视频来针对单个自助收银设备进行风险商品的识别，具体的，第一视频用于记录顾客使用自助收银设备进行自助结账的过程，第一视频和第二视频是由监控范围不同的拍摄装置采集得到，可以确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与第一人体轨迹关联的关联人体轨迹对应的应排除物品，基于关联人体轨迹对第一人体轨迹对应的风险商品进行相应处理，以从第一人体轨迹对应的风险商品中排除掉是关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品，能够实现从根据单台自助收银设备上拍摄装置采集到的视频所确定的风险商品中，排除掉被确定为不需要支付的物品，从而能够减少风险商品的误识别，降低风险商品的误识别率，提高识别的准确率。
附图说明
12.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1为本技术实施例的应用场景示意图；图2为本技术一实施例提供的自助收银的风险识别方法的流程示意图；图3为本技术一实施例提供的自助收银防损系统的结构示意图；图4为本技术一实施例提供的视频画面的示意图；图5为本技术一实施例提供的第一视频识别模块进行视频识别的处理流程的示意图；图6为本技术一实施例提供的第二视频识别模块进行视频识别的处理流程的示意图；图7为本技术一实施例提供的综合判断模块进行风险商品判断的处理流程的示意图；图8为本技术一实施例提供的自助收银的风险识别装置的结构示意图；图9为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
14.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
15.在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
16.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种
情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
17.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
18.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
19.另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
20.为了方便本领域技术人员理解本技术实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。
21.自助收银设备是指提供给顾客使用的自助扫码收银的一体机设备，自助收银设备的普及，在带来效率提升和体验改善的同时，也为商家经营带来盗损增加的问题。因此，使用技术手段，在顾客进行自助扫码支付的过程中发现漏扫、假扫等盗损风险，成为相关行业普遍和强烈的需求。其中，在使用自助扫码设备时，如果一件商品没有进行扫码录入，就被装袋带走，称为一件漏扫。在使用自助扫码设备时，如果顾客手持一件商品做出了扫码动作，但没有录入成功，然后被装袋带走，称为一件假扫。
22.在实际应用中可以通过自助收银防损系统来实现自助收银设备防损，自助收银防损系统是指用于自动进行或辅助人工进行审核工作的硬件和软件系统。一般来说，自助收银防损系统的主要功能是：为每台自助收银设备安装专用的监控相机，部署计算单元和智能识别算法，对监控相机拍摄到的自助扫码支付过程视频进行算法分析，如果发现有部分商品存在假扫、漏扫等风险，就输出报警信息。
23.从风险发现与报警的实时性角度，自助收银防损系统可以分为事中报警和事后报警两种类型。事中报警系统在顾客对商品进行扫码过程中一旦发现风险，如假装扫码、未扫码直接装袋、未完成支付就离开等，就实时发出报警信号，如闪灯、锁屏或发送信息到现场工作人员的手持设备上。事后报警一般将有风险的交易视频，以及自助收银防损系统发现的风险信息等通过一个软件平台进行汇总和显示，工作人员可以重放交易视频，对风险进行确认。
24.在实际产品中，事中报警和事后报警的分类并不是绝对的。通常，为了避免误报警带来的对正常顾客的打扰，一些商超不对报警信息进行实时的现场处置，而是在事后进行人工审核确认，事中报警就变成了事后报警。反过来，如果商超安排专人及时处理报警信息，在报警后可以很快地根据软件平台提供的视频和相关信息做出审核判断，在顾客离开前进行处置，那么事后报警就等效于事中报警。
25.从上面的风险发现与报警的使用方式中可以看出，设计和实现自助收银防损系统的目标就是以更高的准确率和召回率发现自助扫码支付过程中的风险，同时，自助收银防损系统还可以配合工作人员，以更高的效率完成风险审核确认。本技术实施例提供的自助收银的风险识别方法既可以适用于事中报警产品，又可以适用于事后报警产品。
26.图1为本技术一实施例提供的自助收银的风险识别方法的应用场景示意图，如图1所示，该应用场景中可以包括至少两个拍摄装置11和电子设备12。其中，至少两个拍摄装置11的监控范围各不相同，该至少两个拍摄装置11中存在至少一个用于拍摄顾客使用自助收银设备进行结账的过程的拍摄装置，不同拍摄装置对应的自助收银设备可以不同。电子设备12可以基于至少两个拍摄装置11采集的视频，识别存在盜损风险的商品。示例性的，电子设备12可以为服务器，例如可以是物理服务器、云服务器、虚拟服务器等。
27.一个实施例中，该至少两个拍摄装置11均用于拍摄顾客使用自助收银设备进行结账的过程。示例性的，至少两个拍摄装置11可以与至少两个自助收银设备一一对应，拍摄装置11可以集成在对应的自助收银设备中，或者，可以安装在对应的自助收银设备上。
28.另一个实施例中，该至少两个拍摄装置11中的至少一个拍摄装置用于拍摄顾客使用自助收银设备进行结账的过程，其余拍摄装置可以根据需求用于拍摄除顾客使用自助收银设备进行结账的过程之外的其他过程，例如顾客进入商店的过程等。
29.为了便于区分，用于拍摄顾客使用自助收银设备进行结账的过程的拍摄装置可以记为第一拍摄装置，用于拍摄其他过程的拍摄装置可以记为第二拍摄装置。应理解，第二拍摄装置的数量可以为0，当第二拍摄装置的数量为0时，第一拍摄装置的数量大于或等于2；当第二拍摄装置的数量大于0时，第一拍摄装置的数量大于或等于1。
30.通常，是基于单台自助收银设备上的相机采集到的视频，识别顾客在使用该单台自助收银机进行结账时存在盜损风险的商品，然而，由于单台自助收银设备上的相机的监控范围较小，只能看到本台自助收银设备附近较小范围的区域，而顾客携带的物品不一定都是需要扫描进行支付的商品，因此存在将顾客所携带的不需要进行扫描支付的物品误识别为风险商品，导致风险商品的误识别率较高，识别准确率较低的问题。
31.其中，顾客携带的不需要进行扫码支付的商品例如可以包括：顾客自带的水杯、雨伞、钱包、帽子、围巾、小孩玩具等物品，在商超内柜台购买并已经完成支付的商品（小电器、化妆品、熟食等），在自助收银扫码支付过程中不想购买，被放回货架的商品，还有已经在自助收银设备上完成了支付的商品（在实际场景中，由于存在积分打折等活动，对一次到店购买的物品分多次结账比较常见），等等。仅从单台自助收银设备上的监控相机中，视觉识别算法无法判断顾客携带的物品是否属于上述不需要扫码支付的物品，所以会导致误报警。如果用于事中报警产品，误报警会对正常顾客造成打扰，如果用于事后报警产品，会加大工作人员的审核工作量，而且，如何对这种情况做出正确判断，仅根据单台自助收银设备监控相机的画面来判断，在审核时也非常困难。
32.为了解决对于风险商品的误识别率较高，识别准确率较低的技术问题，在本技术实施例中，可以通过联合多个拍摄装置拍摄到的视频来针对单个自助收银设备进行风险商品的识别，具体的，第一视频用于记录顾客使用自助收银设备进行自助结账的过程，第一视频和第二视频是由监控范围不同的拍摄装置采集得到，可以确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与第一人体轨迹关联的关联人体轨迹对应的应排除物品，基于关联人体轨迹对第一人体轨迹对应的风险商品进行相应处理，以从第一人体轨迹对应的风险商品中排除掉是关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品，能够实现从根据单台自助收银设备上拍摄装置采集到的视频所确定的风险商品中，排除掉被确定为不需要支付的物品，从而能够减少风险商品的误识别，降
低风险商品的误识别率，提高识别的准确率。
33.需要说明的是，为了基于拍摄装置采集的视频得到轨迹对应的人体特征等，需要对视频进行视频识别，例如提取人体特征、进行人体跟踪等。一个实施例中，视频识别的处理过程可以在拍摄装置内部执行。另一个实施例中，视频识别的处理过程可以由每台拍摄装置对应的提供计算功能的设备执行。又一个实施例中，视频识别的处理过程可以由电子设备12执行。
34.需要说明的是，本技术实施例提供的方法可以应用于商超、超市、便利店、品牌专卖店等零售场景，可以用于在这些场景中进行自助收银设备的风险识别，一个实施例中，可以应用在超市中，用于识别超市中的风险商品，由于在识别风险商品时利用了图像/视频技术，而图像/视频技术属于数字技术（digital technology），因此本技术实施例提供的方法能够赋能超市数字化。
35.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突情况下，下述的实施例及实施例中的特征可以相互组合。
36.图2为本技术一实施例提供的自助收银的风险识别方法的流程示意图，本实施例可以应用于图1中的电子设备12，具体可以由电子设备12的处理器执行。如图2所示，本实施例的方法可以包括：步骤21，确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与第一人体轨迹关联的关联人体轨迹对应的应排除物品；步骤22，基于关联人体轨迹，对第一人体轨迹对应的风险商品进行相应处理，以从第一人体轨迹对应的风险商品中排除掉是关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品。
37.本技术实施例中，第一视频是由第一拍摄装置拍摄的视频。当第二拍摄装置的数量为0时，第二视频可以是由第一拍摄装置拍摄的视频。当第二拍摄装置的数量大于0时，第二视频可以包括第二拍摄装置拍摄的视频，进一步的，在第一拍摄装置的数量为多个时，第二视频还可以包括第一拍摄装置拍摄的视频，例如，假设拍摄装置a和拍摄装置b为第一拍摄装置，拍摄装置c为第二拍摄装置，则在第一视频是拍摄装置a拍摄的视频时，第二视频可以包括拍摄装置c拍摄的视频，还可以包括拍摄装置b拍摄的视频；在第一视频是拍摄装置b拍摄的视频时，第二视频可以包括拍摄装置c拍摄的视频，还可以包括拍摄装置a拍摄的视频。
38.基于第一视频可以得到人体轨迹（以下可以记为第一人体轨迹）对应的风险商品，第一人体轨迹可以理解为存在风险的顾客的人体轨迹。基于第一视频还可以得到第一人体轨迹对应的人体特征（以下可以记为第一人体特征）。其中，基于单个第一视频得到的第一人体轨迹的数量可以是一个或多个。示例性的，第一人体特征可以通过先对视频帧进行人体检测得到人体在图像帧中的位置，再基于人体的位置进行特征提取得到，第一人体轨迹可以基于人体特征进行跨帧关联得到。第一人体特征例如可以包括人脸特征和人体再识别（re-identification，reid）特征。
39.风险商品是通过对第一视频进行算法分析确定的存在盜损风险的商品，由于第一拍摄装置的监控范围较小，因此基于第一视频得到的风险商品中可能存在不需要支付的物品的情况。需要说明的是，关于基于第一视频确定风险商品的实现方式，可以参考相关技术
中的具体描述，在此不再赘述。
40.基于第二视频可以得到人体轨迹（以下可以记为第二人体轨迹）对应的应排除物品。基于第二视频还可以得到第二人体轨迹对应的人体特征（以下可以记为第二人体特征）。其中，基于单个第二视频得到的第二人体轨迹的数量可以是一个或多个。需要说明的是，确定第二人体特征和第二人体轨迹的方式与确定第一人体特征和第一人体轨迹的方式类似，在此不再赘述。第二人体特征例如可以包括人脸特征和人体reid特征。
41.应排除物品是指应该从风险商品中排除的不需要支付的物品，应排除物品与第二视频有关，第二视频具体可以是能够记录涉及有不需要支付的物品的相关过程的任意视频。
42.考虑到顾客进入商店时可能携带物品，为了减少将顾客自带的物品识别为风险商品情况的发生，一个实施例中，第二视频可以用于记录顾客进入商店的过程。相应的，基于第二视频得到的应排除物品可以包括自带的物品。示例性的，可以对视频帧进行人体检测得到人体在图像中位置，基于人体的位置检测手持物品（这里的手持物品可以理解为自带的物品）。需要说明的是，关于检测人体以及检测手持物品的实现方式，可以参考相关技术中的具体描述，在此不再赘述。
43.和/或，考虑到顾客在扫码支付过程中可能放弃购买部分商品，为了减少将顾客放回的商品误识别为风险商品情况的发生，一个实施例中，第二视频可以用于记录顾客自助收银扫码开始后放回商品的过程。相应的，基于第二视频得到的应排除物品可以包括被放回的商品。其中，可以是放回货架，或者可以是放回商店内的其他位置。示例性的，可以对视频帧进行人体检测得到人体在图像中位置，基于人体的位置检测手持物品，并识别放回物品动作（存在放回物品动作的手持商品可以理解为被放回的商品）。其中，放回物品动作是指，对于一个人体轨迹，在前面若干帧中手上持有物品，而在后面若干帧中手上没有物品。
44.和/或，考虑到顾客在扫码支付之前可能已在商店内支付过部分商品，为了减少将顾客已支付的商品误识别为风险商品情况的发生，一个实施例中，第二视频可以用于记录顾客在除本台自助收银设备之外的其他设备进行结账的过程。相应的，基于第二视频得到的应排除物品可以包括已支付的商品。其中，其他设备可以包括其他自助结账设备，或者用于专柜的收银设备等。示例性的，可以基于商品的扫码时间将已支付的商品对应到视频帧中，以确定在其他设备已支付的商品。
45.本技术实施例中，可以确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与第一人体轨迹关联的关联人体轨迹对应的应排除物品。
46.一个实施例中，第一人体轨迹的关联人体轨迹可以由电子设备12确定，基于此，本实施例提供的方法还可以包括：获取基于第一视频得到的第一人体轨迹对应的人体特征以及基于第二视频得到的第二人体轨迹对应的人体特征；以及，基于第一人体特征和第二人体特征，将与第一人体轨迹对应的人体对象是同一人体对象的第二人体轨迹，确定为第一人体轨迹的关联人体轨迹。
47.同一人体对象可以出现在不同的拍摄装置下，为了获知同一人体对象在不同拍摄装置下的人体轨迹都有哪些，可以进行实现跨拍摄装置的人体轨迹关联。具体的，可以基于人体轨迹对应的人体特征，确定同一人体对象在不同拍摄装置下的人体轨迹，与第一人体轨迹对应的人体对象是同一人体对象的第二人体轨迹可以作为第一人体轨迹的关联人体
轨迹。
48.示例性的，可以通过聚类方式来确定同一人体对象在不同拍摄装置下的人体轨迹，聚类得到的同一类簇中的轨迹，就是同一人体对象在不同拍摄装置中被拍摄到的轨迹。示例性的，考虑到追踪标识（trackid）可以唯一标识一条轨迹，因此可以通过对人体追踪标识进行聚类的方式，实现人体轨迹的聚类。
49.基于此，一个实施例中，第一人体轨迹存在对应的人体追踪标识（以下可以记为第一人体追踪标识），第二人体轨迹存在对应的人体追踪标识（以下可以记为第二人体追踪标识）；所述基于第一人体特征和第二人体特征，将与第一人体轨迹对应的人体对象是同一人体对象的第二人体轨迹，确定为第一人体轨迹的关联人体轨迹，具体可以包括：基于第一人体特征和第二人体特征，对第一人体追踪标识和第二人体追踪标识进行聚类，得到类簇，与第一人体追踪标识处于同一类簇中的第二人体追踪标识所对应的第二人体轨迹是与第一人体轨迹对应的人体对象是同一人体对象的人体轨迹。需要说明的是，关于基于人体特征对人体追踪标识进行聚类的实现方式，可以参考相关技术中的具体描述，在此不再赘述。
50.在购物的场景中通常存在同行人的情况，同行人是指共同在商店购物的人，他们可能一同结账，或由另一人代为结账。可选的，在排除风险商品中的不需要支付的物品时可以考虑同行人的情况，从而可以进一步提高识别的准确率。基于此，本实施例提供的方法还可以包括：确定第一人体轨迹对应人体对象的同行人；将第二人体轨迹中对应的人体对象与第一人体轨迹对应的人体对象是同行人的第二人体轨迹，确定为第一人体轨迹的关联人体轨迹。需要说明的是，关于确定同行人的实现方式，可以参考相关技术中的具体实现，在此不再赘述。
51.本技术实施例中，在确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与第一人体轨迹关联的关联人体轨迹对应的应排除物品之后，可以基于关联人体轨迹，对第一人体轨迹对应的风险商品进行相应处理，以从第一人体轨迹对应的风险商品中排除掉是关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品。
52.可选的，可以通过人工比对的方式，确定需要从风险商品中排除掉的是应排除物品的风险商品。基于此，一个实施例中，步骤22具体可以包括：对第一人体轨迹对应的风险商品的图像以及关联人体轨迹对应的应排除物品的图像进行展示，以由工作人员确定第一人体轨迹对应的风险商品中与关联人体轨迹对应的应排除物品是同一物品的目标风险商品；以及，从第一人体轨迹对应的风险商品中排除掉目标风险商品。其中，风险商品的图像和应排除物品的图像可以通过视频帧进行图像检测的方式得到。例如，可以对顾客的风险商品的图像和顾客及其同行人自带的物品的图像进行展示，以便工作人员可以通过对比风险商品的外观和自带的物品的外观，确定展示的风险商品是不是风险顾客自带的物品。
53.或者可选的，可以通过自动对比的方式，确定需要从风险商品中排除掉的是应排除物品的风险商品。可以基于风险商品的特征和应排除物品的特征，确定特征相似度，并基于特征相似度来确定风险商品和应排除物品是否是同一件物品。应理解，与应排除物品是同一件物品的风险商品可以被排除。其中，风险商品的特征可以基于风险商品在视频帧中的位置进行特征提取得到，应排除物品的特征可以基于应排除物品在视频帧中的位置进行特征提取得到。
54.基于此，本实施例提供的方法还可以包括：获取基于第一视频得到的风险商品的特征，以及基于第二视频得到的应排除物品的特征；步骤22具体可以包括：基于风险商品的特征和应排除物品的特征，确定第一人体轨迹对应的风险商品中与关联人体轨迹对应的应排除物品是同一物品的目标风险商品；以及，从第一人体轨迹对应的风险商品中排除掉目标风险商品。
55.应理解，确定的目标风险商品可能为空，在确定的目标风险商品为空时可以表示第一人体轨迹对应的风险商品中不存在与关联人体轨迹对应的应排除物品是同一物品的目标风险商品，在此情况下，执行从第一人体轨迹对应的风险商品中排除掉目标风险商品的步骤之后，第一人体轨迹对应的风险商品可以保持不变。
56.可选的，在确定处理后的风险商品之后，还可以输出相应的告警信息，基于此，一个实施例中，本技术实施例提供的方法还可以包括：输出关于处理后的风险商品的报警信息。报警信息例如可以包括第一人体轨迹的人体追踪标识、自助收银机的标识、处理后的风险商品的信息等。进一步可选的，报警信息可以包括第二视频的与处理后的风险商品相应的视频画面，以便工作人员可以对排除掉的风险商品进行审核。例如，当展示风险商品时，可以同时展示算法定位到的顾客在超市入口处的画面，这样工作人员就很容易通过观察顾客是否手持商品以及比较商品外观，来判断展示的风险商品是不是顾客自带物品。
57.本实施例提供的自助收银的风险识别方法，通过确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与第一人体轨迹关联的关联人体轨迹对应的应排除物品，并基于关联人体轨迹对第一人体轨迹对应的风险商品进行相应处理，以从第一人体轨迹对应的风险商品中排除掉是关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品，能够实现从根据单台自助收银设备上拍摄装置采集到的视频所确定的风险商品中，排除掉被确定为不需要支付的物品，从而能够减少风险商品的误识别，降低风险商品的误识别率，提高识别的准确率。
58.图3为本技术一实施例提供的自助收银防损系统的结构示意图，如图3所示，自助收银系统主要可以包括5个模块，分别为第一拍摄装置、第二拍摄装置、第一视频识别模块、第二视频识别模块和综合判断模块。在综合判断模块中，可以使用人体特征进行人体关联，根据关联结果对识别到的风险商品进行过滤。
59.第一拍摄装置：安装或集成在自助收银设备上，对顾客携带商品到自助收银设备进行扫码支付的过程进行视频拍摄，用于视频识别算法分析。第一拍摄装置所拍摄的视频画面例如可以如图4所示。需要说明的是，图1中的第一拍摄装置1至n可以是指安装或集成在n台自助收银设备上的拍摄装置相机，每台自助收银设备可以安装或集成1台拍摄装置。
60.第二拍摄装置：实际场景中大量安装使用的拍摄监控装置（例如监控相机），安装位置包括但不限于出入口、过道、货架等区域。
61.第一视频识别模块：识别自助收银扫码支付过程中的风险，输出所有风险商品，并提取人体特征。
62.第二视频识别模块：提取人体特征，识别顾客手持的物品以及顾客放回物品的动作。
63.综合判断模块：对于在单台自助收银设备被算法识别为有风险的顾客（存在风险商品的顾客，可以记为风险顾客），利用从两类视频识别算法中获得的人体特征，将他在多
台自助收银设备和第二拍摄装置中的行为（例如支付行为、手持行为、放回行为）和相关物品进行关联，判断风险情况。
64.需要说明的是，图3中的综合判断模块可以部署电子设备12中，用于实现自助收银的风险识别。可选的，图3中的第一视频识别模块和/或第二视频识别模块可以部署在电子设备12中，用于实现对图3中第一拍摄装置和/或第二拍摄装置拍摄的视频进行视频识别。图3中的第一拍摄装置是指用于拍摄顾客使用自助收银设备进行结账的过程的拍摄装置，第二拍摄装置是指用于拍摄其他过程的拍摄装置。
65.下面对第一视频识别模块、第二视频识别模块和综合判断模块进行详细说明。
66.1、第一视频识别模块第一视频识别模块进行视频识别的处理流程可以如图5所示。示例性的，可以响应于用户输入的操作，执行图5所示的流程，例如用户对于开始结账按钮的点击操作。或者，示例性的，可以在检测到人体且人体的占比超过阈值时，认为开始交易并执行图5所示的流程。
67.参考图5，第一视频识别模块进行视频识别的处理流程主要可以分为4个部分：（1）左侧部分，可以用于确定操作人并输出操作人的人体特征，人体特征包括但不限于人脸特征和人体reid特征。
68.如图5所示，在步骤51中可以对视频（即第一视频）进行人体检测和人体关键点检测，通过人体检测可以得到人体在图像帧中的位置（可以使用矩形框表示），通过关键点检测可以得到人体关键点（主要可以包括手部关键点）在图像帧中的位置。之后，在步骤52中可以基于人体的位置进行人体特征提取得到人体特征。之后，在步骤53中可以基于人体特征进行人体跟踪，得到人体轨迹，由于关键点是属于人体，因此也可以得到关键点轨迹。在得到关键点轨迹并在中间部分得到商品轨迹之后，在步骤54中可以进行行人与商品交互关系识别，以从至少一个行人中识别出与商品存在拿取关系的行人，例如，可以计算多个视频帧中商品的位置与手部关键点的位置之间的距离，并根据距离从画面中的多个行人人中挑选出存在拿取关系的行人。之后，在步骤55中，可以进行操作人识别，例如可以将整个扫码支付过程中拿取商品次数超过阈值的行人确定为当前交易的操作人，操作人可以有一个或多个。
69.（2）中间部分，可以用于生成商品清单，并向左侧部分提供商品轨迹。
70.如图5所示，对于左侧部分处理的同一视频，在步骤56中可以对其进行商品检测，通过商品检测可以得到商品在图像帧中的位置。之后，在步骤57中可以基于商品的位置进行商品特征提取得到商品特征。之后，在步骤58中可以基于商品特征进行商品跟踪得到商品轨迹，并基于商品轨迹进行扫码动作识别，以识别针对商品是否形成了扫码动作，示例性的，如果某件商品的轨迹进入到标注的扫码区域且停留时长大于阈值，则可以认为针对该件商品形成了扫码动作。之后，在步骤59中可以生成商品清单，所有检测到的商品，包括发生了扫码动作的商品和未发生扫码动作的商品，都可以记录在一个商品清单中，对于有扫码动作的商品，还可以记录扫码动作发生的时刻。示例性的，商品清单中可以记录商品的追踪标识、商品的特征、是否发生扫码动作以及发生时刻。
71.（3）右侧部分，可以用于生成扫码清单。
72.如图5所示，在步骤510中可以获取使用自助收银设备进行自助扫码的扫码日志，
之后可以在步骤511中基于扫码日志生成扫码清单。示例性的，扫码清单中可以包括商品的虚拟标识（例如条码）和商品的扫码时刻，对于多件相同的商品，可以分为扫码清单中的多个条目，也可以在扫码清单中增加商品的件数。
73.（4）最后部分，可以用于确定有风险的商品（即风险商品）。
74.如图5所示，在步骤512中可以基于商品清单和扫码清单，确定风险商品。示例性的，对于出现在商品清单中且发生了扫码动作的商品，如果其扫码动作的发生时刻与扫码清单中某件商品的扫码时刻之间的时间差小于阈值，则可以认为是一件扫码成功的商品，否则可以认为是存在假扫或扫码失败的商品；对于出现在商品清单中且未发生扫码动作的商品，如果在所有操作人离开时商品轨迹已经消失了，也就是被顾客带走了，则可以认为是存在漏扫风险的商品。其中，用于比较时间差的阈值可以是固定阈值，或者，可以是可变阈值，例如阈值可以与顾客自身的扫码频率有关。例如，在顾客在第1、2、3秒分别扫码一个商品时，阈值例如可以为0.5秒。又例如，在顾客在第10、20、30秒分别扫码一个商品时，阈值例如可以为5秒。
75.应理解，图5中存在风险商品的操作人可以理解为风险顾客。
76.需要说明的是，图5所示的流程仅为举例。
77.2、第二视频识别模块第二视频识别模块进行视频识别的处理流程可以如图6所示。参考图6，对于第二拍摄装置采集到的视频，在步骤61中可以进行人体检测得到人体在视频帧中的位置。之后，在步骤62中可以基于人体的位置进行人体特征提取，得到人体特征。之后，在步骤63中可以基于人体特征进行人体跟踪，得到人体轨迹，并在步骤64中可以进行手持物品的检测，得到手持物品在图像帧中的位置，手持物品可以包括自带的物品和/或被放回的物品。之后，在步骤65中可以基于手持物品的位置进行手持物品特征提取得到物品的特征，并在步骤66中进行放回动作物品识别，以确定被放回的物品。
78.其中，手持物品的检测可以使用人体检测模型实现，即实现一个多任务检测模型，同时检测人体和手持物品，该多任务检测模型的输入可以是单帧图像，输出可以包括人体在图像中的位置 置信度，以及手持物品在图像中的位置 置信度。或者，手持物品的检测可以使用一个独立的目标检测模型实现，该目标检测模型的输入可以是单帧图像，输出可以包括手持物品在图像中的位置 置信度。
79.需要说明的是，图6所示的流程仅为举例。
80.3、综合判断模块综合判断模块进行风险商品判断的处理流程可以如图7所示。参考图7，在步骤71中可以进行跨拍摄装置人体轨迹关联。示例性的，可以利用前面第一视频识别和第二视频识别模块输出的人体轨迹的人体特征，如人脸特征、人体reid特征，对所有人体轨迹进行聚类，同一个聚类中的轨迹，就是同一个顾客在不同监控相机中被拍摄得到的轨迹。
81.之后，在步骤72中可以进行同行人识别。示例性的，对于每个在第一视频识别模块中被识别为有风险的顾客，可以在步骤72得到的所有聚类范围内，识别其同行人，识别同行人的方法例如可以是：如果某个行人与某个风险顾客同时出现的第二拍摄装置的个数大于阈值，或者，某个行人在自助扫码支付过程中与某个风险顾客同时出现在对应第一拍摄装置中的时长大于一阈值，且两者之间的距离小于另一阈值，那么，这个行人可以认为是这个
风险顾客的同行人。需要说明的是，对于同一交易识别出的多个操作人可以认为是同行人，一种可能的场景是，该多个操作人各自拿商品，最后一起结账。
82.之后，在步骤73中可以进行跨拍摄装置物品关联。示例性的，对于每个在第一视频识别模块中被识别为有风险的顾客，可以对三类物品进行关联。其中，一类可以是风险顾客及其同行人出现在超市入口拍摄装置时的手持物品，另一类可以是风险顾客及其同行人发生放回物品动作前的手持商品（可以仅限于放回物品动作发生在自助扫码开始之后），三是风险顾客及其同行人在各个第一拍摄装置中扫码支付时出现过的商品。其中，在物品关联时，可以利用前面第一视频识别模块和第二视频识别模块提取的商品和物品特征，如果特征相似度大于阈值，就可以认为是同一件物品。
83.之后，在步骤74中可以进行顾客自带的物品的风险排除。示例性的，对于在第一视频识别模块中被识别为有风险的商品，如果在步骤74中，与超市入口第一拍摄装置中出现对应风险顾客或者其同行人的手持物品被关联为同一件物品，那么可以认为，这件商品实际上是风险顾客或者其同行人带进超市的自有物品，不存在风险。
84.之后，在步骤75中可以进行已支付的商品的风险排除。示例性的，对于在第一视频识别模块中被识别为有风险的商品，如果在步骤73中，与超市内其他第一拍摄装置中对应风险顾客或者其同行人扫码支付过的商品被关联为同一件商品，那么可以认为这件商品不存在风险。
85.之后，在步骤76中可以进行放回的商品的风险排除。示例性的，对于在第一视频识别模块中被识别为有风险的商品，如果在步骤73中，与对应风险顾客或者其同行人放回的商品被关联为同一件商品，那么可以认为这件商品没有被带离超市，不存在风险。
86.之后，在步骤77中可以进行风险报出。示例性的，对于在第一视频识别模块中被识别为有风险的商品，经过步骤74至步骤76后仍未被排除的商品，可以作为自助收银的风险输出。
87.需要说明的是，图7所示的流程仅为举例，图7中的步骤72、步骤74、步骤75和步骤76不一定全都具备，可以只包含部分。
88.需要说明的是，图3中的综合判断模块可以按照图7中的介绍，完全用算法实现 ，也可以在审核软件平台上，通过展示来自不同第一拍摄装置和第二拍摄装置上的画面，用人工判断的方式实现。例如，当展示风险商品时，可以同时展示算法定位到的对应风险顾客在超市入口处的画面，这样审核人员就很容易通过观察风险顾客是否手持商品以及比较商品外观，来判断展示的风险商品是不是风险顾客自带物品。
89.需要说明的是，图3所示的自助收银防损系统的具体实现可以有多种形式。例如，视觉识别算法可以在相机内部或每台相机对应的计算设备中实现，综合判断可以在边缘侧或云端的服务器上实现。又例如，视觉识别和综合判断都在同一台服务器内部实现。
90.需要说明的是，图3中m可以为0，当m为0时，n最小为2，当m》0时，n最小为1。
91.本实施例提供的自助收银防损系统，通过将来自多个第一拍摄装置和第二拍摄装置画面的顾客、物品进行关联，可以在自助收银风险识别后，去除自带物品、放回商品、联营柜台已经支付及分单支付的商品等带来的风险误报，获得更准确的风险报警结果。当用于事中报警时，可以减少对顾客的打扰，降低现场工作人员的负担。当用于事后报警时，可以显著减少审核工作量，或者，为工作人员提供关联物品的视频、图片，有助于提高审核效率。
92.图8为本技术一实施例提供的自助收银的风险识别装置的结构示意图；参考附图8所示，本实施例提供了一种风险识别装置，该装置可以执行上述实施例提供的自助收银的风险识别方法，具体的，该装置可以包括：确定模块81，用于确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与所述第一人体轨迹关联的关联人体轨迹对应的应排除物品，所述第一视频和所述第二视频是由监控范围不同的拍摄装置采集得到；排除模块82，用于基于所述关联人体轨迹，对所述第一人体轨迹对应的风险商品进行相应处理，以从所述第一人体轨迹对应的风险商品中排除掉是所述关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品。
93.一种可能的实现方式中，排除模块82具体用于：对所述第一人体轨迹对应的风险商品的图像以及所述关联人体轨迹对应的应排除物品的图像进行展示，以由工作人员确定所述第一人体轨迹对应的风险商品中与所述关联人体轨迹对应的应排除物品是同一物品的目标风险商品；以及，从所述第一人体轨迹对应的风险商品中排除掉所述目标风险商品。
94.一种可能的实现方式中，本实施例提供的装置还包括第一获取模块，用于获取基于所述第一视频得到的所述风险商品的特征，以及基于所述第二视频得到的所述应排除物品的特征；排除模块82具体用于：基于所述风险商品的特征和所述应排除物品的特征，确定所述第一人体轨迹对应的风险商品中与所述关联人体轨迹对应的应排除物品是同一物品的目标风险商品；以及，从所述第一人体轨迹对应的风险商品中排除掉所述目标风险商品。
95.一种可能的实现方式中，所述第二视频用于记录顾客进入商店的过程；基于所述第二视频得到的应排除物品包括自带的物品。
96.一种可能的实现方式中，所述第二视频用于记录顾客自助收银扫码开始后，在商店内放回商品的过程；基于所述第二视频得到的排除物品包括被放回的商品。
97.一种可能的实现方式中，所述第二视频用于记录顾客在除所述自助收银设备之外的其他设备进行结账的过程；基于所述第二视频得到的应排除物品包括已支付的商品。
98.一种可能的实现方式中，本实施例提供的装置还包括第二获取模块和关联模块；所述第二获取模块，用于获取基于所述第一视频得到的所述第一人体轨迹对应的人体特征以及基于所述第二视频得到的第二人体轨迹对应的人体特征；所述关联模块，用于基于所述第一人体特征和所述第二人体特征，将与所述第一人体轨迹对应的人体对象是同一人体对象的第二人体轨迹，确定为所述第一人体轨迹的关联人体轨迹。
99.一种可能的实现方式中，关联模块还用于：确定所述第一人体轨迹对应人体对象的同行人；以及，将所述第二人体轨迹中对应的人体对象与所述第一人体轨迹对应的人体对象是同行人的第二人体轨迹，确定为所述第一人体轨迹的关联人体轨迹。
100.一种可能的实现方式中，所述第一人体轨迹存在对应的第一人体追踪标识，所述第二人体轨迹存在对应的第二人体追踪标识；关联模块用于基于所述第一人体特征和所述第二人体特征，将与所述第一人体轨迹对应的人体对象是同一人体对象的第二人体轨迹，确定为所述第一人体轨迹的关联人体轨迹，具体包括：基于所述第一人体特征和所述第二人体特征，对第一人体追踪标识和第二人体追踪标识进行聚类，得到类簇，与所述第一人体追踪标识处于同一类簇中的第二人体追踪标识所对应的第二人体轨迹是与所述第一人体轨迹对应的人体对象是同一人体对象的人体轨迹。
101.一种可能的实现方式中，用于采集所述第二视频的拍摄装置的数量为一个或多个，该多个拍摄装置的监控范围各不相同。
102.一种可能的实现方式中，本实施例提供的装置还可以包括报警模块，用于输出关于所述处理后的风险商品的报警信息。
103.一种可能的实现方式中，所述报警信息包括：所述第二视频的与所述处理后的风险商品相应的视频画面。
104.图8所示装置可以执行图2所示实施例提供的方法，本实施例未详细描述的部分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。
105.在一个可能的实现中，图8所示装置的结构可实现为一电子设备。如图9所示，该电子设备可以包括：处理器91和存储器92。其中，存储器92存储支持控制器执行上述图2所示实施例所提供方法的程序，处理器91被配置为用于执行存储器92中存储的程序。
106.程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器91执行时能够实现如下步骤：确定基于第一视频得到的第一人体轨迹对应的风险商品，以及基于第二视频得到的与所述第一人体轨迹关联的关联人体轨迹对应的应排除物品，所述第一视频和所述第二视频是由监控范围不同的拍摄装置采集得到；基于所述关联人体轨迹，对所述第一人体轨迹对应的风险商品进行相应处理，以从所述第一人体轨迹对应的风险商品中排除掉是所述关联人体轨迹对应的应排除物品的风险商品，得到处理后的风险商品。
107.可选的，处理器91还用于执行前述图2所示实施例中的全部或部分步骤。
108.其中，电子设备的结构中还可以包括通信接口93，用于电子设备与其他设备或通信网络通信。
109.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现如图2所示实施例所述的方法。
110.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动情况下，即可以理解并实施。
111.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
112.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
113.这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
114.这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
115.在一个典型的配置中，计算设备包括一个或多个处理器 (cpu)、输入/输出接口、网络接口和内存。
116.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram) 和/或非易失性内存等形式，如只读存储器 (rom) 或闪存(flash ram)。内存是计算机可读介质的示例。
117.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、链表、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
118.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。