一种用于实体零售场景的盗窃监测和追踪方法及系统与流程

1.本发明涉及计算机软件技术领域，更具体的涉及一种用于实体零售场景的盗窃监测和追踪方法及系统。


背景技术：

2.随着互联网技术和人工智能技术的不断发展，图像识别技术和人脸识别技术等计算机视觉技术被广泛应用在视频监控领域，计算机视觉技术发挥着至关重要的作用。
3.对于采用自选方式购物的实体零售商场或店铺等应用场景，商品/货品被盗窃会时常发生，由于该应用场景的人员流动快速，当发生商品/货品丢失或被盗，仅通过销售数据与现场商品数量的差异来感知盗窃行为发生，具有时间上的延迟性，且盗窃行为感知准确性较低；当感知到发生了商品被盗窃，仅凭人工方式对视频监控中的场景进行查看，对某些特定人员进行搜索和追踪，费时费力且效率低。


技术实现要素：

4.为了解决上述问题，本发明利用计算机视觉技术提供了一种用于实体零售场景的盗窃监测和追踪方法及系统。
5.本发明第一实施例提供了一种用于实体零售场景的盗窃监测和追踪系统，其包括：
6.货架缺货监测模块、去除店员模块、盗窃行为感知监测模块、数据处理模块、人员检索模块、行为轨迹拟合模块、数据库、多个货架采集摄像头和多个人员采集摄像头，其中：
7.所述货架采集摄像头被安放在能够拍摄货架正面的位置处，用于对货架及其上搁置的货品进行拍照，并将拍摄的照片发送到数据库进行保存；
8.所述人员采集摄像头被安放在能够拍摄到位于实体零售场景内的人员的面部和身体的位置处，用于对人员进行拍照，并将拍摄的照片发送到数据库进行保存；
9.所述货架缺货监测模块用于控制货架采集摄像头对货架进行拍照的角度，对获得的货架正面的图像照片进行处理，将货架分割出多个货架单元，识别出所分割出的货架单元里是否发生缺货现象，并将缺货信息发送给去除店员模块，该缺货信息包括缺货所在的货架单元和出现缺货的照片形成的时间；
10.所述去除店员模块用于在接收到缺货信息后，控制缺货所在的货架单元附近的人员采集摄像头的拍照角度以便拍摄该缺货所在的货架单元前和附近位置的照片数据或视频数据，并且对获得的照片数据或视频数据进行处理以识别所拍的人里是否有营业员，如果有营业员则不做处理，如果没有营业员则将接收的缺货信息发给盗窃行为感知监测模块；
11.所述盗窃行为感知监测模块用于在接到缺货信息后从数据库中获取与缺货所在货架单元对应放置的货品信息，基于出现缺货的照片形成的时间确定缺货发生的时间段，调用实体零售场景的销售系统，确认在预定时间内所述缺货的货品是否已经全部结账；如
果已经全部结账则不做处理，如果没有全部结账则给数据处理模块发送启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息；
12.所述数据处理模块用于在接收到启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息后，从数据库获取在所述货架单元附近的人员采集摄像头在所述缺货发生的时间段拍摄的照片数据或视频数据，从获取的照片数据或视频数据中选择一个或多个目标人物并提取目标人物的人体特征信息，将目标人物照片和提取的人体特征信息发送到数据库进行保存，同时给人员检索模块发送检索所述目标人物的指令和缺货发生的时间段信息；
13.所述人员检索模块用于在接到检索所述目标人物的指令和缺货发生的时间段信息后从数据库获取所述目标人物的照片和所述提取的人体特征信息，并且以人员采集摄像头的编号为索引号从数据库上获取在缺货发生的时间段内及以后的预设时间该编号的人员采集摄像头拍摄的照片数据或视频数据、和该编号的人员采集摄像头所在位置，从获取的照片数据或视频数据中进行人物检测并提取人体特征信息，将提取的人体特征信息与获取的目标人物的人体特征信息进行相似度度量计算，将相似度度量最大的照片数据或视频数据中的人物作为目标人物，记录下该照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置并发送给行为轨迹拟合模块；
14.所述行为轨迹拟合模块用于基于接收到的存在目标人物的照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置，按序整理目标人物出现的全部信息，包括但不限于人员采集摄像头的编号、该编号的人员采集摄像头所在位置、照片数据或视频数据的形成时间，以人员采集摄像头所在位置和所述形成时间为线索，在实体零售场景的平面图中拟合出目标人物的行动轨迹；
15.数据库用于存储在实体零售场景中工作的营业员的照片及其人体特征信息、货架单元信息、货品信息、货架单元信息与所放置的之间的对应关系、货架采集摄像头的编号和与相应货架之间的对应关系、人员采集摄像头的编号及其所在位置。
16.其中，使用所述数据处理模块来选择目标人物的过程中由人工来进行选择操作。
17.其中，所述系统还包括特征信息更新模块，用于对于从多个人员采集摄像头拍摄的照片数据或视频数据中提取的人体特征信息保存，其中对于不同的人体特征信息进行追加保存，对于相同的人体特征信息进行更新保存。
18.本发明第二实施例提供了一种使用上述盗窃监测和追踪系统来执行用于实体零售场景的盗窃监测和追踪方法，其包括：
19.使用安放在能够拍摄货架正面的位置处的货架采集摄像头对货架及其上搁置的货品进行拍照，并将拍摄的照片发送到数据库进行保存；
20.使用安放在能够拍摄到位于实体零售场景内的人员的面部和身体的位置处的人员采集摄像头对人员进行拍照，并将拍摄的照片发送到数据库进行保存；
21.使用货架缺货监测模块控制货架采集摄像头对货架的拍照角度，对获得的货架正面的图像照片进行处理，将货架分割出多个货架单元，识别出所分割出的货架单元里是否发生缺货现象，并将缺货信息发送给去除店员模块，该缺货信息包括缺货所在的货架单元
和出现缺货的照片形成的时间；
22.使用去除店员模块接收来自货架缺货监测模块的缺货信息，控制缺货所在的货架单元附近的人员采集摄像头的拍照角度以便拍摄该缺货所在的货架单元前和附近位置的照片数据或视频数据，并且对获得的照片数据或视频数据进行处理以识别所拍的人里是否有营业员，如果有营业员则不做处理，如果没有营业员则将接收的缺货信息发给盗窃行为感知监测模块；
23.使用盗窃行为感知监测模块接收来自去除店员模块的缺货信息，从数据库中获取与缺货所在货架单元对应放置的货品信息，基于出现缺货的照片形成的时间确定缺货发生的时间段，调用实体零售场景的销售系统，确认在预定时间内所述缺货的货品是否已经全部结账；如果已经全部结账则不做处理，如果没有全部结账则给数据处理模块发送启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息；
24.使用数据处理模块接收来自盗窃行为感知监测模块的启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息，从数据库获取在所述货架单元附近的人员采集摄像头在所述缺货发生的时间段拍摄的照片数据或视频数据，从获取的照片数据或视频数据中选择一个或多个目标人物并提取目标人物的人体特征信息，将目标人物照片和提取的人体特征信息发送到数据库进行保存，同时给人员检索模块发送检索所述目标人物的指令和缺货发生的时间段信息；
25.使用人员检索模块接收来自数据处理模块的检索所述目标人物的指令和缺货发生的时间段信息，从数据库获取所述目标人物的照片和所述提取的人体特征信息，并且以人员采集摄像头的编号为索引号从数据库上获取在缺货发生的时间段内及以后的预设时间该编号的人员采集摄像头拍摄的照片数据或视频数据、和该编号的人员采集摄像头所在位置，从获取的照片数据或视频数据中进行人物检测并提取人体特征信息，将提取的人体特征信息与获取的目标人物的人体特征信息进行相似度度量计算，将相似度度量最大的照片数据或视频数据中的人物作为目标人物，记录下该照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置并发送给行为轨迹拟合模块；
26.使用行为轨迹拟合模块基于接收到的存在目标人物的照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置，按序整理目标人物出现的全部信息，包括但不限于人员采集摄像头的编号、该编号的人员采集摄像头所在位置、照片数据或视频数据的形成时间，以人员采集摄像头所在位置和所述形成时间为线索，在实体零售场景的平面图中拟合出目标人物的行动轨迹。
27.其中，在选择目标人物的过程中由人工来进行选择操作。
28.其中，所述方法还包括对于从多个人员采集摄像头拍摄的照片数据或视频数据中提取的人体特征信息保存，其中对于不同的人体特征信息进行追加保存，对于相同的人体特征信息进行更新保存。
29.与现有技术相比，本发明的有益效果是：
30.本发明提供的盗窃监测和追踪方法和系统主要针对实行自选购物的实体商场和超市等实体零售场景，通过计算机视觉技术对监控的图片信息或视频信息进行处理和分析，通过对货架是否发生缺货现象并与销售流水系统进行配合判断，能够快速感知实体零
售场景内可能发生的盗窃行为，针对某个地点和时段的特定人员，进行该特定人员的快速检索和轨迹跟踪，例如盗窃嫌疑人的跟踪和取证，并根据分析结果拟合出特定人员的行动轨迹，本发明也可以对在实体零售场景中走丢的儿童进行快速搜索和定位，这大大提高了工作效率，降低了用人成本。
附图说明
31.图1为一种用于实体零售场景的盗窃监测和追踪系统的示意性框图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.术语：ar码(aruco marker)，是一种汉明(海明)码的格子图，根据不同尺寸的黑白方块组合，内部含有二进制矩阵，内部的二进制矩阵决定了它们的id，所以可以用来表示唯一的标识符id。
34.图1为一种用于实体零售场景的盗窃监测和追踪系统的示意性框图。如图1所示，本发明第一实施例提供了一种用于实体零售场景的盗窃监测和追踪系统，其包括：
35.货架缺货监测模块、去除店员模块、盗窃行为感知监测模块、数据处理模块、人员检索模块、行为轨迹拟合模块、数据库、多个货架采集摄像头和多个人员采集摄像头。
36.所述货架采集摄像头被安放在能够拍摄货架正面的位置处，用于对货架及其上搁置的货品进行拍照，并将拍摄的照片发送到数据库进行保存。
37.所述人员采集摄像头被安放在能够拍摄到位于实体零售场景内的人员的面部和身体的位置处，用于对人员进行拍照，并将拍摄的照片发送到数据库进行保存。
38.所述货架缺货监测模块用于控制货架采集摄像头对货架进行拍照的角度，对获得的货架正面的图像照片进行处理，将货架分割出多个货架单元，识别出所分割出的货架单元里是否发生缺货现象，并将缺货信息发送给去除店员模块，该缺货信息包括缺货所在的货架单元和出现缺货的照片形成的时间。对货架进行分割是指通过对图像的识别和处理对整个货架按行和列进行分割。缺货识别是通过现有的深度学习算法对货架的缺货情况进行识别，通过结合货架分割信息和缺货发生的位置，能够定位到一排货架的第几行且第几列的位置发生了缺货现象。为了更准确的做到这一点，可以在不同货架单元之间粘贴ar码或者棋盘码等标志，用于分割不同货架单元。货架缺货监测模块使用神经卷积网络，对标志、价签进行检测，划分格子，启动缺货识别，最后识别出货架号 段列号，由此确定缺货情况发生在哪一个货架单元，即货架的第几行且第几列的位置。
39.所述去除店员模块用于在接收到缺货信息后，控制缺货所在的货架单元附近的人员采集摄像头的拍照角度以便拍摄该缺货所在的货架单元前和附近位置的照片数据或视频数据，并且对获得的照片数据或视频数据进行处理以识别所拍的人里是否有营业员，如果有营业员则不做处理，如果没有营业员则将接收的缺货信息发给盗窃行为感知监测模块。在通过调用人员采集摄像头拍摄当前货架前有人的图片或视频，对图片或视频中的人
进行识别，将识别出的人物特征信息与数据库中保存的每个营业员的人物特征信息进行比对，由此可以判断该人是否为营业员。如果该人是营业员，此时的缺货现象不认为因为盗窃行为而发生的缺货，由此可以避免因为营业员的移动货架上的商品造成的假缺货现象，保证系统判断商品被盗行为的准确性。
40.所述盗窃行为感知监测模块用于在接到缺货信息后从数据库中获取与缺货所在货架单元对应放置的货品信息，基于出现缺货的照片形成的时间确定缺货发生的时间段，调用实体零售场景的销售系统，确认在预定时间内所述缺货的货品是否已经全部结账；如果已经全部结账则不做处理，如果没有全部结账则给数据处理模块发送启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息。
41.搜索时间范围定义：
42.t
0-σ≤t≤t0 αtn σ
43.其中：t0为发生缺货的时间，tn为缺货所在的货架到收银台的正常步行时间,tn是预存在数据库中，α为步行速度偏差系数，σ为搜索时长偏移量。在调取监控视频时，可通过调整σ来限定搜索的时间段。
44.在确定缺货发生的时间段时，可以采用冗余策略，即为了后续确认潜在偷窃行为的目标人物，可以基于出现缺货的照片形成的时间分别向前和向后扩展预设时刻，形成一段时间，该向前和向后扩展的预设时刻可以根据经验值或实验数据进行设置。例如，基于出现缺货的照片形成的时间是15:20，则确定缺货发生的时间段可以是15:10-15:30，当然也可以在其他时长的时间段。
45.所述数据处理模块用于在接收到启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息后，从数据库获取在所述货架单元附近的人员采集摄像头在所述缺货发生的时间段拍摄的照片数据或视频数据，从获取的照片数据或视频数据中选择一个或多个目标人物并提取目标人物的人体特征信息，将目标人物照片和提取的人体特征信息发送到数据库进行保存，同时给人员检索模块发送检索所述目标人物的指令和缺货发生的时间段信息。其中使用所述数据处理模块来选择目标人物的过程中由人工来进行选择操作。
46.选择可疑的目标人物的图片方式有两种：方法一：该数据处理模块自动识别出照片或视频中的人，然后人工手动方式来选择目标人物；方法二：用人工方式从该数据处理模块显示的照片或视频中框选出目标人物。如果采用方法一个，则该数据处理模块能够自动将识别出的人框选出来，用人工方式调整框的大小。
47.在提取目标人物的人体特征信息过程中，用户可以通过数据处理模块调取和显示一张或多张目标人物的照片，如果选择多张照片，该数据处理模块会自动识别所选择的多张照片中的目标人物的各角度的面部特征和姿态特征，基于现有技术来提取目标人物的人体特征信息，将目标人物照片和提取的人体特征信息保存到数据库中。
48.所述人员检索模块用于在接到检索所述目标人物的指令和缺货发生的时间段信息后，从数据库获取所述目标人物的照片和所述提取的人体特征信息，并且以人员采集摄像头的编号为索引号从数据库上获取在缺货发生的时间段内及以后的预设时间该编号的人员采集摄像头拍摄的照片数据或视频数据、和该编号的人员采集摄像头所在位置，从获取的照片数据或视频数据中进行人物检测并提取人体特征信息，将提取的人体特征信息与获取的目标人物的人体特征信息进行相似度度量计算，将相似度度量最大的照片数据或视
频数据中的人物作为目标人物，记录下该照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置并发送给行为轨迹拟合模块。
49.为了检索目标人物的行为轨迹，所述人员检索模块首先基于指令中给出的所述目标人物的id号或其他预定标识，从数据库获取所述目标人物的照片和所述提取的人体特征信息，然后需要从数据库里获取所有的人员采集摄像头拍摄的照片数据或视频数据，并且以人员采集摄像头的编号为索引号来获取该人员采集摄像头在缺货发生的时间段内及以后的预设时间拍摄的照片数据或视频数据、和该编号的人员采集摄像头所在位置，所述缺货发生以后的预设时间可以是从缺货发生的时间到开始进行目标人物检索的当前时间，也可以是从缺货发生的时间到预估所述目标人物离开实体零售场景的合理时间，对该组数据进行处理以搜索是否存在目标人物，将具有目标人物的该组数据进行保存，该组数据包括但不限于：存在目标人物的照片数据或视频数据、人体特征信息、该照片数据或视频数据的形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置等。
50.所述行为轨迹拟合模块用于基于接收到的存在目标人物的照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置，按序整理目标人物出现的全部信息，包括但不限于人员采集摄像头的编号、该编号的人员采集摄像头所在位置、照片数据或视频数据的形成时间，以人员采集摄像头所在位置和所述照片数据或视频数据的形成时间为线索，在实体零售场景的平面图中拟合出目标人物的行动轨迹。
51.其中人员采集摄像头所在位置可以是在实体零售场景的平面图中预先标识的位置。这样基于所述照片数据或视频数据的形成时间的先后顺序和相应的人员采集摄像头所在位置，可以在实体零售场景的平面图中画出若干的点迹，将所有的点迹连成线，就拟合出目标人物的行动轨迹，由此可以追踪目标人物。
52.下面详细介绍一下本发明使用的行为轨迹拟合算法。
53.使用单应性变换方法对出现在照片或视频中的人物进行平面定位，并根据若干平面定位点拟合出人物的行动轨迹。行为轨迹拟合算法分为两个步骤：单应性矩阵计算和目标人物的平面坐标定位。
54.1)单应性矩阵计算
55.首先，针对每个人员采集摄像头，采集一张所拍摄的照片或视频中提取的图片，在照片或图片中选择4个位置固定不变的目标点，记录下图像坐标为(x
c1
,y
c1
)～(x
c4
,y
c4
)；然后在现场平面图上找到这4个目标点的平面坐标，记录平面坐标为(x
p1
,y
p1
)～(x
p4
,y
p4
)。单应性变换公式如下：
[0056][0057]
根据4组目标点的图像坐标和平面坐标，可求解出每个人员采集摄像头对应的单应性矩阵h，单应性矩阵h的展开式如下：
[0058][0059]
2)目标人物的平面坐标定位
[0060]
针对每个人员采集摄像头拍摄的每帧图像，通过现有技术公开的人检测算法检测出目标人物中心点在图像上的图像坐标(x
t
,y
t
)，则根据该人员采集摄像头的单应性矩阵h可计算出目标人物在场景平面图上的坐标(xr,yr)，公式如下：
[0061][0062]
至此，就将目标人物在图像中的位置换算成实体零售场景平面图的位置，通过多个位置信息就能拟合出目标人物在选取的时间范围内的平面行动轨迹。
[0063]
下面详细简单一下本发明使用的特征提取及匹配策略。
[0064]
人体特征信息提取：本发明提供的盗窃监测和追踪系统集成了多种已知的特征提取方法，例如传统方法，如haar、hog等，分别从纹理、颜色、形状、梯度、角点等多角度提取特征信息。使用的深度学习方法，如卷积神经网络，还支持多特征融合使用。
[0065]
多特征融合策略：采用了特征拼接和线性组合。
[0066]
特征x1＝[x
11
,x
12
,
…
x
1n
]，特征x2＝[x
21
,x
22
,
…
x
2n
]，特征x3＝[x
31
,x
32
,
…
x
3n
]，新特征为：x＝α[x
11
,x
12
,
…
x
1n
,x
21
,x
22
,
…
x
2n
] β[x
31
,x
32
,
…
x
3n
]
[0067]
特征匹配策略：可以采用现有已知的最小匹配算法、平均匹配算法、快速匹配算法等，这里不在赘述。
[0068]
在多次测试和对比实验之后，本发明采用深度学习特征和颜色直方图特征的融合结果作为最终的匹配特征，特征匹配算法采用平均匹配算法。用户可在本发明提供的盗窃监测和追踪系统软件上选择任意几种特征的融合和匹配算法，以达到最佳的检索精度。
[0069]
数据库用于存储在实体零售场景中工作的营业员的照片及其人体特征信息、货架信息、每个货架的货架单元信息、货品信息、货架单元信息与所放置的之间的对应关系、货架采集摄像头的编号和与相应货架之间的对应关系、人员采集摄像头的编号及其所在位置，还会存储或预先存储其他需要的或是必要的数据信息。
[0070]
上面讲述的用数据库保存所述人体特征信息，可以根据人物id、时间等对特征信息进行保存和更新。如果是视频场景，数据库中还会包含人物所属的视频名，以及人物出现的时间等。
[0071]
优选的，所述用于实体零售场景的盗窃监测和追踪系统还包括特征信息更新模块，用于对于从多个人员采集摄像头拍摄的照片数据或视频数据中提取的人体特征信息保存，其中对于不同的人体特征信息进行追加保存，对于相同的人体特征信息进行更新保存。另外，更广泛的，该更新模块可以采用对人体特征信息不断的追加保存、或者不断的替换保存以便只保留最新的特征信息、或者只保存有效的特征信息等保存方式，同时支持数据的定期删除与备份。
[0072]
所述人体特征信息保存除了上述的数据库保存之外，还可以采用文件保存方式。
文件保存是按照用户组进行人员分类，每个person_id是一个文件夹，特征文件的存储格式可以是单独的特征二进制文件，多张图片对应多个特征文件，也可以是一个总的特征文件，例如tfrecords形式等，可以不断追加。无论哪种形式的文件，都会进行文件加密，保护信息安全。
[0073]
本发明第二实施例使用第一实施例所述的盗窃监测和追踪系统来执行用于实体零售场景的盗窃监测和追踪方法，其包括：
[0074]
使用安放在能够拍摄货架正面的位置处的货架采集摄像头对货架及其上搁置的货品进行拍照，并将拍摄的照片发送到数据库进行保存；
[0075]
使用安放在能够拍摄到位于实体零售场景内的人员的面部和身体的位置处的人员采集摄像头对人员进行拍照，并将拍摄的照片发送到数据库进行保存；
[0076]
使用货架缺货监测模块控制货架采集摄像头对货架的拍照角度，对获得的货架正面的图像照片进行处理，将货架分割出多个货架单元，识别出所分割出的货架单元里是否发生缺货现象，并将缺货信息发送给去除店员模块，该缺货信息包括缺货所在的货架单元和出现缺货的照片形成的时间；
[0077]
使用去除店员模块接收来自货架缺货监测模块的缺货信息，控制缺货所在的货架单元附近的人员采集摄像头的拍照角度以便拍摄该缺货所在的货架单元前和附近位置的照片数据或视频数据，并且对获得的照片数据或视频数据进行处理以识别所拍的人里是否有营业员，如果有营业员则不做处理，如果没有营业员则将接收的缺货信息发给盗窃行为感知监测模块；
[0078]
使用盗窃行为感知监测模块接收来自去除店员模块的缺货信息，从数据库中获取与缺货所在货架单元对应放置的货品信息，基于出现缺货的照片形成的时间确定缺货发生的时间段，调用实体零售场景的销售系统，确认在预定时间内所述缺货的货品是否已经全部结账；如果已经全部结账则不做处理，如果没有全部结账则给数据处理模块发送启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息；
[0079]
使用数据处理模块接收来自盗窃行为感知监测模块的启动指令和缺货所在的货架单元信息以及缺货发生的时间段信息，从数据库获取在所述货架单元附近的人员采集摄像头在所述缺货发生的时间段拍摄的照片数据或视频数据，从获取的照片数据或视频数据中选择一个或多个目标人物并提取目标人物的人体特征信息，将目标人物照片和提取的人体特征信息发送到数据库进行保存，同时给人员检索模块发送检索所述目标人物的指令和缺货发生的时间段信息；
[0080]
使用人员检索模块接收来自数据处理模块的检索所述目标人物的指令和缺货发生的时间段信息，从数据库获取所述目标人物的照片和所述提取的人体特征信息，并且以人员采集摄像头的编号为索引号从数据库上获取在缺货发生的时间段内及以后的预设时间该编号的人员采集摄像头拍摄的照片数据或视频数据、和该编号的人员采集摄像头所在位置，从获取的照片数据或视频数据中进行人物检测并提取人体特征信息，将提取的人体特征信息与获取的目标人物的人体特征信息进行相似度度量计算，将相似度度量最大的照片数据或视频数据中的人物作为目标人物，记录下该照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置并发送给行为轨迹拟合模块；
[0081]
使用行为轨迹拟合模块基于接收到的存在目标人物的照片数据或视频数据及其形成时间、拍摄该照片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置，按序整理目标人物出现的全部信息，包括但不限于人员采集摄像头的编号、该编号的人员采集摄像头所在位置、照片数据或视频数据的形成时间，以人员采集摄像头所在位置和所述形成时间为线索，在实体零售场景的平面图中拟合出目标人物的行动轨迹。
[0082]
其中，在选择目标人物的过程中由人工来进行选择操作。
[0083]
其中，所述用于实体零售场景的盗窃监测和追踪方法还包括对于从多个人员采集摄像头拍摄的照片数据或视频数据中提取的人体特征信息保存，其中对于不同的人体特征信息进行追加保存，对于相同的人体特征信息进行更新保存。
[0084]
综上所述，由于本发明第二实施例用于实体零售场景的盗窃监测和追踪方法是使用第一实施例所述的盗窃监测和追踪系统来完成的，因此对于第一实施例及相应的优选实施例中列举的例子和相关描述，同样适用于解释第二实施例描述的盗窃监测和追踪方法，在此不再重复描述。
[0085]
本发明提供的盗窃监测和追踪方法和系统主要针对实行自选购物的实体商场和超市等实体零售场景，通过计算机视觉技术对监控的图片信息或视频信息进行处理和分析，通过对货架是否发生缺货现象并与销售流水系统进行配合判断，能够快速感知实体零售场景内可能发生的盗窃行为，针对某个地点和时段的特定人员，进行该特定人员的快速检索和轨迹跟踪，例如盗窃嫌疑人的跟踪和取证，并根据分析结果拟合出特定人员的行动轨迹，本发明也可以对在实体零售场景中走丢的儿童进行快速搜索和定位，这大大提高了工作效率，降低了用人成本。
[0086]
以上内容是结合具体实施方式对本发明作进一步详细说明，不能认定本发明具体实施只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以作出若干简单的推演或替换，都应当视为属于本发明所提交的权利要求书确定的保护范围。