对象计数方法、装置、计算机设备和存储介质与流程

1.本技术涉及视频处理领域，特别是涉及一种对象计数方法、装置、计算机设备和存储介质。


背景技术：

2.对象计数是指通过各种科学的方式，准确的记录来访某一区域的对象的流量信息。
3.现有技术中，利用流量统计算法实现待统计对象的计数。在计数的过程中，待统计对象可能会反复的进出统计区域，现有的对象计数算法会重复的统计，从而导致计数的不准确。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种对象计数方法、装置、计算机设备和存储介质。
5.第一方面，本发明实施例提出一种对象计数方法，所述方法包括：
6.基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域；
7.若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征；
8.基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征。
9.在一实施例中，所述参考步态特征包括历史时段中进入所述统计区域的历史对象的步态特征。
10.在一实施例中，所述基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域包括：
11.基于所述待处理视频，确定所述待统计对象的行动轨迹；
12.基于所述行动轨迹，确定所述行动轨迹的初始点；
13.当所述行动轨迹的初始点在所述统计区域外，且所述行动轨迹穿过所述统计区域进入统计区域内，则确定所述待统计对象进入所述统计区域。
14.在一实施例中，所述基于所述待处理视频，确定所述待统计对象的行动轨迹包括：
15.基于训练得到的第一检测模型，确定待处理视频的各视频帧中所述待统计对象的头肩位置；
16.基于所述各视频帧中所述待统计对象的头肩位置，得到所述待统计对象的头肩位置序列；
17.基于所述待统计对象的头肩位置序列，得到所述待统计对象的行动轨迹。
18.在一实施例中，所述对所述待统计对象的步态特征进行特征提取，获取待处理步态特征包括：确定所述待处理视频的各视频帧中的待统计对象的身体图像；
19.基于所述待统计对象的身体图像，得到身体图像掩码；
20.基于所述身体图像掩码，得到身体掩码序列；
21.基于所述身体掩码序列，利用训练得到的第二检测模型，得到所述待统计对象的待处理步态特征。
22.在一实施例中，所述基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数包括：
23.确定所述待处理步态特征与所述各参考步态特征的相似度；
24.当确定的各相似度中存在大于或等于设定的相似度阈值的相似度时，则不针对所述待统计对象进行计数；当确定的各相似度均小于设定的相似度阈值时，则针对所述待统计对象进行计数。
25.在一实施例中，当确定的各相似度中存在大于或等于设定的相似度阈值的相似度时，则针对所述待统计对象进入所述统计区域的次数进行计数。
26.在一实施例中，所述方法还包括：
27.基于所述包含待统计对象的待处理视频，确定所述待统计对象是否离开所述统计区域；
28.若确定所述待统计对象离开所述统计区域，则获取所述待统计对象进入及离开所述统计区域的时间；
29.基于所述待统计对象进入及离开所述统计区域的时间，确定所述待统计对象在所述统计区域的停留时间。
30.第二方面，本发明实施例提出一种对象计数装置，所述装置包括：
31.第一确定模块，用于基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域；
32.获取模块，用于若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征；
33.第二确定模块，用于基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征。
34.第三方面，本发明实施例提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
35.基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域；
36.若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征；
37.基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征。
38.第四方面，本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
39.基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域；
40.若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征；
41.基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征。
42.上述动作方法、装置、计算机设备和存储介质，通过基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域，若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征，基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征。利用待统计对象的待处理步态特征与各参考步态特征的比较，对重复进入统计区域的待统计对象不进行重复计数，提高对象计数的准确度。
附图说明
43.图1为一个实施例中对象计数方法的应用环境图；
44.图2为一个实施例中对象计数方法的流程示意图；
45.图3为一个实施例中是否进入统计区域确定方法的流程示意图；
46.图4为一个实施例中行动轨迹获得方法的流程示意图；
47.图5为一个实施例中待处理步态特征获得方法的流程示意图；
48.图6为一个实施例中是否对象计数判断方法的流程示意图；
49.图7为一个实施例中对象计数方法的整体流程示意图；
50.图8为一个实施例中对象计数装置的结构示意图；
51.图9为一个实施例中一个实施例中计算机设备的内部结构图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
53.本技术提供的一种对象计数方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102首先基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域，若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征，基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征，终端102再将计数结果发送到服务器104。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
54.在一实施例中，如图2所示，提供了一种对象计数方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
55.s202：基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域。
56.可以理解的是，待统计对象可以是人，也可以是动物等其他对象。
57.待处理视频一般为监控视频，监控设备对监控区域的待统计对象进行拍摄得到监
控视频。
58.本实施例是对进入统计区域的待统计对象的数量进行统计，因此需要判断待统计对象是否进入统计区域。
59.在一些应用场景中，统计区域可以是商场，待统计对象可以是人，最终实现人进入商场的计数。在其他一些应用场景中，统计区域可以是某一草原，待统计对象可以是牛，最终实现牛进入该草原的计数。可以理解的是，应用场景不同，待统计对象和统计区域都可以根据实际需求进行设定。
60.s204：若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征。
61.在本实施例中，通过提取待统计对象的步态特征，作为判断该统计对象在之前是否已经计数的依据。
62.s206：基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征。
63.可以理解的是，参考步态特征包括历史时段中进入所述统计区域的历史对象的步态特征。在一示例场景中，对进入某一商场的人进行计数，对当天重复已进入商场的人不重复计数，并对已经计数的人的步态特征进行保存。
64.考虑到在对象计数的过程中，待统计对象可能会反复的进出统计区域，现有的计数方法会重复的统计，从而导致计数的不准确。
65.针对现有计数方法存在的弊端，在本实施例中，需要判断统计对象在之前是否已经计数，具体通过待统计对象的待处理步态特征与已计数的历史对象的参考步态特征的比较，若该待统计对象之前没有被统计，则对所述待统计对象进行计数，反之，则不再对所述待统计对象进行计数，从而提高对象计数的准确度。
66.在一实施例中，如图3所示，基于包含待统计对象的待处理视频，确定所述待统计对象是否进入统计区域的方法包括：
67.s302：基于所述待处理视频，确定所述待统计对象的行动轨迹。
68.待处理视频记录待统计对象的行动过程，因此通过待处理视频可以分析得到待处理对象的行动轨迹。
69.s304：基于所述行动轨迹，确定所述行动轨迹的初始点。
70.s306：当所述行动轨迹的初始点在所述统计区域外，且所述行动轨迹穿过所述统计区域进入统计区域内，则确定所述待统计对象进入所述统计区域
71.可以理解的是，根据待统计对象的行动轨迹，也可以确定待统计对象是否离开统计区域。具体确定待统计对象是否离开统计区域的方法和确定是否进入统计区域的方法类似，因此不再赘述。在待统计对象进入和离开统计区域时，对相应的时间点进行记录，用于后续分析该待统计对象在统计区域内的停留时间。
72.在一实施例中，如图4所示，基于所述待处理视频，确定所述待统计对象的行动轨迹的方法包括：
73.s402：基于训练得到的第一检测模型，确定待处理视频的各视频帧中所述待统计对象的头肩位置。
74.首先，收集训练图片进行标注头肩的矩形框，使用yolo或其他目标检测框架进行
头肩的检测训练，得到第一检测模型。然后，对待处理视频分帧处理得到各视频帧，将各视频帧输入第一检测模型，对各视频帧进行检测头肩，并进行头肩的跟踪，得到待统计对象的头肩位置。
75.具体的，对于连续视频帧采用多部位关联跟踪算法进行跟踪和id创建，其中匈牙利算法对当前帧的某个待统计对象和前一帧的某个待统计对象进行匹配，卡尔曼滤波可以基于待统计对象前一时刻的位置，来预测当前时刻的位置，更准确的估计待统计对象的位置，使得同一个待统计对象的头肩和id一致。
76.通过待统计对象的id创建，以对待处理视频中的每个待处理对象进行区分。
77.s404：基于所述各视频帧中所述待统计对象的头肩位置，得到所述待统计对象的头肩位置序列。
78.各视频帧中待统计对象的头肩位置都会通过检测框进行标记，并按照视频帧的时序得到待统计对象的头肩位置序列。
79.s406：基于所述待统计对象的头肩位置序列，得到所述待统计对象的行动轨迹。
80.将待统计对象的头肩位置序列按照时序依次连接得到待统计对象的行动轨迹。
81.由于头肩检测更不容易受身体遮挡的影响，因此利用头肩位置更容易得到待统计对象的行动轨迹，且获得的行动轨迹与待统计对象的实际行动轨迹更接近，因此对于判断出待统计对象是否是进入统计区域更加准确。
82.在一实施例中，如图5所示，对所述待统计对象的步态特征进行特征提取，获取待处理步态特征的方法包括：
83.s502：确定所述待处理视频的各视频帧中的待统计对象的身体图像。
84.具体的，首先基于所述待处理视频，利用训练得到的第三检测模型，得到所述待处理视频的各视频帧中所述待统计对象的身体轮廓；然后对所述所述待统计对象的身体轮廓进行图像分割，得到所述待统计对象的身体图像。
85.训练第三检测模型的过程为：收集训练图片进行标注身体的矩形框，使用yolo或其他目标检测框架进行身体的检测训练，对标注的身体矩形框抠图作为小图，标注其身体轮廓，进行身体分割的深度学习模型训练，得到第三检测模型。
86.可以理解的是，第三检测模型与第一检测模型可以是两个单独的检测模型，也可以是一个总的检测模型，能够对头肩和身体进行检测。
87.在对各视频帧检测身体和头肩时，并进行头肩和身体关联跟踪。增加头肩类别检测主要是为了防止身体遮挡不稳定，利用头肩检测信息可以增强同一个待统计对象的跟踪的稳定性。例如当身体没有检测到，头肩检测到的时候，该待统计对象的跟踪id不会发生跳变，使得后续同一个待统计对象的身体图像序列不会发生中断。在跟踪过程中保存每一个待统计对象的身体检测框，用于步态特征的识别。
88.s504：基于所述待统计对象的身体图像，得到身体图像掩码。
89.对待统计对象的身体图像进行超目标分割，剥离身体区域和背景区域，得到身体图像掩码，将身体图像根据身体图像掩码进行二值化后，得到身体掩码序列。
90.相比于直接利用身体图像序列进行第一步态特征的提取，从身体图像中获取感兴趣区域的身体图像掩码，再得到身体掩码序列，再利用身体掩码序列进行第一步态特征的提取，更能够准确的提取到第一步态特征。
91.s506：基于所述身体图像掩码，得到身体掩码序列。
92.将身体掩码序列按照时序排列得到身体掩码序列。
93.s508：基于所述身体掩码序列，利用训练得到的第二检测模型，得到所述待统计对象的待处理步态特征。
94.第二检测模型为步态特征识别模型，用于提取待统计对象的步态特征。首先，利用身体图像序列进行训练得到第二检测模型，然后将身体图像序列输入第二检测模型，得到待统计对象的第一步态特征。
95.步态特征包括静态特征和动态特征。其中，静态特征包括身高体型、腿骨、关节、肌肉等生理特征；动态特征包括手臂摆幅，晃头晃脑、步频等。
96.在一实施例中，如图6所示，基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数的方法包括：
97.s602：确定所述待处理步态特征与所述各参考步态特征的相似度；
98.s604：当确定的各相似度中存在大于或等于设定的相似度阈值的相似度时，则不针对所述待统计对象进行计数；当确定的各相似度均小于设定的相似度阈值时，则针对所述待统计对象进行计数。
99.需要说明的是，在待统计对象计数之后都会对其步态特征进行存储作为参考步态特征，在本次对象计数结束或者在存储设定时间之后对其清空。
100.当第一步态特征与各参考步态特征的相似度均小于设定相似度阈值，则说明该待统计对象未统计过，则可以进行对象计数。当第一步态特征与其中一个参考步态特征的相似度大于或等于设定相似度阈值，则说明该待统计对象已经统计过，则不再进行对象计数。
101.在一实施例中，当确定的各相似度中存在大于或等于设定的相似度阈值的相似度时，则针对所述待统计对象进入所述统计区域的次数进行计数。通过对同一对象进入统计区域的次数，可以分析该对象的进店频次和购买欲望等更精细化的分析。
102.可以理解的是，步态特征可较长时间保持不变，可以做长时间去重，不用每日更新去重的特征底库。步态特征不受着装影响及低头等因素的影响，此外步态特征也不受待统计对象正面和背面的影响，因此抗干扰能力强。
103.图7是本发明实施例对象计数方法的整体流程示意图。如图7所示，基于待处理视频，确定各视频帧中待统计对象的头肩位置，从而获得头肩位置序列，并基于头肩位置序列确定行动轨迹。根据行动轨迹确定待统计对象是否进入统计区域，若是，则获取待处理步态特征，根据待处理步态特征及各参考步态特征判断其相似度是否大于设定的相似度阈值，若是，则保持待处理步态特征并计数。
104.应该理解的是，虽然图1
‑
7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1
‑
7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
105.在一实施例中，如图8所示，本发明提供了一种对象计数装置，所述装置包括：
106.第一确定模块802，用于基于包含待统计对象的待处理视频，确定所述待统计对象
是否进入统计区域；
107.获取模块804，用于若确定待统计对象进入所述统计区域，则对所述待统计对象的步态特征进行特征提取，获取待处理步态特征；
108.第二确定模块806，用于基于待处理步态特征与各参考步态特征的匹配程度，确定是否针对所述待统计对象进行计数；所述参考步态特征包括进入所述统计区域的历史对象的步态特征。获取模块
109.在一实施例中，所述参考步态特征包括历史时段中进入所述统计区域的历史对象的步态特征。
110.在一实施例中，第一确定模块包括：
111.轨迹确定模块，用于基于所述待处理视频，确定所述待统计对象的行动轨迹；
112.初始点确定模块，用于基于所述行动轨迹，确定所述行动轨迹的初始点
113.第一确定子模块，用于当所述行动轨迹的初始点在所述统计区域外，且所述行动轨迹穿过所述统计区域进入统计区域内，则确定所述待统计对象进入所述统计区域。
114.在一实施例中，轨迹获取模块包括：
115.头肩位置获取模块，用于基于训练得到的第一检测模型，确定待处理视频的各视频帧中所述待统计对象的头肩位置；
116.头肩位置序列获取模块，用于基于所述各视频帧中所述待统计对象的头肩位置，得到所述待统计对象的头肩位置序列；
117.轨迹获取子模块，用于基于所述各视频帧中所述待统计对象的头肩位置，得到所述待统计对象的头肩位置序列；
118.轨迹获取子模块，用于基于所述待统计对象的头肩位置序列，得到所述待统计对象的行动轨迹。
119.在一实施例中，获取模块包括：
120.第一获取子模块，用于确定所述待处理视频的各视频帧中的待统计对象的身体图像；
121.第二获取子模块，用于基于所述待统计对象的身体图像，得到身体图像掩码；
122.第三获取子模块，用于基于所述身体图像掩码，得到身体掩码序列；
123.第四获取子模块，用于基于所述身体掩码序列，利用训练得到的第二检测模型，得到所述待统计对象的待处理步态特征。
124.在一实施例中，第二获取模块还包括：
125.身体掩码序列获取模块，用于基于所述待统计对象的身体图像，得到身体图像掩码；基于所述身体图像掩码，得到身体掩码序列；
126.基于所述身体掩码序列，利用训练得到的第二检测模型，得到所述待统计对象的第一步态特征。
127.在一实施例中，第二确定模块包括：
128.相似度确定模块，用于确定所述待处理步态特征与所述各参考步态特征的相似度；
129.技术模块，用于当确定的各相似度中存在大于或等于设定的相似度阈值的相似度时，则不针对所述待统计对象进行计数；当确定的各相似度均小于设定的相似度阈值时，则
针对所述待统计对象进行计数。
130.在一实施例中，当确定的各相似度中存在大于或等于设定的相似度阈值的相似度时，则针对所述待统计对象进入所述统计区域的次数进行计数。在一实施例中，还包括计时模块，用于：
131.基于所述包含待统计对象的待处理视频，确定所述待统计对象是否离开所述统计区域；
132.若确定所述待统计对象离开所述统计区域，则获取所述待统计对象进入及离开所述统计区域的时间；
133.基于所述待统计对象进入及离开所述统计区域的时间，确定所述待统计对象在所述统计区域的停留时间。
134.关于对象计数装置的具体限定可以参见上文中对于对象计数方法的限定，在此不再赘述。上述对象计数装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
135.在一实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储动作检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任一项对象计数方法实施例中的步骤。
136.本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
137.在一实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项对象计数方法实施例中的步骤。
138.在一实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项对象计数方法实施例中的步骤。
139.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
140.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛
盾，都应当认为是本说明书记载的范围。
141.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。