实时行人数量统计方法、装置、相机和服务器与流程

1.本技术属于计算机视觉领域，具体涉及一种实时行人数量统计方法、装置、内置ai芯片的相机和云端服务器。


背景技术：

2.在线行人计数是计算机视觉的较为常见的应用之一，随着计算机视觉算法与ai芯片的不断进步与发展，以及安防、商超等公共场所的迫切需求，尤其受2020年新冠疫情影响，行人计数技术能够为社区、校园、医院、机场等公共场所提供客流数量，为决策者提供更加准确的参考依据等。
3.在实现本技术过程中，发明人发现当前主流的行人在线计数算法限制条件众多，对于身着相似服装的行人难以区分，以及对于换装之后的行人往往会重复计数。目前至少存在如下问题：目前的行人检测算法难以区分同一行人身着不同服装，对于换装之后的行人往往会重复计数，并且对于着装相似的行人又会存在漏计数的技术问题。


技术实现要素：

4.本技术实施例的目的是提供实时行人数量统计方法、装置、内置ai芯片的相机和云端服务器，能够解决目前的行人重识别算法难以区分同一行人身着不同服装，对于换装之后的行人往往会重复计数，并且对于着装相似的行人又会存在漏计数的技术问题。
5.为了解决上述技术问题，本技术是这样实现的：
6.第一方面，本技术实施例提供了一种实时行人数量统计方法，应用于内置ai芯片的相机或者云端服务器，包括：
7.获取拍摄的m张图像；
8.采用目标检测算法，对所述m张图像中的每一张图像进行目标检测；
9.根据目标检测结果对所述m张图像进行裁剪处理，以得到n张目标图像，其中，每一张所述目标图像仅包括一位目标行人；
10.采用行人重识别算法以得到与所述n张目标图像对应的特征图，并根据所述特征图逐张计算当前目标图像与重识别图像库中的目标图像的最高相似度值，其中，所述重识别图像库中的目标图像为已经经过相似度计算且被加入到所述重识别图像库中的所述目标图像；
11.在所述最高相似度值低于第一阈值时，将所述当前目标图像对应的目标行人定义为新人，将所述当前目标图像加入到所述重识别图像库中，行人数量加1；在所述最高相似度值高于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，将所述当前目标图像与相似图像一同加入到相应的个人图像库中，行人数量不变，其中，所述相似图像为与所述当前目标图像的相似度值高于所述第一阈值的图像；
12.采用人脸检测算法与人脸识别算法，对所述重识别图像库以及所述个人图像库中的所述目标图像进行人脸识别；
13.在所述重识别图像库中存在两张所述目标图像之间的相似度值高于第二阈值时，将两张所述目标图像建立关联关系，行人数量减1；在所述个人图像库中存在两张所述目标图像之间的相似度值低于所述第二阈值时，行人数量加1。
14.进一步地，在所述获取拍摄的m张图像之前，还包括：
15.通过所述相机拍摄所述m张图像，所述相机的架设高度为3米，架设角度为俯视15度，焦距大于6毫米。
16.进一步地，所述通过所述相机拍摄m张图像，具体为：
17.通过所述相机以预设的时间间隔拍摄所述m张图像。
18.进一步地，在所述获取拍摄的m张图像之后，还包括：
19.通过蒙版确定有效区域；
20.采用目标检测算法，对所述m张图像中的每一张图像进行目标检测，具体为：
21.采用目标检测算法，对所述m张图像中的每一张图像的所述有效区域内的目标进行目标检测。
22.进一步地，所述采用行人重识别算法以得到与所述n张目标图像对应的特征图，并根据所述特征图逐张计算当前目标图像与重识别图像库中的目标图像的最高相似度值，具体包括：
23.采用行人重识别算法以得到与所述n张目标图像对应的特征图；
24.采用搜索算法，从重识别图像库中搜索出与所述当前目标图像的所述特征图相似的一个或多个相似图像；
25.分别计算所述当前目标图像的所述特征图与所述一个或多个相似图像的相似度值；
26.确定所述当前目标图像的所述特征图与所述一个或多个相似图像的最高相似度值。
27.第二方面，本技术实施例提供了一种实时行人数量统计装置，应用于内置ai芯片的相机或者云端服务器，包括：
28.获取模块，用于获取拍摄的m张图像；
29.检测模块，用于采用目标检测算法，对所述m张图像中的每一张图像进行目标检测；
30.裁剪模块，用于根据目标检测结果对所述m张图像进行裁剪处理，以得到n张目标图像，其中，每一张所述目标图像仅包括一位目标行人；
31.计算模块，用于采用行人重识别算法以得到与所述n张目标图像对应的特征图，并根据所述特征图逐张计算当前目标图像与重识别图像库中的目标图像的最高相似度值，其中，所述重识别图像库中的目标图像为已经经过相似度计算且被加入到所述重识别图像库中的所述目标图像；
32.入库模块，用于在所述最高相似度值低于第一阈值时，将所述当前目标图像对应的目标行人定义为新人，将所述当前目标图像加入到所述图像库中，行人数量加1；在所述最高相似度值高于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，将所述当前目标图像与相似图像一同加入到相应的个人图像库中，行人数量不变，其中，所述相似图像为与所述当前目标图像的相似度值高于所述第一阈值的图像；
33.识别模块，用于采用人脸检测算法与人脸识别算法，对所述重识别图像库以及所述个人图像库中的所述目标图像进行人脸识别；
34.关联模块，用于在所述重识别图像库中存在两张所述目标图像之间的相似度值高于第二阈值时，将两张所述目标图像建立关联关系，行人数量减1；在所述个人图像库中存在两张所述目标图像之间的相似度值低于所述第二阈值时，行人数量加1。
35.进一步地，所述装置还包括：
36.拍摄模块，用于通过所述相机拍摄所述m张图像，所述相机的架设高度为3米，架设角度为俯视15度，焦距大于6毫米。
37.进一步地，所述拍摄模块，具体用于通过所述相机以预设的时间间隔拍摄所述m张图像。
38.进一步地，所述装置还包括：
39.蒙版模块，用于通过蒙版确定有效区域；
40.所述检测模块，具体用于采用目标检测算法，对所述m张图像中的每一张图像的所述有效区域内的目标进行目标检测。
41.进一步地，所述计算模块，具体包括：
42.特征子模块，用于采用行人重识别算法以得到与所述n张目标图像对应的特征图；
43.搜索子模块，用于采用搜索算法，从重识别图像库中搜索出与所述当前目标图像的所述特征图相似的一个或多个相似图像；
44.计算子模块，用于分别计算所述当前目标图像的所述特征图与所述一个或多个相似图像的相似度值；
45.确定子模块，用于确定所述当前目标图像的所述特征图与所述一个或多个相似图像的最高相似度值。
46.第三方面，本技术实施例提供了一种内置ai芯片的相机，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的行人数量统计方法的步骤。
47.第四方面，本技术实施例提供了一种云端服务器，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的行人数量统计方法的步骤。
48.在本技术实施例中，一方面，对于换装之后的同一行人经过第一阶段的行人重识别算法时被算作两个新人并入库，行人数量比实际数量多1人，在第二阶段的对于重识别图像库中的目标图像进行人脸识别之后，会被重新定义为同一人，将对行人数量进行减1，另一方面，对于着装相似的两个行人经过第一阶段的行人重识别算法时仅被算作一人入库，行人数量比实际数量少1人，在第二阶段的对于个人图像库中的目标图像进行人脸识别之后，会被重新定义为两个人，将对行人数量进行加1，以此对换装之后重复计数的错误结果进行纠正，最终得到准确的行人数量。
附图说明
49.图1是本技术实施例提供的一种实行人数量统计方法的流程示意图；
50.图2是本技术实施例提供的另一种实行人数量统计方法的流程示意图；
51.图3是本技术实施例提供的一种实时行人数量统计装置的结构示意图。
52.本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。
具体实施方式
53.为使本发明的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
54.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
55.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的摄影设备进行详细地说明。
56.实施例一
57.参照图1，示出了本技术实施例提供的一种实行人数量统计方法的流程示意图，应用于内置ai芯片的相机或者云端服务器，具体地，相机可以是浙江汉朔电子科技有限公司生产的睿见智能相机。
58.具体地，内置ai芯片的相机，含有dsp芯片，支持caffe、tensorflow、pytorch等框架的深度学习算子。
59.实时行人数量统计方法包括：
60.s101：获取拍摄的m张图像。
61.可选地，通过摄像机拍摄m张图像。
62.可选地，m张图像可以由多台摄像机共同拍摄获得。
63.s102：采用目标检测算法，对m张图像中的每一张图像进行目标检测。
64.可选地，目标检测算法可以选用yolov3、tiny
‑
yolo、faster
‑
rcnn、ssd等算法。
65.s103：根据目标检测结果对m张图像进行裁剪处理，以得到n张目标图像，其中，每一张目标图像仅包括一位目标行人。
66.可以理解的是，目标检测结果可以包括目标行人在目标图像中的坐标位置，可以对目标行人的位置进行标识，具体的用虚拟的检测框框选出目标行人，进而可以根据检测框对原始图像进行剪裁，得到每张图像上仅包括一个目标行人的目标图像。
67.可选地，根据置信度算法裁剪出合适大小的目标图像，并且可以进一步地保证每张目标图像上仅包括一个目标行人。
68.s104：采用行人重识别算法以得到与n张目标图像对应的特征图，并根据特征图逐张计算当前目标图像与重识别图像库中的目标图像的最高相似度值，其中，重识别图像库中的目标图像为已经经过相似度计算且被加入到重识别图像库中的目标图像。
69.可选地，通过backbone网络对n张目标图像中的行人特征进行识别。可选地，行人重识别算法可以采用京东fast
‑
reid工具箱中的重识别算法、reid
‑
strong
‑
baseline等。
70.需要说明的是，通过行人重识别算法可以判断两张目标图像中对应的行人是否为同一人。
71.s105：在最高相似度值低于第一阈值时，将当前目标图像对应的目标行人定义为新人，将当前目标图像加入到重识别图像库中，行人数量加1，在最高相似度值高于第一阈值时，将当前目标图像对应的目标行人定义为非新人，将当前目标图像与相似图像一同加入到相应的个人图像库中，行人数量不变，其中，相似图像为与当前目标图像的相似度值高于第一阈值的图像。
72.其中，第一阈值可以根据实际需要进行选取。
73.可选地，重识别图像库与个人图像库可以是设置于不同存储空间的两个独立的数据库。
74.可以理解的是，在最高相似度值低于第一阈值时，意味着当前目标图像与重识别图像库中所有目标图像均有差异，据此可以判断当前目标图像对应的目标行人定义为第一次出现在检测区域，应当对行人数量加1，由于排出不了行人换装之后再次进入检测区域的情况，因此，将此处的新人分配一个独立的id后加入到重识别图像库中以便后续处理。
75.相反的，在最高相似度值高于第一阈值时，意味着当前目标图像与重识别图像库中的个别目标图像存在相似的情况，放了防止重复计数应当暂时保持行人数量不变，由于排出不了着装相似的两个行人先后进入检测区域的情况，因此，将此处的非新人彼此建立关联关系后加入到个人图像库中以便后续处理。
76.具体地，可以通过两张目标图像的相似度值或者相似度距离值来判断两张目标图像中对应的行人是否为同一人，可以理解的是，相似度值越高，相似度距离值越低，意味着两张目标图像越近似，相似度值越低，相似度距离值越高，意味着两张目标图像差异越大。
77.具体地，相似度的度量方法有：余弦相似度距离、欧式距离、马氏距离、汉明距离等等。优选地采用余弦相似度距离。
78.s106：采用人脸检测算法与人脸识别算法，对重识别图像库以及个人图像库中的目标图像进行人脸识别。
79.可以理解的是，此步骤中，图像库中的目标图像已经经过第一阶段的行人重识别算法的处理，通过行人重识别算法初步判断图像库中的每一个目标图像均对应一位目标行人，但是对于换装的行人，存在了一次多余的计数，而对于着装相似的行人，则存在一次漏计数。
80.通过人脸识别算法可以排除着装变化与着装相似这一不确定因素。
81.s107：在重识别图像库中存在两张目标图像之间的相似度值高于第二阈值时，将两张目标图像建立关联关系，行人数量减1；在个人图像库中存在两张目标图像之间的相似度值低于第二阈值时，行人数量加1。
82.其中，第二阈值可以根据实际需要进行选取。
83.可以理解的是，一旦重识别图像库中存在换装行人，人脸识别将找出换装前后的两张目标图像，将两者建立关联关系，算作一个人，此时，需要对之前的行人数量减1，以进行修正。
84.一旦个人图像库中存在相似着装行人，人脸识别将找出相似服装的两张目标图像，进行人脸识别后判断为不同行人，此时，需要对之前的行人数量加1，以进行修正。
85.在本技术实施例中，一方面，对于换装之后的同一行人经过第一阶段的行人重识别算法时被算作两个新人并入库，行人数量比实际数量多1人，在第二阶段的对于重识别图像库中的目标图像进行人脸识别之后，会被重新定义为同一人，将对行人数量进行减1，另一方面，对于着装相似的两个行人经过第一阶段的行人重识别算法时仅被算作一人入库，行人数量比实际数量少1人，在第二阶段的对于个人图像库中的目标图像进行人脸识别之后，会被重新定义为两个人，将对行人数量进行加1，以此对换装之后重复计数的错误结果进行纠正，最终得到准确的行人数量。
86.实施例二
87.参照图2，示出了本技术实施例提供的另一种实行人数量统计方法的流程示意图，应用于内置ai芯片的相机或者云端服务器，具体地，相机可以是浙江汉朔电子科技有限公司生产的睿见智能相机。
88.具体地，内置ai芯片的相机，含有dsp芯片，支持caffe、tensorflow、pytorch等框架的深度学习算子。
89.实时行人数量统计方法包括：
90.s201：通过相机以预设的时间间隔拍摄m张图像，相机的架设高度为3米，架设角度为俯视15度，焦距大于6毫米。
91.需要说明的是，行人重识别算法需要获得完整的行人躯干，相机高度需要尽量的高，而人脸识别算法则需要尽可能的看清人脸，聚焦需要尽量的大。将相机的架设高度为3米，架设角度为俯视15度，焦距大于6毫米，可以更好的权衡这两点。
92.可选地，通过相机以预设的时间间隔拍摄m张图像。
93.可以理解的是，以预设的时间间隔采集图像，无需连续的视频流，所需数据信息的关联性小，降低了数据传输带宽，降低了设备的能耗和风险，同时由于无需视频流，不存在视频存在间断帧或者视频不连续的情况，提高了计算的准确性。
94.s202：获取拍摄的m张图像。
95.可选地，m张图像包括由第一相机拍摄的a张图像和由第二相机拍摄的b张图像，其中，第一相机为内置ai芯片的相机，在方法应用于第一相机的情况下，在获取以预设的时间间隔拍摄得到的m张图像之前，第二相机将b张图像传输给第一相机。
96.可以理解的是，在实时行人数量统计方法应用于第一相机的情况下，第二相机将其拍摄的b张图像传输给第一相机，以在第一相机上完成实行人数量统计方法的后续步骤。
97.在第一相机上实现实时行人数量统计方法，仅需一台内置ai芯片的相机，落地成本较低，结构简单。
98.在实时行人数量统计方法应用于云端服务器的情况下，第一相机将其拍摄的a张图像传输给云端服务器，第二相机将其拍摄的b张图像传输给云端服务器，以在云端服务器上完成实行人数量统计方法的后续步骤。
99.可选地，m为预设数值，例如m等于100，在拍摄达到100张图像时，当然也可以是多个相机累计拍摄达到100张图像时，进入步骤s203。
100.s203：通过蒙版确定有效区域。
101.在处理m张图像时，通过根据行人有效活动区域设置蒙版，可以使得行人躯干完整，便于后续进行行人重识别算法。
102.s204：采用目标检测算法，对m张图像中的每一张图像的有效区域内的目标进行目标检测。
103.s205：根据目标检测结果对m张图像进行裁剪处理，以得到n张目标图像，其中，每一张目标图像仅包括一位目标行人。
104.s206：采用行人重识别算法以得到与n张目标图像对应的特征图。
105.s207：采用搜索算法，从重识别图像库中搜索出与当前目标图像的特征图相似的一个或多个相似图像。
106.可选地，对图像库中的目标图像进行逐张处理，逐张处理可以是一张挨着一张依次处理，为了追求处理的效率，也可以将预设数目例如三张图像为一组，一组挨着一组依次处理。
107.可选地，搜索算法可以采用1：m的搜索算法或者n：m的搜索算法，可以从m个目标行人中，找到最接近的1或n个行人。
108.s208：分别计算当前目标图像的特征图与一个或多个相似图像的相似度值。
109.s209：确定当前目标图像的特征图与一个或多个相似图像的最高相似度值。
110.通过搜索算法可以减少计算量，提高计算效率。
111.s210：在最高相似度值低于第一阈值时，将当前目标图像对应的目标行人定义为新人，将当前目标图像加入到重识别图像库中，行人数量加1，在最高相似度值高于第一阈值时，将当前目标图像对应的目标行人定义为非新人，将当前目标图像与相似图像一同加入到相应的个人图像库中，行人数量不变，其中，相似图像为与当前目标图像的相似度值高于第一阈值的图像。
112.s211：采用人脸检测算法与人脸识别算法，对重识别图像库以及个人图像库中的目标图像进行人脸识别。
113.s212：在重识别图像库中存在两张目标图像之间的相似度值高于第二阈值时，将两张目标图像建立关联关系，行人数量减1；在个人图像库中存在两张目标图像之间的相似度值低于第二阈值时，行人数量加1。
114.在本技术实施例中，以预设的时间间隔采集图像，无需连续的视频流，所需数据信息的关联性小，降低了数据传输带宽，降低了设备的能耗和风险，同时由于无需视频流，不存在视频存在间断帧或者视频不连续的情况，提高了计算的准确性。通过搜索算法可以减少计算量，预先搜索出较为近似的图像，之后再做比较，提高了计算效率。
115.实施例三
116.参照图3，示出了本技术实施例提供的一种实时行人数量统计装置的结构示意图，实时行人数量统计装置30，应用于内置ai芯片的相机或者云端服务器，实时行人数量统计装置30包括：
117.获取模块301，用于获取拍摄的m张图像。
118.检测模块302，用于采用目标检测算法，对m张图像中的每一张图像进行目标检测。
119.裁剪模块303，用于根据目标检测结果对m张图像进行裁剪处理，以得到n张目标图像，其中，每一张目标图像仅包括一位目标行人。
120.计算模块304，用于采用行人重识别算法以得到与n张目标图像对应的特征图，并根据特征图逐张计算当前目标图像与重识别图像库中的目标图像的最高相似度值，其中，
重识别图像库中的目标图像为已经经过相似度计算且被加入到重识别图像库中的目标图像。
121.入库模块305，用于在最高相似度值低于第一阈值时，将当前目标图像对应的目标行人定义为新人，将当前目标图像加入到重识别图像库中，行人数量加1；在最高相似度值高于第一阈值时，将当前目标图像对应的目标行人定义为非新人，将当前目标图像与相似图像一同加入到相应的个人图像库中，行人数量不变，其中，相似图像为与当前目标图像的相似度值高于第一阈值的图像。
122.识别模块306，用于采用人脸检测算法与人脸识别算法，对重识别图像库以及个人图像库中的目标图像进行人脸识别。
123.关联模块307，用于在重识别图像库中存在两张目标图像之间的相似度值高于第二阈值时，将两张目标图像建立关联关系，行人数量减1；在个人图像库中存在两张目标图像之间的相似度值低于第二阈值时，行人数量加1。
124.进一步地，实时行人数量统计装置30还包括：
125.拍摄模块308，用于通过相机拍摄m张图像，相机的架设高度为3米，架设角度为俯视15度，焦距大于6毫米。
126.进一步地，拍摄模块308，具体用于通过相机以预设的时间间隔拍摄m张图像。
127.进一步地，实时行人数量统计装置还包括：
128.蒙版模块309，用于通过蒙版确定有效区域。
129.检测模块302，具体用于采用目标检测算法，对m张图像中的每一张图像的有效区域内的目标进行目标检测。
130.进一步地，计算模块304，具体包括：
131.特别子模块3041，用于采用行人重识别算法以得到与n张目标图像对应的特征图。
132.搜索子模块3042，用于采用搜索算法，从重识别图像库中搜索出与当前目标图像的特征图相似的一个或多个相似图像。
133.计算子模块3043，用于分别计算当前目标图像的特征图与一个或多个相似图像的相似度值。
134.确定子模块3044，用于确定当前目标图像的特征图与一个或多个相似图像的最高相似度值。
135.本技术实施例提供的实时行人数量统计装置30能够实现上述方法实施例中实现的各个过程，为避免重复，这里不再赘述。
136.在本技术实施例中，对于换装之后的行人经过第一阶段的行人重识别算法时被算作两个新人并入库，行人数量比实际数量多1人，在第二阶段的对于图像库中的目标图像进行人脸识别之后，会被重新定义为同一人，将对行人数量进行减1，以此对换装之后重复计数的错误结果进行纠正，最终得到准确的行人数量。
137.本技术实施例中的虚拟装置可以是装置，也可以是终端中的部件、集成电路、或芯片。
138.实施例四
139.本技术实施例还提供一种内置ai芯片的相机，包括摄像头，处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现上述实施
例中的行人数量统计方法的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
140.在本技术实施例中，一方面，对于换装之后的同一行人经过第一阶段的行人重识别算法时被算作两个新人并入库，行人数量比实际数量多1人，在第二阶段的对于重识别图像库中的目标图像进行人脸识别之后，会被重新定义为同一人，将对行人数量进行减1，另一方面，对于着装相似的两个行人经过第一阶段的行人重识别算法时仅被算作一人入库，行人数量比实际数量少1人，在第二阶段的对于个人图像库中的目标图像进行人脸识别之后，会被重新定义为两个人，将对行人数量进行加1，以此对换装之后重复计数的错误结果进行纠正，最终得到准确的行人数量。
141.实施例五
142.本技术实施例还提供一种云端服务器，包括处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现上述实施例中的行人数量统计方法的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
143.在本技术实施例中，一方面，对于换装之后的同一行人经过第一阶段的行人重识别算法时被算作两个新人并入库，行人数量比实际数量多1人，在第二阶段的对于重识别图像库中的目标图像进行人脸识别之后，会被重新定义为同一人，将对行人数量进行减1，另一方面，对于着装相似的两个行人经过第一阶段的行人重识别算法时仅被算作一人入库，行人数量比实际数量少1人，在第二阶段的对于个人图像库中的目标图像进行人脸识别之后，会被重新定义为两个人，将对行人数量进行加1，以此对换装之后重复计数的错误结果进行纠正，最终得到准确的行人数量。
144.以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。