实时智能监测客流及预警的方法和系统与流程

1.本技术涉及客流量监测领域，尤其是对客流量大的区域的客流进行监测和预警的方案。


背景技术：

2.客流量是指单位时间内进入某个场所的人数，是反应该场所人气和价值的一种重要指标。
3.现在有很多企业会通过客流量分析客流的指向性，比如针对一些商场的店铺客流量的监控和分析可以快速了解客流在商场的各个区域中的分布情况，进而帮助商场改进店铺的布局以吸引更多人气。
4.而对一些客运站、地铁站等的出入口的客流量的监控分析，则有助于客运站和地铁的车辆班次调度和管控，从而调节客流的平衡性。
5.另外，对于一些重点区域，例如上海的南京路、外滩等人流量密集的区域，尤其是在节假日期间，实时监控客流量和客流分布并提供大客流预警有着重要的安全意义。一旦在这些人员密集区域发生大客流拥堵的情况，很容易发生例如踩踏、窒息、混乱等情况，存在很大安全隐患。
6.由此可见，对客流的监测已经成为城市精细化管理中不可或缺的一环。针对该问题，已经提出了不少客流监测方案。
7.早先传统的客流统计方式靠的是人为的方式，来实现对某区域出入进出的人数进行统计。这种方式不仅效果上并不理想，而且人力成本更是大大的增加，并且采集的数据还不具备直接应用于决策运营的应用服务的能力，必须对数据进行数字化处理和进一步加工。
8.随着信息技术的发展，特别是网络带宽和摄像硬件的长足进步，已经有人提出利用路边的摄像头来基于视频图像分析技术进行人流量监测的方案。一种示例的客流人数监测系统的原理是：基于嵌入式摄像镜头(例如路旁和商场的摄像头)采集视频，对两个摄像头的视频图像进行视差计算，形成视频中人的3d图像，分析人体的形状和高度为目标，根据区域和方向的设定来统计出通过人数。
9.这种视频客流监控系统摆脱了人力束缚，可以做到24小时全天候不间断的客流监测。但是，所述系统还是存在一定的缺陷。
10.首先，这种视频客流监控系统只能监测某个区域的实时客流量，不具有智能化分析预测将来可能达到的客流量的能力。因此，不能提供一种大客流预警机制，以方便相关职能部门提早布置应对举措。
11.其次，这种视频客流监控系统主要通过现场的视频采集和分析来监测客流量。但对于某些盲区(即摄像头无法拍摄到的死角区域，例如摄像头未覆盖到的区域、被大型障碍物遮挡住的区域等等)的客流量的监测却无能为力。因此，使得客流量的监测可能存在空白点，这也可能导致潜在的安全隐患。
12.因此，存在一种需求，希望能够提供一种既能对未来的客流量进行智能化预测又能实现盲区客流量监测的方案。


技术实现要素：

13.本技术通过打破人工统计或传统统计的方式，借助于已建设的监控摄像头实现对客流的智能监测，所述方案通过盲区补全、外部数据补充，实现了全段(全域)覆盖的客流监测，并且可通过大数据分析做出未来时间的客流预测，为大客流智能预警监测提供依据，从而辅助相关部门的管理者进行决策。
14.根据本技术的第一方面，提供了一种盲区监测的方法，包括：
15.确定监控区域中的盲区范围；以及
16.通过计算所述盲区周围的时空信息来估计所述盲区的客流量；
17.其中，所述确定监控区域中的盲区范围包括：
18.对所述监控区域进行网格化处理；
19.针对每个网格，判断该网格是否是盲区；以及
20.将相邻的盲区进行合并。
21.根据本技术的第二方面，提供了一种用于客流监测和预警的方法，包括：
22.从多个数据源接收监控区域的监测数据，所述监测数据包括视频流和交通数据；
23.利用视频技术对视频流进行处理，以获取所述监控区域的客流量数据，其中，所述步骤使用如第一方面所述的盲区监测的方法来实现视频盲区补全；
24.基于所述监控区域的所述客流量数据和所述交通数据，对未来一段时间内所述监控区域的客流量进行预测；以及
25.根据预测的所述监控区域的客流量进行客流分级预警。
26.根据本技术的第三方面，提供了一种监测系统，包括用于执行如第一、二方面所述的方法的装置。
27.提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
28.为了描述可获得本发明的上述和其它优点和特征的方式，将通过参考附图中示出的本发明的具体实施例来呈现以上简要描述的本发明的更具体描述。可以理解，这些附图只描绘了本发明的各典型实施例，并且因此不被认为是对其范围的限制，将通过使用附图并利用附加特征和细节来描述和解释本发明，在附图中：
29.图1示出了根据本技术的一个实施例的一种盲区监测的方法的示例流程图。
30.图2示出了根据本技术的一个实施例的一种用于客流监测和预警的方法的示例流程图。
31.图3示出了根据本技术的一个实施例的对路面图像进行网格化处理后的示意图。
具体实施方式
32.对城市区域的人群态势的全域感知，是大客流精准管控的关键条件。在实际情况中，因为树木、建筑物、广告、车辆等物体的存在，人群被遮挡的情况会普遍发生，这样就造成了硬件(例如摄像头)感知视野上的盲区。这种盲区可以通过在不同角度安装更多的硬件设备来消除，但这需要花费很大的成本，在保护公众隐私方面也不尽如人意，因此，这并不是一个最优的解决方式。
33.为了解决客流监测的“盲区”问题，在本技术的方案中，可以根据某个区域(例如某条道路、某个路口、某个建筑物)中特定的点位分布和实际场景，定制出一套人群在盲区空间中的客流预测算法。该算法利用盲区周围的时空感知信息，对盲区中的客流态势进行预测，从而得到该区域内的全域客流信息，进一步提高了客流管控的精准度。
34.在图1中示出了根据本技术的一个实施例的一种盲区监测的方法的示例流程图。所述盲区监测也可以称为是一种盲区预测或盲区补全，这是一种通过结合分析盲区周围的相关特定点的视频历史数据来推导出该盲区内的客流量的方案。具体而言，所述方法可以包括下述步骤：
35.在步骤110，确定要监控的区域中的盲区范围。具体而言，所述确定步骤包括下述几个子步骤：
36.首先，在步骤112，对监控区域进行网格化处理。
37.以南京东路的路面区域作为示例监控区域为例，南京东路全段总长1500m，按照例如5m长度间隔，可以被划分为300个小区域，每个小区域沿着路面宽度方向可例如被等分为4个格子，则南京东路这个区域总共可以被分成1200个格子(block)，记作i。对监控区域进行网格化处理后的效果示意图在图3中示出。尽管在该图中仅仅截取了南京东路的某一段进行了网格化划分，但应该理解，实际上整个监控区域都要进行这样的网格化划分。
38.应该理解，所述网格格子的大小和形状可以根据需要来确定，并不局限于示例。格子的大小和形状的考虑因素可以包括监测的精确度要求(精度要求越高，网格就需要越细密)，处理资源的多少(越细密的网格需要花费越多的资源)以及实时性需求(越细密的网格需要花费越多的时间，导致更大的延时)等等。技术人员可以根据客流监测的总体要求来适当调整所述网格的大小和形状。
39.在完成对指定区域的网格化处理之后，在步骤114，针对每个网格，判断该网格是否是盲区。
40.在实际情况中，因为现有相机点位的安装高度和角度，在南京东路区域进行大客流统计时，存在感知视野上的盲区，主要有以下几种：
41.1)因为相机的安装高度和角度，部分区域无法覆盖；
42.2)因为树木、建筑物等物体的存在，人群会被遮挡；
43.3)因为目标较小(在远离摄像头的区域)，无法有效计算；
44.4)因为道路施工，摄像头视野被施工隔离墙遮蔽，等等。
45.所述盲区判断主要是利用该网格在一段时间内的各时间上的历史客流监测信息来实现，可以利用例如如下的判断公式：
[0046][0047]
其中b
i，t
表示第i个格子在t时刻是否是盲区(1代表盲区，0代表非盲区)，s
i，t-n
表示第i个格子在t-n时刻的监测到的客流人数，n表示设定历史时间的长度，它可以被平均划分成n个时间点，n代表第n个时间点。换句话说，如果在设定的历史时间长度中，某个格子中的人数在各时间点处累积监测到的人数始终都为0，则可以判定该格子属于盲区，反之，则不是盲区。针对盲区格子的监测由于缺少相应的视频只能得到客流量为0的结果，这就导致存在监测“空白”区域。
[0048]
在对所有网格执行了上述盲区判断过程之后，在步骤116，可以将相邻的盲区进行合并以减少计算量。还是以南京东路为例，可能因为例如建筑物外立面施工养护，道路施工，大型车辆违停，摄像头缺失等各种原因导致马路上的部分区域的人流无法被临时或持续地监测到，也即摄像头对涉及该区域的多个网格的客流人数的监测一直为0。因此，针对彼此相邻的被判断为“盲区”的网格，可以将它们合并成一个大的网格，即只保留最外层的盲区网格的边界作为该合并的盲区范围的边界。
[0049]
在确定了由盲区网格形成的盲区范围之后，在步骤120，通过计算所述盲区周围的时空信息来估计所述盲区内的客流量。所述时空信息包括盲区周围的非盲区网格在各时间点上的历史客流量。所述计算的公式可例如如下所示：
[0050][0051]
其中s
i，t
表示第i个格子在t时刻的监测到的客流人数，b
i，t
表示第i个格子在t时刻是否是盲区，li表示第i个格子(盲区格子)周围非盲区格子的编号集合，n表示设定历史时间的长度，j代表li编号集合中的第j个格子。因此，根据上述公式我们可以理解，当某个格子为盲区时(b
i，t
＝1)，可以通过累加该格子周围的非盲区格子在这n个时间点上监测到的客流总人数再除以所述非盲区格子的数目和n个时间点的乘积，如此，就能预测出该盲区格子在某个时刻的客流人数。该处理过程也可称为“盲区补全”。
[0052]
举例而言，还是以南京东路为例，由于道路施工的需要，在该条马路的某个路段上的道路两侧搭建起了高度较高的隔离墙，这就使得该路段上原本能够被路边摄像头监测到的部分区域，由于摄像头现在被隔离墙阻挡而形成了盲区。
[0053]
由于南京东路是人流量密集的繁忙道路，因此，如果不能对该路段的全域客流量进行精确监测，则可能导致人流拥挤的情况发生。尤其是在节假日由于各种促销导致南京东路人流量激增的情况下，如果缺乏有效管控，该盲区的存在甚至可能出现恶性的踩踏事件。
[0054]
为了解决上述问题，利用上述盲区预测算法，可以先将该路段的地理区域进行网格化划分。接着，根据公式1将监测的客流量在各时间点上一直为0的网格标记为盲区网格。
随后，对相邻的盲区网格进行合并和整合以形成一个大的盲区范围(在此示例中是一个沿施工马路形成的长方形区域)。随后，根据公式2，统计该大的盲区周围所有相邻的非盲区网格在n个时间点上所监测到的客流总人数并除以所述非盲区格子的数目和n个时间点的乘积，这样，就能预测出在该大盲区中的可能的客流人数。例如，可以以1分钟为一个时间点将最近半个小时内即总共30(n＝30)个时间点上的该路段周边相邻的非盲区网格中所监测到的所有客流量人数累加在一起，随后再除以这些非盲区网格数目和n的乘积，从而计算出该大盲区内的可能的客流量。还是以南京东路上的道路施工为例，被遮挡的路段的客流预测可能主要取决于进入和离开该路段的两个方向上的非盲区网格，因为在该路段的两侧一般为建筑物和施工工地。因此，通过统计进入和离开方向上的相邻非盲区网格在n个时间点上所监测到的客流总人数并除以所述非盲区格子的数目和n个时间点的乘积，就能基本预测出该盲区路段的客流量。
[0055]
应该理解，所述时间点的选择可以根据实际需要来设定。如果需要比较高的客流预测精度，则可以将时间点之间的间隔设置得较小；反之，则可以将时间点间隔设置得较大，通过减少时间点数目来提高预测速度和节省资源。
[0056]
而当前格子是非盲区(b
i，t
＝0)时，则在该时刻在该网格中监控到的客流人数s
i，t
可以直接作为监测的客流数据，无需进一步计算。
[0057]
最后，在获得了盲区的客流量预测之后，在步骤130，基于整个网格中的各盲区的客流量以及非盲区网格的客流量确定整个监控区域的全域客流量，即获得全区域的“人群态势”。
[0058]
全域客流量是非盲区人数和盲区人数的总和，其公式如下所示。
[0059][0060]
其中sum
t
是第t时刻监控区域的总客流人数，i是划定格子的总数，s
i，t
表示第i个格子在t时刻的监测到的客流人数。在其中，盲区网格的客流人数可以利用步骤120中的盲区客流监测技术来获得，而非盲区网格的客流人数则可以利用传统的基于该网格的视频流的视频图像分析技术来获得。
[0061]
这样，相关管理部门不仅可以继续在监控系统的大屏幕上看到南京东路中该盲区路段的预测客流量以及其他路段的各网格的实际客流量(而不是在南京东路的客流监控画面中间出现一块唐突的空白盲区)，并且还能同时了解在整个南京东路区域中的总的客流人数。这样，管理部门就能根据网格分段的客流量和总体客流量的分布及时布置相应的防范措施来避免某一个或多个路段出现人流拥挤的状况，以提前解决可能存在的安全隐患。
[0062]
在了解了图1中的如何对盲区客流进行监测(准确来说是一种借助周边网格历史客流数据的预测)的方法之后，下面结合图2来解说根据本技术的一个实施例的一种用于客流监测和预警的方法的示例流程图。在所述用于客流监测和预警的方法中采用了上述盲区监测方案，以使得对整个区域中客流量监测更加准确可信。
[0063]
首先，在步骤202中，从多个数据源接收监控区域的监测数据。具体而言，除了最常用的路边监控摄像头之外，在本方案中还可以接入更多的数据来源以获取各种监测数据。所述监测数据可包括但不限于：视频流、交通数据等等。所述视频流可以来自于路边监控摄
像头、店家监控摄像头、安装在车辆上的摄像头等等。这些摄像头实时监控着道路和路边的车流和人流分布情况，能够提供基础的客流信息。所述视频流的格式一般为国标格式(gb28181)，其包括：每个点位的ip、ip端口、国标码、经纬度等信息。而交通数据则主要来自例如车辆导航软件、停车场出入系统、地铁验票系统等等设备，它们能够收集与客流量有关的其他信息，例如周边路口车流量、停车场车流量、地铁口人流量数据以及其他流量数据。
[0064]
随后，在步骤204，利用视频技术对视频流进行处理，以获取客流量数据。该步骤也可以称为“人群态势感知”。
[0065]
所述视频技术可以包括视频编解码、基于图像识别的行人检测等。如前所述，现在已经有基于路边摄像头采集的视频，通过图像分析技术进行人流量监测的成熟方案，因此，对于整个监控区域的非盲区，可以利用所述传统方案来实现所述行人检测。
[0066]
但上述传统的方案无法解决盲区中的客流监测问题，因此，在此，对于整个监控区域中的盲区，就需要利用图1中所述的盲区客流监测方法来进行盲区补全并生成整个区域的全域“人群态势”。所述盲区客流监测和全域客流监测已经在关于图1的内容中详细描述，在此不再累述。
[0067]
接着，在步骤206，基于客流量数据，对未来一段时间内监控区域的客流总数进行预测。该步骤也可以称为“人群态势预测”。
[0068]
具体而言，人群态势预测是利用在前述步骤中得到的客流量数据和交通数据，对未来一段时间内在该监控区域中客流的总数进行预测。
[0069]
所述预测方法和盲区补全相类似，核心算法公式如下：
[0070][0071]
表示在t时刻的客流预测值，s表示所有格子的集合，li表示第i个格子周围格子的编号集合，n表示时间点总数，n表示时间点的个数，j代表集合li中的一个元素(周围格子编号)，x表示交通数据(包括周边路口车流量、停车场车流量、地铁口人流量)的集合，x表示集合x中的一个元素，w
j，t-n*δt
表示相应的格子的客流量s
j，t-n*δt
的权重大小，而w
x，t-n*δt
表示相应的格子的交通数据x
t-n*δt
的权重大小。
[0072]
所述权重w可以利用已有的客流数据进行离线学习，例如采用多层感知机mlp的训练。例如可以利用卷积神经网络(cnn)对其进行建模，并使用例如如下所示的均方误差函数(mse)作为训练损失函数：
[0073][0074]
其中p
t
表示在t时刻的真实值。
[0075]
或者，所述权重w可根据要监控的实际区域的交通情况进行人为设定，例如，南京东路步行街是禁止机动车通行的。因此，大多数人都是选择地铁或自驾到达该区域附近之后，再步行前往该区域。所以，交通数据中的周边路口车流量的权重就不会很高，而停车场车流量、地铁口人流量的权重就会比较高。而对于周边未通地铁的区域，则地铁口人流量的权重就会极低，而停车场车流量的权重就会很高。再比如，对于位于道路热门商家门前的网格的客流的权重可以设置的比较高，靠近道路边缘的网格的客流的权重比较低。
[0076]
最后，在获得了人群态势预测之后，在步骤208，根据监控区域的客流量进行分级
预警。该步骤也可以称为“人群态势预警”。
[0077]
具体而言，所述人群态势预警根据一段历史时间内的监控区域的客流量分布，计算出所述监控区域的总体客流态势。
[0078]
所述总体客流态势的计算公式可以例如如下所示：
[0079][0080]
其中y
t
表示t时刻的总体客流态势，n表示设定历史时间的长度，表示在t n时刻的监控区域的总客流的预测值。
[0081]
在计算获得该监控区域在指定时刻的总体客流态势之后，可以将该总体客流态势与预先设定的预警阈值进行比较。为了能够实现分级管理，可以存在多个预警阈值，每个阈值对应一个预警级别，而每个预警级别包括若干方法措施，例如单向通行、限制入口人流、增派警力、加大公交投入、引入分流等等措施。如果在步骤208中获得的监控区域的总体客流态势超过某个级别的阈值，则可以认为该监控区域的客流量已经达到相应的警戒级别，需要立刻采取与该级别相对应的一种或多个防范措施来减少该地区的客流量。所述预警阈值的设定可以由工作人员根据历史经验来人工设置。或者，由系统通过该监控区域的历史客流监控数据和历史防范数据(例如投诉历史数据、出警历史数据、交通拥堵数据等)
[0082]
除了这两类主要数据来源之外，在一些较佳实施例中，本技术的方案还可以收集更多类型的信息，例如噪声信息、红外图像信息等等。例如在路口测量噪声的分贝仪可以提供实时的噪声信息，通过对噪声信息进行分析可以间接推导出该路口的客流量。而红外图像信息可以由红外摄像头提供，它能更加方便地利用热成像图来精确识别出场景中的人数。如果要监控的区域中存在这类可用的监控设备，则本技术的方案也可以从它们收集监测数据。
[0083]
应该理解，在基于视频图像的图像识别来监测客流以及进行客流预测的过程中，还可以使用经典的深度卷积神经网络回归得出图像中每个行人的坐标位置；基于目标局部分类增强的思想以及优化回归任务的损失函数设计，进行高效全尺度多目标检测。同时，利用图引擎实现多模态、大数据预测算法。具体而言，可以将节点状态的动态变化过程抽象成动态图结构，结合多模态的信息，将图的边和节点分别建模还原复杂场景，并通过神经网络在历史数据中学习信息的传播规律，实现高精度预测。这些技术已经广泛应用于基于图像识别的客流监测领域，在此不再详述。
[0084]
除了对道路客流量进行监控之外，本技术还可针对例如风景区、交通枢纽、商业中心、重大活动场所以及其他重点区域的客流量进行实时监测和预警。
[0085]
虽然以上描述了不同的实施例，但应当理解的是它们只是作为示例而非限制。(诸)相关领域的技术人员将领会，在不偏离如所附权利要求书所定义的本发明的精神和范围的情况下，可以在形式和细节方面进行各种修改。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。