一种流量统计方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种流量统计方法、装置、电子设备及存储介质。


背景技术：

2.公交车客流量是进行公交车资源调度，以及智能公交系统的建立中的重要指标，对公交客流量的准确统计对于现今城市交通的发展而言至关重要。
3.目前可以采用超快速神经网络(faster region-based convolutional neural network，faster rcnn)模型，对于公交车客流量进行统计。但此种方式对于拍摄图像的环境条件十分敏感，对于公交车上部署位置固定的摄像头来说，所捕获的图像中，乘客距离摄像头距离的远近极大程度上影响了乘客在拍摄的图像帧中的成像面积，进而为后续的客流量统计带来不便，影响了对客流量统计的准确性，而且，在客流量大的情况下，不同乘客间存在相互遮挡，使得成像面积小的乘客无法被有效识别，进而造成了统计的客流量与真实情况不符，使得客流量数据丧失可分析性。


技术实现要素：

4.本发明实施例提供一种流量统计方法、装置、电子设备及存储介质，用以解决现有技术中存在的由于摄像头拍摄存在的视角失真问题所造成的无法准确进行客流量统计的问题。
5.本发明实施例提供的具体技术方案如下：
6.第一方面，提出一种流量统计方法，包括：
7.获取待处理图像，其中，所述待处理图像由固定安装的图像采集设备采集；
8.采用完成训练的图像处理模型，对所述待处理图像进行透视变换处理和目标对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵，所述图像处理模型是基于卷积神经网络vgg架构搭建的，所述密度矩阵中表征不同目标对象的不同元素区域的元素值之和相同；
9.计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量。
10.可选的，所述采用完成训练的图像处理模型，对待处理图像进行透视变换处理和目标对象识别处理之前，进一步包括：获得用于进行图像处理模型的训练的样本数据，具体包括：
11.获取多个原始图像，针对各个原始图像分别执行以下操作，直至全部原始图像处理完成：
12.确定并标注一个原始图像中包含的各个目标对象的中心点，并确定所述一个原始图像中的预先设置的用于进行客流量统计的样本处理区域，以及采用透视变换的处理方式，将所述样本处理区域校正为正投影的样本处理图像，其中，所述一个原始图像是由固定
安装的图像采集设备采集的；
13.对应所述样本处理图像中的各个像素点，设置对应的元素值，并生成包含有各个元素值的样本矩阵，其中，所述样本矩阵中各个目标对象中心点所对应的元素取值相同，各个目标对象中心点所对应的元素取值相同；
14.采用高斯滤波处理方式，基于取值固定的高斯核函数的宽度参数，对所述样本矩阵进行处理，得到对应的样本密度矩阵，并将所述原始图像，以及对应的样本密度矩阵，作为一条样本数据。
15.可选的，所述获得用于进行图像处理模型的训练的样本数据之后，所述将所述待处理图像输入完成训练的图像处理模型中之前，进一步包括，对图像处理模型进行训练，具体包括：
16.获取样本数据，并针对各个样本数据分别执行以下操作，直至图像处理模型的训练轮数达到设定阈值：
17.将一个样本数据中的原始图像输入图像处理模型，获得所述图像处理模型输出的密度矩阵，所述密度矩阵中的各个元素对应所述原始图像中的各个像素点，所述密度矩阵中的不同元素区域对应所述原始图像中的不同目标对象且不同元素区域的元素之和固定相同；
18.获得所述图像处理模型输出的密度矩阵，并采用最小二乘损失函数，根据所述密度矩阵与所述一个样本数据中的样本密度矩阵之间相对位置相同的各个元素的取值差异，确定所述图像处理模型的损失值；
19.基于所述损失值调整所述图像处理模型中参与生成所述密度矩阵的影响参数。
20.可选的，搭建所述图像处理模型的过程中，将vgg网络架构中的全连接层替换为反卷积层。
21.可选的，所述获取多个原始图像之前，进一步包括：
22.获取固定安装的图像采集设备采集的至少一个视频流，确定所述视频流的帧率；
23.降低所述视频流的帧率至预设值后，按照调整后的帧率获取所述至少一个视频流中的图像帧，并将获取的各个图像帧作为原始图像。
24.第二方面，提出一种流量统计装置，包括：
25.获取单元，获取待处理图像，其中，所述待处理图像由固定安装的图像采集设备采集；
26.处理单元，采用完成训练的图像处理模型，对所述待处理图像进行透视变换处理和目标对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵，所述图像处理模型是基于卷积神经网络vgg架构搭建的，所述密度矩阵中表征不同目标对象的不同元素区域的元素值之和相同；
27.计算单元，计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量。
28.可选的，所述采用完成训练的图像处理模型，对待处理图像进行透视变换处理和目标对象识别处理之前，所述处理单元进一步用于：获得用于进行图像处理模型的训练的样本数据，具体用于：
29.获取多个原始图像，针对各个原始图像分别执行以下操作，直至全部原始图像处
理完成：
30.确定并标注一个原始图像中包含的各个目标对象的中心点，并确定所述一个原始图像中的预先设置的用于进行客流量统计的样本处理区域，以及采用透视变换的处理方式，将所述样本处理区域校正为正投影的样本处理图像，其中，所述一个原始图像是由固定安装的图像采集设备采集的；
31.对应所述样本处理图像中的各个像素点，设置对应的元素值，并生成包含有各个元素值的样本矩阵，其中，所述样本矩阵中各个目标对象中心点所对应的元素取值相同，各个目标对象中心点所对应的元素取值相同；
32.采用高斯滤波处理方式，基于取值固定的高斯核函数的宽度参数，对所述样本矩阵进行处理，得到对应的样本密度矩阵，并将所述原始图像，以及对应的样本密度矩阵，作为一条样本数据。
33.可选的，所述获得用于进行图像处理模型的训练的样本数据之后，所述将所述待处理图像输入完成训练的图像处理模型中之前，所述处理单元进一步用于，对图像处理模型进行训练，具体用于：
34.获取样本数据，并针对各个样本数据分别执行以下操作，直至图像处理模型的训练轮数达到设定阈值：
35.将一个样本数据中的原始图像输入图像处理模型，获得所述图像处理模型输出的密度矩阵，所述密度矩阵中的各个元素对应所述原始图像中的各个像素点，所述密度矩阵中的不同元素区域对应所述原始图像中的不同目标对象且不同元素区域的元素之和固定相同；
36.获得所述图像处理模型输出的密度矩阵，并采用最小二乘损失函数，根据所述密度矩阵与所述一个样本数据中的样本密度矩阵之间相对位置相同的各个元素的取值差异，确定所述图像处理模型的损失值；
37.基于所述损失值调整所述图像处理模型中参与生成所述密度矩阵的影响参数。
38.可选的，搭建所述图像处理模型的过程中，将vgg网络架构中的全连接层替换为反卷积层。
39.可选的，所述获取多个原始图像之前，所述获取单元进一步用于：
40.获取固定安装的图像采集设备采集的至少一个视频流，确定所述视频流的帧率；
41.降低所述视频流的帧率至预设值后，按照调整后的帧率获取所述至少一个视频流中的图像帧，并将获取的各个图像帧作为原始图像。
42.第三方面，提出一种电子设备，包括：
43.存储器，用于存储可执行指令；
44.处理器，用于读取并执行存储器中存储的可执行指令，以实现上述任一项所述的流量统计方法。
45.第四方面，提出一种计算机可读的存储介质，当所述存储介质中的指令由电子设备执行时，使得所述电子设备能够执行上述任一项所述的流量统计方法。
46.本发明有益效果如下：
47.本公开实施例中，获取待处理图像，其中，所述待处理图像由固定安装的图像采集设备采集，再采用完成训练的图像处理模型，对所述待处理图像进行透视变换处理和目标
对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵，所述图像处理模型是基于卷积神经网络vgg架构搭建的，所述密度矩阵中表征不同目标对象的不同元素区域的元素值之和相同，然后计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量获取待处理图像，采用完成训练的图像处理模型，对所述待处理图像进行处理，得到映射有各个目标对象各自对应的元素区域的密度矩阵，所述密度矩阵中表征不同目标对象的不同元素区域的元素值之和相同，再计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量。这样，借助于完成训练的图像处理模型，能够解决图像的视角失真问题对流量分析造成的影响，保证了对目标对象流量的准确分析，提高了流量分析的统计精度。
附图说明
48.图1为本公开实施例中透视变换的原理示意图；
49.图2为本公开实施例中视角校正的原理示意图；
50.图3a为本公开实施例中原始图像示意图；
51.图3b为本公开实施例中标注后的原始图像示意图；
52.图4为本公开实施例中密度矩阵示意图；
53.图5为本公开实施例中图像处理模型内部处理逻辑示意图；
54.图6为本公开实施例中流量统计流程示意图；
55.图7为本公开实施例中对待处理图像处理得到密度矩阵示意图；
56.图8为本公开实施例中流量统计装置的逻辑结构示意图；
57.图9为本公开实施例中流量统计装置的实体结构示意图。
具体实施方式
58.为了使本公开的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。
59.本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
60.为了方便理解，下面对本公开实施例中涉及的名词进行解释：
61.视角失真：固定安装的图像采集设备由于安装位置固定，使得对象距离图像采集设备的距离，极大影响了该对象在所述图像采集设备拍摄的画面中成像的大小，如，公交车车载监控摄像头多安装于车厢前部的车顶，该安装特点致使摄像头采集到的监控图像中位于车厢内前部的乘客成像面积极大，而位于车厢内后部的乘客，成像面积过小。
62.透视变换：用于当图像采集设备与地平面之间有一倾斜角，而不是直接垂直朝下(正投影)，将拍摄的图像校正成正投影的形式。如，结合图1所示，摄像头的拍摄区域，即其到水平面的中心投影为四边形r1r2r3r4，与摄像头o构成的棱锥or1r2r3r4中存在四边形r'1r'2r'3r'4，使得摄像头o到四边形r'1r'1r'2r'3r'4的各个顶点的距离相等，易知四边形r'1r'2r'3r'4为矩形。此时，摄像头的拍摄角度与四边形r'1r'2r'3r'4所在平面垂直。具体的转换公式如下公式(1)和公式(2)，其中，(x，y)为四边形r1r2r3r4上任意一点的坐标，x'、y'为四边形r'1r'2r'3r'4中与(x，y)对应的点的坐标。
[0063][0064][0065]
视角校正，由于固定安装的图像采集设备与地平面的夹角固定，故图像采集设备的拍摄的图像的视角固定，也就说是，图像采集设备拍摄的图像中存在视角失真的问题。将图像采集设备的视角由原视角转换为车厢内装上方位置，使得图像中需要进行处理的区域图像呈现为矩阵区域图像的过程称为视角校正，结合图2所示的内容，首先获取公交车监控图像数据中的载客区域，即获取该图像的载客区域对应的矩形顶点坐标r1(x1,y1)、r2(x2,y2)、r3(x3,y3)、r4(x4,y4)与进行视角转换后结果图像的矩形顶点坐标r
′1(x
′1,y
′1)、r
′2(x
′2,y
′2)、r
′3(x
′3,y
′3)、r
′4(x
′4,y
′4)。将以上四对顶点分别代入公式(1)和公式(2)中，即可求得透视变换参数α
11
、α
12
、α
13
、α
21
、α
22
、α
23
、α
31
、α
32
、α
33
。随后将载客区域中的任意点进行透视变换，即可求得视角矫正图，进而实现对于图像的视角校正。
[0066]
图像处理服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。
[0067]
目前，由于安装位置固定的图像采集设备拍摄的图像，具有视角失真以及目标对象相互遮挡严重的问题，一方面，使得传统的基于侦差和运动目标识别跟踪等方式无法准确检测目标对象，另一方面，由于视角失真，造成不同目标对象在图像中的成像面积相差较大，使得无法采用通用的处理方式，对成像面积不同的目标对象进行检测，进而无法准确的进行目标对象的流量统计。
[0068]
本公开针对性的提出了一种流量统计方法，将待处理图像输入完成训练的图像处理模型中，使得待处理模型对待处理图像进行透视变换处理和对所述待处理图像中包括的目标对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵，所述密度矩阵直观地呈现目标对象的分布情况，所述密度矩阵中不同元素区域的元素之和相同，进而通过计算所述密度矩阵中各个元素之和，确定处理图像中的目标对象的数目，也就是确定目标对象的流量。这样，借助于完成训练的图像处理模型，能够解决图像的视角失真问题对流量分析造成的影响，保证了对目标对象流量的准确分析，提高了流量分析的统计精度。
[0069]
本公开实施例中，流量统计过程中涉及到的交互方包括有图像采集设备和图像处理服务器，其中，
[0070]
所述图像采集设备，固定安装且拍摄角度固定，用于拍摄指定区域内的图像数据。
[0071]
所述图像处理服务器，获取图像采集设备实时上报或者定期上报的图像数据，所
述图像数据具体为所述图像采集设备采集的视频流或图像帧，并对得到的图像进行处理，获取该图像采集设备拍摄的区域内的目标对象的流量。
[0072]
需要说明的是，本公开实施例中，进行流量统计的目标对象根据应用场景不同而不同，在对公交车上的客流量进行统计的场景中，图像采集设备为公交车上固定安装且拍摄角度固定的车载摄像头，目标对象为公交车上的乘客；在对特定环境下的车流量统计的场景中，目标对象为车辆；在对特定环境下的动态事物流量统计的场景中，目标对象为相应的动态事物，本公开不对目标对象进行具体限制。以下的示意性说明中，仅对公交车上的客流量统计为例进行说明。
[0073]
下面结合附图，对本公开实施例优选的实施方式进行进一步详细说明：
[0074]
下面针对本公开实施例中提出的，图像处理服务器对图像处理模型的训练过程进行详细说明：
[0075]
首先，对本公开实施例中，生成对图像处理模型进行训练的样本数据的过程进行说明。
[0076]
本公开实施例中，当固定安装的图像采集设备采集并上报的图像数据是视频流时，获取固定安装的图像采集设备采集的至少一个视频流，确定所述视频流的帧率；降低所述视频流的帧率至预设值后，按照调整后的帧率获取所述至少一个视频流中的图像帧，并将获取的各个图像帧作为原始图像。
[0077]
具体的，本公开实施例中，图像处理服务器接收到图像采集设备上报的视频流后，确定视频流中包括的图像帧，但并不是全部的图像帧均可作为生成样本数据的原始图像，所述图像处理服务器对图像帧进行筛选，间断获取图像帧作为原始图像，使得各个原始图像的拍摄时间戳不连续，避免由于原始图像对应的拍摄时间戳差异过小，导致获取到的图像帧中图像内容差异小，使得原始图像差异不明显。
[0078]
需要说明的是，在对公交车上的客流量进行统计的场景中，由于公交车离开公交站的前后乘客的数目才会出现变化，可选择的，图像处理服务器可以在获取公交车上的图像采集设备上报的视频流时，同时获取公交车的到站时间作为获得图像帧的时机，使得将公交车到站或公交车离站后拍摄到的图像帧作为原始图像，其中，所述到站时间可以根据公交车上大部分乘客的上车刷卡时间确定，或者，根据记录的司机的开门时间确定。
[0079]
本公开实施例中，参阅表1所示意的，在对公交车的客流量进行统计的场景下，所述图像管理服务器接收到图像采集设备发送的视频流后，确定当前获得的各个视频流的关联参数，记录表1中所示意的各个属性。在获取视频流后，调整视频流的帧率，以从视频流中获取图像帧作为原始图像。
[0080]
例如，参阅表1所示，对于一个视频流来说，原始帧率为25帧/秒，图像处理服务器降低视频流的帧率为0.5帧每秒，即每隔两秒抽取视频流中的图像帧，将播放时长近20分钟的单个视频流转换为总帧数为600的较低帧率视频图像序列。
[0081]
这样，考虑到除公交车到站乘客上下车过程中所拍摄得到的监控视频图像外，乘客在乘坐公交车时运动幅度小，因此公交车车载的图像采集设备在相邻时刻拍摄得到的图像帧之间差异较小。避免出现大量相似图像数据对模型训练，所造成的模型训练样本中出现数据不均衡，致使模型在训练过程中出现过拟合。避免视频帧率过高带来的大量计算资源的消耗，以保证模型输出的实时性。
[0082]
再者，公交内的图像采集设备采集的各个视频流中多次记录有乘客上下车的过程，根据表1所示意的，各视频流中乘客人数最多时达到40人，最少时为0人。而且根据公交车上的图像采集设备采集的视频流，获取生成样本数据的原始图像时，使得原始图像覆盖的场景丰富，能够涵盖拥挤、正常、宽松、不拥挤、空车等不同拥挤程度场景与不同的光照场景，具有较高代表性。
[0083]
表1
[0084][0085][0086]
进一步的，获取多个原始图像后，对所述多个原始图像进行处理，得到样本数据。具体的，针对各个原始图像分别执行以下操作，直至全部原始图像处理完成。
[0087]
s1：确定并标注一个原始图像中包含的各个目标对象的中心点，并确定所述一个原始图像中的预先设置的用于进行客流量统计的样本处理区域，以及采用透视变换的处理方式，将所述样本处理区域校正为正投影的样本处理图像。
[0088]
具体的，确定一个原始图像中包括的各个目标对象，并标注所述各个目标对象的中心点。
[0089]
在公交车客流量统计的场景下，可以从训练数据筛选和数据标注方法两方面减轻数据标注的工作量，生成本文所提出的模型训练所需的数据样本。在公交车监控视频数据中，除乘客上下车过程外，公交车行车过程中由于乘客走动较少、姿势普遍固定。因此，当外界光照变化较小时，监控摄像头在临近时刻所拍摄的图片之间差异较小。并且，大量相似图片容易导致模型训练过程中出现过拟合。
[0090]
例如，基于上述特性，本公开可以首先从原本用于模型训练、测试与验证的80个视频流序列中抽取图像内容变化较大的图像序列，如图像光照变化明显和乘客上下车过程中乘客目标行动幅度较大的场景，抽取后的图像序列中图片共计6452张。将所得的图像序列数据用于模型训练、测试与验证。通过数据筛选，需要标注的训练样本图片数量大幅降低，但由于每张图片中需要标注的乘客目标较多，标注工作量依然较大。为继续减少标注工作量，本公开不直接对数据筛选后的6452张监控图像进行标注，而是从中继续筛选2200张差异明显的图片，并用label image工具对图中的乘客目标头部手工标注。
[0091]
需要说明的是，本公开实施例在生成样本数据时，可以采用超快速神经网络
(faster region-based convolutional neural network，faster rcnn)模型进行原始图像的标注。先采用已标注的部分原始图像对faster rcnn进行训练，并基于训练完成的faster rcnn，实现对为标注的原始图像的标注。极大的提高了样本数据的生成速度。
[0092]
本公开实施例考虑到faster rcnn在目标检测上表现出的优秀性能，且经训练后可输出目标的边框信息，所以本公开可以选择性的使用训练后的faster rcnn用于其他未标注训练样本的预标注。具体的，可以先利用已标注的图像训练现有的faster rcnn模型，并在faster rcnn模型平均精度均值达到设定值时停止训练。继而将faster rcnn模型对其他未经标注的图片进行乘客目标的头部检测，获取对应的预标注结果。
[0093]
这样，利用训练后的faster rcnn模型，能够检测出监控图像中大量的乘客目标头部边框且边框较为精准，只有少量乘客目标未被检测到。后续对预标注图像中的目标边框进行微调，并对未检测出的少量乘客目标进行补充标记，完成全部样本图片的标注工作。通过预标注的方法大大减少了标注样本的工作量，提高了图像数据标注的工作效率。再者，用于faster rcnn模型训练的图像全部出自用于本公开所提出的图像处理模型训练的原始图像，因此预标注操作不会对后续图像处理模型在测试样本集中所得测试结果的准确性造成影响。
[0094]
进一步的，由于原始图像来源于固定安装的图像采集设备拍摄的视频流或图像帧，所以所述原始图像中拍摄的区域固定，也就说是，在确定进行流量统计的样本处理区域后，不同原始图像中的样本处理区域的相对位置相同。进而能够明确的确定出不同原始图像中的样本处理区域。
[0095]
再对原始图像进行视角校正处理，即，采用透视变换的处理方式，将原始图像中的样本处理区域进行处理，将所述样本处理区域校正为正投影的样本处理图像。
[0096]
对于faster rcnn标注的目标头部的矩形边框，可根据矩形边框顶点坐标值求得乘客目标头部的中心点位置。再采用透视变换的处理方式生成样本处理图像，由于透视变换不改变图片中像素点之间的空间相对位置。因此，乘客头部的中心点坐标可经过相同的透视变换映射到样本矩阵中乘客目标头部中心点位置。
[0097]
需要说明的是，本公开实施例中，对于原始图像中目标对象中心点的标注处理，与对原始图像中样本处理区域的视角校正处理之间的处理顺序不做具体的限定，可以选择性的先标注原始图像中的目标对象中心，再对标注后的原始图像的样本处理区域进行透视变换，得到样本处理图像，或者，可以选择性的先对原始图像的样本处理区域进行透视变换，再对透视变换得到的样本处理图像中包含的各个目标对象的中心点进行标注。
[0098]
本公开实施例中，在对公交车的客流量进行统计的场景下，考虑到车内环境遮挡严重，乘客头部相较其他身体部位，尤其是车厢内较为拥挤的情况下更容易被监控摄像头拍摄到，并且不同乘客之间的头部差异相较于其他身体部位较小，因此选用乘客头部代表乘客整体目标，这样，对图像处理模型进行训练时，有益于提升所述图像处理模型预测的精确度。
[0099]
例如，参阅图2和图3a-3b所示，图3a示意性的示出了获得的一个原始图像，而图3b示意性的示出了对一个原始图像进行标注处理后得到的图像，图2中示意性的示出了对一个原始图像中的样本处理区域进行透视变换处理，得到样本处理图像r'1r'2r'3r'4。其中，图3b中所示意标注的目标对象中心点仅仅是为了便于观看的示意性说明，实际进行标注
时，目标对象中心点为一个点，对应于图像中的一个像素点。
[0100]
s2：对应所述样本处理图像中的各个像素点，设置对应的元素值，并生成包含有各个元素值的样本矩阵。
[0101]
具体的，本公开实施例中，图像处理服务器获得被标注的样本处理图像后，对应所述样本处理图像中的各个像素点，设置对应的元素值，并生成包含有各个元素值的样本矩阵，其中，所述样本矩阵中各个目标对象中心点所对应的元素取值相同，各个目标对象中心点所对应的元素取值相同。
[0102]
需要说明的是，本公开实施例中，图像处理服务器将所述样本处理图像中，被标注的目标对象中心点处的像素点，通常将元素值对应设置为1，对于样本处理图像中的非目标对象中心点，对应设置的元素值为0，进而生成元素取值为0或1的样本矩阵。也就说是，所述图像处理服务器针对样本处理图像对应生成样本矩阵，且样本处理图像中的各个像素点在样本矩阵中均存在对应的元素值。
[0103]
这样，在样本矩阵中矩阵元素取值为0或1，且目标对象中心点对应的元素值取值为1的情况下，仅通过计算样本矩阵中的元素和，即可确定样本处理图像中包括的目标对象流量。
[0104]
例如，假设样本处理图像i分辨率为h
×
w，h为图像高度，w为图像宽度，图像中的乘客计数标注的真实值记为ci，对监控图像中出现的所有乘客目标头部中心点进行标注，获得各中心点集合oi＝{o1,
…
,o
ci
)}。初始化维度为h
×
w的二维矩阵di，将该矩阵中点集oi中出现的所有位置的值置为1，其余位置均置为0，形成样本矩阵。
[0105]
s3：采用高斯滤波处理方式，基于取值固定的高斯核函数的宽度参数，对所述样本矩阵进行处理，得到对应的样本密度矩阵。
[0106]
具体的，图像处理服务器获得样本矩阵后，虽然样本矩阵中的各个元素和能够表征当前图像中的目标对象的总数，但由于忽略了目标对象所占的面积，以目标对象中心点的形式表征了目标对象，难以直观的确定当前图像中目标对象的密度分布。故所述图像处理服务器采用二维高斯滤波器对上述样本矩阵进行二维高斯滤波，公式如下：
[0107][0108]
其中，di为最终获得的样本密度矩阵，o为样本矩阵i中标注的目标对象中心点，p为样本处理图像得到中的任一像素点，oi为目标对象中心点集合，σ为高斯核函数的宽度参数，该参数值大小与目标对象的大小有关，且由于进行透视变换处理后，不同目标对象的大小相差很小，因此设置为固定值。
[0109]
具体的，样本密度矩阵如图4中所示，由于二维高斯滤波操作不影响矩阵求和结果，因此依旧可通过人群密度图求和获得乘客计数真实值，且得到的样本密度矩阵能够直观的反映原始图像中的目标对象的密度分布。
[0110]
参阅表2所示，示意性的示出了，在对公交车进行客流量统计的场景下，基于原始图像生成样本密度矩阵的算法流程。
[0111]
表2
[0112][0113][0114]
需要说明的是，表2所示算法流程中，1-3行介绍了获取计算原始图像中乘客头部边框集合对应的头部中心点坐标过程；4-7行介绍了原始图像到样本处理图像的映射以及各矩形边框中心点映射到样本处理图像中坐标的求解过程；8-17行介绍了样本密度矩阵的初始化、预处理及生成流程。
[0115]
需要说明的是，本公开实施例中，对样本矩阵进行二维高斯滤波处理时，当不同目标对象相距较近时，将不同目标对象中心点进行二维高斯滤波处理后得到的元素可能有重合，对于存在重合的元素，其取值为根据不同目标对象中心点计算得到的数值之和，且对于
不同目标处理对象来说，进行二维高斯滤波处理的操作相互独立。也就是说，在对不同目标对象中心点进行二维高斯滤波处理后，根据高斯核函数的宽度系数确定的各个目标对象区域内元素的取值互不干扰，在完成不同目标对象中心点的计算后，针对存在位置重叠的元素值的加和处理，元素值越大的区域表征越拥挤，元素值相对较小的区域表征拥挤程度稍弱。
[0116]
这样，由于对原始图像进行透视变换处理，使得采用二维高斯滤波处理方式对样本矩阵进行处理时，能够采用相同的高斯核函数的宽度系数进行处理，且能够通过样本密度矩阵中各元素的取值情况，确定当前图像中目标对象的密度和拥挤情况，并根据元素值确定图像中目标对象的密度信息。
[0117]
s4：将所述原始图像，以及对应的样本密度矩阵，作为一条样本数据。
[0118]
进一步的，采用上述处理方式，得到多个样本数据后，基于得到的样本数据对图像处理模型进行训练。
[0119]
需要说明的是，本公开实施例中，利用全卷积网络(fully convolutional networks,fcn)在人群密度估计上的优势，通过提取原始图像中像素级别的目标对象的密度信息，确定在实际的空间上的分布情况，并融合视角矫正机制，搭建了图像处理模型，具体的所述图像处理模型以fcn中的目视图像生成器(visual graphics generator)网络为基础搭建。本公开相当于提出了透视校正(perspective correction，pc)与全卷积网络fcn结合的机制。
[0120]
本公开实施例中，为保证实现更快更准确的生成样本密度矩阵，搭建所述图像处理模型的过程中，将vgg网络架构中的全连接层替换为反卷积层。
[0121]
本公开实施例中，对图像处理模型进行训练时，模型在训练过程中，选择性的将批大小(batch size)设置为30，学习率设置为10-4
，训练轮数(epoch)设置为20000。其中，批大小和学习率的设置可以根据实际的配置情况进行调整，以下的说明中，仅将一个样本数据输入图像处理模型，对图像处理模型进行训练的过程为例进行说明：
[0122]
步骤1：将一个样本数据中的原始图像输入图像处理模型，获得所述图像处理模型输出的密度矩阵。
[0123]
具体的，参阅图5所示，图像处理模型首先对输入的原始图像进行五层卷积池化操作，生成原始图像分辨率1/32的特征图，即第五层最大池化操作的输出结果。接着对以上结果进行两层卷积操作，获得原始图像分辨率1/32的热图。随后图像处理模型进行反卷积操作，获得分辨率为原始图像1/16的热图。上采样操作可视作卷积池化操作的逆操作，卷积池化操作在获得图像的高级抽象特征的过程中，会丢失上一层的低级特征信息与部分空间信息，即在提取与抽象高级特征过程中造成信息的减少。因此，在借助上采样操作恢复图像分辨率时，为将特征图的分辨率由原始图像的1/32恢复至1/16的过程中减少信息的丢失，需要参考模型在之前正向卷积池化操作过程中生成的分辨率为1/16的特征图，执行融合操作。本公开所用的融合操作为将上采样所得的1/16分辨率结果热图与模型正向卷积操作所得的分辨率为1/16的特征图相加。同理，将上述过程中的结果图进行第二次上采样操作获得1/8原始图像分辨率的热图，接着借助正向卷积操作所得的分辨率为1/8的特征图，即第三层最大池化操作所得的特征图，与1/8分辨率的特征图执行融合操作，完成结果热图的分辨率从原始图像的1/16到1/8的恢复。由于正向卷积网络前两层卷积池化操作所捕获的特
征较为低级，不利于人群密度特征的抽象，因此直接将上述结果从1/8原始图像分辨率上采样到原始图像原分辨率大小。最后经过1
×
1大小的卷积核将特征回归映射到人群密度，完成样本密度矩阵生成。样本密度矩阵中每一元素值即为该原始图像中对应像素点处的目标对象流量，对样本密度矩阵中所有元素求和即可获取原始图像所对应的目标对象流量。
[0124]
步骤2：获得所述图像处理模型输出的密度矩阵，并采用最小二乘损失函数，根据所述密度矩阵与所述一个样本数据中的样本密度矩阵之间相对位置相同的各个元素的取值差异，确定所述图像处理模型的损失值。
[0125]
图像处理模型通过估计像素级乘客人群密度图完成乘客计数与密度估计任务。本文通过端到端地训练整个图像处理模型中的网络。对于客流量统计场景下的密度估计任务，图像处理模型通过fcn的最后一个大小为1
×
1的卷积核将上一层所得到的特征图映射到最终的密度矩阵。对于乘客计数任务，由fcn输出的密度矩阵求和可获得乘客计数值，公式如下：
[0126][0127]
其中，为密度矩阵中任一点的元素值，p为密度矩阵中的元素总数，为目标对象的流量。
[0128]
本文采用基于最小二乘损失函数来测量估计人群密度估计值与真实值之间的差异。密度图估计的损失函数定义如下：
[0129][0130]
其中n为训练过程中的单批样本数量(batch size)，为fcn网络输出的第i帧原始图像对应的密度矩阵中像素p对应的元素值，θ
fcn
为fcn网络中需要学习的参数，所述最小二乘的目的是最小化预测值和真实值的平方差之和，也就是说在几何上最小化预测值和真实值在di轴上的距离。
[0131]
需要说明的是，本公开采用自适应矩估算adam优化算法，并通过反向传播算法对模型进行训练。
[0132]
参阅表3所示，示意性的示出的图像处理模型训练的算法逻辑。
[0133][0134]
下面结合附图6，对本公开实施中，图像处理服务器进行流量统计的过程进行说明。
[0135]
步骤601：获取待处理图像，其中，所述待处理图像由固定安装的图像采集设备采集。
[0136]
步骤602：采用完成训练的图像处理模型，对待处理图像进行透视变换处理和目标对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵。
[0137]
具体的，图像处理服务器将得到的待处理图像输入完成训练的图像处理模型中，使得所述图像处理模型对待处理图像进行透视变换处理和目标对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵。
[0138]
参阅图7所示，将待处理图像输入图像处理模型后，得到所述图像处理模型输出的密度矩阵。
[0139]
步骤603：计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量。
[0140]
具体的，根据上述说明的，图像处理模型对待处理图像的处理逻辑可知，基于密度矩阵，一方面可以直观的看到目标对象的分布情况，另一方面，可以通过计算密度矩阵中各元素之和，确定待处理图像中，目标对象的总数，也就是确定目标对象在所述待处理图像中的流量。
[0141]
这样，借助于完成训练的图像处理模型，能够解决图像的视角失真问题对流量分
析造成的影响，保证了对目标对象流量的准确分析，提高了流量分析的统计精度。而且，采用本公开创新性的提出的流量统计方式，极大的降低了对于图像帧进行流量统计的误差，能够识别高遮挡的图像中的客流情况，避免出现现有技术下采用的faster rcnn进行流量统计时所，受图像拍摄环境影响导致无法正常统计客流量的问题。
[0142]
基于同一发明构思，参阅图8所示，本公开实施例中，提出一种流量统计装置，包括：
[0143]
获取单元801，获取待处理图像，其中，所述待处理图像由固定安装的图像采集设备采集；
[0144]
处理单元802，采用完成训练的图像处理模型，对所述待处理图像进行透视变换处理和目标对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵，所述图像处理模型是基于卷积神经网络vgg架构搭建的，所述密度矩阵中表征不同目标对象的不同元素区域的元素值之和相同；
[0145]
计算单元803，计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量。
[0146]
可选的，所述采用完成训练的图像处理模型，对待处理图像进行透视变换处理和目标对象识别处理之前，所述处理单元802进一步用于：获得用于进行图像处理模型的训练的样本数据，具体用于：
[0147]
获取多个原始图像，针对各个原始图像分别执行以下操作，直至全部原始图像处理完成：
[0148]
确定并标注一个原始图像中包含的各个目标对象的中心点，并确定所述一个原始图像中的预先设置的用于进行客流量统计的样本处理区域，以及采用透视变换的处理方式，将所述样本处理区域校正为正投影的样本处理图像，其中，所述一个原始图像是由固定安装的图像采集设备采集的；
[0149]
对应所述样本处理图像中的各个像素点，设置对应的元素值，并生成包含有各个元素值的样本矩阵，其中，所述样本矩阵中各个目标对象中心点所对应的元素取值相同，各个目标对象中心点所对应的元素取值相同；
[0150]
采用高斯滤波处理方式，基于取值固定的高斯核函数的宽度参数，对所述样本矩阵进行处理，得到对应的样本密度矩阵，并将所述原始图像，以及对应的样本密度矩阵，作为一条样本数据。
[0151]
可选的，所述获得用于进行图像处理模型的训练的样本数据之后，所述将所述待处理图像输入完成训练的图像处理模型中之前，所述处理单元802进一步用于，对图像处理模型进行训练，具体用于：
[0152]
获取样本数据，并针对各个样本数据分别执行以下操作，直至图像处理模型的训练轮数达到设定阈值：
[0153]
将一个样本数据中的原始图像输入图像处理模型，获得所述图像处理模型输出的密度矩阵，所述密度矩阵中的各个元素对应所述原始图像中的各个像素点，所述密度矩阵中的不同元素区域对应所述原始图像中的不同目标对象且不同元素区域的元素之和固定相同；
[0154]
获得所述图像处理模型输出的密度矩阵，并采用最小二乘损失函数，根据所述密
度矩阵与所述一个样本数据中的样本密度矩阵之间相对位置相同的各个元素的取值差异，确定所述图像处理模型的损失值；
[0155]
基于所述损失值调整所述图像处理模型中参与生成所述密度矩阵的影响参数。
[0156]
可选的，搭建所述图像处理模型的过程中，将vgg网络架构中的全连接层替换为反卷积层。
[0157]
可选的，所述获取多个原始图像之前，所述获取单元801进一步用于：
[0158]
获取固定安装的图像采集设备采集的至少一个视频流，确定所述视频流的帧率；
[0159]
降低所述视频流的帧率至预设值后，按照调整后的帧率获取所述至少一个视频流中的图像帧，并将获取的各个图像帧作为原始图像。
[0160]
基于同一发明构思，参阅图9所示，流量统计装置900可以为服务器或具有处理功能的终端设备。参照图9，装置900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述方法。
[0161]
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理，一个有线或无线网络接口950被配置为将装置900连接到网络，和一个输入输出(i/o)接口958。装置900可以操作基于存储在存储器932的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似系统。
[0162]
基于同一发明构思，本公开实施例中基于流量统计的实施例中提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备执行时，使得所述电子设备能够执行上述流量统计方法。
[0163]
综上所述，本公开实施例中，获取待处理图像，其中，所述待处理图像由固定安装的图像采集设备采集，再采用完成训练的图像处理模型，对所述待处理图像进行透视变换处理和目标对象识别处理，得到所述图像处理模型输出的，映射有各个目标对象各自对应的元素区域的密度矩阵，所述图像处理模型是基于卷积神经网络vgg架构搭建的，所述密度矩阵中表征不同目标对象的不同元素区域的元素值之和相同，然后计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量获取待处理图像，采用完成训练的图像处理模型，对所述待处理图像进行处理，得到映射有各个目标对象各自对应的元素区域的密度矩阵，所述密度矩阵中表征不同目标对象的不同元素区域的元素值之和相同，再计算所述密度矩阵中各个元素值之和，并基于所述各个元素值之和确定所述待处理图像中目标对象的流量。这样，借助于完成训练的图像处理模型，能够解决图像的视角失真问题对流量分析造成的影响，保证了对目标对象流量的准确分析，提高了流量分析的统计精度。
[0164]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0165]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0166]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0167]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0168]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0169]
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。