基于全景图像的人流量统计方法及系统与流程

1.本发明涉及人流量统计技术领域，具体地说，特别涉及一种基于全景图像的人流量统计方法及系统。


背景技术：

2.智慧旅游是旅游业蓬勃发展的一个现实表现，其中人流量统计系统已遍布各个景区，该系统用来解决旅游景区的人流量过多增加踩踏事故的风险问题，现在也是防疫规范管理的一个需求。
3.目前旅游景区常见的客流量统计系统通过总体人流量上控制达到管理目的。常见的统计方式是在出入口设置监票系统，系统经过在总量上统计并将数据量显示在电子显示屏幕上，虽然这种传统电子屏幕已被升级为数字孪生平台类，但这种可视化的大屏幕仍然显示全局数据量，因此旅游景区内部景点的拥堵状况靠游客自觉意识和管理人员人工控制，具体体现在，景区管理人员通过各个定点摄像机画面反馈情况来统计各处的人流量，继而综合判断得到管理决策。然而，这其中的摄像机重叠区容易造成重复统计，增加人工统计成本，没有监控到的区域难以智能获取人流量，因此仍然需要人工管理，这对解决事故风险问题的时效性带来了挑战。对景区游客来说，游玩攻略通常靠其他人的旅游经验来规划，在没有获取到景点的人群流量信息的情况下难以调整游玩路线，如此获取的游玩愉悦感是不确定的，这就出现游玩靠景区宣传和别人的游玩感受和经验。


技术实现要素：

4.为了解决现有技术的问题，本发明实施例提供了一种基于全景图像的人流量统计方法及系统。所述技术方案如下：
5.一方面，提供了一种基于全景图像的人流量统计方法，包括：
6.采集摄像机图像，对所述摄像机图像进行全景拼接融合；
7.检测全景图像中的人头数；
8.根据检测出来的人头获取到实时人流量。
9.进一步地，所述采集摄像机图像，对所述摄像机图像进行全景拼接融合的步骤具体为：
10.步骤1)采集摄像机图像，包括在统一水平线部署摄像机和读取摄像机流以及设置图像分辨率；
11.步骤2)使用sift算法提取每个处理后图像的特征，然后使用最近邻方法计算完成最佳匹配点计算；
12.步骤3)使用匹配后的特征计算摄像机参数并校正；
13.步骤4)利用校正后的摄像机参数对能构成全景的摄像机输出图片进行全景拼接融合。
14.进一步地，所述步骤3)具体为：
15.根据仿射变换和最佳匹配点计算相机最佳估计参数，使用光束平差法对估计的相机参数进行校正减少参数导致的全景中的特征扭曲状态，接着是相机参数的校正和格式转换，按最佳相邻匹配标准到获取拼接成全景的图像顺序，按照该顺序使用之前计算好的相机参数和输入图像经仿射变换提取图像角点特征，使用输入图像掩膜和之前相机参数经仿射变换获取掩膜校正参数，对输入图像变换参数和掩膜以及计算出的图像角点进行曝光补偿，接着使用图割法计算匹配特征之间的缝隙并保存在校正后的掩膜变换参数中。
16.进一步地，所述步骤4)具体为：
17.根据之前计算的相机参数和图片角点以及实时输出流取出的图片计算当前图像变换，根据相机参数计算当前图像的掩膜变换，根据角点、实时输入图像和最新获取的掩膜变换进行曝光补偿，接着对步骤3)中计算好的掩膜变换进行膨胀和尺寸变换并将结果与当前步骤中的新掩膜变换合并获取其缝隙优化后的掩膜，最后使用多频融合算法将当前实时图像变换、最终优化掩膜和图像角点进行融合即可获取拼接后的全景图像。
18.进一步地，所述使用多频融合算法将当前实时图像变换、最终优化掩膜和图像角点进行融合即可获取拼接后的全景图像的步骤具体为：
19.1)计算输入图像的高斯金字塔；
20.2)计算输入图像的拉普拉斯金字塔；
21.3)将处于同一级的拉普拉斯金字塔进行融合。例如在拼接缝两侧使用简单的线性融合；
22.4)将高层的拉普拉斯金字塔依次扩展直至和源图像相同分辨率；
23.5)将构成全景的摄像机的图像依次叠加，则得到最终的输出图像。
24.进一步地，所述检测全景图像中的人头数的步骤具体为；
25.该步骤使用haar-like特征的adaboost级联分类器实现一个人头检测器；
26.具体为：
27.1)使用积分图描述图像全局信息，图像指定坐标的积分图是该位置左上角所有像素之和，以此类推计算出图像区域像素值，继而就用积分图获取到图像的全局特征值；
28.2)根据获取到的特征构建分类检测器，通过提高识别率降低误识率得到最优模型，此处定位损失使用特征点位置和实际位置的平方差损失。
29.另一方面，提供了一种基于全景图像的人流量统计系统，包括：
30.全景拼接模块，用于采集摄像机图像，对所述摄像机图像进行全景拼接融合；
31.人头检测模块，用于检测全景图像中的人头数
32.可视化全景和统计模块，用于根据检测出来的人头获取到实时人流量。
33.进一步地，所述全景拼接模块包括：
34.图像获取单元，用于采集目标区域多个摄像机图像，其中摄像机部署在同一平面且在统一水平线，通过vlc库读取摄像机流并转换为图像；
35.特征提取单元，用于使用sift算法提取每个处理后图像的特征，然后使用最近邻方法计算完成最佳匹配点计算；
36.参数校正单元，用于使用匹配后的特征计算摄像机参数并校正；
37.全景拼接单元，用于利用校正后的摄像机参数对能构成全景的摄像机输出图片进行全景拼接融合。
38.进一步地，所述人头检测模块用于使用adaboost级联方法实现，提取特征训练分类模型，同时直接使用特征位置和平方误差回归获取检测框。
39.本发明实施例提供的技术方案带来的有益效果是：
40.本发明提供的一种基于全景图像的人流量统计方法，采用该方法得到一个端到端的的人流统计系统，该系统可远程监控到目标区域的人群数量，根据统计结果和全景直观信息通过摄像机语音信息远程提供密度信息，提高区域管理效率。
附图说明
41.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明实施例1的全景拼接流程图；
43.图2是本发明实施例1中用于描述图像全局信息的积分图；
44.图3是本发明实施例1中人头检测流程图；
45.图4是本发明实施例2中图像显示和人数显示的图形界面。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
47.本发明提供了一种基于全景图像的人流量统计方法，参见图1，包括：
48.s1：采集摄像机图像，包括在统一水平线部署摄像机和读取摄像机流以及设置图像分辨率。
49.本实施例中，s1中摄像机品牌不限一种，也可以使用本地视频，基于开发环境硬件水平图像可设置不同的分辨率。
50.具体地，其中s1中使用vlc第三方库读取摄像机实时流并转化为图像帧，将获取的图像尺寸改为640*384，基于不同开发环境硬件水平和摄像机数量也选择其他分辨率。
51.s2：使用sift算法提取每个处理后图像的特征，然后使用最近邻方法计算完成最佳匹配点计算。
52.具体地，s2中使用的最近邻匹配基于原始特征点匹配。
53.本实施例中，s2中使用sift算法即尺度不变特征变换进行特征提取，使用最近邻算法选出最佳匹配特征。
54.s3：使用匹配后的特征计算摄像机参数并校正；
55.具体地，根据仿射变换和最佳匹配点计算相机最佳估计参数，使用光束平差法对估计的相机参数进行校正减少参数导致的全景中的特征扭曲状态，接着是相机参数的校正和格式转换，按序包括使用之前计算好的相机参数和输入图像经仿射变换提取图像角点特征，使用输入图像掩膜和之前相机参数经仿射变换获取掩膜校正参数，对输入图像变换参数和掩膜以及计算出的图像角点进行曝光补偿，接着使用图割法计算匹配特征之间的缝隙并保存在校正后的掩膜变换参数中。
56.本实施例中，s3中使用了仿射变换获取相机参数，具体1)使用仿射变换将s2中获取的最佳匹配特征计算出相机的内参矩阵、焦距矩阵和旋转变换矩阵；2)使用光束平差法校正相机参数，即上述的内参矩阵、焦距矩阵和旋转矩阵。光束法平差的基本原理是对被测物体从不同角度、位置拍摄多幅图像，则物体上所有特征点的物点、像点、光心都应落在相应的光线上，即满足成像的共线关系，平差的过程就是通过优化使这些共线关系的总体偏差为最小；3)利用计算好的相机参数和仿射变换对原来图像进行变换并提取左上角点特征，接着使用同样方法对原图像的掩膜进行变换，生成变换后的图像，使得变换后的图像特征方向和匹配的图像特征方向一致；4)对原图像变换后的图像、其掩膜变换图像以及角点曝光补偿，减少拼接合成后的图像特征的差异性；5)用图割法平滑图像掩膜变换之间的缝隙，即平滑拼接全景时特征缝合处的边界，消除特征匹配不准确带来的特征差异。
57.s4：利用校正后的摄像机参数对能构成全景的摄像机输出图片进行全景拼接融合。
58.具体地，根据之前计算的相机参数和图片角点以及实时输出流取出的图片计算当前图像变换，根据相机参数计算当前图像的掩膜变换，根据角点、实时输入图像和最新获取的掩膜变换进行曝光补偿，接着对s3中计算好的掩膜变换进行膨胀和尺寸变换并将结果与当前步骤中的新掩膜变换合并获取其缝隙优化后的掩膜，最后使用多频融合算法将当前实时图像变换、最终优化掩膜和图像角点进行融合即可获取拼接后的全景图像。
59.进一步地，s4中多频段融合步骤是：
60.1)计算输入图像的高斯金字塔；
61.2)计算输入图像的拉普拉斯金字塔；
62.3)将处于同一级的拉普拉斯金字塔进行融合。例如在拼接缝两侧使用简单的线性融合；
63.4)将高层的拉普拉斯金字塔依次扩展直至和源图像相同分辨率；
64.5)将构成全景的摄像机的图像依次叠加，则得到最终的输出图像。
65.本实施例中，s4主要涵盖实时全景拼接过程，这里首先利用之前的相机参数和摄像机实时流计算新的图像变换和掩膜变换，接着综合之前计算的掩膜和多频段融合方法生成新的全景图。
66.s5，该步骤使用adaboost级联方法实现，提取特征训练分类模型，同时直接使用特征位置和平方误差回归获取检测框。
67.具体地，使用haar-like特征的adaboost级联分类器实现一个人头检测器。具体为：
68.1)参见图2，使用积分图描述图像全局信息，图像指定坐标的积分图是该位置左上角所有像素之和，以此类推计算出图像区域像素值，继而就用积分图获取到图像的全局特征值；参见图3，使用积分图描述图像全局信息，使用到的公式为ii(x,y)＝∑
x'≤x,y'≤y
i(x',y'),其中i(x',y')为原始图像(x',y')处的像素值，ii(x,y)是(x,y)处的积分图，那么图中区域d的像素值＝区域a b c d的像素值 区域a的像素值-区域a b的像素值-区域a c的像素值，即区域d的像素值＝ii(4) ii(1)-ii(2)-ii(3)，ii(1)表示区域a的像素值，ii(2)表示区域a b的像素值，ii(3)表示区域a c的像素值，ii(4)表示区域a b c d的像素值，以此类推计算出相邻区域像素值，相邻区域像素值作差可得到通过加减矩形图端点积分图获取
特征值；
69.2)根据获取到的特征构建分类检测器，通过提高识别率降低误识率得到最优模型，此处定位损失使用特征点位置和实际位置的平方差损失。
70.本实施例中，s5中1)haar特征提取方法是基于haar特征模板提取特征计算量大而选取，积分图使用模块化加速提取haar特征的过程；
71.进一步地，参见图3，包含人头检测全过程，具体逻辑模块为1)采集图像作为数据样本，尽量覆盖实际应用中可能发生的各种情况，样本其中一半图像包含多个角度的人头特征的图像作为训练正样本，另外一半不含人头特征图像作为负样本，图像大小被归一化为易训练的尺寸，接着标记所有样本，包括类别和目标框；2)提取haar特征；3)生成弱分类器，用haar特征的位置信息，对训练样本进行统计就可以得到对应的特征参数；4)用adaboost算法选取优化的弱分类器，此处获取基本二元分类器；5)以弱分类器集为输入，在训练检出率和误判率限制下，使用adaboost算法挑选最优的弱分类器；6)将弱分类器经过线性组合获取强分类器为最终检测器。
72.s6：实现一个视频显示平台，该部分使用qt实现，可达到全景显示和全景中总人数显示；
73.s7：将全景算法和人头检测器部署至s6实现的平台。
74.实施例2
75.本发明提供了种基于全景图像的人流量统计系统，包括：
76.全景拼接模块，用于采集摄像机图像，对所述摄像机图像进行全景拼接融合；
77.人头检测模块，用于检测全景图像中的人头数
78.可视化全景和统计模块，用于根据检测出来的人头获取到实时人流量。
79.进一步地，所述全景拼接模块包括：
80.图像获取单元，用于采集目标区域多个摄像机图像，其中摄像机部署在同一平面且在统一水平线，通过vlc库读取摄像机流并转换为图像；
81.特征提取单元，用于使用sift算法提取每个处理后图像的特征，然后使用最近邻方法计算完成最佳匹配点计算；
82.参数校正单元，用于使用匹配后的特征计算摄像机参数并校正；
83.全景拼接单元，用于利用校正后的摄像机参数对能构成全景的摄像机输出图片进行全景拼接融合。
84.进一步地，所述人头检测模块用于使用adaboost级联方法实现，提取特征训练分类模型，同时直接使用特征位置和平方误差回归获取检测框。
85.进一步地，所述可视化全景和统计模块采用视频显示，用于显示全景和全景中的总人数。
86.具体地，包括实现一个图像显示和人数显示的图形界面，参见图4，具体模块包括参数输入、全景显示和实时数据显示，其中参数输入模块可输入摄像机参数和本地视频地址。
87.将训练好的全景融合器和人头检测器部署合并在界面，最终得到全景人头检测系统，该系统可拓展使用在各个行业中人群排队和交通管控中。
88.本发明实施例提供的技术方案带来的有益效果是：
89.本发明提供的一种基于全景图像的人流量统计方法，采用该方法得到一个端到端的的人流统计系统，该系统可远程监控到目标区域的人群数量，根据统计结果和全景直观信息通过摄像机语音信息远程提供密度信息，提高区域管理效率。
90.以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。