一种基于单目镜头俯视图像的行人统计方法与流程

1.本发明涉及一种基于单目镜头俯视图像的行人统计方法，属于图像处理、行人识别及客流统计技术领域。


背景技术：

2.随着社会的不断进步，很多公共场所均配置有用于监控或人员数据统计的取像装置。但是，随着人们对个人隐私保护的需求愈来愈高，人们不愿意进行人脸识别。而用于客流统计的摄像头，此类取像装置的取像方向垂直于地面，其拍摄的图像为固定区域范围内的俯视图像，因为俯视图像中拍摄的行人的有效身体面积很小，能够直观获得的行人身体特征的信息量很少，尤其是行人的面部特征存在形变情况，从而完美地克服了泄露用户信息的问题。
3.但是，利用此类取像装置拍摄的俯视图像进行客流统计时，尤其是在高峰时段的火车站、汽车站、飞机场、地铁站、医院、银行、学校、商场或门店等，人体便于检测的重要部分被遮挡，不符合检测模型的检测要求，进而导致客流统计中存在行人重复检测或行人漏检的现象，严重影响了客流统计的准确率。传统的客流统计的摄像头采用多目摄像头，以保证在不同探测距离都能够清晰的获取图像。但是，多目摄像头对算法要求高，成本大幅增加，同时还需要解决安装位置空间的问题。因此，在实际使用时，多目摄像头并不是最佳的选择。
4.现有技术中，专利号为202110888574 .7，专利名称为“基于俯视图像的客流统计模型训练方法和一种客流统计方法”公开了一种以捕捉头部中心点和双脚中心点来实现客流统计。而在一些在高峰时段的火车站、汽车站、飞机场、地铁站、医院、银行、学校、商场或门店等，通过识别双脚中心点是很难实现的。首先，在人流量极大的拥挤场所，高峰时段常常是人挤人，人挨人的情况，难以有效的捕捉双脚，更无法去获取双脚中心点。其次，即使能够在双脚被遮挡的情况下，根据目标行人的未遮挡部位的显示比例拟算出脚部关键点的位置，但是，在上述场所，目标行人通常会携带背包行李等大件物品，这就直接导致在根据目标行人的未遮挡部位的显示比例拟算出脚部关键点位置的方法具有很大的偏差，并不能实现精确有效的统计。因此，专利名称为“基于俯视图像的客流统计模型训练方法和一种客流统计方法”在实际应用的过程中很难达到预期效果。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种基于单目镜头俯视图像的行人统计方法，其具体技术方案如下：一种基于单目镜头俯视图像的行人统计方法，包括以下步骤：步骤1：建立目标生成对抗网络：在完全无遮挡的情况下，在单目镜头的俯视监控视频中获取若干张行人的完整的俯视图像，构建生成对抗网络，挑选多张完整的行人俯视图像作为数据集，将完整的行人俯视图进行图像处理，获得多张仅包含行人头部和肩部的
局部平面图像作为训练集，通过训练集对生成对抗网络进行训练，检验并得到目标生成对抗网络；步骤2：获取单目俯视图像：利用待测场景中的单目镜头对行人进行记录并生成监控视频，通过单目镜头的俯视监控视频获取多张连贯的单目行人俯视图像，对多张俯视图像中的每个行人均进行信息标注；步骤3：获取输入图像：对多张俯视图像中目标行人的头部和肩部进行头部虚拟点、左肩虚拟点和右肩虚拟点标定，通过俯视图像中的头部虚拟点、左肩虚拟点和右肩虚拟点构建矩形识别框，俯视图像中目标行人的矩形识别框尺寸越大表明目标行人受到遮挡的程度越小，在多张俯视图像中获取目标行人的矩形识别框尺寸最大的俯视图像作为输入图像；步骤4：生成目标图像：将输入图像输入目标生成对抗网络，生成目标行人完整的俯视图像作为目标图像，标定目标图像的头部虚拟点、左肩虚拟点和右肩虚拟点，再次生成矩形识别框，利用矩形识别框对目标行人进行轨迹监测和记录；步骤5：统计行人信息：通过对目标行人的轨迹监测，统计进入或离开待测场景中的人数，统计目标行人的行进路线和停留信息。
6.进一步的，所述步骤3中左肩虚拟点为目标行人的左肩最左端的中间点，所述右肩虚拟点为目标行人的右肩最右端的中间点，所述头部虚拟点是目标行人的头部中心点。
7.进一步的，所述步骤3中所述头部虚拟点到目标行人头部边缘最大距离为半径的圆为头部圆，所述头部圆的直径为矩形识别框的框宽，所述左肩虚拟点和右肩虚拟点之间的距离为矩形识别框的框长。
8.进一步的，所述步骤2中对行人进行序号信息标注，并根据行人的行进方向设置不同的标注颜色。
9.进一步的，所述步骤3中当目标行人的左肩被遮挡无法标定时，右肩虚拟点与头部虚拟点连接形成标定线，在标定线上，右肩虚拟点关于头部虚拟点的对称点即为左肩虚拟点；当目标行人的右肩被遮挡无法标定时，左肩虚拟点与头部虚拟点连接形成标定线，在标定线上，左肩虚拟点关于头部虚拟点的对称点即为右肩虚拟点；当目标行人的左肩和右肩均被遮挡无法标定时，以头部虚拟点为圆心，头部虚拟点到目标行人头部边缘最大距离为半径形成标定圆，以头部虚拟点为起点，头部虚拟点沿目标行人左肩最左端的中间点方向标定左肩虚拟点，头部虚拟点沿目标行人右肩最右端的中间点方向标定右肩虚拟点，所述左肩虚拟点和右肩虚拟点与头部虚拟点的距离均为标定圆直径的1.5倍。
10.本发明的有益效果：本发明解决了现有技术中的利用取像方向垂直于地面的取像装置拍摄的俯视图像进行客流统计时，会因行人数量较多、人体较胖或行进速度过快，俯视图像不完整，从而导致客流统计中存在行人重复检测或行人漏检的现象，进而影响了客流统计的准确率的问题；本发明利用单目镜头进行图像采集，对算法要求不高，经济成本降低，占用空间小，安装方便，实现对目标行人的精确识别定位。
附图说明
11.图1是本发明的方法流程示意图，
图2是本发明的测试场景示意图。
具体实施方式
12.现在结合附图对本发明作进一步详细的说明。
13.如图1和图2所示，本发明主要目的是提供了一种基于单目镜头俯视图像的行人统计方法。首先，建立目标生成对抗网络。在完全无遮挡的情况下，在单目镜头的俯视监控视频中获取若干张行人的完整的俯视图像，构建生成对抗网络，挑选多张完整的行人俯视图像作为数据集，将完整的行人俯视图进行图像处理，获得多张仅包含行人头部和肩部的局部平面图像作为训练集，通过训练集对生成对抗网络进行训练，检验并得到目标生成对抗网络；其次，获取单目俯视图像。利用待测场景中的单目镜头对行人进行记录并生成监控视频，通过单目镜头的俯视监控视频获取多张连贯的单目行人俯视图像，对多张俯视图像中的每个行人进信息标注。在对行人进行序号信息标注，并根据行人的行进方向设置不同的标注颜色，东向行人序号标注为红色，南向行人序号标注为黄色，西向行人序号标注为蓝色，北向行人序号标注为绿色，同理，也可以给东南、东北、西南和西北向的行人序号进行不同的颜色标注。紧接着，获取输入图像。对多张俯视图像中目标行人的头部和肩部进行头部虚拟点、左肩虚拟点和右肩虚拟点标定，通过俯视图像中的头部虚拟点、左肩虚拟点和右肩虚拟点构建矩形识别框，俯视图像中目标行人的矩形识别框尺寸越大表明目标行人受到遮挡的程度越小，在多张俯视图像中获取目标行人的矩形识别框尺寸最大的俯视图像作为输入图像。当目标行人的左肩被遮挡无法标定时，右肩虚拟点与头部虚拟点连接形成标定线，在标定线上，右肩虚拟点关于头部虚拟点的对称点即为左肩虚拟点；当目标行人的右肩被遮挡无法标定时，左肩虚拟点与头部虚拟点连接形成标定线，在标定线上，左肩虚拟点关于头部虚拟点的对称点即为右肩虚拟点；当目标行人的左肩和右肩均被遮挡无法标定时，以头部虚拟点为圆心，头部虚拟点到目标行人头部边缘最大距离为半径形成标定圆，以头部虚拟点为起点，头部虚拟点沿目标行人左肩最左端的中间点方向标定左肩虚拟点，头部虚拟点沿目标行人右肩最右端的中间点方向标定右肩虚拟点，左肩虚拟点和右肩虚拟点与头部虚拟点的距离均为标定圆直径的1.5倍。其中，左肩虚拟点为目标行人的左肩最左端的中间点，右肩虚拟点为目标行人的右肩最右端的中间点，头部虚拟点是目标行人的头部中心点，头部虚拟点到目标行人头部边缘最大距离为半径的圆为头部圆，头部圆的直径为矩形识别框的框宽，左肩虚拟点和右肩虚拟点之间的距离为矩形识别框的框长。然后，生成目标图像。将输入图像输入目标生成对抗网络，生成目标行人完整的俯视图像作为目标图像，标定目标图像的头部虚拟点、左肩虚拟点和右肩虚拟点，再次生成矩形识别框，利用矩形识别框对目标行人进行轨迹监测和记录。最后，统计行人信息。通过对目标行人的轨迹监测，统计进入或离开待测场景中的人数，统计目标行人的行进路线和停留信息。
14.本发明解决了现有技术中的利用取像方向垂直于地面的取像装置拍摄的俯视图像进行客流统计时，会因行人数量较多、人体较胖或行进速度过快，俯视图像不完整，从而导致客流统计中存在行人重复检测或行人漏检的现象，进而影响了客流统计的准确率的问题。本发明利用单目镜头进行图像采集，对算法要求不高，经济成本降低，占用空间小，安装方便，实现对目标行人的精确识别定位。目标行人采用带有颜色的序号进行分类标注，对目标行人的运动轨迹的监测一目了然。本发明通过生成对抗网络来实现对目标行人的识别标
定，选取目标行人行进过程中最合适的俯视图像进行代入，实现精确的目标行人标定。
15.以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。