一种基于相互监督的人流量统计方法

1.本发明涉及人流量统计技术领域，尤其涉及一种基于相互监督的人流量统计方法。


背景技术：

2.随着我国人口密度增大，人流检测算法在生活中得到更加广泛的应用。譬如在人流量高峰时间实现街道的人流检测以掌握人流动向，抑或是通过对人流的统计实现共享单车区域分布的合理规划等。
3.现有的人流检测算法在处理大量人群时常因为重叠度高而难以准确计数，商场、学校等是此类问题的频发场所。此时，提高人流量检测结果的准确性就成为了在该系统中重要的参数，因此需要一种可以在对高密度人群进行较为精确的计数的方法。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于相互监督的人流量统计方法，不需要对图像进行多维化处理，能利用主流行人检测算法的特征匹配与重叠度计算来提高该方法检测的效率。
5.技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于相互监督的人流量统计方法，包括：
6.步骤一、在yolov4网络中利用cspnet将输入特征图分为不同的两部分，分别进行处理后合并；
7.步骤二、利用yolo检测头同时检测行人头部和全身，并对两种检测结果进行特征匹配；
8.步骤三、使用focal loss损失作为yolov4检测网络的分类损失；
9.步骤四、在进行nms抑制后，以全身检测框为主体，对于每个全身框与头部检测结果进行iou重叠度计算，将头部检测结果完全包含在全身框之内；通过人头部和全身检测的相互监督识别人体；
10.步骤五、利用步骤四头部-行人相互监督后的检测结果即头部检测和全身框匹配后的结果生成数据集，构建输入向量，获得训练样本集；
11.步骤六、将所生成的训练样本输入构建好的yolov4深度神经网络模型进行训练得到最终模型，输出区域人流数量。
12.进一步的，在步骤一中，使用darknet53作为基础特征提取网络，在yolov4中利用跨阶段层次结构cspnet对darknet53做如下改进：将浅层的特征图在通道维度一分为二，一部分经由darknet53网络的特征提取模块向后传播，另一部分则经过跨阶段层次结构cspnet直接与特征提取模块的输出进行合并。
13.进一步的，在步骤三中，选择focal loss损失作为网络的分类损失，损失函数如下：
[0014][0015][0016]
其中，(1-p
t
)
λ
是调节因子，λ≥0是可调节的聚焦参数，p为检测结果，y为真实标签。
[0017]
进一步的，选用eiou loss作为yolov4网络的回归损失，表达式如下：
[0018][0019]
其中，l
eiou
表示eiou loss损失函数，l
iou
表示重叠度损失函数，l
dis
表示距离损失函数，l
asp
表示边长损失函数；iou是重叠度损失值；b和b
gt
分别表示yolo检测矩形框的两个中心点，ρ是两点的欧式距离，c是两个矩形框的闭包区域的对角线的距离，ω和h 分别为预测框的宽和高；c
ω
和ch分别代表覆盖两个预测框的最小框的宽度和高度，ω,ω
gt
分别为yolo检测矩形框和真实情况下矩形框的宽，h,h
gt
分别为yolo检测矩形框和真实情况下矩形框的高。
[0020]
进一步的，构建的神经网络共分为三层，第一层为输入层，接收处理后的输入向量；第二层为隐含层，用于完成对修正公式即focal loss损失函数的拟合；第三层为全连接层，根据相互监督算法生成结果并输出；此网络模型的输出结果为人流量统计的最终人数。
[0021]
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
[0022]
本发明方法使用人头和人身体的检测结果互相监督，检测结果更加准确。该方法通过cspnet网络结构的使用缩短了训练时长和算力要求。该方法通过focal loss损失函数的引进使得结果更加准确。
附图说明
[0023]
图1是本发明实施流程示意图。
具体实施方式
[0024]
下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0025]
本发明的实施例提供了一种基于相互监督的人流量统计方法，如图1所示，整体流程可分为三大模块：特征提取网络，互监督检测网络，行人检测与计数系统。在特征提取网络中使用cspnet将输入特征图分为不同的两部分并分开处理。在互监督检测网络中使用人头和人身互监督进行检测，获得更加精确的结果。在行人检测与计数系统中进行人机交互操作，将神经网络结果输出在交互界面上方便用户的使用。具体包括：
[0026]
步骤一、在yolov4中网络利用cspnet将输入特征图分为不同的两部分并分开处理。
[0027]
使用darknet53作为基础特征提取网络，在yolov4中利用cspnet(跨阶段局部网络) 对darknet53做新的改进。将浅层的特征图在通道维度一分为二，一部分经由darknet53 网络的特征提取模块向后传播，另一部分则经过跨阶段层次结构cspnet直接与特征提取模块的输出进行合并。这种做法很好地解决了darknet53网络在优化过程中的梯
度信息重复问题，从而减少了模型的参数量和flops数值，既提高了模型对的速度有可能保证准确率，使得网络更加轻量化。
[0028]
步骤二、利用yolo检测头分别检测行人头部和全身并进行特征匹配。
[0029]
由于行人头部尺度更小同时可利用的有效特征信息也更少，更容易被非目标物干扰，所以提出一种头部-行人互监督检测方法，yolo检测头分别同时检测每个人的身体和头部并在头部-行人互监督检测网络中进行相互验证，通过对两种检测结果进行特征匹配以最大程度地提高检测器的性能。
[0030]
步骤三、使用focal loss损失作为yolov4检测网络的分类损失。
[0031]
yolov4网络依旧属于one-stage网络，one-stage网络中样本会存在大量的简单样本，并且都是负样本。这些大量负样本的存在会很大程度主导网络梯度更新的方向，从而导致yolov4网络无法学到有用的信息，无法对object进行准确分类；所以选择focal loss损失作为网络的分类损失，减少负样本影响，使学习过程更多聚焦于易错的样本；具体损失函数如下：
[0032][0033][0034]
其中，(1-p
t
)
λ
是调节因子，λ≥0是可调节的聚焦参数，p为检测结果，y为真实标签。可以看出当样本分类错误时，p
t
趋于0，调变因子趋于1，损失函数几乎无变化；如果目标分类正确，p
t
将趋于1，调变因子将趋向于0，损失函数同时也接近于0，从而降低了对该目标的权重。这很好地缓解类别不平衡问题对模型性能的影响。
[0035]
步骤四、在进行nms抑制后，以全身检测框为主体，对于每个全身框与头部检测结果进行iou重叠度计算。
[0036]
通过实验发现，有两种情况会分别影响头部检测和身体检测器的性能：1)人体目标之间由于重叠程度过高被nms抑制造成漏检；2)尤其对于景深较深区域内的目标头部检测器由于头部尺度过小而易受背景、光照等复杂因素的影响无法准确回归到真实目标框。因此，以全身检测框为主体，对于每一个全身框与头部检测结果进行iou重叠度计算，将头部检测结果完全包含在全身框之内，由此弥补头部检测器对于后景目标实例检测能力不足的问题。
[0037]
通常情况下，在yolov4网络中选用ciou loss作为回归损失，表达式如下：
[0038][0039]
上式中：l
ciou
表示ciou loss损失函数，iou是重叠度损失；b和b
gt
表示yolo检测矩形框的两个中心点，ρ表示两点的欧式距离；c表示两个矩形框的闭包区域的对角线的距离，α为比例系数，v为超参数。
[0040]
ciou loss综合考虑了三个重要的几何因素：中心点距离、重叠面积、宽高比，并通过引入额外的超参数v反映预测框宽高比之间的差异。但是，宽高比并不能代表预测框真实的宽高，这种方式忽略了真实框的宽高与置信度之间的差异，会一定程度影响模型的优化相似性。因此，本发明选用eiou loss作为网络的回归损失，表达式如下：
[0041][0042]
其中，l
eiou
表示eiou loss损失函数，l
iou
表示重叠度损失函数，l
dis
表示距离损失函数，l
asp
表示边长损失函数；ω和h分别为预测框的宽和高；c
ω
和ch分别代表覆盖两个预测框的最小框的宽度和高度，ω,ω
gt
分别为yolo检测矩形框和真实情况下矩形框的宽，h,h
gt
分别为yolo检测矩形框和真实情况下矩形框的高。
[0043]
eiou loss在ciou loss的基础上引入了预测框和真实框的宽和高的损失(focal loss) 从而解决了预测框和真实框的宽高纵横比呈线性比例时，预测框w和h就不能同时增加或者减少，导致不能继续进行回归优化的问题，使得网络预测结果更加优秀。
[0044]
这一步骤作用于nms抑制过程以后，既可有效解决nms抑制的高重叠身体目标实例，也可防止nms处理对自适应回归的框再抑制。
[0045]
步骤五中，利用相互监督后的结果生成数据集，构建输入向量，获得深度神经网络的训练样本集。
[0046]
步骤六、将所生成的训练样本输入构建好的yolov4深度神经网络模型进行训练得到最终算法模型，输出区域人流数量。
[0047]
神经网络共分为三层，第一层为输入层，接收处理后的的输入向量；第二层为隐含层，用于完成对修正公式即focal loss损失函数的拟合；第三层为全连接层，根据相互监督算法生成人流量统计结果，对人流量统计相较于仅考虑人头和人身体检测该结果更加精确。此网络模型的输出结果为该算法下人流量统计的最终人数。
[0048]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性,附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。