基于改进YOLOv3网络的行人检测方法、系统、介质、设备与流程

基于改进yolov3网络的行人检测方法、系统、介质、设备
技术领域
1.本发明属于行人检测技术领域，具体涉及一种基于改进yolov3网络的行人检测方法、系统、介质、设备。


背景技术：

2.随着科技快速的发展，行人检测在智能视频监控、车辆辅助驾驶、智能机器人等领域有着广泛的应用。行人检测作为智能设备的一种核心的技术，可以使机器设备获取图像信息，且对这些信息进行分析处理，帮助人们完成各种识别检测任务。
3.yolov3算法利用了特征金字塔网络(fpn)实现了三种尺度的预测，分别为13*13、26*26、52*52，其检测精度相比于yolo、yolov2均有所提升。尽管目标检测算法在深度学习yolov3方法上已取得不错的成绩，但仍然存在以下问题：卷积神经网络中深层感受野大，经过多次下采样后，更难提取到行人特征，导致小尺寸行人目标存在漏检、误检等情况。


技术实现要素：

4.发明目的：针对现有技术中存在的问题，本发明提供一种基于改进yolov3网络的行人检测方法，该方法结合线性缩放来处理行人目标先验框，提升了网络的特征描述能力。最终改进的网络拥有更高的准确率，同时保持了原有算法的鲁棒性。
5.技术方案：本发明一方面提供了一种基于改进yolov3网络的行人检测方法，包括以下步骤：
6.步骤1：构建特征提取网络darknet的残差网络，将残差网络基本单元中bn层的参数合并到其卷积层；根据构建的残差网络构建特征提取网络，记为特征提取网络darknet
‑
53；
7.步骤2：构建特征金字塔网络，将特征提取网络darknet
‑
53经过5次下采样获取图像的4个卷积特征与yolo输出13*13、26*26、52*52、104*104尺度信息进行融合；使yolov3算法中的yolo输出层输出4种尺度的特征图，其中，4种尺度包括：13*13、26*26、52*52、104*104；
8.步骤3：yolov3算法得到4种尺度特征图上的预测候选框；
9.步骤4：利用k
‑
means算法对4种尺度特征图上的预测候选框进行聚类，得到每种尺度特征图上的目标候选框；
10.步骤5：按照尺度从小到大的顺序将4种尺度特征图的目标候选框定位点排列为坐标点队列；对所述坐标点队列进行尺度缩放，缩放计算式为：
[0011][0012]
其中n为坐标点队列中坐标点的总数；m、n分别为缩小系数和放大系数，0<m<1，n>1；(x
i
,y
i
)和(x
′
i
,y
′
i
)分别为坐标点队列中第i个坐标点缩放前和缩放后的坐标值，i＝1,2,
…
,n；
[0013]
根据缩放后的坐标点得到对应的缩放后的目标候选框；
[0014]
步骤6：在缩放后的目标候选框中运用nms方法，选出特征图上目标候选框中具有最大iou的目标候选框，根据选出的目标候选框进行行人目标预测。
[0015]
所述步骤1中将残差网络基本单元中bn层的参数合并到其卷积层，具体为：
[0016]
步骤11：卷积层和bn层融合前，darknet
‑
53提取网络中卷积层输出y
conv
为：
[0017]
y
conv
＝w*x b
[0018]
其中x、w、b分别为darknet
‑
53提取网络中卷积层的输入、权重和偏置；
[0019]
步骤12：将y
conv
输入到bn层，bn层输出y
bn
为：
[0020][0021]
其中μ为bn层输入的均值，σ2为方差，γ为缩放因子，β为偏移量；ε为一个较小数；
[0022]
步骤13：卷积层和bn层合并后，权重参数和偏置为：
[0023][0024]
步骤14：卷积层和bn层合并后，合并输出y
′
融合
为：
[0025][0026]
其中为合并后卷积权重，为合并后卷积偏置。
[0027]
步骤5中的目标候选框定位点为目标候选框的左上角、右上角和几何中心处的坐标点。
[0028]
所述步骤2中，特征提取网络darknet
‑
53经过5次下采样获取图像的4个卷积特征的具体步骤为：
[0029]
步骤21：使用尺寸为416*416的图像作为darknet
‑
53的网络输入，进行第一次下采样；
[0030]
步骤22：进行第二次下采样，对第二次下采样结果使用2个步骤1中构建的残差网络进行特征提取，输出第一卷积特征为104*104*128；
[0031]
步骤23：进行第三次下采样，对第三次下采样结果使用8个步骤1中构建的残差网
络进行特征提取，输出第二卷积特征为52*52*256；
[0032]
步骤24：进行第四次下采样，对第四次下采样结果使用通道为512的卷积进行特征提取，输出第三卷积特征为26*26*512；
[0033]
步骤25：进行第五次下采样，对第五次下采样结果使用4个步骤1中构建的残差网络进行特征提取，输出第四卷积特征为13*13*1024。
[0034]
所述步骤4具体包括：
[0035]
步骤41、将所有的bounding box坐标提取出来；
[0036]
步骤42、聚类分析bounding box的宽高大小；
[0037]
步骤43、初始化k个anchor box，通过在所有的boundingboxes中随机选取k个值作为k个anchor boxes的初始值；
[0038]
步骤44、计算每个boundingbox与每个anchorbox的iou值；
[0039]
步骤45、分类操作：经过前一步的计算可以的到每一个bounding box对于每个anchor box的误差d(n,k)，通过比较每个bounding box其对于每个anchor box的误差大小{d(i,1),d(i,2),...d(i,k)}，选取最小误差的那个anchor box，将这个bounding box分类给它，对于每个bounding box都做这个操作，最后记录下来每个anchor box有哪些bounding box属于它；
[0040]
步骤46、anchor box更新；
[0041]
步骤47、重复步骤44
‑
46，直到在步骤45中发现对于全部bounding box其所属的anchor box类与之前所属的anchor box类完全一样；
[0042]
步骤48、计算anchor boxes精确度后锚框在目标区域内就是目标候选区域。
[0043]
另一方面，本发明提供了一种基于改进yolov3网络的行人检测系统，包括：
[0044]
残差网络构建模块1，用于构建特征提取网络darknet的残差网络，将残差网络基本单元中bn层的参数合并到其卷积层；根据构建的残差网络构建特征提取网络，记为特征提取网络darknet
‑
53；
[0045]
特征金字塔网络构建模块2，用于构建特征金字塔网络，将特征提取网络darknet
‑
53经过5次下采样获取图像的4个卷积特征与yolo输出13*13、26*26、52*52、104*104尺度信息进行融合；使yolov3算法中的yolo输出层输出4种尺度的特征图，其中，4种尺度包括：13*13、26*26、52*52、104*104；
[0046]
预测候选框获取模块3，用于采用yolov3算法得到4种尺度特征图上的预测候选框；
[0047]
聚类模块4，用于利用k
‑
means算法对4种尺度特征图上的预测候选框进行聚类，得到每种尺度特征图上的目标候选框；
[0048]
目标候选框缩放模块5，用于对聚类后的目标候选框进行缩放，具体步骤为：
[0049]
按照尺度从小到大的顺序将4种尺度特征图的目标候选框定位点排列为坐标点队列；对所述坐标点队列进行尺度缩放，缩放计算式为：
[0050][0051]
其中n为坐标点队列中坐标点的总数；m、n分别为缩小系数和放大系数，0<m<1，n>1；(x
i
,y
i
)和(x
′
i
,y
′
i
)分别为坐标点队列中第i个坐标点缩放前和缩放后的坐标值，i＝1,2,
…
,n；
[0052]
根据缩放后的坐标点得到对应的缩放后的目标候选框；
[0053]
目标预测确定模块6，用于在缩放后的目标候选框中运用nms方法，选出特征图上目标候选框中具有最大iou的目标候选框，根据选出的目标候选框进行行人目标预测。
[0054]
本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述行人检测方法。
[0055]
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述行人检测方法。
[0056]
有益效果：与现有技术相比，本发明公开的基于改进yolov3网络的行人检测方法具有以下优点：
[0057]
1、利用特征提取网络获取4种尺度的卷积特征，提高了对小尺度行人检测的精度；2、利用fpn将图像的深层特征信息与浅层特征信息充分融合，yolov3层输出由原来三种尺度特征图增加为四种尺度特征图，增强对大小行人目标与相互遮挡行人目标的检测效果，提高了行人检测的鲁棒性；3、对k
‑
means算法聚类后的目标候选框进行线性尺度缩放，有效的发挥yolov3算法多尺度检测的优势，提高小尺寸行人目标检测准确率。
附图说明
[0058]
图1为本发明公开行人检测方法流程图；
[0059]
图2为残差网络级别单元示意图；
[0060]
图3为特征提取网络darket
‑
53结构示意图；
[0061]
图4为本发明改进的yolov3的网络结构示意图；
[0062]
图5为线性缩放示意图；
[0063]
图6为本发明公开的行人检测系统组成示意图。
具体实施方式
[0064]
下面结合附图和具体实施方式，进一步阐明本发明。
[0065]
本发明公开了一种基于改进yolov3网络的行人检测方法，如图1所示，包括：
[0066]
步骤1：构建特征提取网络darknet的残差网络，将残差网络基本单元中bn层的参数合并到其卷积层；根据构建的残差网络构建特征提取网络，记为特征提取网络darknet
‑
53；
[0067]
如图2所示，残差网络的基本单元cbl包括卷积层conv和bn层，结果经激活函数
leaky relu后输出；如图3所示，为特征提取网络darket
‑
53结构示意图。
[0068]
为了增加网络前向推理速度，本实施例中，将残差网络基本单元中bn层的参数合并到其卷积层，具体步骤为：
[0069]
步骤11：卷积层和bn层融合前，darknet
‑
53提取网络中卷积层输出y
conv
为：
[0070]
y
conv
＝w*x b
[0071]
其中x、w、b分别为darknet
‑
53提取网络中卷积层的输入、权重和偏置；
[0072]
步骤12：将y
conv
输入到bn层，bn层输出y
bn
为：
[0073][0074]
其中μ为bn层输入的均值，σ2为方差，γ为缩放因子，β为偏移量；ε为一个较小数；
[0075]
步骤13：卷积层和bn层合并后，权重参数和偏置为：
[0076][0077]
步骤14：卷积层和bn层合并后，合并输出y
′
融合
为：
[0078][0079]
其中为合并后卷积权重，为合并后卷积偏置。
[0080]
步骤2：构建特征金字塔网络，将特征提取网络darknet
‑
53经过5次下采样获取图像的4个卷积特征与yolo输出13*13、26*26、52*52、104*104尺度信息进行融合；使yolov3算法中的yolo输出层输出4种尺度的特征图，其中，4种尺度包括：13*13、26*26、52*52、104*104；
[0081]
特征提取网络darknet
‑
53经过5次下采样获取图像的4个卷积特征的具体步骤为：
[0082]
步骤a21：使用尺寸为416*416的图像作为darknet
‑
53的网络输入，进行第一次下采样；
[0083]
步骤a22：进行第二次下采样，对第二次下采样结果使用2个步骤1中构建的残差网络进行特征提取，输出第一卷积特征为104*104*128；
[0084]
步骤a23：进行第三次下采样，对第三次下采样结果使用8个步骤1中构建的残差网络进行特征提取，输出第二卷积特征为52*52*256；
[0085]
步骤a24：进行第四次下采样，对第四次下采样结果使用通道为512的卷积进行特征提取，输出第三卷积特征为26*26*512；
[0086]
步骤a25：进行第五次下采样，对第五次下采样结果使用4个步骤1中构建的残差网络进行特征提取，输出第四卷积特征为13*13*1024。
[0087]
步骤a21
‑
a25获得的4个卷积特征与yolo输出13*13、26*26、52*52、104*104尺度信息进行融合，具体包括：
[0088]
步骤b21、特征提取网络darknet
‑
53经过五次下采样获取图像的4个卷积特征，将第4卷积特征经过卷积获得13*13尺度的特征图；
[0089]
构建特征金字塔网络，将13*13尺度的特征图通过特征金字塔网络与第三卷积特征进行特征融合，获得26*26尺度的特征图；
[0090]
步骤b22、将26*26尺度的特征图通过特征金字塔网络与第二卷积特征进行特征融合，获得52*52尺度的特征图；
[0091]
步骤b23、将52*52尺度的特征图通过特征金字塔网络与第一卷积特征进行特征融合，获得104*104尺度的特征图.
[0092]
通过上述步骤中融合浅层信息与深层特征信息，增强了图像金字塔的表征能力，得到的13*13和26*26特征图适合图像中大尺寸行人目标的检测，得到的26*26和52*52特征图适合图像中大尺度行人目标检测，得到的104*104特征图适合图像中小尺寸行人目标的检测，降低了行人漏检率。
[0093]
步骤3：yolov3算法得到4种尺度特征图上的预测候选框。
[0094]
步骤1
‑
3实现了对yolov3算法的改进，如图4所示。利用fpn将图像的深层特征信息与浅层特征信息充分融合，将yolov3层输出由原来三种尺度特征图增加为四种尺度特征图，增强了对大小行人目标与相互遮挡行人目标的检测效果，提高了行人检测的鲁棒性。
[0095]
步骤4：利用k
‑
means算法对4种尺度特征图上的预测候选框进行聚类，得到每种尺度特征图上的目标候选框；具体包括：
[0096]
步骤41、将所有的bounding box坐标提取出来；
[0097]
步骤42、聚类分析bounding box的宽高大小；
[0098]
步骤43、初始化k个anchor box，通过在所有的boundingboxes中随机选取k个值作为k个anchor boxes的初始值；本实施例中，取k＝3；
[0099]
步骤44、计算每个boundingbox与每个anchorbox的iou值；
[0100]
步骤45、分类操作：经过前一步的计算可以的到每一个bounding box对于每个anchor box的误差d(n,k)，通过比较每个bounding box其对于每个anchor box的误差大小{d(i,1),d(i,2),...d(i,k)}，选取最小误差的那个anchor box，将这个bounding box分类给它，对于每个bounding box都做这个操作，最后记录下来每个anchor box有哪些bounding box属于它；
[0101]
步骤46、anchor box更新；
[0102]
步骤47、重复步骤44
‑
46，直到在步骤45中发现对于全部bounding box其所属的anchor box类与之前所属的anchor box类完全一样；
[0103]
步骤48、计算anchor boxes精确度后锚框在目标区域内就是目标候选区域。
[0104]
步骤5：按照尺度从小到大的顺序将4种尺度特征图的目标候选框定位点排列为坐标点队列；
[0105]
本实施例中目标候选框定位点为目标候选框的左上角、右上角和几何中心处的坐标点，根据这三个点即可确定目标候选框。
[0106]
对所述坐标点队列进行尺度缩放，缩放计算式为：
[0107][0108]
其中n为坐标点队列中坐标点的总数；m、n分别为缩小系数和放大系数，0<m<1，n>1；(x
i
,y
i
)和(x
′
i
,y
′
i
)分别为坐标点队列中第i个坐标点缩放前和缩放后的坐标值，i＝1,2,
…
,n；
[0109]
考虑到行人数据集中的目标尺寸大小比较集中，没有充分的发挥出yolov3多尺度的价值，因此将k
‑
means算法聚类产生的候选框乘以一定比例系数，本实施例中m＝0.3，n＝1.2，使之大的尺度更大，小的尺度更小，提高对小尺寸行人检测的准确率。
[0110]
根据缩放后的坐标点得到对应的缩放后的目标候选框；线性缩放如图5所示。
[0111]
步骤6：在缩放后的目标候选框中运用nms方法，选出特征图上目标候选框中具有最大iou的目标候选框，根据选出的目标候选框进行行人目标预测。
[0112]
具体如下：
[0113]
1)将提取的4个尺度特征图送入到yolo网络中进行检测，本发明设置的最大迭代次数为4000次，batch_size设置为64，subdivisions设置为16，decay为0.0005，momentum为0.9，初始化学习率为0.001，根据损失下降的趋势，可以适当调节学习率和直至训练数据集输出的损失函数值小于等于阈值或达到设置的最大迭代次数时停止训练，得到训练好的改进网络。
[0114]
2)采用非极大值抑制法选取最佳目标边界框，通过按照置信度的数值对候选框进行排列，计算候选框与真实目标框的iou值生成iou队列，选出iou最大值的边界框后生成预测框，最后将预测框坐标转换到原图上输出预测结果。
[0115]
实现上述行人检测方法的系统如图6所示，
[0116]
残差网络构建模块1，用于构建特征提取网络darknet的残差网络，将残差网络基本单元中bn层的参数合并到其卷积层；根据构建的残差网络构建特征提取网络，记为特征提取网络darknet
‑
53；
[0117]
特征金字塔网络构建模块2，用于构建特征金字塔网络，将特征提取网络darknet
‑
53经过5次下采样获取图像的4个卷积特征与yolo输出13*13、26*26、52*52、104*104尺度信息进行融合；使yolov3算法中的yolo输出层输出4种尺度的特征图，其中，4种尺度包括：13*13、26*26、52*52、104*104；
[0118]
预测候选框获取模块3，用于采用yolov3算法得到4种尺度特征图上的预测候选框；
[0119]
聚类模块4，用于利用k
‑
means算法对4种尺度特征图上的预测候选框进行聚类，得到每种尺度特征图上的目标候选框；
[0120]
目标候选框缩放模块5，用于对聚类后的目标候选框进行缩放，具体步骤为：
[0121]
按照尺度从小到大的顺序将4种尺度特征图的目标候选框定位点排列为坐标点队列；对所述坐标点队列进行尺度缩放，缩放计算式为：
[0122][0123]
其中n为坐标点队列中坐标点的总数；m、n分别为缩小系数和放大系数，0<m<1，n>1；(x
i
,y
i
)和(x
′
i
,y
′
i
)分别为坐标点队列中第i个坐标点缩放前和缩放后的坐标值，i＝1,2,
…
,n；
[0124]
根据缩放后的坐标点得到对应的缩放后的目标候选框；
[0125]
目标预测确定模块6，用于在缩放后的目标候选框中运用nms方法，选出特征图上目标候选框中具有最大iou的目标候选框，根据选出的目标候选框进行行人目标预测。
[0126]
本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述行人检测方法。
[0127]
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述行人检测方法。为了提高行人检测系统检测速度，本实施例中的计算机设备配有nvidia gtx 1080ti的gpu计算机，ubuntu 16.04系统，可以实现实时检测。
[0128]
以上实施例仅为说明本发明的技术思想，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。