一种复杂交通环境下基于监控视频的交通参与者检测方法

1.本发明涉及车辆监控领域，具体为一种复杂交通环境下基于监控视频的交通参与者检测方法


背景技术：

2.基于监控视频的交通参与者(如机动车、非机动车或者行人)自动检测任务是智能交通领域重要的组成分支，其研究具有重要的现实意义。近些年，基于深度学习构建深度检测模型，建立鲁棒性强、精度高、适用于复杂交通场景下的交通参与者检测模型成为可能。然而，复杂交通场景中因交通参与者类型丰富且遮挡情况严重而导致存在各式各样的小目标，为这些深度模型的精准检测带来了挑战。
3.《一种特征融合的小目标车辆检测算法》利用图像插值方法，将高维特征图与低维特征图转化为同样尺寸，通过设置一个网络自学习参数来对各特征图进行有效融合，使得最终进行检测的特征图同时具有丰富的语义信息与尽可能多的目标特征信息。
4.《基于深度学习的无人机小目标车辆检测方法》对无人机航拍道路场景下的车辆检测任务的难点进行了分析,并针对性地提出了一种基于有锚检测机制的多尺度特征融合车辆检测算法。然后，使用了多尺度相邻层特征融合架构,为小目标车辆的检测提供了高语义性的特征,改善了网络的特征表达能力。
5.《基于改进ssd的车辆小目标检测方法》针对尺度、角度等的变换问题，设计了基于融合层的扩展层预测子网络，在扩展层的多个尺度空间内匹配目标，生成目标预测框对目标定位。
6.尽管这些研究多从深度检测模型的多尺度特征融合角度出发，构建了分辨率更高的特征图来提升模型对小目标的细节保留，进而提升模型对小目标的检测精度。然而，利用这些分辨率较高的特征图以负责小目标检测任务可能会导致细节信息失真，阻碍模型精度进一步提升。


技术实现要素：

7.为了解决上述背景技术提到的技术问题，本发明提出了一种复杂交通环境下基于监控视频的交通参与者检测方法。
8.为了实现上述技术目的，本发明的技术方案为：
9.一种复杂交通环境下基于监控视频的交通参与者检测方法，包含以下步骤：
10.s1、基于监控视频，构建训练数据集；
11.s2、基于三层残差模块，构建超分辨率特征提取模块；
12.s3、将s2中的超分辨率特征提取模块嵌入yolov5的路径聚合网络panet中，得到改进的yolov5，实现对底层特征的超分处理与细节恢复；
13.s4、引入联合一致性损失函数，利用知识蒸馏机制训练超分辨率特征提取模块；
14.s5、利用s1中的训练数据集，对s3得到的改进的yolov5进行训练，
15.得到yolov5目标检测模型；
16.s6、将yolov5目标检测模型部署至路侧计算设备中，以实现复杂交通场景下交通参与者精准检测。
17.进一步地，所述步骤s1具体包括：
18.s11、收集架设在路侧的高清相机的视频数据；
19.s12、对s11中的视频数据进行采样与分帧，构建用于训练的图片数据集；
20.s13、采用labelimg软件对图片数据集中的图片数据分别进行标注，所标注的内容为交通参与者所在位置的二维检测框与所属类别；
21.s14、对图片数据进行数据增强。
22.进一步地，s14中所述数据增强的方式为翻转变换、缩放变换、平移变换、尺度变换以及混合数据增强。
23.进一步地，s13中所述类别包括行人、非机动车驾驶者、非机动车、机动车。
24.进一步地，所述步骤s2中的超分辨率特征提取模块包括第一至第三残差模块，第一残差模块的输入为panet中自顶向底路径的底层特征，第二残差模块的输入为特征提取网络的底层特征，第一残差模块的输出经过超分卷积后与第二残差模块的输出相加作为第三残差模块的输入，第三残差模块的输出作为小目标检测的输入。
25.进一步地，所述步骤s4中联合一致性损失函数为：
[0026][0027]
式中，fs为超分卷积的输出；f
t
为特征提取网络的底层特征，f
tpos
为f
t
上真实框所在区域块，(x,y)为f
tpos
上的像素点坐标，n
p
为f
tpos
内的像素点的总数；λ为超参数。
[0028]
进一步地，所述步骤5中构建交叉熵损失函数和giou损失函数监督改进的yolov5训练，其中交叉熵损失监督模型分类，giou损失监督模型定位检测框。
[0029]
采用上述技术方案带来的有益效果：
[0030]
(1)本发明基于目前最优的目标检测模型进行改进，创新地设计了超分辨率特征提取模块，保留了小目标更多、更丰富的外观特征，有效解决了复杂场景下交通参与者类型丰富且遮挡情况严重而导致存在各式各样的小目标检测问题；
[0031]
(2)本发明利用了知识蒸馏训练方法来指导检测模型能以较小分辨率图片为输入的检测精度能够匹配其以较大分辨率图片为输入的检测精度，这既缓解了因直接利用较大分辨率为输入带来的计算负担，也获得了较为理想的检测精度。
附图说明
[0032]
图1是超分辨率特征提取模块的结构图；
[0033]
图2是一种复杂交通环境下基于监控视频的交通参与者检测方法的总流程图。
具体实施方式
[0034]
为弥补现有技术不足，本发明公开了一种复杂交通环境下基于监控视频的交通参与者检测方法。考虑到复杂交通场景中因交通参与者类型丰富且遮挡情况严重而导致存在各式各样的小目标，本发明基于深度目标检测网络yolo v5，创新地设计了超分辨率特征提
取模块，以保留小目标更丰富的外观特征。为了更好地训练所提出的超分辨率特征提取模块，进一步提出了知识蒸馏训练方法，指导检测模型能以较小分辨率图片为输入的检测精度能够匹配其以较大分辨率图片为输入时的感知性能，这既缓解了因直接利用较大分辨率为输入而带来的计算负担，也获得了匹配以较大分辨率图片为模型输入的感知性能。提出方法有效提升了其在复杂交通环境下交通参与者的检测精度，有望被应用到实际交通监控场景中。
[0035]
以下将结合附图以及具体实施例，对本发明的技术方案进行详细说明。
[0036]
在一个实施例中，提供了一种复杂交通环境下基于监控视频的交通参与者检测方法，如图2所示，具体步骤如下：
[0037]
s1、基于监控视频，构建训练数据集。
[0038]
s11、收集拍摄于架设在路侧的高清相机的视频数据；
[0039]
s12、对s11中的视频数据进行采样与分帧，分帧时尽可能抽取时间间隔较大的帧，构建用于训练的图片数据集；
[0040]
s13、采用labelimg软件对图片数据集中的图片数据进行标注，其标注内容为交通参与者所在位置的二维检测框与所属类别(包括行人、非机动车驾驶者、非机动车、机动车等常见交通参与者类别)；
[0041]
s14、对图片数据进行数据增强，其采用的增强方式为翻转变换、缩放变换、平移变换、尺度变换以及混合数据增强。
[0042]
s2、基于三层残差模块，构建如图1所示的超分辨率特征提取模块，并嵌入yolov5的路径聚合网络panet中，得到改进的yolov5，实现对底层特征的超分处理与细节恢复。
[0043]
残差模块1的输入为panet中自顶向底路径的底层特征p3′
(分辨率为76x76)，残差模块2的输入为yolov5特征提取网络的底层特征p2(分辨率为152x152)，残差模块1的输出经过超分卷积后输出超分特征(分辨率为152x152)，超分特征与残差模块2的输出相加作为残差模块3的输入，残差模块3的输出作为小目标检测的特征图y(分辨率为152x152)。
[0044]
其中：
[0045]
p2′
＝f
conv1
(p3′
)
↑2×
[0046]
y＝f
conv3
(f
conv2
(p2) p2′
)
[0047]
式中：f
conv1
，f
conv2
以及f
conv3
分别表示残差模块1,2以及3；
↑2×
表示超分卷积的两倍上采样操作。
[0048]
s3、引入联合一致性损失函数，利用知识蒸馏机制训练超分辨率特征提取模块。
[0049]
s31、将训练数据集分别缩放至两类尺寸大小，分别为1920x1920像素以及960x960像素；
[0050]
s32、将1920x1920分辨率，作为yolov5的网络输入，获得尺度较大的特征提取网络底层特征f
t
；
[0051]
s33、将960x960分辨率，作为yolov5的网络输入，获得尺度较小的超分特征图fs；
[0052]
s4、引入联合一致性损失函数，利用知识蒸馏机制训练超分辨率特征提取模块。该损失函数定义如下：
[0053]
[0054]
式中：f
tpos
为超分特征图f
t
上真实框所在区域块，(x,y)为f
tpos
上的像素点坐标，n
p
为正像素点的总数；λ为超参数，用来调整损失所占权重。
[0055]
s4,、利用s1中的训练数据集，对s3得到的改进的yolov5进行训练，得到yolov5目标检测模型。
[0056]
s41、将训练数据集统一缩放至960x960分辨率，并划分成训练集和测试集；
[0057]
s42、利用训练集并构建yolov5损失函数(交叉熵损失函数和giou损失函数)监督模型训练，其中交叉熵损失监督模型分类，giou损失监督模型定位检测框；
[0058]
s43、利用测试集数据进行模型评估，当模型在指定周期内精度不再提升，退出训练过程。
[0059]
s5、将训练完毕的yolov5目标检测模型部署至路侧计算设备中，以实现复杂交通场景下交通参与者精准检测。
[0060]
本实施例中，利用开源pytorch深度学习框架搭建yolov5目标检测模型；配置pytorch深度学习运行环境以及所需要的python环境和相关运行库；构建yolo v5模型网络框架，具体包含特征提取网络、路径聚合网络(panet)以及yolo预测器；构建yolov5数据导入功能模块、模型训练测试模块以及相关数据处理等功能模块；将数据集缩放至统一分辨率，并训练yolov5目标检测模型。
[0061]
表1展示了本发明所提出方法与其基础模型(yolov5)在不同类别交通参与者(即行人、机动车与非机动车)上的平均误报率与提升精度。根据表1，本发明所提出方法在不同类别交通参与者的检测精度较基础模型(yolov5)都有较大提升，特别是小目标占多数的“行人”类别，平均误报率降低了15.77％。实验结果表明该本发明所提出方法能够被成功应用于复杂交通场景下的参与者检测。
[0062]
表1本发明模型与基础模型(yolov5)在不同类别交通参与者上的平均误报率
[0063][0064]
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。