基于多任务深度学习的骑行人员未佩戴头盔行为检测方法与流程

1.本发明涉及计算机视觉领域，特别涉及一种基于多任务深度学习的电动自行车骑行人员未佩戴头盔行为检测方法。


背景技术：

2.物理实验表明，若一辆时速为25公里的电动自行车骑行人发生头部碰撞，骑行人头部将承受相当于两辆小轿车的重量；如果骑行人佩戴了头盔，则头部承受的重量可降低至170公斤左右。所以，要求骑行人佩戴头盔可有效地减少电动自行车交通事故中的伤亡率，保护骑乘人员的生命安全。现有的交通管理系统，通常通过路口管控以人工的方式对未佩戴头盔的电动自行车骑行人进行教育和处理，存在费时费力、效率低下等缺点，在技术层面亟需一种以图像或视频为输入，以算法自动判定骑行人未按规定佩戴头盔，并给出预警的技术和系统。
3.中国专利202010644994.6公开了一种结合ssd非机动车检测的边框回归、基于阈值法去除高光、非局部平衡滤波降噪及图像增强等，且基于视频流的非机动车骑行人员头盔佩戴检测方法；中国专利202110160273.2公开了一种基于人像目标头肩位置识别人像是否佩戴头盔的方法，可提高复杂场景下的应用准确性。
4.考虑到图像中的非机动车区域面积要远远大于其中的骑行人头部区域，用一个网络的同一组权值参数检测非机动车和骑行人头部区域容易导致检测系统的性能下降，因此如何实现非机动车辆的骑行人员未佩戴头盔行为检测,是目前亟待解决的技术问题。


技术实现要素：

5.本发明的目的在于解决现有技术使用一个网络的同一组权值参数检测大小差异显著的目标时存在的困难，提供一种基于多任务深度学习的电动自行车骑行人员未佩戴头盔行为检测方法。
6.本发明具体采用的技术方案如下：
7.一种基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，该方法包括：
8.构建两个子网络b
‑
net和h
‑
net，两个子网络之间共享特征提取模块以及用于融合特征提取模块提取的各个层次特征的特征金字塔网络，同时两个子网络还各自具有输入模块和检测模块；
9.待检测图像分别输入b
‑
net和h
‑
net的输入模块中，由共享的特征提取模块提取不同层级的特征图，并使用特征金字塔网络融合不同层级的特征图，再将融合特征图分别输入到b
‑
net和h
‑
net的检测模块，由b
‑
net的检测模块检测图像中非机动车包围框，由h
‑
net的检测模块检测图像中包含佩戴或未佩戴头盔两种分类类别的骑行人头部区域包围框；若非机动车包围框和被检测为未佩戴头盔的骑行人头部区域包围框之间满足预设的位置关系，则判定为该骑行人员未佩戴头盔。
10.作为优选，所述b
‑
net和h
‑
net的输入模块具有相同的结构，按数据前向传播时的
数据流向，输入数据首先经过一个包含64个7
×
7卷积核且卷积步长为2的卷积层，卷积层后接批规范化操作和relu激活操作，然后再经过一个采样核大小为3
×
3、进行最大池化操作且步长为2的池化层，池化层之后再经过resnet101的第1级卷积层组。
11.作为优选，所述b
‑
net和h
‑
net共享的特征提取模块包含resnet101的第2、3和4级卷积层组，并且使用特征金字塔网络融合各个卷积层组输出的特征图；
12.其中resnet101的第4级卷积层组的输出特征图c4作为特征金字塔网络最顶层的输入，首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图p4；
13.resnet101的第3级卷积层组的输出特征图c3在特征金字塔网络中首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图p3；
14.resnet101的第2级卷积层组的输出特征图c2在特征金字塔网络中首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图p2。
15.作为优选，所述b
‑
net和h
‑
net的检测模块具有相同的结构，该结构包括一个分类子网络和一个回归子网络；
16.所述分类子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接relu激活操作，第5个卷积层包含k
×
a个3
×
3大小的卷积核，卷积步长为1，其中k为分类类别数目，a为预设的每个点的检测框数目，最后以sigmoid函数为每个检测框输出预测的分类类别；
17.所述回归子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接relu激活操作，第5个卷积层包含4a个3
×
3大小的卷积核，卷积步长为1，其中a为预设的每个点的预设检测框数目，若分类子网络预测某点(m,n)在第i个预设检测框检测到某类目标，其中0≤i＜a，且i为整数，则回归子网络的第5个卷积层的输出特征图中，通道4i和通道4i 1的值分别代表预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道4i 2和通道4i 3的值分别代表预设检测框宽度和高度与实际检测框宽度和高度的比值。
18.作为优选，所述待检测图像的宽和高分别为m和n，待检测图像按照原始大小输入b
‑
net的输入模块，由特征金字塔网络各个层次输出大小分别为和的特征图p2、p3、p4，三个特征图再分别被输入到b
‑
net的检测模块，用于在待检测图像中检测非机动车对象。
19.进一步的，所述待检测图像的宽和高分别为m和n，待检测图像在长宽方向各放大2倍后输入h
‑
net的输入模块，经过h
‑
net的输入模块后产生一个的特征图，记作
f2；
20.而待检测图像按照原始大小输入b
‑
net的输入模块后，经过特征金字塔网络得到的大小为的特征图p2，记作f1；
21.将特征图f1在宽度和高度方向进行2倍的上采样后与特征图f2拼接成一个的特征图并输入到h
‑
net的检测模块中，用于在待检测图像中检测包含佩戴和未佩戴头盔两种分类类别的骑行人头部区域。
22.作为优选，判定该骑行人员是否未佩戴头盔时，以b
‑
net检测所得的非机动车区域包围框b的左上角点为坐标原点，若h
‑
net检测所得的骑行人头部区域包围框r的中心在x方向与原点的距离为δx，y方向与原点的距离为δy，宽和高分别为w和h，b
‑
net检测所得的包围框b的宽和高分别为w和h，则计算h
‑
net检测所得的包围框r的中心坐标为：x＝δx/w，y＝δy/h，r相对于b
‑
net检测所得的包围框的宽和高分别为：且将作为h
‑
net检测所得的骑行人头部区域的特征；对于包围框r和包围框b，存在两种可能性：即r所包围的区域是b所包围的骑行人员的头部区域，记作c＝1，或者r所包围的区域不是b所包围的骑行人员的头部区域，记作c＝0；电动自行车骑行人员未佩戴头盔检测通过如下的概率问题进行判定：若r所包围的区域被检测为未佩戴头盔的头部区域，b所包围的区域被检测为电动车区域，且则输出电动自行车骑行人员未佩戴头盔的预测报警；其中和根据贝叶斯公式计算：
23.其中c＝1或0。
24.作为优选，所述采用等价公式代替，且的计算公式为：其中p(x|c)、p(y|c)、和通过训练样本学习得到。
25.作为优选，所述resnet101的第1、2、3和4级卷积层组中，第1级卷积层组包含3个残差块，第2级卷积层组包含4个残差块，第3级卷积层组包含23个残差块，第4级卷积层组包含3个残差块，将第1、2、3和4级卷积层组的第i个残差块分别记作resblock1_i、resblock2_i、resblock3_i和resblock4_i，其中i为整数，且1≤i≤n
b
，n
b
为卷积层组中的残差块数目；第1、2、3和4级卷积层组的第1个残差块分别为resblock1_1、resblock2_1、resblock3_1和resblock4_1，它们的结构分别包括两路分支，其中的主分支包含3个卷积层，第1个卷积层
包含c个1
×
1卷积核，第2个卷积层包含c个3
×
3卷积核，第3个卷积层包含4c个1
×
1卷积核，在每个卷积层后依次接一个批正则化层和relu层；resblock1_1的3个卷积层的卷积步长都为1；resblock2_1、resblock3_1和resblock4_1的第1个卷积层的卷积步长均为2，其它卷积层的卷积步长均为1；resblock1_1、resblock2_1、resblock3_1和resblock4_1的另一路分支为捷径分支，该分支包含一个卷积层，卷积层之后接一个批正则化层；resblock1_1的捷径分支的卷积层具有4c个1
×
1大小的卷积核且卷积步长为1，resblock2_1、resblock3_1和resblock4_1的捷径分支的卷积层具有4c个1
×
1大小的卷积核且卷积步长为2；主分支最后一个卷积层的输出和捷径分支的输出进行逐个对应元素的求和运算，作为残差块的输出；resnet101的第1、2、3和4级卷积层组中，除了resblock1_1、resblock2_1、resblock3_1和resblock4_1之外的任意一个残差块，其结构包括两路分支，其中的一路主分支包含3个卷积层，其中第1个卷积层包含c个1
×
1卷积核，第2个卷积层包含c个3
×
3卷积核，第3个卷积层包含4c个1
×
1卷积核，在每个卷积层后依次接了一个批正则化层和relu层，所有卷积层的卷积步长都为1，另一路分支直接拷贝输入到该残差块的特征图，与主分支最后一个卷积层的输出进行逐个对应元素的求和运算，作为残差块的输出；在第1、2、3和4级卷积层组中，c的值分别为64、128、256和512。
26.作为优选，所述非机动车为自行车或电动自行车。
27.相对于现有技术而言，本发明提供了一种基于多任务深度学习的电动车骑行人员未佩戴头盔检测方法，该方法包括两个子网络，分别用于检测图像中的非机动车等占据较大区域的对象和骑行人头部区域，两个子网络共享同一个特征提取模块以及特征金字塔网络的部分层次，除此之外，两个子网络还拥有各自的输入模块和检测模块，从而可有效地避免目标大小相差悬殊对检测系统产生的影响。相对于现有技术中使用一个网络同一组权值参数检测大小差异显著的目标时所采用的方法，本发明能够大大提高对于骑行人员未佩戴头盔行为检测的准确性。
附图说明
28.图1为本发明基于多任务深度学习的电动自行车骑行人员未佩戴头盔行为检测方法示意图；
29.图2为骑行人头部区域参数示意图；
30.图3为应用本发明实施例提供的方法进行电动自行车骑行人员未佩戴头盔行为检测的结果示例。
具体实施方式
31.下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。
32.如图1所示，本发明提供一种基于多任务深度学习的非机动车骑行人员未佩戴头盔行为检测方法，本发明具体采用的技术方案如下：
33.(1)本发明采用两个子网络：b
‑
net和h
‑
net来实现非机动车骑行人员未佩戴头盔行为检测方法，其中b
‑
net的任务在于检测电动自行车、自行车等在图像中占据较大区域的非机动车对象，h
‑
net的任务在于检测佩戴和未佩戴头盔的骑行人头部区域。b
‑
net和h
‑
net
两个子网络之间共享特征提取模块以及用于融合特征提取模块提取的各个层次特征的特征金字塔网络，同时两个子网络还各自具有输入模块和检测模块。通过b
‑
net和h
‑
net两个子网络进行非机动车骑行人员未佩戴头盔行为检测的做法为：
34.待检测图像分别输入b
‑
net和h
‑
net的输入模块中，由共享的特征提取模块提取不同层级的特征图，并使用特征金字塔网络融合不同层级的特征图，再将融合特征图分别输入到b
‑
net和h
‑
net的检测模块，由b
‑
net的检测模块检测图像中非机动车包围框，由h
‑
net的检测模块检测图像中包含佩戴或未佩戴头盔两种分类类别的骑行人头部区域包围框；若非机动车包围框和被检测为未佩戴头盔的骑行人头部区域包围框之间满足预设的位置关系，则判定为该骑行人员未佩戴头盔。在本发明的实施例中，此处预设的位置关系可以根据骑行人员驾驶非机动车辆时非机动车包围框和被检测为未佩戴头盔的骑行人头部区域包围框之间的交并比来得到，可以根据大量的样本确定设置一个用于判定的交并比最小阈值。
35.下面对b
‑
net和h
‑
net两个子网络的具体结构以及检测流程进行详细描述。
36.(2)b
‑
net和h
‑
net的输入模块具有相同的结构，按数据前向传播时的数据流向，输入数据首先经过一个包含64个7
×
7卷积核且卷积步长为2的卷积层，卷积层后接批规范化操作和relu激活操作，然后再经过一个采样核大小为3
×
3、进行最大池化操作且步长为2的池化层，池化层之后再经过resnet101的第1级卷积层组；
37.(3)由b
‑
net和h
‑
net共享的特征提取模块包含resnet101的第2、3和4级卷积层组，并且使用特征金字塔网络融合各个卷积层组输出的特征图；
38.设resnet101的第4级卷积层组的输出特征图为c4，c4作为特征金字塔网络最顶层的输入，首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图p4；
39.设resnet101的第3级卷积层组的输出特征图为c3，在特征金字塔网络中c3首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图p3；
40.设resnet101的第2级卷积层组的输出特征图为c2，在特征金字塔网络中c2首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图p2；
41.若待检测图像的原始尺寸中宽和高分别为m和n，则将待检测按照其原始尺寸输入到b
‑
net中，由特征金字塔网络各个层次的输出特征图为p2、p3、p4，它们的大小分别为和它们将分别被输入到b
‑
net的检测模块，用于在输入图像中检测电动自行车、自行车等非机动车对象；
42.(4)b
‑
net和h
‑
net的检测模块具有相同的结构，该结构包括一个分类子网络和一个回归子网络，其中分类子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256
个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接relu激活操作，第5个卷积层包含k
×
a个3
×
3大小的卷积核，卷积步长为1，其中k为分类类别数目，a为预设的每个点的检测框数目，本发明的一个实施例取a＝9，最后以sigmoid函数为每个检测框输出预测的分类类别；
43.分类子网络的第5个卷积层将产生包含k
×
a个通道的特征图，在训练阶段，若某个区域被标注为属于第k类对象，点(m,n)的第a个预设检测框与该区域的交并比iou为所有预设检测框与该区域交并比的最大值，且大于0.6，则期望该预设检测框能具有正样本的响应，若小于0.4，则期望具有负样本的响应，介于0.4和0.6之间则忽略，其中所述交并比iou的值等于两个区域的交集与并集之比；分类子网络的第5个卷积层输出的特征图，点(m,n)的第k
×
a个通道将输出该点对应的第a个预设检测框检测到第k类对象的概率，对正样本，期望的概率值接近1，对负样本，期望的概率值接近0；对每个正样本或负样本，若其期望的输出概率为c，实际输出为p，按下式计算分类误差损失：
44.l
class
＝
‑
α(1
‑
q)
γ
log(q)
ꢀꢀ
(1)
45.其中q按下式确定
[0046][0047]
α和γ是两个调节不同类别样本的贡献程度的参数；
[0048]
回归子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接relu激活操作，第5个卷积层包含4a个3
×
3大小的卷积核，卷积步长为1，其中a为预设的每个点的预设检测框数目，若分类子网络预测点(m,n)在第i个预设检测框检测到某类目标，其中0≤i＜a，且i为整数，则回归子网络的第5个卷积层的输出特征图中，通道4i和通道4i 1的值分别代表预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道4i 2和通道4i 3的值分别代表预设检测框宽度和高度与实际检测框宽度和高度的比值；
[0049]
若某个预设检测框检测到某类对象，由回归子网络输出的预设检测框与标注的目标框之间的位置和宽高差值分别为δ
x
，δ
y
，δ
w
和δ
h
，则按下式计算回归损失：
[0050][0051]
其中smooth
l1
函数按下式计算：
[0052][0053]
在训练阶段，以最小化上述分类损失函数和回归损失函数之和为目标，以反向传播的方式更新b
‑
net和h
‑
net的参数。
[0054]
(5)参见图1，使用h
‑
net检测骑行人头部区域时，考虑到骑行人头部区域在图像中的面积远远小于电动自行车和自行车等非机动车对象所占的面积，本发明实施例将待检测图像在长宽方向各放大为原图像的2倍，作为h
‑
net网络的输入；
[0055]
设输入到b
‑
net的原始待检测图像的原始宽和高分别为m和n，经过输入模块和(3)
中所述的resnet101的第2、3和4级卷积层组，及特征金字塔网络，将产生一个的特征图，记作f1；
[0056]
而经放大后输入到h
‑
net的待检测图像宽和高分别为2m和2n，经过输入模块后，产生一个的特征图，记作f2；
[0057]
特征图f1在宽度和高度方向进行2倍的上采样后与f2拼接成一个的特征图，输入到h
‑
net的检测模块，以检测佩戴和未佩戴头盔的骑行人头部区域，每一个骑行人头部区域都被带有佩戴头盔或者未佩戴头盔的分类标签。
[0058]
(6)参见图2，图2示出了一个b
‑
net检测所得的非机动车及其骑行人员，以及由h
‑
net检测所得的骑行人头部区域，直观地看，b
‑
net检测所得的非机动车区域包围框b与h
‑
net检测所得的骑行人头部区域包围框r存在一定的几何约束关系，本发明以b
‑
net检测所得的包围框的左上角点为坐标原点，若h
‑
net检测所得的包围框的中心在x方向与原点的距离为δx，y方向与原点的距离为δy，宽和高分别为w和h，b
‑
net检测所得的包围框的宽和高分别为w和h，则计算h
‑
net检测所得的包围框r的中心坐标为：x＝δx/w，y＝δy/h，r相对于b
‑
net检测所得的包围框的宽和高分别为：且将作为h
‑
net检测所得的骑行人头部区域的特征；对于包围框r和包围框b，存在两种可能性：即r所包围的区域是b所包围的骑行人员的头部区域，记作c＝1，或者r所包围的区域不是b所包围的骑行人员的头部区域，记作c＝0；由此，可将电动自行车骑行人员未佩戴头盔检测问题归结为如下的概率问题：若r所包围的区域被检测为未佩戴头盔的头部区域，b所包围的区域被检测为电动车区域，且则输出电动自行车骑行人员未佩戴头盔的预测报警，其中和可根据贝叶斯公式计算，根据贝叶斯定理可得：
[0059]
其中c＝1或0
[0060]
由于上述等式右边的分母部分与类别无关，所以进一步地，若则输出电动自行车骑行人员未佩戴头盔的预测。
[0061]
由于x,y,等属性彼此独立，所以等式右边的分子可按下式等价计算：
[0062][0063]
其中的p(x|c)、p(y|c)、和可通过训练样本学习得到。
[0064]
另外，本发明(2)中所述resnet101的第1级，(3)所述resnet101的第2、3和4级卷积层组，其中第1级卷积层组包含3个残差块，第2级卷积层组包含4个残差块，第3级卷积层组
包含23个残差块，第4级卷积层组包含3个残差块，将第1、2、3和4级卷积层组的第i个残差块分别记作resblock1_i、resblock2_i、resblock3_i和resblock4_i，其中i为整数，且1≤i≤n
b
，n
b
为卷积层组中的残差块数目；第1、2、3和4级卷积层组的第1个残差块分别为resblock1_1、resblock2_1、resblock3_1和resblock4_1，它们的结构分别包括两路分支，其中的主分支包含3个卷积层，第1个卷积层包含c个1
×
1卷积核，第2个卷积层包含c个3
×
3卷积核，第3个卷积层包含4c个1
×
1卷积核，在每个卷积层后依次接一个批正则化层和relu层；resblock1_1的3个卷积层的卷积步长都为1，resblock2_1、resblock3_1和resblock4_1的第1个卷积层的卷积步长为2，其它卷积层的卷积步长为1；resblock1_1、resblock2_1、resblock3_1和resblock4_1的另一路分支为捷径分支，该分支包含一个卷积层，卷积层之后接一个批正则化层；resblock1_1的捷径分支的卷积层具有4c个1
×
1大小的卷积核且卷积步长为1，resblock2_1、resblock3_1和resblock4_1的捷径分支的卷积层具有4c个1
×
1大小的卷积核且卷积步长为2；主分支最后一个卷积层的输出和捷径分支的输出进行逐个对应元素的求和运算，作为残差块的输出；resnet101的第1、2、3和4级卷积层组中，除了resblock1_1、resblock2_1、resblock3_1和resblock4_1之外的任意一个残差块，其结构包括两路分支，其中的一路主分支包含3个卷积层，第1个卷积层包含c个1
×
1卷积核，第2个卷积层包含c个3
×
3卷积核，第3个卷积层包含4c个1
×
1卷积核，在每个卷积层后依次接了一个批正则化层和relu层，所有卷积层的卷积步长都为1；另一路分支直接拷贝输入到该残差块的特征图，与主分支最后一个卷积层的输出进行逐个对应元素的求和运算，作为残差块的输出；在第1、2、3和4级卷积层组，c的值分别为64、128、256和512。
[0065]
如图3所示为本发明实施例提供的方法对视频图像进行非机动车和骑行人头部区域检测的结果，使用矩形框标示了b
‑
net检测所得的非机动车区域和h
‑
net检测所得的骑行人头部区域，结果显示本发明实施例提供的方法能很好地检测自行车和电动自行车，戴头盔和未戴头盔的头部区域，从而能准确地给出电动自行车骑行人未戴头盔的报警。
[0066]
以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。