非机动车驾驶识别方法、装置、计算机及可读存储介质与流程

1.本发明涉及交通运输领域，尤其涉及一种非机动车驾驶识别方法、装置、计算机及可读存储介质。


背景技术：

2.随着人工智能的不断发展，其在智慧交通中的应用已日趋成熟，而传统只对机动车进行管控已不能满足如今相关部门的需求，特别是当今伴随外卖行业的兴起，电动车和自行车等非机动车乱闯红灯、行机动车道、超载等行为已经十分常见，所以对非机动车的驾驶行为进行检测并且自动判别其驾驶员和其驾驶的车辆的属性特征就变得格外重要。
3.目前，国内外针对人骑车的属性识别研究还比较少，大多采用如下方法实现属性识别研究：先用检测器检测出驾驶员驾驶车辆这一现象的位置，然后分别针对驾驶员和非机动车进行属性识别。针对驾驶员和非机动车的多种属性，例如驾驶员的性别、年龄、衣服特征等，非机动车的类别、朝向、外观特征等，往往都是通过多标签进行分类。虽然该方法整体相对简单，无需针对每个属性进行单独训练，但是最终通过卷积神经网络训练出的模型的精度却无法达到实际可用的程度，特别是会出现某些属性的精度高，而另一些属性的精度低，并且无法单独针对某个属性进行调整。如果舍弃多标签分类，每个属性都单独训练一个模型，多个模型加在一起的推理速度就要大打折扣。


技术实现要素：

4.本发明针对现有的属性识别模型存在不能兼顾推理速度和识别精度的问题，提供了一种非机动车驾驶识别方法、装置、计算机及可读存储介质。
5.本发明就上述技术问题而提出的技术方案如下：
6.第一方面，本发明提供了一种非机动车驾驶识别方法，所述方法包括：
7.对抓拍图片进行初处理以得到驾驶员驾驶非机动车的初处理图片；
8.将所述初处理图片制作成数据集，所述数据集包括用于检测模型训练的第一数据集和用于分类模型训练的第二数据集；
9.对所述第一数据集中的驾驶员及非机动车分别进行标注，并利用预设检测模型进行训练以得到驾驶员检测模型和非机动车检测模型；
10.将所述第二数据集输入所述驾驶员检测模型中得到驾驶员对象；将所述第二数据集输入所述非机动车检测模型中得到非机动车对象；
11.基于第一预设关联规则对所述驾驶员对象进行标注以得到驾驶员单标签数据集、驾驶员多标签数据集；基于第二预设关联规则对所述非机动车对象进行标注以得到非机动车单标签数据集、非机动车多标签数据集；
12.利用第一卷积神经网络分别对所述驾驶员单标签数据集、驾驶员多标签数据集进行训练直至符合收敛要求，分别得到训练好的第一单标签识别模型和第一多标签识别模型；利用第二卷积神经网络分别对所述非机动车单标签数据集、所述非机动车多标签数据
集进行训练直至符合收敛要求，分别得到训练好的第二单标签识别模型和第二多标签识别模型；
13.合并所述第一单标签识别模型和所述第一多标签识别模型以得到驾驶员识别模型；合并所述第二单标签识别模型和所述第二多标签识别模型以得到非机动车识别模型。
14.优选的，所述将所述第二数据集输入所述驾驶员检测模型中得到驾驶员对象包括：
15.将所述第二数据集输入所述驾驶员检测模型中得到驾驶员的四个位置坐标点；
16.利用所述四个位置坐标点确定驾驶员的位置矩形框作为所述驾驶员对象。
17.优选的，所述利用预设检测模型进行训练以得到驾驶员检测模型和非机动车检测模型包括：
18.利用yolov5检测模型对相应的标注进行训练，以得到相应的所述驾驶员检测模型和所述非机动车检测模型。
19.优选的，所述第一卷积神经网络和所述第二卷积神经网络均采用交叉熵损失函数，满足如下关系式：
[0020][0021]
其中，xi表示第i个样本，i＝{1，2，
……
，n}，yi表示第i个样本所对应的标签，net1表示对所述驾驶员单标签数据集进行训练的第一卷积神经网络； net2表示对所述驾驶员多标签数据集进行训练的第一卷积神经网络；net4表示对所述非机动车单标签数据集进行训练的第二卷积神经网络；net5表示对所述非机动车多标签数据集进行训练的第二卷积神经网络；net为net1、net2、net4 或者net5中的一个。
[0022]
优选的，所述合并所述第一单标签识别模型和所述第一多标签识别模型以得到驾驶员识别模型；合并所述第二单标签识别模型和所述第二多标签识别模型以得到非机动车识别模型包括：
[0023]
将所述第一单标签识别模型的参数和所述第一多标签识别模型的参数复制到所述驾驶员识别模型中以作为所述驾驶员识别模型的参数；
[0024]
将所述第二单标签识别模型的参数和所述第二多标签识别模型的参数复制到所述非机动车识别模型中以作为所述非机动车识别模型的参数。
[0025]
优选的，所述对抓拍图片进行初处理以得到驾驶员驾驶非机动车的初处理图片包括：
[0026]
对所述抓拍图片进行过滤，以获取包含驾驶员及其驾驶的非机动车图片。
[0027]
优选的，所述合并所述第一单标签识别模型和所述第一多标签识别模型以得到驾驶员识别模型；合并所述第二单标签识别模型和所述第二多标签识别模型以得到非机动车识别模型步骤之后，所述方法还包括
[0028]
分别利用所述驾驶员识别模型和所述非机动车识别模型对待识别图片进行识别以输出驾驶员和非机动车的属性。
[0029]
第二方面，本发明提供了一种非机动车驾驶识别装置，所述装置包括：
[0030]
初处理模块，用于对抓拍图片进行初处理以得到驾驶员驾驶非机动车的初处理图片；
[0031]
数据集制作模块，用于将所述初处理图片制作成数据集，所述数据集包括用于检测模型训练的第一数据集和用于分类模型训练的第二数据集；
[0032]
第一训练模块，用于对所述第一数据集中的驾驶员及非机动车分别进行标注，并利用预设检测模型进行训练以得到驾驶员检测模型和非机动车检测模型；
[0033]
对象获取模块，用于将所述第二数据集输入所述驾驶员检测模型中得到驾驶员对象；将所述第二数据集输入所述非机动车检测模型中得到非机动车对象；
[0034]
标注模块，用于基于第一预设关联规则对所述驾驶员对象进行标注以得到驾驶员单标签数据集、驾驶员多标签数据集；基于第二预设关联规则对所述非机动车对象进行标注以得到非机动车单标签数据集、非机动车多标签数据集；
[0035]
第二训练模块，用于利用第一卷积神经网络分别对所述驾驶员单标签数据集、驾驶员多标签数据集进行训练直至符合收敛要求，分别得到训练好的第一单标签识别模型和第一多标签识别模型；利用第二卷积神经网络分别对所述非机动车单标签数据集、所述非机动车多标签数据集进行训练直至符合收敛要求，分别得到训练好的第二单标签识别模型和第二多标签识别模型；
[0036]
合并模块，用于合并所述第一单标签识别模型和所述第一多标签识别模型以得到驾驶员识别模型；合并所述第二单标签识别模型和所述第二多标签识别模型以得到非机动车识别模型。
[0037]
第三方面，本发明还提供了一种计算机，所述计算机包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述的非机动车驾驶识别方法中的步骤。
[0038]
第四方面，本发明还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的非机动车驾驶识别方法中的步骤。
[0039]
本发明实施例提供的技术方案带来的有益效果是：
[0040]
本发明利用抓拍图片制作对应的数据集，其所生成的驾驶员检测模型和非机动车检测模型用于获取驾驶员对象和非机动车对象，其后通过对非机动车及其驾驶员进行单标签及多标签的标注，并采用四个卷积神经网络分别进行训练得到驾驶员的单标签、多标签识别模型及非机动车的单标签、多标签识别模型。然后，再合并驾驶员的单标签识别模型和多标签识别模型、非机动车的单标签识别模型和多标签识别模型，从而得到相应的驾驶员识别模型和非机动车识别模型。在应用时，可将抓拍的照片输入驾驶员识别模型和非机动车识别模型中即可得到驾驶员和非机动车的属性，从而可得到相对精确的属性，且相较传统需对每一个属性均进行单独的模型训练导致的推理速度低下的问题，本发明还兼具保证了较好的推理速度。
附图说明
[0041]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本发明提供的非机动车驾驶识别方法在一实施方式下的流程图；
[0043]
图2为本发明提供的非机动车驾驶识别装置在一实施方式下的功能模块图。
具体实施方式
[0044]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0045]
参见图1，为本发明提供的非机动车驾驶识别方法在一实施方式下的流程图，所述非机动车驾驶方法主要应用于交通运输系统，用于对目标路面上的非机动车进行属性识别，包括但不限于驾驶员、驾驶员性别、驾驶员外貌及着装、非机动车类型、非机动车外观及行驶方向等。
[0046]
如图1所示，所述非机动车驾驶识别方法可包括如下步骤：
[0047]
s101：对抓拍图片进行初处理以得到驾驶员驾驶非机动车的初处理图片，此处，可对抓拍图片进行过滤，以滤除其中并不包含非机动车及驾驶员的图片，从而获得包含驾驶员及其驾驶的非机动车图片。
[0048]
s102：将所述初处理图片制作成数据集，所述数据集包括用于检测模型训练的第一数据集和用于分类模型训练的第二数据集。
[0049]
本步骤中，此处，可计第一数据集为a1，第二数据集为a2。
[0050]
s103：对所述第一数据集中的驾驶员及非机动车分别进行标注，并利用预设检测模型进行训练以得到驾驶员检测模型和非机动车检测模型。
[0051]
本步骤中，对第一数据集a1进行标注，得到驾驶员标注信息和非机动车标注信息，其后，可利用yolov5对该数据集进行训练，从而得到驾驶员检测模型d_net1和非机动车检测模型d_net2。此处，利用yolov5具备的灵活性及速度佳的特性，相较其他yolo算法而言，yolov5更适用于交通运输系统中的抓拍场景。
[0052]
s104：将所述第二数据集输入所述驾驶员检测模型中得到驾驶员对象；将所述第二数据集输入所述非机动车检测模型中得到非机动车对象。
[0053]
本步骤中，将第二数据集a2分别输入到驾驶员检测模型d_net1和非机动车检测模型d_net2中，从而得到驾驶员和非机动车的位置坐标。
[0054]
此处，驾驶员检测模型输出的位置坐标可包括四个坐标点，位于左上角坐标(x1，y1)，左下角坐标(x1，y2)、右上角(x2，y1)及右下角坐标(x2， y2)，根据这四个坐标即可得到驾驶员的位置矩形框，从而获得驾驶员对象。而在非机动车检测模型中同理，根据四个坐标点获得非机动车的位置矩形框，从而获得非机动车对象。
[0055]
s105：基于第一预设关联规则对所述驾驶员对象进行标注以得到驾驶员单标签数据集、驾驶员多标签数据集；基于第二预设关联规则对所述非机动车对象进行标注以得到非机动车单标签数据集、非机动车多标签数据集。
[0056]
本步骤中，第一预设关联规则为对人进行的关联规则，可基于性别与外貌 (如头发长短)的相关性、性别与着装(衣服款式)的相关性、年龄与外貌的相关性等。对于不具备相关性的，则可标记为单标签，计为驾驶员单标签数据集b1，如年龄、衣服颜色及体型等。而对于具备相关性的，则可标注为多标签，计为驾驶员多标签数据集b2，如性别、长短发和衣服款式这三个属性可以同时标注。
[0057]
同理，第二预设关联规则为对非机动车进行的关联规则，可基于非机动车类型与非机动车外形的相关性、非机动车品牌与非机动车颜色的相关性、非机动车车牌与非机动车类型等。对于不具备相关性的，则可同样标记为单标签，计为非机动车单标签数据集c1，
如非机动车车龄、非机动车的外观完整度及车辆朝向等。而对于具备相关性的，则可同样标注为多标签，计为非机动车多标签数据集c2，如非机动车品牌、非机动车类型及非机动车颜色等属性可以同时标注。
[0058]
s106：利用第一卷积神经网络分别对所述驾驶员单标签数据集、驾驶员多标签数据集进行训练直至符合收敛要求，分别得到训练好的第一单标签识别模型和第一多标签识别模型；利用第二卷积神经网络分别对所述非机动车单标签数据集、所述非机动车多标签数据集进行训练直至符合收敛要求，分别得到训练好的第二单标签识别模型和第二多标签识别模型。
[0059]
本步骤中，第一卷积神经网络用于对驾驶员对象分别进行单标签数据集、多标签数据集进行训练，而第二卷积神经网络则用于对非机动车对象分别进行单标签数据集、多标签数据集进行训练。
[0060]
此处，第一卷积神经网络可包括两个子卷积神经网络，分别为对驾驶员对象进行单标签数据集训练的驾驶员单标签卷积神经网络，可计为net1；对驾驶员对象进行多标签数据训练的驾驶员多标签卷积神经网络，可计为net2。
[0061]
同理，第二卷积神经网络可包括两个子卷积神经网络，分别为对非机动车对象进行单标签数据集训练的非机动车单标签卷积神经网络，可计为net4；对非机动车对象进行多标签数据训练的非机动车多标签卷积神经网络，可计为 net5。
[0062]
在训练过程中，通过循环迭代直到上述的net1、net2、net4及net5网络收敛，损失趋于稳定，从而符合收敛要求。此处，net1、net2、net4及net5使用的均为交叉熵(cross entropy)损失函数，且满足如下关系式：
[0063][0064]
其中，xi表示第i个样本，i＝{1，2，
……
，n}，yi表示第i个样本所对应的标签，net1表示对所述驾驶员单标签数据集进行训练的第一卷积神经网络； net2表示对所述驾驶员多标签数据集进行训练的第一卷积神经网络；net4表示对所述非机动车单标签数据集进行训练的第二卷积神经网络；net5表示对所述非机动车多标签数据集进行训练的第二卷积神经网络；net为net1、net2、net4 或者net5中的一个。
[0065]
可以理解的是，在完成训练后得到的net1、net2、net4及net5则分别对应为第一单标签识别模型、第一多标签识别模型、第二单标签识别模型和第二多标签识别模型。
[0066]
s107：合并所述第一单标签识别模型和所述第一多标签识别模型以得到驾驶员识别模型；合并所述第二单标签识别模型和所述第二多标签识别模型以得到非机动车识别模型。
[0067]
本步骤中，合并驾驶员对象的单标签模型和非机动车对象的单标签模型，也即将上述第一单标签识别模型与第一多标签识别模型进行合并，以得到所述驾驶员识别模型，可计为net3。同理，合并驾驶员对象的多标签模型和非机动车对象的多标签模型，以得到所述非机动车识别模型，可计为net6。
[0068]
本步骤中，采用并行关系进行合并，通过分别复制各个模型的参数到一个模型中实现合并，也即：
[0069]
对于第一单标签识别模型和第一多标签识别模型，将第一单标签识别模型的参数
和第一多标签识别模型的参数复制到驾驶员识别模型(新的识别模型) 中，并作为该驾驶员识别模型的模型参数。
[0070]
同理，对于第二单标签识别模型和第二多标签识别模型，将第二单标签识别模型的参数和第二多标签识别模型的参数复制到非机动车识别模型(新的识别模型)中，并作为该非机动车识别模型的模型参数。
[0071]
本发明提供的非机动车驾驶识别方法，利用抓拍图片制作对应的数据集，其所生成的驾驶员检测模型和非机动车检测模型用于获取驾驶员对象和非机动车对象，其后通过对非机动车及其驾驶员进行单标签及多标签的标注，并采用四个卷积神经网络分别进行训练得到驾驶员的单标签、多标签识别模型及非机动车的单标签、多标签识别模型。然后，再合并驾驶员的单标签识别模型和多标签识别模型、非机动车的单标签识别模型和多标签识别模型，从而得到相应的驾驶员识别模型和非机动车识别模型。在应用时，可将抓拍的照片输入驾驶员识别模型和非机动车识别模型中即可得到驾驶员和非机动车的属性，从而可得到相对精确的属性，且相较传统需对每一个属性均进行单独的模型训练导致的推理速度低下的问题，本发明还兼具保证了较好的推理速度。
[0072]
可以理解的是，在步骤s107之后，所述非机动车驾驶识别方法的流程还可包括如下步骤：分别利用所述驾驶员识别模型和所述非机动车识别模型对待识别图片进行识别以输出驾驶员和非机动车的属性，从而得到分类结果。
[0073]
参见图2，为本发明提供的非机动车驾驶识别装置在一实施方式下的功能模块图。所述非机动车驾驶识别装置100可包括初处理模块11、数据集制作模块 12、第一训练模块13、对象获取模块14、标注模块15、第二训练模块16、合并模块17及输出模块18，通过各个功能模块之间的配合实现利用抓拍图片制作对应的数据集，其所生成的驾驶员检测模型和非机动车检测模型用于获取驾驶员对象和非机动车对象，其后通过对非机动车及其驾驶员进行单标签及多标签的标注，并采用四个卷积神经网络分别进行训练得到驾驶员的单标签、多标签识别模型及非机动车的单标签、多标签识别模型。然后，再合并驾驶员的单标签识别模型和多标签识别模型、非机动车的单标签识别模型和多标签识别模型，从而得到相应的驾驶员识别模型和非机动车识别模型，从而得到相应的驾驶员识别模型和非机动车识别模型。
[0074]
如图2所示，在本发明提供的非机动车驾驶识别装置100中，各个功能模块的具体功能如下：
[0075]
初处理模块11，用于对抓拍图片进行初处理以得到驾驶员驾驶非机动车的初处理图片；
[0076]
数据集制作模块12，用于将所述初处理图片制作成数据集，所述数据集包括用于检测模型训练的第一数据集和用于分类模型训练的第二数据集；
[0077]
第一训练模块13，用于对所述第一数据集中的驾驶员及非机动车分别进行标注，并利用预设检测模型进行训练以得到驾驶员检测模型和非机动车检测模型；
[0078]
对象获取模块14，用于将所述第二数据集输入所述驾驶员检测模型中得到驾驶员对象；将所述第二数据集输入所述非机动车检测模型中得到非机动车对象；
[0079]
标注模块15，用于基于第一预设关联规则对所述驾驶员对象进行标注以得到驾驶员单标签数据集、驾驶员多标签数据集；基于第二预设关联规则对所述非机动车对象进行
标注以得到非机动车单标签数据集、非机动车多标签数据集；
[0080]
第二训练模块16，用于利用第一卷积神经网络分别对所述驾驶员单标签数据集、驾驶员多标签数据集进行训练直至符合收敛要求，分别得到训练好的第一单标签识别模型和第一多标签识别模型；利用第二卷积神经网络分别对所述非机动车单标签数据集、所述非机动车多标签数据集进行训练直至符合收敛要求，分别得到训练好的第二单标签识别模型和第二多标签识别模型。
[0081]
合并模块17，用于合并所述第一单标签识别模型和所述第一多标签识别模型以得到驾驶员识别模型；合并所述第二单标签识别模型和所述第二多标签识别模型以得到非机动车识别模型。
[0082]
输出模块18，用于分别利用所述驾驶员识别模型和所述非机动车识别模型对待识别图片进行识别以输出驾驶员和非机动车的属性。
[0083]
可理解的是，在具体应用过程中，本发明提供一种计算机，所述计算机包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述非机动车驾驶识别方法中的步骤。
[0084]
所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
[0085]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd) 卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0086]
此外，本发明还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的非机动车驾驶识别方法中的步骤。
[0087]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。