一种基于时空特征融合的车辆驾驶行为检测方法

1.本发明属于车辆驾驶检测技术领域，具体涉及车辆驾驶行为检测方法。


背景技术：

2.驾驶行为检测旨在通过检测算法对危险驾驶事件进行检测，广泛应用于交通管理、汽车保险、油耗优化等领域。驾驶行为检测方法可以分为传统机器学习方法和深度学习方法。前者受限于人类领域知识，在特征提取阶段需要手动挑选有意义的特征，而后者可以通过设计神经网络自动地提取数据中的时间和空间关系，使得该方法被广泛应用于水质预测、质量检测等领域。然而单独的深度学习模型如cnn只能提取空间特征，而lstm又不能有效捕捉时间长程依赖，并且他们均将所有的特征同等对待。


技术实现要素：

3.本发明的目的在于提供一种基于时空特征融合的车辆驾驶行为检测方法，让神经网络同时学习空间信息和时间信息以提高对危险驾驶事件的检测能力。本发明可检测7种驾驶行为：急刹车、快速变道、连续变道、快速左转、快速右转、快速掉头、正常驾驶。
4.本发明提供的基于时空特征融合的的车辆驾驶行为检测方法，主要分为离线训练阶段和在线训练阶段。离线训练阶段包括数据预处理、时空特征提取、驾驶分类。训练后的模型可以高效且自动地检测滑动窗口内多模态传感信息中的驾驶行为。在线检测阶段包括实时数据处理、驾驶行为检测、驾驶行为评价。通过智能手机软件程序加载离线训练好的模型，实现实时驾驶行为检测和驾驶行为评价，参见图2所示。具体步骤如下：
5.(1)数据预处理(l1)
6.由智能手机采集车辆多模态传感离线数据，所述数据包括：车辆加速度和陀螺仪、gps数据，磁传感计、道路类型、天气类型等传感数据，对这些数据进行预处理操作，包括坐标转换、上采样(针对低采样率模态数据)、小波变换去噪、最大最小归一化、滑动窗口划分等；
7.(2)时空特征提取(l2)
8.分别通过cnn(深度卷积神经网络)和lstm(长短期记忆网络)对不同模态数据的空间和时间关系进行特征提取，并通过自注意力网络分别对空间特征和时间特征进行权重衡量；
9.(3)对驾驶行为进行分类(l3)
10.使用全连接网络层和softmax函数对时空特征分类，得到具体的驾驶行为的分类；
11.(4)实时数据处理(s1)
12.由智能手机app应用实时获取车辆的动力数据，包括：车辆加速度、方位，磁传感器、gps数据，驾驶上下文信息(如天气类型、道路类型、地图信息等)，并对实时多模态数据进行预处理；
13.(5)对驾驶行为进行检测(s2)
14.使用离线训练好的驾驶行为分类模型，检测具体的驾驶行为类别；
15.(6)对驾驶行为进行评价(s3)
16.对驾驶行为进行评价，采用两种评价规则；一是驾驶表现分评价，用于规范驾驶员日常的驾驶表现；二是驾驶水平积分评价，用于改善驾驶员的驾驶习惯；
17.其中，驾驶表现分的扣分公式为：
18.score＝100-count
ano
ꢀꢀꢀ
(1)
19.其中，count
ano
为每10公里内出现5次及以上异常驾驶行为则计数1次，并作语音警示；所述异常驾驶行分为六种类型，分别为：急刹车、快速变道、快连续变道、快速左转、快速右转、快速掉头。
20.本发明中，步骤(1)所述的数据预处理的具体流程为：
21.首先，考虑到原始信号由多个智能手机传感器获得，其中不同的传感器有不同的频率；故需要对这些低频信号进行上采样，本发明通过线性插值滤波来表示对原始信号进行上采样操作，表示为：
[0022][0023]
其中，os(
·
)和s(
·
)分别代表上采样和原始信号；i2和i1分别上采样位置i的后与前位置。
[0024]
接着，通过小波变换对采样后的信号进行分解来获得更平滑的序列，以提高模型的泛化能力。小波变换操作表示为：
[0025][0026]
其中，n、lm和nw分别代表原序列长度、分解的层数和分解滤波器的长度，最后通过反小波变换得到去噪后的序列。
[0027]
由于不同的模态输入信号有不同的数值范围。一旦原始数据被送入模型，训练速度就会减慢，检测性能可能会随之受到影响。本发明利用最大-最小归一化，将所有变量映射到范围[0,1]，以减轻影响。表示为：
[0028][0029]
其中，s、s
′
、s
min
和s
max
分别代表待归一化的原变量、归一化变量、原始变量中的最小和最大值。
[0030]
最后，为了最大限度地探索驾驶行为的原始特征，本发明将预处理后的序列分割成多个输入序列，并通过滑动窗口策略，将其输入到网络中，可表示为：
[0031][0032]
其中，ts、ws和t分别为单个时间步长的持续时间、滑动窗口持续时间和时间步长的数量，sw和f
hz
分别是单个滑动窗口的总序列长度和数据集的采样率。
[0033]
本发明中，步骤(2)所述的时空特征提取的具体流程为：
[0034]
首先，通过cnn网络提取驾驶行为数据中的空间特征，表示为：
[0035]
[0036][0037][0038]
其中，v
tm
是c
tm
通过全连接层计算的隐表示，和是cnn网络中在第t个时间步中自动学习的网络参数，是通过softmax函数计算的归一化权重，是所有模态通过注意力计算后的统一表示。
[0039]
接着，通过lstm网络提取驾驶行为数据中的时间特征，表示为：
[0040][0041][0042][0043][0044][0045]
其中，i
t
、f
t
、o
t
、和c
t
分别是lstm的输入门、遗忘门、输出门、候选内存单元和内存单元。和h
t-1
分别是cnn网络的第t个时间步的隐表示输出(也是lstm网络第t个时间步的输入)和lstm网络第t-1时刻的隐状态。w和b分别表示lstm网络中上述门控单元自动学习的网络参数。提取的时间特征使用全连接层和softmax函数进一步衡量不同时间步的重要性，表示为：
[0046]kt
＝tanh(w2h
t
b2)，
ꢀꢀꢀ
(14)
[0047][0048]
δ＝∑
t
β
tht
，
ꢀꢀꢀ
(16)
[0049]
其中，k
t
、β
t
和δ分别表示全连接层计算后得到的lstm隐状态的隐表示、时间特征的归一化权重和所有时间步通过注意力计算后的统一表示。h
t
是全连接层第t个时间步的输入(也是lstm在t时间步的输出)，w2、w2和b2分别表示全连接网络中自动学习的网络参数。
[0050]
本发明中，步骤(3)所述的对驾驶行为进行分类的具体流程为：
[0051]
将驾驶上下文信息嵌入到全连接层中，对驾驶行为进行分类，表示为：
[0052]er
＝onehot(v)
×
we，
ꢀꢀꢀ
(17)
[0053][0054][0055]
其中，er、和r
behavior
分别表示嵌入的驾驶上下文信息、通过softmax函数计算的驾驶行为分类和具体的驾驶行为类别。onehot(v)和fs分别表示驾驶上下文信息v的独热变量，和上一层将注意力网络的输出δ再次使用全连接计算(过程同公式(14))后得到的隐表示。argmax(
·
)是求解预测的驾驶行为类别中概率最大的驾驶行为。we、wy和by表示分类层网络自动学习的网络参数。
[0056]
本发明中，步骤(6)所述对驾驶行为进行评价，其中：
[0057]
所述驾驶表现分，共分5个等级，初始值为100分，驾驶表现分级别划分见表1。当驾
驶行为为正常驾驶且分数score低于100分时，每10公里加1分。当驾驶表现分级别为2，即驾驶意识极差时，不建议驾驶员在高速路段行驶；当驾驶表现分级别为1，即驾驶意识恶劣时，不建议驾驶员在市区路段行驶。
[0058]
所述驾驶水平积分，共分为7个等级，具体等级划分见表2，初始分值为750，级别为1。当驾驶表现分等级为4及以上时，对应当前驾驶水平的积分等级(表2第1列)，每正常行驶一定的公里数(表2第3列)加1积分；仅当每100公里驾驶中累积出现5次及以上异常驾驶行为，扣5积分。
[0059]
表1，驾驶表现分级别划分
[0060]
表现分级别分值区段描述5100驾驶意识优秀4[90,99]驾驶意识良好3[80,89]驾驶意识较差2[60,79]驾驶意识极差1《＝59驾驶意识恶劣
[0061]
表2，驾驶水平积分等级划分
[0062][0063][0064]
本发明提出的基于时空特征融合车辆驾驶行为检测方法，在离线阶段，通过数据预处理，使数据更符合神经网络的输入要求；通过时空特征抽取网络，分别提取空间和时间特征，并在不同的阶段衡量其重要性，并在其后的全连接层嵌入驾驶上下文信息；通过使用softmax函数对融合的时空特征进行驾驶行为分类。在在线阶段，对检测的驾驶行为进行驾驶行为评分，相比于以往基于加速度或方位数据阈值设定的评分策略，本发明评价策略首先使用驾驶行为检测模型自动地检测具体的驾驶行为；接着结合驾驶表现分及驾驶水平积分两种方式全面评价驾驶员的日常及长期的驾驶行为，兼具全面性与实用性，因此可以更好地引导驾驶员向高效驾驶、安全驾驶演变；最后也可以选择将驾驶数据与交管部门联网，优化交通管理与安全。
[0065]
本发明中，引入时空特征融合策略，通过嵌入的驾驶上下文信息可进一步提高检测效率，应用自定义的驾驶行为评价准则，可以改善驾驶员的日常及长期的不良驾驶习惯。相较于以往方法中手动分析和挑选特征策略，可以更高效地识别数据中的时空特征并衡量其重要性，并可通过智能手机这一便携载体进行驾驶行为检测和反馈，极大地提高了其应用价值。
附图说明
[0066]
图1为本发明数据预处理中车辆坐标系示意图。其中，a1为右视图，a2为正视图。
[0067]
图2为本发明时空特征融合的车辆驾驶行为检测方法流程图。
[0068]
图3为本发明中使用的时空特征融合网络的架构图。
[0069]
图4为本发明涉及的驾驶行为检测设备的结构图和工作流程示意图。
[0070]
图5为发明的车辆驾驶行为检测方法在uah-driveset数据集上的测试结果。
具体实施方式
[0071]
下面通过具体实施例和附图对本发明作进一步说明。
[0072]
本发明中的目标车辆坐标系如图1所示。由于智能手机可能平放或竖放在车内，并且不同手机的原始数据坐标系各不相同，使得获取到的数据的坐标系不统一。为统一坐标系，在获取传感器中的原始数据后，需在预处理操作中将原始数据的坐标系转换为目标车辆坐标系，使数据符合神经网络的输入要求。如图1所示，a1为右视图，a2为正视图。该操作包含在离线训练及在线检测阶段，通过转换后的坐标系方可正确处理数据，进行驾驶行为检测和评分。
[0073]
本发明提出的基于时空特征融合的车辆驾驶行为检测方法，包括离线训练和在线检测两个阶段。具体流程如图2所示，具体包括数据预处理l1、时空特征提取l2、驾驶行为分类l3，实时数据处理s1、驾驶行为检测s2、驾驶行为评价s3共6个关键步骤。方法可检测7种驾驶行为：急刹车、快速变道、连续变道、快速左转、快速右转、快速掉头、正常驾驶。本发明引入时空特征融合策略，通过嵌入的驾驶上下文信息可进一步提高检测效率，应用自定义的驾驶行为评价准则，可以改善驾驶员的日常及长期的不良驾驶习惯。相较于以往方法中手动分析和挑选特征策略，可以更高效地识别数据中的时空特征并衡量其重要性，并可通过智能手机这一便携载体进行驾驶行为检测和反馈，极大地提高了其应用价值。
[0074]
在离线训练阶段，首先将智能手机采集的多模态传感离线数据，包括车辆加速度和陀螺仪、gps数据、磁传感计、道路类型、天气类型等传感数据，进行坐标转换、上采样(针对低采样率模态数据)、小波变换去噪、最大最小归一化、滑动窗口划分等预处理操作；然后分别通过cnn和lstm对不同模态数据的空间和时间关系进行特征提取建模，并通过自注意力网络分别对空间特征和时间特征进行权重衡量；最后使用全连接网络层和softmax函数对时空特征分类得到具体的驾驶行为的分类；在在线检测阶段，首先通过智能手机app应用实时获取车辆的动力数据包括车辆加速度、方位、磁传感器、gps数据、驾驶上下文信息(天气类型、道路类型、地图信息等)，并对实时多模态数据进行预处理；接着，通过使用离线训练好的驾驶行为分类模型，检测具体的驾驶行为类别；最后通过驾驶评价准则，计算驾驶水平积分，警示驾驶员的不良驾驶习惯。
[0075]
本发明提出的时空特征融合的网络架构，包括多模态输入层、基于注意力的cnn融合子网层、基于注意力的lstm融合子网层以及全连接输出层，参见图3所示。
[0076]
通过多模态输入层生成多模态驾驶序列，具体的，多模态输入层的输入为加速度、方位、磁传感计、gps四种模态信息，一个输入窗口的持续时间ws为5s，一个时间步ts为0.5s，一个输入窗口包含时间步t为10，数据集的采样率f
hz
为100，窗口输入的序列长度sw为500；
[0077]
通过基于注意力的cnn融合子网提取不同模态之间局部空间特征，具体的，cnn的卷积核为1
×
3，通道数64，每个卷积层后会附加值为0.2的dropout层、relu激活层和核为1
×
3的最大池化层，并使用自注意力对空间特征进行重要性衡量和融合；
[0078]
通过基于注意力的lstm融合子网探索时间段之间的长期关系，具体的，按照时间步逐次接收融合后的空间特征，使用lstm进一步提取特征中的时间关系，lstm的隐状态为64，最佳时间步为15，并使用自注意力对所有时间步输出的lstm的隐状态进行权重衡量和融合；
[0079]
通过将驾驶上下文信息嵌入到全连接层来计算驾驶行为概率，具体的，将驾驶上下文信息(天气、道路、地图数据)作为嵌入信息嵌入融合时空特征中，这类信息通过one-hot编码输入神经网络，而不是作为数值输入，然后通过全连接层和softmax函数对融合时空特征计算驾驶行为分类，即由100个全连接神经元加2个驾驶上下文的one-hot向量联合，输出6分类。网络训练的批处理大小为32，迭代次数为500，应用5-fold交叉验证，学习率为1
×
10-4
。
[0080]
图4为本发明实施例的驾驶行为检测设备的结构图和工作流程示意图，该设备包括智能手机、手机软件程序、计算机存储器、计算机处理器。分别通过计算机处理器执行计算机软件程序及智能手机执行手机软件程序，可以实现上述发明实施例的时空特征融合的车辆驾驶行为检测方法与在线反馈。如图4所示，该设备包括4个流程；
[0081]
流程p1，将智能手机采集的数据多模态数据转存到计算机存储设备，用于模型训练及更新；
[0082]
流程p2，计算机处理器从存储器读取数据，通过模型训练算法得到驾驶行为检测模型；
[0083]
流程p3，不定期将训练的检测模型上载到智能手机中，不断迭代模型，提高模型检测准确率；
[0084]
流程p4，通过执行手机软件程序，实时检测具体的驾驶行为，并根据评价准则提示驾驶员的不良驾驶习惯。通过这一套完整的离线训练及在线检测设备，可以显著提高检测效率及程序执行灵活性，进一步提高应用的实用价值。
[0085]
为了研究每个组件的必要性，我们分别排除或替换组件以观察模型性能的变化。图5为在uah-driveset数据集上的测试结果，评价指标为macrof1-score(mf1)，d1-d6为6个不同驾驶人，model1-model6分别表示排除或取代神经网络中的模块，包括单模态输入序列(uis)、卷积神经网络(cnn)、自我注意力(sa)、长短期记忆网络(lstm)、多头注意力(mha)和嵌入上下文信息(eci)。结果表明，本发明方法中的每个模块都对最终的测试结果起到了优化作用。
[0086]
本发明中，用于获取多模态传感数据的智能手机设备可被替换为任何嵌入式设备。
[0087]
本发明中，可以选择性增加或减少传感数据的模态种类，如加速度、方位、磁传感器、gps、道路类型、天气类型、地图上下文信息等。
[0088]
本发明中，用于提取空间特征的cnn网络可被替换为resnet、inception、densenet等其他类型的卷积神经网络。
[0089]
本发明中，用于提取时间特征的lstm网络可被替换为rnn、gru等其他类型的循环
神经网络。
[0090]
本发明中，用于驾驶表现分和驾驶水平积分的分值设定可根据需要修改，也可以仅应用驾驶表现分或驾驶水平积分。
[0091]
本发明中输出的驾驶行为类型和数量可根据训练数据的标签重定义。
[0092]
本发明中涉及的一些自定义参数可被修改。