基于驾驶员的生理信息辅助控制车辆的方法和设备与流程

1.本发明涉及一种基于驾驶员的生理信息辅助控制车辆的方法、一种基于驾驶员的生理信息辅助控制车辆的设备和一种计算机程序产品。


背景技术：

2.随着车辆智能化进程的不断深入，车辆搭载的多种人机交互功能为驾驶员的安全驾驶和舒适性提升做出了贡献。然而在特定场景中，依靠现有的辅助提示和预警措施仍不足以为驾驶员彻底规避事故风险。例如，当驾驶员面临突发危险时，有时来不及手动控制车辆进行有效避障，虽然此时存在的一些生物信息已经反映出驾驶员的刹车意图，但当其真正执行具体操作时往往为时已晚。此外，对于肢体运动能力不足或缺乏驾驶经验的人员来说，想要实现车辆的安全驾驶也具有一定困难。
3.目前，现有技术中提出一种使用脑电信号确定车辆用户驾驶意图的方法，在该方法中通过收集车辆驾驶员的脑电图(eeg，electroencephalogram)来确定对应的驾驶行为。
4.此外，还已知一种基于肌电图(emg，electromyogram)检测紧急制动意图的方法，在虚拟驾驶环境中，可以根据驾驶员的肌肉活动检测驾驶员执行紧急制动时的意图反馈。
5.但是，上述解决方案仍存在诸多不足，特别是，目前通常基于单一的生物电信号检测用户的运动意图，然而单一肌肉电信号虽然对运动意图响应迅速，但肌电个体差异性较大，具有显著时变特性。单一脑电信号是中枢神经活动在大脑皮层的综合反映，其更加微弱且易受干扰，同时该类信号产生的区域的频率也与运动想象的种类强相关，因此无法根据其精准解析出具体的人类意图。因此，采用单一生理信息的运动意图识别具有明显不足。
6.在这种背景下，期待提供一种融合多种生理信息且支持相互校验的驾驶意图识别方案，以更加可靠地辅助车辆控制。


技术实现要素：

7.本发明的目的在于提供一种基于驾驶员的生理信息辅助控制车辆的方法、一种基于驾驶员的生理信息辅助控制车辆的设备和一种计算机程序产品，以至少解决现有技术中的部分问题。
8.根据本发明的第一方面，提出一种基于驾驶员的生理信息辅助控制车辆的方法，所述方法包括以下步骤：
9.s1：获取驾驶员的第一生理信息；
10.s2：获取驾驶员的第二生理信息，所述第二生理信息与第一生理信息不同；
11.s3：基于第一生理信息和第二生理信息以交叉验证的方式生成用于车辆的控制信号；以及
12.s4：将所述控制信号输出用于控制车辆的驾驶操作。
13.本发明尤其包括以下技术构思：通过综合考虑驾驶员的两种不同类型的生理信息，可以借助两者之间的相关性对识别结果进行交叉验证，有利地弥补了单个生物信息分
析过程中的不足，加强了系统的稳定性和可靠性。由此，在总体上能够减少在紧急状况发生时人类介入系统的时延。
14.可选地，所述第一生理信息包括驾驶员的脑电信号，所述第二生理信息包括驾驶员的肌电信号和/或表面肌电信号。
15.由此，实现以下技术优点：脑电信号是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映，包含了丰富的意图信息且具有良好的时间超前性，能够被用于提前感知人体运动意图，解决了其他生理信息源的时间滞后的问题。肌电信号是众多肌纤维运动在时间和空间上的叠加，表面肌电信号是肌肉收缩时在皮肤表层产生的电信号，对运动意识响应迅速。通过这两种关键信息源的结合，充分发挥了不同生理信息的优势且相互弥补各自不足。
16.可选地，所述步骤s3包括：
17.s31：基于第一生理信息和第二生理信息融合地求取驾驶员的目标驾驶意图；以及
18.s32：根据目标驾驶意图生成控制信号，所述控制信号用于触发与所述目标驾驶意图相关联的车辆操作。
19.可选地，所述步骤s31包括：
20.借助机器学习模型分别针对第一生理信息和第二生理信息输出驾驶员的潜在驾驶意图；
21.将所有潜在驾驶意图组合形成候选意图序列；以及
22.根据第一生理信息与第二生理信息之间的时间相关性和/或内容相关性从候选意图序列中筛选出目标驾驶意图。
23.由此，实现以下技术优点：首先，独立并行地通过信号处理和模式识别算法检测出两种生理信息各自对应的潜在驾驶意图，然而由于这两种生理信息在分析过程中分别表现出不足，因此在这一阶段得到的检测结果可能并不准确。接下来，通过比较验证的方式提取两种信号在时间和内容上的共性并由此确定最终识别结果，实现了对驾驶意图的精准检测。
24.可选地，筛选目标驾驶意图包括：
25.借助预训练的人工神经网络为候选意图序列中的每个潜在驾驶意图分配置信概率；以及
26.输出置信概率最高的潜在驾驶意图作为目标驾驶意图。
27.由此，实现以下技术优点：借助置信区间的划分以及信度的分配，能够更明确地筛选出脑肌联合运动意图的综合识别结果。
28.可选地，所述步骤s3还包括：分别判断第一生理信息和第二生理信息是否反映出运动意图，其中，仅当第一生理信息和第二生理信息均反映出运动意图的情况下，才将所述第一生理信息和所述第二生理信息用于生成所述控制信号。
29.由此，实现以下技术优点：借助运动意图形式的过滤条件，可以在形成具体车辆控制之前排除干扰项。
30.可选地，针对第一时刻获取的第一生理信息以及第二时刻获取的第二生理信息共同地进行运动意图的判断，所述第二时刻相对于第一时刻延迟预定义时间段。
31.由此，实现以下技术优点：当驾驶意图在驾驶员大脑中产生时，往往首先在大脑皮
层中产生激励信号，然后才将大脑产生的控制信息传递给肌肉。因此，由同一驾驶意图产生的不同生理信息之间通常存在时间偏差，只有脑电信号和肌电信号间的同步特征才能反映皮层肌肉间功能耦合的关系。通过预定义并在分析中考虑这种时间偏差，可以严格约束不同生理信号之间的对应关系。
32.可选地，所述步骤s3还包括：分别对第一生理信息和第二生理信息进行信号预处理以及时频域信号特征提取。
33.由此，实现以下技术优点：可以有效去除相应生理信息中的伪迹和噪声，并从原始信号中提取出有用信息，提高了后续的意图识别过程的准确性。
34.根据本发明的第二方面，提出一种基于驾驶员的生理信息辅助控制车辆的设备，所述设备用于执行根据本发明的第一方面所述的方法，所述设备包括：
35.第一获取模块，其配置为能够获取驾驶员的第一生理信息；
36.第二获取模块，其配置为能够获取驾驶员的第二生理信息，所述第二生理信息与第一生理信息不同；
37.分析模块，其配置为能够基于第一生理信息和第二生理信息以交叉验证的方式生成用于车辆的控制信号；以及
38.输出模块，其配置为能够将所述控制信号输出用于控制车辆的驾驶操作。
39.根据本发明的第三方面，提出一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序用于在被计算机执行时实施根据本发明的第一方面所述的方法。
附图说明
40.下面，通过参看附图更详细地描述本发明，可以更好地理解本发明的原理、特点和优点。附图包括：
41.图1示出了根据本发明的一个示例性实施例的基于驾驶员的生理信息辅助控制车辆的设备的框图；
42.图2示出了根据本发明的一个示例性实施例的基于驾驶员的生理信息辅助控制车辆的方法的流程图；
43.图3示出了根据本发明的一个示例性实施例的基于驾驶员的生理信息辅助控制车辆的方法的三个方法步骤的流程图；
44.图4示出了根据本发明的另一示例性实施例的基于驾驶员的生理信息辅助控制车辆的方法的流程图；以及
45.图5示出了在本发明的方法中为实现第一生理信息和第二生理信息的交叉验证所采用的循环神经网络架构的示意图。
具体实施方式
46.为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。
47.图1示出了根据本发明的一个示例性实施例的基于驾驶员的生理信息辅助控制车
辆的设备的框图。
48.如图1所示，设备1例如用于基于驾驶员的生理信息来辅助控制车辆。该设备1例如包括第一获取模块10、第二获取模块20、分析模块30和输出模块40。第一获取模块1例如构造成头戴式脑电信号检测器(例如电极帽)，其配置为根据驾驶员头部不同通道处的电极电位变化以不间断的方式采集大脑皮层处生成的脑电信号。第二获取模块2例如构造成肌肉电信号检测器，其例如可根据需要而被布置在驾驶员身体的不同部位(例如手腕、脚腕、胳膊、腿部、脖颈等)并配置为实时检测驾驶员的肌电信号或表面肌电信号。在此，肌电信号是众多肌纤维中运动单元动作电位在时间和空间上的叠加，为了获取这种信号，例如可以借助针电极以侵入式方式进行采集。表面肌电信号则是浅层肌肉和神经干上电活动在皮肤表面的总和效应，能够在一定程度上反映神经肌肉的活动，其在测量方式上相比于肌电信号具有无创伤、操作简单的优点。在收集了驾驶员的上述生理信息之后，这些被进一步传输给分析模块30。
49.分析模块30被配置为基于所获取的脑电信号和肌肉电信号以交叉验证的方式生成用于车辆的控制信号。为此，分析模块30例如包括第一信号处理单元31、第二信号处理单元32和信号融合单元33。该第一信号处理单元31从第一获取模块1接收驾驶员的脑电信号并在那里对其进行信号处理，这种信号处理例如包括对脑电信号的预处理、特征提取、强度判决以及潜在驾驶意图求取。此外，分析模块30还包括第二信号处理单元32，该第二信号处理单元32从第二获取模块2接收驾驶员的肌电信号和/或表面肌电信号并在那里对其进行信号处理，其处理方式可以与第一信号处理单元31中的处理方式类似地进行。
50.在此，第一信号处理单元31和第二信号处理单元32均连接到信号融合单元33。该信号融合单元33例如构造成循环神经网络，以便分别从第一和第二信号处理单元31、32接收由潜在驾驶意图组合形成的候选意图序列，并从中筛选出目标驾驶意图。
51.筛选出的目标驾驶意图被提供给输出模块40，并由输出模块40发送给车辆的至少一个执行器(例如加速踏板、制动踏板、转向装置等)，以便相应地控制车辆的驾驶行为。
52.图2示出了根据本发明的一个示例性实施例的基于驾驶员的生理信息辅助控制车辆的方法的流程图。该方法例如可以在使用图1所示的设备1的情况下实施。
53.在本发明的意义上，生理信息理解为受个体基本生理结构、年龄、性格等差异所表现出的生物机体机能现象。在驾驶意图识别领域，生理信息例如包括脑电信号、皮肤电效应、心电信号、眼球运动、呼吸、血管压力等不同形式的信息。
54.在步骤s1中，获取驾驶员的第一生理信息。在此，例如借助脑机接口技术以不间断的方式接收驾驶员的脑电信号。
55.在步骤s2中，获取驾驶员的第二生理信息，该第二生理信息与第一生理信息不同。在此，例如借助腕式表面贴片电极实时接收驾驶员的表面肌电信号。
56.在步骤s3中，对第一和第二生理信息以交叉验证的方式生成用于车辆的控制信号。
57.在此，例如首先在步骤s3的子步骤s31中基于第一和第二生理信息融合地求取驾驶员的目标驾驶意图。在本发明的意义上，目标驾驶意图例如理解为驾驶员在执行具体驾驶操作之前表现出的对具体车辆行为的控制意愿，这例如包括：制动意图、加速意图、转向意图、并道意图、跟随意图等。
58.接下来，在步骤s3的子步骤s32中根据目标驾驶意图生成控制信号。在此，该控制信号例如用于触发与目标驾驶意图相关联的车辆操作。
59.在步骤s4中，将控制信号输出用于控制车辆的驾驶操作。
60.图3示出了根据本发明的一个示例性实施例的基于驾驶员的生理信息辅助控制车辆的方法的三个步骤s31、s1、s2的流程图。图2中的方法步骤s31示例性地包括子步骤s301
‑
s306。
61.在步骤s301中，对第一生理信息进行预处理。在此，这例如可以借助图1中的分析模块30的第一信号处理单元31来完成。
62.与步骤s301独立地，在步骤s301'中可以借助分析模块30的第二信号处理单元32对第二生理信息进行预处理。
63.接下来，在步骤s302中，可以对预处理后的第一生理信息进行特征提取。与第一生理信息的特征提取过程独立地，可以在步骤s302'中对预处理后的第二生理信息进行特征提取。由此，例如仅针对每个感兴趣频段提取出第一生理信息和第二生理信息的离散特征向量。
64.在步骤s303和s303'中，分别对第一生理信息和第二生理信息进行强度判决，以便检查相应的生理信息是否能够表现出运动意图。
65.在步骤s304中，在分别对第一和第二生理信息执行了强度判决之后，可以进一步判断第一生理信息和第二生理信息是否均反映出运动意图。
66.如果判断出两种生理信息中的至少一个未反映出运动意图，则重新回到步骤s1、s2，以重新获取第一和第二生理信息。
67.仅当两种生理信息均反映出运动意图时，才分别在步骤s305和s305'中针对第一生理信息形成第一候选意图序列并针对第二生理信息形成第二候选意图序列。
68.接下来，在步骤s306中根据第一生理信息与第二生理信息之间的时间相关性和/或内容相关性从候选意图序列中筛选出目标驾驶意图。
69.图4示出了根据本发明的另一示例性实施例的基于驾驶员的生理信息辅助控制车辆的方法的流程图。
70.在步骤s401中，分别获取驾驶员的第一生理信息和第二生理信息。例如，借助头戴式脑电信号检测器以不间断方式接收驾驶员的脑电信号，并且借助手/脚腕式肌肉电信号检测器接收驾驶员的表面肌电信号。
71.在步骤s402中，对第一生理信息和第二生理信息进行预处理。在此，例如可以借助图1中的分析模块30的第一信号处理单元31来完成第一生理信息的预处理。具体地，在第一生理信息涉及驾驶员的脑电信号的情况下，可以对其进行基线矫正，由此使所有通道信号在同一范围内波动，并显著消除信号漂移。此外，还可以借助数字带通滤波器滤除脑电信号中的失真部分并对所有通道信号进行叠加平均，从而有效消除噪声和干扰影响。与脑电信号的预处理过程独立地，可以借助分析模块30的第二信号处理单元32对第二生理信息进行预处理。在第二生理信息涉及驾驶员的肌电信号和/或表面肌电信号的情况下，可以以与脑电信号类似的方式对肌电信号进行预处理。由于肌电信号相比于脑电信号具有较低复杂性，因此也可以在该步骤中适当省略一些预处理措施，例如仅对其执行数字带通滤波，以减小数据处理开销和时延。
72.在步骤s403中，可以对预处理后的第一生理信息和第二生理信息进行时频域特征提取。在此，例如采用快速傅里叶变换、功率谱估计、小波变换等信号处理手段对经预处理的脑电信号进行时频域信号提取。在此，脑电信号的不同频段例如用于表征不同类型的信号，通过上述的特征提取步骤，可以仅针对特定的感兴趣频段提取出能够用于进行意图分析的信号。与脑电信号的特征提取过程独立地，可以对预处理后的第二生理信息进行特征提取。同样地，在此例如可以借助小波变换对经预处理的肌电进行时频域特征提取。在此，例如仅针对每个感兴趣频段提取出离散特征向量。
73.在步骤s404中，分别对第一生理信息和第二生理信息进行强度判决。例如，借助第一强度判决器在运动意图方面检查第一生理信息。在有些情况下，特定生理信息片段虽然包含意识行为，但这并未不指向具体的运动意图。如果错误地利用这些正常的思绪片段来控制车辆操作，则同样可能在驾驶过程中造成安全隐患。因此，在此例如使用第一阈值判决器对脑电信号的所提取的离散特征向量进行强度判决。如果发现脑电信号的这些离散特征向量的强度值超过第一阈值，则表示该脑电信号能够反映出运动意图。反之，则表示脑电信号例如仅属于正常思绪片段并因此无法反映出运动意图。此外，在步骤s404中例如还借助第二强度判决器在运动意图方面检查第二生理信息。同样地，在有些情况下虽然通过肌电极在皮肤表面检测到微弱电位差，然而这可能只是由于环境温度、光照条件、疲劳等因素引起的肌纤维自然收缩，因此这些表面肌电信号并不指向实际的运动意图。为了区分这些干扰项，例如借助第二阈值判决器来将肌电信号的离散特征向量的强度与第二阈值进行比较，如果发现该离散特征向量的强度值超过第二阈值，则表示该肌电信号能够反映出运动意图。反之，则表示肌电信号无法反映出运动意图。
74.在分别对第一和第二生理信息执行了强度判决之后，可以进一步判断第一生理信息和第二生理信息是否均反映出运动意图。在此，在执行关于运动意图的判断时，例如针对第一时刻获取的第一生理信息以及第二时刻获取的第二生理信息共同地进行上述运动意图判断。在此，所述第二时刻相对于第一时刻延迟预定义时间段。由此，可以确保在分析同一驾驶意图时，所使用的第一生理信息和第二生理信息之间存在对应性。如果判断出两种生理信息中的至少一个未反映出运动意图，则重新回到步骤s401，以重新获取第一和第二生理信息。
75.如果判断出两种生理信息均反映出运动意图，则在步骤s405中针对第一生理信息形成第一候选意图序列并针对第二生理信息形成第二候选意图序列。在此，例如分别将第一和第二生理信息的特征矩阵输入到对应的预训练的机器学习模型中，利用模式识别算法建立的输入
‑
输出关系得到所有可能的潜在驾驶意图。在此，该机器学习模型例如采用支持向量机模型、knn最邻近模型、决策树模型、cnn卷积神经网络模型等。基于支持向量机的模式识别方法尤其具有以下优势：解决了数据非线性问题，并且对于处理高维数问题具有优势。针对第一生理信息，将所有潜在驾驶意图组合形成第一候选意图序列。针对第二生理信息，将所有潜在驾驶意图组合形成第二候选意图序列。
76.接下来，在步骤s406中根据第一生理信息与第二生理信息之间的时间相关性和/或内容相关性从候选意图序列中筛选出目标驾驶意图。在此，例如借助预训练的循环神经网络为第一和第二候选意图序列中的每个潜在驾驶意图分配置信概率，然后输出置信概率最高的潜在驾驶意图作为目标驾驶意图。
77.在步骤s407中，根据循环神经网络的输出结果生成控制信号，并将该控制信号发送给相应的车辆控制器单元(例如加速踏板、制动踏板、转向装置等)，以便触发与目标驾驶意图相关联的车辆操作。在获得了目标驾驶意图之后，可以继续跳转回到步骤s401，以便继续接收下一组生理信息。
78.图5示出了在本发明的方法中为实现第一和第二生理信息的交叉验证所采用的循环神经网络架构的示意图。
79.在此示出循环神经网络的输入层401、隐藏层402和输出层403。x1
‑
x3例如表示输入层401的向量，h1
‑
h2例如表示隐含层402的向量，z1
‑
z3表示输出层403的向量。
80.在一个具体示例中，在第一时刻，该循环神经网络的输入是针对第一生理信息求取出的第一候选意图序列，x1例如表示第一候选意图序列中的一个潜在驾驶意图“踩刹车”，x2例如表示潜在驾驶意图“加大油门”，x3例如表示潜在驾驶意图“减小油门”，这种第一候选意图序列例如已经在上一个模块中获得。在第二时刻，该循环神经网络的输入是针对第二生理信息求取出的第二候选意图序列，该第二候选意图序列例如与第一候选意图序列存在部分元素重叠，从而可以让模型更好地分析当前单元并了解时间的上下文关系。在隐含层中包含脑电和肌电特征参数的权值，这种权值在该神经网络的预训练过程确定并可在时间上自适应调整。
81.在此值得注意的是，其实人体的各种运动的源头信号均来自于大脑，因此当一个驾驶意图在驾驶员大脑中形成时，其大脑皮层处的脑电信号会首先产生控制信号并利用神经肌肉接头作为媒介传递到手/脚肌纤维。肌纤维细胞经过反复的去极化和复极化操作，最终在皮肤表面产生动作电位。
82.由于脑电信号与肌肉电位之间存在时间上的先后关系和内容上的相干关系，可以将第一候选意图序列和第二候选意图序列看成是具备时间先后顺序的序列片段，而循环神经网络可以刻画一个序列当前的输出与之前信息的关系。因此该循环神经网络例如能够记住第一时刻的信息，并利用该信息来影响第二时刻的网络分类以及相应的置信概率分配。如图4所示，每个时刻的隐含层不仅由该时刻的输入层决定，还由上一时刻的隐含层决定，因此，针对各个单模态生理信息的输出被输送到循环神经网络，以进行多模态融合关联判断。因此该循环神经网络在每个时刻都汇集了每个单模态生理信息的预测结果。在综合多模态的融合分析之后，该循环神经网络的输出即是最终的驾驶意图识别结果。
83.通过使用循环神经网络，有效利用了脑电信号和肌肉电效应信号在一定时间范围内的关联性，并利用这种关联性来进行更可靠的网络训练分类，从而可以输出不同驾驶意图和相对的置信概率。由此，利用脑肌电信号间的协同互补性提高了运动模式识别的准确性和稳健性
84.尽管这里详细描述了本发明的特定实施方式，但它们仅仅是为了解释的目的而给出的，而不应认为它们对本发明的范围构成限制。在不脱离本发明精神和范围的前提下，各种替换、变更和改造可被构想出来。