数据处理装置以及用于评估用户不适的方法与流程

1.本公开涉及数据处理装置、包括该装置的人机接口系统、包括该系统的车辆、用于评估用户不适的方法、以及用于执行该方法的计算机可读介质。


背景技术：

2.汽车行业越来越多地引入高级驾驶员协助系统(advanced driver assistance system，adas)，该高级驾驶员协助系统设计成通过减少人为错误的风险来改善驾驶安全性。这些嵌入式系统能够以不同方式与驾驶员交互，或者通过给予驾驶员关于环境状态的附加信息(经由多模式通信接口：音频、视觉、触觉等)，或通过处理关于驾驶员的精神状态(诸如压力、疲劳、警觉或困倦)的信息，以便协助他和/或以防止潜在风险(参考jinjun wang et al,2010:“real
‑
time driving danger
‑
level prediction”,engineering applications of artificial intelligence；volume 23,issue 8,december 2010,pages 1247
–
1254)。这些现有系统通过分别地考虑行为或生理参数来单独地处理压力、疲劳、警觉或困倦。
3.然而，期望不仅测量驾驶员的一个特定精神状态(疲劳或困倦等)，而且测量驾驶中的不适的感觉或体验。meng和siren(2012)提出，驾驶中的不适可以被认为是驾驶员意识到他/她自己的驾驶能力的改变的形式(参考meng和siren(2012):“cognitive problems,self
‑
rated changes in driving skills,driving
‑
related discomfort and self
‑
regulation of driving in old drivers”accident analysis&prevention,volume 49,november 2012,pages 322
–
329)。因此，这些作者将不适的感觉限定为与焦虑的感觉相关，这是由于自我意识到一个人在特定驾驶情况(例如在大雨中驾驶)下的驾驶能力可能包括潜在的驾驶风险的结果。这种不适的感觉可能随时间增加，并且可能导致完全避免特定驾驶情况。然而，meng和siren仅使用问卷分析主观数据，而没有考虑测量(客观)驾驶员行为或生理数据。此外，大多数处理驾驶中(不)舒适的研究主要在驾驶舱的物理人体工程学(姿态、驾驶员座椅尺寸等)方面解决了这个概念。
4.还已知通过电生理和/或驾驶员行为测量来测量驾驶员的精神状态。例如，wo2008/0127465a1公开了一种通过如下方式来预测驾驶危险的系统：捕获车辆动态参数、驾驶员生理数据和驾驶员行为特征；将学习算法应用于该特征；以及预测驾驶危险。然而，该系统仅预测当前驾驶情况的驾驶危险，以便例如在不期望的事件(例如事故发生)之前警告驾驶员。例如在kr 20170094836a、us 2018/0174457、cn 109017797或cn 107662611 a中还提出了基于生理数据、驾驶行为和/或情感线索来测量驾驶员的情感状态，并且最终相应地改变驾驶模式。另一方面，在wo 2018/014953 a1中，提出了使用生理和行为数据以及车辆情境数据一起确定不适水平指标值，并且如果该值超过参考指标则输出警告和/或执行驾驶员协助。
5.然而，这些先前提出的装置和方法未能考虑内源性心理因素，这些因素不一定反映在生理或行为数据中或甚至情感线索中，但将影响驾驶员的主观不适，对驾驶安全性具
有潜在严重的影响。


技术实现要素：

6.本公开的第一方面涉及数据处理装置，该数据处理装置配置为：连接至用于接收用户的生理数据的一个或多个生理传感器、用于接收用户的行为数据的一个或多个行为传感器以及用于接收车辆情境信息的车辆情境检测单元，并且基于用户的个性简档和至少与在对应的时间窗内接收的车辆情境信息、生理数据和行为数据一起，确定不适水平指标值。不适水平指标值可以是来自由不适的水平的上升或下降分级的标度的整数。因此，其可以替代性地被理解为舒适指标水平值。用户可以是例如在部分或完全自动车辆中的车辆驾驶员或乘客。
7.因此，用户自己的个性对他的主观不适水平的内源性影响可以与诸如车辆情境的外源性因素一起更充分地反映在由数据处理装置确定的不适水平指标值上。
8.数据处理装置可以配置为还连接至用于接收关于用户的情感状态信息的情感状态检测单元，并且还基于关于用户的情感状态信息来确定不适水平指标值。具体地，情感状态检测单元可以配置为检测从连接至情感状态检测单元的摄像机和/或麦克风接收的图像和/或声音中的情感线索。因此，不仅用户的基准(baseline)个性简档可以反映在不适水平指标值中，而且他的瞬时情感状态也可以反映在不适水平指标值中。
9.个性简档可以包括与一个或多个个性特质中的每个个性特质相关联的指标值，一个或多个个性特质具体包括开放性、亲和性、外向性、神经质性、和/或自觉性，即，“五大”个性特质，和/或如例如由状态
‑
特质焦虑量表(state
‑
trait anxiety inventory，stai)测量的特质焦虑性。
10.数据处理装置可以配置为应用用于确定不适水平指标值的学习分类算法，诸如，例如随机森林(random forest)、j48、朴素贝叶斯(bayesian)、深度神经网络或递归神经网络算法中的任意一者。因此，在使用来自一个或多个用户受试者和一个或多个驾驶事件的实验数据的学习阶段中，可以首先在学习阶段中教导该算法以建立不适水平和车辆情境信息、生理和行为数据和个性简档以及最终还有情感状态数据之间的相关性，以便随后在基于这些参数确定舒适水平指标值中应用这些相关性。
11.一个或多个生理传感器可以包括一个或多个皮电传感器，并且数据处理装置可以配置为从一个或多个皮电传感器接收皮肤电导性响应的幅度和/或延迟作为生理数据。数据处理装置可以具体地配置为基于特别是在对应的时间窗内相位皮肤电导性响应的发生的次数、它们的平均幅度、它们的幅度的标准偏差、它们的平均延迟和/或它们的延迟的标准偏差来确定不适指标值。
12.替代于或补充于皮电传感器，一个或多个生理传感器可以包括一个或多个心脏传感器，并且数据处理装置可以配置为从一个或多个心脏传感器接收rr间期作为生理数据。数据处理装置可以具体地配置为基于特别是在对应的时间窗内的最小rr间期、最大rr间期、平均rr间期、rr间期的标准偏差和/或rr间期的平方根标准偏差来确定不适指标值。
13.替代于或补充于皮电传感器和/心脏传感器，一个或多个生理传感器可以包括一个或多个眼睛跟踪传感器，并且数据处理装置可以配置为从一个或多个眼睛跟踪传感器接收眼睛注视的发生和/或持续时间作为生理数据。数据处理装置可以具体地配置为基于特
别是在对应的时间窗内眼睛注视的发生的次数、它们的总持续时间、它们的平均持续时间和/或它们的持续时间的标准偏差来确定不适指标值。
14.数据处理装置还可以具体地配置为如果不适水平指标值超过预定阈值，则输出警告和/或执行用户协助。这可以通过防止对用户的情感和认知状态的负面长期影响来帮助确保用户在随后未来驾驶事件的舒适。
15.本公开的第二方面涉及人机接口系统，包括第一方面的数据处理装置，以及一个或多个生理传感器、一个或多个行为传感器和车辆情境检测单元；一个或多个生理传感器、一个或多个行为传感器和车辆情境检测单元中的每一者连接至数据处理装置。
16.本公开的第三方面涉及车辆，包括第二方面的人机接口系统。
17.本公开的第四方面涉及用于评估用户不适的计算机实现的方法，包括以下步骤：从一个或多个生理传感器接收用户的生理数据；从一个或多个行为传感器接收用户的行为数据；从车辆情境检测单元接收车辆情境信息；以及基于用户的个性简档和至少与在对应的时间窗内接收的生理数据、行为数据和车辆情境信息一起，确定不适水平指标值。
18.本公开的第五方面涉及计算机可读介质，包括指令，该指令在由计算机执行时使计算机执行第四方面的计算机实现的方法。
19.一些方面的上述概要并不旨在描述本发明的每个公开的实施例或每个实现。特别地，本说明书中的任何示例性实施例的所选特征可以结合到另外的实施例中，除非清楚地陈述相反情况。
附图说明
20.考虑到以下结合附图1对各个实施例的详细描述，可以更完全地理解本发明，图1示出根据本公开实施例的车辆的框图。
21.虽然本发明可以进行各种修改和替代形式，但其细节已经通过示例在附图中示出并且将进行详细描述。然而，应当理解，本发明并非将本发明的方面限制于所描述的具体实施例。相反，本发明将覆盖落在本发明的范围内的所有修改、等同物和替代。
具体实施方式
22.对于以下定义的术语，将应用这些定义，除非在权利要求或本说明书的其他地方给出了不同的定义。
23.在本文中假定所有数值前面是术语“约”，无论是否明确指示。术语“约”通常是指本领域技术人员将认为等同于所记载的值(即，具有相同的功能或结果)的数值范围。在许多情况下，术语“约”可以指示为包括取整为最接近的有效数的数字。
24.通过端点对数值范围的任何记载包括该范围内的所有数字(例如，1至5包括a.o.1、4/3、1.5、2、e、2.75、3、π、3.80、4、和5)。
25.虽然公开了关于各种部件、特征和/或规格的一些适合的尺寸范围和/或值，但本公开启发本领域的技术人员将理解所期望的尺寸、范围和/或值可以偏离明确公开的那些。
26.如在本说明书和所附权利要求中所使用的，单数形式“一/一种(a/an)”和“该(the)”包括复数指示物，除非内容另外清楚地指明。如在本说明书和所附权利要求中所使用的，术语“或”总体上以其包括“和/或”的含义使用，除非该内容另外清楚地指明。
27.以下详细描述应参考附图来阅读，其中，不同附图中的类似元件编号相同。详细描述和不一定按比例的附图描绘了说明性实施例并且不旨在限制本发明的范围。所描绘的说明性实施例仅旨在作为示例性的。任何说明性实施例的选择的特征可以结合到另外的实施例中，除非清楚地陈述相反情况。
28.图1示出了根据本公开的实施例的数据处理装置1的框图。数据处理装置1可以是人机接口(human
‑
machine interface，hmi)系统20的一部分。hmi系统20可以是车辆10的一部分，并且具体地为车辆10的人类用户提供驾驶接口。
29.数据处理装置1可以连接至和/或包括用于存储参考数据集的数据存储装置。数据处理装置1可以包括执行一个或多个软件程序的存储器、组合的逻辑电路、处理器(共享的、专用的、或组)、电子电路、和/或提供所描述的功能性的其他合适组件。数据处理装置1可以配置为附加地执行车辆10中的另外功能。例如，数据处理装置1还可以配置为用作车辆10的通用电子控制单元(electronic control unit，ecu)。
30.hmi系统20还可以包括一个或若干个生理传感器2a、2b、2c，数据处理装置1可以连接到所述生理传感器以接收其数据输出。每个生理传感器2可以配置为感测用户的至少一个生理特征。例如，皮电的生理传感器2a、2b、2c可以包括一个或多个皮电传感器2a、一个或多个心脏传感器2b和/或一个或多个眼睛跟踪传感器2c。一个或多个皮电传感器2a可以包括ag/agcl电极，该ag/agcl电极例如至少位于食指的第二趾骨和用户的非主导手的第三手指的水平处并且配置为测量皮肤电导水平(skin conductance level，scl)。一个或多个心脏传感器2b还可以包括ag/agcl电极并且配置为测量心电图(electrocardiographic，ecg)信号。一个或多个眼睛跟踪传感器2c可以包括例如眼睛跟踪眼镜，具有120hz的跟踪频率、1.0
°
的凝视准确度、0.08
°
的凝视精度、5.7ms的摄像机延迟和3
‑
4ms的处理延迟。
31.scl可以例如以1000hz采样率被采样，并且一个或多个皮电传感器2a还可以配置为从scl信号检测相位皮肤电导性响应的发生并测量它们的幅度和/或它们的延迟，以及将这些作为生理数据发送至数据处理装置1。替代性地，然而，一个或多个皮电传感器2a可以直接将scl信号发送至数据处理装置1，该数据处理装置1然后可以自身配置为检测相位皮肤电导性响应的发生并测量它们的幅度和/或它们的延迟。
32.还可以例如以1000hz采样率对ecg信号进行采样，并且一个或多个心脏传感器2b还可以配置为从ecg信号检测单独的心跳并且测量它们之间的rr间期，以便将这些作为生理数据发送至数据处理装置。替代性地，然而，一个或多个心脏传感器2b可以将ecg信号直接发送至数据处理装置1，该数据处理装置然后可以自身配置为检测单独的心跳并且测量它们之间的rr间期。
33.眼睛跟踪传感器2c可以配置为检测眼睛注视的发生和持续时间，并且将它们作为生理数据发送至数据处理装置1。替代性地，然而，眼睛跟踪传感器2c可以将瞳孔位置数据直接发送至数据处理装置，该数据处理装置可以配置为从这些眼睛位置数据检测眼睛注视的发生和持续时间。
34.hmi系统20还可以包括一个或多个行为传感器3。一个或多个行为传感器3可以配置为测量用户的一个或多个行为特征，特别是关于驾驶行为，并且将其发送至数据处理装置1。例如，一个或多个行为传感器3可以测量车辆在道路上的横向位置(例如，由gps支持)
和/或方向盘角度。可以以60hz的采样率对所有行为数据进行采样。
35.此外，hmi系统20还可以包括车辆情境检测单元4。车辆情境检测单元4可以配置为确定描述当前驾驶情况的车辆情境信息并且将其发送至数据处理装置1。这样的驾驶情况可以包括例如：包括hmi系统20的车辆10超越另一车辆的情况，包括hmi系统20的车辆10正在接近交通灯的情况，包括hmi系统20的车辆10接近行人或者行人接近该车辆10的情况，包括hmi系统20的车辆10在黑暗中驾驶的情况，包括hmi系统20的车辆10做出左转(在右手交通中)的情况，包括hmi系统20的车辆10处于密集交通中和/或面对其他道路用户的激进和/或非预期行为的情况、或可能挑战用户的舒适水平的其他驾驶情况，诸如，例如大雨、降雪或结冰。
36.为了确定车辆情境信息，车辆情境检测单元4可以连接至配置为监测车辆的环境的多个传感器，例如，gps5、雷达6或一个或若干个外部摄像机7。车辆情境检测单元4还可以连接至一个或多个行为传感器3以用于接收它们的输出。例如，基于从gps、摄像机和提供计划的驾驶路线的电子地图接收的信息，车辆情境检测单元4可以确定车辆的左转。
37.hmi系统20还可以包括情感状态检测单元8。情感状态检测单元8可以配置为确定描述用户的当前情感状态的情感状态信息，并将其发送至数据处理装置1。这样的情感状态信息可以包括与一个或多个情感中的每一个情感相关联的情感状态指标值，诸如，例如悲伤、感兴趣、焦虑、警觉、无聊、不耐烦、生气、平静、恐惧和/或高兴。
38.为了确定情感状态信息，情感状态检测单元8可以连接至配置为监测用户的情感状态的一个或多个传感器，例如，内部摄像机9a和/或麦克风9b，以便从它们接收包含情感线索的信息，诸如图像和/或声音。这样的情感线索可以包含在例如语音的声学特征(如音色、韵律和节奏)和/或与面部表情相联系的视觉特征中。这些声学和/或视觉特征可以使用在数据集(诸如，例如丹麦情感语音数据库(danish emotional speech database)、情感语音的柏林数据库(berlin database of emotional speech)、和/或仿射网络注释的面部表情数据库(affectnet annotated facial expression database))上训练的机器学习算法与特定情感相关，使得情感状态检测单元8可以根据从摄像机9a和/或麦克风9b接收的图像和/或声音来推断情感状态信息。替代于或补充于那些传感器，情感状态检测单元8还可以连接至生理和/或行为传感器以用于接收它们的输出并使用它来推断情感状态信息。
39.车辆情境检测单元4和/或情感状态检测单元8可以各自是电子控制装置，作为例如处理器。它们中的每一者或两者也可以由车辆的通用ecu提供。还可能的是，数据处理装置1包括车辆情境检测单元4和/或情感状态检测单元8。
40.数据处理装置1可以配置为基于在皮电时间窗tw_eda上从一个或多个皮电传感器2a接收的生理数据来计算特别是该时间窗tw_eda内的相位皮肤电导性响应的数量n_scrs、平均幅度amp_moy、幅度的标准偏差et_amp_scrs、平均延迟lat_moy_scrs和/或延迟的标准偏差et_lat_scrs。此外，数据处理装置1可以配置为基于在心脏时间窗tw_ecg上从一个或多个心脏传感器2b接收的生理数据来计算特别是该心脏时间窗tw_ecg内的最小rr间期rrint_min、最大rr间期rrint_max、平均rr间期rrint_moy、rr间期的标准偏差sdnn、和/或rr间期的均方根标准偏差rmssd。附加地或替代性地，数据处理装置1可以配置为基于在眼睛跟踪时间窗tw_et上从一个或多个眼睛跟踪传感器2c接收的生理数据来计算特别是该眼睛跟踪时间窗tw_et内的眼睛注视的发生的次数nbfix、它们的总持续时间
durationfixtot、它们的平均持续时间durationfixmean、和/或它们的持续时间的标准偏差durationfixsd。
41.此外，数据处理装置1可以配置为基于在行为时间窗tw_be上从一个或多个行为传感器3接收的行为数据来计算特别是车辆在道路上的横向位置的标准偏差sdlp、方向盘角度的标准偏差sdwa和/或方向盘反转率srr。
42.用户的个性简档可以存储在连接至和/或包括在数据处理装置1内的数据存储装置内。该个性简档可以包括与一个或多个个性特质(诸如开放性、亲和性、外向性、神经质性、自觉性和/或特质焦虑性)中的每一个个性特质相关联的指标值，并且可以是先前已经计算的，例如，基于该用户对问卷和/或生理、行为、情感和/或车辆情境数据的响应，这些数据通过一次或多次驾驶收集并且通过学习算法与这些个性特质中的一个或多个个性特质相关。该学习算法可能已经被训练和优化以选择显著相关的特征，从这些显著相关的特征可以基于具有来自多个情况中的多个用户的数据的通用数据集来推断个性特质。
43.数据处理装置1可以配置为基于车辆情境信息确定车辆情境事件，然后对于从该车辆情境事件导致的不适确定不适指标水平值。这样的车辆情境事件可以是例如超越另一车辆、接近交通灯、接近行人、在黑暗中驾驶、或做出左转(在右手交通中)。不适水平指标值可以采取整数的形式，例如，在1与5之间、在1与3之间、或仅1或2中的一个的整数值。
44.更具体地，数据处理装置1可以配置为应用学习分类算法，诸如随机森林(random forest)、j48、朴素贝叶斯(bayesian)、深度神经网络或递归神经网络算法，以便基于用户的个性简档和从车辆情境检测单元4接收的车辆情境信息、在对应的时间窗tw_eda、tw_ecg、tw_et和tw_be内从生理和行为传感器2a
‑
2c和3接收的生理和行为数据一起，以及最终地，从情感状态检测单元8接收的情感状态信息，来确定不适水平指标值。可以已经使用与多个用户联系的通用数据集和/或特别地与当前用户联系的通用数据集来训练和/或更新学习分类算法。该学习分类算法可以已经基于从诸如auc
‑
roc曲线、查准率、查全率(recall)、tf/fp率、matthews相关系数和/或查准率查全率曲线的可用指标的加权创建的指标来选择和优化，并且随后优化选择与不适水平指标值最佳相关的输入特征和对应的时间窗。
45.数据处理装置1还可以配置为如果不适水平指标值超过预定阈值dt则输出警告和/或触发用户协助。为此目的，数据处理装置可以例如连接至hmi系统20内的高级用户协助系统(advanced user assistance system，adas)11。adas 11甚至可以配置为随着由数据处理装置确定的不适水平指标值增加(即，用户的不适增加)，逐渐增加驾驶协助(即，增加地接管驾驶任务)。adas 11甚至能够自动驾驶，例如2级的部分自动、3级的条件自动或甚至更高。
46.已经在驾驶模拟器中使用对应配置的hmi系统20测试了用于评估用户不适的三种不同方法。在每个示例中，已经应用了不同的学习分类算法和不同的生理和行为数据集以及个性特质。在每个情况下，已经对59个不同的用户测试受试者训练了学习分类算法。然后对10个不同的用户测试受试者测试三种方法用于验证。在训练和验证期间，测试受试者暴露于各种驾驶情况并且要求在1至5的标度上指示他们引起的不适水平。使用问卷建立他们的个性简档。
47.在第一示例中，数据处理装置1使用随机森林算法、基于表1中呈现的参数和对应
的时间窗来确定不适水平指标值：
48.当对10个最终测试受试者进行验证时，该方法具有0.744的真阳性率、0.262的假阳性率、0.703的查准率、0.744的查全率、0.744的f
‑
量度、0.485的matthews相关系数并且在接收者操作特性和查准率查全率曲线下分别具有0.826和0.845的面积。
49.在第二示例中，数据处理装置1使用j48算法、基于表2中呈现的参数和对应的时间窗来确定不适水平指标值：窗来确定不适水平指标值：
50.当对10个最终测试受试者进行验证时，该方法然后具有0.698的真阳性率、0.296的假阳性率、0.704的查准率、0.698的查全率、0.698的f
‑
量度、0.402的matthews相关系数并且在接收者操作特性和查准率查全率曲线下分别具有0.739和0.704的面积。
51.在第三示例中，数据处理装置1使用朴素贝叶斯算法、基于表3中呈现的参数和对应的时间窗来确定不适水平指标值：
52.当对10个最终测试受试者进行验证时，该方法然后具有0.744的真阳性率、0.262的假阳性率、0.747的查准率、0.744的查全率、0.742的f
‑
量度、0.486的matthews相关系数并且在接收者操作特性和查准率查全率曲线下分别具有0.743和0.757的面积。
53.本领域的技术人员将认识到，本发明可以以除本文所描述和设想的特定实施例之外的各种形式表现。因此，在不背离所附权利要求中描述的本发明的范围的情况下，可以做出形式和细节上的偏离。