信息处理设备、移动设备、信息处理系统、方法和程序与流程

1.本公开涉及信息处理设备、移动设备、信息处理系统、方法和程序。更具体地，本公开涉及执行获取并且记录车辆(汽车)的驾驶员等的观测信息的处理的信息处理设备、移动设备、信息处理系统、方法和程序。


背景技术：

2.最近，与自动驾驶相关的技术开发已被积极开展。自动驾驶技术使用各种传感器(诸如车辆(汽车)中设置的相机和位置检测装置)使得能够在道路上自动行驶，并且预计该技术将在未来迅速普及。
3.然而，目前自动驾驶处于开发阶段，并且认为实现100％自动驾驶需要时间，以及预计在一段时间内车辆通过适当地切换自动驾驶和驾驶员的手动驾驶而行驶。
4.例如，在具有足够道路宽度的直线道路(诸如高速公路)上，车辆以自动驾驶模式行驶。然而，在车辆离开高速公路并且停在停车场中的期望位置处的情况下，或者在具有较窄道路宽度的山路中，预计需要进行模式切换，以将模式切换为手动驾驶模式，并且车辆通过驾驶员的操作而行驶。
5.当车辆执行自动驾驶时，驾驶员不需要将视线指向车辆行驶方向上的前方，并且例如可以自由地采取行动，诸如打瞌睡、看电视、阅读书、或者向后坐并与后座上的人交谈。
6.在通过切换自动驾驶和手动驾驶而行驶的车辆中，在需要将自动驾驶模式切换到手动驾驶模式的情况下，需要使驾驶员开始手动驾驶。
7.然而，例如，当驾驶员在执行自动驾驶期间睡着时，驾驶员的清醒度降低。即，意识水平降低。如果在清醒度降低的状态下将模式切换到手动驾驶模式，则无法执行正常手动驾驶，并且在最坏的情况下可能发生事故。
8.为了确保驾驶的安全性，需要使驾驶员在驾驶员的清醒度为高的状态下、即在驾驶员有清醒意识的状态下开始手动驾驶。
9.为此，即使在执行自动驾驶期间，也需要执行对驾驶员的观测(监视)并且获取用于确定驾驶员的清醒状态的数据。
10.注意，作为公开了驾驶员监视配置的常规技术，例如存在专利文献1(日本专利申请公开第2013-206031号)。专利文献1公开了这样的配置，其中通过安装在车辆上的相机来捕获驾驶员，并且基于所捕获的图像来评估驾驶员的行为。
11.同时，近年来，在各国中已经制定了用于处理个人信息的法规，并且存在这样的趋势，对用于公开个人信息的处理和用于记录个人信息的处理施加严格限制。例如，在世界各国中已经制定了用于处理个人信息的法规，诸如日本的《个人信息保护法》和欧盟(在下文中被称为eu)各国的欧盟通用数据保护法规(在下文中被称为gdpr或通用数据保护法规)。
12.这些个人信息保护法规中的一些包括这样的法规，该法规不允许将由附连到车辆的相机捕获的图像直接记录在存储装置或服务器中。例如，作为eu保护法规的gdpr不允许这样的图像记录。
13.然而，存在许多这样的观点，在发生交通事故的情况下，由相机捕获的驾驶员图像和外部捕获的图像是识别事故原因、事故责任和交通违章的有效证据，并且图像记录是需要的。
14.引用列表
15.专利文献
16.专利文件1：日本专利申请特许公开第2013-206031号
17.专利文献2：国际公布wo2019/097944


技术实现要素：

18.本发明要解决的问题
19.例如，本公开是鉴于上述问题而做出的，并且本公开的目的是提供一种信息处理设备、移动设备、信息处理系统、方法和程序，其能够在保持个人信息机密性的同时获取并且记录诸如驾驶员之类的车辆内外的观测信息。
20.注意，在本说明书中，将描述主要根据eu的个人信息保护法规的实施例，但是取决于国家和地区，由个人信息保护法规定义的记录允许信息和不允许信息是不同的。此外，个人信息保护法规本身预计将随着时代而变化。
21.本说明书中描述的要被抽象化或加密的观测信息不限于根据以下实施例中描述的eu法规的示例，并且可以根据在应用本公开的处理的国家或地区中实际有效的法规来确定。
22.问题的解决方案
23.本公开的第一方面在于：
24.一种信息处理设备，包括：
25.驾驶员信息获取单元，所述驾驶员信息获取单元被配置为获取车辆的驾驶员的观测信息；以及
26.数据处理单元，所述数据处理单元被配置为输入所述观测信息并且执行数据处理，其中，
27.所述数据处理单元：
28.将所述观测信息划分为无需变换的数据和需要变换的数据，以及
29.对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中。
30.此外，本公开的第二方面在于：
31.一种能够切换自动驾驶和手动驾驶的移动设备，所述移动设备包括：
32.驾驶员信息获取单元，所述驾驶员信息获取单元被配置为获取车辆的驾驶员的观测信息；以及
33.数据处理单元，所述数据处理单元被配置为输入所述观测信息并且执行数据处理，其中，
34.所述数据处理单元：
35.将所述观测信息划分为无需变换的数据和需要变换的数据，
36.对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中，以及
37.基于所述观测信息计算驾驶员评估值，并且将所计算的驾驶员评估值作为所述无需变换的数据存储在所述存储单元中，所述驾驶员评估值是指示所述驾驶员是否处于能够开始所述手动驾驶的状态的指标值。
38.此外，本公开的第三方面在于：
39.一种信息处理系统，包括：车辆；以及信息终端，其中，
40.所述车辆：
41.获取车辆的驾驶员的观测信息，
42.将所获取的观测信息划分为无需变换的数据和需要变换的数据，以及
43.对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且执行将所生成的抽象化数据和所生成的加密数据中的至少一个的变换数据与所述驾驶员的识别信息相关联地存储在存储单元中的处理，以及
44.所述信息终端：
45.从所述存储单元获取所述抽象化数据并且在所述信息终端的显示单元上显示所述抽象化数据，以及
46.基于与所显示的抽象化数据相关联的所述驾驶员的所述识别信息来识别所述驾驶员。
47.此外，本公开的第四方面在于：
48.一种在信息处理设备中执行的信息处理方法，所述信息处理方法包括：
49.由驾驶员信息获取单元获取车辆的驾驶员的观测信息；以及
50.由数据处理单元：
51.将所述观测信息划分为无需变换的数据和需要变换的数据；以及
52.对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中。
53.此外，本公开的第五方面在于：
54.一种在包括车辆和信息终端的信息处理系统中执行的信息处理方法，所述信息处理方法包括：
55.由所述车辆：
56.获取车辆的驾驶员的观测信息；
57.将所获取的观测信息划分为无需变换的数据和需要变换的数据；以及
58.对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且执行将所生成的抽象化数据和所生成的加密数据中的至少一个的变换数据与所述驾驶员的识别信息相关联地存储在存储单元中的处理；以及
59.由所述信息终端：
60.从所述存储单元获取所述抽象化数据，并且在信息终端的显示单元上显示所述抽象化数据；以及
61.基于与所显示的抽象化数据相关联的所述驾驶员的所述识别信息来识别所述驾驶员。
62.此外，本公开的第六方面在于：
63.一种用于使得在信息处理设备中执行信息处理的程序，所述程序用于使得：
64.驾驶员信息获取单元获取车辆的驾驶员的观测信息；以及
65.数据处理单元：
66.将所述观测信息划分为无需变换的数据和需要变换的数据；以及
67.对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且执行将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中的处理。
68.注意，根据本公开的程序例如是可以由以计算机可读格式提供的存储介质或通信介质提供给可以执行各种程序代码的信息处理设备或计算机系统的程序。通过以计算机可读格式提供这样的程序，在信息处理设备或计算机系统上实现根据该程序的处理。
69.根据基于下文将要描述的本公开的实施例和附图的更详细描述，本公开的其他目的、特征和优点将变得清晰。注意，本说明书中的系统是多个设备的逻辑聚合配置，并且不限于在同一壳体内具有各自配置的设备。
70.根据本公开的实施例的配置，抽象化或加密并且记录包括在车辆的驾驶员等的观测信息中的能识别个人的数据或在个人信息保护法规中不允许对其进行记录处理的数据。
71.具体地，例如，包括驾驶员信息获取单元和数据处理单元，驾驶员信息获取单元获取车辆的驾驶员的观测信息，数据处理单元输入观测信息并且执行数据处理。数据处理单元将观测信息划分为无需变换的数据和需要变换的数据，对需要变换的数据执行抽象化处理或加密处理，并且将变换数据(诸如所生成的抽象化数据或所生成的加密数据)存储在存储单元中。数据处理单元提取包括在观测信息中的可识别个人的数据或在个人信息保护法规中不允许对其进行记录处理的数据作为需要变换的数据，并且执行抽象化处理或加密处理。
72.利用该配置，可以在不违反个人信息保护法规的情况下记录可有效用于明确事故和违章的责任的数据。
73.注意，本说明书中描述的效果仅为示例且不受限制，并且可以展示附加的效果。
附图说明
74.图1是用于描述本公开的移动设备的配置示例的图。
75.图2是用于描述本公开的移动设备的驾驶员信息获取单元的配置示例的图。
76.图3是用于描述本公开的移动设备的环境信息获取单元的传感器配置示例的图。
77.图4是用于描述在本公开的移动设备的显示单元上显示的数据的示例的图。
78.图5是示出由本公开的移动设备执行的处理的图。
79.图6是示出由本公开的移动设备执行的处理的图。
80.图7是示出由本公开的移动设备执行的从自动驾驶模式到手动驾驶模式的模式切换序列的示例的图。
81.图8是示出用于描述自动驾驶的操作序列的示例的流程图的图。
82.图9是示出行驶路线的示例的图，其中，在地点中设定或确定作为驾驶员设定目的地而确定的自动驾驶可用和不可用区间。
83.图10是用于描述用于显示行驶路线中的行驶区间的信息处理的图。
84.图11是示出要最终显示的行驶区间显示的示例的图。
85.图12是示出随时间推移的行驶区间显示的变化的示例(滚动的示例)的图。
86.图13是用于描述安装在本公开的移动设备上的信息处理设备的数据处理单元的配置和处理的图。
87.图14是用于描述由驾驶员信息获取单元和环境信息获取单元获取的信息的示例的图。
88.图15是用于描述用于获取驾驶员信息的诸如相机之类的传感器的设定示例的图。
89.图16是用于描述用于获取驾驶员信息的诸如相机之类的传感器的设定示例的图。
90.图17是用于描述可以基于从驾驶员信息获取单元获取的数据来分析的驾驶员姿势信息的示例的图。
91.图18是示出可以基于从驾驶员信息获取单元获取的数据来分析的眼球活动数据的示例的图。
92.图19是用于描述由数据抽象化单元生成的抽象化数据的示例的图。
93.图20是用于描述由诸如警官之类的交通制裁(crackdown)执行者拥有的信息终端上显示的数据的示例的图。
94.图21是用于描述由诸如警官之类的交通制裁执行者拥有的信息终端上显示的数据的示例的图。
95.图22是用于描述由诸如警官之类的交通制裁执行者拥有的信息终端上显示的数据的示例的图。
96.图23是用于描述存储在服务器或存储单元中的数据的使用示例的图。
97.图24是用于描述在完成从自动驾驶到手动驾驶的转变之前的剩余宽限时间的图。
98.图25是用于描述根据驾驶员的不同初始状态的状态变化的转变和转变定时的示例的图。
99.图26是用于描述在从自动驾驶向手动驾驶转变的车辆中由驾驶员信息获取单元获取的信息及其使用示例等的图。
100.图27是用于描述由诸如警官之类的交通制裁执行者拥有的信息终端上显示的数据的示例的图。
101.图28是用于描述由诸如警官之类的交通制裁执行者拥有的信息终端上显示的数据的示例的图。
102.图29是用于描述存储在服务器或存储单元中的数据的使用示例的图。
103.图30是用于描述根据本公开的移动设备的配置示例的图。
104.图31是用于描述信息处理设备、服务器和信息终端的硬件配置示例的图。
具体实施方式
105.以下，将参考附图详细描述本公开的信息处理设备、移动设备、信息处理系统、方法和程序。注意，将根据以下项目给出说明。
106.1.本公开的移动设备和信息处理设备的配置和处理的概要
107.2.从自动驾驶模式到手动驾驶模式的模式切换序列
108.3.自动驾驶的操作序列示例
109.4.行驶区间显示数据的具体示例
110.5.对驾驶员等的观测处理(监视处理)和对获取信息的记录处理的细节
111.6.由警察等交通制裁官员拥有的信息终端的配置和处理
112.7.用于计算和使用驾驶员评估值以使用观测信息确定是否可以从自动驾驶切换到手动驾驶的配置
113.8.移动设备(车辆)的配置示例
114.9.信息处理设备的配置示例
115.10.本公开的配置的总结
116.[1.本公开的移动设备和信息处理设备的配置和处理的概要]
[0117]
首先，将参考图1和后续附图描述本公开的移动设备和信息处理设备的配置和处理的概要。
[0118]
本公开的移动设备和信息处理设备是能够在保持个人信息的机密性的同时收集车辆(汽车)的驾驶员和车辆内外的观测信息并且将所收集的观测信息记录在存储单元中的设备。
[0119]
注意，本公开的移动设备可以是任何车辆(汽车)，诸如自动驾驶车辆、手动驾驶车辆或能够通过切换自动驾驶和手动驾驶来行驶的车辆。
[0120]
注意，在以下说明中，将描述使用能够通过切换自动驾驶和手动驾驶来行驶的车辆的示例作为本公开的移动设备的代表性示例。
[0121]
在这样的汽车中，在需要将自动驾驶模式切换到手动驾驶模式的情况下，需要使驾驶员开始手动驾驶。
[0122]
在执行自动驾驶期间，驾驶员不需要参与驾驶，并且可以执行除驾驶之外的各种工作(任务)。注意，在下文中，由驾驶员执行的除驾驶之外的任务(工作)被称为次级任务。
[0123]
存在可以由驾驶员在自动驾驶期间执行的各种次级任务。例如，存在与驾驶的情况相类似的在驾驶员只是松开方向盘的同时驾驶员注视车辆的前方的情况、驾驶员在阅读书的情况、以及驾驶员在打瞌睡的情况。
[0124]
驾驶员的清醒度(意识水平)根据这些类型的处理的差异而变化。
[0125]
例如，打瞌睡会降低驾驶员的清醒度。即，意识水平降低了。在这样的清醒度降低的状态下，无法执行正常的手动驾驶，并且如果在该状态下突然将模式切换到手动驾驶模式，则在最坏的情况下可能发生事故。
[0126]
为了确保驾驶的安全性，需要使驾驶员在驾驶员的清醒度高的状态下、即在驾驶员有清醒意识的状态下开始手动驾驶。
[0127]
为此，即使在执行自动驾驶期间，也需要执行对驾驶员的观测(监视)并且获取能够确定驾驶员的清醒状态的数据。
[0128]
此外，无论车辆是自动驾驶车辆还是手动驾驶车辆，驾驶员的观测信息都是用于明确事故责任所在以及有无违章的重要信息。
[0129]
注意，例如，在联合国的与汽车的车辆认证相关的世界汽车法规协调论坛工作组
中的自动驾驶数据存储系统(dssad)中，正在开发用于分析涉及自动驾驶的事故等的数据记录要求。
[0130]
然而，如上所述，例如，当安装在车辆上的相机捕获驾驶员并且所捕获的图像按原样存储在存储装置中时，个人信息可能泄漏给第三方。例如，eu的通用数据保护法规(gdpr)禁止存储装置按原样存储驾驶员等的所捕获的图像。
[0131]
如果根本无法记录驾驶员的图像，则难以获得物理证据，该物理证据明确在发生事故等时的驾驶员的事故责任。
[0132]
下面将要描述的本公开的移动设备和信息处理设备是能够在保持个人信息的机密性的同时收集驾驶员和车辆内外的观测信息的设备。
[0133]
将参考图1和后续附图描述本公开的移动设备和可安装到移动设备的信息处理设备的配置和处理。
[0134]
图1是示出作为本公开的移动设备的示例的汽车10的配置示例的图。
[0135]
本公开的信息处理设备安装到图1中所示的车辆(汽车)10。
[0136]
图1中所示的车辆10是能够在手动驾驶模式和自动驾驶模式的两种驾驶模式下驾驶的汽车。
[0137]
在手动驾驶模式下，基于驾驶员20的操作，即基于方向盘(转向)的操作、加速器、制动器等的操作来执行行驶。
[0138]
另一方面，在自动驾驶模式下，不需要驾驶员20的操作，并且基于位置传感器和其他环境信息检测传感器的传感器信息来执行驾驶。
[0139]
位置传感器例如是gps接收器等，而环境信息检测传感器例如是相机、立体相机、tof传感器、超声波传感器、雷达、光检测与测距或激光成像检测与测距(lidar)、声纳等。
[0140]
注意，图1是用于描述本公开的概要的图，并且示意性地示出了主要配置元件。下面将描述详细的配置。
[0141]
如图1中所示，车辆10包括数据处理单元11、驾驶员信息获取单元12、环境信息获取单元13、通信单元14、通知单元15和存储单元16。
[0142]
驾驶员信息获取单元12获取例如用于确定驾驶员的清醒度的信息、驾驶员的状态信息等。
[0143]
驾驶员信息获取单元12包括用于检测车辆内部信息的各种传感器。具体地，例如，驾驶员信息获取单元12包括对驾驶员进行成像的成像设备、检测驾驶员的生物特征信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器设置在例如座椅表面、方向盘等上，并且检测坐在座椅上的乘员的就座状态或握着方向盘的驾驶员的生物特征信息。
[0144]
作为生命信号，可提供多种可观测数据，诸如心率、脉搏率、血流、呼吸、身心相关性、视觉刺激、脑电波(eeg)、出汗状态、头部姿势行为、眼睛、注视、眨眼、眼跳视(saccade)、微眼跳视(microsaccade)、固视(fixation)、漂移、凝视、闭眼率评估值(perclos)和虹膜瞳孔反应。
[0145]
注意，眼跳视和微眼跳视是眼球动作信息。眼球行为包括基于反射行为的行为和眼跳视动作，该反射行为抵消与半规管的运动相关联的旋转运动等，该眼跳视动作相对于在周边视野中捕获的移动体的风险信息以高速移动中心视野。
[0146]
此外，由于基于记忆的确定是在感知、识别和确定几乎在中心视野中捕获的对象
的过程中执行的，因此诸如固视、以及在固视附近的微眼跳视、震颤(tremor)和漂移之类的行为正在进行。如果其他注意力吸引事件等于或小于某一水平，则驾驶员在感知、识别和确定在中心视野中捕获的对象的同时将他/她的视线指向对象。
[0147]
特别地，由于后面的识别和确定行为与大脑中的理解密切相关，因此可以基于观测结果来估计清醒状态。执行用于将视线移动到新对象的眼跳视动作的因素是用于进入周边视野的其他风险因素、与诸如警笛之类的声音相关的刺激、冲击、或与记忆相关的刺激，并且存在各种表达因素。作为结果，即使存在诸如状况、驾驶经验和疲劳程度之类的倾向，眼球行为的检测、眼球行为的发生频率和持续时间也具有很大的个体差异。另一方面，关于驾驶员的清醒度的恢复质量，可以参考在稳定清醒下的稳定行为来评估驾驶员的清醒度。
[0148]
图2示出了包括在驾驶员信息获取单元12中的用于获得车辆内部的驾驶员的信息的各种传感器的示例。例如，驾驶员信息获取单元12包括相机、立体相机、tof传感器、座椅应变计(seat strain gauge)等作为用于检测驾驶员的位置和姿势的检测器。此外，驾驶员信息获取单元12包括面部识别设备(面部(头部)识别)、驾驶员眼睛跟踪器、驾驶员头部跟踪器等作为用于获得驾驶员的活动可观测信息的检测器。
[0149]
此外，驾驶员信息获取单元12包括生命信号检测器作为用于获得驾驶员的活动可观测信息的检测器。此外，驾驶员信息获取单元12包括驾驶员认证(驾驶员识别)单元。注意，作为认证方法，除了使用密码、个人识别码等的知识认证之外，还可以考虑使用面部、指纹、瞳孔虹膜、声纹等的生物特征认证。
[0150]
环境信息获取单元13获取车辆10的用户本车状态和行驶环境信息：例如，汽车前部、后部、右侧和左侧的图像信息，gps位置信息，来自光检测与测距或激光成像检测与测距(lidar)、声纳等的周围障碍物信息等。
[0151]
环境信息获取单元13包括用于检测用户本车状态等的各种传感器。具体地，例如，环境信息获取单元13包括陀螺仪传感器、加速度传感器、惯性测量设备(imu)、用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、马达转速、车轮的转速等的传感器等。
[0152]
此外，例如，环境信息获取单元13包括用于检测用户本车外部信息的各种传感器。具体地，例如，环境信息获取单元13包括诸如飞行时间(tof)相机、立体相机、单目相机、红外相机和其他相机之类的成像设备。此外，例如，环境信息获取单元13包括用于检测天气、气象现象等的环境传感器和用于检测用户本车周围的物体的环境信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器等。环境信息检测传感器包括例如超声波传感器、雷达、光检测与测距或激光成像检测与测距(lidar)设备、声纳等。
[0153]
例如，图3示出了用于检测用户本车外部信息的各种传感器的安装示例。cam1、cam2、cam3、cam4和cam5是成像设备(相机)。例如，在车辆10的前鼻部(front nose)、侧后视镜、后保险杠、后门或内部挡风玻璃上部中的至少一个位置处设置相机。
[0154]
设置在前鼻部处的成像设备cam1和设置在车辆内部挡风玻璃上部处的成像设备cam5主要获取车辆10的前方图像。设置在侧后视镜处的成像设备cam2和cam3主要获取车辆10的侧面图像。设置在后保险杠或后门处的成像设备cam4主要获取车辆10的后方图像。设置在车辆内部挡风玻璃上部处的成像装置cam5主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。此外，在未来的自动驾驶中，当车辆向右或向左转弯时，成像设备
可以扩展用于在更大范围内越过右转弯或左转弯道路而横穿道路的行人或在交叉路口附近的物体范围。
[0155]
注意，图3示出了成像设备cam1、cam2、cam3和cam4的捕获范围的示例。成像范围a指示设置在前鼻部处的成像装置cam1的成像范围，成像范围b和c分别指示设置在侧后视镜处的成像装置cam2和cam3的成像范围，而成像范围d指示设置在后保险杠或后门处的成像装置cam4的成像范围。例如，可以通过叠加在成像设备cam1、cam2、cam3和cam4中成像的图像数据来获得从上方观看的车辆10的鸟瞰图图像和以曲面环绕车辆周边的全方位立体显示图像等。
[0156]
图中所示的sen1、sen2、sen3、sen4、sen5和sen6为传感器。例如，传感器是超声波传感器、雷达等。
[0157]
这些传感器被设置在车辆10内部挡风玻璃的前部、后部、侧面、拐角和上部处。设置在车辆10的前鼻部、后保险杠、后门和内部挡风玻璃上部处的传感器sen1、sen4和sen6例如可以是lidar。这些传感器sen1至sen6主要用于检测前方车辆、行人、障碍物等。检测的结果可被进一步应用于改进由相机捕获的图像的鸟瞰图显示和全方位立体显示的立体物体显示。
[0158]
数据处理单元11执行自动驾驶控制处理。此外，输入由驾驶员信息获取单元12获取的驾驶员信息和由环境信息获取单元13获取的诸如车辆信息和外部信息之类的环境信息，以及执行获取信息的抽象化处理、加密处理、记录处理、分析处理等。
[0159]
下面将描述这些处理的细节。
[0160]
数据处理单元11进一步计算安全指标值，该安全指标值指示车辆中的驾驶员的状态，例如，自动驾驶车辆中的驾驶员是否处于安全手动驾驶可执行状态，并且此外，例如，手动驾驶中的驾驶员是否正在执行安全驾驶。
[0161]
此外，例如，在需要从自动驾驶模式向手动驾驶模式切换的情况下，数据处理单元11执行经由通知单元15发出用于向手动驾驶模式切换的通知的处理。
[0162]
该通知处理定时是例如通过分析从驾驶员信息获取单元12和环境信息获取单元13输入的信息而计算的最佳定时。
[0163]
即，这是驾驶员20可以开始安全手动驾驶的定时。
[0164]
具体地，在驾驶员的清醒度为高的情况下，紧接在手动驾驶开始时间之前(例如，5秒之前)发出通知。在驾驶员的清醒度为低的情况下，例如，留有余量地在手动驾驶开始时间之前20秒发出通知。
[0165]
适当通知时间的计算由车辆10的数据处理单元11或图1中所示的服务器30来执行。具体地，例如，基于预先生成的学习数据来计算最佳通知时间。
[0166]
通知单元15包括显示通知的显示单元、声音输出单元、或方向盘或座椅的振动器。图4中示出了在构成通知单元15的显示单元上显示的警告显示的示例。
[0167]
如图4中所示，显示单元30显示以下项目。
[0168]
驾驶模式信息＝“在自动驾驶中”，
[0169]
警告显示＝“请将驾驶切换到手动驾驶”[0170]
在驾驶模式信息的显示区域中，在执行自动驾驶模式时显示“在自动驾驶中”，而在执行手动驾驶模式时显示“在手动驾驶中”。
[0171]
警告显示信息的显示区域是在自动驾驶模式下执行自动驾驶的同时显示以下项目的显示区域。
[0172]“请将驾驶切换到手动驾驶”[0173]
注意，尽管该示例明确地说明了描述，但是本发明不限于这样的文本显示，并且例如，可以执行使用诸如象形图之类的符号的显示。
[0174]
存储单元16记录由驾驶员信息获取单元12获取的驾驶员信息和由环境信息获取单元13获取的诸如车辆信息和外部信息之类的环境信息。
[0175]
注意，数据处理单元11对可识别个人的信息(例如，面部图像或生物特征信息)的部分执行获取信息的抽象化处理和加密处理，然后将该信息存储在存储单元16中。
[0176]
应用于加密处理的密钥、密码等例如是仅由驾驶员20知道的数据。
[0177]
存储在存储单元16中的加密数据可以使用仅由驾驶员20知道的密钥、密码等进行解密。
[0178]
注意，存储在存储单元16中的由驾驶员信息获取单元12获取的驾驶员信息和由环境信息获取单元13获取的诸如车辆信息和外部信息之类的环境信息可以经由通信单元30发送到服务器30并且存储在服务器30中的存储单元中。
[0179]
存储在存储单元16或服务器30中的信息用于例如在发生事故时的事故原因的分析处理、驾驶员的评估处理等。
[0180]
如图1中所示，车辆10具有能够经由通信单元14与服务器30和外部信息终端40进行通信的配置。
[0181]
服务器30执行向车辆10提供道路信息的处理、存储车辆10的驾驶员信息获取单元12和环境信息获取单元13的获取信息的处理等。下面将详细描述这些处理。
[0182]
例如，信息终端40是由制裁交通违章的官员(诸如警官)拥有的终端，并且是能够获取并显示存储在服务器30或车辆10中的存储单元16中的驾驶员信息获取单元12和环境信息获取单元13的获取信息的终端。下面还将描述该具体处理。
[0183]
图5是示出由本公开的移动设备和信息处理设备执行的处理的具体示例的图。
[0184]
图5是示出在自动驾驶模式下执行自动驾驶的同时用于请求切换到手动驾驶的通知的适当定时的设定示例的图，并且示出了以下两个通知处理示例。
[0185]
(a)在自动驾驶期间驾驶员的清醒度为高的情况下的通知处理
[0186]
(b)在自动驾驶期间驾驶员的清醒度为低的情况下的通知处理
[0187]
示例(a)是在执行自动驾驶的同时驾驶员注视前方道路的示例。在这种情况下，驾驶员的清醒度为高，即用户可以随时开始手动驾驶。
[0188]
在这样的情况下，即使用于切换到手动驾驶的通知是在紧接在需要手动驾驶的时间之前的定时发出的，驾驶员也可以很快开始安全的手动驾驶。
[0189]
示例(b)是在执行自动驾驶的同时驾驶员正在打瞌睡的情况下驾驶员的清醒度极低的示例。
[0190]
在这样的情况下，如果用于切换到手动驾驶的通知是在紧接在需要手动驾驶的时间之前的定时发出的，则驾驶员在意识不清醒的状态下开始手动驾驶，并且发生事故的可能性很高。因此，如上所述，在清醒度为低的情况下，需要在较早阶段发出切换到手动驾驶的通知。
[0191]
此外，例如，在诸如具有行李室的送货车辆之类的车辆中，驾驶员可以在执行自动驾驶期间移动到行李室并执行工作，例如，根据如图6中所示的以下三种类型的情况，有利地将用于发出切换到手动驾驶的请求的通知定时设定为不同。
[0192]
(a)在自动驾驶期间驾驶员的清醒度为高的情况下的通知处理
[0193]
(b)在自动驾驶期间驾驶员的清醒度为低的情况下的通知处理
[0194]
(c)在执行自动驾驶的驾驶员离开驾驶员座椅的情况下的通知处理
[0195]
示例(a)是在执行自动驾驶的同时驾驶员注视前方道路的示例。在这种情况下，驾驶员的清醒度为高，即用户可以随时开始手动驾驶。
[0196]
在这样的情况下，即使用于切换到手动驾驶的通知是在紧接在需要手动驾驶的时间之前的定时发出的，驾驶员也可以很快开始安全的手动驾驶。
[0197]
示例(b)是在执行自动驾驶的同时驾驶员在打瞌睡的示例，并且在这种情况下，驾驶员的清醒度极低。
[0198]
在这样的情况下，如果用于切换到手动驾驶的通知是在紧接在需要手动驾驶的时间之前的定时发出的，则驾驶员在意识不清醒的状态下开始手动驾驶，并且发生事故的可能性很高。因此，如上所述，在清醒度为低的情况下，需要在较早阶段发出切换到手动驾驶的通知。
[0199]
(c)中的示例是驾驶员在自动驾驶期间离开驾驶员座椅并工作的示例。在这样的情况下，驾驶员返回到驾驶员座椅需要时间。
[0200]
在这样的情况下，如果在紧接在需要手动驾驶的时间之前的定时发出用于切换到手动驾驶的通知，则车辆有可能在驾驶员返回驾驶员座椅之前接近手动驾驶区间。因此，在如上所述的驾驶员离开驾驶员座椅的情况下，需要在较早阶段发出切换到手动驾驶的通知。
[0201]
注意，为了易于理解，已经使用诸如“早”或“紧接之前”之类的抽象表达描述了用于切换到手动驾驶的通知定时，但是实际上，车辆10的系统(数据处理单元)以模式化的方式学习驾驶员等的行为特征，并且计算最佳通知定时。例如，系统(数据处理单元11)基于驾驶员的观测状态估计驾驶员清醒状态，并且使用事先生成的恢复到驾驶所需的时间分布与当前行驶路径中的恢复成功率之间的关系数据来计算具有移交正常完成的高概率的通知定时。
[0202]
然后，在基于计算的并且从目标移交点的到达起倒退的点处发出通知。具体地，例如，可以使用在作为本技术人的在先专利申请的专利文献2(国际公布wo2019/097944)中描述的方法，即，学习驾驶员的恢复时间分布、根据学习结果估计驾驶员的恢复所需的时间、并且计算通知定时的方法。将在这样的假设下给出下面的说明：车辆侧系统估计驾驶员恢复的定时，在由系统估计的定时通知驾驶员，以及驾驶员识别并响应于通知。
[0203]
[2.从自动驾驶模式到手动驾驶模式的模式切换序列]
[0204]
接下来，将描述从自动驾驶模式到手动驾驶模式的移交(handover)序列。
[0205]
图7示意性地示出了在数据处理单元11中执行的从自动驾驶模式到手动驾驶模式的模式切换序列的示例。
[0206]
在步骤s1中，驾驶员处于从驾驶和转向完全脱离的状态。在该状态下，数据处理单元11基于从驾驶员信息获取单元12和环境信息获取单元13输入的信息执行监视处理(被动
监视)。
[0207]
例如，驾驶员可以执行次级任务，诸如小睡、观看视频、专注于游戏以及利用诸如平板计算机或智能电话之类的视觉工具进行工作。使用诸如平板计算机或智能电话之类的视觉工具的工作可在例如驾驶员座椅移位的状态下或在与驾驶员座椅不同的座椅中执行。
[0208]
根据驾驶员的状态，假设在驾驶员恢复到手动驾驶之前的时间取决于在车辆接近路线上的要求车辆恢复到手动驾驶的区间时的工作内容而有很大变化。
[0209]
步骤s2是以上参考图4描述的手动驾驶恢复请求通知的定时。数据处理单元11分析从驾驶员信息获取单元12和环境信息获取单元13输入的信息，以计算最佳通知定时。对驾驶员的通知处理的各个方式是可能的。例如，使用诸如振动之类的动态触觉或以视觉或听觉方式发出驾驶恢复通知。
[0210]
例如，数据处理单元11根据驾驶员稳定状态的监视信息来掌握发出通知的定时，并且在适当的定时发出通知。即，系统在先前的被动监视时间段期间被动地且持续地监视驾驶员的次级任务执行状态，并且可以计算通知的最佳定时。期望在步骤s1的时间段内持续地且不断地执行被动监视，以及根据驾驶员独有的恢复特性来计算恢复定时并且发出恢复通知。
[0211]
即，期望根据驾驶员的恢复动作模式、车辆特性等学习最佳恢复定时，并且向驾驶员呈现统计上获得的最佳定时，这是驾驶员以预定速度或更高速度从自动驾驶正常地恢复到手动驾驶所需要的。在这种情况下，在驾驶员在一定时间段内没有响应于通知的情况下，通过发出警报等给出警告。
[0212]
在步骤s3中，确认驾驶员是否已就座并且恢复。在步骤s4中，通过分析面部或眼球行为(例如眼跳动)来确认驾驶员的内部清醒度状态。在步骤s5中，监视驾驶员的实际转向状况的稳定性。然后，在步骤s6中，完成从自动驾驶到手动驾驶的移交。
[0213]
[3.自动驾驶的操作序列示例]
[0214]
接下来，将参考图8中所示的流程图来描述自动驾驶的操作序列的示例。
[0215]
图8中所示的流程图是用于描述由安装在车辆10上的信息处理设备的数据处理单元11执行的自动驾驶的操作序列的流程图。
[0216]
首先，在步骤s11中，执行驾驶员认证。利用使用密码、pin等的知识认证、使用面部、指纹、瞳孔虹膜、声纹等的生物特征认证、或者一起使用知识认证和生物特征认证来执行该驾驶员认证。通过以此方式执行驾驶员认证，即使在多个驾驶员驾驶同一车辆的情况下，也可以与每个驾驶员相关联地累积用于确定通知定时的信息。
[0217]
接下来，在步骤s12中，通过驾驶员对输入单元的操作来设定目的地。例如，根据仪表板上的显示执行驾驶员的输入操作。
[0218]
注意，已经在假设驾驶员进入车辆并设定了行程的情况下描述了本实施例。然而，例如，驾驶员可以在进入车辆之前使用智能电话或在离开家之前使用个人计算机事先进行远程预约。此外，例如，车辆的系统可根据日程表沿着由驾驶员假定的日程执行预先规划；更新并获取道路环境的ldm信息，即所谓的局部动态地图(ldm)，其中以高密度并在持续不断的基础上更新车辆的道路行驶地图信息；以及像礼宾人员一样在进入车辆时或在进入车辆之前显示实际行驶的建议。
[0219]
局部动态地图(ldm)信息例如从服务器30提供，并且根据道路状况依次更新。
[0220]
接下来，在步骤s13中，开始显示行驶路线上的行驶区间显示。
[0221]
行驶区间显示数据是包括诸如计划行驶道路的自动驾驶区间和手动驾驶区间(需要驾驶员干预的区间)之类的区间信息的显示数据。
[0222]
通过查看行驶区间显示数据，驾驶员可以知道正在接近手动驾驶区间。
[0223]
该行驶区间显示在仪表板上，并且还与平板计算机等上的工作窗口一起显示，例如驾驶员在该平板计算机等上执行次级任务。作为结果，在工作窗口上工作的驾驶员可以很容易地在从当前点开始的预计到达时间轴上识别行驶路线上的需要驾驶员干预的区间和自动驾驶区间。
[0224]
在行驶区间显示中，呈现前方日程安排和与每个点的接近信息。在行驶区间显示中，行驶路线上的需要驾驶员干预的区间和自动驾驶区间被显示在从当前点开始的预计到达时间轴上。于是，需要驾驶员干预的区间包括手动驾驶区间、从自动驾驶到手动驾驶的移交区间以及从自动驾驶开始的谨慎行驶区间。以下将描述行驶区间显示数据的细节。
[0225]
接下来，在步骤s14中，开始获取ldm更新信息。通过获取ldm更新信息，可以将行驶区间显示的内容更改为最新状态。接下来，在步骤s15中，开始行驶。
[0226]
随着行驶的开始，连续地执行步骤s16至s18的处理。
[0227]
在步骤s16中，开始驾驶员信息和环境信息的获取、分析、变换和记录处理。
[0228]
图1中所示的数据处理单元11输入由驾驶员信息获取单元12获取的驾驶员的观测信息和由环境信息人员获取单元13获取的诸如车辆信息和外部信息之类的环境信息，并且开始获取信息的分析处理、变换处理和记录处理。
[0229]
注意，例如，在获取信息中存在根据个人信息保护法规不允许按原样记录的数据(诸如面部图像)的情况下，数据处理单元11执行如下处理：对数据执行抽象化处理或加密处理，并且将数据记录在存储单元16或服务器30中。
[0230]
为了解密存储在存储单元16或服务器30中的加密数据，需要仅由驾驶员知道的密钥(诸如密码)。
[0231]
下面将描述在步骤s16中的获取、分析、变换和记录驾驶员信息和环境信息的处理的细节。
[0232]
接下来，在步骤s17中，基于用户本车的位置信息和所获取的ldm更新信息来更新行驶区间显示的显示。作为结果，例如，滚动行驶区间显示，以使得当车辆行驶时，每个区间接近用户本车。
[0233]
下面将描述行驶区间显示数据的具体示例。
[0234]
接下来，在步骤s18中，执行事件变化应对处理。事件变化应对处理包括模式切换处理、事件发生处理等，该模式切换处理用于响应于正在接近存在于行驶路线上的自动驾驶模式和手动驾驶模式之间的切换点或谨慎行驶区间的情况，该事件发生处理用于响应于在行驶路线上新出现模式切换点或谨慎行驶区间的需要驾驶员干预的区间的情况。以下，适当地重复步骤s17和s18的处理。
[0235]
[4.行驶区间显示数据的具体示例]
[0236]
接下来，将描述行驶区间显示数据的具体示例。
[0237]
如上所述，在图8中所示的流程的步骤s13中显示行驶路线上的行驶区间，并且在步骤s17中执行更新行驶区间显示数据的处理。
[0238]
如上所述，行驶区间显示数据是包括诸如计划行驶的道路的自动驾驶区间和手动驾驶区间(需要驾驶员干预的区间)之类的区间信息的显示数据。
[0239]
通过查看行驶区间显示数据，在执行自动驾驶期间执行各种次级任务的驾驶员可以知道正在接近手动驾驶区间。
[0240]
将参考图9和后续附图描述行驶区间显示数据的具体示例。
[0241]
注意，该行驶区间被显示在仪表板上，并且还与平板计算机等上的工作窗口一起显示，例如驾驶员在该平板计算机等上执行次级任务。作为结果，在工作窗口上工作的驾驶员可以容易地在从当前点开始的预计到达时间轴上识别行驶路线上的需要驾驶员干预的区间和自动驾驶区间。
[0242]
图9示出了显示在作为由驾驶员确定目的地的而确定的行驶路线上的行驶区间显示数据的示例。行驶路线包括自动驾驶区间sa、手动驾驶区间sb、从自动驾驶到手动驾驶的移交区间sc和从自动驾驶开始的谨慎行驶区间sd。这里，总是紧接在手动驾驶区间sb之前存在移交区间sc，并且驾驶员需要处于可恢复到手动驾驶的状态。此外，例如，谨慎行驶区间sd是这样的区间，其中车辆可以在处于可恢复到手动驾驶的状态的驾驶员的谨慎注意下保持自动驾驶的同时在减速时行驶。
[0243]
在所示的示例中，自动驾驶区间sa用绿色示出，手动驾驶区间sb用红色示出，而移交区间sc和谨慎行驶区间sd用黄色示出。注意，为了方便起见，每种颜色由不同的图案表示。
[0244]
在车辆10的诸如中心信息显示器或平板计算机之类的显示设备中的行驶区间显示中，如上所述的行驶路线上的每个区间被显示在从当前点开始的预测到达时间轴上。数据处理单元11基于行驶路线信息和交通信息来处理用于显示行驶路线上的行驶区间的信息。
[0245]
图10(a)在从当前点开始的移动距离轴上以恒定比例示出了行驶路线上的每个区间。图10(b)示出了每个点处的平均道路交通的流速度v(t)。图10(c)是使用速度v(t)将由移动距离轴表示的每个区间变换为时间轴的图。作为结果，行驶路线上的每个区间由从当前点开始的预计到达时间轴来表示。即，行驶路线上的每个区间可以由通过将行驶路线的物理距离除以每个对应区间的预计平均速度而得到的时间轴来表示。
[0246]
在该实施例中，如图10(d)中所示，将被显示为行驶区间的所有区间划分为三个区间，并且改变每个区间的时间轴。即，在第一时间轴上显示从当前点到第一点(时间t0，例如，大约10分钟)的第一区间作为时间线性显示最近区间。例如，时间t0被设定为一般驾驶员完成次级任务并恢复到驾驶所需且足够的时间。由于通过行驶而接近的最近区间具有与以恒定速度行驶的地图上所示的视觉直观效果等同的视觉直观效果，所以存在如下优点：驾驶员可以由于事件接近而开始准备准确恢复到驾驶，并且可以以一定准确度直观地掌握驾驶员开始恢复的点。即，该区间的显示目的是向用户提供驾驶员的适当恢复点的开始确定信息。
[0247]
此外，从第一点(时间t0)到第二点(时间t1，例如，大约1小时)的第二区间在时间轴上被显示为时间倒数显示区间，该时间轴从第一时间轴依次改变为相对于第一时间轴以预定比率缩小的第二时间轴。第二区间的显示目的是在较窄显示中向驾驶员提供在较长时间段内的准确路况，这是因为如果主要以与先前第一区间的比例放大率相同的比例放大率
来显示第二区间，则难以在较窄显示空间中显示在较长时间段内的第二区间。这使得驾驶员可以容易地掌握前方一定区间中有多少点在车辆行驶时不需要驾驶干预，并且存在以下优点：驾驶员可以以计划的方式参与次级任务。该显示使得能够进行有效的驾驶干预，并且在伴随与第三方的通信的次级任务中，还在驾驶员从次级任务等的释放计划等中起到重要信息呈现的作用。
[0248]
这里，在图10(d)中，将描述设定第二显示区间的方法。当三角形的高度为h0时，通过以下等式(1)来获得在前端之前h的点处的时间t。
[0249]
t＝t0*h0/h...(1)
[0250]
此外，在第二点(时间t1)处的第二时间轴相对于第一时间轴以hs/h0的比率缩小。例如，在hs＝h0/8的情况下，缩小率为1/8。
[0251]
在车辆以恒定车辆速度行驶的情况下，上述第二显示区间的显示对应于其中地图上的行驶直线延伸显示区间在行驶方向上倾斜地倾斜的显示、或者其中倾斜地观看道路平面前方的状态。换句话说，由于可以在显示图像高度位置处直观地理解显示区间的视觉效果，因此可以说，可以容易地掌握直观距离，而无需在画面上显示准确位置显示的比例等。于是，虽然缩小了远方区间，但是远方区间不是通过行驶立即到达的点，因此粗略预测很重要，但是驾驶员不需要直观地掌握与近处点一样精确的到达时间信息。因此，该显示适用于制定次级任务执行计划。
[0252]
此外，从第二点(时间t1)到第三点(时间t2)的第三区间被显示在第二时间轴(缩小率hs/h0)上作为时间线性显示远方区间。通过以此方式将区间划分为三个区间并且显示，驾驶员可以在有限的显示空间中详细地知道在时间上更近的区间信息并且可以知道在时间上更远的区间信息。注意，如果保持第二区间的显示形式并且显示远处部分，则分辨率变为人类视觉分辨率或更小，并且进一步变为系统显示分辨率限制或更小，不能辨别为确定次级任务计划所需的信息，并且显示功能的意义丢失。因此，最有效的是，在可以直观地、充分地掌握时间的间隔感并且适当地显示需要的干预区间和不需要的区间划分的阶段，执行显示比例的缩小结束的显示，并且在随后的区间中，显示返回到恒定的比例。
[0253]
注意，车辆10的存储单元16存储时间t0、t1和t3的默认值。由于还可以想到分别为长距离驾驶和短距离驾驶设定时间t0、t1和t3的值，因此默认值的数量不限于一个，并且可以提供多种类型，以及驾驶员(用户)或系统可以根据行驶路线选择性地使用默认值。此外，还可以想到允许驾驶员(用户)任意地设定时间t0、t1和t3的值。
[0254]
图11(a)和图11(b)示出了最终显示的行驶区间显示的示例。注意，箭头的长度表示时间轴是否为线性，并且进一步表示时间轴上的缩小率的变化。在图11(a)的情况下，以第一宽度显示第一区间、第二区间和第三区间的所有区间。
[0255]
另一方面，在图11(b)的情况下，以第一宽度显示从当前点到第一点(时间t0)的第一区间，以从第一宽度到比第一宽度窄的第二宽度依次改变的宽度显示从第一点(时间t0)到第二点(时间t1)的第二区间，并且以第二宽度显示从第二点(时间t1)到第三点(时间t2)的第三区间。作为结果，驾驶员可以在视觉上识别第二区间和第三区间相对于第一区间的时间轴的缩小程度。
[0256]
即，图11(a)的显示形式是仅考虑行驶方向上的缩小率的显示。此外，如图11(b)中所示，通过透视性地改变显示信息相对于行驶方向的横向宽度，可以获得与在沿着道路或
地图的行驶的无限方向上观看相同的透视效果，而且可以比查看画面片刻更容易直观地掌握需要驾驶干预的区间的分布。特别地，在只有第二区间被逆时针地旋转并且被查看的情况下，该显示与道路前方的道路宽度和每个对应点的到达时间相当，就好像车辆以恒定速度行驶一样，使得可以直观地掌握每个点的到达时间，而无需在视觉上确定显示画面上的准确位置记忆。因此，例如，驾驶员可以轻松地分配用于执行次级任务的时间。
[0257]
注意，例如，在缩小率hs/h0如在第三区间中那样较小的部分中，如果具有短时间长度的区间按原样以该时间长度来显示，则该区间被显示得非常细，并且预计驾驶员将难以识别该区间。因此，即使当驾驶员干预区间(手动驾驶区间、移交区间或谨慎行驶区间)实际上小于或等于一定时间长度时，也以该一定时间长度来显示该区间。在这种情况下，例如，当移交区间和手动驾驶区间连续时，可以省略移交区间的显示。在图11(a)和图11(b)中，第三区间的第一手动驾驶区间sb的显示指示这样的状态。作为结果，在具有显著缩小的时间轴的第三区间中，可以以驾驶员可识别的方式显示具有短时间长度的需要驾驶员干预的区间。
[0258]
此外，在缩小率hs/h0如第三区间中那样较小的部分中，在手动驾驶区间sb以短周期间歇地连续的情况下，手动驾驶区间sb被显示为连续的手动驾驶区间sb。在图11(a)和图11(b)，第三区间的第二手动驾驶区间sb的显示指示这样的连接状态。如图11(c)中所示，以此方式显示的手动驾驶区间sb实际上除了手动驾驶区间sb之外还包括短时间的移交区间sd和自动驾驶区间sa。注意，如以下将描述的，当点被双触摸(double-touch)时，例如在平板计算机等上显示行驶区间的状态下，可以显示点的细节。
[0259]
基于用户本车的位置信息和所获取的ldm更新信息来更新如上所述的行驶路线中的行驶区间显示。作为结果，滚动行驶区间显示，以使得每个区间随着时间推移而接近用户本车。图12(a)至图12(d)示出了随着时间推移的行驶区间显示的变化的示例。这些示例示出了以锥形方式显示第二区间的示例，但同样适用于以相同宽度显示所有区间的情况。
[0260]
在这种情况下，在第一区间中，每个区间的移动都很快。此外，在第二区间中，从第三区间侧到第一区间侧，时间轴的缩小变得更小，使得每个区间中的显示移动变得更快。此外，在第三区间中，时间轴的缩小较大，使得每个区间中的显示移动较慢。
[0261]
[5.对驾驶员等的观测处理(监视处理)和对获取信息的记录处理的细节]
[0262]
接下来，将描述对驾驶员等的观测处理(监视处理)和对获取信息的记录处理的细节。
[0263]
如上所述，例如，在作为eu个人信息保护法规的通用数据保护法规(gdpr)中，不允许将由安装在车辆上的相机拍摄的驾驶员的面部图像按原样记录在存储单元中。
[0264]
例如，在将驾驶员的观测信息存储在存储单元中时，本公开的移动设备或信息处理设备抽象化或加密并且记录被确定为在个人信息保护方面具有问题的数据，诸如可识别个人的面部图像。
[0265]
将参考图13描述作为本公开的移动设备的安装在车辆10上的信息处理设备的数据处理单元11的配置和要执行的处理。
[0266]
图13示出了车辆10、服务器30和由交通制裁执行者(诸如警官)拥有的信息终端40。这些组件可以经由网络彼此通信。下面将描述信息终端40的使用配置。
[0267]
图13示出了车辆10的数据处理单元11的详细配置。注意，图13中所示的数据处理
单元11的详细配置不是整个配置，而是数据处理单元11的部分配置。即，仅示出了应用于通过输入由驾驶员信息获取单元12获取的驾驶员信息、由环境信息获取单元13获取的诸如车辆信息和外部信息之类的环境信息而执行的处理的配置。
[0268]
在下文中，将参考图13描述由数据处理单元11执行的观测信息应对处理。
[0269]
图13中所示的数据处理单元11输入由驾驶员信息获取单元12获取的驾驶员信息和由环境信息获取单元13获取的诸如车辆信息和外部信息之类的环境信息，并且执行获取信息的抽象化处理、加密处理、记录处理、分析处理等。
[0270]
如图13中所示，数据处理单元11包括获取信息分析单元51和数据变换单元52。数据变换单元52包括数据抽象化单元53和加密处理单元54。
[0271]
获取信息分析单元51从驾驶员信息获取单元12输入驾驶员信息，并且从环境信息获取单元13输入诸如车辆信息和外部信息之类的环境信息。
[0272]
将参考图14描述由获取信息分析单元51输入的信息的示例。
[0273]
图14针对每种类型示出了以下信息获取单元中的每一个的获取信息的示例。
[0274]
(a)驾驶员信息获取单元
[0275]
(b)环境信息获取单元
[0276]
示出了由信息获取单元中的每一个获取的“(2)获取信息的类型”和“(3)获取信息的具体示例”。
[0277]
(a)来自驾驶员信息获取单元12的获取信息例如是以下信息。
[0278]
(a1)驾驶员的动作信息：驾驶员的阅读、睡眠、终端操作、离开座椅、分拣、整理车票等，
[0279]
(a2)驾驶员的动作信息：还包括诸如驾驶员的身体的取向、座椅旋转、脚到转向踏板的转变以及身体移动之类的姿势转变的平滑度信息，
[0280]
(a3)驾驶员的面部和头部信息：面部、头部取向、姿势、移动信息等，以及
[0281]
(a4)驾驶员的生物特征信息：心率、脉搏率、血流、呼吸、脑电波、出汗状态、眼睛移动、眼球行为、注视、眨眼、眼跳视、微眼跳视、固视、漂移、凝视、闭眼率评估值(perclos)、虹膜瞳孔反应等。
[0282]
此外，(b)来自环境信息获取单元13的获取信息例如是以下信息。
[0283]
(b1)车辆信息：用户本车的行驶控制数据、操作单元(加速器、制动器等)操作信息(包括事件数据记录仪(edr)和行车记录仪的获取信息)、可与edr信息同步的定时同步信息等，以及
[0284]
(b2)车辆外部观测信息：行驶路径的周围环境的图像信息、距离信息、对象识别信息等。
[0285]
图13中所示的数据处理单元11的获取信息分析单元51从驾驶员信息获取单元12和环境信息获取单元13接收驾驶员信息、车辆信息和诸如外部信息之类的环境信息作为输入。
[0286]
将参考图15和后续附图描述由驾驶员信息获取单元12获取驾驶员信息的配置示例。
[0287]
图15和图16是示出用于获取驾驶员20的面部、姿势等信息的传感器(相机等)的布置示例的图。传感器(相机等)58例如是正常rgb彩色图像等的相机、红外相机、立体相机、用
作距离传感器的tof传感器等。
[0288]
如图15和图16中所示，用于获取诸如驾驶员20的面部和姿势之类的信息的传感器(相机等)58设置在可以从各种不同方向观测驾驶员20的多个位置处。
[0289]
图17是示出由多个传感器(相机等)58获取的驾驶员20的捕获图像的示例的图。
[0290]
图17的(1)示出了驾驶员稳定地看着前方的状态。
[0291]
图17的(2)示出了驾驶员有时倾向于低下他/她的头部的状态。
[0292]
图17的(3)示出了驾驶员将他/她的面部转向侧面的状态。
[0293]
图17的(4)示出了驾驶员相对于驾驶员座椅侧向坐着并且操作终端的状态。
[0294]
以此方式，可以基于由多个传感器(相机等)58获取的信息来分析驾驶员的姿势和动作信息。
[0295]
此外，将参考图18描述包括在参考图14描述的驾驶员信息获取单元12的获取信息中的驾驶员的(a4)生物特征信息中的眼球行为的观测数据的示例。
[0296]
眼球行为分析是用于确认驾驶员的意识状态的有效手段。例如，传统上已知，可以通过分析视线所指向的方向来分析视线。通过进一步发展该技术并且以高速分析视线行为，可以执行眼球的更详细的行为检测。
[0297]
在眼球的详细行为分析中，虽然有一部分行为表现为生物反射，但是在行为中也同时观测到许多表现为反映大脑中的神经传递和处理的现象。因此，活动结果(诸如大脑识别)被反映出来，并且行为变得可见。
[0298]
通过利用大脑中的活动被反映在眼球行为中这一事实，可以以高准确度来估计驾驶员的清醒度。
[0299]
在人进行由行动所需的状况判定的情况下获取的外部世界信息通常是从视觉信息中获得的。当人感知并识别视觉信息以及付诸行动时，该人将视线指向该信息，以及参考并比较该信息和该人自己的记忆(记录的知识)。已知的是，人表现出由视觉信息识别所需的特定眼球行为(诸如精细固视、微眼跳视、震颤和漂移)，同时将视线指向视线前方的信息可见的部分或其附近，直到该人理解视线前方的信息为止。
[0300]
该眼球行为示出了人处于正常清醒状态的情况和人处于意识/清醒降低状态的情况之间的不同行为。
[0301]
图18示出了当呈现视觉任务以查看特定信息时驾驶员的眼球行为的轨迹的示例。
[0302]
图18中的示例示出了当人首先注视区域a的附近、然后注视区域b的附近时眼球行为的轨迹。
[0303]
在视觉上观测特定信息(问题)并试图理解内容的情况下，人执行如图18中所示的行为轨迹那样的被称为眼跳视的大眼球旋转，将眼球转到预定的可视点，并在其附近执行伴随有固视和微眼跳视的眼球行为。
[0304]
例如，为了确认驾驶员在自动驾驶期间是否保持意识，需要执行定期监视。为了在不过度打扰驾驶员的情况下执行监视，例如，数据处理单元11可以被配置为向驾驶员呈现需要某种思考判定的符号，并观测眼球行为。作为观测结果，在观测到驾驶员通过视线执行思考确认操作的情况下，可以估计驾驶员优先执行用于任务处理的大脑中的思考活动，并且驾驶员没有处于沉浸在其他次级任务中的状态中。
[0305]
返回到图13，将描述由获取信息分析单元51执行的处理。
[0306]
如图13中所示，获取信息分析单元51分析从驾驶员信息获取单元12输入的驾驶员信息、从环境信息获取单元13输入的诸如车辆信息和外部信息之类的环境信息，并且将这些输入信息分为两种类型的信息：
[0307]
(1)无需变换的数据；和
[0308]
(2)需要变换的数据。
[0309]
例如，需要变换的数据是以下信息：
[0310]
例如，包括在从驾驶员信息获取单元12输入的驾驶员信息中的可识别个人的图像信息(诸如驾驶员的面部图像、至少部分身体图像和眼睛图像)和驾驶员的生物特征信息(例如，诸如虹膜信息和脑电波信息之类的生物特征信息)；
[0311]
从环境信息获取单元13输入的包括前方车辆和后方车辆的牌照等的图像信息、行人的图像信息、包括印刷在招牌等上的地址、电话号码等的图像信息等。
[0312]
例如，需要变换的数据是诸如可识别个人的个人信息之类的数据。例如，需要变换的数据是在车辆10行驶的地区的个人信息保护法规中禁止直接记录在存储单元中的信息等。
[0313]
具体地，例如，在欧洲地区行驶的车辆的情况下，需要变换的数据是在由eu规定的个人信息保护法规(gdpr)中禁止直接记录在存储单元中的信息。
[0314]
另一方面，无需变换的数据是除需要变换的数据之外的信息，并且包括例如：
[0315]
包括在从驾驶员信息获取单元12输入的驾驶员信息中的驾驶员的操作单元的操作信息、视线信息、指示头部方向的信息和出汗状态信息，以及
[0316]
从环境信息获取单元13输入的车辆操作信息，诸如速度、制动操作信息和关于前方车辆或后方车辆的车辆间距离信息。
[0317]
这些信息不是可识别个人的信息，而是在由eu规定的个人信息保护法规(gdpr)中未被禁止直接记录在存储单元中的信息。
[0318]
此外，无需变换的数据还包括由获取信息分析单元51基于从驾驶员信息获取单元12输入的驾驶员信息和从环境信息获取单元13输入的信息而分析的数据。
[0319]
例如，获取信息分析单元51根据驾驶员的图像、姿势信息等分析以下驾驶员状态。
[0320]
驾驶员状态＝“打瞌睡”、“趴伏”、“分心”、“阅读”、“落座姿势”、“移动位置”等
[0321]
获取信息分析单元51分析这些驾驶员状态，将分析的数据分类为属于无需变换的数据的元数据，并且将元数据存储在存储单元16或服务器30中。
[0322]
此外，获取信息分析单元51基于从驾驶员信息获取单元12输入的驾驶员信息计算评估值(驾驶员评估值)，该评估值(驾驶员评估值)是指示驾驶员的清醒状态是否允许从自动驾驶切换到分派驾驶(dispatch driving)的索引值，将评估值分类为属于无需变换的数据的元数据，并且将评估值存储在存储单元16或服务器30中。
[0323]
注意，获取信息分析单元51包括例如数据判别表，该数据判别表定义诸如图像、距离数据或生命信号之类的每种数据类型属于“无需变换的数据”和“需要变换的数据”中的哪一个，并且通过参考数据判别表来确定从驾驶员信息获取单元12输入的驾驶员信息和从环境信息获取单元13输入的诸如车辆信息和外部信息之类的环境信息中的每一个属于“需要变换的数据”和“无需变换的数据”中的哪一个。
[0324]
例如，数据判别表被配置为符合车辆行驶的国家的个人信息保护法规的表。例如，
在eu中行驶的车辆的情况下，使用了如下表格，其中根据通用数据保护法规(gdpr)(这是由eu规定的个人信息保护法规)不允许进行记录处理的数据被指定为“需要变换的数据”。
[0325]
注意，在不使用数据判别表的情况下，获取信息分析单元51可以执行例如图像分析，并且执行关于是否包括牌照或人的图像的识别处理，以及在包括这样的牌照或人的图像的数据的情况下，执行确定该数据是“需要变换的数据”的处理。
[0326]
获取信息分析单元51将包括在从驾驶员信息获取单元12输入的驾驶员信息、从环境信息获取单元13输入的诸如车辆信息和外部信息之类的环境信息中的“无需变换的数据”按原样存储在存储单元16中。替选地，经由通信单元14将数据发送到服务器30并存储在服务器30中的存储单元中。
[0327]
注意，存储在存储单元16或服务器30中的数据与用户标识符(即，驾驶员的识别信息)相关联地记录。
[0328]
另一方面，获取信息分析单元51将包括在从驾驶员信息获取单元12输入的驾驶员信息、从环境信息获取单元13输入的诸如车辆信息和外部信息之类的环境信息中的“需要变换的数据”输入到数据变换单元52的数据抽象化单元53或加密处理单元54中。
[0329]
数据变换单元52的数据抽象化单元53对需要变换的数据执行抽象化处理。加密处理单元54对需要变换的数据执行数据加密处理。
[0330]
对于需要变换的数据，执行对数据的抽象化处理或加密处理中的至少一个的处理，并且将需要变换的数据作为抽象化数据或加密数据存储在存储单元16中。替选地，经由通信单元14将数据发送到服务器30并存储在服务器30中的存储单元中。
[0331]
注意，存储在存储单元16或服务器30中的抽象化数据和加密数据也与用户标识符(即，驾驶员的识别信息)相关联地记录。
[0332]
注意，关于“需要变换的数据”，可以并行地执行对数据的抽象化处理和加密处理两者以生成并记录抽象化数据和加密数据，或者可以仅生成并记录抽象化数据和加密数据中的一个。
[0333]
例如，在抽象化指示驾驶员的身体的运动的获取数据的情况下，数据抽象化单元53使用反映身体的运动的骨骼数据、虚拟化身、虚拟模型、角色模型等来生成抽象化数据。此外，关于面部图像，数据抽象化单元53使用指示眼睛、鼻子和嘴的位置的简化模型、虚拟化身、虚拟模型、角色模型等来生成抽象化数据。
[0334]
此外，关于眼睛图像数据，数据抽象化单元53使用类似的预定设计来生成抽象化数据。
[0335]
将参考图19描述由数据抽象化单元53生成的抽象化数据的示例。
[0336]
图19示出了以下抽象化数据的示例。
[0337]
(1)身体抽象化数据示例
[0338]
(2)面部抽象化数据示例
[0339]
(3)眼睛抽象化数据示例
[0340]
所有这些都是通过对例如由参考图15至图16描述的传感器(相机等)58获取的诸如驾驶员的图像和距离信息之类的获取信息进行变换(即，执行抽象化处理)而生成的抽象化数据。
[0341]
如上所述，数据抽象化单元53对来自驾驶员信息获取单元12和环境信息获取单元
13的获取数据执行抽象化处理，以生成抽象化数据。无法从抽象化数据中指定个人。
[0342]
因此，例如，即使将抽象化数据存储在存储单元16或服务器30中，它也不会违反作为由eu规定的个人信息保护法规的通用数据保护法规(gdpr)。
[0343]
另一方面，加密处理单元54对包括在驾驶员信息获取单元12和环境信息获取单元13的获取数据中的需要变换的数据执行加密处理。
[0344]
应用于加密处理的密钥、密码等例如是仅由驾驶员20知道的数据。
[0345]
由加密处理单元54生成的加密数据被存储在存储单元16或服务器30的存储单元中。
[0346]
对包括个人信息的数据进行加密和记录的处理未被禁止，并且被通用数据保护法规(gdpr)允许，该通用数据保护法规(gdpr)是由eu规定的个人信息保护法规。
[0347]
在对存储单元16或服务器30中存储的加密数据执行解密处理的情况下，需要仅由驾驶员20知道的密钥(诸如密码)。
[0348]
即，仅当驾驶员20允许时才执行加密数据的解密处理。执行解密处理的情况例如是在提交证据以表明驾驶员20在事故发生时不对该事故负责的时候。
[0349]
注意，在车辆10不是由驾驶员所拥有的车辆并且具有由未指定的大量人可用的配置(例如出租汽车或共享汽车)的情况下，应用于加密处理或解密处理的密钥数据被配置为使用与车辆用户的个人信息相关联的密钥数据(密码等)。
[0350]
例如，密钥数据和加密数据与诸如许可证或签名之类的可识别个人的数据相关联地存储在存储单元或服务器中。
[0351]
在执行解密的情况下，请求呈现诸如许可证或签名之类的可识别个人的数据，并且在个人被识别的情况下，允许通过与个人相关联的密钥数据对加密数据进行解密。
[0352]
[6.由警察等交通制裁官员拥有的信息终端的配置和处理]
[0353]
接下来，将描述由上述图13中所示的警察等交通制裁官员拥有的信息终端40的配置和处理。
[0354]
如以上参考图13所述，由诸如警官之类的交通制裁执行者拥有的信息终端40是能够经由网络与服务器30和车辆10的通信单元14进行通信的信息终端。
[0355]
例如，信息终端40是由制裁交通事故和交通违章的警官携带的终端。
[0356]
例如，当发生交通事故或违章时，警官赶到现场，使用信息终端40获取存储在服务器30或车辆的存储单元16中的数据，并且可以在信息终端40的显示单元上显示数据。
[0357]
注意，在信息终端40的显示单元上仅可以显示未加密的数据。
[0358]
即，从服务器30或车辆的存储单元16获取以下数据并且将其显示在信息终端40的显示单元上：
[0359]
(a)无需变换的数据，或
[0360]
(b)通过抽象化需要变换的数据而获得的抽象化数据。
[0361]
注意，存储在服务器30或车辆的存储单元16中的数据与驾驶员的识别信息相关联地记录。
[0362]
因此，例如，制裁交通事故或交通违章的警官可以在使信息终端40显示以下数据的同时基于与显示数据相关联的驾驶员的识别信息来识别驾驶员：
[0363]
(a)无需变换的数据，或
[0364]
(b)通过抽象化需要变换的数据而获得的抽象化数据。
[0365]
将参考图20和后续附图描述信息终端40上的信息显示示例。
[0366]
图20示出了信息终端40的数据显示示例。
[0367]
这些显示数据基于存储在车辆10的存储单元16或服务器30中的数据来显示。
[0368]
如图20中所示，信息终端40显示观测数据显示区域61、显示数据选择部62、区间信息输出部63、观测信息输出部64和滑动器65。
[0369]
区间信息输出部63显示与参考图9至图12描述的行驶区间显示数据相对应的区间信息，该区间信息是自动驾驶允许区间和手动驾驶区间的区间信息。通过从左向右移动滑动器65，在观测数据显示区域61中显示与时间的推移相对应的观测数据。
[0370]
图20中所示的示例是在观测数据显示区域61中显示驾驶员的姿势的示例。
[0371]
该显示数据是抽象化数据，并且是由以上参考图13描述的数据抽象化单元53基于驾驶员观测信息生成并存储在车辆的存储单元16或服务器30中的抽象化数据。
[0372]
观测信息类型输出部64显示在区间信息输出部63的下方。在该区域中，显示随时间推移的驾驶员的观测信息。具体地，显示指示以下观测信息的具体内容的数据：
[0373]
观测信息＝疲劳或趴伏；或
[0374]
观测信息＝分心或阅读。
[0375]
这些数据基于元数据来显示，该元数据是由以上参考图13描述的获取信息分析单元51基于驾驶员的观测信息而分析的。
[0376]
注意，可以通过选择显示数据选择部62来切换要在观测数据显示区域61中显示的数据。
[0377]
在显示数据选择部62中，设定了“眨眼”、“面部”、“姿势”、“延迟”和“响应”的显示数据选择按钮。
[0378]
图中所示的示例是其中选择了“姿势”作为显示数据的示例，并且在观测数据显示区域61中显示指示随时间推移的驾驶员的姿势的抽象化数据。
[0379]
该抽象化数据是由以上参考图13描述的数据抽象化单元53基于驾驶员观测信息生成并存储在车辆的存储单元16或服务器30中的抽象化数据。
[0380]
例如，警官可以通过查看显示数据来确认驾驶员打瞌睡了。
[0381]
注意，该显示数据是抽象化数据，并且是存储在车辆10的存储单元16或服务器30中的数据。
[0382]
由于车辆10的存储单元16和服务器30将属于个人信息的数据存储为抽象化数据或加密数据，因此即使数据泄漏到外部，个人信息也不会泄漏。
[0383]
可以通过切换显示数据选择部62来切换对于观测数据显示区域61的显示数据。
[0384]
图21示出了其中选择了显示数据选择部62的“面部”的示例。
[0385]
在该情况下，在观测数据显示区域61中显示随时间推移的驾驶员的面部的抽象化数据。
[0386]
该抽象化数据也是由以上参考图13描述的数据抽象化单元53基于驾驶员观测信息生成并存储在车辆的存储单元16或服务器30中的抽象化数据。
[0387]
图22示出了其中选择了显示数据选择部62的“眨眼”的示例。
[0388]
在该情况下，在观测数据显示区域61中显示随时间推移的驾驶员的眼睛眨眼的抽
象化数据。
[0389]
该抽象化数据也是由以上参考图13描述的数据抽象化单元53基于驾驶员观测信息生成并存储在车辆的存储单元16或服务器30中的抽象化数据。
[0390]
如上所述，由诸如警官之类的交通制裁执行者使用的信息终端40可以从车辆的存储单元16或服务器30获取以下信息，并且将获取的信息显示在信息终端40的显示单元上：
[0391]
(a)无需变换的数据，或
[0392]
(b)通过抽象化需要变换的数据而获得的抽象化数据。
[0393]
通过使用这样的显示数据对事故和违章进行制裁，可以确认在发生事故或违章时驾驶员的状态，并且可以明确驾驶员的责任。
[0394]
另一方面，如上所述，由于车辆10的存储单元16和服务器30将属于个人信息的数据存储为抽象化数据或加密数据，因此即使数据泄漏到外部，个人信息也不会泄漏。
[0395]
接下来，将参考图23描述存储在车辆10的存储单元146或服务器30中的数据的使用示例。
[0396]
图23示出了作为存储在车辆10的存储单元146或服务器30中的数据的三种类型的数据：
[0397]
(1)无需变换的数据，
[0398]
(2)需要变换的数据的抽象化数据，以及
[0399]
(3)需要变换的数据的加密数据。
[0400]“无需变换的数据”包括从驾驶员信息获取单元12和环境信息获取单元13输入的观测信息当中的不包括个人信息的观测信息、以及由图13中所示的数据处理单元11的获取信息分析单元51生成的分析数据和评估数据。
[0401]
例如，“无需变换的数据”中包括的观测信息包括诸如驾驶员的姿势信息、移动信息、视线信息、出汗状态信息、车辆的操作信息(例如速度、制动操作信息以及关于前方车辆或后方车辆的车辆间距离信息)之类的观测信息。
[0402]
此外，“无需变换的数据”包括由获取信息分析单元51生成的分析数据和评估数据的元数据，即，
[0403]
驾驶员状态数据＝“打瞌睡”、“趴伏”、“分心”、“阅读”、“就座姿势”、“移动位置”等，以及
[0404]
驾驶员的清醒度评估值＝指示是否可以从自动驾驶切换到分派驾驶的评估值。
[0405]
这些无需变换的数据不是个人信息，并且是在由eu规定的个人信息保护法规(gdpr)中未被禁止直接记录在存储单元中的信息。
[0406]
另一方面，“需要变换的数据的抽象化数据和加密数据”是以上参考图13描述的需要变换的数据的抽象化数据和加密数据。
[0407]
例如，需要变换的数据包括：包括在从驾驶员信息获取单元12输入的驾驶员信息中的可识别个人的图像信息(诸如驾驶员的面部图像、身体图像和眼睛图像)和驾驶员的生物特征信息(例如虹膜信息和脑电波信息)，以及从环境信息获取单元13输入的包括前方车辆和后方车辆的牌照等的图像信息、行人的图像信息、包括印刷在招牌等上的地址、电话号码等的图像信息等。
[0408]
例如，许多需要变换的数据是可识别个人的个人信息，并且是在由eu规定的个人
信息保护法规(gdpr)中禁止直接记录在存储单元中的信息。
[0409]
服务器30和存储单元16存储这些需要变换的数据的抽象化数据或加密数据中的至少一个。
[0410]
如图23中所示，由诸如警官之类的交通制裁执行者使用的信息终端40获取
[0411]
(1)无需变换的数据，或
[0412]
(2)需要变换的数据的抽象化数据，
[0413]
并且显示所获取的数据。
[0414]
即使这样的数据泄露到外部，该数据也不会违反个人信息保护法的规定。
[0415]
然而，另一方面，该数据是用于识别事故原因、确认违章等的有效数据，并且因为该数据可以在视觉上确认，所以该数据是用于防止逃避和执行可靠制裁的有效数据。
[0416]
另一方面，如图23中所示，在不使用仅由驾驶员20知道的诸如密码之类的密钥的情况下，无法解密存储在服务器30或存储单元16中的
[0417]
(3)需要变换的数据的加密数据。
[0418]
即，仅当驾驶员20允许时才执行加密数据的解密处理。执行解密处理的情况例如是在提交证据以表明驾驶员20在事故发生时不对该事故负责的时候。例如，在没有违反规则的驾驶员对加密信息进行解密并且将解密信息提交给法院作为证据的情况下使用。
[0419]
如上所述，在本公开的配置中，获取诸如驾驶员信息、车辆信息和外部信息之类的各种观测信息，以及对可能违反个人信息法规的数据施加抽象化处理或加密处理，并且记录该数据。利用该配置，符合个人信息保护法规的数据记录成为可能。
[0420]
另一方面，通过使用无需变换的数据或抽象化数据，也可以有效地制裁交通事故和违章。
[0421]
[7.用于计算和使用驾驶员评估值以使用观测信息确定是否可以从自动驾驶切换到手动驾驶的配置]
[0422]
接下来，将描述用于计算和使用驾驶员评估值以使用观测信息确定是否可以从自动驾驶切换到手动驾驶的配置。
[0423]
如以上参考图9至图12所述，车辆10的行驶路线包括自动驾驶区间sa、手动驾驶区间sb、从自动驾驶到手动驾驶的移交区间sc和从自动驾驶开始的谨慎行驶区间sd。紧接在手动驾驶区间sb之前存在移交区间sc，并且驾驶员需要处于可恢复到手动驾驶的状态。此外，谨慎行驶区间sd是这样的区间，其中车辆可以在处于可恢复到手动驾驶的状态的驾驶员的谨慎注意下保持自动驾驶的同时在减速时行驶。
[0424]
例如，当车辆10进入移交区间sc时，基于从驾驶员信息获取单元12获取的信息，参考图13描述的车辆10的数据处理单元11的获取信息分析单元51执行计算指示驾驶员是否处于恢复到手动驾驶的位置、姿势和准备的位置、姿势和准备评估值的处理，以及计算驾驶员的评估值(例如指示驾驶员是否处于能够开始手动驾驶的清醒状态的清醒度评估值)的处理。
[0425]
驾驶员恢复手动驾驶所需的时间取决于驾驶员当时的工作内容而有很大变化。数据处理单元11分析从驾驶员信息获取单元12和环境信息获取单元13输入的信息，估计驾驶员恢复到手动驾驶所需的时间，并且计算最佳通知定时。
[0426]
图24是用于描述在完成从自动驾驶到手动驾驶的转变之前的剩余宽限时间的图。
在垂直轴上示出了在车辆10的信息处理设备的数据处理单元11在时间t0向驾驶员发出通知(手动驾驶恢复请求通知)之后、根据沿水平时间轴的时间推移到达右端的“移交极限点”的剩余宽限时间。“移交极限点”是需要开始手动驾驶的点。
[0427]
图24中所示的示例指示在车辆以恒定速度行驶的情况下的剩余宽限时间，假设从自动驾驶部分平滑转变到手动驾驶部分。注意，由于图24中的垂直轴表示在恒定速度行驶期间的剩余宽限时间，因此垂直轴也可以被视为到实际移交极限点的距离。
[0428]
该图示出了“特定于个人的数据示例”和“平均恢复转变数据”这两条线。
[0429]
特定于个人的数据示例是基于特定于某一个个人的学习数据的数据示例。
[0430]
平均恢复转变数据是基于大量观测数据的平均值。
[0431]
这些是在移交极限点处向手动驾驶执行移交的情况下以预定请求恢复率(rrr)实现移交的线。
[0432]
数据处理单元11基于驾驶员的监视信息、使用特定于驾驶员的恢复特性的学习词典来计算用于使驾驶员以预定请求恢复率(rrr)在移交极限点处执行到手动驾驶的移交的通知点。
[0433]
将描述请求恢复率(rrr)。例如，请求恢复率(rrr)是由道路信息提供商提供的局部动态地图(ldm)中定义的数据。即，请求恢复率是在从自动驾驶区间到手动驾驶区间的每个切换点处预期的手动驾驶切换成功率。
[0434]
将从自动驾驶到手动驾驶的移交点的到达时间设定为t(tor_point)(接管请求点)，并且将用于在到达时间以预定成功率rrr(请求恢复率)实现移交的计算移交预算(时间)设定为δtmtbt(最小转变预算时间)。
[0435]
在该前提下，需要在到达tor_point的预测时间t(tor_point)之前、在{t(tor_point)-δtmtbt(最小转变预算时间)}以前发出移交通知或警报。
[0436]
即，为了在接近的移交点处实现请求恢复率(rrr)，需要在t(n)处向驾驶员发出通知(手动驾驶切换请求通知)，其在从监视时间t(n)开始的下一个监视时间δt后的t(n 1)处满足：
[0437]
{t(n 1)-{t(tor_point)-δtmtbt(最小转变预算时间)}}《0
[0438]
这是因为在t(n 1)处发出的通知太晚了。
[0439]
简言之，为了实现由道路信息提供商提供的局部动态地图(ldm)中定义的rrr，需要在可允许的最小移交延迟预算(时间)变得长于驾驶员的监视周期时间段之前设定通知(手动驾驶切换请求通知)定时。
[0440]
图24中所示的监视状态(观测状态)的转变、即以下监视状态(观测状态)(a)到(g)的变化点t0到t6是用于使驾驶员以预定请求恢复率(rrr)在移交极限点处执行到手动驾驶的移交的通知点。
[0441]
例如，在驾驶员已经离开驾驶员座椅并且正在小睡的状态下(在时间t0或之前)，系统通过从驾驶员信息获取单元12获取观测信息(被动监视)来确认驾驶员正在小睡。
[0442]
在系统在时间t0向驾驶员发出通知(手动驾驶恢复请求通知)之后，驾驶员状态和系统对驾驶员的观测状态如以下(a)至(g)中那样地变化。
[0443]
(a)被动监视(系统通过被动监视观测到驾驶员正在小睡)
[0444]
(b)醒来、起床并且检查周围环境
[0445]
(c)驾驶者座椅恢复
[0446]
(d)驾驶姿势恢复
[0447]
(e)主动响应
[0448]
(f)眼球行为
[0449]
(g)身体恢复能力检查(s/p)
[0450]
所示出的“特定于个人的数据示例”和“平均恢复转变数据”这两条线是在系统在时间t0通知驾驶员(手动驾驶恢复请求通知)之后通过连接转变点(a)到(g)而生成的线。
[0451]
该图进一步示出了阴影区域中的“红色区域”。例如，该“红色区域”是当实际驾驶员的“观测数据”进入该区域时需要再次向驾驶员发出通知(手动驾驶恢复请求通知)以提示尽早恢复的区域。该区域是预定义的。
[0452]
注意，如上所述，图24中所示的示例是示出在车辆以恒定速度行驶的情况下在完成从自动驾驶到手动驾驶的转变之前的剩余宽限时间的图。
[0453]
根据基础设施的设计，例如，也可以增加手动驾驶切换准备区间中的车道数量，以设定道路，使得即使车辆速度降低，也不会导致整个道路的流量降低，并且可以说高速公路的收费亭等都是基于该理念而设计的。
[0454]
图24中所示的图根据基础设施的状况而改变。例如，在通过降低到移交点的速度来执行减速控制并且执行将到移交点的到达时间延长的控制的情况下，需要生成并使用反映该控制的图。
[0455]
紧接在右端的“移交极限点”之前的由“身体恢复能力检查(体力/身体(s/p))”指示的区间是这样的时间段，其中驾驶员部分地开始实际车辆的车辆转向，并且在该区间中执行体力上和身体上的实质性转向评估。当系统确认驾驶员肢体麻木并且实际上在预期范围内执行要校正的转向设备的控制时，系统最终将移交完全交给驾驶员。
[0456]
如上所述，图24中所示的示例是假设驾驶员已经离开驾驶员座椅并且正在小睡的情况的示例。示出了在车辆以恒定速度行驶直到到达手动驾驶移交点为止的情况下的剩余时间。如上所述，由于以恒定速度示出了图，因此该图可被视为到移交极限点的实际距离位置。
[0457]
在下文中，将描述(a)到(g)的具体状态变化。
[0458]
((a)：至t0)
[0459]
首先，在时间t0或之前的被动监视时间段中，车辆系统(信息处理设备)执行监视以确定应在哪个定时执行通知/唤醒，或者是否足以发出通知或是否需要设定唤醒警报。
[0460]
该示例假设驾驶员在自动驾驶区间完全离开驾驶的情况。具体地，假设驾驶员正在小睡。
[0461]
在系统在时间t0或之前的被动监视时间段中检测到驾驶员正在睡觉的情况下，系统需要计算在移交处理之前响起起床警报的最佳定时。
[0462]
期望的是使驾驶员在安全区间进行移交，以获得良好的清醒和移交。因此，系统基于道路环境的所谓的局部动态地图(ldm)信息、即ldm信息，选择最佳移交执行区间，在ldm信息中，在持续不断的基础上以高密度更新车辆行驶的道路的行驶地图信息。
[0463]
例如，系统从ldm获取区间信息，该区间信息指示在可以安全地执行从自动驾驶到手动驾驶的移交的直线道路区间中完成了移交，或者在即使在移交没有顺利地执行的情况
下执行减速、紧急疏散或停车也可以减少对周围其他行驶车辆的影响的区间中完成了移交。
[0464]
例如，系统(数据处理单元11)执行以下项目的复合性确定：
[0465]
低风险*低影响*浅睡眠区域，
[0466]
确定通知定时，并且发出恢复通知。
[0467]
即，实际通知或实际警报点是在驾驶员在行驶路线上到达浅层快速眼动(rem)睡眠的最后道路安全区间段中确定的，或者在即使车辆在紧急情况下停车、发生交通堵塞的风险也很低的最后区间中确定的，等等。这是因为，例如，为了避免在进入车辆无法彼此通过的山区中的狭窄道路区间而不是道路的直线区间之后设定移交点；或者，为了避免以下危险状况，其中，如果在驾驶员在快速眼动(rem)睡眠之后已转变到深度睡眠的区间中发出唤醒通知或警报，则驾驶员醒来得不好，并且要求驾驶员在醒来后尽早做出复杂的道路处理确定。
[0468]
((b)：t0至t1)
[0469]
系统(数据处理单元11)基于驾驶员的监视信息、使用特定于驾驶员的恢复特性的学习词典来计算用于使驾驶员以预定请求恢复率(rrr)在移交极限点处执行到手动驾驶的移交的通知点。
[0470]
当系统(数据处理单元11)在时间t0通知驾驶员时，驾驶员在时间t0或之后醒来并且开始起床。
[0471]
系统(数据处理单元11)通过tof传感器或相机检测驾驶员的起床，并且可以通过该检测信息来评估驾驶员的动作。
[0472]
时间t0到t1的长度是从以下数据中分配的预算，在该数据中，为了获得预定请求恢复率(rrr)而醒来和起床所需的时间是通过学习处理来计算的，并且是可允许的最大时间。平均恢复转变数据由交替的长虚线和短虚线来指示。示出的粗虚线(观测数据示例)是观测数据的示例。
[0473]
如果该观测数据示例遵循由交替的长虚线和短虚线指示的平均恢复时间，则不会发生延迟。
[0474]
由于垂直轴上指示的剩余宽限时间随着进度进行而减少，因此当发生一定级别或更大级别的恢复延迟时，实现预定请求恢复率(rrr)的恢复变得困难。在延迟发生在由阴影区域指示的“红色区域”中的情况下，需要再次向驾驶员发出恢复警告，以提示尽早恢复。与可观测到的驾驶员恢复状态信息一起，提示尽早恢复的信息也是有效的恢复质量评估信息。
[0475]
((c)：t1至t2)
[0476]
由时间t1到t2指示的区间是预期驾驶员移动到驾驶员座椅的区间。如果发生侵蚀由阴影区域指示的“红色区域”的延迟，则发出用于提示尽早恢复的警告警报等。系统基于例如由tof传感器、相机、车辆内部位置跟踪设备等获得的获取信息，观测驾驶员到驾驶员座椅的恢复。
[0477]
((d)：t2至t3)
[0478]
在移动到驾驶员座椅并坐在驾驶员座椅上之后，驾驶员需要调整驾驶姿势。在该技术在未来演进地发展以使得在日常的基础上执行离开驾驶员座椅并恢复到驾驶员座椅
的情况下，预期在快速恢复的情况下，或者作为驾驶员不受驾驶员座椅的转向姿态约束的更自由姿态的使用形式，使用旋转移动的驾驶员座椅。
[0479]
系统(数据处理单元11)监视是否正常执行了需要的恢复过程，例如驾驶员从驾驶姿势恢复到旋转状态下的座椅，并将座椅返回到驾驶员可以驾驶并佩戴座椅安全带的方向。除了通过tof传感器或相机进行的姿势跟踪之外，还通过使用座椅的旋转驾驶姿势恢复检测、就座传感器、体温分布和生命信号检测、座椅安全带佩戴传感器等来执行该恢复过程评估。可以基于随时间变化的检测信息来评估恢复质量。
[0480]
((e)：t3至t4)
[0481]
驾驶员恢复到手动驾驶所需的就座姿势，并执行驾驶员和系统之间的交互式确认响应操作，例如，对在接收到恢复请求的移交点之后预期的手动驾驶侵入区间的注意信息的视觉确认和在向前行驶方向上的视觉确认。利用该处理，系统确定驾驶员是否正在做出采取正确思考过程的响应。
[0482]
在驾驶员昏昏欲睡或无意识的情况下，难以对系统做出正确的响应，并且即使没有充分地恢复清醒状态的驾驶员做出响应，响应结果也与预期的响应相差甚远。
[0483]
例如，作为由系统(数据处理单元11)执行的交互式响应确认处理，可以进行各种类型的处理，例如确认驾驶员是否正在利用适当的握力握住方向盘，确认是否利用适当的踏板踩踏按压和过程来执行处理，以及通过语音ai识别来进行有意义的提问和回答。
[0484]
注意，由于用户不喜欢涉及打扰的响应方法，因此期望的是可以获得简化的早期响应结果的手段。
[0485]
例如，作为交互式响应确认方法之一，手势操作的评估是有效的，其中，驾驶员利用视线在视觉上确认前方道路方向，同时用手指指点以对前方进行视觉确认，例如指点和呼叫。
[0486]
作为恢复质量，可以获取并记录驾驶员操作的延迟、通过评估指点和呼叫的眼睛、手指和道路前方之间的布置关系而获得的指点准确度等。即，评估可以被记录并保存在存储单元16中。
[0487]
((f)：t4至t5)
[0488]
时间t4至t5期间的眼球行为被称为“眼跳视”，并且是其中评估驾驶员响应特征当中的尤其与视觉有关的眼球的整体高速操作行为的区间。
[0489]
眼球行为包括基于反射行为的行为和眼跳视动作，该反射行为抵消与半规管的运动相关联的旋转运动等，该眼跳视动作相对于在周边视野中捕获的移动体的风险信息以高速移动中心视野。
[0490]
此外，由于基于记忆的确定是在感知、识别和确定几乎在中心视野中捕获的对象的过程中执行的，因此诸如固视、以及在固视附近的微眼跳视、震颤(tremor)和漂移之类的行为正在进行。此外，当吸引注意力的事件的刺激优先级等于或小于一定级别时，驾驶员表现出如下特征行为：完成视觉信息的判定和识别，并且将视线指向对象以补充信息，直到达到判定结果所需的结论为止。
[0491]
特别地，由于后者的行为与理解大脑中的决定极大地相关，因此可以基于观测结果来估计清醒状态。执行将视线移动到新对象的眼跳视动作的因素包括用于进入周边视野的其他风险因素、与诸如警笛之类的声音相关联的刺激、冲击或与记忆相关联的刺激，并且
存在各种表达因素。作为结果，即使存在诸如状况、驾驶经验和疲劳程度之类的倾向，眼球行为的检测、眼球行为的发生频率和持续时间也具有很大的个体差异。另一方面，关于驾驶员的清醒度的恢复质量，可以参考在稳定清醒下的稳定行为来评估驾驶员的清醒度。
[0492]
当在车辆通过自动驾驶行驶的同时驾驶员通过指引视线来检查周围环境信息时，需要注意各种各样的风险因素。例如，在分析驾驶员的视线时，可以使用如下方法：根据在车辆行驶方向上的前方场景生成语义显著性地图(以场景中包括的物体为单位的预测注意分布地图)，并且分析驾驶员针对地图的视线行为。然而，车辆行驶的道路多种多样，并且驾驶员的视线行为往往与预期的不同，以及难以稳定地观测行为。
[0493]
用于在从自动驾驶移交到手动驾驶时确定清醒度的宽限时间是有限的。因此，有效的是，在短时间段内人为地呈现某个课题以使驾驶员在确认该课题时表达眼球行为，并且执行稳定的眼球行为评估。即，不是在事故行驶期间观测针对前方风景的眼球行为，而是对于由系统机械地呈现的课题进行行为分析。在评估方法中，在矩阵信息呈现设备中呈现移交注意信息，分析驾驶员针对呈现信息的眼球行为，并且可以评估驾驶员的清醒度。此外，可以使用在车辆行驶前方的空间中将呈现给驾驶员的信息投影为虚拟图像的显示器(例如，增强现实平视显示器(ar-hud))来执行虚拟图像显示。
[0494]
((g)：t5至t6)
[0495]
时间t5至t6期间的“恢复能力检查(s/p)”是这样的时间段，其中驾驶员部分地开始实际车辆的车辆转向，并且在该区间中执行体力上和身体上的实质性转向评估。
[0496]
当系统(数据处理单元11)确定驾驶员可以实质性地开始手动驾驶恢复时，车辆根据驾驶员对转向设备的转向而开始行驶。替选地，在评估驾驶员针对转向设备的转向质量和实际转向适当性的同时，逐渐抑制自动驾驶控制的干预，并且增加驾驶员对手动驾驶的依赖性。
[0497]
如上所述，图24中所示的示例是这样的图，其中，在驾驶员已离开驾驶员座椅并且正在小睡的状态下系统在时间t0向驾驶员发出通知(手动驾驶恢复请求通知)之后的驾驶员状态和系统对驾驶员的观测状态((a)到(g))的变化点被连接。
[0498]
在驾驶员正在入睡的同时系统在时刻t0向驾驶员发出通知(手动驾驶恢复请求通知)的情况下，驾驶员状态和系统对驾驶员的观测状态如下面的(a)至(g)中那样地变化。
[0499]
(a)被动监视(系统通过被动监视观测到驾驶员正在进行小睡)
[0500]
(b)醒来、起床以及检查周围环境
[0501]
(c)驾驶员座椅恢复
[0502]
(d)驾驶姿势恢复
[0503]
(e)主动响应
[0504]
(f)眼球行为
[0505]
(g)恢复能力检查(s/p)
[0506]
状态变化(a)到(g)是驾驶员的初始状态为小睡状态的情况特有的状态变化。
[0507]
驾驶员状态或系统对驾驶员的观测状态的转变根据驾驶员的初始状态而变化。
[0508]
图25是示出根据驾驶员的不同初始状态的状态变化的转变和转变定时的示例的图。
[0509]
图25示出了根据驾驶员的以下四种不同初始状态的状态变化的转变示例。
[0510]
(1)驾驶员在小睡空间中进行小睡的情况
[0511]
(2)驾驶员醒着并且离开驾驶员座椅(清醒状态)的情况
[0512]
(3)驾驶员坐在驾驶员座椅上但未处于驾驶姿势的情况
[0513]
(4)驾驶员在保持驾驶姿势的同时执行次级任务的情况
[0514]
(1)驾驶员在小睡空间中进行小睡的情况对应于参考图24描述的示例。即，驾驶员状态和系统对驾驶员的观测状态如下面的(a)至(g)中那样地变化。
[0515]
(a)被动监视(系统通过被动监视观测到驾驶员正在进行小睡)
[0516]
(b)醒来、起床以及检查周围环境
[0517]
(c)驾驶员座椅恢复
[0518]
(d)驾驶姿势恢复
[0519]
(e)主动响应
[0520]
(f)眼球行为
[0521]
(g)恢复能力检查(s/p)
[0522]
在(2)驾驶员醒着并且离开驾驶员座椅(清醒状态)的情况下，驾驶员状态和系统对驾驶员的观测状态如图25中的以下(h)到(g)中所示地变化。
[0523]
(h)驾驶员离开驾驶员座椅的状态(系统通过被动监视和主动监视观测到驾驶员离开驾驶员座椅)
[0524]
(c)驾驶员座椅恢复
[0525]
(d)驾驶姿势恢复
[0526]
(e)主动响应
[0527]
(f)眼球行为
[0528]
(g)恢复能力检查(s/p)
[0529]
即，在(1)的初始状态为进行小睡的情况下的(a)被动监视和(b)醒来、起床以及检查周围环境被改变为：
[0530]
(h)驾驶员离开驾驶员座椅的状态(系统通过被动监视和主动监视观测到驾驶员离开驾驶员座椅)。
[0531]
此外，从状态(h)到“状态(c)驾驶员座椅恢复”的转变时间(t11)早于在(1)的初始状态为进行小睡的情况下的从“状态(b)醒来、起床以及检查周围环境”到“状态(c)驾驶员座椅恢复”的转变时间(t1)。
[0532]
这是因为状态(h)是清醒状态，在该清醒状态下，驾驶员的意识比“状态(b)醒来、起床以及检查周围环境”更清晰。
[0533]
在(3)驾驶员坐在驾驶员座椅上但未处于驾驶姿势的情况下，驾驶员状态和系统对驾驶员的观测状态如图25中的以下(i)至(g)中所示地变化。
[0534]
(i)驾驶员在驾驶员座椅上处于非正常姿势状态的状态(系统通过被动监视和主动监视观测到驾驶员在驾驶员座椅上处于非正常姿势状态)
[0535]
(d)驾驶姿势恢复
[0536]
(e)主动响应
[0537]
(f)眼球行为
[0538]
(g)恢复能力检查(s/p)
[0539]
即，在(1)的初始状态为进行小睡的情况下的(a)被动监测到(c)驾驶员座椅恢复被改变为：
[0540]
(i)驾驶员在驾驶员座椅上处于非正常姿势状态的状态(系统通过被动监视和主动监视观测到驾驶员在驾驶员座椅上处于非正常姿势状态)。
[0541]
此外，，从状态(i)到“状态(d)驾驶姿势恢复”的转变时间(t22)早于在(2)的初始状态为离开驾驶员座椅的情况下的从“状态(c)驾驶员座椅恢复”到“状态(d)驾驶姿势恢复”的转变时间(t12)。
[0542]
这是因为状态(i)是驾驶员已经在驾驶员座椅上的状态，并且不需要到驾驶员座椅的恢复操作。
[0543]
在(4)驾驶员在保持驾驶姿势的同时执行次级任务的情况下，驾驶员状态和系统对驾驶员的观测状态如图25中的以下(i)到(g)中所示地变化。
[0544]
(j)驾驶员在驾驶员座椅上执行次级任务的状态(系统通过被动监视和主动监视观测到驾驶员在驾驶员座椅上执行次级任务)
[0545]
(e)主动响应
[0546]
(f)眼球行为
[0547]
(g)恢复能力检查(s/p)
[0548]
即，在(1)的初始状态为进行小睡的情况下的(a)被动监视到(d)驾驶姿势恢复被改变为：
[0549]
(j)驾驶员在驾驶员座椅上执行次级任务的状态(系统通过被动监视和主动监视观测到驾驶员在驾驶员座椅上执行次级任务)。
[0550]
如上所述，驾驶员状态或系统对驾驶员的观测状态的转变根据驾驶员的初始状态而变化。
[0551]
以此方式，数据处理单元11观测参考图24和图25描述的驾驶员到手动驾驶恢复的状态转变，计算在从自动驾驶转变到手动驾驶时的转变宽限时间，并且进一步执行对于驾驶员的恢复质量的评估处理。此外，在检测到从自动驾驶转变到手动驾驶时的驾驶员的恢复延迟的情况下，数据处理单元11执行诸如警告、警报通知、或者座椅或方向盘的振动输出之类的响应。
[0552]
通过由数据处理单元11执行的对于驾驶员的恢复质量的评估处理而计算的评估值被存储在车辆10的存储单元16或服务器30中，作为以上参考图13描述的“无需变换的数据”的配置数据。
[0553]
注意，在能够将自动驾驶切换到手动驾驶的车辆中，由驾驶员信息获取单元12获取的参数(驾驶员信息)包括各种类型的信息。
[0554]
将参考图26描述由驾驶员信息获取单元12获取的参数(驾驶员信息)的具体示例。
[0555]
图26示出了以下数据的对应数据。
[0556]
(1)参数(驾驶员信息)类型
[0557]
(2)参数(驾驶员信息)配置数据的具体示例
[0558]
(3)根据个人信息保护法规(gdpr)的记录允许性
[0559]
(4)参数(驾驶员信息)的使用示例
[0560]
(1)参数(驾驶员信息)类型分为从第零阶参数到第六阶参数的七种类型。
[0561]
将描述每个参数(驾驶员信息)。
[0562]
(第零阶参数(驾驶员信息))
[0563]
第零阶参数(驾驶员信息)包括面部和虹膜数据。
[0564]
这些数据是根据由eu规定的个人信息保护法规(gdpr)不允许记录的数据。
[0565]
例如，作为第零阶参数(驾驶员信息)的面部和虹膜数据用于个人认证。
[0566]
由于作为第零阶参数(驾驶员信息)的面部和虹膜数据是根据个人信息保护法规(gdpr)不允许记录的数据，因此将该数据作为抽象化数据或加密数据存储在车辆10的存储单元16或服务器30中。
[0567]
(第一阶参数(驾驶员信息))
[0568]
第一阶参数(驾驶员信息)包括眼球行为分析数据(眼跳视、微眼跳视、漂移、固视、会聚角等)。
[0569]
这些数据是根据由eu规定的个人信息保护法规(gdpr)允许记录的数据。
[0570]
例如，作为第一阶参数(驾驶员信息)的眼球行为分析数据(眼跳视、微眼跳视、漂移、固视、会聚角等)用于基于大脑活动和内部清醒分析的清醒度评估。
[0571]
由于作为第一阶参数(驾驶员信息)的眼球行为分析数据(眼跳视、微眼跳视、漂移、固视、会聚角等)是根据由eu规定的个人信息保护法规(gdpr)允许记录的数据，所以将眼球行为分析数据作为无需变换的数据按原样存储在车辆10的存储单元16或服务器30中。
[0572]
(第二阶参数(驾驶员信息))
[0573]
第二阶参数(驾驶员信息)包括闭眼率评估值(perclos)、面部取向和视线稳定性评估值(坐标和指标化数据)。
[0574]
在这些数据当中，包括面部图像和眼睛图像的数据是根据由eu规定的个人信息保护法规(gdpr)不允许记录的数据。
[0575]
例如，作为第二阶参数(驾驶员信息)的闭眼率评估值(perclos)、面部取向和视线稳定性评估值(坐标和指标化数据)用于评估疲劳、睡意、睡意征兆、意识降低和视线稳定性、以及转向和踏板转向稳定性。
[0576]
因为根据由eu规定的个人信息保护法规(gdpr)不允许记录包括面部图像或眼睛图像的数据，所以作为第二阶参数(驾驶员信息)的闭眼率评估值(perclos)、面部取向和视线稳定性评估值(坐标和指标化数据)被作为抽象化数据或加密数据存储在车辆10的存储单元16或服务器30中。
[0577]
将在数据中不包括面部图像或眼睛图像的数据作为无需变换的数据按原样存储在车辆10的存储单元16或服务器30中。
[0578]
(第三阶参数(驾驶员信息))
[0579]
第三阶参数(驾驶员信息)包括位置、就座姿势和肢体关节姿势移动数据tof传感器等的肢体关节姿势移动数据。
[0580]
在这些数据中，包括面部图像、身体图像和眼睛图像的数据是根据由eu规定的个人信息保护法规(gdpr)不允许记录的数据。
[0581]
例如，作为第三阶参数(驾驶员信息)的位置、就座姿势和肢体关节姿势移动数据tof传感器等的肢体关节姿势移动数据用于评估到手动驾驶的恢复动作。
[0582]
因为根据由eu规定的个人信息保护法规(gdpr)不允许记录包括面部图像、身体图
像或眼睛图像的数据，所以作为第三阶参数(驾驶员信息)的位置、就座姿势和肢体关节姿势移动数据tof传感器等的肢体关节姿势移动数据被作为抽象化数据或加密数据存储在车辆10的存储单元16或服务器30中。
[0583]
将在数据中不包括面部图像、身体图像或眼睛图像的数据作为无需变换的数据按原样存储在车辆10的存储单元16或服务器30中。
[0584]
(第四阶参数(驾驶员信息))
[0585]
第四阶参数(驾驶员信息)包括脑电波(eeg)、脉搏波和呼吸数据。
[0586]
在这些数据中，可识别个人的数据是根据由eu规定的个人信息保护法规(gdpr)不允许记录的数据。
[0587]
例如，作为第四阶参数(驾驶员信息)的脑电波(eeg)、脉搏波和呼吸数据用于清醒度评估。
[0588]
作为第四阶参数(驾驶员信息)的脑电波(eeg)、脉搏波和呼吸数据是根据由eu规定的个人信息保护法规(gdpr)不允许记录的数据，并且将这些数据作为抽象化数据或加密数据存储在车辆10的存储单元16或服务器30中。
[0589]
在数据不是可识别个人的数据的情况下，将该数据作为无需变换的数据按原样存储在车辆10的存储单元16或服务器30中。
[0590]
(第五阶参数(驾驶员信息))
[0591]
第五阶参数(驾驶员信息)包括用于系统通知、警告和信息更新等的响应特征数据。
[0592]
这些数据是根据由eu规定的个人信息保护法规(gdpr)允许记录的数据。
[0593]
例如，作为第五阶参数(驾驶员信息)的对于系统通知、警告和信息更新等的响应特征数据用于清醒度评估。
[0594]
由于作为第五阶参数(驾驶员信息)的对于系统通知、警告和信息更新等的响应特征数据是根据由eu规定的个人信息保护法规(gdpr)允许记录的数据，所以将响应特征数据作为无需变换的数据按原样存储在车辆10的存储单元16或服务器30中。
[0595]
(第六阶参数(驾驶员信息))
[0596]
第六阶参数(驾驶员信息)包括从自动驾驶到手动驾驶的移交数据和移交完成后的恢复质量数据(恢复延迟时间和恢复后的驾驶操作质量数据)。
[0597]
这些数据是根据由eu规定的个人信息保护法规(gdpr)允许记录的数据。
[0598]
例如，作为第六阶参数(驾驶员信息)的从自动驾驶到手动驾驶的移交数据和移交完成后的恢复质量数据(恢复延迟时间和恢复后的驾驶操作质量数据)用于评估驾驶员的手动驾驶恢复质量。
[0599]
由于作为第六阶参数(驾驶员信息)的从自动驾驶到手动驾驶的移交数据和移交完成后的恢复质量数据(恢复延迟时间和恢复后的驾驶操作质量数据)是根据由eu规定的个人信息保护法规(gdpr)允许记录的数据，所以将这些数据作为无需变换的数据按原样存储在车辆10的存储单元16或服务器30中。
[0600]
如上所述，在能够将自动驾驶切换到手动驾驶的车辆中，由驾驶员信息获取单元12获取的驾驶员信息包括各种类型的信息。
[0601]
注意，如上所述，图13中所示的数据处理单元11的获取信息分析单元51包括例如
数据判别表，该数据判别表定义了诸如图像、距离数据或生命信号之类的每种数据类型属于“无需变换的数据”和“需要变换的数据”中的哪一个；并且通过参考数据判别表来确定从驾驶员信息获取单元12输入的驾驶员信息和从环境信息获取单元13输入的诸如车辆信息和外部信息之类的环境信息中的每一个属于“需要变换的数据”和“无需变换的数据”中的哪一个。
[0602]
替选地，在不使用这样的判别表的情况下，获取信息分析单元51可以被配置为执行例如图像分析以判别是否包括违反个人信息保护法规的数据，并且执行基于人的判别结果将数据分类为“需要变换的数据”和“无需变换的数据”的处理。
[0603]
注意，图13中所示的数据处理单元11的获取信息分析单元51基于从获取信息分析单元51输入的驾驶员的观测信息来计算诸如驾驶员的清醒度评估值之类的各种评估值，并且将评估值存储在服务器30或存储单元16中。
[0604]
例如，由图13中所示的诸如警官之类的交通制裁执行者拥有的信息终端40可以从车辆10的存储单元16或服务器30获取评估值，并且在终端上显示评估值。
[0605]
将参考图27和后续附图描述信息终端40中的数据显示示例。
[0606]
图27和后续附图中所示的信息终端40的数据显示示例不同于以上参考图20至图22描述的数据显示示例，并且是显示诸如从自动驾驶到手动驾驶的恢复质量的评估信息之类的数据的数据示例。
[0607]
在图27中所示的示例中，在显示终端40中设定观测数据显示区域61、显示数据选择部62、评估信息显示区域66和区间对应信息显示区域67。这些显示区域中的显示数据是基于存储在车辆10的存储单元16或服务器30中的数据而显示的数据。
[0608]
观测数据显示区域61是与以上参考图20描述的显示区域类似的显示区域。通过从左向右移动滑动器65，在观测数据显示区域61中显示与时间流逝相对应的观测数据。
[0609]
使用存储在车辆10的存储单元16或服务器30中的抽象化数据来显示指示驾驶员的姿势信息的图像数据。
[0610]
显示数据选择部62是用于选择要在观测数据显示区域61或评估信息显示区域中显示的数据的选择部。
[0611]
在所示的示例中，选择“就座姿势评估”。
[0612]
这是通过评估驾驶员在手动驾驶的开始准备阶段所需的到驾驶员座椅的就座姿势而获得的数据。
[0613]
该评估数据是由数据处理单元11的获取信息分析单元51计算的数据，并且作为无需变换的数据存储在服务器30或存储单元16中。
[0614]
如参考图24和图25所述，数据处理单元11观测驾驶员到手动驾驶恢复的状态转变，计算从自动驾驶到手动驾驶转变时的转变宽限时间，并且进一步执行对于驾驶员恢复质量的评估处理。在该评估处理中，计算各种评估值。图27中所示的“就座姿势评估”数据是在该评估处理中生成的数据。
[0615]
在图27中所示的评估信息显示区域66中显示“就座姿势评估”数据。
[0616]
在图27中所示的评估信息显示区域66中显示的就座姿势评估数据是在水平轴上具有时间轴并且在垂直轴上具有评估值(就座姿势评估值)的图。从最新的获取数据追溯到过去的评估值数据被获取，并以图形的形式示出。
[0617]
实线指示根据驾驶员的观测信息的评估值转变数据，并且虚线指示预期评估值转变数据。
[0618]
评估值范围为0分到10分，并且随着就座姿势是使得驾驶员能够执行更安全的手动驾驶的就座姿势，分数会增加。需要在手动驾驶开始区间之前达到10分，并且评估值沿着所示的虚线(即预期评估值转变数据)转变是有利的。
[0619]
在所示的示例中，根据驾驶员的观测信息的由实线指示的评估值转变数据相对于由虚线指示的预期评估值转变数据具有时间延迟。
[0620]
即，驾驶员可以确认手动驾驶的准备工作迟了。
[0621]
例如，通过显示并检查这样的评估值，警官可以执行处理，诸如对驾驶员施加处罚。
[0622]
注意，例如，在区间对应信息显示区域67中，
[0623]
(a)道路区间信息，
[0624]
(b)允许的次级任务信息，以及
[0625]
(c)驾驶员违章信息
[0626]
被显示为与道路区间位置相对应的数据。
[0627]
(a)道路区间信息是与以上参考图20描述的道路区间信息输出部63的输出信息相类似的信息。即，道路区间信息是与参考图9至12描述的行驶区间显示数据相对应的区间信息，并且是自动驾驶允许区间和手动驾驶区间的区间信息。
[0628]
作为(b)允许的次级任务信息，根据每个区间显示可由驾驶员执行的次级任务信息。该数据是预先存储在车辆10的存储单元16或服务器30中的数据。
[0629]
(c)驾驶员违章信息是由数据处理单元11基于(b)允许的次级任务信息和驾驶员观测信息而生成的数据，并且预先存储在车辆10的存储单元16或服务器30中。
[0630]
例如，在不允许睡觉的区域中观测到睡觉等情况下，执行指示违章的显示，例如红色显示。
[0631]
例如，通过检查这样的显示数据，警官可以执行处理，诸如对驾驶员施加处罚。
[0632]
因此，例如，警官可以执行处理，诸如对驾驶员施加处罚。
[0633]
注意，通过向右移动滑动器65，在观测数据显示区域61中显示在时间推移之后的驾驶员的姿势信息。
[0634]
例如，在观测数据显示区域61中显示图27右侧所示的在滑动器移动之后的(t2)显示数据。
[0635]
接下来，将参考图28描述信息终端40上的不同数据显示示例。
[0636]
图28中所示的数据显示示例是在显示数据选择部62中指定了“车辆内移动位置”的情况下的显示数据。在这种情况下，在显示终端40的观测数据显示区域61中显示驾驶员的移动方式信息。通过从左向右移动滑动器65，在观测数据显示区域61中显示与时间流逝相对应的观测数据。
[0637]
使用存储在车辆10的存储单元16或服务器30中的抽象化数据来显示指示驾驶员的移动信息的图像数据。
[0638]
通过向右移动滑动器65，在观测数据显示区域61中显示在时间推移之后的驾驶员的移动信息和姿势信息。
[0639]
例如，在观测数据显示区域61中显示图28右侧所示的在滑动器移动之后的(t2至t3)显示数据。
[0640]
此外，将参考图29描述信息终端40上的不同数据显示示例。
[0641]
图29中所示的数据显示示例是在显示数据选择部62中指定了“面部取向、闭眼率评估值(perclos)”的情况下的显示数据。在这种情况下，如图所示，在显示终端40的观测数据显示区域61中设定面部图像显示区域68，并且使用面部抽象化数据来显示其中可以确认面部取向和闭眼率评估值(perclos)的图像。
[0642]
该显示数据还使用存储在车辆10的存储单元16或服务器30中的抽象化数据来显示。
[0643]
抽象化数据使用例如虚拟图像、虚拟化身或角色图像来显示，并且是由车辆10的数据处理单元11基于如以上参考图13和后续附图所述的驾驶员信息获取单元12的获取数据而生成的数据。
[0644]
因此，在警官等通过在巡逻的巡逻车等制裁违反法规的车辆的情况下，警官可以使用信息终端40确认在从现在开始追溯的任何定时或点处的情况。即，通过使用信息终端40，可以确认在任意定时的诸如驾驶员的姿势状态、视线状态和清醒状态之类的各种状态，并且可以基于状态确认来快速且可靠地确认违章。
[0645]
在驾驶员主张没有违章的情况下，例如，获取存储在车辆10的存储单元16或服务器30中的数据作为加密数据，并且可以使用仅由驾驶员知道的解密密钥(密码等)生成并呈现解密数据。例如，通过分析这些呈现信息，还可以确认是否可执行由车辆10侧的系统允许的次级任务，是否执行忽略恢复通知的连续次级任务，等等。此外，还可以确认诸如由于车辆侧的通知系统的故障而导致的恢复延迟或对鲁莽的系统恢复请求通知的无视之类的状况。假设驾驶员以各种不同方式执行违章，例如在不允许执行次级任务的区间中执行次级任务，以及执行不可接受类型的次级任务，并且加密的记录信息对于这些违章的详细分析具有重要意义。
[0646]
[8.移动设备(车辆)的配置示例]
[0647]
接下来，将描述与图1中所示的车辆10相对应的本公开的移动设备100的具体配置示例。
[0648]
注意，在下文中，在区分配备有移动设备100的车辆与其他车辆的情况下，车辆被称为用户本车或用户本车辆。
[0649]
移动设备100包括输入单元101、数据获取单元102、通信单元103、车内设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。
[0650]
输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121例如包括符合任意标准的车载通信网络，诸如控制器局域网(can)、局部互连网络(lin)、局域网(lan)或flexray(注册商标)、总线等。注意，移动设备100的单元可以在没有通信网络121的情况下直接连接。
[0651]
注意，在下文中，在移动设备100的单元经由通信网络121执行通信的情况下，省略对通信网络121的描述。例如，输入单元101和自动驾驶控制单元112经由通信网络121执行
通信的情况将被简单地描述为输入单元101和自动驾驶控制单元112执行通信。
[0652]
输入单元101包括由乘员用来输入各种数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和控制杆之类的操作设备、以及能够通过除了手动操作以外的方法(诸如语音或手势)输入数据和指令的操作设备等。此外，例如，输入单元101可以是使用红外线或其他无线电波的遥控设备、或者诸如与移动设备100的操作相对应的移动设备或可穿戴设备之类的外部连接设备。输入单元101基于由乘员输入的数据、指令等生成输入信号，并将输入信号提供给移动设备100的每个单元。
[0653]
数据获取单元102包括获取要用于移动设备100的处理的数据的各种传感器，并将所获取的数据提供给移动设备100的每个单元。
[0654]
例如，数据获取单元102包括用于检测用户本车的状态等的各种传感器。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量设备(imu)、以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、马达转速、车轮转速等的传感器。
[0655]
此外，例如，数据获取单元102包括用于检测用户本车外部信息的各种传感器。具体地，例如，数据获取单元102包括诸如飞行时间(tof)相机、立体相机、单目相机、红外相机和其他相机之类的成像设备。此外，例如，数据获取单元102包括用于检测天气、气象现象等的环境传感器和用于检测用户本车周围的物体的环境信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器等。环境信息检测传感器包括例如超声波传感器、雷达、光检测与测距或激光成像检测与测距(lidar)设备、声纳等。
[0656]
已经参考图3描述了作为数据获取单元102的配置元件的用于检测用户本车的外部信息的各种传感器的安装示例。
[0657]
在车辆的各种位置处设置多个成像设备和传感器。
[0658]
数据获取单元102还包括用于检测用户本车的当前位置的各种传感器。具体地，例如，数据获取单元102包括从全球导航卫星系统(gnss)卫星接收gnss信号的gnss接收器等。
[0659]
此外，例如，数据获取单元102包括用于检测车辆内部信息的各种传感器。具体地，例如，数据获取单元102包括对驾驶员进行成像的成像设备、检测驾驶员的生物特征信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器设置在例如座椅表面、方向盘等上，并检测坐在座椅上的乘员的就座状态或握着方向盘的驾驶员的生物特征信息。作为生命信号，可使用多种可观测数据，诸如心率、脉搏率、血流、呼吸、身心相关性、视觉刺激、脑电波、出汗状态、头部姿势行为、眼睛、注视、眨眼、眼跳视、微眼跳视、固视、漂移、凝视、闭眼率评估值(perclos)和虹膜瞳孔反应。这些反映可观测驾驶状态的活动可观测信息被聚合为根据观测估计的可观测评估值，并且与评估值的日志相关联的恢复延迟时间特性被用作驾驶员的恢复延迟情况的特定特性，以用于由下面描述的安全性确定单元155计算恢复通知定时。
[0660]
已经参考图2描述了包括在数据获取单元102中的用于获得汽车中的驾驶员的信息的各种传感器的示例。
[0661]
即，数据获取单元102包括相机、立体相机、tof传感器、座椅应变计等作为用于检测驾驶员的位置和姿势的检测器。此外，数据获取单元102包括面部识别设备(面部(头部)识别)、驾驶员眼睛跟踪器、驾驶员头部跟踪器等作为用于获取驾驶员的活动可观测信息的
检测器。
[0662]
此外，数据获取单元102包括生命信号检测器作为用于获得驾驶员的活动可观测信息的检测器。此外，数据获取单元102包括驾驶员认证(驾驶员识别)单元。注意，作为认证方法，除了使用密码、个人识别码等的知识认证之外，还可以考虑使用面部、指纹、瞳孔虹膜、声纹等的生物特征认证。
[0663]
通信单元103与车内设备104和车外各种设备、服务器、基站等进行通信，发送从移动设备100的每个单元提供的数据，并将接收到的数据提供给移动设备100的每个单元。注意，由通信单元103支持的通信协议不受特别限制，并且通信单元103可以支持多种类型的通信协议。
[0664]
例如，通信单元103使用无线lan、蓝牙(注册商标)、近场通信(nfc)、无线usb(wusb)等执行与车内设备104的无线通信。此外，例如，通信单元103使用通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)、移动高清链路(mhl)等，经由连接端子(未示出)(以及需要时的电缆)执行与车内设备104的有线通信。
[0665]
此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)通信。此外，例如，通信单元103使用对等(p2p)技术与存在于用户本车附近的终端(例如，行人或商店的终端、或机器类型通信(mtc)终端)通信。
[0666]
此外，例如，通信单元103执行v2x通信，诸如车辆对车辆通信、车辆对基础设施通信、车辆对家庭通信和车辆对行人通信。此外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线站等发送的无线电波或电磁波，并获取诸如当前位置、拥塞、交通管制或所需时间之类的信息。注意，通过通信单元，可与作为先导车辆的在区间中行驶时行驶在前方的车辆进行配对，并且由安装在前方车辆上的数据获取单元获取的信息可以被获取为事前行驶信息，并且可以补充地用作用户本车的数据获取单元102的数据。特别地，例如，使用先导车辆的队列行驶，这将是确保后续队列车辆的安全的手段。
[0667]
例如，车内设备104包括乘员的移动设备(平板计算机、智能电话等)或可穿戴设备、携带在或附连到用户本车上的信息设备、以及用于搜索到任意目的地的路线的导航设备。注意，考虑到由于自动驾驶的普及，乘员并非总是固定在座椅固定位置处，车内设备104可扩展为视频播放器、游戏设备或可安装在车辆上并从车辆上拆下以供将来使用的任何其他设备。在本实施例中，描述了其中需要驾驶员干预的点的信息的呈现限于适当的驾驶员的示例。然而，该信息可进一步在队列行驶等时被提供给后续车，或者，可以通过不断地向客运共享巴士和长途物流商用车辆的运营管理中心提供信息，适当地将信息提供与远程行驶支持相结合来使用。
[0668]
输出控制单元105控制将各种类型的信息输出到用户本车的乘员或车辆外部。例如，输出控制单元105通过如下方式来控制来自输出单元106的视觉信息(例如，图像数据)和听觉信息(例如，声音数据)的输出：生成包括视觉信息或听觉信息中的至少一个的输出信号，并将输出信号提供给输出单元106。具体地，例如，输出控制单元105合成由数据获取单元102的不同成像设备捕获的图像数据以生成鸟瞰图图像、全景图像等，并将包括所生成的图像的输出信号提供给输出单元106。此外，例如，输出控制单元105针对碰撞、接触、进入危险区域等危险生成包括警告声音、警告消息等的声音数据，并将包括所生成的声音数据
的输出信号提供给输出单元106。
[0669]
输出单元106包括能够将视觉信息或听觉信息输出到用户本车的乘员或车辆外部的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、耳机、诸如由乘员佩戴的眼镜型显示器之类的可穿戴设备、投影仪、灯等。除了具有正常显示的设备之外，输出单元106中包括的显示设备还可以是例如平视显示器、透射类型显示器或用于在驾驶员的视野中显示视觉信息的设备，诸如具有增强现实(ar)显示功能的设备。
[0670]
驱动系统控制单元107通过生成各种控制信号并将控制信号提供给驱动系统108来控制驱动系统108。此外，驱动系统控制单元107根据需要向除驱动系统108以外的每个单元提供控制信号，以发出驱动系统108的控制状态的通知等。
[0671]
驱动系统108包括与用户本车的驱动系统相关的各种设备。例如，驱动系统108包括用于产生内燃机、驱动马达等的驱动力的驱动力产生设备、用于将驱动力传递到车轮的驱动力传递机构、用于调整转向角的转向机构、用于产生制动力的制动设备、防抱死制动系统(abs)、电子稳定控制系统(esc)、电动助力转向设备等。
[0672]
车身系统控制单元109通过生成各种控制信号并将控制信号提供给车身系统110来控制车身系统110。此外，车身系统控制单元109根据需要向除车身系统110以外的每个单元提供控制信号，并通知车身系统110的控制状态等。
[0673]
车身系统110包括安装在车身上的各种车身系统设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、方向盘、空调、各种灯(例如，头灯、尾灯、制动灯、转向灯、雾灯等)等。
[0674]
例如，存储单元111包括诸如只读存储器(rom)、随机存取存储器(ram)和硬盘驱动器(hdd)之类的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储由移动设备100的每个单元使用的各种程序、数据等。例如，存储单元111存储地图数据，诸如动态地图之类的三维高精度地图、精度低于高精度地图但覆盖面积大的全局地图以及包括用户本车周围的信息的局部地图。
[0675]
自动驾驶控制单元112执行与诸如自主驾驶或驾驶支持之类的自动驾驶相关的控制。具体地，例如，自动驾驶控制单元112为了实现高级驾驶员辅助系统(adas)功能的目的而执行协同控制，该adas功能包括用户本车的碰撞避免或减震、基于车辆间隙的跟随行驶、车辆速度保持行驶、用户本车的碰撞警告、用户本车的车道偏离警告等。此外，例如，自动驾驶控制单元112在不依赖于驾驶员的操作的情况下为了自主行驶的自动驾驶等目的而执行协同控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、规划单元134和操作控制单元135。
[0676]
检测单元131检测为控制自动驾驶所需的各种类型的信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143。
[0677]
车辆外部信息检测单元141基于来自移动设备100的每个单元的数据或信号执行检测用户本车外部信息的处理。例如，车辆外部信息检测单元141执行对于用户本车周围的物体的检测处理、识别处理和跟踪处理，以及检测与该物体的距离和相对速度的处理。例如，要检测的对象包括车辆、人、障碍物、结构物、道路、交通信号、交通标志、道路标记等。
[0678]
此外，例如，车辆外部信息检测单元141执行检测用户本车周围的环境的处理。要检测的周围环境包括例如天气、温度、湿度、亮度、路面状况等。车辆外部信息检测单元141
将指示检测处理结果的数据提供给自我位置估计单元132，状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153，以及操作控制单元135的紧急情况避让单元171等。
[0679]
在局部动态地图(ldm)中存储的行驶区间的情况下，由车辆外部信息检测单元141获取的信息可以主要从基础设施提供和接收，该区间作为可通过自动驾驶进行行驶的区间被持续不断地且重要地更新。替选地，用户本车可以通过在进入区间之前事先持续不断地接收来自区间中行驶在前方的车辆或车辆组的信息更新来行驶。此外，特别地，为了在队列行驶等中更安全地在紧接在进入区间之前获得道路信息的目的，例如基础设施没有持续不断地更新最新的局部动态地图的情况，可以进一步补充地使用从已进入该区间的先导车辆获得的道路环境信息。在许多情况下，自动驾驶可用的区间取决于由这些基础设施提供的先前信息的有无。由关于在由基础设施提供的路线上通过自动驾驶进行行驶的可用性的信息构成的更新后的新局部动态地图(ldm)相当于提供了看不见的轨迹作为所谓的“信息”。注意，为了方便起见，在将车辆外部信息检测单元141安装在用户本车上的假设下，示出了车辆外部信息检测单元141。通过使用由前面车辆捕获的信息作为“信息”，可以进一步提高行驶时的事前可预测性。
[0680]
车辆内部信息检测单元142基于来自移动设备100的每个单元的数据或信号执行检测车辆内部信息的处理。例如，车辆内部信息检测单元142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘员检测处理、车辆内部环境检测处理等。要检测的驾驶员的状态包括例如身体状况、清醒度、专注度、疲劳度、视线方向、详细的眼球行为等。
[0681]
此外，在未来，预期驾驶员在自动驾驶中完全将驾驶员的手从驾驶和转向操作中脱离，驾驶员暂时进入睡眠或开始做其他工作，并且系统需要掌握由驾驶恢复所需的意识的清醒恢复正进展到什么程度。即，在传统的驾驶员监视系统中，主要检测手段检测诸如睡意之类的意识下降。然而，在未来，驾驶员将完全不参与驾驶和转向。因此，系统无法从转向设备的转向稳定性等直接观测驾驶员的干预水平，需要从驾驶员的准确意识状态未知的状态观测由驾驶所需的意识恢复转变，掌握驾驶员的准确内部清醒状态，并且进行转向的从自动驾驶到手动驾驶的干预。
[0682]
因此，车辆内部信息检测单元142主要具有两个主要作用。第一个作用是在自动驾驶期间被动监视驾驶员的状态。第二个作用是从系统发出恢复请求时到车辆接近在谨慎注意下驾驶的区间时检测驾驶员的周边识别、感知、判断和对转向设备的操作能力，直到可以进行手动驾驶的水平。作为控制，可以进一步执行整个车辆的故障自诊断，并且在自动驾驶的功能由于自动驾驶的部分故障而恶化的情况下，可以类似地提示驾驶员尽早恢复到手动驾驶。这里的被动监视是指不需要来自驾驶员的有意识响应反应的类型的检测手段，并且不排除通过从设备发送物理无线电波、光等来检测响应信号的设备。即，被动监视是指监视驾驶员的无意识状态(例如在小睡期间)，而不是驾驶员的认知响应反应的分类是被动系统。被动监视不排除分析并评估通过发射无线电波、红外线等获得的反射或漫射信号的主动响应设备。另一方面，要求驾驶员做出要求响应反应的有意识响应的设备是主动系统。
[0683]
要检测的车辆内环境包括例如温度、湿度、亮度、气味等。车辆内部信息检测单元142将指示检测处理结果的数据提供给状况分析单元133的状况识别单元153和操作控制单元135。注意，在从系统向驾驶员发出驾驶恢复指令后发现驾驶员无法在适当的最后期限内
实现手动驾驶、并且确定即使在自行操作中执行减速控制以提供时间也无法及时进行移交的情况下，向系统的紧急情况避让单元171等发出指令，并且开始减速、疏散和停车过程以疏散车辆。即，即使在作为初始状态无法及时进行移交的情况下，也可以通过尽早使车辆减速来赢得达到移交极限的时间。通过赢得达到移交极限的时间，系统有空余的时间来处理事件，并且可以进行处理以确保安全。注意，如下所述，不需要的减速或慢速行驶的应用受到限制，因为这会增加导致交通堵塞和追尾碰撞风险的因素。
[0684]
车辆状态检测单元143执行基于来自移动设备100的每个单元的数据或信号来检测用户本车的状态的处理。要检测的用户本车的状态包括例如速度、加速度、转向角、异常的有无、异常的内容、驾驶操作状态、电动座椅的位置和倾斜、门锁状态、其他车内设备的状态等。车辆状态检测单元143将指示检测处理结果的数据提供给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况避让单元171等。
[0685]
自身位置估计单元132执行基于来自移动设备100的单元(例如，车辆外部信息检测单元141和状况分析单元133的状况识别单元153)的数据或信号来估计用户本车的位置、姿势等的处理。此外，自身位置估计单元132根据需要生成要用于估计自身位置的局部地图(在下文中被称为自身位置估计映射)。
[0686]
自身位置估计地图是使用诸如同步定位和映射(slam)之类的技术的高精度地图。自身位置估计单元132将指示估计处理结果的数据提供给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。此外，自身位置估计单元132使存储单元111存储自身位置估计地图。
[0687]
状况分析单元133执行分析用户本车及其周围环境的状况的处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153、状况预测单元154和安全性确定单元155。
[0688]
地图分析单元151根据需要执行使用来自移动设备100的单元(例如自身位置估计单元132和车辆外部信息检测单元141)的数据或信号来分析存储单元111中存储的各种地图的处理，并构建包括由自动驾驶处理所需的信息的地图。地图分析单元151将构建的地图提供给交通规则识别单元152、状况识别单元153、状况预测单元154、以及规划单元134的路线规划单元161、动作规划单元162和操作规划单元163等。
[0689]
交通规则识别单元152执行基于来自移动设备100的单元(例如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151)的数据或信号来识别用户本车周围的交通规则的处理。通过识别处理，例如识别用户本车周围的信号灯的位置和状态、用户本车周围的交通管制的内容、可行驶车道等。交通规则识别单元152将指示识别处理结果的数据提供给状况预测单元154等。
[0690]
状况识别单元153执行基于来自移动设备100的单元(例如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号来识别关于用户本车的状况的处理。例如，状况识别单元153执行识别用户本车的状况、用户本车周围的状况、用户本车的驾驶员的状况等的处理。此外，状况识别单元153根据需要生成用于识别用户本车周围的状况的局部地图(在下文中被称为状况识别地图)。例如，状况识别地图是占用网格地图。
[0691]
要识别的用户本车的状况例如是：用户本车的位置、姿势和运动(例如，速度、加速
度、移动方向等)，以及特定于车辆并且确定用户本车的运动特性的以下各项：货物装载量和伴随货物装载的车体重心的移动，轮胎压力，伴随制动衬块磨损的制动距离移动，防止由装载物制动引起的货物移动的可允许最大减速制动，以及在液体装载物的情况下在弯道上行驶时的离心缓和极限速度。此外，即使道路环境(例如路面的摩擦系数、道路弯道或坡度)完全相同，由控制所需的恢复开始定时也会根据特定于装载货物的条件、特定于车辆本身的特性、装载物等而不同。因此，需要收集并学习这样的各种条件，并在用于执行控制的最佳定时中反映出来。例如，在根据车辆类型和装载物来确定控制定时的时候，简单地观测并监视用户本车的异常的有无和异常的内容是不充分的。为了在运输行业等中根据装载物的固有特性确保一定安全水平，用于确定期望恢复时间的增加的参数可被预先设定为固定值，并且并不总是需要通过自身累积学习来统一地设定所有通知定时确定条件。
[0692]
要识别的用户本车周围的状况例如包括：周围静止物体的类型和位置，周围移动物体的类型、位置和运动(例如，速度、加速度、移动方向等)，周围道路的配置和路面状况，以及周围的天气、温度、湿度、亮度等。要识别的驾驶员的状态例如包括身体状况、清醒度、专注度、疲劳度、视线运动、驾驶操作等。为了使车辆安全行驶，需要采取措施的控制开始点根据以下各项而有很大不同：在特定于车辆的状态下搭载的装载量、搭载单元的底盘固定状态、重心的偏心状态、最大可减速的加速度值、最大可负荷离心力、根据驾驶员的状态的恢复响应延迟量等。
[0693]
状况识别单元153将指示识别处理结果的数据(根据需要包括状况识别地图)提供给自身位置估计单元132、状况预测单元154等。此外，状况识别单元153使存储单元111存储状况识别地图。
[0694]
状况预测单元154执行基于来自移动设备100的单元(例如地图分析单元151、交通规则识别单元152和状况识别单元153)的数据或信号来预测关于用户本车的状况的处理。例如，状况预测单元154执行预测用户本车的状况、用户本车周围的状况、驾驶员的状况等的处理。
[0695]
要预测的用户本车的状况例如包括用户本车的行为、异常的发生、可行驶距离等。要预测的用户本车周围的状况例如包括用户本车周围的移动物体的行为、信号灯状态的变化、诸如天气之类的环境的变化等。要预测的驾驶员的状况例如包括驾驶员的行为和身体状况等。
[0696]
状况预测单元154将指示预测处理结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起提供给规划单元134的路线规划单元161、动作规划单元162、操作规划单元163等。
[0697]
安全性确定单元155学习与驾驶员的恢复动作模式、车辆特性等相应的最佳恢复定时，并将学习到的信息提供给状况识别单元153等。作为结果，例如，可以向驾驶员呈现统计上确定的由驾驶员以预定比率或更高比率从自动驾驶正常恢复到手动驾驶所需的最佳定时。
[0698]
路线规划单元161基于来自移动设备100的单元(例如地图分析单元151和状况预测单元154)的数据或信号来规划到目的地的路线。例如，路线规划单元161基于全局地图设定从当前位置到指定目的地的路线。此外，例如，路线规划单元161基于拥堵、事故、交通管制、施工等状况、驾驶员的身体状况等适当地改变路线。路线规划单元161将指示规划的路
线的数据提供给动作规划单元162等。
[0699]
动作规划单元162基于来自移动设备100的单元(例如地图分析单元151和状况预测单元154)的数据或信号，规划用于在计划时间内安全地在由路线规划单元161规划的路线上行驶的用户本车的动作。例如，动作规划单元162制定启动、停止、行驶方向(例如，前进、后退、左转、右转、转弯等)、行驶车道、行驶速度、超车等的计划。动作规划单元162将指示所规划的用户本车的动作的数据提供给操作规划单元163等。
[0700]
操作规划单元163基于来自移动设备100的单元(例如地图分析单元151和状况预测单元154)的数据或信号，规划用于实现由动作规划单元162规划的动作的用户本车的操作。例如，操作规划单元163规划加速、减速、行驶轨迹等。操作规划单元163将指示所规划的用户本车的操作的数据提供给操作控制单元135的加速与减速控制单元172和方向控制单元173等。
[0701]
操作控制单元135控制用户本车的操作。操作控制单元135包括紧急情况避让单元171、加速与减速控制单元172和方向控制单元173。
[0702]
紧急情况避让单元171执行基于车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143的检测结果来检测诸如碰撞、接触、进入危险区域、驾驶员异常和车辆异常之类的紧急情况的处理。在紧急情况避让单元171检测到紧急情况的发生的情况下，紧急情况避让单元171规划用于避让紧急情况的用户本车的操作，例如突然停车或急转弯。紧急情况避让单元171将指示所规划的用户本车的操作的数据提供给加速与减速控制单元172、方向控制单元173等。
[0703]
加速与减速控制单元172执行用于实现由操作规划单元163或紧急情况避让单元171规划的用户本车的操作的加速与减速控制。例如，加速与减速控制单元172计算用于实现规划的加速、减速或突然停车的驱动力产生装置或制动装置的控制目标值，并将指示计算出的控制目标值的控制命令提供给驱动系统控制单元107。注意，存在可能发生紧急情况的两种主要情况。即，存在这样的情况，在根据从基础设施获取的局部动态地图等原本认为安全的行驶路线上的道路上的自动驾驶期间，由于突发原因发生了意外事故，并且无法及时进行驾驶员的紧急恢复；以及存在驾驶员难以准确地从自动驾驶恢复到手动驾驶的情况。
[0704]
方向控制单元173控制用于实现由操作规划单元163或紧急情况避让单元171规划的用户本车的操作的方向。例如，方向控制单元173计算用于实现由操作规划单元163或紧急情况避让单元171规划的行驶轨迹或急转弯的转向机构的控制目标值，并将指示计算出的控制目标值的控制命令提供给驱动系统控制单元107。
[0705]
[9.信息处理设备的配置示例]
[0706]
可以通过应用参考图30描述的移动设备的配置来执行上述处理。然而，例如，处理的一部分可以由可附连到移动设备并可从移动设备分离的信息处理设备来执行。
[0707]
将参考图31描述这样的信息处理设备的硬件配置示例。
[0708]
注意，参考图31描述的配置也可以被应用为图1或图13中所示的服务器30或图13中所示的信息终端40的硬件配置。
[0709]
图31是示出信息处理设备的硬件配置示例的图。
[0710]
中央处理单元(cpu)301用作根据存储在只读存储器(rom)302或存储单元308中的
程序执行各种类型的处理的数据处理单元。例如，cpu 301根据上述示例中描述的顺序执行处理。
[0711]
随机存取存储器(ram)303存储由cpu 301执行的程序、数据等。这些cpu 301、rom 302和ram 303通过总线304相互连接。
[0712]
cpu 301经由总线304连接到输入/输出接口305。包括各种开关、键盘、触摸面板、鼠标、麦克风、信息获取单元(诸如传感器、相机和gps)等的输入单元306以及包括显示器、扬声器等的输出单元307连接到输入/输出接口305。
[0713]
注意，来自传感器321的输入信息也被输入到输入单元306。
[0714]
此外，输出单元307还对于移动设备的驱动单元322输出驱动信息。
[0715]
例如，cpu 301接收从输入单元306输入的命令、状况数据等，执行各种类型的处理，并将处理结果输出到输出单元307。
[0716]
连接到输入/输出接口305的存储单元308包括例如硬盘等，并且存储由cpu 301执行的程序和各种数据。通信单元309用作经由诸如因特网或局域网之类的网络进行数据通信的发送/接收单元，并且与外部设备通信。
[0717]
连接到输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘之类的可移除介质311或诸如存储卡之类的半导体存储器，并执行数据记录或读取。
[0718]
[10.本公开的配置的结论]
[0719]
已经参考具体示例详细描述了本公开的示例。然而，显然，本领域技术人员可以在不偏离本发明的主旨的情况下对实施例进行修改和替换。即，本发明已经以示例的形式被公开，并且不应该被限制性地解释。为了判断本公开的主旨，应考虑权利要求的范围。
[0720]
注意，本说明书中公开的技术可以具有以下配置。
[0721]
(1)一种信息处理设备，包括：
[0722]
驾驶员信息获取单元，所述驾驶员信息获取单元被配置为获取车辆的驾驶员的观测信息；以及
[0723]
数据处理单元，所述数据处理单元被配置为输入所述观测信息并且执行数据处理，其中，
[0724]
所述数据处理单元：
[0725]
将所述观测信息划分为无需变换的数据和需要变换的数据，以及
[0726]
对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中。
[0727]
(2)根据(1)所述的信息处理设备，其中，
[0728]
所述数据处理单元：
[0729]
提取包括在所述观测信息中的能识别个人的数据作为所述需要变换的数据，并且对所述能识别个人的数据执行抽象化处理或加密处理中的至少一个的所述数据变换处理。
[0730]
(3)根据(2)所述的信息处理设备，其中，所述能识别个人的数据是包括所述驾驶员的身体的至少一部分的图像数据。
[0731]
(4)根据(2)所述的信息处理设备，其中，所述能识别个人的数据是包括所述驾驶员的面部的图像数据。
[0732]
(5)根据(1)至(4)中任一项所述的信息处理设备，其中，
[0733]
所述数据处理单元：
[0734]
提取在个人信息保护法规中不允许记录处理的数据作为所述需要变换的数据，并且执行抽象化处理或加密处理中的至少一个的所述数据变换处理。
[0735]
(6)根据(1)至(5)中任一项所述的信息处理设备，其中，
[0736]
所述数据处理单元：
[0737]
将所述无需变换的数据存储在所述存储单元中，而不执行所述抽象化处理或所述加密处理。
[0738]
(7)根据(1)至(6)中任一项所述的信息处理设备，其中，
[0739]
所述数据处理单元：
[0740]
使用仅由所述驾驶员知道的密钥，对所述需要变换的数据执行所述加密处理。
[0741]
(8)根据(1)至(7)中任一项所述的信息处理设备，其中，
[0742]
所述数据处理单元执行使用反映所述驾驶员的身体的运动的骨骼数据、虚拟化身或虚拟模型的所述抽象化处理，作为对包括在所述需要变换的数据中的所述驾驶员的图像的所述抽象化处理。
[0743]
(9)根据(1)至(8)中任一项所述的信息处理设备，还包括：
[0744]
环境信息获取单元，所述环境信息获取单元被配置为获取所述车辆和外部的观测信息，其中，
[0745]
所述数据处理单元：
[0746]
将由所述环境信息获取单元获取的观测信息划分为无需变换的数据和需要变换的数据，以及
[0747]
对由所述环境信息获取单元获取的观测信息中所包括的需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中。
[0748]
(10)根据(1)至(9)中任一项所述的信息处理设备，其中，
[0749]
所述车辆是能够切换自动驾驶和手动驾驶的车辆，以及
[0750]
所述数据处理单元：
[0751]
基于所述观测信息计算驾驶员评估值，并且将所计算的驾驶员评估值作为所述无需变换的数据存储在所述存储单元中，所述驾驶员评估值是指示所述驾驶员是否处于能够开始所述手动驾驶的状态的指标值。
[0752]
(11)根据(10)所述的信息处理设备，其中，
[0753]
所述数据处理单元：
[0754]
基于所述观测信息计算驾驶员清醒度评估值，并且将所计算的驾驶员清醒度评估值作为所述无需变换的数据存储在所述存储单元中，所述驾驶员清醒度评估值是指示所述驾驶员是否处于能够开始手动驾驶的清醒状态的指标值。
[0755]
(12)根据(1)至(11)中任一项所述的信息处理设备，其中，
[0756]
所述数据处理单元：
[0757]
与所述驾驶员的识别信息相关联地在所述车辆中的存储单元或外部服务器中的至少一个中存储：
[0758]
从所述观测信息获取的所述无需变换的数据，以及
[0759]
所述需要变换的数据的所述抽象化数据或所述加密数据中的至少一个的所述变换数据。
[0760]
(13)一种能够切换自动驾驶和手动驾驶的移动设备，所述移动设备包括：
[0761]
驾驶员信息获取单元，所述驾驶员信息获取单元被配置为获取车辆的驾驶员的观测信息；以及
[0762]
数据处理单元，所述数据处理单元被配置为输入所述观测信息并且执行数据处理，其中，
[0763]
所述数据处理单元：
[0764]
将所述观测信息划分为无需变换的数据和需要变换的数据，
[0765]
对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中，以及
[0766]
基于所述观测信息计算驾驶员评估值，并且将所计算的驾驶员评估值作为所述无需变换的数据存储在所述存储单元中，所述驾驶员评估值是指示所述驾驶员是否处于能够开始所述手动驾驶的状态的指标值。
[0767]
(14)根据(13)所述的移动设备，其中，
[0768]
所述数据处理单元：
[0769]
基于所述观测信息来计算手动驾驶恢复请求通知的通知定时，所述手动驾驶恢复请求通知是对于所述驾驶员从所述自动驾驶到所述手动驾驶的恢复请求通知。
[0770]
(15)一种信息处理系统，包括：车辆；以及信息终端，其中，
[0771]
所述车辆：
[0772]
获取车辆的驾驶员的观测信息，
[0773]
将所获取的观测信息划分为无需变换的数据和需要变换的数据，以及
[0774]
对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且执行将所生成的抽象化数据和所生成的加密数据中的至少一个的变换数据与所述驾驶员的识别信息相关联地存储在存储单元中的处理，以及
[0775]
所述信息终端：
[0776]
从所述存储单元获取所述抽象化数据并且在所述信息终端的显示单元上显示所述抽象化数据，以及
[0777]
基于与所显示的抽象化数据相关联的所述驾驶员的所述识别信息来识别所述驾驶员。
[0778]
(16)根据(15)所述的信息处理系统，其中，
[0779]
所述车辆是能够切换自动驾驶和手动驾驶的车辆，
[0780]
所述车辆：
[0781]
基于所述观测信息计算驾驶员评估值，并且将所计算的驾驶员评估值作为所述无需变换的数据存储在所述存储单元中，所述驾驶员评估值是指示所述驾驶员是否处于能够开始所述手动驾驶的状态的指标值，以及
[0782]
所述信息终端：
[0783]
从所述存储单元获取所述驾驶员评估值，并且在所述信息终端的所述显示单元上显示所述驾驶员评估值。
[0784]
(17)一种在信息处理设备中执行的信息处理方法，所述信息处理方法包括：
[0785]
由驾驶员信息获取单元获取车辆的驾驶员的观测信息；以及
[0786]
由数据处理单元：
[0787]
将所述观测信息划分为无需变换的数据和需要变换的数据；以及
[0788]
对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中。
[0789]
(18)一种在包括车辆和信息终端的信息处理系统中执行的信息处理方法，所述信息处理方法包括：
[0790]
由所述车辆：
[0791]
获取车辆的驾驶员的观测信息；
[0792]
将所获取的观测信息划分为无需变换的数据和需要变换的数据；以及
[0793]
对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且执行将所生成的抽象化数据和所生成的加密数据中的至少一个的变换数据与所述驾驶员的识别信息相关联地存储在存储单元中的处理；以及
[0794]
由所述信息终端：
[0795]
从所述存储单元获取所述抽象化数据，并且在信息终端的显示单元上显示所述抽象化数据；以及
[0796]
基于与所显示的抽象化数据相关联的所述驾驶员的所述识别信息来识别所述驾驶员。
[0797]
(19)一种用于使得在信息处理设备中执行信息处理的程序，所述程序用于使得：
[0798]
驾驶员信息获取单元获取车辆的驾驶员的观测信息；以及
[0799]
数据处理单元：
[0800]
将所述观测信息划分为无需变换的数据和需要变换的数据；以及
[0801]
对所述需要变换的数据执行抽象化处理或加密处理中的至少一个的数据变换处理，并且执行将所生成的抽象化数据或所生成的加密数据中的至少一个的变换数据存储在存储单元中的处理。
[0802]
此外，说明书中描述的一系列处理可以通过硬件、软件或硬件与软件的组合配置来执行。在通过软件执行处理的情况下，其中记录了处理序列的程序可以安装在并入专用硬件的计算机的存储器中并由该计算机执行，或者该程序可以安装在能够执行各种类型的处理的通用计算机中并由该通用计算机执行。例如，可以预先在记录介质中记录程序。除了从记录介质安装到计算机之外，还可以通过诸如局域网(lan)或因特网之类的网络接收程序，并将该程序安装在诸如内置硬盘之类的记录介质上。
[0803]
注意，说明书中描述的各种类型的处理不仅可以按照所描述的时间顺序执行，还可以根据执行该处理的设备的处理能力或根据需要并行地或单独地执行。此外，本说明书中的系统是多个设备的逻辑聚合配置，并且不限于在同一壳体内具有各自配置的设备。
[0804]
工业适用性
[0805]
如上所述，根据本公开的实施例的配置，抽象化或加密并且记录包括在车辆的驾驶员等的观测信息中的可识别个人的数据或在个人信息保护法规中不允许进行记录处理的数据。
[0806]
具体地，例如，包括获取车辆的驾驶员的观测信息的驾驶员信息获取单元和输入观测信息并执行数据处理的数据处理单元。数据处理单元将观测信息划分为无需变换的数据和需要变换的数据，对需要变换的数据执行抽象化处理或加密处理，并将诸如所生成的抽象化数据或所生成的加密数据之类的变换数据存储在存储单元中。数据处理单元提取包括在观测信息中的可识别个人的数据或在个人信息保护法规中不允许进行记录处理的数据作为需要变换的数据，并执行抽象化处理或加密处理。
[0807]
利用这种配置，可以在不违反个人信息保护法规的情况下记录对明确事故和违章的责任有效的数据。
[0808]
此外，引入上述配置的效果不仅是诸如交通违章控制之类的主要违章抑制效果，而且是当驾驶员使用自动驾驶时抑制鲁莽响应(例如驾驶员完全放弃恢复到手动驾驶的响应)的效果。
[0809]
在本公开的配置中，驾驶员状态被记录并且可在警官等的信息终端上查看，由此驾驶员直观地且自然地避免在使用自动驾驶时的鲁莽响应。作为结果，可以抑制对自动驾驶功能的过度依赖使用。此外，近年来，具有例如自动制动的部分自动驾驶车辆有所增加。然而，通过使用本公开的配置，即使在这样的车辆中，也可以防止驾驶员的危险响应，例如过度依赖自动驾驶功能。
[0810]
参考标记列表
[0811]
10车辆
[0812]
11数据处理单元
[0813]
12驾驶员信息获取单元
[0814]
13环境信息获取单元
[0815]
14通信单元
[0816]
15通知单元
[0817]
16存储单元
[0818]
20驾驶员
[0819]
30服务器
[0820]
51获取信息分析单元
[0821]
52数据变换单元
[0822]
53数据抽象化单元
[0823]
54加密处理单元
[0824]
58传感器
[0825]
100移动设备
[0826]
101输入单元
[0827]
102数据获取单元
[0828]
103通信单元
[0829]
104车内设备
[0830]
105 输出控制单元
[0831]
106 输出单元
[0832]
107 驱动系统控制单元
[0833]
108 驱动系统
[0834]
109 车身系统控制单元
[0835]
110 车身系统
[0836]
111 存储单元
[0837]
112 自动驾驶控制单元
[0838]
121 通信网络
[0839]
131 检测单元
[0840]
132 自身位置估计单元
[0841]
133 状况分析单元
[0842]
134 规划单元
[0843]
135 操作控制单元
[0844]
141 车辆外部信息检测单元
[0845]
142 车辆内部信息检测单元
[0846]
143 车辆状态检测单元
[0847]
151 地图分析单元
[0848]
152 交通规则识别单元
[0849]
153 状况识别单元
[0850]
154 状况预测单元
[0851]
155 安全性确定单元
[0852]
161 路线规划单元
[0853]
162 动作规划单元
[0854]
163 操作规划单元
[0855]
171 紧急情况避让单元
[0856]
172 加速与减速控制单元
[0857]
173 方向控制单元
[0858]
301 cpu
[0859]
302 rom
[0860]
303 ram
[0861]
304 总线
[0862]
305 输入/输出接口
[0863]
306 输入单元
[0864]
307 输出单元
[0865]
308 存储单元
[0866]
309 通信单元
[0867]
310 驱动器
[0868]
311 可移除介质
[0869]
321 传感器
[0870]
322 驱动单元