车辆驾驶系统的制作方法

车辆驾驶系统
1.相关申请的交叉引用
2.本国际申请主张基于在2019年12月6日向日本专利厅申请的日本专利申请第2019-221238号的优先权，通过参照将日本专利申请第2019-221238号的所有内容引用到本国际申请中。
技术领域
3.本公开涉及具备被控制车辆和无线通信装置的车辆驾驶系统。


背景技术：

4.例如，在下述专利文献1中提出了如下技术：在手动驾驶中的驾驶员突然生病的情况下等，副驾驶座等的乘员能够代替驾驶员进行紧急驾驶。
5.专利文献1：日本特开2014-019301号公报
6.然而，近年来，开发出自动驾驶车辆。以往的自动驾驶车辆需要根据状况切换为手动驾驶。发明人详细的研究结果发现了如下课题：以往的自动驾驶车辆根据自动驾驶等级，需要驾驶员必须坐在驾驶座上，自动驾驶车辆中的乘员的移动的自由度、方向盘、踏板类的配置等结构存在限制。


技术实现要素：

7.本公开的一个方面在于驾驶员能够应对自动驾驶车辆的手动驾驶，并且能够提高自动驾驶车辆的结构的自由度。
8.本公开的一个方式是车辆驾驶系统，具备至少一个无线通信装置和被控制车辆。无线通信装置由驾驶员持有。被控制车辆构成为能够进行自动驾驶和手动驾驶，能够实施基于来自无线通信装置的指令的手动驾驶。另外，被控制车辆具备至少一个传感检测部、信息检测部、信息发送部以及驾驶控制部。
9.传感检测部构成为对该被控制车辆的至少行进方向侧进行传感检测。信息检测部构成为检测该被控制车辆的行驶信息。信息发送部构成为在实施手动驾驶时，将行驶信息以及基于传感检测部的传感检测结果的传感检测图像发送到无线通信装置。驾驶控制部构成为在实施手动驾驶时，根据来自无线通信装置的驾驶指令，来实施该被控制车辆的加减速控制以及转向操纵控制。
10.无线通信装置具备信息获取部、显示控制部、操作接受部以及指令发送部。信息获取部构成为从被控制车辆获取传感检测图像以及行驶信息。显示控制部构成为使基于传感检测图像以及行驶信息的图像显示于显示部。操作接受部构成为接受由操作该无线通信装置的驾驶员进行的与该被控制车辆的加减速控制以及转向操纵控制相关的驾驶操作。指令发送部构成为将基于驾驶操作的指令作为驾驶指令发送到被控制车辆。
11.根据这样的结构，只要被控制车辆和无线通信装置能够进行通信，则无论无线通信装置的位置如何，都能够通过对无线通信装置的操作来手动驾驶被控制车辆，能够提高
被控制车辆的结构的自由度。
附图说明
12.图1是表示第一实施方式中的车辆驾驶系统的结构的框图。
13.图2是表示hmd驾驶部的详细结构的框图。
14.图3是表示车辆中的拍摄图像和hmd中的显示图像的关系的俯视图。
15.图4是表示显示图像的一个例子的图像图。
16.图5是表示第一实施方式中的驾驶设定处理的前半部分的流程图。
17.图6是表示驾驶设定处理的后半部分的流程图。
18.图7是表示自动模式处理的流程图。
19.图8是表示驾驶模式切换逻辑的说明图。
20.图9是表示车内hmd处理的流程图。
21.图10是表示车外hmd处理的流程图。
22.图11是表示以往手动处理的流程图。
23.图12是表示第二实施方式中的车辆驾驶系统的结构的框图。
24.图13是表示通信诊断部的功能的框图。
25.图14是表示通信质量诊断处理的流程图。
26.图15是表示其他实施方式中的驾驶设定处理的前半部分的流程图。
具体实施方式
27.以下，参照附图对本公开的第一实施方式进行说明。
28.[1.概要]
[0029]
首先，对本公开的概要进行说明。以往，在汽车中，具有特定的驾驶资格的驾驶员的座位被限定为能够保证安全的手动驾驶的场所(即，驾驶座)。今后，在汽车中也普及自动驾驶的阶段，也预测成为不限定驾驶座的车辆结构。因此，在本公开中，提供一种作为“hmd驾驶操作系统”的车辆驾驶系统1，该系统在由于自动驾驶系统的异常、系统的性能极限等而切换为手动驾驶的情况下，不限定驾驶员的位置。hmd30是头部佩戴型显示装置。hmd30只要是例如护目镜型、头盔型等能够大体由显示部覆盖使用者的视野的整个区域的形状，则能够采用任意的形状。
[0030]
车辆驾驶系统1在系统责任下的自动驾驶的继续变得困难时、预测为继续自动驾驶变得困难时、或者根据驾驶员的意志来实施使用了hmd30的手动驾驶。在使用了hmd30的手动驾驶中，将hmd30佩戴在头部，向被允许了通过控制器50进行驾驶操作的手动驾驶的具有驾驶许可的人提供驾驶所需的最低限度的视野信息，来确保利用了控制器50的安全的驾驶操作。
[0031]
在车辆驾驶系统1中，不限定于具有驾驶许可的驾驶员的位置，即使在驾驶员位于车内的任意座位或者车外的情况下，也能够双向安全地转移自动驾驶状态和手动驾驶状态。
[0032]
此处，在以往的留有驾驶员责任的自动驾驶等级的系统中，在从系统向驾驶员请求驾驶替换时，在判断为无法保证向驾驶员的正常的驾驶替换时，必须使车辆暂时安全地
自动停车。但是，根据本公开，不论合适的驾驶员存在车辆内外，都不用使车辆停车，就能够切换为将hmd30佩戴在头部并利用hmi工具进行驾驶操作的手动驾驶。
[0033]
在本公开的车辆驾驶系统1中，无论有资格驾驶员坐在车辆内外的何处，都能够根据从车辆周边的相机部25适当地选择的一个或者多个图像进行视点转换并合成，且投影到hmd30内，从而在犹如有资格驾驶员坐在以往的驾驶座那样的视野中进行驾驶。
[0034]
[2.本实施方式的结构和本公开的结构的对应关系]
[0035]
本实施方式中的hmd30以及控制器50相当于本公开中的无线通信装置，本实施方式中的车辆10相当于本公开中的被控制车辆。另外，本实施方式中的相机部25相当于本公开中的拍摄部，本实施方式中的s1、s3、s4、s5、s7相当于本公开中的第一拍摄部，本实施方式中的s2、s6相当于本公开中的第二拍摄部。另外，本实施方式中的传感器类21相当于本公开中的信息检测部。
[0036]
[3.实施方式]
[0037]
以下，对上述概要的详细进行说明。
[0038]
[3-1.硬件结构]
[0039]
图1所示的车辆驾驶系统1具备车辆10、头部佩戴型显示装置(以下，hmd)30以及控制器50。另外，车辆驾驶系统1也可以具备服务器70。
[0040]
车辆10构成为能够进行自动驾驶和手动驾驶，作为手动驾驶的模式的一部分，能够实施基于来自无线通信装置的指令的手动驾驶。在本实施方式中，hmd30和控制器50相当于无线通信装置。车辆10能够实施没有驾驶员责任的自动驾驶。所谓的没有驾驶员责任的自动驾驶表示是在系统异常时，不强制现有驾驶员进行驾驶替换的自动驾驶。
[0041]
因此，在车辆10中不需要搭乘驾驶员。但是，根据自动驾驶等级，在车辆10的异常时等紧急时，在车辆10的驾驶座有驾驶员的情况下，在存在该驾驶员、或者位于车辆10的内外的基于远程的驾驶员的情况下，能够由这些驾驶员进行驾驶操作。此外，在车辆10的紧急时，在不存在合适的驾驶员的情况下，车辆10安全地停车。另外，车辆10在能够进行自动驾驶的情况下，在乘员想要进行手动驾驶的情况下，也能够实施手动驾驶。手动驾驶包括后述的以往手动模式和车内hmd模式。
[0042]
车辆10具备控制部11、传感器类21、加速器22、制动器23、转向器24、相机部25以及被控制部26。
[0043]
传感器类21构成为检测车辆10的行驶信息。行驶信息是与车辆10的行驶相关的信息。行驶信息中可以包括车辆10的车速、转向角、加速器和制动器工作状态、加速度等。
[0044]
加速器22是配置于车辆10的驾驶座的加速踏板。制动器23是配置于车辆10的驾驶座的制动踏板。转向器24是配置于车辆10的驾驶座的方向盘。针对这些部件的操作内容由控制部11识别，控制部11对被控制部26发送与操作内容对应的指令。
[0045]
相机部25构成为拍摄车辆10的至少行进方向侧。后述相机部25的详细内容。
[0046]
被控制部26构成为控制车辆10的加减速以及转向操纵的致动器。被控制部26例如包括：控制加减速的行驶用马达、燃料喷射装置、制动液压控制装置、控制转向角的转向操纵用马达等。
[0047]
hmd30是能够与车辆10进行无线通信，用于通过图像向驾驶员提供远程操作车辆10所需的信息的装置。hmd30是与控制器50分离并构成为能够佩戴在驾驶员的头部由驾驶
员持有的装置。
[0048]
hmd30具备控制部31、传感器部41以及显示部42。传感器部41具有检测hmd30的位置、周围的照度、驾驶员的眼球的动作、驾驶员的瞳孔有无眨眼、驾驶员的头部的朝向等的功能。
[0049]
显示部42构成为使与来自控制部31的指令相应的图像显示的显示器。hmd30具备从外侧覆盖驾驶员的双眼的驾驶员的视野的大部分的内表面，显示部42使图像显示于沿着该内表面的显示面。
[0050]
控制器50是能够与车辆10进行无线通信，接受用于驾驶员驾驶车辆10的操作的装置。控制器50具备控制部51、传感器部61以及操作部62。
[0051]
传感器部61具有检测声音、驾驶员的指纹等的功能。操作部62具备一般的控制器所具备的多个按钮、摇杆等开关、或者触摸面板等。
[0052]
车辆10的控制部11、hmd30的控制部31以及控制器50的控制部51分别具备微型计算机，该微型计算机具有cpu12、32、52和例如ram或rom等半导体存储器(以下，记作存储器13、33、53)。控制部11、31、51的各功能通过cpu12、32、52执行储存于非过渡性实体记录介质的程序来实现。
[0053]
在本例中，存储器13、33、53相当于储存有程序的非过渡性实体记录介质。另外，通过执行该程序，来执行与程序对应的方法。此外，所谓的非过渡性实体记录介质是指除去记录介质中的电磁波。另外，控制部11、31、51可以具备一个微型计算机，也可以具备多个微型计算机。
[0054]
控制部11、31、51具备后述的各部。实现这些各部的功能的方法并不限于软件，其一部分或者全部的功能也可以使用一个或者多个硬件来实现。例如，在通过作为硬件的电子电路来实现上述功能的情况下，该电子电路也可以通过数字电路、或模拟电路、或者数字电路与模拟电路的组合来实现。
[0055]
服务器70是将自动驾驶所需的信息、hmd30中的认证所需的信息等提供给车辆10的装置。服务器70具备各种信息提供部71和认证部72。
[0056]
各种信息提供部71例如具备地图信息等，根据来自车辆10的请求将所需的数据提供给车辆10。认证部72例如预先记录有资格信息，该资格信息是与具有资格的驾驶员相关的信息，根据车辆10等的请求向车辆10提供资格信息。
[0057]
[3-2.控制部11、31、51的功能]
[0058]
车辆10的控制部11具备自动驾驶部16、hmd驾驶部17以及通信部19。自动驾驶部16构成为实施无需驾驶员的操作的自动驾驶。
[0059]
hmd驾驶部17构成为实施用于实施利用了hmd30的手动驾驶的各功能。如图2所示，hmd驾驶部17具备信息发送部17a、驾驶控制部17b、适合与否判定部17c、控制禁止部17d、信息储存部17e、座位位置获取部17f以及模式选择部17g。
[0060]
信息发送部17a构成为在实施使用了hmd30的手动驾驶时，将行驶信息以及由相机部25拍摄的拍摄图像发送到hmd30。信息发送部17a获取由相机部25得到的拍摄图像以及由传感器类21得到的行驶信息，并使用通信部19将拍摄图像和行驶信息发送到hmd30。
[0061]
驾驶控制部17b构成为在实施使用了hmd30的手动驾驶时，根据来自控制器50的驾驶指令，来实施车辆10的加减速控制以及转向操纵控制。此时，驾驶控制部17b将驾驶指令
所包含的对操作部62的操作量转换为被控制部26的控制量，并将该控制量作为用于加减速控制的控制量以及用于转向操纵控制的控制量发送到被控制部26。
[0062]
适合与否判定部17c在后述的驾驶设定处理中，判定驾驶员是否适合车辆10的驾驶。
[0063]
适合与否判定部17c判定驾驶员是否具有用于驾驶车辆10的许可、以及驾驶员是否是醉酒状态。关于驾驶员是否具有许可，通过与登记有与具有资格的驾驶员相关的信息的服务器70进行通信，根据驾驶员的个人信息(id&安全码或者生物体信息)与所登记的信息是否一致来判定。另外，所谓的醉酒状态表示由于醉意或者药物的影响，而存在无法进行正常的驾驶的可能性的状态。关于是否是醉酒状态，通过比较醉酒度和预先准备的阈值来判定。
[0064]
所谓的醉酒度表示驾驶员带有醉意的程度、药物的负面影响的程度。醉酒度例如通过由hmd30的驾驶员监视部36观察驾驶员的眼球的动作来判定，如果醉酒度较低，则判定为带有醉意以及药物带来的负面影响少。此外，醉酒度也可以由酒精传感器等来判定。
[0065]
在判定为驾驶员不适合驾驶的情况下，控制禁止部17d禁止基于驾驶控制部17b的车辆10的加减速控制以及转向操纵控制。在后述的驾驶设定处理中，在s290中，无论驾驶员的意思如何，控制禁止部17d都使车辆10强制地停车。
[0066]
信息储存部17e构成为将确定驾驶员的信息储存在预先设定的记录部中。在后述的驾驶设定处理中，在s310中，控制禁止部17d将各种信息储存在存储器13等中。此外，将确定驾驶员的信息储存于预先设定的记录部的处理也可以在车辆10以外的hmd30、控制器50、其他服务器等中被实施。
[0067]
座位位置获取部17f构成为获取用于确定车辆10的驾驶座的位置的驾驶座信息。对于驾驶座信息而言，在存储器13中记录有由车辆10预先设定的位置，座位位置获取部17f获取与该位置相关的信息。驾驶座信息可以根据驾驶员的意思来变更。例如，能够选择右舵车、左舵车等。
[0068]
另外，座位位置获取部17f也可以根据车辆10行驶的道路的通行区划，来设定最佳的驾驶座位置。例如，可以在左侧行驶的区域，设定右舵车的驾驶座，在右侧行驶的区域，设定左舵车的驾驶座。
[0069]
模式选择部17g构成为在驾驶设定处理中，根据车辆10的故障状态以及该车辆10的乘员的意思，从多个驾驶模式中选择任意一个模式。此处，在本实施方式中，作为多个驾驶模式，准备了自动模式、车内hmd模式、车外hmd模式、以往手动模式等。
[0070]
自动模式是不需要驾驶员的操作而自动驾驶车辆10的模式。车内hmd模式是用于车辆10内的驾驶员实施使用了hmd30的手动驾驶的模式。在车内hmd模式下，能够采用不经由互联网5而hmd30和车辆10直接进行无线通信的结构。
[0071]
车外hmd模式是用于车辆10外的驾驶员实施使用了hmd30的手动驾驶的模式。在车外hmd模式下，实施经由互联网5的通信。
[0072]
以往手动模式是不使用hmd30和控制器50，用于驾驶员使用车辆10的踏板等手动驾驶车辆10的模式。
[0073]
通信部19构成为用于经由互联网5进行通信的公知的通信模块。此外，通信部19与未图示的无线基站进行无线通信，经由无线基站与互联网5连接。另外，hmd30的通信部39以
及控制器50的通信部59与车辆10的通信部19同样地构成。
[0074]
如图1所示，hmd30的控制部31具备信息获取部35、驾驶员监视部36、显示控制部37a、移动检测部37b以及通信部39。在hmd30中进行认证的情况下，也可以具备认证实施部38。
[0075]
信息获取部35构成为使用通信部39，从车辆10获取拍摄图像和行驶信息。
[0076]
驾驶员监视部36使用传感器部41的检测结果，来监视驾驶员的状态是否良好。例如，若驾驶员眨眼的次数减少，则判定为驾驶员的状态不良。此外，驾驶员监视部36例如也可以通过使用了视频光谱相机的心跳、血压等生物体信息的传感检测来监视驾驶员的状态。另外，能够采用任意的监视方法。
[0077]
显示控制部37a构成为使基于拍摄图像和行驶信息的显示图像显示于显示部42。对于详细内容后述。移动检测部37b构成为检测驾驶员的头部的移动。认证实施部38识别驾驶员的虹膜，并进行认证。此外，不限于虹膜认证，也可以采用公知的认证方法。
[0078]
控制器50的控制部51具备操作接受部57a、指令发送部57b、认证实施部58以及通信部59。认证实施部58和通信部59与hmd30的认证实施部38和通信部39同样地构成。
[0079]
操作接受部57a构成为接受基于驾驶员操作操作部62的与车辆10的加减速控制以及转向操纵控制相关的驾驶操作。操作接受部57a具有检测针对操作部62的操作量的功能。
[0080]
指令发送部57b构成为将基于驾驶操作的指令作为驾驶指令经由通信部59发送到车辆10。
[0081]
[3-3.使用hmd30的图像的显示]
[0082]
此处，对使用hmd30的驾驶操作进行说明。
[0083]
如图3所示，相机部25具备多个相机s1～s7等。此外，在图3中，对一部分相机省略了图示，但相机部25构成为能够使用包括省略的相机的多个相机，无间隙地监视车辆的周围。多个相机s1～s7中的相机s1、s3、s4、s5、s7构成为以第一传感检测方式进行传感检测。作为第一传感检测方式，例如，能够应用基于可见光相机的拍摄方式。相机s2、s6构成为以与第一传感检测方式不同的第二传感检测方式进行传感检测。作为第二传感检测方式，例如，能够应用基于红外线相机、光谱相机的拍摄方式。
[0084]
在利用第一传感检测方式的相机s1、s3、s4、s5、s7的传感检测区域以及利用第二传感检测方式的相机s2、s6的传感检测区域中包括车辆10的行进方向以及车辆10的侧方，设定为不同的方式下的传感检测区域的至少一部分重复。相机s1～s7生成拍摄图像，因此也可以说传感检测区域是拍摄区域。
[0085]
具体而言，相机s1的拍摄区域r1以及相机s3的拍摄区域r3被设定为与相机s2的拍摄区域r2重复，相机s5的拍摄区域r5被设定为与相机s6的拍摄区域r6重复。如本实施方式那样，在使用多个相机s1～s7的情况下，控制部11获取由多个相机s1～s7拍摄的拍摄图像，作为传感检测图像。
[0086]
此外，在本实施方式中，在s1～s7中采用检测可见光和红外线的相机，但只要能够将检测结果转换为图像，s1～s7也可以构成为雷达(lidar，毫米波)、声纳等任意的传感检测部。在传感检测部不能直接得到图像的情况下，例如，控制部11可以将传感检测结果转换为图像。例如，控制部11也可以生成与雷达的测距点的位置相应的图像。
[0087]
此外，在上述结构中，为了补偿一个传感检测方式的性能极限而利用其他传感检
测方式。如果在一个传感检测方式中能够得到充分的传感检测结果，则也可以仅采用一个传感检测方式。
[0088]
显示控制部37a合成从相机部25得到的拍摄图像生成一个或者多个拍摄图像，并且对拍摄图像进行坐标转换，生成以车辆10的驾驶座v为视点的显示图像。也就是说，配置传感器s1～s7的位置是与驾驶座v不同的位置，在距驾驶座v规定距离的球面上形成投影面v0，在该投影面v0上生成坐标转换后的显示图像。
[0089]
此时，显示控制部37a将首先由移动检测部37b检测出的驾驶员的头部的方向作为初始位置，生成与初始位置对应的显示图像作为朝向驾驶座的正面的显示图像v1。例如，在驾驶员的实际的就座位置是车辆10的后部座椅d1的情况下，驾驶员能够实际视觉确认的景色在d11的范围内，但在hmd30中提供从驾驶座v观察到的显示图像v1。另外，例如，在驾驶员的实际就座位置是车辆10的外部d2的情况下，驾驶员能够实际视觉确认的景色在d21的范围内，但同样地，在hmd30中提供从驾驶座v观察到的显示图像v1。
[0090]
此外，在hmd30的显示部42中具备右眼用显示器和左眼用显示器，在左右的显示器上显示具有与到物体的距离相应的视差的视差图像。驾驶员的大脑合成左右的视差图像，并识别为3d图像。但是，在图3中，为了方便起见，用右眼、左眼的视差的假想中心表示投影面v0。显示控制部37a分别进行向hmd30的右眼用显示器和左眼用显示器的实际的图像输入，但由于人眼的左右的视差存在个人差异，因此显示控制部37a也可以不与hmd30的左右的显示器的视差一致，而是基于自动检测人的眼角、瞳孔的位置而计算出的视差，来生成输入到右眼用显示器和左眼用显示器的视差图像。由此，能够以接近于人平时常见的3d图像的感觉进行佩戴了hmd的手动驾驶，能够减轻hmd影像不适、佩戴疲劳。
[0091]
另外，如图3的a部所示，在仅由一个传感器s2检测物体的情况下，该物体a部由投影线s2唯一地确定，能够在投影面v0上坐标转换为投影图像s2-a。另一方面，如图3的b部所示，在由多个传感器s1及s2等检测物体的情况下，该物体b部由于被投影线s1及s2双重识别，因此不能唯一地确定。
[0092]
在该情况下，显示控制部37a通过采用从传感器到物体的直线距离较短的传感器的投影线、或者采用在投影面v0合成的图像的变形的产生程度较小的投影线等，能够通过投影线s1或s2唯一地确定。物体b部能够在投影面v0上坐标转换为投影图像s1-b或s2-b。此外，由于坐标转换后的投影面v0上的物体的位置产生相对于实际从驾驶座看到的位置的误差，因此显示控制部37a可以根据到物体的距离以及传感器s1等与驾驶座的距离，修正投影面v0上的物体的位置。此外，在本实施方式中，投影面v0用圆来表示，但也可以将相同的方法应用于球面投影面等。
[0093]
另外，显示控制部37a以跟随由移动检测部37b检测的头部的左右的移动的方式变更显示图像的显示范围。例如，在驾驶员相对于初始位置朝向左侧的情况下，且在驾驶员的实际的就座位置是后部座椅d1的情况下，驾驶员能够实际视觉确认的景色在d12的范围内，但在hmd30中提供从驾驶座v观察到的显示图像v2。另外，例如，在驾驶员相对于初始位置朝向左侧的情况下，且驾驶员的实际的就座位置是车辆10的外部d2的情况下，驾驶员能够实际视觉确认的景色在d22的范围内，但在hmd30中提供从驾驶座v观察到的显示图像v2。
[0094]
此外，显示控制部37a也可以以不仅跟随由移动检测部37b检测的头部的左右的移动，还跟随上下的移动的方式，变更显示图像的显示范围。
[0095]
显示控制部37a根据外部指令切换由相机s1、s3、s4、s5、s7拍摄的可见光的拍摄图像以及由相机s2、s6拍摄的红外光的拍摄图像并使该拍摄图像显示于显示部42。例如，在操作部62具备切换开关，若操作该开关，则显示控制部37a切换可见光的拍摄图像和红外光的拍摄图像。
[0096]
显示控制部37a例如生成图4所示那样的ar图像80，作为由显示部42显示的显示图像。此外，ar表示增强现实。ar图像80包括真实图像81、加强图像82、包含轮胎方向图像83和加速度图像84的引导图像85以及仪表图像86。
[0097]
真实图像81是将由相机部25得到的图像保持原样显示的图像。加强图像82是代替物体的图像。代替物体的图像是显示控制部37a识别由相机部25得到的图像所包含的物体的种类，并将物体的图像置换为与该物体的种类对应的图标等其他图像而得的图像。
[0098]
轮胎方向图像83是将车辆10的转向角表示为轮胎的朝向的图像。加速度图像84是用指示器表示与车辆10的加减速相关的加速度的图像。仪表图像86是用仪表显示车辆10的速度、燃料余量、水温等的图像。
[0099]
在显示ar图像80时，首先，在车辆10中，在实施使用了hmd30的手动驾驶时，信息发送部17a构成为将行驶信息以及由相机部25拍摄的拍摄图像发送到hmd30。
[0100]
而且，在hmd30中，信息获取部35构成为使用通信部39从车辆10获取拍摄图像以及行驶信息。接着，显示控制部37a构成为使基于拍摄图像以及行驶信息的显示图像、在这里是ar图像80显示于显示部42。
[0101]
此外，显示于显示部42的图像不限于ar图像80，能够采用仅实拍的真实图像、对立柱等成为阴影的不清晰的部位进行了补充的补充图像等任意的图像。另外，显示控制部37a在操作接受部57a处于接受驾驶操作的状态时，禁止将特定图像显示在显示部42上，上述特定图像表示作为阻碍驾驶操作的图像而预先设定的种类的图像。
[0102]
例如，特定图像相当于电视广播的图像、游戏的图像、网站的图像等。特别是，在本实施方式中，在使用hmd30进行手动驾驶的车内hmd模式以及车外hmd模式时，显示控制部37a禁止将ar图像80以外的图像显示在显示部42上。
[0103]
另一方面，在操作接受部57a不接受驾驶操作的状态、即驾驶员以外使用hmd30的状态的情况下，允许在将特定图像显示在显示部42上。在该情况下，显示控制部37a能够使任意的图像显示在显示部42上。
[0104]
[3-4.驾驶设定处理]
[0105]
接下来，使用图5和图6的流程图对车辆10的控制部11、主要是hmd驾驶部17所执行的驾驶设定处理进行说明。驾驶设定处理是根据车辆10的状况设定或切换驾驶模式的处理。驾驶设定处理例如是若接通车辆10的电源则开始的处理。此外，在驾驶设定处理开始时，设定自动模式作为上次的驾驶模式。
[0106]
在驾驶设定处理中，首先，在s110中，hmd驾驶部17使车辆驾驶系统1启动。此时，车辆10建立与hmd30、控制器50以及服务器70的通信。
[0107]
接着，在s120中，hmd驾驶部17实施hmd驾驶员的认证。在该处理中，车辆10向hmd30、控制器50以及服务器70发送认证请求，接受到该认证请求的hmd30以及控制器50中的至少一方获取驾驶员的生物体信息，例如，指纹、虹膜、脸的形状的信息，并发送到车辆10。
[0108]
另外，服务器70将记录在认证部72的驾驶员的信息发送到车辆10。车辆10将记录在服务器70的认证部72的驾驶员的信息和从hmd30以及控制器50发送的生物体信息进行核对，并认证驾驶员是具有资格的人。
[0109]
接着，在s130中，hmd驾驶部17判定被认证的驾驶员是否在车辆10内。例如，hmd驾驶部17从hmd30获取hmd30的位置，并判定该位置是否为车辆10内。在s130中，在判定为被认证的驾驶员不在车辆10内的情况下，hmd驾驶部17移至s160。
[0110]
另外，在s130中，在判定为被认证的驾驶员在车辆10内的情况下，hmd驾驶部17移至s140，判定该驾驶员的醉酒度是否良好。
[0111]
当在s140中判定为醉酒度不良的情况下，hmd驾驶部17移至s260。另外，当在s140中判定为醉酒度良好的情况下，hmd驾驶部17移至s150，进行允许来自车辆10内的基于hmd30的驾驶的意思的车内hmd有效设定。
[0112]
接着，在s160中，hmd驾驶部17判定驾驶员是否在车辆10外。当在s160中判定为驾驶员不在车辆10外的情况下，hmd驾驶部17移至s190。
[0113]
另外，当在s160中判定为驾驶员在车辆10外的情况下，hmd驾驶部17移至s170，判定该驾驶员的醉酒度是否良好。在s170中判定为醉酒度不良的情况下，hmd驾驶部17移至s260。
[0114]
另外，当在s170中判定为醉酒度良好的情况下，hmd驾驶部17移至s180，进行允许来自车辆10外的基于hmd30的驾驶的意思的车外hmd有效设定。
[0115]
接着，在s190中，hmd驾驶部17判定是否具有进行使用了车辆10内的加速器22、制动器23、转向器24的以往的手动驾驶的手动驾驶员。在s190中判定为没有进行车辆10内的以往的手动驾驶的手动驾驶员的情况下，hmd驾驶部17移至s220。
[0116]
当在s190中判定为存在进行车辆10内的以往的手动驾驶的手动驾驶员的情况下，hmd驾驶部17移至s200，判定该驾驶员的醉酒度是否良好。当在s200中判定为醉酒度不良的情况下，hmd驾驶部17移至s260。
[0117]
当在s200中判定为醉酒度良好的情况下，hmd驾驶部17移至s210，进行允许以往的手动驾驶的意思的以往手动有效设定。
[0118]
接着，在s220中，hmd驾驶部17获取用于模式选择的参数。此处的参数例如是驾驶员的意思、驾驶员的状态等。驾驶员的意思中也可以包含乘员的意思。参数中的驾驶员的意思例如经由操作部62被输入。在该处理后，移至s310。
[0119]
然而，在s260中，hmd驾驶部17进行拒绝驾驶警告。所谓的拒绝驾驶警告是不接受由该驾驶员进行的驾驶操作的意思的警告。换言之，拒绝驾驶警告是禁止加减速控制以及转向操纵控制的意思的通知。接着，在s270中，hmd驾驶部17进行驾驶员交替请求。驾驶员交替请求是促使交替为具有资格的其他驾驶员的请求。
[0120]
拒绝驾驶警告以及驾驶员交替请求作为包含这些的警告图像被发送到hmd30。车辆10的hmd驾驶部17若向hmd30发送警告图像，则在hmd30中，显示控制部37a在hmd30中使警告图像显示在显示部42上。若与警告图像对应地变更佩戴hmd30的人，则在处理返回到s120以下时，对变更后的驾驶员实施再次认证。
[0121]
接着，在s280中，hmd驾驶部17判定拒绝驾驶警告的状态是否持续了预先设定的时间。
[0122]
当在s280中判定为拒绝驾驶警告的状态未持续预先设定的时间的情况下，hmd驾驶部17移至s300。另外，当在s280中判定为拒绝持续了预先设定的时间的情况下，hmd驾驶部17移至s285，判定上次的驾驶模式是否是自动模式。
[0123]
当在s285中判定为上次的驾驶模式是自动模式的情况下，hmd驾驶部17移至s300，将自动模式设定为有效。之后，本处理移至s220。当在s285中判定为当前的驾驶模式不是自动模式的情况下，hmd驾驶部17移至s290，使车辆10自动停车。即，在不能指望能够安全地驾驶的驾驶员的驾驶操作的情况下，为了安全而使车辆10停车。之后，移至s220。此外，在该情况下，在车辆10停车后，关闭点火装置(即，ig)。
[0124]
接着，在s310中，hmd驾驶部17在服务器70以及存储器13中记录日志。此时，在日志中包含用于确定驾驶模式以及驾驶员的信息。此外，在驾驶员在车辆10内的情况下，也可以记录映在反射镜上的驾驶员的图像。接着，在s320中，hmd驾驶部17判定点火装置是否关闭。
[0125]
当在s320中判定为点火装置关闭的情况下，hmd驾驶部17结束图6的驾驶设定处理。当在s320中判定为点火装置未关闭的情况下，hmd驾驶部17移至s330，判定上次的驾驶模式是哪一种模式。
[0126]
当在s330中判定为上次的驾驶模式是自动模式的情况下，hmd驾驶部17移至s360，hmd驾驶部17在实施了自动模式处理后，返回到s120。当在s330中判定为上次的驾驶模式是车内hmd模式的情况下，hmd驾驶部17移至s370，hmd驾驶部17在实施了车内hmd处理后，返回到s120。
[0127]
当在s330中判定为上次的驾驶模式是车外hmd模式的情况下，hmd驾驶部17移至s380，hmd驾驶部17在实施了车外hmd模式处理后，返回到s120。当在s330中判定为上次的驾驶模式是以往手动模式的情况下，hmd驾驶部17移至s390，hmd驾驶部17在实施了以往手动处理后，返回到s120。当在s330中判定为上次的驾驶模式是自动停车的状态的情况下，hmd驾驶部17移至s400，hmd驾驶部17在实施了自动停车处理后，返回到s120。在自动停车处理中，是使车辆10安全地停车的处理，由于能够采用任意的处理，因此省略详细内容。
[0128]
[3-4-1.自动模式处理]
[0129]
使用图7的流程图对hmd驾驶部17所执行的自动模式处理进行说明。首先，在s410中，hmd驾驶部17判定是否能够继续当前的驾驶模式。例如，在车辆10没有产生故障的情况下，hmd驾驶部17判定为能够继续当前的驾驶模式，在车辆10产生某些故障的情况下，hmd驾驶部17判定为不能继续当前的驾驶模式。
[0130]
当在s410中判定为能够继续当前的驾驶模式的情况下，hmd驾驶部17移至s420，设定为继续自动模式，并返回到s410。另一方面，当在s410中判定为不能继续当前的驾驶模式的情况下，hmd驾驶部17移至s430，在根据逻辑表变更驾驶模式后，结束图7的自动模式处理。
[0131]
此处，将逻辑表的一个例子示于图8。在图8所示的逻辑表中，如果确定了各输入项目的组合，则设定为能够唯一地选择转移后的驾驶模式。此外，各输入项目包含：有无使用hmd30的资格、驾驶员的意思、驾驶员的状态、转移前的驾驶模式、车辆行驶系统异常诊断结果以及hmd装置的异常。另外，逻辑表内的*标记表示是任意状态。
[0132]
对于有无使用hmd30的资格而言，在进行了车内hmd有效设定的情况下，为“有(车内)”，在进行了车外hmd有效设定的情况下，为“有(车外)”，在不符合这些情况中的任意一
个的情况下，为“无”。驾驶员的意思是由驾驶员预先选择了希望以哪种驾驶模式的驾驶的项目。驾驶员的状态采用以上述的s140、s170、s200以及后述的s470检测的内容。
[0133]
车辆行驶系统异常诊断结果表示车辆10的故障状态，换言之，是对车辆10的部位和有无故障建立了对应关系的信息。车辆行驶系统异常诊断结果的项目中的“车辆行驶状态获取系统”以及“车辆模拟操作系统”是hmd驾驶中不可缺少的输入系统。
[0134]“车辆行驶状态获取系统”是用于在车辆10的内部获取车速等从传感器类21得到的信息的通信部19等结构。“车辆模拟操作系统”是用于从车辆10的外部获取从控制器50得到的与操作相关的信息的通信部19、控制器50的通信部59等结构。
[0135]
图8所示的逻辑表基于下述那样的观点来设定。
[0136]
[1]手动驾驶中有以往手动模式、车内hmd模式(即，车内hmd驾驶)、车外hmd模式(即，车外hmd驾驶)这三种模式，但在存在多个驾驶员的情况下，原则上以下述的优先级来选择驾驶模式。但是，在无法保证各驾驶员的状态为“正常”的状况下，选择反映了可靠性更高的驾驶员的意志的驾驶模式。
[0137]
自动停车＞以往手动模式＞车内hmd模式＞车外hmd模式＞自动模式
[0138]
也就是说，在进行手动驾驶时，优先离驾驶座更近的驾驶员。
[0139]
例如，[2]在作为切换目标的驾驶模式能够选择以往手动模式和车内hmd模式的情况下，原则上优先选择“以往手动模式”，但在无法保证“以往手动模式和车内hmd模式”中的至少任意一方的驾驶员的状态“正常”的状况下，选择“自动模式”。另外，进一步在无法保证“自动模式”的可靠性的状况下，选择“自动停车”。
[0140]
[3]上述[1][2]中的优先级的思考方法也可以根据今后的法规、技术的进步等，在能够进一步保证安全的方向上变更优先级设定。
[0141]
[4]所谓的“控制判断系统”是进行与自动制动等的安全相关的控制的功能。在“控制判断系统”产生异常的情况下，不选择自动模式、车内hmd模式、车外hmd模式。在该情况下，如果是有驾驶员责任的系统，则成为与无法自动驾驶的以往的车辆相同的状态。
[0142]
[5]在车辆驾驶系统1中，在点火装置打开时能够进行驾驶员和驾驶模式的选择。另外，在车辆驾驶系统1中，在点火装置打开后到点火装置关闭为止的一个行程中，也可以替换驾驶员。点火装置打开时的驾驶员的选择默认优先车内的有资格驾驶员，但在车内没有有资格驾驶员的情况下，也可以车外的hmd驾驶员通过远程打开点火装置。
[0143]
[3-4-2.车内hmd处理]
[0144]
使用图9的流程图对由hmd驾驶部17执行的车内hmd处理进行说明。首先，在s410中，hmd驾驶部17与自动模式处理同样地判定是否能够继续当前的驾驶模式。
[0145]
当在s410中判定为不能继续当前的驾驶模式的情况下，hmd驾驶部17移至s430。当在s410中判定为能够继续当前的模式的情况下，hmd驾驶部17移至s460，hmd驾驶部17判定车内hmd是否有效。当在s460中判定为车内hmd无效的情况下，hmd驾驶部17移至s430。
[0146]
另一方面，当在s460中判定为车内hmd有效的情况下，hmd驾驶部17移至s470，判定驾驶员状态是否良好。驾驶员状态由驾驶员监视部36判定。当在s470中判定为驾驶员状态不良的情况下，hmd驾驶部17移至s430。
[0147]
另一方面，当在s470中判定为驾驶员状态良好的情况下，hmd驾驶部17移至s480，设定为继续车内hmd模式，并结束图9的车内hmd处理。然而，在s430中，hmd驾驶部17与自动
模式处理同样地在根据逻辑表变更了驾驶模式后，结束图9的车内hmd处理。
[0148]
[3-4-3.车外hmd处理]
[0149]
使用图10的流程图对由hmd驾驶部17执行的车外hmd处理进行说明。首先，在s410中，hmd驾驶部17与自动模式处理同样地判定是否能够继续当前的驾驶模式。
[0150]
当在s410中判定为不能继续当前的驾驶模式的情况下，hmd驾驶部17移至s430。当在s410中判定为能够继续当前的模式的情况下，hmd驾驶部17移至s510，hmd驾驶部17判定车外hmd是否有效。当在s510中判定为车外hmd无效的情况下，hmd驾驶部17移至s430。
[0151]
另一方面，当在s510中判定为车外hmd有效的情况下，hmd驾驶部17移至s470，判定驾驶员状态是否良好。驾驶员状态由驾驶员监视部36判定。当在s470中判定为驾驶员状态不良的情况下，hmd驾驶部17移至s430。
[0152]
另一方面，在s470中判定为驾驶员状态良好的情况下，hmd驾驶部17移至s520，设定为继续车外hmd模式，并结束图10的车外hmd处理。然而，在s430中，hmd驾驶部17与自动模式处理同样地在根据逻辑表变更了模式后，结束图10的车外hmd处理。
[0153]
[3-4-4.以往手动处理]
[0154]
使用图11的流程图对由hmd驾驶部17执行的以往手动处理进行说明。首先，在s410中，hmd驾驶部17与自动模式处理同样地判定是否能够继续当前的模式。
[0155]
当在s410中判定为不能持续当前的模式的情况下，hmd驾驶部17移至s590。
[0156]
另一方面，当在s410中判定为能够持续当前的模式的情况下，hmd驾驶部17移至s560，判定以往手动驾驶是否有效。当在s560中判定为以往手动驾驶无效的情况下，hmd驾驶部17移至s590。
[0157]
另一方面，当在s560中判定为以往手动驾驶有效的情况下，hmd驾驶部17移至s570，判定驾驶员状态是否良好。当在s570中判定为驾驶员状态良好的情况下，hmd驾驶部17移至s580，设定为继续以往手动模式，并结束图11的以往手动处理。
[0158]
另一方面，当在s570中判定为驾驶员状态不良的情况下，hmd驾驶部17移至s590，进行自动停车。或者，设定为根据逻辑表来变更模式。之后，结束图11的以往手动处理。
[0159]
[3-5.效果]
[0160]
根据以上详细叙述的第一实施方式，起到以下的效果。
[0161]
(3a)本公开的一个方式是车辆驾驶系统1，具备至少一个无线通信装置和车辆10。作为无线通信装置，具备hmd30和控制器50。无线通信装置由驾驶员持有。车辆10构成为能够进行自动驾驶和手动驾驶，能够实施基于来自无线通信装置的指令的手动驾驶。另外，车辆10具备至少一个相机部25、传感器类21、信息发送部17a以及驾驶控制部17b。
[0162]
相机部25构成为拍摄车辆10的至少行进方向侧。传感器类21构成为检测车辆10的行驶信息。信息发送部17a构成为在实施手动驾驶时，将行驶信息以及由相机部25拍摄的拍摄图像发送到hmd30。驾驶控制部17b构成为在实施手动驾驶时，根据来自控制器50的驾驶指令，来实施车辆10的加减速控制以及转向操纵控制。
[0163]
无线通信装置具备信息获取部35、显示控制部37a、操作接受部57a以及指令发送部57b。信息获取部35构成为从车辆10获取拍摄图像以及行驶信息。显示控制部37a构成为使基于拍摄图像以及行驶信息的图像显示在显示部42上。操作接受部57a构成为接受由操作无线通信装置的驾驶员进行的与车辆10的加减速控制以及转向操纵控制相关的驾驶操
作。指令发送部57b构成为将基于驾驶操作的指令作为驾驶指令发送到车辆10。
[0164]
根据这样的结构，只要车辆10和无线通信装置能够进行通信，则无论无线通信装置的位置如何，都能够通过对hmd30以及控制器50的操作手动驾驶车辆10。因此，能够提高车辆10的结构的自由度。
[0165]
(3b)在本公开的一个方式中，无线通信装置还具备控制器50和hmd30。控制器50具备操作接受部57a和指令发送部57b。hmd30与控制器50分离，是能够佩戴在驾驶员的头部的hmd30，具备信息获取部35、显示部42以及显示控制部37a。
[0166]
根据这样的结构，能够扩大显示驾驶所需的信息的视角，因此驾驶员能够更安全地识别车辆10的周围的状况。
[0167]
(3c)在本公开的一个方式中，hmd30还具备移动检测部37b，该移动检测部构成为检测驾驶员的头部的移动。显示控制部37a生成以车辆10的驾驶座为视点的显示图像，以跟随由移动检测部37b检测的头部的移动的方式来变更显示图像的显示范围。
[0168]
根据这样的结构，由于生成将由相机部25拍摄的拍摄图像坐标转换为以驾驶座为视点的图像的显示图像，因此驾驶员能够视觉确认好像坐在车辆10的驾驶座上的图像。另外，由于生成跟随驾驶员的头部的移动的显示图像，因此能够提供驾驶员想看的方向的显示图像，驾驶员能够容易地进行车辆10的周围的安全确认。
[0169]
(3d)在本公开的一个方式中，座位位置获取部17f构成为获取用于确定车辆10的驾驶座的位置的驾驶座信息。显示控制部37a构成为生成以由驾驶座信息确定的位置为视点的显示图像。
[0170]
根据这样的结构，能够获取右舵车的驾驶座的位置、或左舵车的驾驶座的位置、或根据通行区划最适合驾驶的驾驶座的位置等作为驾驶座信息，能够提供以该位置为视点的显示图像。因此，驾驶员能够更安全地驾驶车辆10。
[0171]
(3e)在本公开的一个方式中，将用于使用hmd30和控制器50来实施手动驾驶的驾驶模式作为第一手动模式(车内hmd模式以及车外hmd模式)，在车辆10中，准备了第二手动模式(以往手动模式)，该第二手动模式是用于不使用hmd30和控制器50而通过手动驾驶车辆10的驾驶模式。模式选择部17g构成为根据该车辆10的故障状态以及该车辆10的乘员的意思，在实施手动驾驶时，从包含第一手动模式和第二手动模式的多个驾驶模式中选择任意一个驾驶模式。
[0172]
根据这样的结构，能够根据车辆10的故障状态以及车辆10的乘员的意思，从多个手动驾驶用的驾驶模式中选择最佳的驾驶模式。
[0173]
(3f)在本公开的一个方式中，适合与否判定部17c构成为判定驾驶员是否适合车辆10的驾驶。控制禁止部17d构成为在判定为驾驶员不适合驾驶的情况下，禁止由驾驶控制部17b进行的车辆10的加减速控制以及转向操纵控制。
[0174]
根据这样的结构，能够抑制不适合驾驶的驾驶员驾驶车辆10。
[0175]
(3g)在本公开的一个方式中，适合与否判定部17c判定驾驶员是否为醉酒状态。
[0176]
根据这样的结构，能够抑制醉酒状态的驾驶员驾驶车辆10。
[0177]
(3h)在本公开的一个方式中，适合与否判定部17c判定驾驶员是否具有用于驾驶车辆10的许可。
[0178]
根据这样的结构，能够抑制不具有许可的驾驶员驾驶车辆10。
[0179]
(3i)在本公开的一个方式中，信息储存部17e构成为将确定驾驶员的信息储存于预先设定的记录部。
[0180]
根据这样的结构，在由于车辆10的操作失误等而发生事故时，也包括选择了自动模式的情况，能够容易地确定此时的驾驶员和所选择的驾驶模式。
[0181]
(3j)在本公开的一个方式中，作为相机部25，具备相机s1、s3、s4、s5、s7和相机s2、s6。相机s1、s3、s4、s5、s7构成为以第一传感检测方式进行传感检测。相机s2、s6构成为以与第一传感检测方式不同的第二传感检测方式进行拍摄。显示控制部37a根据外部指令切换由相机s1、s3、s4、s5、s7拍摄的拍摄图像和由相机s2、s6拍摄的拍摄图像的至少一方并使该拍摄图像显示于显示部42。
[0182]
根据这样的结构，能够选择驾驶员容易视觉确认的传感检测方式并进行显示。
[0183]
(3k)在本公开的一个方式中，显示控制部37a也可以在操作接受部57a处于接受驾驶操作的状态时，禁止将特定图像显示于显示部42，在操作接受部57a处于未接受驾驶操作的状态时，允许将特定图像显示与显示部42，其中，该特定图像表示作为阻碍驾驶操作的图像预先设定的种类的图像。
[0184]
根据这样的结构，由于在进行驾驶操作时，能够抑制阻碍驾驶操作的图像被显示在显示部42上，因此驾驶员能够更安全地进行驾驶操作。另外，在驾驶操作以外时，能够将显示部42用于显示驾驶操作以外的任意的图像。
[0185]
[4.第二实施方式]
[0186]
[4-1.与第一实施方式的不同点]
[0187]
由于第二实施方式的基本结构与第一实施方式相同，因此以下对不同点进行说明。此外，与第一实施方式相同的附图标记表示相同的结构，参照之前的说明。
[0188]
在上述的第一实施方式中，在hmd30与车辆10之间的通信状态、或者控制器50与车辆10之间的通信状态良好的前提下进行了说明。与此相对，在第二实施方式中，与第一实施方式不同的点在于以存在通信状态不良的情况为前提，能够应对通信状态不良的情况。
[0189]
[4-2.结构]
[0190]
在第二实施方式的车辆驾驶系统2中，如图12所示，除了第一实施方式的车辆驾驶系统1之外，在车辆10中还具备通信诊断部80a。通信诊断部80a具备诊断车辆10与hmd30之间的通信状态、以及车辆10与控制器50的通信状态的功能。在以下所示的通信质量诊断处理中诊断这些通信状态。
[0191]
此外，以下，对诊断车辆10与hmd30之间的通信状态的处理进行说明，对诊断车辆10与控制器50的通信状态的处理省略说明。车辆10与控制器50的通信状态能够通过将诊断车辆10与hmd30之间的通信状态的处理的通信对象从hmd30置换为控制器50来实现。
[0192]
也就是说，车辆10是本公开中的第一装置，hmd30或控制器50是本公开中的第二装置。在本公开的一个方式中，第二装置构成为若从第一装置接收预先准备的测试数据，则将该测试数据保持不变地返回到第一装置。在本实施方式中，作为测试数据，利用由相机部25拍摄的拍摄图像即测试图像数据。
[0193]
如图13所示，通信诊断部80a具备图像获取部86a、图像收发部86b、通信判定部86c、控制通知部86d以及利用禁止部86e，作为诊断通信状态的功能。对于构成通信诊断部80a的各部86a～86e后述。
[0194]
[4-3.处理]
[0195]
接下来，使用图14的流程图对由第二实施方式的车辆10中的控制部11所执行的质量诊断处理进行说明。质量诊断处理是在实施驾驶设定处理之前、或实施手动驾驶之前、或实施手动驾驶时等任意的定时开始的处理。
[0196]
在质量诊断处理中，如图14所示，首先，在s610中，图像获取部86a获取由相机部25拍摄的拍摄图像。接着，在s620中，数据发送部86b将从相机部25获得的拍摄图像作为测试图像数据，并将该测试图像数据空传送到通信对象。所谓的空传送是指对通信对象与保持原样返回接收到的数据的意思的请求一起发送测试图像数据。
[0197]
在本实施方式的情况下，若车辆10对hmd30发送测试图像数据，则hmd30将接收到的测试图像数据保持不变地返回到车辆10。此外，数据发送部86b将测试图像数据的发送时刻保持在存储器13中。
[0198]
接着，在s630中，通信判定部86c判定是否有测试图像数据的响应。如果没有测试图像数据的响应，则返回到s630。另外，如果有测试图像数据的响应，则本处理移至s640，通信判定部86c对车辆10发送出的测试图像数据和hmd30返回的测试图像数据进行比较。在这里，通信判定部86c运算车辆10发送出的测试图像数据与车辆10接收到的测试图像数据一致到何种程度，换言之运算测试图像数据的一致性。测试图像数据的一致性较低的情况意味着测试图像数据在通信的过程中被破坏了。
[0199]
接着，在s650中，通信判定部86c基于测试图像数据的一致性以及从车辆10发送测试数据到从hmd30接收测试图像数据为止的延迟时间，来判定车辆10与hmd30之间的通信状态是否良好。
[0200]
在这里，对于测试图像数据的一致性而言，例如，如果数据一致的程度为阈值(例如，99.9％)以上，则判定为通信状态良好，如果小于阈值，则判定为通信状态不良。
[0201]
另外，对于延迟时间而言，例如，如果从车辆10发送测试图像数据到接收该数据为止的时间小于阈值(例如，10ms)，则判定为通信状态良好，如果为阈值以上，则判定为通信状态不良。
[0202]
此外，在本实施方式中，在测试图像数据的一致性以及延迟时间双方中通信状态良好时，通信判定部86c判定为整体上通信状态良好。另外，在测试图像数据的一致性或者延迟时间中通信状态不良时，通信判定部86c判定为整体上通信状态不良。
[0203]
在s650中如果通信状态良好，则结束本处理。另外，在s650中如果通信状态不良，则本处理移至s660，控制通知部86d对操作hmd30的驾驶员通知无法利用hmd驾驶系统的意思，也就是说，进行禁止由驾驶控制部17b进行的车辆10的加减速控制以及转向操纵控制的意思的通知。该通知通过向hmd30以及控制器50的至少一方发送图像、文字信息、声音等信息来进行。hmd30以及控制器50若接受到图像、文字信息、声音等信息，则使用显示器、扬声器等向驾驶员输出接收到的信息。
[0204]
接着，在s670中，利用禁止部86e进行设定，以使得禁止由驾驶控制部17b进行的车辆10的加减速控制以及转向操纵控制。例如，在上述的s150、s180的处理中，解除hmd有效设定，设定为无法利用hmd30。在s670之后，结束本处理。
[0205]
[4-4.效果]
[0206]
根据以上详细叙述的第二实施方式，起到上述的第一实施方式的效果(1a)，并且
起到以下的效果。
[0207]
(4a)在本公开的一个方式中，将hmd30(或者控制器50)和车辆10中的一方作为第一装置，将hmd30(或者控制器50)和车辆10中的另一方作为第二装置。在第二实施方式的车辆驾驶系统2中，具备数据接收部86b、通信判定部86c以及利用禁止部86e。
[0208]
数据接收部86b构成为配置于第一装置，在实施手动驾驶之前、或者实施手动驾驶时，从第二装置接收预先准备的测试数据。
[0209]
通信判定部86c构成为根据测试数据的接收状态，判定第一装置与第二装置之间的通信状态是否良好。
[0210]
利用禁止部86e构成为在通过通信判定部86c判定为通信状态不良的情况下，禁止由驾驶控制部17b进行的车辆10的加减速控制以及转向操纵控制。
[0211]
根据这样的结构，由于在通信状态不良的情况下禁止由驾驶控制部17b进行的车辆10的加减速控制以及转向操纵控制，因此在通过驾驶控制部17b控制车辆10时，能够难以因通信中断而无法控制车辆10。
[0212]
(4b)在本公开的一个方式中，第二装置构成为若从第一装置接收预先准备的测试数据，则将该测试数据保持不变地返回到第一装置。另外，车辆驾驶系统2还具备数据发送部86b，该数据发送部构成为配置于第一装置，并向第二装置发送测试数据。
[0213]
通信判定部86c构成为基于该第一装置发送出的测试数据与第二装置返回的测试数据的一致性、以及从该第一装置发送测试数据到从第二装置接收测试数据为止的延迟时间中的至少一方，来判定第一装置与第二装置之间的通信状态是否良好。
[0214]
根据这样的结构，由于使用发送出的测试数据与返回的测试数据的一致性以及延迟时间来判定通信状态，因此与仅接收测试数据的结构相比，能够高精度地判定通信状态。
[0215]
(4c)在本公开的一个方式中，第一装置还具备图像获取部86a。图像获取部86a构成为获取由相机部25、81b、81c拍摄的拍摄图像。数据发送部86b构成为发送包含拍摄图像的图像数据作为测试数据。
[0216]
根据这样的结构，由于发送由相机部拍摄的拍摄图像作为测试数据，因此能够使用始终不同的测试数据来实施判定。
[0217]
[5.其他实施方式]
[0218]
以上，对本公开的实施方式进行了说明，但本公开并不限定于上述的实施方式，能够进行各种变形来实施。
[0219]
(5a)在本实施方式中，在车辆10中，由适合与否判定部17c判定驾驶员是否适合车辆10的驾驶，但并不限于该结构。例如，hmd30以及控制器50、其他服务器等也可以判定驾驶员是否适合车辆10的驾驶。
[0220]
另外，也可以在进行许可认证时，检测向指定的驾驶座的就座，在未就座的情况下进行警告。另外，也可以在认证后使驾驶员的就座位置自由，仅实施一次认证。另外，许可认证也可以在与外部服务器的通信中来实施。
[0221]
(5b)在上述实施方式中，构成为由车辆10的信息储存部17e记录日志，但并不限定于此。例如，也可以为在服务器70、hmd30等中具备信息储存部17e，记录日志的结构。
[0222]
(5c)在上述实施方式中，车辆10具备驾驶座，该驾驶座具有加速器22、制动器23以及转向器24，但车辆10也可以不具备驾驶座。
[0223]
(5d)在上述实施方式中，生成将多个相机s1～s7的拍摄图像组合而成的图像的一部分作为显示图像，但也可以将相机s1～s7本身作为可动结构，根据佩戴有hmd30的驾驶员的头部的动作，使相机s1～s7的朝向联动。
[0224]
(5e)相机部25也可以具有望远功能、局部放大功能。在该结构中，在由hmd30显示的显示图像中，能够选择望远功能、局部放大功能。
[0225]
(5f)也可以在hmd30搭载有周边监视传感器的一部分。在该情况下，车辆10可以从hmd30获取周边监视传感器的检测结果。
[0226]
(5g)hmd30以及控制器50能够用于与车辆10的通信以外的处理。例如，hmd30以及控制器50通过与位于远处的现场机器人进行通信，能够作为医疗装置发挥功能。另外，hmd30以及控制器50能够在车辆10以外的其他移动体的驾驶操作时利用。
[0227]
(5h)控制器50也可以构成为能够操作车辆10中的转向指示灯以及刮水器等。
[0228]
(5i)在上述实施方式中，hmd30以及控制器50分别构成为能够与车辆10进行通信的单独的无线通信终端，但例如也可以作为平板终端等无线通信装置一体地构成。
[0229]
(5j)另外，本实施方式也可以应用于如下的结构。
[0230]
(5j-1)hmd驾驶中的有资格驾驶员的前座驾驶座视点的切换可以根据默认值固定，也可以根据有资格驾驶员的意志进行切换。
[0231]
(5j-2)也可以具有在车辆的启动开始前对有资格驾驶员坐在车辆内/外的何处认证hmd驾驶许可的单元，在hmd驾驶许可的所有者一人也未就座的情况下，通过声音或仪表面板显示在车辆启动前对有资格驾驶员进行警告，以使以往的手动驾驶的驾驶员坐在由法令规定的驾驶座，禁止hmd驾驶。
[0232]
(5j-3)hmd驾驶许可的系统认证也可以通过内置于hmd30、导航系统等的5g等无线通信单元，经由车辆外部的网络系统在主服务器中进行。或者，自动驾驶车辆中的基于hmd驾驶许可的驾驶的方式也可以为在车辆启动前未必需要有资格驾驶员坐在特定的驾驶座上，只要在hmd驾驶许可的系统认证后坐在车辆内/外，则可以随时从自动驾驶切换为hmd驾驶。
[0233]
(5j-4)也可以代替物理的加速器、制动器、方向盘、转向指示灯、仪表板，而具有将虚拟的操作单元投影到hmd内，使该虚拟的操作单元与通过操纵杆、声音识别或者手势识别等传递有资格驾驶员的驾驶操作意志的单元(即，模拟驾驶操作系统)协作的单元。模拟驾驶操作系统的输入装置可以通过有线附属于hmd主体，也可以是通过无线通信、红外线通信等系统构建的分体结构。
[0234]
(5j-5)作为实际图像的传感器信息源，通常使用可见光相机，但为了提高夜间等的可视性，也可以根据红外线、光谱相机、lidar等其他传感器信息，根据驾驶员的选择意志将在装置内或者云内进行了成像处理的图像显示在hmd装置内的一部分画面或者整个画面。
[0235]
(5j-6)也可以具备最佳地选择搭载于车辆的周边监视传感器组的传感器的单元，向hmd驾驶员提供多个实际图像或者扩展图像或者两个图像的合成图像。此时，也可以构成为驾驶员能够选择真实图像、增强现实图像、复合现实图像、虚拟现实图像等任意的图像。例如，驾驶员能够选择的事项包含是否显示除去了车身、座椅以及同乘者的身体等中的至少任一个的没有死角的合成图像、或者即使是不完整的识别物标(例如，缺少一部分的标
志、白线、人物)等是否也以虚拟影像进行加强补充显示等。
[0236]
(5k)hmd30也可以是透射式的hmd。在该情况下，也可以以往的手动驾驶员佩戴透射式hmd作为驾驶信息辅助显示装置，并使用加速器22等踏板类来进行驾驶操作。
[0237]
(5l)在服务器70的认证部72中保持有预先准备的不可驾驶人员列表。在不可驾驶人员列表中包含不可驾驶人员的信息。不可驾驶人员中例如可以包含恐怖分子、罪犯、传染病保持者等多个需要注意人员。
[0238]
在该结构的情况下，如图15所示，在s130中，hmd驾驶部17在判定被认证的驾驶员是否在车辆10内时，可以在被认证的驾驶员中包含在不可驾驶人员列表中列举的需要注意人员。
[0239]
另外，在s140、s170、s200中，hmd驾驶部17在判定认证是否良好以及该驾驶员的醉酒度是否良好时，在认证不良的情况下，也可以包括驾驶员是需要注意人员的情况。在该情况下，hmd驾驶部17也可以在s140、s170、s200中的任意一个步骤中，判定为驾驶员是需要注意人员或者醉酒度不良的情况下，移至s260。
[0240]
(5m)在上述实施方式中，通过交换测试图像数据来判定通信状态，但并不限于该结构。车辆10也可以不发送测试图像数据，而从hmd30、控制器50接收预先准备的测试数据，也可以代替测试图像数据将拍摄图像以外的任意数据发送到hmd30、控制器50。
[0241]
(5n)在上述第二实施方式中，在车辆10中具备通信诊断部80a，通过车辆10诊断通信状态，但并不限于该结构。
[0242]
例如，如图12的虚线所示，也可以在hmd30或控制器50中具备通信诊断部80b或80c。在hmd30中具备通信诊断部80b的情况下，也可以在hmd30中具备相机部81b。在该结构中，hmd30将车辆10以及控制器50作为通信对象，执行通信质量诊断处理即可。
[0243]
另外，在控制器50中具备通信诊断部80c的情况下，也可以在控制器50中具备相机部81c。在该结构中，hmd30将车辆10以及hmd30作为通信对象，执行通信质量诊断处理即可。
[0244]
(5o)可以通过多个构成要素来实现上述实施方式中的一个构成要素所具有的多个功能、或者通过多个构成要素来实现一个构成要素所具有的一个功能。另外，也可以通过一个构成要素来实现多个构成要素所具有的多个功能、或者通过一个构成要素来实现由多个构成要素实现的一个功能。另外，也可以省略上述实施方式的结构的一部分。另外，也可以对其它上述实施方式的结构附加或者置换上述实施方式的结构的至少一部分。
[0245]
(5p)除了上述的车辆驾驶系统1之外，也能够以成为该车辆驾驶系统1的构成要素的车辆10和无线通信装置、用于使计算机作为该车辆驾驶系统1的构成要素发挥功能的程序、记录有该程序的半导体存储器等非过渡性实体记录介质、车辆的远程操作方法等各种方式来实现本公开。