自主车辆中协助乘客的方法和装置与流程

自主车辆中协助乘客的方法和装置
1.本技术是申请日为2020.04.24、申请号为202010330962.9、发明名称为“自主车辆中协助乘客的方法和装置”的发明专利申请的分案申请。
技术领域
2.本技术涉及自主车辆，更具体地，涉及在无人驾驶的自主车辆中协助乘客的方法。


背景技术：

3.自主车辆，诸如不需要人类驾驶员的车辆，可以用来协助将乘客或物品从一个位置运送到另一位置。这种车辆可以在完全自动模式下进行操作，在这种模式下，乘客可以提供一些初始输入，诸如搭载位置或目的地位置，并且车辆操纵自己到该位置。车辆，包括自主车辆和非自主车辆，一般可以向乘员提供关于车辆的状态的音频和/或视觉通知，并且在一些情况下，提供关于车辆外部对象的状态的音频和/或视觉通知。


技术实现要素：

4.本公开的一个方面提供了一种操作被分配给乘客的、没有驾驶员的自主车辆的方法，该方法包括：由一个或多个处理器控制车辆搭载乘客并将乘客运送到第一位置；当车辆朝着第一位置运送乘客时，由一个或多个处理器从乘客接收请求车辆在到达第一位置之前靠边停车的第一用户输入；响应于接收到第一用户输入：由一个或多个处理器通过车辆的扬声器播放确认已经做出了靠边停车的请求的第一通告；由一个或多个处理器寻找要靠边停车的第二位置；以及由一个或多个处理器控制车辆在第二位置处靠边停车。
5.在一个示例中，第一用户输入是通过乘客第一次按下一组按钮中的第一按钮来生成的。在另一个示例中，第一通告指示乘客能够通过第二次按下第一按钮来取消请求。在另一个示例中，第一通告还指示车辆正在寻找要靠边停车的第二位置。在另一个示例中，当在车辆到达第二位置之前第一按钮没有被第二次按下时，车辆在第二位置处靠边停车。在另一个示例中，当车辆在将乘客运送到第二位置时，由一个或多个处理器从乘客接收请求取消靠边停车请求的第二用户输入。在另一个示例中，第二用户输入是由乘客第二次按下第一按钮来生成的。在另一个示例中，响应于接收到第二用户输入，由一个或多个处理器控制车辆将乘客运送到第一位置，而不在第二位置处靠边停车。在另一个示例中，响应于接收到第二用户输入，由一个或多个处理器通过车辆的扬声器播放确认已经取消了靠边停车请求的第二通告。在另一个示例中，用户输入是经由触摸屏或麦克风来提供的。
6.本公开的另一个方面提供了一种被配置为以自主模式操作的车辆，该车辆包括：用户输入设备；至少一个扬声器；以及耦合到该用户输入设备和该扬声器的一个或多个处理器，其中，该一个或多个处理器被配置为：控制车辆搭载乘客并将乘客运送到第一位置；当车辆朝着第一位置运送乘客时，从用户输入设备接收请求车辆在到达第一位置之前靠边停车的第一用户输入；以及响应于接收到第一用户输入：通过至少一个扬声器播放确认已经做出了靠边停车的请求的第一通知；寻找要靠边停车的第二位置；以及控制车辆在第二
位置处靠边停车。
7.在一个示例中，第一用户输入是通过乘客第一次按下一组按钮中的第一按钮来生成的。在另一个示例中，第一通告指示乘客能够通过第二次按下第一按钮来取消请求。在另一个示例中，第一通告还指示车辆正在寻找要靠边停车的第二位置。在另一个示例中，当在车辆到达第二位置之前第一按钮没有被第二次按下时，车辆在第二位置处靠边停车。在另一个示例中，在另一个示例中，当车辆在将乘客运送到第二位置时，从用户输入设备接收请求取消靠边停车请求的第二用户输入。在另一个示例中，来自用户输入设备的第二用户输入是通过乘客第二次按下第一按钮而生成的。在另一个示例中，响应于接收到第二用户输入，控制车辆将乘客运送到第一位置，而不在第二位置处靠边停车。在另一个示例中，响应于接收到第二用户输入，通过至少一个扬声器播放确认已经取消了靠边停车请求的第二通告。在另一个示例中，用户输入设备是触摸屏或麦克风。
8.本公开的又一个方面提供了一种在无驾驶员的自主车辆中协助乘客的方法。该方法包括：在车门打开之后，由车辆的一个或多个计算设备的一个或多个处理器等待预定时间段；在等待预定时间段之后并且当车门保持打开时，由一个或多个处理器通过车辆的扬声器播放用于关闭车门的一组指令；一旦车门关闭，由一个或多个处理器通过扬声器播放通告，请求乘客按下第一按钮以启动到目的地的行程；以及响应于第一按钮被按下，由一个或多个处理器通过自动地操纵车辆到目的地来启动到目的地的行程。
9.在一个示例中，当车门打开时，通过扬声器向乘客播放识别车辆的信息，以使乘客能够确认乘客在乘客的分配的车辆中。在另一示例中，预定时间段对应于可以预计乘客进入车辆并关闭车门的时间量。在另一示例中，该组指令包括要求乘客两次按下第二按钮来关闭车门。附加地或可替代地，该组指令从多个按钮中识别第二按钮。在另一示例中，一旦车门关闭，就播放声明目的地的第二通告，以便使乘客能够确认乘客在乘客的分配的车辆中。在该示例中，第二通告还请求乘客通过按下第二按钮来确认目的地。附加地或可替代地，在已经启动到目的地的行程之后播放第二通告。附加地或可替代地，方法还包括，在播放第二通告之前，确认乘客在车辆内就座。在另一示例中，方法还包括，在行程期间，经由扬声器向乘客提供关于如何控制车辆的一个或多个功能的指令。在该示例中，一个或多个功能包括打开或关闭车窗。附加地或可替代地，一个或多个功能包括如何使用车辆的空调。附加地或可替代地，一个或多个功能包括如何听音乐。在另一示例中，方法还包括：在行程期间，经由扬声器向乘客提供包括关于车辆正在做什么的多个通告的独白；从用户输入设备接收请求改变多个通告的频率的用户输入；以及基于请求改变频率。在另一示例中，方法还包括：在行程期间，经由扬声器向乘客提供包括关于车辆正在做什么的多个通告的独白；从用户输入设备接收请求改变多个通告的音量的用户输入；以及基于请求改变音量。在另一示例中，方法还包括：在行程期间，经由扬声器向乘客提供包括关于车辆正在做什么的多个通告的独白；从用户输入设备接收请求改变多个通告的内容的用户输入；以及基于请求改变内容。在另一示例中，方法还包括：在行程期间，经由扬声器向乘客提供包括关于车辆正在做什么的多个通告的独白；识别问题状况；基于所识别的问题状况提供第二通告；连接车辆与乘车者支持代表；以及在连接乘车者支持代表的同时，禁用多个通告中的至少一些通告。在另一示例中，方法还包括，在行程期间，禁用或忽略来自车辆的触敏显示器的输入。
附图说明
10.图1是根据示例性实施例的示例车辆的功能图。
11.图2是根据本公开的各方面的车辆的示例外部视图。
12.图3是根据本公开的各方面的示例系统的示意图。
13.图4是根据本公开的各方面的图3的系统的功能图。
14.图5是根据本公开的各方面的示例流程图。
15.图6是根据本公开的各方面的示例流程图。
具体实施方式
16.概述
17.本技术涉及在无驾驶员的车辆(即自主车辆)中协助乘客。这种协助可以包括向乘客提供听觉信息。可以受益于这种协助的乘客可能包括盲人或有视力障碍的人、对自主车辆不熟悉的人(即第一次行程)、有身体障碍的人、年老或体弱的人、分心或容易分心的人等，或者处于要提供的信息可能太复杂或仅仅是太多而无法视觉呈现的情况下的人。通过以这种方式协助乘客，乘客能够保持冷静，并且更容易理解车辆正在做什么以及乘客应该做什么，例如，以便使车辆行进到乘客的目的地。这又可以使车辆能够更高效地进行操作，如下文进一步讨论的。
18.例如，当车辆停下来搭载乘客时，车辆的计算设备和/或乘客可以打开车门。此时，假设乘客正在进入或接近车辆，车辆的计算设备可以通过扬声器播放一些识别信息，诸如可以使乘客能够确认他或她在正确的车辆中的信息。
19.在预定时间段之后，如果车门保持打开(例如通过来自车门传感器的反馈而确认)，则车辆的计算设备可以通过扬声器播放用于关闭车门的一组指令。预定时间段可以是可以预计乘客进入车辆并关闭车门的合理的时间量。
20.一旦车门关闭，车辆可以确认乘客的目的地。这可以包括播放声明目的地(诸如目的地的专有名称和/或街道地址)的通告。然后，可以借由通告要求乘客确认目的地。在确认目的地之后，可以借由通告要求乘客启动行程。通过将此步骤与确认目的地分开，这也可以解决乘客意外地确认了错误目的地的情况。
21.在行程期间，车辆的计算设备可以通过扬声器提供关于行程的信息的独白。通告还可以提供关于车辆的问题状况的消息，诸如车辆的问题，诸如碰撞或传感器问题。
22.当车辆接近目的地时，通告还可以包括与目的地相关的信息。例如，车辆的计算设备可以使用关于与来自其他来源的数据相结合的预计到达时间的信息来向一个或多个乘客提供信息。通告还可以包括与目的地有关的、用于帮助一个或多个乘客定向的信息。在一些情况下，通告可以指示当前天气情况或者乘客是否需要避开车辆外部的任何障碍物。例如，这些障碍物和天气状况可以基于来自车辆的感知系统的传感器数据来确定。
23.在一些情况下，一个或多个乘客能够改变通告的频率或细节级别。例如，乘客可以通过选择车辆播放关于附近地标的信息或诸如车辆是否处于停车灯、车辆正在经过什么街道等信息来请求关于车辆的当前环境的更多细节。作为另一示例，通告的细节级别可以包括一个或多个乘客可以选择的两个或更多个细节级别。
24.本文描述的特征可以允许无驾驶员的车辆向乘客提供协助。再次，通过以这种方
式协助乘客，乘客能够保持冷静，并且更容易理解车辆正在做什么以及乘客应该做什么，例如，以便使车辆行进到乘客的目的地。这又可以使车辆更高效地进行操作，因为乘客将更好地理解如何操作车辆。例如，视力障碍的用户可以更好地理解他们的世界和社区。换句话说，在人类驾驶员的情况下，视力障碍的人可能没有被提供有足够的上下文以允许视力障碍的人能够通过驾驶经过这样的位置来发现新的位置。然而，通告可以为视力障碍的乘客创造“音频画面”，这样他们就有了更好的上下文来了解他们在哪里和他们周围有什么。
25.示例系统
26.如图1所示，根据本公开一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、娱乐车辆等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
27.存储器130存储一个或多个处理器120可访问的信息，包括可以由处理器120执行或使用的指令132和数据134。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质，或者存储可以借助电子设备读取的数据的其他介质，诸如硬盘驱动器、记忆卡、rom、ram、dvd或其他光盘，以及其他可写存储器和只读存储器。系统和方法可以包括前述内容的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
28.指令132可以是由处理器直接执行(诸如机器代码)或间接执行(诸如脚本)的任何一组指令。例如，该指令可以作为计算设备代码存储在计算设备可读介质上。在这点上，术语“软件”、“指令”和“程序”在本文可以互换使用。指令可以以对象代码格式存储以用于由处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预编译的独立源代码模块的脚本或集合。将在下面更详细地解释指令的功能、方法和例程。
29.处理器120可以根据指令132检索、存储或修改数据134。例如，尽管所要求保护的主题不受到任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中，存储在关系数据库中，作为具有多个不同字段和记录的表、xml文档或平面文件。数据也可以以任何计算设备可读的格式来格式化。
30.一个或多个处理器120可以是任何传统的处理器，诸如市售cpu(中央处理单元，central processing unit)。可替代地，一个或多个处理器可以是专用设备，诸如asic或其他基于硬件的处理器。尽管图1在功能上示出了处理器、存储器和计算设备110的其他元素在同一框内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，它们可以存储在或可以不存储在同一物理外壳内。例如，存储器可以是位于不同于计算设备110的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。
31.计算设备110可以包括通常与计算设备结合使用的所有组件，诸如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏、按钮和/或麦克风)和各种电子显示器(例如，具有屏幕的监控器或可操作来显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这点上，内部电子显示器152可以位于车辆100的驾驶室内，并且可以由计算设备110使用来向车辆100内的乘客提供信息。计算设备110还可以包括车辆的各种状态传感器156和/或从车辆的各种
状态传感器156接收反馈，例如，这些传感器可以包括可以向计算设备110指示车门(诸如图2的车门350、352)的状态(即，是打开还是关闭)的车门传感器。其他传感器(诸如安全带传感器、座椅传感器(例如，压力传感器或开关)、内部相机等)也可以是计算设备110的一部分和/或向计算设备110提供关于车辆100的状态的反馈。
32.计算设备110还可以包括一个或多个无线网络连接158，以促进与其他计算设备的通信，诸如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短程通信协议，诸如蓝牙、蓝牙低能耗(low energy，le)、蜂窝连接，以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网络、广域网、局域网、使用一个或多个公司专有的通信协议的专用网络、以太网、wifi和http，以及前述内容的各种组合。
33.在一个示例中，计算设备110可以是自动驾驶计算系统的控制计算设备或者结合到车辆100中。自动驾驶计算系统能够与车辆的各种组件进行通信，以便根据存储器130的自主车辆控制软件来控制车辆100的移动，如下文进一步讨论的。例如，回到图1，根据存储器130的指令132，计算设备110可以与车辆100的各种系统进行通信，诸如减速系统160、加速系统162、转向系统164、信号系统166、规划系统168、路线系统170、定位系统172、感知系统174、行为建模系统176和动力系统178(即车辆的发动机或马达)，以便控制车辆的移动、速度等。这些系统中的每一个可以包括各种硬件(类似于处理器120和存储器130的处理器和存储器)以及软件，以使这些系统能够执行各种任务。再次，尽管这些系统被示为在计算设备110的外部，但是实际上，这些系统也可以被结合到计算设备110中，再次作为用于控制车辆100的自动驾驶计算系统。
34.作为示例，计算设备110可以与减速系统160和/或加速系统162的一个或多个致动器(诸如车辆的制动器、加速器踏板和/或发动机或马达)交互，以便控制车辆的速度。类似地，转向系统164的一个或多个致动器(诸如方向盘、转向轴和/或齿条齿轮系统中的齿轮和齿条)可以由计算设备110使用，以便控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如汽车或卡车，则转向系统可以包括一个或多个致动器以控制车轮的角度来转动车辆。计算设备110可以使用信号系统166，例如通过在需要时点亮转向信号或刹车灯，以便向其他驾驶员或车辆发信号通知车辆的意图。
35.计算设备110可以使用规划系统168，以便确定并遵循由路线系统170生成的路线来到达位置。例如，路线系统170可以使用地图信息来确定从车辆的当前位置到目的地位置的路线。规划系统168可以周期性地生成轨迹或短期规划，以用于在未来一段时间内控制车辆，以便遵循到目的地的路线。在这点上，规划系统168、路线系统170和/或数据134可以存储详细的地图信息，例如识别道路的形状和高度(elevation)、车道线、十字路口、人行横道、速度限制、交通信号、建筑物、标志、实时交通信息、植被或其他这种对象和信息的高度详细的地图。
36.尽管地图信息在本文被描绘为基于图像的地图，但是地图信息不需要完全基于图像(例如，栅格图)。例如，地图信息可以包括一个或多个道路图形或信息的图形网络，诸如道路、车道、十字路口以及这些特征之间的连接。每个特征可以被存储为图形数据，并且可以与诸如地理位置以及它是否链接到其他相关特征的信息相关联，例如，停车标志可以链接到道路和十字路口等。在一些示例中，相关联的数据可以包括道路图形的基于网格的索引，以允许某些道路图形特征的高效查找。
37.计算设备110可以使用定位系统172，以便确定车辆在地图或地球上的相对或绝对定位。例如，定位系统172可以包括gps接收器，以确定设备的纬度、经度和/或高度位置。其他位置系统，诸如基于激光的定位系统、惯性辅助的gps或基于相机的定位，也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置，诸如纬度、经度和海拔，以及相对位置信息，诸如相对于紧邻车辆的其他汽车的位置，其通常可以用比绝对地理位置更少的噪声来确定。
38.定位系统172还可以包括与计算设备110进行通信的其他设备，诸如加速度计、陀螺仪或其他方向/速度检测设备，以确定车辆的方向和速度或其改变。仅作为示例，加速度装置可以确定其相对于重力的方向或与其垂直的平面的俯仰、偏航或滚动(或其改变)。该设备还可以跟踪速度的增加或减少以及这种改变的方向。本文阐述的设备的位置和朝向数据的提供可以自动地提供给计算设备110、其他计算设备以及前述内容的组合。
39.感知系统174还包括一个或多个组件，以用于检测车辆外部的对象，诸如其他车辆、道路中的障碍物、交通信号、标志、树木等。例如，感知系统174可以包括激光器、声纳、雷达、相机和/或记录可以由计算设备110处理的数据的任何其他检测设备。在车辆是诸如小型货车的客车的情况下，小型货车可以包括安装在顶部或其他方便位置的激光器或其他传感器。例如，图2是车辆100的示例外部视图。在该示例中，车顶外壳310和穹顶外壳312可以包括lidar传感器以及各种相机和雷达单元。此外，位于车辆100的前端的外壳320和在车辆的驾驶员侧和乘客侧的外壳330、332可以各自存储lidar传感器。例如，外壳330位于驾驶员门350的前面。车辆100还包括也位于车辆100的顶部的雷达单元和/或相机的外壳340、342。额外的雷达单元和相机(未示出)可以位于车辆100的前端和后端和/或沿着顶部或车顶外壳310的其他位置。车辆100还包括典型客车的许多特征，诸如车门350、352，车轮360、362等。
40.车辆的各种系统可以使用自主车辆控制软件运行，以便确定如何控制车辆以及控制车辆。作为示例，感知系统174的感知系统软件模块可以使用由自主车辆的一个或多个传感器(诸如相机、lidar传感器、雷达单元、声纳单元等)生成的传感器数据，以检测并且识别对象及其特性。这些特性可以包括位置、类型、航向、朝向、速度、加速度、加速度的改变、尺寸、形状等。在一些情况下，特性可以被输入到行为预测系统软件模块中，行为预测系统软件模块使用基于对象类型的各种模型来输出检测到的对象的预测的未来行为。在其他情况下，特性可以被放入一个或多个检测系统软件模块中，诸如被配置为从由车辆的一个或多个传感器生成的传感器数据中检测施工区(construction zone)的施工区检测系统软件模块，以及被配置为从由车辆的传感器生成的传感器数据中检测紧急车辆的紧急车辆检测系统。这些检测系统软件模块中的每一个都可以使用各种模型来输出施工区或对象是紧急车辆的可能性。检测到的对象、预测的未来行为、来自检测系统软件模块的各种可能性、识别车辆的环境的地图信息、来自识别车辆的位置和朝向的定位系统172的定位信息、车辆的目的地以及来自车辆的各种其他系统的反馈(包括由路线系统170生成的路线)可以被输入到规划系统168的规划系统软件模块中。规划系统可以使用该输入来生成车辆在未来一段短暂时间内要遵循的轨迹。例如，计算设备110的控制系统软件模块可以被配置为通过控制车辆的制动、加速和转向来控制车辆的移动，以便遵循轨迹。
41.计算设备110可以通过控制各种组件来自动地控制车辆的方向和速度。为此，计算
设备110可以使车辆加速(例如，通过增加由加速系统162提供给发动机的燃料或其他能量)、减速(例如，通过减少供应给发动机的燃料、改变档位和/或通过减速系统160施加制动)、改变方向(例如，通过转向系统164转动车辆100的前轮或后轮)、以及发信号通知这种改变(例如，通过点亮信号系统166的转向信号)。因此，加速系统162和减速系统160可以是包括车辆的发动机和车辆的车轮之间的各种组件的传动系统的部分。再次，通过控制这些系统，计算设备110还可以控制车辆的传动系统，以便自动地操纵车辆。
42.此外，存储器130可以存储能够由计算设备110使用以通过扬声器154生成和播放各种通告的信息。这些通告可以是预录制的或动态生成的画外音(voice-over)通告，其可以向车辆的乘客提供指令或其他信息，如下面进一步讨论的。可以用乘客的所选语言和/或根据乘客对口音/语音类型的选择来生成预录制的或动态生成的画外音通告。例如，可以经由下面进一步讨论的自主车辆服务的应用来做出这些选择。通告可以以任何压缩(无损或有损)或未压缩的音频文件格式来存储。通告可以包括单独的声音文件，其可以与其他声音文件一起播放，以便向车辆100的乘客提供信息。此外，这些通告中的每一个可以与事件或一系列事件相关联或另外被索引到事件或一系列事件。在这点上，特定事件或一系列事件的标识符可以用于识别一个或多个适当的通告。
43.车辆100的计算设备110还可以从其他计算设备接收信息或向其他计算设备传送信息，诸如作为运送服务的一部分的那些计算设备以及其他计算设备。图3和图4分别是包括经由网络460连接的多个计算设备410、420、430、440和存储系统450的示例系统300的示意图和功能图。系统300还包括车辆100和可以配置为与车辆100相同或相似的车辆100a。尽管为了简单起见，仅描述了几个车辆和计算设备，但是典型的系统可以包括显著更多的车辆和计算设备。
44.如图3所示，计算设备410、420、430、440中的每一个可以包括一个或多个处理器、存储器、数据和指令。这种处理器、存储器、数据和指令可以配置为类似计算设备110的一个或多个处理器120、存储器130、数据134和指令132。
45.网络460和中间节点可以包括各种配置和协议，包括短程通信协议，诸如蓝牙、蓝牙le、互联网、万维网、内联网、虚拟专用网络、广域网、局域网、使用一个或多个公司专有的通信协议的专用网络、以太网、wifi和http，以及前述内容的各种组合。这种通信可以由能够向和从其他计算设备传输数据的任何设备(诸如调制解调器和无线接口)来促进。
46.在一个示例中，一个或多个计算设备410可以包括具有多个计算设备的一个或多个服务器计算设备，例如负载平衡服务器群，其与网络的不同节点交换信息，以用于从其他计算设备接收数据、处理数据和向其他计算设备传输数据的目的。例如，一个或多个计算设备410可以包括能够经由网络460与车辆100的计算设备110或车辆100a的类似计算设备以及计算设备420、430、440进行通信的一个或多个服务器计算设备。例如，车辆100、100a可以是可以由服务器计算设备派遣到各种位置的车队的一部分。在这点上，服务器计算设备410可以用作派遣服务计算系统，其可以用于将诸如车辆100和车辆100a的车辆派遣到不同的位置，以便让乘客上下车。此外，服务器计算设备410可以使用网络460来传输信息并在显示器(诸如计算设备420、430、440的显示器424、434、444)上将其呈现给用户(诸如用户422、432、442)。在这点上，计算设备420、430、440可以被认为是客户端计算设备。
47.如图4所示，每个客户端计算设备420、430、440可以是旨在由用户422、432、442使
用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件，包括一个或多个处理器(例如，中央处理单元(cpu))、存储数据和指令的存储器(例如，ram和内部硬盘驱动器)、诸如显示器424、434、444的显示器(例如，具有屏幕、触摸屏、投影仪、电视的监控器或可操作以显示信息的其他设备)、以及用户输入设备426、436、446(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元素彼此连接的所有组件。
48.尽管客户端计算设备420、430和440可以各自包括全尺寸的个人计算设备，但是它们可以可替代地包括能够通过诸如互联网的网络与服务器无线地交换数据的移动计算设备。仅作为示例，客户端计算设备420可以是移动电话或能够经由互联网或其他网络获得信息的设备，诸如支持无线的pda、平板pc、可穿戴计算设备或系统、或上网本。在另一示例中，客户端计算设备430可以是可穿戴计算系统，如图3所示，示出为手表。例如，用户可以使用小键盘、键盘、麦克风、使用利用相机的视觉信号或触摸屏来输入信息。
49.在一些示例中，客户端计算设备440可以是由管理员使用以向诸如用户422和432的用户提供礼宾(concierge)或远程协助服务的礼宾工作站。例如，代表442可以使用礼宾工作站440经由电话呼叫或音频连接通过用户各自的客户端计算设备或者车辆100或100a与用户进行通信，以便确保车辆100和100a的安全操作和用户的安全，如下面进一步详细描述的。尽管在图3和图4中仅示出了单个礼宾工作站440，但是在典型的系统中可以包括任何数量的这种工作站。
50.与存储器130一样，存储系统450可以是能够存储服务器计算设备410可访问的信息的任何类型的计算机化存储装置，诸如硬盘驱动器、记忆卡、rom、ram、dvd、cd-rom、可写存储器和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在可以在物理上位于相同或不同地理位置的多个不同的存储设备上。如图3和图4所示，存储系统450可以经由网络460连接到计算设备和/或可以直接连接到或者结合到计算设备110、410、420、430、440等中的任何一个。
51.示例方法
52.除了上述和附图中示出的操作之外，现在将描述各种操作。应该理解，以下操作不必以下面描述的精确次序来执行。或者，可以以不同的次序或同时处理各种步骤，并且也可以添加或省略步骤。
53.图5是本文描述的用于在无驾驶员的情况下协助自主车辆(诸如车辆100)中的乘客的技术的各方面的示例流程图500，其可以由车辆的一个或多个计算设备的一个或多个处理器(诸如计算设备110的处理器120)来执行。例如，在框510，在车门打开时经过预定时间段之后，通过车辆的扬声器播放用于关闭车门的一组指令。例如，车辆的计算设备可以等待预定时间段才关闭车门。如果在等待预定时间段之后，车门保持打开，则计算设备110可以通过车辆的扬声器播放用于关闭车门的一组指令。在框520，一旦车门关闭，就通过扬声器播放通告，请求乘客按下第一按钮以启动到目的地的行程。在框530，响应于第一按钮被按下，通过自动地操纵车辆到目的地来启动到目的地的行程。
54.为了生成和提供通告，计算设备110可以确定某些事件何时发生。如下面进一步讨论的，可以基于旅程的状态(搭载乘客、到目的地的路线上的相关位置等)、来自车辆的各种传感器的反馈和/或向和从车辆的各种系统发送的监控消息来识别事件。例如，监控可以包
括检查向和从车辆的各种系统发送的消息和那些消息的内容。例如，由规划系统168提供给加速和减速系统的指令、从感知系统174到规划系统168的消息、来自车辆的各种传感器(例如，车门传感器、光传感器、相机、安全带传感器、压力传感器)的反馈等可以对应于特定事件。作为另一示例，由感知系统174提供的消息可以对应于当感知系统检测到交通灯、停车标志、紧急车辆时的事件或其他不常见事件。在其他情况下，当车辆的位置接近与特定标志或某类型的数据相关联的地图信息中的位置时，这可以对应于事件。例如，计算设备110可以确定车辆何时在与新开张的企业的标志相关联的地图信息的位置附近，这可以对应于事件。一旦确定事件或一系列事件已经发生，计算设备110就可以例如使用事件或一系列事件的标识符来从存储器中检索并播放相应的通告。其他示例如下。
55.计算设备110可以使用其他类型的信息，以便增加或减少通告的频率。例如，一天中的当前时间可以用于定制消息的频率、内容或音量。例如，更安静、不太冗长、不太频繁的通告可能在深夜更合适，而更大声、更冗长、更频繁的通告可能在白天更合适。
56.在一个方面，用户可以将用于请求车辆的应用下载到客户端计算设备。例如，用户422和432可以经由电子邮件中的链接直接从网站或应用商店将应用下载到客户端计算设备420和430。例如，客户端计算设备可以通过网络向例如一个或多个服务器计算设备110传输对应用的请求，并且作为响应而接收应用。应用可以本地安装在客户端计算设备上。
57.然后，用户可以使用他或她的客户端计算设备来访问应用并请求车辆。作为示例，诸如用户432的用户可以使用客户端计算设备130向一个或多个服务器计算设备110发送对车辆的请求。作为该过程的一部分，用户可以识别搭载位置、目的地位置，并且在一些情况下，可以识别服务区内车辆可以停车的任何地方的一个或多个中间停车位置。
58.一旦用户选择了一个或多个搭载和/或目的地位置，客户端计算设备420就可以将一个或多个位置发送到集中式派遣系统的一个或多个服务器计算设备。作为响应，一个或多个服务器计算设备(诸如服务器计算设备110)可以例如基于对用户的可用性和与用户的接近程度来选择车辆。然后，服务器计算设备可以通过向车辆提供由用户指定的搭载和/或目的地位置，派遣所选车辆以搭载用户。
59.在接收到该信息时，计算设备110可以控制车辆以便搭载用户(在下文中称为乘客)。一旦车辆在搭载位置的预定距离内或者满足某个其他阈值，计算设备110就可以开始识别接近搭载位置的区域，车辆可以在该区域停车并等待乘客。一旦识别出区域，计算设备110就可以使用车辆100的各种系统来控制车辆，以便在所识别的区域中停车并等待乘客。
60.当车辆停车来搭载乘客时，计算设备110和/或乘客可以打开车门，例如，诸如车门350或车门352。此时，假设乘客正在进入或接近车辆，这可能对应于如上所述的事件。因此，计算设备110可以通过扬声器(诸如扬声器154之一)播放包括一些识别信息的通告。识别信息可以包括乘客的姓名或其他信息，诸如特别选择的短语或描述(例如“蓝色钻石”)，这将使乘客能够确认他或她已经进入了正确的车辆，或者换句话说，他或她的分配的车辆。
61.在车门打开之后，计算设备110可以等待预定时间段。预定时间段可以是可以预计乘客进入车辆100并关闭车门的合理的时间量，诸如10秒或更多或更少。在等待预定时间段之后，计算设备110可以例如经由来自车门传感器的反馈来确定车门是否仍然打开。
62.在等待预定时间段之后并且当车门保持打开时，计算设备110可以触发如上所述的事件。因此，计算设备110可以播放存储器130的通告，其包括用于关闭车门的一组指令。
如上所述，可以基于一系列事件的发生来识别该通告，诸如确定车辆停车、等待一段时间以及车门保持打开已经发生。计算设备110可以通过扬声器(诸如扬声器154之一)播放通告。作为一个实例，例如，该组指令可以包括要求乘客两次按下用户输入150的一组按钮上的特定按钮。例如，如果有多个按钮，可以经由通告要求乘客两次按下“最右边的按钮”。在本示例中，通过要求乘客两次按下按钮，可以防止在乘客完全进入车辆内之前车门意外地关闭。此外，通过提供如在一行按钮中的“最右边的按钮”的指令，视力障碍或者不能阅读或理解图标的人可以更容易地找到该按钮。
63.一旦车门关闭(例如由车门传感器的反馈确认)，这可能触发如上所述的事件。该事件的通告可以包括计算设备110可以确认乘客的目的地。如上所述，可以基于一系列事件的发生来识别该通告，诸如确定车辆停车、车门打开和此后车门关闭已经发生。因此，计算设备110可以经由扬声器154播放通告，包括识别乘客的(或更确切地，车辆的)目的地的信息，诸如目的地的专有名称和/或街道地址。然后，可以借由通告要求乘客确认目的地，例如，借由用户输入来确认目的地。例如，这可以包括经由通告指示乘客按下用户输入150的相同或不同的按钮。响应于乘客按下相同或不同的按钮，车辆的计算设备可以理解要确认的目的地。
64.在一些情况下，在经由播放通告并请求乘客提供一些输入来确认目的地之前，计算设备110可以首先确认一个或多个乘客在车辆内就座。再次，这可能是计算设备110在从存储器130识别用于确认目的地的通告之前可能需要确认的事件。例如，可以使用安全带传感器、座椅传感器(例如，压力传感器或开关)、内部相机(例如，与确认或使用机器视觉来检测坐在正确位置的人的乘车者支持代表(rider support representative)连接)等来确认乘客是否就座。
65.一旦车门关闭，这可能会触发如上所述的事件。因此，计算设备110可以通过扬声器154播放通告，请求乘客按下第一按钮来启动到目的地的行程。如上所述，可以基于一系列事件的发生来识别该通告，诸如计算设备110确定车辆停车、车门打开和此后车门关闭、和/或乘客确认目的地已经发生。例如，计算设备110可以识别并播放存储器130的通告，请求乘客按下用户输入150的相同(例如，最右边的按钮)或不同的按钮。响应于第一按钮被按下，由一个或多个处理器通过自动地操纵车辆到目的地来启动到目的地的行程。响应于乘客按下相同或不同的按钮，计算设备110可以通过自动地操纵车辆到目的地来启动到目的地的旅程。当然，在乘客已经通过按下按钮启动旅程的情况下，可以跳过通告。通过将此步骤与确认目的地分开，这也可以解决乘客意外地确认了错误目的地的情况。
66.可替代地，计算设备可以播放通告，要求乘客仅在行程已经启动之后(换句话说，在车辆已经开始驶向目的地之后)确认目的地。如上所述，可以基于一系列事件的发生来识别该通告，诸如计算设备110确定车辆停车、车门打开和此后车门关闭、以及行程已经启动已经发生。这在车辆处于装载区、高流量区或另外无法长时间停车的情况下可能最实用和有用。
67.图6是本文描述的用于在无驾驶员的情况下协助自主车辆(诸如车辆100)中的乘客的技术的各方面的示例流程图600，其可以由车辆的一个或多个计算设备的一个或多个处理器(诸如计算设备110的处理器120)来执行。例如，在框610，在旅程期间，识别多个事件。在框620，针对多个事件中的每一个，识别通告。在框630，使用针对多个事件中的每一个
而识别的通告，通过车辆的扬声器播放信息的独白。如下面进一步详细讨论的，该信息的独白可以包括关于在行程期间正在向乘客显示什么(例如，正在发生什么)、车辆的问题状况、行程的状态(例如，关于目的地)、正在发生或将要发生在车辆外部位置的事件、天气状况等的信息。
68.例如，在行程期间，计算设备110可以通过扬声器(诸如扬声器154之一)提供关于行程的信息的独白。该独白可以包括基于行程期间发生的各种事件而触发的一系列通告。这可以包括提供关于车辆的内部显示器上显示的内容的通告，诸如车辆是否停车以及原因(例如，“等待行人”或“等待骑自行车的人”或者“等待红灯”)、车辆是否已经急刹车(例如，快速减速)以及原因(例如，“避让行人”)等。这些通告还可以包括关于预计到达时间改变、进度报告(例如，“我们行程过半”)、路线问题(例如，“前方有施工，所以我们绕行”)以及目的地改变的信息。在一些情况下，通告本质上可以更具指导性，诸如如何使用空调、打开或关闭窗户、使用收音机或听音乐等。
69.在其他情况下，通告可以请求乘客通过按下按钮、使用触摸屏或听觉命令来提供响应。例如，通告可以询问乘客，他或她是否需要改变目的地、打电话或视频电话、需要医疗或其他协助、或者听笑话。例如，在急刹车事件之后，通告可以询问乘客“您还好吗？”，并且取决于乘车者的回答，可能触发响应性的通告，诸如“我们应该继续吗？”、“您想和乘车者支持代表通话吗？”或“我们应该去最近的急诊室吗？”。可以基于由计算设备110监控的消息从存储器130中识别这些通告。
70.在某些情况下，计算设备110还可以提供包括关于车辆的问题状况(诸如可能对应于事件的碰撞或传感器问题)的信息的通告。可以基于由计算设备110监控的消息从存储器130中识别这些通告。这些通告可能是有意含糊不清的，诸如“我们注意到了一个问题，正在为您连接乘车者支持代表”，以便限制乘客在这部分上不必要的担心。在这种情况下，乘车者支持代表能够经由扬声器(诸如扬声器154之一或另一扬声器和/或视频连接)与一个或多个乘客进行通信。当连接到乘车者支持代表时，车辆的计算设备可以停止通告、将通告静音或降低通告的音量，使得一个或多个乘客可以更清楚地与乘车者支持代表进行通信。可替代地，乘车者支持代表不能提供的某些通告仍然可以通过扬声器播放，而其他通告可以停止、静音或以较低的音量播放。
71.在一些情况下，用户输入150可以包括用于使一个或多个乘客能够请求车辆靠边停车的按钮。当按下该按钮时，计算设备110可以提供确认已经请求靠边停车、乘客可以通过第二次按下该按钮来取消该请求以及车辆正在寻找地点以靠边停车的通告。类似地，如果乘客第二次按下靠边停车按钮，则计算设备110可以提供确认已经取消靠边停车的通告。
72.当车辆接近目的地时，计算设备可以确定各种事件正在发生。此类事件的通告还可以包括与目的地相关的信息。例如，计算设备110可以使用关于与来自其他来源的数据相结合的预计到达时间的信息来向乘客提供信息。作为示例，如果计算设备110确定到达与目的地相对应的兴趣点将超出操作时间，则计算设备可以提供通告，要求乘客确认继续目的地或改变目的地的期望。作为另一实例，通告可以指示车辆接近目的地，提醒乘客收好他们的个人物品等。通告还可以包括帮助一个或多个乘客相对于目的地定向的信息，诸如如何从车辆的位置到达目的地(例如，离开乘客门并向左走)、车辆相对于目的地位于街道的哪一侧、安全地穿过街道的方向、最近的十字街道、与车辆相邻的企业的名称等。通告还可以
指示车辆是停在路缘还是停车场中间，这对视力障碍的乘客可能特别有用。如果乘客需要额外的协助以便连接乘车者支持代表，则通告甚至可以要求乘客按下特定的按钮或以声音响应。在一些情况下，通告可以指示当前天气情况，例如“当前正在下雨”或“当前正在下雪”。此外，或可替代地，通告还可以指示乘客是否需要避开车辆外部的任何障碍物，诸如树、路缘、灌木丛、骑自行车的人、水坑等。例如，可以基于来自车辆的感知系统的传感器数据来确定这些障碍物和天气状况。
73.如上所述，在一些情况下，可以由车辆100的地理位置触发事件。例如，当车辆经过某个位置时，计算设备110可以提供包括关于该特定区域的信息的通告。这可以为乘客提供由计算设备提供的导游体验。当车辆位于关键兴趣点可能具有历史或社会意义的区域时，这种通告可能特别有用和有趣。
74.除了提供关于目的地的天气状况的信息之外，天气状况的改变还可以对应于使计算设备110提供通告的事件。例如，可以基于从远程计算设备(诸如服务器计算设备410)接收的信息从存储器130中识别通告，或者例如，可以基于来自车辆的感知系统的传感器数据来确定通告。作为示例，如果预测或检测到下雨或其他降水，则可以播放通告来指示该信息。通告的内容可以取决于车辆相对于搭载和目的地位置的位置而改变。例如，如果在搭载位置附近(就在乘客上车之后)，通告可以包括“嗨，乘客——很高兴让您没有淋雨”，或者如果在目的地位置附近，通告可以包括“希望您能看到彩虹！”。作为另一示例，通告可以与温度有关，诸如在搭载位置附近时的“希望您在行程中享受空调！”或如果在目的地位置附近的“希望您保持温暖，感谢乘坐！”。
75.在一些情况下，除了使用的语言和/或口音之外，还可以从存储器130的多个不同音调中选择通告的音调。例如，如果乘客要去参加特殊的活动，则可以有听起来不同的通告，使该旅程成为目的地旅行的一部分。例如，如果车辆前往游乐园，则音调可以不同，例如可以通过在通告或文字中使用角色嗓音或公园相关主题，相对于棒球比赛，例如可以通过在通告中使用棒球相关主题或文字。在一些情况下，乘客能够改变讲出通告的音调或“个性”。例如，乘客可以选择特定名人的嗓音、男性或女性的嗓音和/或通告的语言。
76.在一些情况下，一个或多个乘客能够改变通告的频率或细节级别。例如，一个或多个乘客能够使用他或她的客户端计算设备(诸如客户端计算设备420、430)、车辆的内部显示器(诸如内部显示器152)或语音命令(由车辆的计算设备经由用户输入150的麦克风接收)来请求更多或更少的通告和/或更多或更少的信息。乘客甚至可以完全关闭通告，或者请求车辆的计算设备在将来不提供类似类型的消息，或者在将来提供这些类型的消息的更多细节，诸如：通告每条街道名称(“现在在主街上行进”)、通告每个转弯(“左转到桥街”)、通告每个交通信号(“停车等红灯”)、通告城市边界(“欢迎来到山景城”)等。可替代地，不单独地控制，而是将这些通告放入桶(bucket)中，如“基于位置的通知(街道名称、转弯、城市)”和“情况通知(交通灯、行人、流量等)”或“旅程通知(剩余时间、eta、完成百分比)”。
77.例如，乘客可以通过选择车辆播放关于附近地标的信息(例如，车辆正行驶通过的区域或该行驶周围的区域的“游览”，描述广告牌或其他户外广告或者用户通常不会不知道的标志，例如，“前方有6月1日至3日山景城社区节的广告”，或者关于本地商业供应的信息，诸如赞助内容等)，或者诸如车辆是否处于停车灯、车辆正在经过的街道等信息，来请求关于车辆的当前环境的更多细节。在这点上，如上所述，可以由车辆100的地理位置触发通告，
并且当车辆位于关键兴趣点可能具有历史或社会意义的区域时，通告可能特别有用和有趣。
78.作为另一示例，通告的细节级别可以包括一个或多个乘客可以选择的两个或更多个细节级别。此外，在一些情况下，当通告打开(或至少最低限度地打开)时，车辆的计算设备可以禁用或忽略来自任何触敏显示器或用户输入150的其他输入的反馈，以便防止视觉障碍的人意外地撞到输入并输入错误的信息。
79.通告也可以基于乘客的兴趣，例如，可以在乘客的账户简档中定义通告，或者在车辆中借由讲出该信息来提供通告。如果乘客指示他们对音乐感兴趣，则车辆的计算设备可以播放如“我们正在经过当地音乐厅”、“我们正在经过左边的唱片店”之类的通告，或者甚至可以播放如“我们正在经过中央公园，那里明天下午2点将有一场免费音乐会”之类的基于时间的事件。
80.在一些情况下，车辆的计算设备可以确定车辆100内的环境噪声级别。如果环境噪声级别指示车辆中的一个或多个乘客正在说话，则车辆的计算设备也可以停止通告、将通告静音或降低通告的音量。然而，在某些情况下，诸如撞击或传感器故障，这些通告可能会以更大的音量播放。
81.一个或多个乘客也可以选择允许计算设备110提供与当前行程无关的通告。例如，计算设备110可以使用来自乘客的日历的信息(即当天的日程)来提供通告。在这点上，通告甚至可以基于当前行程(例如，“在我们将您送到您的目的地之后，您将有3小时15分钟的时间，直到您的下一次预约”)。作为另一实例，计算设备110可以使一个或多个乘客能够安排额外的行程。
82.作为计算设备110基于与一个或多个乘客分离的事件发起通告的上述“推送”机制的替代，“拉取”机制也可能是有帮助的。例如，乘客可能按下按钮或讲话来询问问题，诸如“现在发生了什么？”。然后，车辆的计算设备可以用通告来响应，该通告基于车辆100的状态和车辆的周围环境来提供关于当前情况的细节。例如，一个这样的通告可能包括“由于下雨和道路上的交通，我们移动缓慢”。
83.本文描述的特征可以允许无驾驶员的车辆向乘客提供协助。再次，通过以这种方式协助乘客，乘客可以保持冷静，并且更容易理解车辆正在做什么以及乘客应该做什么，例如，以便使车辆行进到乘客的目的地。这又可以使车辆更高效地进行操作，因为乘客将更好地理解如何操作车辆。例如，视力障碍的用户可以更好地理解他们的世界和社区。换句话说，在人类驾驶员的情况下，视力障碍的人可能没有被提供有足够的上下文来允许视力障碍的人能够通过驾驶经过这样的位置来发现新的位置。然而，通告可以为视力障碍的乘客创造“音频画面”，这样他们就有了更好的上下文来了解他们在哪里和他们周围有什么。
84.除非另有说明，前述可替代示例并不相互排斥，而是可以以各种组合来实现，以实现独特的优点。由于在不脱离由权利要求限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以实施例的前述描述应当作为说明而不是作为对由权利要求限定的主题的限制。此外，本文描述的示例的提供，以及表述为“诸如”、“包括”等的分句，不应被解释为将权利要求的主题限制为特定示例；或者说，这些示例旨在仅示出许多可能实施例中的一个。此外，不同附图中相同的附图标记可以标识相同或相似的元素。