自主车辆的通信的制作方法

自主车辆的通信
1.相关申请的交叉引用
2.本技术要求于2019年3月12日提交的美国专利申请第16/351,124号的权益，其公开内容通过引用结合于此。


背景技术：

3.自主车辆(诸如不需要人类驾驶员的车辆)，可以用于协助将乘客或物品从一个位置运输至另一个位置。这样的车辆可以以完全自主的驾驶模式操作，在这种模式下，乘客可以提供一些初始输入(诸如接起或目的地位置)，并且车辆操纵自身到该位置。
4.当人(或用户)想要经由车辆在两个位置之间物理地运输时，他们可以使用任何数量的出租车服务。迄今为止，这些服务通常涉及被给予到位置以接起和放下用户的调度指令的人类驾驶员。一般，这些位置是经由物理信号(即对驾驶员发出停车信号)、用户说明他或她实际位置的电话呼叫或者驾驶员和用户之间的亲自讨论而得出的。这些服务虽然有用，但一般无法给用户提供关于接起或放下将在哪发生的准确信息。


技术实现要素：

5.本公开的各方面提供了一种促进从自主车辆到用户的通信的方法。该方法包括当试图接起用户并且在用户进入自主车辆之前时，由车辆的一个或多个处理器将车辆的当前位置和地图信息输入到模型中；使用模型识别用于将车辆的位置通信给用户的通信动作的类型；由一个或多个处理器基于通信动作的类型启用第一通信；并且在启用第一通信之后，由一个或多个处理器从接收的传感器数据确定用户是否正在朝着车辆移动。
6.在一个示例中，通信动作的类型是由车辆自动生成可听通信，并且启用第一通信包括指示(instruct)车辆进行可听通信。在该示例中，第一通信是车辆鸣喇叭。在另一个示例中，通信动作的类型是在用户的客户端计算设备上自动显现选项，以使得用户能够使车辆生成可听通信。在另一个示例中，通信动作的类型是由车辆自动生成视觉通信，并且启用第一通信包括车辆进行视觉通信。在该示例中，第一通信是车辆闪烁前灯。在另一个示例中，通信动作的类型是在用户的客户端计算设备上自动显现选项，以使得用户能够使车辆生成视觉通信。在另一个示例中，接收的传感器数据包括由用户的客户端计算设备生成的位置信息。在另一示例中，接收的传感器数据包括由车辆的感知系统生成的数据，感知系统包括至少一个传感器。在另一示例中，该方法还包括使用升级的通信的模型以确定用于第二通信的通信动作的类型，并且由一个或多个处理器基于用户是否正在朝着车辆移动的确定来启用第二通信，并且其中，用于第二通信的通信动作的类型还用于启用第二通信。在该示例中，用于第二通信的通信动作的类型是在用户的客户端计算设备上自动显现选项，以使得用户能够使车辆生成可听通信。可替代地，用于第二通信的通信动作的类型是在用户的客户端计算设备上自动显现选项，以使得用户能够使车辆生成视觉通信。在另一个例子中，第一通信包括车辆自动闪烁其灯光，并且第二通信包括车辆自动鸣喇叭。在另一个示例中，第一通信包括车辆自动鸣喇叭，并且第二通信包括车辆自动请求客户服务代表与用户
的客户端计算设备连接。在另一个示例中，该模型是机器学习模型。
7.本公开的另一方面提供了一种训练用于促进从自主车辆到用户的通信的模型的方法。该方法包括由一个或多个计算设备接收训练数据，训练数据包括指示车辆的位置的第一训练输入、指示地图信息的第二训练输入、指示用户的位置的第三训练输入、表征(characterize)标识车辆的环境中的一个或多个对象的传感器数据的第四训练输入以及指示通信的类型的目标输出；由一个或多个计算设备根据模型的参数的当前值在训练数据上训练模型，以生成指示用于通信的类型的适当程度(level of appropriateness)的输出值的集合；使用目标输出和输出值的集合确定差值；并且使用差值调整模型的参数的当前值。
8.在一个示例中，训练数据对应于使车辆执行所述类型的通信以便与用户通信的用户的请求。在另一示例中，通信的类型是可听通信。在另一个示例中，通信的类型是视觉通信。在另一示例中，训练数据还包括环境照明条件(ambient lighting conditions)。
附图说明
9.图1是根据示例性实施例的示例车辆的功能图。
10.图2是根据本公开的各方面的地图信息的示例。
11.图3是根据本公开的各方面的车辆的示例外部视图。
12.图4是根据本公开的各方面的示例系统的示意图。
13.图5是根据本公开的各方面的图4的系统的功能图。
14.图6是根据本公开的各方面的客户端计算设备和显示的选项的示例。
15.图7是根据本公开的各方面的客户端计算设备和显示的选项的示例。
16.图8是根据本公开的各方面的客户端计算设备和显示的选项的示例。
17.图9是根据本公开的各方面的地图信息的示例。
18.图10是根据本公开的各方面的地图信息的示例。
19.图11是根据本公开的各方面的示例流程图。
具体实施方式
20.概述
21.本技术涉及使用可听和/或视觉通信促进用于自主车辆的乘客(或用户)或货物的接起和放下，或者实际上，在行人需要到达车辆的任何情况。在许多情况下，自主车辆不会具有可以与人通信以帮助这些人找到车辆(即接起)或正确的放下位置的人类驾驶员。照此，自主车辆可以使用各种可听和/或视觉通信来主动地(proactively)试图以有用和有效的方式与人通信。例如，可以生成模型以便允许车辆确定何时应该向人提供可听和/或视觉通信和/或是否为人显现(surface)这样做的选项。
22.为了生成模型，可以例如经由人的计算设备(例如，移动电话或其他客户端计算设备)上的应用程序(application)给人提供选项以使车辆提供可听通信。当人使用选项时，该数据可能被记录。每次选项被使用时，可以向车辆提供消息以使车辆进行通信。该消息可以包括诸如生成请求的日期和时间、要进行的通信的类型以及人的位置的信息。该消息以及其他信息也可以例如由车辆和/或客户端计算设备向服务器计算系统发送。
23.为了允许车辆的计算设备更好地与人通信，然后可以由服务器计算设备处理消息和其他信息以便生成模型。例如，可以训练模型以指示某种类型的通信是否适当。如果这样，通信的类型可以作为人的客户端计算设备上的应用程序中的选项而使得可用和/或由车辆的计算设备自动生成。
24.为了训练模型，人的位置、其他信息以及地图信息可以用作训练输入并且通信的类型(来自消息)可以用作训练输出。用于训练模型的训练数据越多，模型在确定何时提供通信或者何时提供选项以提供通信时将会越精确。可以训练模型以区分与可听通信是适当的时候相比视觉通信是适当的情况。
25.在一些实例中，取决于可用训练数据的数量，可以针对特定目的训练模型。例如，可以基于一个人或一组人服务历史的特性来为特定人或一组人训练模型。
26.然后可以将训练的模型提供给一个或多个车辆，以便允许那些车辆的计算设备更好地与人通信。当车辆正在接近接起或放下位置或者在接起或放下位置等待时，车辆的计算设备110可以使用模型来确定通信是否适当，并且如果适当，则确定类型。例如，基于车辆的环境，取决于人(或可能的乘客)是否对车辆具有清晰的视线(line of sight)，这可能发生，反之亦然。
27.在一方面，该模型可以用于确定如上所讨论的选项是否应该在应用程序中显现。此外，如果模型的输出指示视觉通信比可听通信更适当，则显现的选项可能只允许视觉通信。同样，如果模型的输出指示可听通信比视觉通信更适当，则显现的选项可能只允许视觉通信。在另一方面，模型可以用于确定车辆是否应该自动进行可听或视觉通信，而不是向用户提供用于可听或视觉通信的选项。附加地或可替代地，模型的输出可以用于确定初始动作，并且可以取决于初始动作自动采取随后动作。
28.用户对随后动作的响应可以用于构建升级的通信的模型。例如，对于使用随后动作的每种情况，结果可以被追踪。然后可以分析该信息以便标识增加用户响应于车辆通信而更快地进入车辆的可能性的模式。可以训练升级的通信的模型以基于先前或初始动作确定下一个动作应该是什么，以最好地促进用户到达车辆。同样，用于训练模型的训练数据越多，模型在确定如何从先前的动作升级时将会越精确。与第一模型一样，然后可以向一个或多个车辆提供训练的升级的通信的模型，以便允许这些车辆的计算设备更好地与人(包括潜在乘客)通信。
29.本文描述的特征可以允许自主车辆改进乘客的接起和放下。例如，用户可以靠自己或通过提示使用显现的选项来以车辆与用户视觉和/或可听地通信。这可以更容易地识别车辆相对用户的位置。附加地或可替代地，车辆可以使用模型来主动确定是否和如何与用户通信，以及如何随着时间的推移升级这些通信。
30.示例系统
31.如图1所示，根据本公开的一方面的车辆100包括各种组件。虽然本公开的某些方面与特定类型的车辆结合特别地有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，诸如包括一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
32.存储器130存储可由一个或多个处理器120访问的信息，包括可以由处理器120执行或以其他方式使用的指令134和数据132。存储器130可以是能够存储处理器可访问的信
息的任何类型，包括计算设备可读介质、或存储可以借助电子设备来读取的数据的其他介质，诸如硬盘驱动、存储卡、rom、ram、dvd或其他光盘、以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
33.指令134可以是由处理器直接执行(诸如机器代码)或间接执行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在这里可以可互换地使用。指令可以以目标代码格式存储以供处理器直接处理、或者以任何其他计算设备语言(包括按需解释或预先编译的脚本或独立源代码模块的集合)存储。下面更详细地解释指令的功能、方法和例程。
34.处理器120根据指令134可以检索、存储或修改数据132。例如，虽然要求保护的主题不受任何特定数据结构的限制，但是数据可以被存储在计算设备寄存器中、在关系数据库中作为具有多个不同字段和记录的表、xml文档或平面文件。数据还可以被格式化为任何计算设备可读格式。
35.一个或多个处理器120可以是任何常规处理器，诸如商用cpu或gpu。可替代地，一个或多个处理器可以是专用设备，诸如asic或其他基于硬件的处理器。尽管图1在功能上示出了处理器、存储器和计算设备110的其他元件在同一框内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以或可以不存放在同一物理外壳内。例如，存储器可以是位于不同于计算设备110的外壳中的硬盘驱动或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对并行操作或不并行操作的处理器或计算设备或者存储器的集合的引用。
36.计算设备110可以包括通常与计算设备结合使用的所有组件，诸如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作来显示信息的任何其他电气设备)。在该示例中，车辆包括电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，电子显示器152可以位于车辆100的车舱内，并且可以由计算设备110使用以向车辆100内的乘客提供信息。在一些实例中，电子显示器152可以是通过车辆的车窗或其他透明车辆外壳对车辆外部的人可见的内部显示器，和/或能够通过车窗或其他透明车辆外壳投射图像，以向车辆外部的人提供信息的内部显示器。可替代地，电子显示器152可以是能够向车辆内部的乘客投射信息的外部安装的显示器(即，可以通过玻璃车顶(roof)显示的车顶吊舱的下侧)，和/或向车辆外部的人提供信息的外部安装的显示器。
37.计算设备110还可以包括一个或多个无线网络连接156以促进于与其他计算设备的通信，诸如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短程通信协议，诸如蓝牙、低功耗蓝牙(le)、蜂窝连接，以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网络、使用专属于一个或多个公司的通信协议的专用网络、以太网、wi
‑
fi和http，以及前述的各种组合。
38.在一个示例中，计算设备110可以是结合到车辆100中的自主驾驶计算系统的通信系统的一部分。在这方面，该通信系统可以包括或可以被配置为发送信号以使可听通信通过扬声器154播放。通信系统还可以被配置为发送信号以进行视觉通信，例如通过闪烁或以其他方式控制车辆的前灯350、352(如图3所示)或者通过在内部电子显示器152上显示信息。
39.自主控制系统176可以包括类似于计算设备110的配置的各种计算设备，其能够与车辆的各种组件通信，以便以自主驾驶模式控制车辆。例如，返回图1，自主控制系统176可以与车辆100的各种系统通信，诸如减速系统160、加速系统162、转向系统164、路由系统166、规划器系统168、定位系统170、以及感知系统172，以便以自主驾驶模式根据存储器130的指令134控制车辆100的移动、速度等。
40.作为示例，自主控制系统176的计算设备可以与减速系统160和加速系统162交互以便控制车辆的速度。类似地，自主控制系统176可以使用转向系统164以便控制车辆100的方向。例如，如果车辆100被配置为在道路上使用(诸如汽车或卡车)，则转向系统可以包括控制车轮的角度以转动车辆的组件。自主控制系统176还可以使用信号系统以便将车辆的意图用信号通知给其他驾驶员或车辆，例如，在需要时通过点亮转向灯或刹车灯。
41.自主控制系统176可以使用路由系统166以便生成到目的地的路线。计算设备110可以使用规划器系统168以便遵循路线。在这方面，规划器系统168和/或路由系统166可以存储详细的地图信息，例如，标识道路、车道线、交叉路口、人行横道、速度限制、交通信号、建筑物、标志、实时交通信息、靠边停车点植被的形状和高度或其他这样的对象和信息的高度详细的地图。
42.图2是用于包括与建筑物220的停车场210相邻的交叉路口202的道路段的地图信息200的示例。地图信息200可以是存储在计算设备110的存储器130中的本地版本的地图信息。其他版本的地图信息也可以被存储在下面进一步讨论的存储系统450中。在该示例中，地图信息200包括标识车道线230、232、234、236、车道240、242、244、246、停车标志250、252、254、256等的形状、位置和其他特性的信息。在该示例中，地图信息200还包括标识停车场210和建筑物220的特征的信息。例如，作为停车位260、262、264、266、268、可行驶区域270、272、274、276等。此外，在该示例中，地图信息标识建筑物220的入口和出口282、284、286。尽管在图2的地图信息200中仅描绘了很少的特征，然而，地图信息200可以包括显著更多的特征和细节以便使车辆100能够以自主驾驶模式被控制。
43.尽管地图信息在本文中被描绘为基于图像的地图，但是地图信息不需要完全基于图像(例如，栅格(raster))。例如，地图信息可以包括诸如道路、车道、交叉路口、以及可由道路段表示的这些特征之间的连接的信息的一个或多个道路图或图形网络。每个特征可以被存储为图形数据，并且可以与诸如地理位置以及其是否被链接到其他相关特征(例如，停车标志可以被链接到道路和交叉路口等)的信息相关联。在一些示例中，相关联的数据可以包括道路图的基于网格(grid)的索引，以允许高效查找某些道路图特征。
44.自主控制系统176可以使用定位系统170以便确定车辆在地图上或地球上的相对或绝对位置。例如，定位系统170可以包括gps接收器以确定设备的纬度、经度和/或海拔位置。其他定位系统，诸如基于激光的定位系统、惯性辅助gps或基于相机的定位，也可以被用于识别车辆的位置。车辆的位置可以包括诸如纬度、经度和海拔的绝对地理位置，以及诸如相对于紧邻其周围的其他汽车的位置的相对位置信息，相对位置信息经常可以以比绝对地理位置更少的噪声来确定。
45.定位系统170还可以包括与自主控制系统176的计算设备通信的其他设备，诸如加速度计、陀螺仪或另外的方向/速度检测设备，以确定车辆的方向和速度或其改变。仅作为示例，加速设备可以确定其相对于重力方向或相对于与重力方向垂直的平面的俯仰、偏转
或滚动(或其改变)。该设备还可以追踪速度的增加或减少以及这样的改变的方向。如本文中阐述的设备对位置和朝向数据的提供可以被自动地提供给计算设备110、其他计算设备和前述的组合。
46.感知系统172还包括用于检测诸如其他车辆、道路中的障碍物、交通信号、标志、树木等的车辆外部的对象的一个或多个组件。例如，感知系统172可以包括激光器、声纳、雷达、相机和/或记录数据的任何其他检测设备，这些数据可以由自主控制系统176的计算设备处理。在车辆是诸如小型货车(minivan)的客运车辆的情况下，小型货车可以包括安装在车顶或其他方便位置的激光器或其他传感器。例如，图3是车辆100的示例外部视图。在该示例中，顶部(roof
‑
top)外壳310和圆顶外壳312可以包括lidar传感器以及各种相机和雷达单元。此外，位于车辆100前端的外壳320和车辆的驾驶员侧和乘客侧上的外壳330、332可以各自存放lidar传感器。例如，外壳330位于驾驶员车门360的前面。车辆100还包括用于也位于车辆100的车顶上的雷达单元和/或相机的外壳340、342。附加的雷达单元和相机(未示出)可以位于车辆100的前端和后端和/或沿车顶或顶部外壳310的其他位置上。
47.自主控制系统176能够与车辆的各种组件通信，以便根据自主控制系统176的存储器的主要车辆控制代码来控制车辆100的移动。例如，回到图1，自主控制系统176可以包括与车辆100的各种系统(诸如减速系统160、加速系统162、转向系统164、路由系统166、规划器系统168、定位系统170、感知系统172和动力系统174(即车辆的引擎或马达))通信的各种计算设备，以便根据存储器130的指令134控制车辆100的移动、速度等。
48.车辆的各种系统可以使用自主车辆控制软件来运行(function)以便确定如何控制车辆以及控制车辆。作为示例，感知系统172的感知系统软件模块可以使用由自主车辆的一个或多个传感器(诸如相机、lidar传感器、雷达单元、声纳单元等)生成的传感器数据，来检测和识别对象以及它们的特性。这些特性可以包括位置、类型、走向、朝向、速度、加速度、加速度的改变、大小、形状等。在某些实例中，特性可以被输入到使用基于对象类型的各种行为模型的行为预测系统软件模块中，以输出用于检测到的对象的预测的未来行为。在其他实例中，特性可以被输入到一个或多个检测系统软件模块中，诸如被配置为检测已知交通信号的状态的交通灯检测系统软件模块、被配置为从由车辆的一个或多个传感器生成的传感器数据中检测施工区的施工区检测系统软件模块以及被配置为从由车辆的传感器生成的传感器数据中检测紧急车辆的紧急车辆检测系统。这些检测系统软件模块中的每一个都可以使用各种模型以输出施工区或对象是紧急车辆的可能性。检测的对象、预测的未来行为、来自检测系统软件模块的各种可能性、标识车辆环境的地图信息、来自识别车辆位置和朝向的定位系统170的定位信息、车辆的目的地以及来自车辆的各种其他系统的反馈可以被输入到规划器系统168的规划器系统软件模块中。规划器系统可以使用该输入以基于由路由系统166的路由模块生成的路线来生成车辆在未来一段时间内要遵循的轨迹。自主控制系统176的控制系统软件模块可以被配置为控制车辆的移动(例如通过控制车辆的制动、加速和转向)以便遵循轨迹。
49.自主控制系统176可以通过控制各种组件以自主驾驶模式控制车辆。例如，作为示例，自主控制系统176可以使用来自详细地图信息和规划器系统168的数据完全自主地将车辆导航到目的地位置。自主控制系统176可以使用定位系统170来确定车辆的位置，并且使用感知系统172来检测对象并且在需要时对对象做出响应，以安全到达该位置。同样，为这
样做，计算设备110可以生成轨迹并且使车辆遵循这些轨迹，例如通过使车辆加速(例如，通过由加速系统162向引擎或动力系统174供应燃料或其他能量)、减速(例如，通过减少供应给引擎或动力系统174的燃料、换档和/或通过由减速系统160施加制动)、改变方向(例如，通过由转向系统164转动车辆100的前轮或后轮)，并且以信号通知这样的改变(例如，通过点亮转向信号灯)。因此，加速系统162和减速系统160可以是包括在车辆引擎和车辆车轮之间的各种组件的传动系统的一部分。同样，通过控制这些系统，自主控制系统176还可以控制车辆的传动系统以便自主地操纵车辆。
50.车辆100的计算设备110还可以从其他计算设备接收信息或向其他计算设备发送信息，诸如作为运输服务的一部分的那些计算设备以及其他计算设备。图4和图5分别是示例系统400的示意图和功能图，示例系统400包括经由网络460连接的多个计算设备410、420、430、440和存储系统450。系统400还包括车辆100和可以被配置为与车辆100相同或相似的车辆100a、100b。尽管为了简单起见，仅描述了几个车辆和计算设备，但是典型的系统可以包括显著更多的车辆和计算设备。
51.如图5所示，计算设备410、420、430、440中的每一个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以被配置为类似于计算设备110的一个或多个处理器120、存储器130、数据132和指令134。
52.网络460和中间节点可以包括各种配置和协议，包括短程通信协议，诸如蓝牙、蓝牙le、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、wifi和http，以及前述的各种组合。这样的通信可以由能够向其他计算设备发送和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)来促进。
53.在一个示例中，一个或多个计算设备410可以包括具有多个计算设备的一个或多个服务器计算设备(例如，负载平衡服务器群)，计算设备与网络的不同节点交换信息，目的是从其他计算设备接收数据、处理数据和向其他计算设备发送数据。例如，一个或多个计算设备410可以包括能够经由网络460与车辆100的计算设备110或车辆100a的类似计算设备以及计算设备420、430、440通信的一个或多个服务器计算设备。例如，车辆100、100a可以是可以由服务器计算设备调度到各个位置的车辆的车队的一部分。在这方面，服务器计算设备410可以用作调度服务器计算系统，其可以用于将车辆(诸如车辆100和100a)调度到不同位置以便接起和放下乘客。此外，服务器计算设备410可以使用网络460来在显示器(诸如计算设备420、430、440的显示器424、434、444)上向用户(诸如用户422、432、442)发送和呈现信息。在这方面，计算设备420、430、440可以被认为是客户端计算设备。
54.如图5所示，每个客户端计算设备420、430和440可以是旨在供用户422、432、442使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件，包括一个或多个处理器(例如，中央处理单元(cpu))、存储数据和指令的存储器(例如，ram和内部硬盘驱动)、诸如显示器424、434、444的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机或可操作以显示信息的其他设备)以及用户输入设备426、436、446(例如鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。
55.虽然每个客户端计算设备420、430、440都可以包括全尺寸的个人计算设备，但是
它们可以可替代地包括能够通过诸如互联网的网络与服务器无线地交换数据的移动计算设备。仅作为示例，客户端计算设备420可以是移动电话或设备，诸如支持无线的pda、平板pc、可穿戴计算设备或系统或者能够经由互联网或其他网络获取信息的上网本。在另一个示例中，客户端计算设备430可以是可穿戴计算系统，如图4所示的腕表。作为示例，用户可以使用小型键盘(small keyboard)、小键盘(keypad)、麦克风、利用相机使用视觉信号、或触摸屏来输入信息。
56.与存储器130一样，存储系统450可以是能够存储可由服务器计算设备410访问的信息的任何类型的计算机化存储，诸如硬盘驱动、存储卡、rom、ram、dvd、cd
‑
rom、可写存储器和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在物理上位于相同或不同地理位置的多个不同的存储设备上。如图4和图5所示，存储系统450可以经由网络460连接到计算设备，和/或可以直接连接到或结合到计算设备110、410、420、430、440等中的任何一个中。
57.存储系统450可以存储各种类型的信息。例如，存储系统450还可以存储将由诸如车辆100的车辆使用来以自主驾驶模式操作车辆的上述自主车辆控制软件。存储在存储系统450中的该自主车辆控制软件包括各种无效(invalidated)和有效(validated)版本的自主车辆控制软件。一旦有效，自主车辆控制软件可以被发送到例如车辆100的存储器130，以便由车辆的计算设备使用以便以自主驾驶模式控制车辆。
58.存储系统450可以存储如下文更详细描述的各种类型的信息。服务器计算设备(诸如一个或多个服务器计算设备410)可以检索或以其他方式访问该信息，以便执行本文所描述的特征中的一些或全部。例如，存储系统可以存储各种模型以及用于模型的参数值，参数值可以经由如下面进一步讨论的训练来更新。存储系统450还可以存储日志数据。该日志数据可以包括例如由感知系统(诸如车辆100的感知系统172)生成的传感器数据。感知系统可以包括生成传感器数据的多个传感器。作为示例，传感器数据可以包括原始传感器数据以及标识感知对象(包括其他道路使用者)的定义特性(defining characteristic)的数据，诸如对象(诸如车辆、行人、骑自行车者、植被、路缘、车道线、人行道、人行横道、建筑物等)的形状、位置、朝向、速度等。如下面进一步讨论的，日志数据还可以包括标识了由车辆响应于车辆的环境和/或对其请求而生成的不同类型的可听通信的“事件”数据。
59.示例方法
60.除了上述和图中所示的操作，现在将描述各种操作。应当理解，以下操作并不必须以下面描述的精确顺序执行。相反，可以以不同的顺序或同时处理各种步骤，并且还可以添加或省略步骤。
61.为了生成和训练模型，可以给服务的用户提供选项，例如，经由用户的计算设备(即移动电话)上的应用程序，请求车辆提供通信。在这方面，使用选项可以使车辆提供通信。当用户使用选项时，该数据可能被记录。图6是客户端计算设备420的示例视图，包括显示在显示器424上的选项610、620。在该示例中，选项610可以允许客户端计算设备例如经由网络460或其他无线连接向车辆发送请求，以使车辆通过鸣喇叭或通过扬声器154播放相应的音频来生成可听通信。选项620可以允许客户端计算设备例如经由网络460或其他无线连接向车辆发送请求，以使车辆例如通过闪烁前灯350、352和/或通过在电子显示器152上显示信息来生成视觉通信。在一些示例中，可以提供选项630以允许用户不请求任何通信，诸
如用户确信他或她已经识别了他的或她的车辆。
62.例如，用户可以在黑暗的停车场中使用选项620以使自主车辆闪烁其前灯。作为另一个实例，在光线良好的停车场中，当几乎没有其他行人存在的情况下，用户可以使用选项610以使车辆鸣喇叭或提供一些其他可听通信。在存在更多行人的实例中，用户可以选择选项620而不是选项610。作为另一个示例，用户可以使用选项610以使车辆在大型停车场或大型建筑物附近时鸣喇叭。作为又一选项，当附近有多个自主车辆时，用户可以使用选项620以使车辆闪烁其前灯。可替代地，可以提供另一种类型的视觉通信选项，诸如在电子显示器152上显示信息，而不是闪烁前灯。
63.每次使用选项(诸如选项610、620)中的一个来请求通信时，可以向车辆提供消息以使车辆的计算设备110进行或生成通信。该消息可以包括诸如生成请求的日期和时间、要进行的通信的类型以及用户的位置的信息。该消息以及其他消息信息也可以例如由车辆和/或用户的客户端计算设备发送给服务器计算系统，诸如可以将消息存储在存储系统450中的服务器计算系统410。作为示例，其他消息信息可以包括由车辆的计算系统生成的数据，诸如车辆的位置、通信的类型(闪烁灯、在电子显示器152上显示信息、鸣喇叭等)、由车辆的感知系统172检测到的其他道路使用者(车辆、行人、骑自行车者等)的位置和/或特性、环境照明条件等。
64.作为示例，可以以多种不同方式确定环境照明条件。例如，计算设备110可以从车辆的光传感器接收反馈，诸如那些用于控制车辆的前灯的状态和调整内部电子显示器(在一些情况下，诸如电子显示器152)亮度的光传感器。如果来自光传感器的反馈对计算设备110不是直接可用的，那么还可以从车辆的前灯的状态和/或内部电子显示器收集该信息。换言之，计算设备110能够从该信息确定对于车辆是否“足够黑暗”以让其点亮前灯或内部电子显示器处于一定亮度。此外或可替代地，环境照明条件可以从由车辆的感知系统生成的数据来确定。如上所述，感知系统172可以包括多个不同的传感器，其中的一些传感器(例如静态或视频相机)可以用于确定环境照明条件。例如，可以分析车辆环境的“实时”相机图像以确定环境照明条件。这可以包括处理像素以确定相机朝向的区域是否是明亮区域。如果像素是明亮的，并且图像具有短曝光时间，则这可能指示区域也是明亮的。作为另一实例，可以通过使用相机曝光值实时确定环境照明条件。作为示例，当捕捉图像时，感知系统172的相机可以在给定环境照明条件下自动重新校准曝光值。在这方面，曝光值可以被认为是车辆的相机当前可见的区域有多明亮的代替(proxy)。例如，实时曝光值可以用于确定环境照明条件。曝光值越长，场景越黑暗，或者更确切地说，环境照明条件越低。同样，曝光值越短，场景越明亮，或者更确切地说，环境照明条件越高。此外，可以回顾用于太阳没出来的时间段(即一年中任何给定的一天的黄昏到黎明)的曝光值，以识别指示更明亮的人工照明的具有小曝光时间的那些曝光值。
65.然后可以由服务器计算设备410处理消息和其他消息信息(包括传感器数据)，以便生成和训练模型。该模型可以是机器学习模型，诸如决策树(诸如随机森林决策树)、深度神经网络、逻辑回归、神经网络等。为了训练模型，可以将用户的位置、其他消息信息(包括由生成消息的各种车辆的感知系统172生成的传感器数据)以及地图信息用作训练输入，并且可以将通信的类型(来自消息)用作训练输出。
66.训练因此可以包括接收包括各种训练输入以及训练输出或目标输出的训练数据。
可以使用模型的参数的当前值来在训练数据上训练模型以生成输出值的集合。这些输出值可以指示用于通信类型的适当程度或者指示使用模型确定的任何其他输出数据。目标输出和输出值的集合可以被相互比较以确定指示这些值彼此相差多远的一个或多个差值。基于该一个或多个差值，可以调整模型的参数的当前值。反复训练和调整可以提高模型的精度。因此，如下文进一步讨论的，用于训练模型的训练数据越多，模型在确定是否自动提供通信以及自动提供什么类型的通信或者提供或启用什么类型的通信选项时就越精确。此外，通过使用地图信息作为训练数据，可以训练模型将环境(例如车辆和/或行人位于的道路或区域(例如住宅或商业)的类型)如何影响用户对通信的期望结合到提供或启用哪种类型的通信或通信选项的确定中。
67.此外，通过使用日期和时间和/或环境照明条件作为训练数据，可以训练模型以区分一天中的不同时间和由模型输出的用于不同类型的通信的照明条件。例如，日期和时间以及环境照明条件也可以用作训练输入。同样，用于训练模型的训练数据越多，模型在确定何时启用和/或提供通信以及启用和/或提供什么类型的通信时可以变得越精确。
68.此外，经由反馈和手动训练(hand training)，可以为不同的通信选项分配(或生成)权值以便减少误报(或者更确切地说，指示车辆应该在不适当或不合时宜的时间生成通信)的可能性。这样的权值很可能很大程度上基于环境因素(诸如地图信息和传感器数据)，因此，这样的输入可能使模型受到相应加权因素的影响。例如，在训练模型时，模型可能被大量地加权(heavily weighted)以防对短距离之内(诸如距车辆1
‑
2米)的行人鸣喇叭，因为这对行人可能是刺耳的。
69.类似地，可以训练模型以区分视觉通信是适当的情况与可听通信是适当的情况。例如，在拥挤的区域鸣喇叭(或通过扬声器154播放相应的可听通信)可能更不(或更加)适当，并且在白天期间使用灯光可能更不(或更加)适当。在这方面，关于不同通信的有效性或有用性的用户反馈也可以用于训练模型。作为示例，用户可以提供指示特定通信是否不适当或不方便以及原因的反馈(例如，当闪烁前灯时人是否正站在车辆前方，这可能让人的眼睛疼痛，鸣喇叭或在电子显示屏上显示的信息是否对于在车辆的环境中的其他人会引起混乱等)。此外，基于法律和法规，可听通信可能是或更加或更不适当的(例如，在一定区域内闪烁前灯或鸣喇叭可能是非法的)。可以将这样的不适当的、无效的、不方便的或较无用的通信的示例生成和/或标记(例如，由人工操作员手动)为不适当的，并且用作训练数据。照此，如上所述，可以训练模型以输出通信是否适当，并且如果适当，则输出通信的类型，或者更确切地说，通信应该是可听通信还是视觉通信。作为一个示例，模型可以标识可能的通信类型以及每个通信类型相应的适当程度的列表。在一些实例中，用户可以提供关于他们的体验的积极和/或消极反馈。该信息也可以用于帮助训练模型以将用户认为最有帮助的通信选择为更适当的通信。
70.在一些实例中，取决于可用的训练数据的数量，可以针对特定目的训练模型。例如，可以基于某用户或某类型的用户在特定位置被接起的历史来为特定用户或特定类型的用户训练模型。该模型可以以这种方式允许车辆在需要车辆从该用户的典型接起位置偏离的情况下，主动为用户提供通知。例如，如果用户通常在建筑物的一个角落被接起，但是这里有障碍物(诸如施工、停放的车辆、倒下的树的碎片等)，并且车辆被迫前往不同的位置(诸如建筑物的不同角落)，则可以训练模型以允许车辆经由视觉和/或可听通信(诸如鸣喇
叭、闪烁灯光或通过在电子显示器152上显示信息)来主动通知用户，以便在用户离开建筑物时引起他或她的注意。车辆能够以这种方式按需要作出响应。在一些实例中，可以训练模型以结合视觉和/或可听通信经由用户的客户端计算设备上的应用程序进一步通知用户。
71.然后可以将训练的模型(或者更确切地说，模型和参数值)提供给诸如车辆100、100a的一个或多个车辆，以便允许那些车辆的计算设备110更好地与人通信。当车辆正在接近接起位置(或货物的放下位置)或正在接起位置(或货物的放下位置)等待时。车辆的计算设备110可以使用模型来确定通信是否适当，并且如果适当，则确定类型。例如，基于车辆的环境和/或取决于用户(或可能的乘客)是否具有看到车辆的清晰视线，这可能发生，反之亦然。
72.在一方面，模型和参数值可以用于确定是否应该在应用程序中显现如上所讨论的选项。例如，由车辆的感知系统生成的传感器数据、车辆周围区域中的本地地图信息以及车辆的当前位置可以被输入到模型中。地图信息可以包括各种相关信息，诸如到最近的路缘、楼梯、入口或出口的距离和/或车辆是否靠近可能遮挡用户对车辆的视野的另一对象(诸如墙或树木)等。例如，一旦车辆的计算设备已经定位车辆要停下并等待用户的地方、正在停入该地方和/或车辆已经停下(即已经停车)，则可以执行该确定。然后模型可以输出通信是否适当以及指示每种类型的通信的适当程度的值。
73.在一个实例中，如果模型的输出指示视觉通信比可听通信更适当，则显现的选项可以只允许视觉通信。换言之，如果指示视觉通信的适当性的值大于指示可听通信的值，则显现的选项可以仅允许视觉通信。例如，转向图7，提供视觉通信的选项620不可用，但提供可听通信的选项610可用。
74.类似地，如果模型的输出指示可听通信比视觉通信更适当，则显现的选项可能只允许视觉通信。再次，换言之，如果指示可听通信的适当性的值大于指示视觉通信的值，则显现的选项可以仅允许视觉通信。例如，转向图8，提供可听通信的选项610不可用，但提供视觉通信的选项620可用。
75.作为示例，转向图9，对应于图2的地图信息200，训练数据可以指示当用户离开建筑物220时(例如通过入口和出口286)他们倾向于站在区域910附近，并且请求(例如，经由选项610或620)可听或视觉通信。因此，当使用训练模型时，当用户离开建筑物220(例如通过入口和出口286)并且如他们的客户端计算设备的gps所追踪地(并且可能由车辆的感知系统172的行人检测所确认)在朝着或靠近区域910的轨迹上时，应用程序可以自动显现提供通信(例如视觉、可听或两者)的选项，如图6、7和8的示例中的任何一个所示。
76.在另一方面，模型可以用于确定车辆是否应当自动进行可听通信，而不是如上所讨论地仅显现选项。同样，例如，一旦车辆的计算设备已经定位车辆要停下并等待用户的地方、正在停入该地方和/或车辆已经停下(即已经停车)，则可以执行该确定。例如，转向图10，如果训练数据指示当用户离开建筑物220时(例如经由入口和出口282)，他们倾向于站在区域1010附近以及倾向于使车辆的计算设备鸣喇叭(或经由扬声器154生成相应的可听通信)的用户选项610。因此，当使用训练的模型时，当用户离开建筑物220并且如他们的客户端计算设备的gps所追踪地(并且可能由车辆的感知系统172的行人检测所确认)在朝着或靠近区域1010的轨迹上时，车辆的计算设备110可以自动鸣喇叭(或经由扬声器154生成相应的可听通信)。又例如，训练数据可以指示当用户离开建筑物220时(例如经由入口和出
口286)，用户倾向于站在区域1020附近，并且使用选项620以使车辆的计算设备闪烁前灯350、352。因此，当使用训练的模型时，当用户经由入口和出口286离开建筑物220时周围有许多行人，并且用户如他们的客户端计算设备的gps所追踪地(并且可能由车辆的感知系统172的行人检测所确认)在朝着或靠近其周围有许多行人的区域1020的轨迹上时，车辆的计算设备110可以自动闪烁前灯350、352。
77.在一些实例中，车辆的计算设备可以使用来自用户账户信息的信息和/或来自用户的其他输入来确定适当的通信的类型。例如，如果用户的账户信息或其他输入指示他或她有身体缺陷(视觉或听力相关)，则这可以由计算设备使用以“推翻”(override)模型的输出和/或作为对模式的输入。例如，视力受损的人可能从可听通信中受益更多。然而，如果周围有大量其他人，则系统可能偏向通过用户的设备给出指令而不是鸣喇叭。类似地，与可听通信相比，听力受损的人可能从视觉通信中受益更多。对于与用户前往车辆将需要行走的距离相关的各种参数，也可能存在较高的阈值。例如，车辆的计算设备应该避免指示或鼓励视力受损的人穿过街道或其他非行人友好区域(交通流量大)以到达车辆。
78.附加地或可替代地，模型的输出可以用于确定和执行初始动作，并且可以取决于初始动作而自动地采取随后的动作。同样，例如，一旦车辆的计算设备已经定位车辆要停下并等待用户的地方、正在停入该地方和/或车辆已经停下(即已经停车)，则可以执行该确定。例如，当用户离开建筑物220并接近区域1020时，车辆的计算设备110可以自动闪烁前灯350、352。如果用户的轨迹没有立即改变(例如朝着车辆)，可以经由用户的客户端计算设备显现选项(诸如选项610)以允许用户使车辆的计算设备110鸣车辆的喇叭(或经由扬声器154生成相应的可听通信)，诸如在图7的示例中。作为另一个实例，当用户离开建筑物220并接近区域1020时，车辆的计算设备110可以自动地闪烁前灯350、352。如果用户的轨迹没有立即改变(例如朝着车辆)，车辆的计算设备110可以自动鸣车辆的喇叭(或经由扬声器154生成相应的可听通信)。在一些实例中，除了自动鸣喇叭之外，还可以显现选项(诸如选项610)以允许用户使车辆鸣喇叭(或经由扬声器154生成相应的可听通信)，如图7中所示的示例。可替代地，可以显示通知而不是显现选项以让用户知道车辆正在鸣喇叭。至少最初，可以随机选择或通过使用人工调整的启发法(human
‑
tuned heuristics)来选择这些随后的动作。在一些实例中，这些启发法可能涉及响应于特定的音频序列(audio queue)或关于车辆的环境的其他信息(诸如其他消息信息)。例如，如果有很多环境噪音，大声的音频通信可能是有用的初始动作。
79.用户对随后动作的响应可以用于构建升级的通信的模型。升级的通信的模型可以是机器学习模型，诸如决策树(诸如随机森林决策树)、深度神经网络、逻辑回归、神经网络等。例如，对于使用随后动作的每种情况，可以追踪结果。然后可以例如由服务器计算设备410分析该信息，以便训练升级的通信的模型，并由此标识增加用户响应于车辆通信将更快进入车辆的可能性的模式。例如，该分析可以包括响应于通信的“登载时间” “改变轨迹的时间/一致性”两者。作为示例，如果对于典型(或中等)用户，当他们离开建筑物220时，耗费n秒以登载。例如，但是如果车辆的计算设备110提供可听通信，则减少到n/2，使得车辆的发现能力有显著改进。相同的情况对于轨迹的改变也可以是正确的。在中等情况下，如果用户一般远离在建筑物220处的车辆，而最终找到了车辆，那么理想地，一旦车辆在用户纠正他或她的轨迹朝向车辆之前提供可听通信，则可能在时间上显著地改进。
80.然后可以训练升级的通信的模型以基于先前或初始动作确定下一个动作应该是什么，以便最好地促进用户到达车辆。作为一个示例，可以使用用户的走向来训练模型。例如，模型的训练输入可以包括用户到达车辆和/或登载车辆的实际时间、随着时间的推移用户利用了什么动作以及用户的原始走向。这些组合在一起可以指示任何升级的通信(例如，由用户启动的第二或第三通信)是否通过在用户触发动作时纠正用户的走向而使登载时间减少。因此，如果用户离开建筑物向北走(当车辆实际上在相反的方向，这里是在南向)，使用上述选项以使车辆鸣喇叭，并且然后改变走向朝着车辆，可以训练模型使得当追踪离开并向北走的用户时，模型可以使车辆提前鸣喇叭。类似地，如果初始动作没使用户改变他或她的走向，则升级的通信的模型可以用于(如果必要的话)基于用户的反应(例如改变走向)来确定第二通信、第三通信等。同样，用于训练模型的训练数据越多，模型在确定如何从先前动作升级时将模式精确。
81.作为示例，可以训练升级的通信的模型，使得对于离开建筑物220并站在区域1010处的用户，并且车辆最初已经闪烁其灯光而没有来自用户的响应，车辆之后应该自动鸣喇叭(或经由扬声器154生成相应的可听通信)。如果用户的轨迹没有立即改变(例如朝着车辆)，并且车辆的计算设备110可以自动呼叫客户服务代表(例如，诸如使用计算设备440的用户442的客户服务代表)。通过使用由车辆的感知系统172生成并从车辆的感知系统172接收的传感器数据、由车辆的定位系统170生成并从车辆的定位系统170接收的车辆位置以及由用户的客户端计算设备生成并从用户的客户端计算设备接收的用户位置，代表能够与用户通信并且将用户引导到车辆。
82.作为另一个示例，可以训练升级的通信的模型使得对于离开建筑物220并站在区域1020处的用户，并且车辆之后应该自动鸣喇叭三次，同时在每次鸣喇叭之后等待以查看用户的轨迹是否发生变化。作为另一个示例，可以训练升级的通信的模型使得对于在晚上离开建筑物e的用户，车辆的计算设备110可以总是自动呼叫客户服务代表而不是显现选项。
83.与第一模型一样，然后可以将训练的升级的通信的模型提供给一个或多个车辆(诸如车辆100、100a)，以便允许那些车辆的计算设备110更好地与人通信。
84.除了使用消息和其他信息来训练模型之外，可以分析数据以便更好地促进接起和放下。例如，如果用户针对接起一般位于区域1010，并且当车辆在1020时，通常使用选项以激活车辆的喇叭，则这可以用于使车辆停在更靠近区域1010的位置。
85.图11是根据本公开的各方面的示例流程图1100，其可以由一个或多个计算设备的一个或多个处理器(诸如计算设备110的处理器120)执行，以便促进从自主车辆到用户的通信。
86.如框1110所示，当试图通过车辆接起用户并且在用户进入车辆之前时，将车辆的当前位置和地图信息输入到模型中，以便识别用于将车辆的位置通信给用户的通信动作的类型。这可以包括上面讨论的模型和/或升级的通信的模型。照此，如上所述，模型可以输出通信是否适当，并且如果适当，则输出通信的类型，或者更确切地说，通信应该是可听通信还是视觉通信。
87.在框1120处，基于通信动作的类型启用第一通信。这种启用可以包括，例如，显现如上所述的选项和/或自动生成如上所述的可听或视觉通信。
88.在框1130处，在启用第一通信之后，从接收的传感器数据确定用户是否正在朝着车辆移动。换言之，可以确定用户是否已经对第一通信作出响应。该传感器数据可以包括由车辆的感知系统172生成的传感器数据和/或来自用户的客户端计算设备的传感器数据。车辆的计算设备可以从该传感器数据确定，例如，用户是否正在朝着车辆移动，是否朝向车辆，和/或用户是否已经改变了走向以便朝着车辆移动。
89.在框1140处，基于用户是否正在朝着车辆移动的确定来启用第二通信。作为一个示例，响应于第一通信的启用，当用户没有正在朝着车辆移动或者还没改变他或她的走向或朝向以便朝着车辆移动时，可以启用第二通信。启用可以包括，例如，显现如上所述的选项和/或自动生成如上所述的可听或视觉通信。
90.本文描述的特征可以允许自主车辆改进乘客或用户的接起和放下。例如，用户可以靠自己或通过提示使用显现的选项以使车辆与用户视觉和/或可听地通信。这可以更容易地识别车辆相对用户的位置。附加地或可替代地，车辆可以使用模型来主动确定是否和如何与用户通信，以及如何随着时间的推移升级这些通信。
91.除非另有说明，否则前述可替代示例并不相互排斥，而是可以以各种组合来实施，以实现独特的优点。由于在不脱离由权利要求所限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以对实施例的前述描述应该通过说明的方式进行，而不是通过限制由权利要求所限定的主题进行。此外，对本文描述的示例的提供，以及措辞为“诸如”、“包括”等的分句不应该被解释为将权利要求的主题限制到特定示例；相反，这些示例旨在仅说明多种可能实施例中的一个。此外，不同附图中的相同附图标记可以标识相同或相似的元素。