用于可移动对象的自主控制和人工控制之间的切换的技术的制作方法

用于可移动对象的自主控制和人工控制之间的切换的技术
1.相关申请的交叉引用
2.本技术涉及已提交的标题为“techniques for switching between autonomous and manual control for a movable object(用于可移动对象的自主控制和人工控制之间的切换的技术)”(代理案号1013p1145pct)的国际申请，该申请通过引用并入本文。
技术领域
3.所公开的实施例总体上涉及用于控制可移动对象的技术，更具体地但非排他地，涉及用于可移动对象的人工控制和自主控制之间的切换的技术。


背景技术：

4.自动驾驶载运工具，也被称作自主载运工具，使用安装在自动驾驶载运工具上的各种传感器来获得关于其环境的信息并且做出驾驶决策，而无需依赖驾驶者的输入。这些传感器可以包括相机(视觉传感器)、lidar、毫米波雷达、超声传感器等。载运工具可以分析传感器数据，以识别驾驶环境，并且执行各种驾驶任务，例如，车道检测、行人检测、载运工具检测、标识驾驶路线等。自主载运工具可以使用检测到的关于驾驶环境的信息来决定如何进行。例如，基于高精度地图定位做出宏观控制决策，可以规划完整/部分路线，并且可以基于实时驾驶环境做出各种实时驾驶决策。通过计算来自各个传感器的融合的信息实现。自主载运工具然后可以控制自主载运工具的驱动系统，以实现驾驶决策并且使自主载运工具沿规划路径行驶。


技术实现要素：

5.公开了用于在自主驾驶模式与人工驾驶模式之间切换的技术。用于切换驾驶模式的系统可以包括：与自主载运工具的多个传感器和多个载运工具控制器通信的载运工具控制单元。载运工具控制单元可以包括控制管理器，该控制管理器被配置为：接收将驾驶模式从自主模式切换到人工模式的请求；发送指示已经接收到切换驾驶模式的请求并且请求基于自主模式的确认的消息；接收对请求的第一确认；使用多个传感器获得驾驶状态；确定驾驶状态满足切换标准；进入待切换状态，在该待切换状态中，所接收的用于自主模式的控制输入与所接收的用于人工模式的控制输入被组合，以生成载运工具控制输出；通过多个载运工具控制器向驾驶者提供指示自主载运工具正在驾驶模式之间切换的机械反馈，该机械反馈基于待切换状态；接收基于机械反馈的对切换驾驶模式的请求的第二确认；将驾驶模式从自主模式切换到人工模式。
附图说明
6.图1示出根据本发明的各个实施例的可移动对象环境中的可移动对象的示例。
7.图2示出根据本发明的各个实施例的可移动对象环境中的载运工具控制单元的示例。
8.图3示出根据本发明的各个实施例的驾驶模式的示例。
9.图4示出根据本发明的各个实施例的另外的驾驶模式的示例。
10.图5示出根据本发明的各个实施例的在可移动对象环境中切换驾驶模式的示例。
11.图6示出根据本发明的各个实施例的示例驾驶者控制和反馈系统。
12.图7示出根据本发明的各个实施例的示例驾驶状态。
13.图8示出根据本发明的各个实施例的另一示例驾驶状态。
14.图9示出根据本发明的各个实施例的在可移动对象环境中切换驾驶状态的方法的流程图。
15.图10示出根据本发明的各个实施例的在可移动对象环境中切换驾驶状态的方法的流程图。
16.图11是根据本发明各个实施例的可移动物体的示例性图示。
具体实施方式
17.在附图中的图中以示例方式而不是以限制方式示出本发明，相似的附图标记在附图中表示相似的要素。应当注意到：在本公开中针对“实施例”或“一个实施例”或“一些实施例”的引用不一定指的是相同实施例，且这种引用意味着至少一个实施例。
18.本发明的以下描述描述了使用可移动对象的目标映射。为了简化说明，无人飞行器(uav)通常被用作可移动对象的示例。可以没有限制的使用其他类型的可移动对象对于本领域技术人员将是显而易见的。
19.一些自主载运工具是全时自动驾驶的，即，其仅支持自主驾驶，并且可以不提供驾驶座或驾驶者可访问的控制。自主载运工具中的一些自主载运工具可以被驾驶者暂时控制，但是在大多数情况下载运工具将自主驾驶。
20.实施例提供了为了改善驾驶和乘坐体验的用于管理从人工驾驶模式到自主驾驶模式的改变、以及用于管理从自主驾驶模式到人工驾驶模式的改变的切换策略。
21.图1示出根据本发明的各个实施例的可移动对象环境100中的可移动对象的示例。如图1中所示，可移动对象可以是无人机、无人载运工具、手持没备和/或机器人。虽然可移动对象102通常被描述为地面载运工具，但这不旨在进行限制，并且可以使用任何合适类型的可移动对象。本领域技术人员将了解，本文所描述的实施例中的任何实施例可以被应用于任何合适的可移动对象(例如，自主载运工具、无人飞行器(uav)等)。如本文所使用的，“飞行器”可以被用于指代能够飞行的可移动对象的子集(例如，航空器、uav等)，而“地面载运工具”可以被用于指代在地面上行驶的可移动对象的子集(例如，既可以由驾驶者人工控制又可以自主控制的小汽车和卡车)。
22.可移动对象102可以包括载运工具控制单元和各个传感器106，例如扫描传感器108和扫描传感器110、惯性测量单元(imu)112、以及定位传感器114。在一些实施例中，扫描传感器108、扫描传感器110可以包括lidar传感器、超声传感器、红外传感器、雷达传感器、成像传感器或可操作用于采集关于可移动对象的环境的信息(例如，环境中的其他对象相对于该可移动对象的距离)的其他传感器。可移动对象102可以包括通信系统120，其负责处理经由通信系统120b在可移动对象102和其他可移动对象、客户端设备和可移动对象102之间的通信。例如，无人机可以包括上行链路通信路径和下行链路通信路径。上行链路可以被
用于发送控制信号，下行链路可以被用于发送用于另一设备的控制指令、媒体、视频流等。在一些实施例中，可移动对象可以与客户端设备通信。客户端设备可以是便携式个人计算设备、智能电话、遥控设备、可穿戴计算机、虚拟现实/增强现实系统和/或个人计算机。客户端设备可以向可移动对象提供控制指令和/或从可移动对象接收数据，例如图像或视频数据。
23.根据本发明的各个实施例，通信系统可以使用网络进行通信，这基于各种无线技术，例如，wifi、蓝牙、3g/4g/5g、以及其他射频技术。而且，通信系统120可以基于其他计算机网络技术(例如，互联网技术(例如，tcp/ip、http、https、http/2或其他协议))或任何其他有线或无线联网技术使用通信链路进行通信。在一些实施例中，通信系统120所使用的通信链路可以是非网络技术，包括直接点对点连接，例如通用串行总线(usb)或通用异步收发器(uart)。
24.根据本发明的各个实施例，可移动对象102可以包括载运工具驱动系统128。载运工具驱动系统128可以包括各个运动机构，例如以下中的一项或多项：旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体、喷嘴、动物或人类。例如，可移动对象可以具有一个或多个推进机构。运动机构可以都是同一种类型。备选地，运动机构可以是不同类型的运动机构。可以使用任何合适的装置，例如支撑元件(例如，驱动轴)将运动机构安装在可移动对象102上(或反之亦然)。运动机构可以被安装在可移动对象102的任何合适的部分上，例如，安装在顶部、底部、前部、后部、侧面或其合适的组合。
25.在一些实施例中，运动机构中的一个或多个运动机构可以独立于其他运动机构被控制，例如，通过在客户端设备、载运工具控制单元104或与运动机构通信的其他计算设备上执行的应用。备选地，运动机构可以被配置为被同时控制。例如，可移动对象102可以是前轮或后轮被同时控制的前轮或后轮驱动载运工具。载运工具控制单元104可以向运动机构发送用于控制可移动对象102的运动的运动命令。这些运动命令可以基于和/或源自从客户端设备、自主驾驶单元124、输入设备118(例如，内置的载运工具控制器，例如加速踏板、刹车踏板、方向盘等)或其他实体接收的指令。
26.可移动对象102可以包括多个传感器106。传感器106可以包括可感测可移动对象102(例如，相对于各个平移度和各个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。该一个或多个传感器可以包括各种传感器，包括全球导航卫星服务(gnss)传感器(例如，全球定位系统(gps)、北斗、伽利略等)、运动传感器、惯性传感器、接近传感器或图像传感器。由传感器106提供的感测数据可以被用于(例如，使用合适的处理单元和/或控制模块，例如载运工具控制单元104)控制可移动对象102的空间布置、速度、和/或定向。另外地或备选地，传感器可以被用于提供关于可移动对象周围的环境的数据，例如天气条件、到潜在障碍物的接近度、地理特征的位置、人造结构的位置等。在一些实施例中，传感器106中的一个或多个传感器可以经由载体被耦接至可移动对象102。载体可以使传感器能够独立于可移动对象而移动。例如，可以使用载体改变图像传感器的定向，将图像传感器定向为捕捉可移动对象周围的图像。这实现了独立于可移动对象的当前定向在各个方向上捕捉图像。在一些实施例中，被安装到载体的传感器可以被称为搭载物(payload)。
27.通信系统120可以包括适于无线通信的任何数量的发送器、接收器和/或收发器。通信可以是使数据可以只在一个方向上被发送的单向通信。例如，单向通信可以仅涉及可
移动对象102向客户端设备110发送数据，或反之亦然。数据可以从客户端设备的通信系统120a的一个或多个发送器被发送给可移动对象的通信系统120b的一个或多个接收器，或反之亦然。备选地，通信可以是使数据可以在可移动对象102和客户端设备110之间在两个方向上被发送的双向通信。双向通信可以涉及从通信系统120b的一个或多个发送器向客户端设备110的通信系统120a的一个或多个接收器发送数据，并且反之亦然。
28.在一些实施例中，在与可移动对象通信的载运工具控制单元104、客户端设备或计算设备上执行的应用可以向可移动对象102、载体或一个或多个传感器106中的一项或多项提供控制数据，并且从可移动对象102、载体或传感器106中的一项或多项接收信息(例如，可移动对象、载体或搭载物的位置和/或运动信息；由搭载物所感测的数据，例如由搭载物相机捕捉的图像数据；以及，根据搭载物相机所捕捉的图像数据所生成的数据)。
29.在一些实施例中，控制数据可以导致可移动对象102的位置和/或定向的修改(例如，经由运动机构的控制)或搭载物关于可移动对象的移动(例如，经由载体的控制)。来自应用的控制数据可以导致搭载物的控制，例如扫描传感器124、相机或其他图像捕捉设备的操作(例如，拍摄静态或运动照片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦距、改变景深、改变曝光时间、改变视角或视场)的控制。
30.在一些实例中，来自可移动对象、载体和/或搭载物的通信可以包括来自一个或多个传感器106的信息和/或基于感测信息生成的数据。通信可以包括来自一个或多个不同类型的传感器106(例如，gnss传感器、运动传感器、惯性传感器、接近传感器或图像传感器)的感测信息。这些信息可以与可移动对象、载体和/或搭载物的位置(例如，定位、定向)、移动或加速度有关。来自搭载物的这些信息可以包括由搭载物捕捉的数据或搭载物的感测状态。
31.在一些实施例中，载运工具控制单元104可以在可以被添加到可移动对象102的计算设备上实现。计算设备可以由可移动对象供电且可以包括一个或多个处理器，例如cpu、gpu、现场可编程门阵列(fpga)、片上系统(soc)、专用集成电路(asic)或其他处理器。计算设备可以包括操作系统(os)，例如，基于windows的操作系统或其他os。在各个实施例中，控制管理器122可以在计算设备、客户端设备、搭载物设备、远程服务器(未示出)或其他计算设备上执行。
32.在各个实施例中，自主驾驶单元124可以提供对可移动对象102的自主控制的一个或多个级别。例如，汽车工程师学会定义六个级别的自主驾驶，范围从除了与道路环境、驾驶条件等有关的一些警告或通知之外人工地驾驶载运工具的l0到完全自动驾驶并且不需要来自驾驶者的输入的l5。当以l0驾驶时，可移动对象102可以通过使用输入设备118驾驶来进行控制。输入设备可以包括各种载运工具控制器机构，例如刹车踏板和加速器踏板、方向盘、变速器、离合踏板、触摸屏、开关/转换键/按钮、通过其接收语音命令的麦克风、用于监测驾驶者的相机(例如，注视检测、身体姿态、姿势等)、客户端设备(例如，便携式计算设备，例如平板计算机、智能电话、膝上型计算机、遥控设备、或其他计算设备)等。这些控制机构可以由驾驶者机械操作并且可以各自产生被发送给控制管理器122的信号。例如，操纵信号可以指示方向盘从中间位置被向左或向右转动多远和/或被施加到方向盘的扭矩，并且控制管理器122可以将操纵信号转换成可以经由载运工具接口126被传递到载运工具驱动系统128的控制指令(例如，控制指令可以使被耦接至可移动对象的操纵系统的电动机基于
操纵信号将可移动对象的车轮中的一个或多个车轮转动到一角度)。
33.在人工模式(例如，l0)中，控制管理器可以不从自主驾驶单元124接收任何输入，或者，如果接收到任何输入，则其可以忽略它们。因此，基于从输入设备118接收的人工输入来驾驶可移动对象。在全自主模式(例如，l5)中，从输入设备118接收的任何输入可以被控制管理器122忽略并且基于从自主驾驶单元124接收的自主输入来驾驶可移动对象。自主驾驶单元124可以将其控制指令基于传感器106经由传感器接口116接收的传感器数据。在各个实施例中，从自主驾驶单元124接收的自主输入可以被控制管理器122转换成控制指令并且传递到载运工具驱动系统128，与上面关于人工输入描述的类似。在一些实施例中，从自主驾驶单元124接收的自主输入可以是可以由载运工具驱动系统本机处理的控制指令，并且可以不经修改地被控制管理器122传递，或者可以经由载运工具接口126被自主驾驶单元124直接传送给载运工具驱动系统128。
34.在一些实施例中，载运工具控制单元104可以根据传感器的类型经由高带宽连接(例如，以太网或通用串行总线(usb))或低带宽连接(例如，通用异步收发器(uart))连接到传感器106。在各个实施例中，载运工具驱动单元104可以从可移动对象可移除。
35.控制管理器122可以基于例如从传感器106接收的传感器数据、经由输入设备118接收的输入或从自主驾驶单元124接收的输入来确定可移动对象何时在驾驶模式之间切换。控制管理器122可以基于当前驾驶状态确定是否根据请求切换驾驶模式。当前驾驶状态可以从传感器106获得或者基于从传感器106接收的数据。驾驶状态可以指示例如载运工具的当前速度、位置、前进方向等，并且还可以指示关于载运工具在其中操作的当前道路环境的信息，例如当前交通条件、天气条件、地形、道路类型、位置详情等。在一些实施例中，驾驶状态还可以包括驾驶者状态，例如驾驶者疲劳和准备就绪。驾驶者状态的示例可以包括驾驶者是否在驾驶座中和驾驶座的位置(例如，是否直立)、驾驶者安全带是否系上等。如果控制管理器122确定当前驾驶状态允许切换驾驶模式，则载运工具可以被置于待切换状态中，其中控制在驾驶者和自主驾驶单元之间转变。在该待切换状态中，从驾驶者接收的输入和从自主驾驶单元接收的输入可以被控制管理器组合，以确定被传递给载运工具驱动系统128的控制指令。将待切换状态用作转变模式防止了控制管理器基于驾驶状态在人工模式和自主模式之间来回摇摆，并且实现从一个状态到另一状态的平滑且安全的转变。一旦载运工具在模式之间彻底转变，指示驾驶模式已经改变的指示就可以被提供给驾驶者。
36.图2示出根据本发明的各个实施例的可移动对象环境中的载运工具控制单元的示例200。如图2中所示，控制管理器122可以在载运工具控制单元104的一个或多个处理器202上执行。一个或多个处理器202可以包括cpu、gpu、gpgpu、fgpa、soc或其他处理器，并且可以是通过载运工具控制单元104实现的并行计算架构的一部分。控制管理器202可以经由传感器接口116接收传感器数据并且经由载运工具接口126向载运工具发送控制指令。控制管理器可以包括驾驶模式控制器204、控制输出管理器212、以及驾驶者通信模块222。驾驶模式控制器可以包括驾驶状态监测器206并且可以存储驾驶状态数据和一个或多个切换标准210。控制输出管理器212可以包括通过驾驶模式控制器204设置的当前驾驶模式214和控制权重220的一个或多个集合。在一些实施例中，由控制输出管理器212使用的控制权重可以根据当前驾驶模式214变化。
37.如图2中所示，驾驶模式控制器可以使用驾驶状态监测器206监测可移动对象102
的当前驾驶状态。驾驶状态监测器可以经由传感器接口116从传感器106获得传感器数据。在一些实施例中，驾驶状态监测器206可以以有规律的间隔轮询传感器，以获取传感器数据更新。在一些实施例中，传感器106中的一个或多个传感器可以将传感器数据更新推送给驾驶状态监测器。驾驶状态监测器可以使用传感器数据来生成当前驾驶状态，其可以被存储在驾驶状态数据储存器208中。驾驶状态可以指示当前位置、速度、加速度、环境信息、驾驶信息或交通信息中的一项或多项。例如，驾驶状态可以指示在可移动对象的阈值距离之内的载运工具的数量、以及其当前速度和/或行驶方向。环境信息可以包括例如(经由通信系统120从天气服务获得的或基于传感器数据的)当前天气数据。驾驶信息可以包括车辆自从其最后一次停车以来已经被驾驶了多久、平均速度、燃料消耗、当前驾驶模式(例如，l0
‑
l5)等。
38.在一些实施例中，驾驶状态数据储存器208可以维持驾驶状态的滚动窗口。例如，可以由驾驶状态监测器206每毫秒(或其他频率)记录驾驶状态，并且驾驶状态数据储存器208可以维持5分钟(或其他时间长度)的驾驶状态值。当从控制输入215接收到用于改变驾驶模式的请求时，驾驶状态监测器可以将当前驾驶状态与存储在切换标准数据储存器210中的一个或多个切换标准进行比较。如所讨论的，改变驾驶模式的请求可以来自使用诸如物理按钮、开关、转换键等的一个或多个输入设备118或者通过与诸如触摸屏接口、抬头显示器(hud)、或可移动对象内可用的其他图形用户界面之类的用户接口交互的驾驶者。在一些实施例中，请求可以由自主驾驶单元124基于从传感器106接收的数据做出。例如，如果传感器106中存在使自主驾驶不可靠的干扰，如果检测到特定的天气或道路条件，如果可移动对象正在进入禁止自主驾驶的区域等，则自主驾驶单元124可以请求改变至人工模式。类似地，如果自主驾驶单元检测到自主驾驶可以提高安全性的条件，例如在时走时停的交通中、没有交通、在已经执行特定的人工驾驶时间量之后等，那么自主驾驶单元可以请求将驾驶模式改变到自主模式。
39.在一些实施例中，除了当前驾驶状态之外，驾驶状态监测器206还可以将过去的驾驶状态与切换标准进行比较。在各个实施例中，切换标准可以包括可移动对象的当前位置的最大速度、当前驾驶时间、地形类型、交叉路口类型、当前速度、与最近的载运工具的阈值距离或相对于最近的载运工具的当前运动。例如，如果可移动对象超出其当前位置处的速度限制，则可以禁止改变驾驶模式。类似地，如果可移动对象处于四向停车(four
‑
way stop)、环岛或其他交叉路口类型处，则驾驶模式可以不被切换。在一些实施例中，如果当前交通条件太密集或太稀疏(例如，如果与最近的载运工具的当前距离在阈值之上或在阈值之下)、如果可移动对象处于改变车道导致载运工具之间的横向相对运动的过程中、或者如果可移动对象正在超车或被另一载运工具超车时，则驾驶模式可以不被改变。
40.在一些实施例中，当前驾驶状态可以通过根据多个切换标准表示当前状态的向量、张量或其他数据结构来表示。同样，可接受的切换状态可以通过被类似地格式化的数据结构来表示。驾驶状态监测器206可以将表示当前驾驶状态的数据结构与表示切换状态的一个或多个数据结构进行比较。如果存在匹配，则驾驶模式可以被改变。在一些实施例中，驾驶状态监测器206可以将表示当前驾驶状态的数据结构与表示禁止改变驾驶模式的切换状态的一个或多个数据结构进行比较。如果存在匹配，则驾驶模式可以不被改变。在一些实施例中，驾驶模式控制器204可以基于当前驾驶状态和一个或多个切换状态的比较，通过驾
驶者通信模块222向驾驶者返回指示驾驶模式是否可以被改变的消息。例如，消息可以被可听地播报给驾驶者、在可移动对象中的控制台、仪表板或其他显示器上显示、和/或通过方向盘、座椅或载运工具内部与驾驶者接触的其他部分以触觉的方式传送。
41.一旦驾驶模式控制器204确定驾驶模式可以被改变，驾驶模式控制器就可以将驾驶模式214更新至待切换状态。待切换状态可以是临时驾驶模式，在该临时驾驶模式期间，驾驶模式控制器可以保证任何驾驶状态的改变都不会导致驾驶模式改变被停止。例如，可以通过驾驶者操纵的一个或多个输入设备或通过基于传感器数据检测条件的改变的自主驾驶单元，接收取消驾驶模式改变指令。在一些实施例中，可以生成取消驾驶模式改变指令的这种条件改变可以包括指示交通突然变缓或交通变缓结束的附近载运工具的速度的突然改变。可移动对象处于待切换状态的时间长度可以是固定的或可以根据当前驾驶条件变化。例如，待切换状态可以是低交通条件的第一时间长度和高交通条件的较长的第二时间长度。在一些实施例中，当在任何模式之间切换时，待切换状态可以持续相同的时间量，或者在从自主模式切换到人工模式时相对于从人工模式切换到自主模式，可以是不同的时间长度。
42.当可移动对象处于待切换状态模式时，自主驾驶单元124和驾驶者二者都可以向控制管理器122提供驾驶输入。控制管理器122可以经由与自主驾驶单元124交互的自主输入管理器216和与一个或多个输入设备118交互的驾驶者输入管理器218接收驾驶输入。在待切换状态模式中，输入可以使用控制权重220进行组合。控制权重220可以被索引到可移动对象已经处于待切换状态的时间长度。例如，最大权重值可以是1且最小权重值可以是0。当可移动对象最初从自主模式进入待切换状态模式时，可以对自主输入加权1且可以对人工输入加权0，有效地使可移动对象保持在自主模式中。随着在待切换状态模式中花费的时间继续，对自主输入应用的权重可以随着对人工输入应用的权重增大而减小，直到在待切换状态结束时对人工输入应用的权重是1且对自主输入应用的权重是0为止。类似地，当从人工模式切换到自主模式时，上述权重可以是相反的。在一些实施例中，可以通过对加权输入求和或以其他方式将加权输入组合成单个控制输出来获得控制输出。在待切换状态结束时，驾驶模式控制器204可以将驾驶模式更新至新状态。通过以上述方式组合输入，由驾驶者在最初接管对可移动对象的控制时所提供的任何意外的、无意的输入将被忽略或抑制而支持自主输入。
43.图3示出根据本发明的各个实施例的驾驶模式的示例。如上文所讨论的，在人工驾驶模式300中，驾驶者接管对载运工具的完全控制，包括加速器设备、操纵设备、刹车设备和其他输入设备。如在304处所示，在人工驾驶模式300中，载运工具控制单元104不接收或忽略来自自主驾驶单元124的输入。以这种方式，所有控制输入由驾驶者提供。在一些实施例中，在处于人工模式中时，自主驾驶单元可以向驾驶者提供警报，例如车道改变警告、接近警报等。
44.在自主驾驶模式302中，自主驾驶单元124可以接管对载运工具的完全控制，包括载运工具驱动系统128的加速器功能、操纵功能、刹车功能和其他功能。如在306处所示，在自主驾驶模式中，不可以经由输入设备118从驾驶者接收输入，或者载运工具控制单元104可以忽略该输入。在一些实施例中，如果驾驶者尝试经由输入设备118提供驾驶输入，则载运工具控制单元可以覆写由自主驾驶单元124接收的任何指令。备选地，载运工具控制单元
可以在完全地或部分地(例如，如同载运工具处于上述待切换状态模式中一样地通过对输入应用控制权重)执行驾驶者的输入之前确定由驾驶者提供的输入是否是安全的。备选地，载运工具控制单元104可以拒绝经由输入设备118从驾驶者接收的任何输入。
45.图4示出根据本发明的各个实施例的另外的驾驶模式的示例。如图4中所示，在待切换状态模式400中，可以即经由输入设备118从驾驶者和从自主驾驶单元124接收输入。在处于待切换状态模式中时，控制输出管理器212可以对接收到的输入应用待定权重404的集合。如上文所讨论的，最大权重值可以是1且最小权重值可以是0。当可移动对象最初从自主模式进入待切换状态模式时，可以对自主输入加权1且可以对人工输入加权0，有效地使可移动对象保持在自主模式中。随着在待切换状态模式中花费的时间继续，对自主输入应用的权重可以随着对人工输入应用的权重增大而减小，直到在待切换状态结束时对人工输入应用的权重是1且对自主输入应用的权重是0为止。类似地，当从人工模式切换到自主模式时，上述权重可以是相反的。在待切换状态结束时，驾驶模式控制器204可以将驾驶模式更新至新状态。通过以上述方式组合输入，由驾驶者在最初接管对可移动对象的控制时所提供的任何意外的、无意的输入将被忽略或抑制而支持自主输入。
46.在一些实施例中，可移动对象可以进入安全模式。例如，如果在预定的时间之内和/或在预定的情况下，驾驶者不再经由输入设备118提供任何驾驶输入，则载运工具控制单元104可以使可移动对象进入安全模式402。控制输出管理器可以对从输入设备118和自主驾驶单元124接收的输入应用安全权重406的集合。安全权重可以被应用于特定类型的控制输入。在一些实施例中，安全权重可以被索引到控制输入值的幅度。例如，安全权重可以在1和0之间变化，并且可以通过将最大控制输出限制在特定的“安全”值的函数来定义。这可以包括基于安全权重406操纵控制输出来限制可移动对象的最大加速度、最大速度等。在一些实施例中，权重可以使除了控制输入的子集之外的所有控制输入随着控制输出显著减小。例如，基于可移动对象在道路中的位置，除了将使可移动对象开到故障车道或路肩的那些控制输入之外的任何控制输入可以具有对其应用的接近0的权重。而用于使可移动对象靠边停车的控制输入可以具有对其应用的接近1的权重。
47.图5示出根据本发明的各个实施例的在可移动对象环境中切换驾驶模式的示例。如图5中所示，驾驶状态监测器206可以控制至少四种驾驶模式当中可移动对象的当前驾驶模式：人工驾驶模式500、自主驾驶模式502、待切换状态模式504、以及安全驾驶模式506。导致可移动对象在每种驾驶模式之间转变的条件可以根据当前驾驶模式和可移动对象要转变到的目标驾驶模式变化。
48.在一些实施例中，当可移动对象处于人工驾驶模式500中时，可以接收将驾驶模式改变到自主驾驶模式的请求。如所讨论的，这样的请求可以由驾驶者通过输入设备118做出或由自主驾驶单元自动地做出。驾驶状态监测器206然后可以基于当前驾驶状态确定驾驶模式是否可以被改变。如所讨论的，驾驶状态监测器206可以将当前驾驶状态与一个或多个切换标准进行比较，例如，当前速度和位置标准(例如，当载运工具的速度在城区中不大于60km/h或在高速道路上不大于100km/h时，则可以执行切换)、或驾驶条件(例如，在驾驶超过1个小时或其他时间限制之后可以执行切换)。基于驾驶条件、交通条件等的另外的切换标准可以包括：当进行超车时或当被超车时或在特定交叉路口(例如，四向停车)、或者如果可移动对象超出其当前位置处的速度限制，则禁止切换。类似地，可以定义地形和/或道路
约束。例如，仅可以在平坦笔直的道路上和/或当在预定阈值距离之内不存在载运工具时才允许切换。在一些实施例中，阈值距离可以根据可移动对象的当前速度变化。
49.如所讨论的，载运工具通过传感器106获得当前驾驶状态，该当前驾驶状态可以包括载运工具的位置、速度、加速度、环境信息、驾驶行为、交通控制信息等。驾驶状态监测器206可以将当前驾驶状态和切换标准进行比较。如果其满足要求，则在508处驾驶状态可以被更新至待切换状态504。在一些实施例中，可以向驾驶者提供指示可移动对象正转变到自主驾驶模式的通知。在一些实施例中，在处于人工驾驶模式500时不需要来自驾驶者的对这个通知的确认。在一些实施例中，可以在诸如控制台显示器、仪表板显示器、抬头显示器等之类的显示器上显示通知。驾驶者可以通过语音命令、激活多个输入设备中的一个输入设备(例如，触摸触摸屏显示器上的位置、按下仪表板或控制台上的返回按钮等)消除该通知。
50.在此刻，自主驾驶模式可以被激活(或者，如果已经被激活，则由自主驾驶单元所生成的控制输入可以被控制管理器接收)。自主驾驶单元可以在后台中操作，并且如上文所讨论的，其输入与从驾驶者接收的输入组合。在一些实施例中，在处于待切换状态中时，驾驶者可以接收第二通知，第二通知指示即将发生的驾驶模式的改变。在一些实施例中，驾驶者可以通过与人工驾驶模式相关联的一个或多个动作提供对第二通知的确认。例如，驾驶者可以使用多个输入设备将驾驶座的位置从驾驶位置改变到后仰位置。在一些实施例中，驾驶者可以经由语音命令提供确认。在人工驾驶模式中，没有来自驾驶者的明确确认不可以使得控制管理器停止驾驶模式的改变。相反，在处于人工驾驶模式时并且在第二通知之后没有驾驶输入可以被解释为对驾驶模式改变的确认。如果驾驶者取消该改变，则在510处模式可以返回到人工驾驶模式。另外地或备选地，如所讨论的，由于驾驶条件、交通条件、环境条件或其他条件的改变，自主驾驶单元可以取消驾驶模式的改变，并且驾驶模式同样可以在510处返回到人工驾驶模式。如果在待切换状态结束时，还未取消改变，则在512处驾驶模式可以被更新至自主驾驶模式502。
51.在一些实施例中，如果在将驾驶状态监测器不可以将驾驶模式从人工驾驶模式切换到自主驾驶模式通知给驾驶者之后，并且没有从驾驶者接收到另外的输入，则在516处驾驶状态监测器可以强制可移动对象进入安全驾驶模式506。如所讨论的，当处于安全驾驶模式时，可以对控制进行限制以减小可移动对象的速度和/或在停下来之前将对象移动到安全位置。在一些实施例中，如果切换标准不被满足且驾驶者不能提供另外的控制输入，则驾驶状态监测器可以强制可移动对象进入受限的自主驾驶模式，其在可移动对象停下来之前将其导航至安全位置。在载运工具停下来之后，驾驶状态监测器可以在确定如何继续进行之前在514或518处将可移动对象的驾驶状态改变回待切换状态。
52.与可以由自主驾驶单元自动请求的从人工驾驶模式到自主驾驶模式的切换不同，在一些实施例中，可移动对象仅可以通过经过输入设备118来自驾驶者的显式请求从自主模式切换到人工模式。此外，在切换驾驶模式之前可以需要多个确认。自主驾驶模式中所需要的确认可以特定于自主驾驶模式并且被用于确认驾驶者准备好控制可移动对象。
53.在一些实施例中，当可移动对象处于自主驾驶模式502中时，可以接收用于将驾驶模式改变到人工驾驶模式500的请求。如所讨论的，这样的请求可以由驾驶者通过输入设备118做出。在接收到用于从自主驾驶模式改变模式的请求之后，指示该请求被接收到并请求确认的消息可以被发送给驾驶者。在一些实施例中，消息可以在可移动对象中的一个或多
个显示器(例如，控制台显示器、仪表板显示器、抬头显示器等)上被显式。许多载运工具基于驾驶状态间歇地向驾驶者提供消息。当许多消息被提供时，对于驾驶者可能变得常规的是，不理会消息或确认消息，而没有首先确定消息实际指示什么。以这种方式，为了保证驾驶者知道改变驾驶模式的请求，消息可以指示输入设备中的一个或多个输入设备要被驾驶者激活以确认请求。一个或多个输入没备可以与通过控制管理器所选择的确认类型相关联。在一些实施例中，控制管理器可以获得当前驾驶状态的全部或一部分，以选择确认类型。例如，控制管理器可以获得可移动对象当前的每分钟转数(rpm)并且将这个值用作伪随机数生成器的种子。每种确认类型可以与伪随机数生成器的可能的输出值的不同范围相关联。一旦已经获得了基于当前驾驶状态的输出值，对应的确认类型就可以被确定。每种确认类型可以与不同的一个或多个输入设备和/或要由驾驶者使用一个或多个输入设备执行的动作相关联。例如，消息可以指示要由驾驶者大声说出的用于确认驾驶模式切换的特定短语，或者消息可以指示要按照特定顺序被激活(例如，被驾驶者按下、点击或以其他方式使用)的输入设备的子集。因为确认类型被伪随机地选择，所以确认不是驾驶者例行的，这减少了在准备接管人工控制的驾驶者没有确认的情况下驾驶模式改变被确认的可能性。
54.在接收确认之后，驾驶状态监测器206然后可以基于当前驾驶状态确定驾驶模式是否可以被改变。可移动对象通过传感器106获得当前驾驶状态，该当前驾驶状态可以包括载运工具的位置、速度、加速度、环境信息、驾驶行为、交通控制信息等。在一些实施例中，驾驶状态还可以包括驾驶者状态，例如驾驶者疲劳和准备就绪。驾驶者状态的示例可以包括驾驶者是否在驾驶座中和驾驶座的位置(例如，是直立的吗)、驾驶者的安全带是否系上等。
55.如果驾驶状态满足切换标准，则驾驶模式可以在514处从自主驾驶模式502切换到待切换状态504。如所讨论的，驾驶状态监测器206可以将当前驾驶状态与一个或多个切换标准进行比较，例如，由载运工具执行驾驶者疲劳检测和由载运工具执行驾驶者准备检测。在一些实施例中，切换标准还可以包括驾驶条件、地形条件、环境条件等，例如，在超车时、在特定的交叉路口类型处、当超过当前位置处的速度限制等禁止模式改变。在一些实施例中，一些位置可以仅要求人工驾驶模式或仅要求自主驾驶模式。例如，城市中心可以包括自主驾驶区域和人工驾驶区域。一旦确定当前驾驶状态满足切换标准，在一些实施例中，第二确认提示就可以被提供给驾驶者(例如，通过在控制台、hud、仪表板或可移动对象中的其他屏幕上显式的图形用户界面)。如果驾驶者在阈值时间量中未做出响应以确认驾驶模式切换，则在512处驾驶模式可以返回自主驾驶模式。
56.在阈值时间量之内做出响应之后，可移动对象可以留在待切换状态中。在处于待切换状态中时，可以要求一个或多个另外的确认。例如，人工驾驶准备警告可以被提供给驾驶者。这个警告可以作为可听警告被提供给驾驶者，用于例如将座椅调整至驾驶位置、系紧安全带等。在一些实施例中，安全带被自动系紧并且方向盘振动，以指示人工控制正在被转换到驾驶者。这个第二警告还可以要求在阈值时间量之内来自驾驶者的确认。在各个实施例中，确认可以要求输入设备的特定激活顺序。这个顺序可以被显示给驾驶者，并且仅在一旦已经以所显式的顺序激活输入设备时接收到确认。例如，在第二警告之后，如果驾驶者没有将其座椅调整到驾驶位置，则驾驶模式可以返回自主驾驶模式。类似地，如果驾驶者没有在特定的位置(例如，方向盘振动的位置)握紧方向盘，则驾驶模式可以返回自主驾驶模式。在一些实施例中，可以要求驾驶者相继地在一系列位置(例如，方向盘振动的位置)握紧方
向盘，以提供驾驶准备就绪的确认。在一些实施例中，可以要求驾驶者以被显示给被可听地指示给驾驶者的顺序压下每个踏板，以确认驾驶者坐在触及踏板并且在踏板上施加用于足以安全地操作它们的力的位置。
57.在一些实施例中，自主驾驶单元可以在载运工具已经转变到人工驾驶模式之后继续操作。控制管理器可以标识偏离由自主驾驶单元所生成的那些超过阈值的人工输入。这种差异可以指示驾驶者正以不安全的方式操作载运工具。如果偏离持续达可配置的时间量，则控制管理器可以自动地发起如上文所讨论的从人工驾驶模式到自主驾驶模式的驾驶模式切换。
58.在一些实施例中，在进入人工驾驶模式之后，如果驾驶者在预定的时间量和/或在预定的情况下没有提供任何驾驶输入，则控制管理器可以自动地发起从人工驾驶模式到安全驾驶模式的驾驶模式改变。在一些实施例中，传感器106和/或通信系统120可以从其他可移动对象和/或交通基础设施接收驾驶状态数据。例如，载运工具可以将其位置处的交通数据传送给道路上在其之后的载运工具。以这种方式，如果存在即将到来的交通变化(例如，由于事故突然变缓慢)，则控制管理器可以拒绝改变可移动对象的驾驶模式。类似地，被包含进道路、灯柱、指示牌、交通灯、或其他基础没施的传感器可以同样地将驾驶状态信息传送给可移动对象，该驾驶状态信息可以被包括在关于是否允许驾驶状态的改变的决定中。
59.在一些实施例中，在驾驶模式切换已经被拒绝之后，驾驶者可以通过做出第二驾驶模式切换请求来超越控制管理器。在一些实施例中，第二驾驶模式切换请求可以要求来自驾驶者的另外的凭证信息，例如在控制管理器可以被超越之前驾驶者的身份的验证。一旦被确认，驾驶模式就可以被改变到所请求的驾驶模式。在一些实施例中，超越对改变驾驶模式的拒绝可以强制可移动对象进入待切换状态达无限时间量。这有效地将可移动对象保持在人工输入和自主输入二者都可以被控制管理器接收的状态中。在一些实施例中，这个强制模式可以不与权重相关联，或可以对来自驾驶者的输入和来自自主驾驶单元的输入同等加权。
60.图6示出根据本发明的各个实施例的示例600驾驶者控制和反馈系统。如图6中所示，可移动对象可以包括各个输入设备118，例如方向盘602、踏板604、换挡器606以及一个或多个开关608。在一些实施例中，可移动对象可以包括一个或多个显示器，例如控制台显示器610、仪表板显示器608、以及抬头显示器614。这些显示器中的每个显示器可以被用于向驾驶者提供反馈。例如，激活输入设备的顺序可以在控制台显示器610上显式，一旦驾驶者以所显式的顺序激活设备，那么就可以切换驾驶模式。在一些实施例中，侧镜612和后视镜616还可以包括显示器或可以被配置为向驾驶者提供警告或通知。此外，驾驶座可以包括一个或多个传感器618
‑
620，其可以确定驾驶座的位置和/或驾驶者在驾驶座的位置。在一些实施例中，传感器618
‑
620可以向驾驶者提供触觉反馈，例如通过振动警告驾驶者即将到来的驾驶模式的改变。
61.图7示出根据本发明的各个实施例的示例驾驶状态700。如图7中所示，可移动对象102可以使用耦接至可移动对象的一个或多个传感器106来获得驾驶状态。例如，可移动对象可以获得与可移动对象104附近的其他可移动对象(例如，载运工具702)有关的传感器数据。如所讨论的，可移动对象104可以包括lidar传感器704，可移动对象使用其可以获得关于其附近的其他对象的相对位置的信息。使用其传感器，可移动对象可以确定其当前驾驶
状态包括在该可移动对象的阈值距离之内的另一载运工具。另外地或备选地，可移动对象104可以确定其正被载运工具702超车或该可移动对象正超车载运工具702。在一些实施例中，载运工具702可以通过通信系统120将另外的驾驶状态传送给可移动对象102。例如，因为载运工具702在可移动对象102的前面很远，所以其传感器可以具有已标识的即将到来的交通改变、道路改变或其他条件，可移动对象102可以将其包括在其当前驾驶状态中。在一些实施例中，交通基础设施，例如交通灯706可以类似地向可移动对象104提供另外的驾驶状态。
62.图8示出根据本发明的各个实施例的另一示例驾驶状态800。与图7中示出的示例类似，可移动对象102可以使用耦接至可移动对象的一个或多个传感器106来获得驾驶状态。例如，可移动对象102可以例如使用可以在由耦接至可移动对象的传感器106捕捉的图像数据中可视地标识车道标志的车道检测警告系统，检测到可移动对象正改变车道。在一些实施例中，可以防止可移动对象在改变车道的同时改变驾驶模式。在一些实施例中，被集成到道路的传感器设备802(例如，作为反射器或以其他方式被包括在道路表面)可以将驾驶状态数据传送给可移动对象。驾驶状态数据可以包括，例如与传感器设备的位置相关联的当前速度限制、传感器设备所在的道路的即将到来的交通数据、仍然笔直的道路的距离或到道路中超过给定角度值的下一弯道的距离或其他驾驶状态信息。当确定是否改变驾驶模式时可移动对象102可以包括从传感器设备接收的驾驶状态信息。
63.图9示出根据本发明的各个实施例的在可移动对象环境中切换驾驶状态的方法900的流程图。在902处，可以接收将自主载运工具的驾驶模式从第一模式切换到第二模式的请求，该自主载运工具包括多个传感器和多个载运工具控制器。在一些实施例中，切换驾驶模式的请求在驾驶者在至少阈值时间量中没有提供任何控制输入之后生成，其中，第二模式是使自主载运工具安全停下来的安全模式。在一些实施例中，将驾驶模式从第一模式切换到第二模式的请求由通过多个载运工具控制器接收的输入生成。
64.在904处，使用被耦接至自主载运工具的多个传感器获得驾驶状态。在一些实施例中，驾驶状态可以包括位置、速度、加速度、环境信息、驾驶信息或交通信息中的一项或多项。在一些实施例中，多个传感器包括用于从不同的自主载运工具或交通基础没施接收传感器数据的通信单元。
65.在906处，确定驾驶状态满足切换标准。在一些实施例中，切换标准包括多个肯定的切换标准和多个否定的切换标准。切换标准包括以下中的一项或多项：当前环境的最大速度、驾驶时间、地形类型、交叉路口类型、当前速度、与最近的载运工具的阈值距离或相对于最近的载运工具的当前运动。在一些实施例中，切换标准基于从不同的自主载运工具或交通基础设施接收的传感器数据。
66.在908处，进入第二模式被激活的待切换状态。在待切换状态中，所接收的用于第一模式的控制输入与所接收的用于第二模式的控制输入被组合，以生成载运工具控制输出。在一些实施例中，组合所接收的用于第一模式和第二模式的控制输入可以包括确定所接收的用于第二模式的控制输入的幅度大于阈值输入值；对所接收的用于第二模式的控制输入应用第一权重值以获得第一加权控制输入；对所接收的用于第一模式的控制输入应用第二权重值以获得第二加权控制输入，所述第二权重值大于所述第一权重值；以及，基于第一加权控制输入和第二加权控制输入生成载运工具控制输出。
67.在910处，发送指示驾驶模式要从第一模式切换到第二模式的消息，该消息包括用于取消的选项。在912处，将驾驶模式从第一模式切换到第二模式。在一些实施例中，第一模式是人工驾驶模式且第二模式是自主驾驶模式，并且其中，用于将驾驶模式从第一模式切换到第二模式的请求是由载运工具控制单元自动生成的。
68.在一些实施例中，该方法还可以包括：接收用于将驾驶模式从第二模式切换到第一模式的第二请求；获得第二驾驶状态；确定第二驾驶状态不满足第二切换标准；以及，返回指示基于第二驾驶状态不可以切换驾驶模式的警告。在一些实施例中，该方法还可以包括：作为对所述警告的响应，接收用于将驾驶模式从第二模式切换到第一模式的第三请求，该第三请求超越该警告；以及，将驾驶模式从第二模式切换到第一模式。
69.图10示出根据本发明的各个实施例的在可移动对象环境中切换驾驶状态的方法1000的流程图。在1002处，接收用于将自主载运工具中的驾驶模式从自主模式切换到人工模式的请求，该自主载运工具包括多个传感器和多个载运工具控制器。在一些实施例中，用于将驾驶模式从自主模式切换到人工模式的请求由通过多个载运工具控制器接收的输入生成。
70.在1004处，发送指示已经接收到用于切换驾驶模式的请求并且请求确认的消息，该确认基于自主模式。在一些实施例中，发送消息可以包括在自主载运工具中的一个或多个显示器上显示消息并且经由一个或多个显示器接收确认。在一些实施例中，可以由可移动对象选择与确认相关联的确认类型。确认类型可以从与自主模式相关联的多个确认类型中选择。可以在被显示在一个或多个显示器上的消息中显示确认类型，该确认类型指示多个载运工具控制器中要被激活以提供确认的一个或多个载运工具控制器。在一些实施例中，确认类型是基于驾驶状态伪随机地选择的。一个或多个显示器包括控制台显示器、仪表板显示器、以及抬头显示器。
71.在1006处，可以接收对切换驾驶模式的请求的第一确认。在1008处，可以使用多个传感器获得驾驶状态。在一些实施例中，驾驶状态包括位置、速度、加速度、环境信息、驾驶信息或交通信息中的一项或多项。在一些实施例中，驾驶状态还包括驾驶者疲劳信息和驾驶者准备信息。在1010处，确定驾驶状态满足切换标准。在一些实施例中，切换标准可以包括以下中的一项或多项：限制模式的地理区域、当前环境的最大速度、驾驶时间、地形类型、交叉路口类型、当前速度、与最近的载运工具的阈值距离或相对于最近的载运工具的当前运动。
72.在1012处，可以进入人工模式被激活的待切换状态。在待切换状态中，所接收的用于自主模式的控制输入与所接收的用于人工模式的控制输入被组合，以生成载运工具控制输出。在一些实施例中，组合控制输入可以包括：确定所接收的用于人工模式的控制输入的幅度大于阈值输入值；对所接收的用于人工模式的控制输入应用第一权重值以获得第一加权控制输入；对所接收的用于自主模式的控制输入应用第二权重值以获得第二加权控制输入，所述第二权重值大于所述第一权重值；以及，基于第一加权控制输入和第二加权控制输入生成载运工具控制输出。
73.在1014处，通过多个载运工具控制器向驾驶者提供指示自主载运工具正在驾驶模式之间切换的机械反馈，所述机械反馈基于待切换状态。在一些实施例中，提供机械反馈可以包括：选择与待切换状态相关联的多个载运工具控制器的子集；以及，显示要被激活以提
供第二确认的多个载运工具控制器的子集的顺序。在一些实施例中，机械反馈包括以下中的至少一项：将座椅调整到驾驶模式位置、绑紧安全带、将踏板移动到驾驶模式位置、改变窗户颜色或通过方向盘的触觉反馈。
74.在1016处，接收基于机械反馈的切换驾驶模式的请求的第二确认。在一些实施例中，接收第二确认可以包括按照所显示的顺序接收来自多个载运工具控制器的子集中的每个载运工具控制的输入。在1018处，将驾驶模式从自主模式切换到人工模式。
75.在一些实施例中，该方法还可以包括：使用多个传感器获得新驾驶状态；基于新驾驶状态检测模式切换状态；生成将驾驶模式从人工模式切换到自主模式的第二请求；以及，发送指示已经接收到用于切换驾驶模式的请求的第二消息，其中，在人工模式中不需要确认。
76.在一些实施例中，该方法还可以包括：在切换驾驶模式之后监测通过多个载运工具控制器从驾驶者接收的多个人工控制输入；确定多个人工控制输入要使自主载运工具在安全操作参数之外操作；以及，作为响应，将驾驶模式从人工模式切换到自主模式。
77.在一些实施例中，该方法还可以包括：在将驾驶模式切换到人工模式之后，确定驾驶者在至少阈值时间量中没有提供任何控制输入；以及，将驾驶模式切换到使自主载运工具安全停下来的安全模式。
78.图11是根据本发明的各个实施例的计算设备的示例性图示。计算设备1100是包括许多不同组件的电子设备。这些组件可以被实现为集成电路(ic)、分立电子设备或适于诸如计算系统的母板或插卡之类的电路板的其他模块，或者被实现为以其他方式被包括在计算系统的底盘内的组件。在一些实施例中，关于图11所描述的组件中的所有组件或一部分组件可以被包括在被耦接至可移动对象的计算设备中。在一些实施例中，计算设备1100可以是可移动对象。还要注意，计算设备1100旨在示出计算系统的许多组件的高级视图。然而，要理解，在某些实施方式中可以存在另外的组件，而且，在其他实施方式中可以出现所示出的组件的不同的布置。
79.在一个实施例中，计算设备1100包括经由总线或互连1110互连的一个或多个微处理器1101、推进单元1102、非暂时性机器可读存储介质1103、以及组件1104
‑
1108。一个或多个微处理器1101表示一个或多个通用微处理器，例如中央处理单元(cpu)、图形处理单元(gpu)、通用图形处理单元(gpgpu)或其他处理设备。更具体地，微处理器1101可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、或实现其他指令集的微处理器、或实现指令集的组合的微处理器。微处理器1101还可以是一个或多个专用处理器，例如，专用集成电路(asic)、蜂窝或基带处理器、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器、图形处理器、网络处理器、通信处理器、密码处理器、协处理器、嵌入式处理器、或能够处理指令的任何其他类型的逻辑。
80.一个或多个微处理器1101可以与诸如磁盘、光盘、只读存储器(rom)、闪存设备和相变存储器的非暂时性机器可读存储介质1103(也称为计算机可读存储介质)通信。非暂时性机器可读存储介质1103可以存储信息，包括指令的序列，例如由一个或多个微处理器1101或任何其他设备单元执行的计算机程序。例如，各种操作系统、设备驱动、固件(例如，输入输出基本系统或bios)和/或应用的可执行代码和/或数据可以被加载到一个或多个微处理器1101中并由一个或多个微处理器1101执行。
81.非暂时性机器可读存储介质1103可以包括用于实现上文至少关于载运工具控制单元114和其各个组件(例如，控制管理器122、自主驾驶单元124、驾驶模式控制器204、控制输出管理器212、自主输入管理器216、驾驶者输入管理器218、驾驶者通信模块318等)所描述的功能中的全部或部分功能的逻辑，所述逻辑包括用于执行在上文中所讨论的操作的指令和/或信息。非暂时性机器可读存储介质1103还可以储存计算机程序代码，所述计算机程序代码可由一个或多个微处理器1101执行，用于执行根据本发明的各个实施例的在上文在方法900和方法1000中所讨论的操作。
82.推进单元1102可以包括可操作用于生成用于维持计算设备1100的受控移动的力的一个或多个设备或系统。推进单元1102可以共享或可以各自单独包括或可操作地连接到动力源，例如电机(例如，电动机、液压电机、气动电机等)、引擎(例如，内燃引擎、涡轮引擎等)、电池组等或其组合。推进单元1102可以包括响应于从载运工具控制单元接收的指令(例如，电输入、消息、信号等)控制可移动对象的各个组件的一个或多个致动器。例如，致动器可以通过控制载运工具驱动系统内的各个阀、瓣阀(flap)等调节流体流量、压力、气流和载运工具驱动系统128的其他方面(例如，刹车系统、操纵系统等)。推进单元1102还可以包括被连接至动力源且被配置为参与对用于维持受控飞行的力的生成的一个或多个转动组件。例如，转动组件可以包括旋翼、螺旋桨、桨叶、喷嘴等，其可以在轴、轮轴、轮子、液压系统、气动系统或被配置为传送来自动力源的动力的其他组件或系统上或被它们驱动。推进单元1102和/或转动组件相对于彼此和/或相对于计算设备1100可以是可调整的。推进单元1102可以被配置为在一个或多个垂直方向和水平方向上推进计算设备1100并且允许计算设备1100关于一个或多个轴转动。即，推进单元1102可以被配置为提供用于产生和维持计算设备1100的平移运动和旋转运动的升力和/或推力。
83.计算设备1100还可以包括显示控制和/或显示设备单元1104、无线收发器1105、视频i/o设备单元1106、音频i/o设备单元1107、以及如图所示的其他i/o设备单元1108。无线收发器1105可以是wifi收发器、红外收发器、蓝牙收发器、wimax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(gps)收发器)或其他射频(rf)收发器、或其组合。
84.视频i/o设备单元1106可以包括成像处理子系统(例如，相机)，其可以包括光传感器，例如被用于促进诸如记录照片和视频剪辑和视频会议之类的相机功能的电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)光传感器。在一个实施例中，视频i/o设备单元1106可以是4k相机/摄像机。
85.音频i/o设备单元1107可以包括用于促进诸如语音识别、语音复制、数字记录和/或电话功能之类的支持语音的功能的扬声器和/或麦克风。其他设备单元1108可以包括存储设备(例如，硬盘驱动器、闪存设备)、通用串行总线(usb)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如、pci
‑
pci桥)、传感器(例如，运动传感器，例如加速度计、陀螺仪、磁力计、光传感器、罗盘、接近传感器等)或其组合。设备单元1108还可以包括经由传感器集线器(未示出)被耦接至互连1110的某些传感器，而诸如热传感器、高度传感器、加速度计、以及环境光传感器之类的其他设备可以根据计算设备1100的特定的配置或设计由嵌入式控制器(未示出)控制。
86.本发明的许多特征可以使用或借助硬件、软件、固件或其组合执行。因此，本发明的特征可以使用处理系统(例如，包括一个或多个处理器)实现。示例性处理器可以非限制
性地包括一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
87.本发明的特征可以以计算机程序产品的形式、或者使用计算机程序产品、或者借助于计算机程序产品执行，计算机程序产品是具有存储在其上/内的指令的存储介质或计算机可读介质，这些指令可用于对处理系统进行编程以执行本文陈述的任何特征。存储介质可以包括但不限于：任何类型的盘，包括：软盘、光盘、dvd、cd
‑
rom、微型驱动器和磁光盘、rom、ram、eprom、eeprom、dram、vram、闪存设备、磁卡或光卡、纳米系统(包括分子存储器ic)或者适于存储指令和/或数据的任何类型的介质或设备。
88.存储在任何一个机器可读介质上的本发明的特征可以并入软件和/或固件中，用来对处理系统的硬件进行控制，并且用来使处理系统能够利用本发明的结果与其他机构进行交互。这样的软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。
89.本发明的特征例如还可以使用诸如专用集成电路(asic)和现场可编程门阵列(fpga)设备的硬件组件以硬件实现。实现硬件状态机以执行本文描述的功能对于相关领域的技术人员将是显而易见的。
90.此外，可以使用包括一个或多个处理器、存储器和/或根据本公开的教导编程的计算机可读存储介质在内的一个或多个常规通用或专用数字计算机、计算设备、机器或微处理器，来方便地实现本公开的实施例。编程技术人员可以根据本公开的教导容易地准备适当的软件编码，这对软件领域的技术人员将是显而易见的。
91.尽管上面已经描述了本发明的各实施例，但是应当理解，它们仅仅是作为示例而不是限制来提出的。本领域普通技术人员应该清楚的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
92.以上已经在功能构建块的辅助下描述了本发明，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义备选边界。因此任何这样的替代边界都在本发明的范围和精神之内。
93.已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是明显的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物限定。
94.在上述各个实施例中，除非以其他方式明确提出，否则诸如短语“a、b或c中的至少一个”之类的析取语言旨在被理解为，表示a、b或c或其任何组合(例如，a、b和/或c)。以这种方式，析取语言不旨在也不应被理解为暗示给定的实施例要求至少一个a、至少一个b或至少一个c均要存在。