轨迹分类的制作方法

轨迹分类
1.相关申请
2.本技术要求对2020年5月8日提交的题为“trajectory classificatio(轨迹分类)”的美国专利申请第16/870,083号和2020年5月8日提交的题为“trajectorys with intent(有意图的轨迹)”的美国专利申请第16/870,355号的优先权，其全部内容通过引用并入本文中。


背景技术：

3.自主和半自主车辆中的规划系统确定车辆在操作环境中采取的行动。车辆的行动可以部分地基于避开环境中存在的对象而确定。例如，可以生成让步于行人、改变车道以避开道路上的另一车辆的行动，或类似的行动。准确预测未来的行为(例如意图)可能是在对象附近安全运行所必须的，特别是在该行为可能基于车辆的选定行动而改变的情况下。
附图说明
4.详细说明参照所附附图来描述。在附图中，附图标记的最左边的(多个)数字表示该附图标记首次出现所在的附图。不同附图中的相同附图标记表示相似或相同的零部件或特征。
5.图1是环境中的自主车辆的图示，其中示例性机器学习模型可以处理环境的俯视表示，以确定环境的离散化表示。
6.图2是机器学习模型可用于实现本文所述技术的环境的示例性俯视表示。
7.图3是环境中的自主车辆的图示，其中示例性机器学习模型可以确定环境的离散化表示。
8.图4是由示例性机器学习模型输出的环境的示例性离散化表示。
9.图5是环境中的自主车辆的图示，其中示例性机器学习模型可以处理数据以确定轨迹或对象的意图。
10.图6是用于实施本文所述技术的示例系统的框图。
11.图7是描绘了用于使用不同模型确定预测轨迹和权重的示例过程的流程图。
12.图8是描绘了用于使用不同模型确定与轨迹或轨迹类型相关联的意图的示例过程的流程图。
具体实施方式
13.预测环境中对象的行为或意图可能影响自主车辆的潜在行动。在至少一些示例中，一些这样的意图可能响应于由车辆执行的行动而改变。环境中的对象的运动可能会迅速改变。
14.本技术描述了用于应用和/或训练模型以预测环境中对象的行为的技术。在一些示例中，这种行为可能包括意图，该意图可能指示对象在不久的将来的某个时刻可能采取的运动。例如，一个或多个机器学习模型可以处理与以图像格式表示的对象相关的数据，并
确定对象在未来某个时间可能采取的可能行动。在一些示例中，对象可能是行人，并且(多个)模型可以预测行人的(多个)轨迹和与预测轨迹相关联的(多个)权重。权重可以指示行人是否会到达目的地(例如人行横道)。在至少一些示例中，这种意图可以至少部分地基于将由车辆执行的行动。由(多个)模型确定的行人轨迹或权重可以在车辆规划期间被考虑，从而在车辆在环境中导航时，通过规划行人可能使用不同的轨迹以到达几个可能的目的地的可能性来提高车辆的安全性。
15.在一些示例中，计算设备可以实现机器学习模型，以预测可能使得对自主车辆的操作产生影响的对象(例如自行车、行人、另一车辆、动物等)的行为。例如，机器学习模型可以确定对象在未来时间在环境中遵循的轨迹(例如方向、速度和/或加速度)，以及基于该对象在未来时间处于目的地(例如人行横道、路段内、路段外等)的预测概率的权重。在这样的示例中，自主车辆的车辆计算机系统可以考虑来自机器学习模型的输出(例如轨迹和权重)，预测车辆的候选轨迹(使用相同或不同的模型)，从而通过向自主车辆提供候选轨迹，提高车辆的安全性，该候选轨迹能够安全地避开可能影响车辆操作的对象做出的潜在行为(例如与自主车辆的轨迹相交，使得自主车辆转弯或大力刹车等)的。
16.在一些示例中，机器学习模型可以预测与不同的可能目的地相关联的对象的几个不同的轨迹。通过举例而非限制的方式，在行人接近具有几个人行横道的交叉口的情况下，自主车辆可以实现机器学习模型以输出行人的第一轨迹和行人将到达第一人行横道的第一预测概率，以及输出行人的第二轨迹和行人将到达第二人行横道的第二预测概率。在这样的示例中，机器学习模型可以至少部分地基于第一预测概率来确定第一权重，并至少部分地基于第二预测概率来确定第二权重。例如，该模型可以确定第一权重，以指示在未来时间，行人有80％的概率进入第一人行横道，并确定第二权重，以指示行人有20％的概率进入第二人行横道。在各种示例中，机器学习模型可以将包括权重、轨迹和/或与目的地相关联的预测概率的信息发送到自主车辆的规划组件，该规划组件可以在规划考虑(例如轨迹确定、计算等)中使用该信息。
17.在一些示例中，编入代表环境的俯视图的图像格式的数据可被输入到机器学习模型。该数据可以包括从环境中的车辆的传感器捕获的或与环境中的车辆的传感器相关联的传感器数据和/或地图数据，以及可以被编码为俯视表示的任何其他数据源。机器学习模型可以使用数据来表示以下各项中的一项或多项：对象的属性(例如位置、速度、加速度、偏航等)、对象的历史(例如位置历史、速度历史等)、车辆的属性(例如速度、位置等)、人行横道许可、交通灯许可，等等。该数据可以在环境的俯视图中表示，以捕获车辆的环境(例如识别其他车辆和行人相对于车辆的行动)。数据所代表的环境的俯视图也可以通过提供更多关于行人周围环境的信息，如另一个行人是否阻挡了该行人的路径，来改善对行人或其他对象可能与之相关联的方向和/或目的地的预测(例如面向和/或朝向)。
18.在一些实例中，包括与对象相关联的预测轨迹(或多个轨迹)和与预测轨迹相关联的权重(或多个权重)的来自机器学习模型(例如第一模型)的输出可以被发送到被配置为确定与对象相关联的轨迹的意图的另一个机器学习模型(例如第二模型)。例如，额外的模型可以接收轨迹和权重作为输入，并确定对象和轨迹的意图(例如可能的目的地)，并且在一些实例中，可以将该意图与对象的轨迹相关联。在各种示例中，这种意图可以代表对象的未来(或预期)行为的类别，例如但不限于继续直行、右转、左转、穿过人行横道等。
19.在一些示例中，机器学习模型可以接收数据作为输入并提供包括环境的一部分的离散化表示的输出。在一些情况下，离散化表示的一部分(例如网格)可以被称为离散表示的单元。每个单元可以包括预测概率，该预测概率代表对象在与离散化表示对应的时间在环境中的相应位置的概率。在一些示例中，单元的位置可以与环境中的目的地相关联。在一些实例中，机器学习模型可以输出多个预测概率，这些预测概率可以表示在未来某一特定时间(例如0.5秒、1秒、3秒、5秒、10秒等)与该对象和一个或多个目的地相关联的概率预测。在一些示例中，机器学习模型输出的离散化表示可以被另一个模型或计算设备用来确定对象的权重和/或轨迹。
20.在各种实例中，离散化表示的单元可以与对象在未来时间的位置的分类概率相关联。例如，该单元可以指示对象在未来时间处于离散化表示中的位置(例如是/否)的概率。在一些示例中，该位置表示可以至少部分地基于对象在未来时间之前的先前时间的先前位置的偏移。也就是说，在一些示例中，偏移可以表示对象在未来可能从离散化表示的起始单元行进到结束单元的方向和距离。关于离散化表示的其他细节包含在图3和图4以及其他地方。
21.在一些示例中，机器学习模型可以至少部分地基于离散化表示和分类概率，确定与对象相关联的预测轨迹和与预测轨迹相关联的权重。例如,预测轨迹可以基于一段时期内通过一个或多个单元的路径。预测轨迹例如可以指示对象在未来最可能采取的距离、方向、速度和/或加速度。在一些示例中，预测轨迹可以至少部分地基于对对象在第一时间的位置和与在第二时间的分类概率相关联的位置进行插值。由模型确定的权重可以指示预测轨迹被对象用来到达目的地(例如道路、人行横道、人行道等)的可能性。例如，权重可以由模型至少部分地基于分类概率(例如行人将进入人行横道或道路)来确定。在至少一些这样的示例中，多个轨迹可以代表通过具有最高可能性的网格单元的路径。
22.在一些示例中，机器学习模型可以接收地图数据并基于地图数据确定离散化表示中的单元的位置与环境中的语义目的地(例如环境中的可分类区域或目的地，比如人行横道、人行道、路段等等)相关联。例如，第一单元的位置可能与人行横道(例如第一语义目的地)相关，而第二单元的位置可能与道路(例如第二语义目的地)相关。在一些示例中，机器学习模型可以至少部分地基于对象在位置上的预测概率，以及位置与语义目的地相关联，确定预测轨迹的权重。因此，预测轨迹的权重可以代表预测轨迹被用来使对象到达特定目的地的可能性有多大。
23.在一些示例中，模型可以基于对象在离散化表示中的未来位置和与未来位置相关联的一个或多个单元之间的交集确定对象的预测轨迹。在一些示例中，对象的位置可以在一段时间内与多个单元相交和/或重叠，并在代表未来时间(例如未来2-4秒)的单元结束。在一些示例中，机器学习模型可以确定未来时间处的单元的位置与目的地(例如人行横道、道路等)有关联。例如，离散化表示中的位置可以通过识别地图数据中与相应单元的至少一部分重叠的目的地，与环境中的目的地相关联。
24.在一些示例中，当单元的区域包括一个以上的目的地时，机器学习模型可以确定第一目的地的分数和第二目的地的分数，并比较分数(例如最高分数)以将第一目的地或第二目的地中的一个指定为与单元相关联的目的地。在其他示例中，机器学习模型可以为第一目的地和第二目的地中的每一个确定权重，并将与单元相关联的加权目的地信息发送到
自主车辆，供规划者考虑。当自主车辆确定候选轨迹以相对于该对象安全导航时，这为自主车辆提供了该对象的多个可能目的地(以及相关联的可能性)的改进细节。
25.在各种示例中，车辆计算系统可以接收代表来自一个或多个模型的(多个)输出的一个或多个指令。车辆计算系统例如可以将来自一个或多个指令的指令发送到车辆的为车辆规划轨迹的规划组件和/或发送到车辆的处理传感器数据的感知组件。额外地或替代地，来自一个或多个模型的(多个)输出可由与车辆计算系统远程的一个或多个计算设备，用于训练机器学习模型。
26.车辆计算系统可以被配置为确定每个被检测对象的初始位置。在各种示例中，车辆计算系统的预测组件(例如预测对象的行为的模型)可以确定与每个检测到的对象相关联的一个或多个预测轨迹，例如根据与之相关联的初始位置。在一些示例中，一个或多个预测轨迹可以基于传感器数据和/或模型的(多个)输出来确定。每个预测轨迹可以代表检测到的对象可能穿过环境的潜在路径。一个或多个预测轨迹可以基于被动预测(例如独立于车辆和/或另一对象在环境中采取的行动，对车辆和/或其他对象的行动基本上没有反应等)、主动预测(例如基于对车辆和/或环境中的另一对象的行动的反应)，或其组合。在这样的示例中，一个或多个预测轨迹可以基于根据传感器数据确定的初始速度和/或行驶方向。在一些示例中，一个或多个预测轨迹可以利用机器学习技术来确定。在2017年6月23日提交的题为“trajectory generation and execution architecture(轨迹生成和执行架构)”的美国专利申请第15/632,608号中描述了生成轨迹以控制车辆的其他细节，该申请通过引用而纳入本文。评估与各种轨迹相关联的风险的其他细节在2018年11月30日提交的题为“probabilistic risk for trajectory evaluation(轨迹评估的概率风险)”的美国专利申请第16/606,877号中描述，该申请通过引用并入本文。在2019年3月12日提交的题为“motion prediction based on appearance(基于外观的运动预测)”的、序列号为16/282,201的美国专利申请中描述了通过最小化实际和预测位置和/或预测轨迹之间的差异来训练基于存储的传感器数据的机器学习模型的其他细节，该申请通过引用而纳入本文。
27.在各种示例中，车辆计算系统可以被配置为基于由一个或多个模型确定的预测轨迹、意图、轨迹类型和/或权重，确定在操作时要采取的行动(例如用于控制车辆的轨迹)。这些行动可以包括参考行动(例如车辆被配置为对动态操作环境作出反应而执行的机动动作组之一)，例如向右变道、向左变道、留在车道上、绕过障碍物(例如并排停车车辆、一群行人等)，或类似行动。行动还可以包括子行动，如速度变化(例如保持速度、加速、减速等)、位置变化(例如改变车道上的位置)，或类似的行动。例如，行动可以包括停留在车道上(行动)，并将车辆在车道上的位置从中心位置调整为在车道的左侧操作(子行动)。
28.在各种示例中，车辆计算系统可以被配置为确定适用于环境中的车辆的参考行动和/或子行动。例如，向人行横道行进的行人将被预测为与远离道路的行人、或与在人行横道外穿越道路的行人的行为不同。另一个示例，道路上的行人可能与道路外的行人、或在人行横道外穿越马路的行人的行为不同。在另一个非限制性的示例中，沿路行驶的自行车手与向人行横道或在人行横道内行驶的自行车手的预测方式不同。
29.对于每个适用的行动和子行动，车辆计算系统可以实现不同的模型和/或组件，以通过将车辆和相关(多个)对象投影在环境中一段时间(例如5秒、8秒、12秒等)来模拟未来状态(例如估计状态)。模型可以基于与之相关联的预测轨迹，来投影(多个)对象(例如估计
(多个)对象的未来位置)。例如，模型可以预测行人的轨迹，并预测指示该轨迹是否将被对象用来到达目的地的权重。车辆计算系统可以基于与行动相关联的车辆轨迹对车辆投影(例如估计车辆的未来位置)。估计的(多个)状态可以代表车辆的估计位置(例如估计地点)和相关(多个)对象在未来某个时间的估计位置。在一些示例中，车辆计算系统可以确定(多个)估计状态中的车辆与(多个)对象之间的相对数据。在这样的示例中，相对数据可以包括车辆和对象之间的距离、位置、速度、行驶方向和/或其他因素。在各种示例中，车辆计算系统可以以预先确定的速率(例如10赫兹、20赫兹、50赫兹等)确定估计状态。在至少一个示例中，估计状态可以以10赫兹的速率执行(例如在8秒的时间段内有80个估计意图)。
30.在各种示例中，车辆计算系统可以存储与对象在估计状态集结束时(例如时间段结束时)的实际位置相关联的传感器数据，并将该数据用作训练数据来训练一个或多个模型。例如，存储的传感器数据可以由模型检索，并作为输入数据来识别对象的线索(例如识别对象的特征、属性或姿势)。这样的训练数据可以基于手动注释和/或通过确定对象的位置的相关联的语义信息的变化来确定。作为非限制性的示例，如果对象在一个时间点上位于地图上被标记为人行道的部分，而在后来的某个时间点上位于可驾驶表面的部分，那么在这些时间段之间相关联的并且与该对象相关联的数据可以被标记为乱穿马路的实例，而不需要人工注释。此外，在这样的时间段内与对象相关联的检测到的位置可被用来确定与对象相关联的地面真实轨迹。在一些示例中，车辆计算系统可以将数据提供给远程计算设备(即，与车辆计算系统分开的计算设备)以进行数据分析。在这样的示例中，远程计算系统可以分析传感器数据，以确定图像的一个或多个标签、实际位置、速度、行进方向，或在估计状态集结束时对象的类似情况。在一些这样的示例中(例如确定行人的意图的示例)，可以确定在日志的过程中取向的地面真实位置(要么手工标记，要么由另一个机器学习模型确定)，并且这种地面真实位置可用于确定行人的实际意图(例如行人是否保持站立、穿过道路、开始/继续跑步、开始/继续行走等)。在一些示例中，相应的数据可被输入模型以确定输出(例如意图、轨迹、权重等)，而确定的输出和对象做出的实际行动之间的差异可以被用来训练模型。
31.本文讨论的技术可以以多种方式改善车辆计算系统的功能。车辆计算系统可以基于数据所代表的对象的确定的意图、轨迹和/或轨迹类型，确定自主车辆要采取的行动。在一些示例中，使用本文所述的行为预测技术，模型可以输出对象轨迹和相关联的权重，通过与以前的模型相比，以更高的粒度和细节准确地描述对象的运动，改善车辆的安全操作。
32.本文讨论的技术还可以以多种其他方式改善计算设备的功能。在一些情况下，将环境和环境中的(多个)对象表示为俯视图可以代表环境的简化表示，以便生成(多个)预测概率和/或在候选行动之间进行选择。在一些情况下，俯视图表示可以在不提取环境的特定特征的情况下表示环境，这可以简化预测系统的生成和随后的至少一个预测轨迹、意图或权重的生成。在一些情况下，通过(多个)模型评估输出可使自主车辆生成更准确和/或更安全的轨迹，以便自主车辆穿越环境。例如，可以评估与第一候选行动相关联的预测概率，以确定碰撞或接近碰撞的可能性，并可能允许自主车辆选择或确定另一个候选行动(例如改变车道、停止等)，以便安全地穿越环境。在本文所述的至少一些示例中，除了有意图的行动之外，基于对环境的俯视编码的预测可以最小化(改善)与对象相关联的概率分布函数的扩散，得到更安全的系统决策。本文讨论了对计算机功能的这些和其他改进。
33.本文描述的技术可以以多种方式实施。下面参照以下附图提供示例性实施方式。尽管在自主车辆的背景下进行了讨论，但本文描述的方法、装置和系统可以应用于各种系统(例如手动驱动的车辆、传感器系统或机器人平台)，并且不限于自主车辆。在另一示例中，这些技术可以在航空或航海背景下使用，或在任何使用机器视觉的系统中使用(例如在使用以图像格式表示的数据的系统中)。虽然在确定行人和自行车的意图方面给出了示例，但这里描述的技术也适用于确定环境中其他对象(例如车辆、滑板手、动物等)的属性。
34.图1是环境100中的自主车辆(车辆102)的图示，其中示例性机器学习模型可以处理环境的俯视表示，以确定环境的离散化表示。虽然图1描述的是自主车辆，但在一些示例中，本文描述的行为预测技术可以由其他车辆系统、组件和/或远程计算设备实现。例如，并且正如将就图6进一步详细描述的那样，本文描述的行为预测技术可以至少部分地由模型组件630和/或规划组件624实施或与之相关联。
35.在各种示例中，车辆102的车辆计算系统可以被配置为检测环境100中的对象104，例如通过感知组件(例如感知组件622)。在一些示例中，车辆计算系统可以基于从一个或多个传感器接收的传感器数据来检测对象104。在一些示例中，(多个)传感器可以包括安装在车辆102上的传感器，并且包括但不限于超声波传感器、雷达传感器、光探测和测距(lidar)传感器、照相机、麦克风、惯性传感器(例如惯性测量单元、加速度计、陀螺仪等)、全球定位卫星(gps)传感器等等。在一些示例中，(多个)传感器可以包括一个或多个远程传感器，例如安装在另一个自主车辆上的传感器，和/或安装在环境100中的传感器。
36.在各种示例中，车辆102可以被配置为传输和/或接收来自其他自主车辆和/或远程传感器的数据。数据可以包括传感器数据，例如关于在环境100中检测到的对象104的数据。在各种示例中，环境100可以包括用于交通监测、避开碰撞或类似情况的远程传感器。在一些示例中，远程传感器可以安装在环境中，以便在能见度降低的区域(例如，在盲或半盲的交叉路口)提供额外的能见度。例如，环境100中的交叉口可以被确定为具有盲交叉口，其中接近的车辆可能无法察觉对象104和/或从交叉道路上的左侧或右侧接近的其他车辆。因此，环境中的交叉口可以包括传感器，以向接近的车辆102提供关于对象104(例如，接近路口的行人)的传感器数据。
37.在各种示例中，车辆计算系统可以接收传感器数据并且可以确定对象104的类型(例如对对象的类型进行分类)，例如对象104是否是汽车、卡车、摩托车、轻便摩托车、自行车手、行人，例如对象104，或者类似物。在一些示例中，对象类型可以被输入到模型中，以提供对象行为预测。
38.图1还将环境100描绘为包括人行横道106a和106b。在一些示例中，可以应用机器学习模型108(例如模型108)来预测行人104在未来的时间是否会走向人行横道106a或人行横道106b和/或在其中。在一些示例中，机器学习模型108可以针对行人确定不同的行为预测，例如确定预测轨迹110a和预测轨迹110b。模型108例如可以至少部分地基于接收代表俯视表示112的输入数据和输出环境100的离散化表示114来确定预测轨迹110a和110b。车辆102的车辆计算系统可以使用预测轨迹110a和110b来推断行人的意图(例如行人是否可以接近环境100中的目的地)。由车辆102确定的行人轨迹和/或意图可以在车辆规划(例如规划组件624)期间被考虑，从而在车辆在环境中导航时改善车辆的安全性。
39.一般来说，俯视表示112可以表示车辆102周围的区域。在一些示例中，区域可以至
少部分地基于传感器可见的区域(例如传感器范围)、滚动时域、与行动相关联的区域(例如穿越交叉口)等。在一些示例中，俯视表示112可以代表车辆102周围100米
×
100米的区域，尽管任何区域都是可以考虑的。机器学习模型108可以从感知组件622接收关于环境中对象的数据，并可以从定位组件620、感知组件622和一个或多个地图628接收关于环境本身的数据。模型108可以生成环境的俯视图，包括环境中的对象(例如由本文讨论的边界框表示)、关于对象的语义信息(例如分类类型)、运动信息(例如速度信息、加速度信息等)等。
40.在各种示例中，环境100的俯视表示112可以代表环境的俯视视角，并且可以包括一个或多个多通道图像，例如第一通道116、第二通道118和第三通道120。车辆计算系统可以生成或确定(多个)多通道图像，以便用不同的通道图像代表环境的不同属性。例如，图像具有多通道，其中每个通道代表一些信息(语义或其他)。一般来说，通道图像116、118和120之一可以代表对象位置、对象速度、对象加速度、对象偏航、对象的属性、人行横道许可(例如人行横道灯或音频状态)和交通灯允许性(例如交通灯状态)，仅举几例。生成或确定(多个)多通道图像的示例在美国专利申请第16/151,607号中讨论，其题为“trajectory prediction on top-down scenes(俯视场景的轨迹预测)”并于2018年10月4日提交。申请号为16/151,607的文献的全部内容通过引用并入本文。俯视表示112的细节将在图2和其他地方讨论。
41.在一些示例中，第一通道116可以表示环境中的自主车辆102和/或对象104的边界框、位置、范围(例如长度和宽度)等。在一些示例中，第二通道118可以表示人行横道许可信息(例如基于可用空间和/或信号的占用人行横道的许可)。例如，第二通道118可以说明可供行人在人行横道上行走的区域，以及该区域是否与表示允许行人进入人行横道的当前人行横道信号有关联。在一些示例中，第三通道120可以代表额外的对象数据或车辆数据，在这种情况下，其对应于与对象104相关联的速度信息122(例如v1)和方向信息124(例如d1)。在一些示例中，速度信息122可以包括瞬时速度、平均速度等。在一些示例中，方向信息124可以包括瞬时方向、平均方向等。尽管在速度的背景中讨论过，但速度信息122可以表示与加速度相关联的信息(例如行动的平均值，与行动相关联的最大加速度，等等)，与另一对象或车辆的(多个)距离，等等。
42.在一些示例中，环境100的离散化表示114可以代表与时间相关联的网格。例如，离散化表示114可以代表21
×
21的网格(或j
×
k尺寸的网格)，代表行人104周围25米乘25米的区域(或其他尺寸的区域)。在一些示例中，离散化表示114可以具有中心，其包括第一时间时的行人104，并且可以随着行人104从初始位置移动而在时间上有所进展。离散化表示114的细节将结合图3和图4以及其他地方讨论。
43.在一些示例中，离散化表示114包括多个单元，例如单元126和单元128。每个单元可以包括行人104在未来(例如第一时间后的第二时间)将在该单元的位置处的概率。例如并且如下面更详细地解释的那样，模型108可以确定单元126与人行横道106a相关联，并且单元128与人行横道106b相关联，并且至少部分地基于与各自单元位置相关联的概率输出预测轨迹110a和110b。在一些示例中，单元126和单元128与各自的位置相关联，该各自的位置基于对象在未来时间之前的先前时间的位置，表示与对象104在第一时间的第一位置的偏移(例如在图1中显示为阴影单元)。例如，在图1中，单元的阴影可以表示行人从当前位置到离散化表示114中的位置的可能路径，例如单元126，它与目的地、人行横道106a相关联。
44.在一些示例中，预测轨迹110a和110b可以由模型108至少部分地基于对对象104在第一时间的位置和与第二时间的概率相关联的位置进行插值来确定。例如，模型108可以对在离散化表示114的不同区域上在不同时间处的对象104的位置进行插值。
45.在一些情况下，机器学习模型108可以输出多个离散化表示，其中多个离散化表示的离散化表示可以表示与在未来的特定时间(例如0.5秒、1秒、3秒、5秒、10秒等)处的对象相关联的概率预测。
46.在一些示例中，模型108可以确定权重(例如概率)以指示行人104是否将使用预测轨迹110a或预测轨迹110b。确定权重的细节在图3和其他地方讨论。模型108可以将预测轨迹和相关联的权重发送到将确定行人104的意图的额外模型。然而，在一些示例中，由额外模型提供的功能可以由模型108执行。用于确定行人104的意图的模型的细节将结合图5和其他地方讨论。
47.在各种示例中，车辆计算系统的规划组件和/或感知组件可以基于来自模型108和/或附加模型中的一个或多个的输出(例如意图、预测轨迹、权重等)为自主车辆确定一个或多个候选轨迹。在一些示例中，候选轨迹可以包括车辆102可以从当前位置(例如在感知时)和/或基于行驶方向行驶的任何数量的潜在路径。在一些示例中，行人104之一的潜在路径可以包括保持静止。在这样的示例中，相对应的轨迹可能代表很少或没有运动。在一些示例中，轨迹的数量可以取决于各种因素而变化，各种因素例如对象的分类(例如对象的类型)、其他静止和/或动态对象、可驾驶的表面等。在一些示例中，一个或多个候选轨迹可以利用机器学习技术来确定。
48.图2是机器学习模型可用于实现本文所述技术的环境的示例俯视表示。在至少一个示例中，车辆102的车辆计算系统可以实现机器学习模型108，以处理代表环境的俯视表示112的数据。以这种方式，与不使用俯视图的方法相比，模型108可以使用数据来更好地捕获车辆102的背景环境。
49.如上所述，俯视表示112包括多通道图像，包括第一通道116、第二通道118、和第三通道120。如图2所示，俯视表示112进一步包括第四通道204，第五通道206，和第六通道208。
50.在一些示例中，第四通道204可以表示交通灯允许性信息(例如显示允许与其他车辆和行人一起进入交叉口的交通灯状态)，其与交通信息210(例如t1)相对应。在一些示例中，多个交通灯或交通信号可与第四通道相关联，从而第四通道204可包括环境中每个交通灯或信号的额外交通信息。在一些示例中，交通信息210可以由模型108结合第二通道118的人行横道许可使用，以在不仅给定人行横道信号或灯、而且给定交通灯的情况下(例如了解汽车相对于人行横道是否有路权)，确定人行横道何时可以通行。
51.在一些示例中，第五通道206可以表示对象104的取向(例如侧倾、俯仰、偏航)，其对应于取向信息212(例如o1)。在一些示例中，第六通道208可以表示对象的属性(例如像跑步、走路、蹲下的对象行动、对象位置历史、对象速度历史、对象方向历史等等)，其对应于属性信息214(例如a1)。在一些示例中，对象的属性可以包括相对于环境的特定区域的历史行为。对象属性可以由实现一个或多个模型的车辆计算系统确定，并且可以包括以下各项中的一项或多项：对象的行动、位置或子分类。例如，对象104的属性可以包括行人看设备、看车辆102、坐、走、跑、进入车辆、离开车辆等等。在一些示例中，属性信息214可以包括对象类型，如行人、车辆、轻便摩托车、自行车等等。
52.在一些示例中，俯视表示112的额外通道可以表示车辆102的可驾驶表面、天气特征和/或环境特征。
53.数据所代表的环境的俯视表示112也可以通过提供更多关于行人的周围环境的信息(如，另一个行人是否阻挡了该行人的路径)，来改善关于方向和/或目的地的预测，该方向和/或目的地可能与行人或其他对象相关联(例如面向和/或朝向)。例如，通过包括第三通道120，速度信息122和方向信息124可以由模型108处理。
54.在一些示例中，对模型108的输入可以包括与车辆的传感器数据中表示的对象的单个图像或裁剪的图像帧相关联的数据。随着车辆在环境中导航，针对不同的时间捕获额外图像并将该额外图像作为输入提供给机器学习模型108。在一些示例中，图像帧可以被裁剪成相同的比例，从而当每个图像被包括在模型108的输入中时，每个图像包括相同的尺寸(相同的长宽比等)。
55.图3是环境300中的示例性自主车辆(车辆102)的图示，其中示例性机器学习模型可以确定环境的离散化表示。在至少一个示例中，车辆102的车辆计算系统可以实现机器学习模型108以输出环境300的离散化表示114。
56.如上所述，在一些示例中，离散化表示114包括多个单元，例如单元126和128，这些单元包括行人104将在未来时间在单元的各自位置的各自概率。如图3所示，模型108可以确定预测轨迹110a和权重302a(例如第一权重)以指示行人104是否将穿越对应于单元128的位置，并且确定预测轨迹110b和权重302b(例如第二权重)以指示行人104是否将穿越对应于单元126的位置。在一些示例中，车辆102的车辆计算系统可以基于从模型108接收离散化表示114来确定行人104的轨迹和/或权重。
57.在一些示例中，离散化表示114中的单元的位置可以代表偏移(例如对对象在未来时间的位置的预测)。例如，离散化表示114可以使偏移技术能够确定行人104在例如未来4秒时的位置，并确定从当前时间的当前位置到未来时间的与单元相关联的位置的偏移。在这样的示例中，模型108(或车辆计算系统的其他组件)可以至少部分地基于偏移确定内部点或路径点。通过使用偏移技术了解对象的目的地，模型108可以提供预测轨迹以用于车辆规划。在一些示例中，预测轨迹(例如110a或110b)不仅可以识别到单元的位置的方向，还可以基于离散化表示114识别到该单元的距离。
58.在一些示例中，预测轨迹110a和110b可以由模型108至少部分地基于对行人104在第一时间的位置和与在第二时间的概率相关联的位置(例如单元126或单元128的位置)进行插值来确定。例如，模型108可以在离散化表示114的不同区域对行人104在不同时间的位置进行插值，并基于插值确定一个或多个预测轨迹。在这样的示例中，插值可以包括估计来自行人104在一个时间段内的位置变化的数据点集。在一些示例中，模型108可以实现线性插值算法以确定预测轨迹。
59.在一些示例中，第一权重或第二权重可以至少部分地基于与一个或多个单元相关联的概率的聚合来确定。例如，每个单元与预测轨迹110a重叠或相交的概率(例如分类概率)可被组合以确定权重302a。在一些示例中，模型108可以至少部分地基于每个单元与对象的预测轨迹重叠或相交的概率的平均值确定第一权重或第二权重。在各种示例中，基于与对象相关联的像素在单元的横向边界的阈值范围内，单元可以被认为与各自的轨迹重叠或相交。
60.通过举例而非限制的方式，权重302a可以包括60％的数值，而权重302b可以包括40％的数值。因此，行人104具有60％的可能性使用预测轨迹110a到达单元126，以及40％的可能性使用预测轨迹110b到达单元128。由模型108输出的轨迹和权重可以被发送到车辆102的规划组件，以用于规划者的考虑(例如确定车辆102做出的行动)。
61.在一些示例中，模型108可以确定单元128的位置与人行横道106b相关联，并且单元126与人行横道106a相关联。例如，模型108可以接收地图数据和/或传感器数据并确定与单元128和单元126的位置相关联的语义目的地。
62.在各种示例中，车辆计算系统可以存储与对象的实际位置相关联的传感器数据，并将该数据作为训练数据来训练模型108。例如，存储的传感器数据可以由模型108检索，并被用作输入数据以识别对象的线索(例如识别对象的特征、属性或姿势)。在一些示例中，车辆计算系统可以将数据提供给远程计算设备(例如与车辆计算系统分开的计算设备)以进行数据分析。在这样的示例中，远程计算系统可以分析传感器数据以确定图像的一个或多个标签、对象的实际位置、速度、行进方向等。在一些这样的示例中(例如确定行人的意图的示例)，可以确定在日志过程中取向的地面真实位置(或为手工标记，或为由另一个机器学习模型确定)，并且这种地面真实位置可用于确定行人的实际意图(例如行人是否保持站立、穿过道路、开始/继续跑步、开始/继续行走等等)。在一些示例中，相对应的数据可以被输入模型以确定输出(例如意图、轨迹、权重等)，而确定的输出和对象做出的实际行动之间的差异可以用来训练模型。
63.图4描绘了由示例性机器学习模型输出的环境的示例性离散化表示。在至少一个示例中，车辆102的车辆计算系统可以实现机器学习模型108，以在第一时间，tl，输出环境300的离散化表示412，并在第一时间tl之后的第二时间，t2，输出环境300的离散化表示414。
64.在图4的示例中，离散化表示412包括车辆102的位置、行人104的位置，以及行人在时间tl分别到达人行横道106a和106b的加权轨迹416a和416b。加权轨迹416a表示预测轨迹110a和权重302a。因此，加权轨迹416a表示行人104的方向、行人104的加速度、行人104在第二时间到达第一目的地(例如人行横道106a)的第一可能性，以及行人104在第二时间到达第二目的地(例如人行横道106b)的第二可能性。作为示例，加权轨迹416a和加权轨迹416b与数值0.5相关联(除了数字值之外，还考虑了其他表示概率的数值、符号和表达方式)，以指示行人具有使用加权轨迹416a或加权轨迹416b的同等概率。例如，加权轨迹416a和加权轨迹416b可以与相对优先级(例如低、中、高)和/或其他优先级(例如第一、第二、第三等等)相关联。关于加权轨迹416a和416b的信息可以由模型108发送至车辆102的车辆计算系统，供规划者考虑。
65.如图4所示，离散化表示414包括车辆102在时间t2的位置与时间t1的位置不同，以表示车辆改变了位置。例如，车辆计算系统可以接收对应于时间t2的额外输入数据，并确定离散化表示414以表示行人104和环境中其他对象的位置变化。在一些示例中，模型108确定行人在时间t2分别到达人行横道106a和106b的加权轨迹418a和418b。加权轨迹418a和418b可以代表行人104在时间t2的新的预测轨迹和相关联的权重。举例来说，加权轨迹418a表示行人104具有0.7的权重到达人行横道106a，这并不奇怪，因为考虑到车辆已经移动更靠近行人104(不一定需要已经移动)并处理新的输入数据以进行更准确的轨迹预测(与先前时
间相比)。如图4所示，加权轨迹418b与数值0.3相关联，以指示行人到达人行横道106b的概率比到达人行横道106a低。
66.在一些情况下，机器学习模型108可以输出多个加权轨迹，其可以表示与在未来的特定时间(例如0.5秒、1秒、3秒、5秒、l0秒等)处的对象和一个或多个目的地相关联的概率预测。在这种情况下，离散化表示414可以确定未来某一时间(例如，2秒)的加权轨迹418a和418b。
67.在一些示例中，时间t1和时间t2之间的时间段可以变化，并且可以代表以5hz(5帧输入)的1秒间隔。
68.图5是环境500中的自主车辆的图示，其中示例性机器学习模型可以处理数据以确定轨迹、轨迹类型或对象的意图。车辆102可以包括机器学习模型502，其被配置为确定环境500中对象的意图。虽然被描述为单独的机器学习模型，但在一些示例中，本文描述的行为预测技术可以由其他车辆系统、组件和/或计算设备实现。例如，本文描述的行为预测技术可以至少部分地由车辆计算系统604的模型组件630和/或规划组件624实现或与之相关联。
69.在一些实例中，机器学习模型502(例如模型502)可以接收轨迹和权重作为输入，例如从模型108接收，并且进一步接收输入数据，该输入数据包括代表环境500的一个或多个特征(例如目的地、道路、对象等)的地图数据。在一些示例中，来自第一模型的多个轨迹和权重可以被模型502接收用于处理。
70.在一些示例中，模型502可以从车辆计算系统的规划组件接收轨迹和权重。例如，规划组件可以发送候选轨迹，以及指示候选轨迹被车辆102使用的可能性的权重。在一些示例中，来自规划组件的轨迹可以至少部分地基于回归技术(例如估计或测量两个或多个变量之间的关系的技术)。在一些示例中，模型502可以至少部分地基于权重来输出候选轨迹的意图，并向车辆102发送输出的指示。使用回归技术生成轨迹的其他细节在2019年3月25日提交的题为“pedestrian prediction based on attributes(基于属性的行人预测)”的美国专利申请第16/363,541号中描述，其通过引用并入本文。
71.在一些示例中，模型502可以从规划组件接收轨迹和权重，并且还从模型108接收轨迹和权重，并且确定一个或多个意图以与从规划组件和/或模型108接收的一个或多个轨迹相关联。在各种示例中，来自规划组件的轨迹(例如，第一轨迹)可以与不同的语义目的地相关联，该语义目的地不是与第二轨迹相关联的语义目的地。在一些示例中，第一语义目的地可以包括车辆102的环境中的第一区域，而第二语义目的地可以包括车辆102的环境中的第二区域。在一些示例中，来自模型108的轨迹可以至少部分地基于分类技术(例如将输入映射到类或类别的技术)确定。通过由模型108基于分类技术确定轨迹，相对于一些非分类方法，可以作出减少不准确的轨迹(例如重叠至共同的轨迹)的确定。在一些示例中，模型包括机器学习模型，其进一步包括unet构架和softmax激活输出。例如，unet构架可以提高由模型502做出的输出的分辨率，特别是在接收来自两个或多个来源的两个或多个输入(例如来自第一模型的预测轨迹和来自第二模型的候选轨迹)并希望有类似分辨率的输出时。
72.在一些示例中，模型502可以接收由车辆计算系统检测的对象和/或对象类型的指示。例如，车辆计算系统可以向模型502提供数据，该数据指示对象是行人(例如行人510、520、524、526和528)、自行车(例如自行车手508和512)、车辆、动物等，并且在一些情况下，此外或替代地，指示加权的对象类型(例如，对象是行人的概率为80％，以及是自行车的概
率为20％)。
73.在一些示例中，模型502可以处理地图数据以确定环境500中与接收的轨迹相关联的一个或多个目的地，例如人行横道504和514。在一些示例中，目的地可以包括以下各项中的任何一个：道路、人行道、自行车道、路段、人行横道、建筑物、公共汽车道等等。例如，模型可用于确定对象(如，沿道路行驶的公共汽车)是否会在未来的某个时间停靠在公共汽车道上，或保持在道路上但不停靠在公共汽车道上(例如与道路相邻的车道，以到达乘客处)。
74.在一些示例中，模型502可以至少部分地基于与轨迹相关联的目的地来确定与轨迹相关联的意图。例如，基于确定的目的地，模型502可以输出指示轨迹的意图的数据。例如，由模型502确定的一个或多个意图可以与模型502输出的轨迹和/或轨迹类型相关联。例如，模型可以基于指示路段的地图数据确定对象相对于道路的位置，并使用该位置来将轨迹类型确定为以下项中的至少一项：道路轨迹类型或自由形态轨迹类型。例如，道路轨迹类型可以基于对象的位置在路段内(由地图数据确定的)、道路的阈值距离(例如车道的边界)与对象相关联。在一些示例中，自由形态轨迹类型可以与能够独立于道路几何形状(例如在路段内、在路段外或与路段的阈值距离)移动的对象相关联。对象意图可以根据该对象相对于道路边界的位置而变化。在一些示例中，当在道路上时，行人可以具有自由形态轨迹而不是道路轨迹(例如由于没有达到速度阈值)，以便给模型502更多的灵活性来预测行人远离道路的运动(例如与可能限制预测的道路轨迹相比，预测行人可能移动的更多可能方向，例如行人将朝远离道路的方向走)。
75.在一些示例中，模型502可以至少部分地基于对象与环境中的区域的接近程度来确定环境中的对象的意图。例如，可以基于对象不是车辆并且在诸如道路的区域内，来确定乱穿马路意图。在另一个说明性的示例中，区域可以对应于人行横道、人行道、自行车道等。在一些示例中，环境中的区域可以包括与代表环境的地图数据相关联的路段。
76.一般来说，模型502可以确定对象是否打算进入人行横道(例如，人行横道意图)、在人行横道外和道路中行进(例如乱穿马路意图)，和/或在人行横道外和道路外行进(例如离开道路意图)。例如，模型可以确定，意图包括以下项中的至少一项：自主车辆的环境中的对象沿路段行进的意图，对象在路段的附近之外行进的意图，对象在人行横道内行进的意图，或者对象在人行横道的边界之外行进的意图。
77.在各种示例中，机器学习模型502可以将对象的意图与轨迹类型相关联。通过举例而非限制的方式，自行车手508可以与道路轨迹516相关联，并且自行车手512可以与具有人行横道意图518的道路轨迹相关联。图5还描绘了机器学习模型502可以将行人510(或行人的轨迹)与具有人行横道意图506的自由形态轨迹关联，将行人520与具有离开道路意图的自由形态轨迹关联，以及将行人524、526和528与具有乱穿马路意图530的自由形态轨迹关联。
78.在一些示例中，模型502可以将对象(或对象的轨迹)与多个意图相关联，并且输出与该对象或轨迹的每个意图相关联的权重。例如，行人520可以有具有离开道路意图522的自由形态轨迹，并且为了说明目的，权重为0.9，以表示行人具有离开道路意图的概率为90％。在此，模型502还可以输出指示，该指示为行人520的自由形态轨迹的权重为0.1，以表示行人520具有乱穿马路意图的概率为10％(例如行人520改变方向并进入道路)。相应地，模型502输出的加权意图可以与对象或轨迹相关联。
79.模型502还可以或替代地被配置为确定出口路口532的轨迹(例如道路和另一地点(例如人行横道)之间的变化)。例如，模型502(或另一个模型)被配置为接收轨迹作为输入，并输出特定于出口路口532的轨迹(例如与意图相关联的目的地的终点)。如图5所示，模型502(或另一模型)可被配置为接收轨迹作为输入并针对自行车手512输出特定于出口路口532的轨迹，用于当自行车手512在离开人行横道514后在未来时间返回到道路上。
80.在一些示例中，车辆计算系统可以确定与第一轨迹相关联的第一权重或与第二轨迹相关联的第二权重中的一个高于第一权重和第二权重中的另一个。例如，第一轨迹可以与来自规划组件的候选轨迹相关联，而第二轨迹可以与来自模型108的预测轨迹相关联。在一些示例中，车辆计算系统可以执行以下各项中的至少一项：响应于确定第一权重高于第二权重，至少部分地基于第一轨迹控制环境中的自主车辆，或者响应于确定第二权重高于第一权重，至少部分地基于第二轨迹控制环境中的自主车辆。
81.一般来说，模型502和/或模型108的(多个)输出(例如权重、轨迹、轨迹类型和/或意图)可以与车辆的规划组件通信，而规划组件又可以至少部分地基于(多个)输出来确定车辆的候选轨迹。规划组件例如可以以不同的方式确定候选轨迹，即对象是否与道路轨迹类型相关，而不是与自由形态轨迹类型相关(每种类型可能与车辆计算系统使用以生成车辆102的行动的不同算法、参数和/或设置相关联。通过识别轨迹类型，规划组件例如可以在确定候选轨迹时实施不同的算法或参数集。这可以使得规划器比当规划器不处理轨迹类型时更快地生成具有更多细节的轨迹。
82.图6是用于实施本文所述技术的示例系统600的框图。车辆602可以包括车辆计算系统604、一个或多个传感器系统606、一个或多个发射器608、一个或多个通信连接610、至少一个直接连接612、以及一个或多个驱动系统614。
83.车辆计算系统604可包括一个或多个处理器616和与一个或多个处理器616通信耦合的存储器618。在图示的示例中，车辆602是自主车辆；然而，车辆602可以是任何其他类型的车辆，例如半自主车辆，或具有至少图像捕获设备(例如，具有摄像头的智能手机)的任何其他系统。在图示的示例中，车辆计算系统604的存储器618存储定位组件620、感知组件622、规划组件624、一个或多个系统控制器626、一个或多个地图628和模型组件630，模型组件包括一个或多个模型，例如第一模型632a、第二模型632b，直至第n个模型632n(统称“模型632”)，其中n可以是大于1的任何整数。虽然在图6中为了说明的目的被描绘为驻留在存储器618中，但可以设想，定位组件620、感知组件622、规划组件624、一个或多个系统控制器626，一个或多个地图628和/或包括模型632的模型组件630可以额外地或替代地被车辆602访问(例如存储在远离车辆602的存储器上，或以其他方式被车辆访问，例如在远程计算设备636的存储器634上)。
84.在至少一个示例中，定位组件620可以包括功能，所述功能从(多个)传感器系统606接收数据，以确定车辆602的位置和/或取向(例如，以下中的一个或多个：x-位置、y-位置、z-位置、侧倾、俯仰或偏航)。例如，定位组件620可以包括和/或请求/接收环境的地图，例如来自(多个)地图628和/或地图组件638，并且可以连续确定自主车辆在地图中的位置和/或取向。在一些情况下，定位组件620可以利用slam(同时定位和绘图)、clams(同时校准、定位和绘图)、相对slam、捆绑调整、非线性最小二乘法优化等来接收图像数据、激光雷达数据、雷达数据、imu数据、gps数据、车轮编码器数据等以准确确定自主车辆的位置。在一
些情况下，定位组件620可向车辆602的各种组件提供数据以确定自主车辆的初始位置，以确定对象与车辆602的相关性，如本文所述。
85.在一些情况下，感知组件622可包括用于执行对象探测、分段和/或分类的功能。在一些示例中，感知组件622可以提供经过处理的传感器数据，所述传感器数据指示靠近车辆602的对象(例如实体)的存在和/或将该对象分类为对象类型(例如汽车、行人、骑自行车的人、动物、建筑物、树、路面、路缘、人行道、未知等)。在一些示例中，感知组件622可以提供经过处理的传感器数据，所述传感器数据指示靠近车辆602的静态实体的存在和/或将静态实体分类为类型(例如建筑物、树、路面、路缘、人行道、未知等)。在额外的或替代的示例中，感知组件622可以提供经过处理的传感器数据，所述传感器数据指示与检测到的对象(例如被跟踪的对象)和/或对象所处的环境相关联的一个或多个特征。在一些示例中，与对象相关联的特征可以包括但不限于x-位置(全局和/或局部位置)、y-位置(全局和/或局部位置)、z-位置(全局和/或局部位置)、取向(例如侧倾、俯仰、偏航)、对象类型(例如分类)、对象速度、对象加速度、对象范围(尺寸)等等。与环境相关联的特征可以包括但不限于环境中另一对象的存在、环境中另一对象的状态、一天中的某个时间、一周中的某一天、季节、天气状况、黑暗/光线的指示等。
86.一般来说，规划组件624可以确定车辆602要遵循以穿越环境的路径。例如，规划组件624可以确定各种路线和轨迹以及各种级别的细节。例如，规划组件624可以确定从第一位置(例如当前位置)行驶到第二位置(例如目标位置)的路线。为了本文讨论，路线可以包括在两个位置之间行进的一系列路径点。作为非限制性的示例，路径点包括街道、十字路口、全球定位系统(gps)坐标等。进一步地，规划组件624可以生成用于引导自主车辆沿着从第一位置到第二位置的路线的至少一部分的指令。在至少一个示例中，规划组件624可以确定如何引导自主车辆从路径点序列中的第一路径点到路径点序列中的第二路径点。在一些示例中，该指令可以是轨迹、或轨迹的一部分。在一些示例中，可以根据滚动时域技术基本上同时生成多条轨迹(例如在技术公差范围内)，其中多条轨迹中的一条轨迹被选择用于车辆602进行导航。
87.在一些示例中，规划组件624可以包括预测组件，用于生成环境中对象(例如对象)的预测轨迹。例如，预测组件可以为距离车辆602的阈值距离内的对象生成一个或多个预测轨迹。在一些示例中，预测组件可以测量对象的踪迹，并基于观察到和预测到的行为为该对象生成轨迹。
88.在至少一个示例中，车辆计算系统604可以包括一个或多个系统控制器626，其可以被配置为控制车辆602的转向、推进、制动、安全、发射器、通信和其他系统。这些(多个)系统控制器626可以与(多个)驱动系统614和/或车辆602的其他部件的相应系统通信和/或对其进行控制。
89.存储器618可以进一步包括可由车辆602用于在环境中导航的一个或多个地图628。就本讨论而言，地图可以是以二维、三维或n维建模的任何数量的数据结构，其能够提供关于环境的信息，例如但不限于拓扑结构(例如十字路口)、街道、山脉、道路、地形和一般环境。在一些情况下，地图可以包括但不限于：纹理信息(例如颜色信息(例如rgb颜色信息、lab颜色信息、hsv/hsl颜色信息)等)、强度信息(例如激光雷达信息、雷达信息等)；空间信息(例如投影到网格上的图像数据，单个“面元”(例如与单个颜色和/或强度相关联的多边
形))、反射率信息(例如镜面性信息、逆反射率信息、brdf(双向反射分布函数)信息、bssrdf(双向散射表面反射分布函数)信息等)。在一个示例中，地图可以包括环境的三维网格。在一些示例中，车辆602可以至少部分地基于(多个)地图628而被控制。也就是说，(多个)地图628可以与定位组件620、感知组件922和/或规划组件624结合使用，以确定车辆602的位置、检测环境中的对象、生成路线、确定行动和/或轨迹以在环境中导航。
90.在一些示例中，一个或多个地图628可以存储在能通过(多个)网络640访问的(多个)远程计算设备(例如(多个)计算设备636)上。在一些示例中，可以基于例如特征(例如实体的类型、一天中的某个时间、一周中的一天、一年中的季节等)来存储多个地图628。存储多个地图628可以有类似的存储器要求，但增加了地图中的数据可以被访问的速度。
91.如图6所示，车辆计算系统604可以包括模型组件630。模型组件630可以被配置为确定对象的预测轨迹、与预测轨迹相关联的权重、对象的意图、轨迹的意图和/或轨迹类型的意图，例如图1的模型108和图5的模型502。在各种示例中，模型组件630可以接收代表环境的俯视图的数据。在一些示例中，模型组件630可以从感知组件622和/或(多个)传感器系统606接收环境特征(例如环境因素等)和/或天气特征(例如天气因素，如雪、雨、冰等)。虽然在图6中单独显示，但模型组件630可以是感知组件622、规划组件624或车辆602的其他(多个)组件的一部分。
92.在各种示例中，模型组件630可以从第一模型632a、第二模型632b和/或第n个模型632n发送被规划组件624用于为车辆602生成一个或多个候选轨迹(例如行驶方向、速度等)的输出。在一些示例中，规划组件624可以为车辆602确定一个或多个行动(例如参考行动和/或子行动)。在一些示例中，模型组件630可以被配置为输出可由车辆计算系统604使用的离散化表示，以确定对象在未来时间的轨迹和权重。在一些示例中，轨迹可以至少部分地基于离散化表示的单元。在一些示例中，规划组件624可以被配置为确定适用于环境的行动，例如基于环境特征、天气特征或类似物。
93.在一些示例中，第一模型632a、第二模型632b和/或第n个模型632n可以被配置用于不同的对象。例如，第一模型632a可以由车辆计算系统604实施以确定行人的意图，而第二模型632b可以实施以确定自行车手的意图。
94.在各种示例中，模型组件630可以利用机器学习技术来确定描绘车辆周围环境的图像中的对象的行为预测和/或确定环境中的对象的行为预测，如关于图1-图5和其他地方所述。在这样的示例中，机器学习算法可以被训练来确定对象相对于环境中的车辆的一个或多个轨迹、权重和/或意图。
95.在一些示例中，模型组件630可以基于环境的离散化表示来确定对象的预测轨迹或意图(例如推断对象的意图)。在一些示例中，模型组件630可以被训练成至少部分地基于对象的姿势或先前行为来学习对象行为，并且在一些情况下，学习姿势或行为如何随时间变化。因此，一旦经过训练，模型组件630可以从较少图像或单一图像确定对象的意图，就像司机可以基于对象的细微特征来判断对象是否会改变方向或速度。
96.在各种示例中，模型组件630可以至少部分地基于与离散化表示中的一个或多个单元相关联的概率来确定权重。例如，模型组件630可以针对每个单元识别例如400个可能的分类中的哪一个，并且在与对象的预测轨迹相关联的每个单元上聚合、求和或以其他方式组合概率。在这样的示例中，模型108可以将离散化表示的单元映射到意图类别。
97.可以理解，本文讨论的组件(例如定位组件620、感知组件622、规划组件624、一个或多个系统控制器626、一个或多个地图628、包括一个或多个模型的模型组件630，一个或多个模型例如第一模型632a、第二模型632b，直至第n个模型632，被描述为为了说明的目的而划分。然而，由各个组件执行的操作可以在任何其他组件中结合起来或执行。
98.在一些情况下，本文讨论的部分或全部组件的方面可以包括任何模型、技术和/或机器学习技术。例如，在一些情况下，存储器618(以及下文讨论的存储器634)中的组件可以实现为神经网络。
99.如本文所述，示例性神经网络是受生物启发的技术，它将输入数据通过一系列的连接层来产生输出。神经网络中的每层也可包括另一神经网络，或可包括任何数量的层(无论是否为卷积的)。正如在本公开内容的上下文中可以理解的那样，神经网络可以利用机器学习，这可以指广泛的此类技术，其中输出是基于学习的参数生成的。
100.虽然是在神经网络的背景下进行讨论，但任何类型的机器学习都可以符合本公开内容而使用。例如，机器学习技术可以包括但不限于回归技术(例如普通最小二乘回归(olsr)、线性回归、逻辑回归、逐步回归、多变量自适应回归样条(mars)、局部估计的散点图平滑(loess))、基于实例的技术(例如岭回归、最小绝对收缩和选择运算符(lasso)、弹性网、最小角度回归(lars))、决策树技术(例如分类和回归树(cart)、迭代二分法3(id3)、卡方自动交互检测(chaid)、决策树桩，条件决策树)，贝叶斯技术(例如朴素贝叶斯、高斯朴素贝叶斯、多叉朴素贝叶斯、平均单项估计器(aode)、贝叶斯信念网络(bnn)、贝叶斯网络)、聚类技术(如k-means、k-medians、期望最大化(em)、分层聚类)、关联规则学习技术(例如感知、反向传播、霍普菲尔网络、径向基函数网络(rbfn))、深度学习技术(如深度波尔兹曼机(dbm)、深度信念网络(dbn)、卷积神经网络(cnn)、叠加自动编码器)、降维技术(例如主成分分析(pca)、主成分回归(pcr)、部分最小二乘回归(plsr)、萨蒙映射、多维缩放(mds)、投影追求、线性判别分析(lda)、混合判别分析(mda)、二次判别分析(qda)、灵活判别分析(fda))、集合技术(例如提升算法,引导聚集算法(bagging),自适应提升算法,层叠泛化算法(融合),梯度提升机(gbm),梯度回归提升树(gbrt),随机森林)、svm(支持向量机)、监督学习、无监督学习、半监督学习等等。架构的其他示例包括神经网络，如resnet70、resnetlol、vgg、densenet、pointnet，等等。
101.在至少一个示例中，(多个)传感器系统606可以包括激光雷达传感器、雷达传感器、超声波传感器、声纳传感器、位置传感器(例如gps、指南针等)、惯性传感器(例如惯性测量单元(imu)、加速度计、磁力计、陀螺仪等)、相机(例如rgb、ir、强度、深度、飞行时间等)、麦克风、车轮编码器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)等。(多个)传感器系统606可以包括这些或其他类型的传感器中的每一个的多个实例。例如，激光雷达传感器可以包括位于车辆602的拐角、前面、后面、侧面和/或顶部的单个激光雷达传感器。作为另一示例，摄像头传感器可以包括布置在车辆602的外部和/或内部的不同位置的多个摄像头。(多个)传感器系统606可以向车辆计算设备604提供输入。此外或替代地，(多个)传感器系统606可以通过一个或多个网络640以特定的频率、在预定的时间段过后、以近乎实时的方式向一个或多个计算设备636发送传感器数据等。在一些示例下，模型组件630可以从传感器系统606中的一个或多个接收传感器数据。
102.车辆602还可以包括一个或多个发射器608，用于发射光和/或声音。发射器608包
括用于与车辆602的乘客通信的内部音频和视觉发射器。通过举例而非限制的方式，内部发射器可以包括扬声器、灯、标志、显示屏幕、触摸屏、触觉发射器(例如振动和/或力反馈)、机械致动器(例如安全带张紧器、座椅定位器、头枕定位器等)诸如此类。(多个)发射器608也包括(多个)外部发射器。通过举例而非限制的方式，外部发射器可以包括发出行驶方向信号或车辆行动的其他指示的灯光(例如指示灯、标志、灯光阵列等)、以及一个或多个音频发射器(例如扬声器、扬声器阵列、喇叭等)，以便与行人或其他附近车辆进行声音交流，其中一个或多个音频发射器包括声束转向技术。
103.车辆602还可以包括一个或多个通信连接610，其实现车辆602与一个或多个本地或远程的其他计算设备之间进行通信。例如，(多个)通信连接610可以促进与车辆602上的(多个)其他本地计算设备和/或(多个)驱动系统614的通信。而且，(多个)通信连接610可以允许车辆与其他附近的(多个)计算设备(例如远程计算设备636、其他附近的车辆等)和/或一个或多个远程传感器系统642通信以接收传感器数据。(多个)通信连接610还使车辆602能够与远程操作计算设备或其他远程服务进行通信。
104.(多个)通信连接610可包括物理接口和/或逻辑接口，用于将车辆计算系统604连接至另一计算设备或网络、比如(多个)网络640。例如，(多个)通信连接610可实现基于wi-fi的通信，例如通过由ieee 802.11标准规定的频率、短距离无线频率比如蓝牙，也可实现蜂窝通信(例如2g、3g、4g、4g lte、5g等)或任何合适的有线或无线通信协议，所述通信协议能实现相应计算设备与(多个)其他计算设备通过接口连接。
105.在至少一个示例中，车辆602可以包括一个或多个驱动系统614。在一些示例中，车辆602可以具有单个驱动系统614。在至少一个示例中，如果车辆602具有多个驱动系统614，那么单独的驱动系统614可以设置在车辆602的相对两端(例如前端和后端等)。在至少一个示例中，(多个)驱动系统614可以包括一个或多个传感器系统，以检测(多个)驱动系统614和/或车辆602周围环境的条件。作为示例而非限制地，(多个)传感器系统可以包括一个或多个车轮编码器(例如旋转编码器)以感知驱动系统的车轮的旋转，惯性传感器(例如惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动系统的取向和加速度，相机或其他图像传感器，超声波传感器以声学方式检测驱动系统周围的对象，激光雷达传感器，雷达传感器等。一些传感器，如车轮编码器可以是(多个)驱动系统614所特有的。在一些情况下，(多个)驱动系统614上的(多个)传感器系统可以与车辆602的相应系统(例如(多个)传感器系统606)重叠或补充。
106.(多个)驱动系统614可包括多个车辆系统，包括高压电池、推动车辆的马达、将电池的直流电转换为交流电供其他车辆系统使用的逆变器、包括转向马达和转向架(可以是电动的)的转向系统、包括液压或电动制动器的制动系统、包括液压和/或气动组件的悬挂系统、用于分散制动力以降低牵引力损失并保持控制的稳定性控制系统、hvac(高压交流电)系统、照明(例如用于照亮车辆外部的头/尾灯的照明)以及一个或多个其他系统(例如冷却系统、安全系统、车载充电系统、其他电气组件比如dc/dc转换器、高压结点、高压电缆、充电系统、充电端口等)。此外，(多个)驱动系统614可包括驱动系统控制器，其可接收和预处理来自(多个)传感器系统的数据以控制不同车辆系统的操作。在一些示例中，驱动系统控制器可包括一个或多个处理器和与该一个或多个处理器通信耦合的存储器。存储器可存储一个或多个模块，以执行(多个)驱动系统614的各种功能。此外，(多个)驱动系统614还可
以包括一个或多个通信连接，其使各驱动系统能够与一个或多个其他本地或远程计算设备通信。
107.在至少一个示例中，直接连接612可以提供物理接口，以将一个或多个驱动系统614与车辆602的车身耦合。例如，直接连接612可以允许在(多个)驱动系统614和车辆之间传递能量、流体、空气、数据等。在一些情况下，直接连接612可以进一步可释放地将(多个)驱动系统614固定到车辆602的车身。
108.在至少一个示例中，定位组件620、感知组件622、规划组件624、一个或多个系统控制器626、一个或多个地图628和模型组件630可以处理传感器数据，如上所述，并且可以通过一个或多个网络640将它们各自的输出发送到(多个)计算设备636。在至少一个示例中，定位组件620、感知组件622、规划组件624、一个或多个系统控制器626、一个或多个地图628和模型组件630可以以特定的频率、在经过预定的时间段后、以接近实时的方式将它们各自的输出发送到(多个)远程计算设备636。
109.在一些示例中，车辆602可以通过(多个)网络640将传感器数据发送到(多个)计算设备636。在一些示例中，车辆602可以通过(多个)网络640从(多个)计算设备636和/或(多个)远程传感器系统642接收传感器数据。传感器数据可以包括原始传感器数据和/或经过处理的传感器数据和/或传感器数据的表示。在一些示例中，传感器数据(原始或处理过的)可以作为一个或多个日志文件被发送和/或接收。
110.(多个)计算设备636可以包括(多个)处理器644和存储地图组件638、模型组件646和训练组件648的存储器634。在一些示例中，地图组件638可以包括生成各种分辨率的地图的功能。在这样的示例中，地图组件638可以将一个或多个地图发送到车辆计算系统604用于导航目的。在一些示例中，模型组件646可以被配置为执行类似于模型组件630的功能。在各种示例中，模型组件646可以被配置为从一个或多个远程传感器(例如，(多个)传感器系统606和/或(多个)远程传感器系统642)接收数据。在一些示例中，模型组件646可以被配置为处理数据并将经过处理的传感器数据发送到车辆计算系统604，例如用于由模型组件630(例如第一模型632a、第二模型632b和/或第n个模型632n)使用。在一些示例中，模型组件646可以被配置为将原始传感器数据发送到车辆计算系统604。
111.在一些情况下，训练组件648可以包括功能，该功能用于训练机器学习模型，以输出对象的特征和/或对象的属性。例如，训练组件648可以接收图像组(例如一个或多个图像)，图像组代表对象在一段时间(例如，0.1毫秒、1秒、3秒、5秒、7秒等)内穿越环境。图像组的至少一部分可以作为输入来训练机器学习模型。作为非限制性的示例，序列图像中的第一组(例如3、4、5或更多)可以被输入到机器学习模型。图像序列中紧接第一组之前的第二组图像(或与之相关联的属性信息——例如通过从图像中提取属性)可被用作训练模型的基础事实。因此，通过提供对象穿越环境的图像，训练组件648可以被训练为输出对象的特征和/或对象的属性，如本文所讨论的。
112.在一些示例中，训练组件648可以包括已由模拟器生成的训练数据。例如，模拟训练数据可以表示车辆与环境中的对象碰撞或几乎与环境中的对象碰撞的示例，以提供额外的训练示例。
113.训练组件648的其他细节和用于训练的数据的示例将在下文中结合图3以及在本公开内容中讨论。
114.车辆602的(多个)处理器616和(多个)计算设备636的(多个)处理器644可以是能够执行指令以处理数据和执行本文所述操作的任何合适的处理器。作为示例而非限制地，(多个)处理器616和644可以包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)，或处理电子数据以将该电子数据转化为可存储在寄存器和/或存储器中的其他电子数据的任何其他设备或设备的一部分。在一些示例中，集成电路(如asic等)、门阵列(如fpga等)和其他硬件设备也可被视为处理器，只要它们被配置为实现编码的指令。
115.存储器618和存储器634是非暂时性计算机可读介质的示例。存储器618和存储器634可以存储操作系统和一个或多个软件应用、指令、程序和/或数据，以实现本文所述的方法和归属于各种系统的功能。在各种实施方案中，存储器可以使用任何合适的存储器技术来实现，如静态随机存取存储器(sram)、同步动态ram(sdram)、非易失性/闪存型存储器、或能够存储信息的任何其他存储器类型。本文所描述的架构、系统和单个元素可以包括许多其他的逻辑、程序和物理组件，其中附图中所示的组件只是与本文讨论有关的示例。
116.在一些情况下，存储器618和存储器634可以至少包括工作存储器和存储存储器。例如，工作存储器可以是容量有限的高速存储器(例如，高速缓冲存储器)，其用于存储将由(多个)处理器616和644操作的数据。在一些情况下，存储器618和存储器634可以包括存储存储器，其可以是容量相对较大的低速存储器，用于长期存储数据。在一些情况下，(多个)处理器616和644不能直接对存储在存储存储器中的数据进行操作，并且数据可能需要被加载到工作存储器中，以便基于数据来执行操作，如本文所讨论的。
117.应当注意的是，虽然图6被说明为分布式系统，但在替代实例中，车辆602的组件可以与(多个)计算设备636相关联和/或(多个)计算设备636的组件可以与车辆602相关联。也就是说，车辆602可以执行与(多个)计算设备636相关联的一个或多个功能，反之亦然。例如，车辆602和(多个)计算设备636之一可以执行与本文所述的模型中的一个或多个模型有关的训练操作。
118.图7和图8说明了根据本公开的实施例的示例过程。过程700和800的部分或全部可由图6的一个或多个组件执行，如本文所描述的。例如，过程700和800的部分或全部可由车辆计算系统604和/或(多个)计算设备636执行。这些过程被示出为逻辑流程图，其中的每个操作代表可在硬件、软件或其组合中实现的操作序列。在软件方面，这些操作代表了存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令当由一个或多个处理器执行时，执行所述的操作。一般来说，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。所述操作的顺序并不意图被解释为一种限制，并且任何数量的所述操作可以被省略或者以任何顺序和/或并行地组合起来以实现这些流程。
119.图7是描绘了用于使用不同模型确定预测轨迹和权重的示例过程700的流程图。
120.在操作702，该过程可以包括由车辆计算系统接收传感器数据。例如，车辆计算系统604可以从感知组件622接收传感器数据。传感器数据可以表示在诸如车辆102的车辆周围环境中检测到的对象(例如图1的对象104)。在一些示例中，传感器数据可以从车辆上的一个或多个传感器和/或从一个或多个远程传感器接收。在一些示例中，操作702可以包括使用多个传感器捕获传感器数据，并将传感器数据融合或组合成环境的细节和信息表示。
121.在操作704，该过程可以包括由车辆计算系统确定数据。例如，车辆计算系统604可
以确定代表环境的俯视图(例如俯视图112)和环境中的对象(例如对象104)的数据。数据可以包括与环境中的车辆的传感器相关联的传感器数据、地图数据和/或来自另一数据源的数据，该数据可以被编码为俯视表示。这种数据的示例将在本公开内容中讨论。
122.在操作706，该过程可以包括将数据输入到车辆计算系统的模型中。例如，车辆计算系统604可以将数据输入到模型108中。在一些示例中，模型可以是机器学习模型，如在本公开内容中所讨论的那样。
123.在操作708，该过程可以包括从代表环境的离散化表示的模型接收输出。例如，车辆计算系统可以从模型108接收离散化表示114。在整个公开内容中讨论了离散化表示114的其他细节。
124.在操作710，该过程可以包括至少部分地基于离散化表示确定与对象相关联的预测轨迹和与预测轨迹相关联的权重。例如，车辆计算系统实现一个或多个组件，以基于与离散化表示的单元相关联的分类概率确定预测轨迹110a和110b以及权重302a和302b。在一些示例中，分类概率可以指示对象是否会在未来时间到达目的地。确定预测轨迹和/或相关联的权重的其他细节在整个公开内容中讨论。
125.在操作712，该过程可以包括确定模型当前是否正在被训练，或者模型是否先前已经被训练。在一些示例中，车辆计算系统可以处理数据(传感器数据、地图数据、图像数据等)作为训练操作、推理操作的一部分或同时作为训练操作和推理操作的一部分。如果模型不是正在被训练(例如在操作712中为“否”)，则该过程可以继续到操作714，以使车辆的操作至少部分地基于模型的输出被控制。如果模型不是正在被训练(例如在操作712中为“是”)，则该过程可以继续到操作716，以至少部分地基于模型的输出而更新模型的(多个)参数。当然，在一些示例中，操作可以同时进行，这取决于实现方式。
126.在操作714处，可以至少部分地基于来自模型108的输出来控制车辆。例如，来自模型108的输出可以由车辆的规划组件624处理，以确定车辆可以采取的以避开与对象的撞击的行动。在整个公开内容中讨论了使用来自一个或多个模式的一个或多个输出来控制车辆的其他细节。
127.在操作716，可以更新、改变和/或增强模型的一个或多个参数以训练模型。在一些情况下，来自模型108的输出可以与训练数据(例如代表标记的数据的地面实况)进行比较，以便用于训练。至少部分地基于该比较，与模型108相关联的(多个)参数可以被更新。
128.图8是描绘了使用不同模型确定与轨迹或轨迹类型相关联的意图的示例过程的流程图。
129.在操作802，该过程可以包括由车辆计算系统确定车辆轨迹(例如第一轨迹)。例如，车辆计算系统604可以通过规划组件624确定候选轨迹。在一些示例中，候选轨迹是可用于在环境中导航车辆的轨迹。在一些示例中，操作802可以包括使用多个传感器捕获传感器数据，并将传感器数据融合或组合成环境的细节和信息表示。
130.在操作804，该过程可以包括通过模型确定对象轨迹(例如第二轨迹)。例如，车辆计算系统604可以实现模型108以确定预测轨迹。在一些示例中，车辆计算系统604还可以从与预测轨迹相关联的权重中确定。这种预测轨迹和权重的示例在本公开内容中被讨论。
131.在操作806，该过程可以包括由车辆计算系统接收地图数据。例如，车辆计算系统604可以从(多个)地图628接收地图数据。地图数据可以指示环境的特征，包括人行横道、道
路、人行道等等。
132.在操作808，该过程可以包括通过同一个或不同的模型，确定包括用于第一轨迹的第一意图和用于第二轨迹的第二意图的输出。例如，车辆计算系统604可以使用模型502确定(多个)意图，并且可以将离散化表示114的位置从模型502映射到地图数据中的目的地。在一些示例中，模型502可以额外地或替代地输出轨迹类型(例如道路轨迹或自由形态轨迹)的一个或多个意图。意图的其他细节在整个公开内容中讨论。
133.在一些示例中，在操作808处，该过程可以包括将代表由模型输出的数据发送到车辆计算系统的规划组件，以使车辆规划至少部分地基于模型的输出的车辆轨迹。在整个公开内容中讨论了使用来自模型的输出来控制车辆的其他细节。
134.在操作810，该过程可以包括确定模型当前是否正在被训练，或者模型是否先前已经被训练。在一些示例中，车辆计算系统可以处理数据作为训练操作、推理操作的一部分或同时作为训练操作和推理操作的一部分。如果模型不是正在被训练(例如在操作810中为“否”)，则该过程可以继续到操作812，以使车辆的操作至少部分地基于模型的输出被控制。如果模型不是正在被训练(例如在操作810中为“是”)，则该过程可以继续到操作814，以至少部分地基于模型的输出而更新模型的(多个)参数。当然，在一些示例中，操作可以同时进行，这取决于实现方式。
135.在操作812，可以至少部分地基于来自模型502的输出来控制车辆。例如，来自模型502的输出可以由车辆的规划组件624处理以确定车辆可以采取的以避开与对象的撞击的行动。在整个公开内容中讨论了使用来自一个或多个模式的一个或多个输出来控制车辆的其他细节。在一些示例中，规划组件624可以至少部分地基于来自模型108的输出和来自模型502的输出来控制车辆。
136.在操作814，可以更新、改变和/或增强模型的一个或多个参数以训练模型。在一些情况下，来自模型502的输出可以与训练数据(例如代表标记数据的地面实况)进行比较，以便用于训练。至少部分地基于该比较，与模型502和/或模型108相关联的(多个)参数可以被更新。
137.本文描述的方法代表可在硬件、软件或其组合中实现的操作序列。在软件方面，框代表了存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令当由一个或多个处理器执行时，执行所述的操作。一般来说，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。所述操作的顺序并不打算被解释为一种限制，并且任何数量的所述操作可以以任何顺序和/或并行地组合起来以实现这些过程。在一些实施例中，该方法的一个或多个操作可以完全省略。
138.本文描述的各种技术可以在计算机可执行指令或软件、例如程序模块的背景下实现，这些指令或软件存储在计算机可读存储器中，并由一个或多个计算设备的(多个)处理器执行，例如图中所示的那样。一般来说，程序模块包括例程、程序、对象、组件、数据结构等，并定义执行特定任务的操作逻辑，或实现特定的抽象数据类型。
139.其他架构可用于实现所描述的功能，并且旨在本公开的范围内。此外，尽管为了讨论的目的在上面定义了职责的具体分配，但取决于情况，各种功能和职责可能以不同的方式分配和划分。
140.类似地，软件可以以各种方式和使用不同的手段进行存储和分配，并且上述特定
的软件存储和执行配置可以以许多不同的方式变化。因此，实现上述技术的软件可以分布在各种类型的计算机可读介质上，而不限于具体描述的存储器的形式。
141.示例条款
142.a：一种系统，包括：一个或多个处理器；以及一个或多个非暂时性计算机可读存储介质，其存储有由该一个或多个处理器可执行的指令，其中该指令在执行时使得该系统执行包括以下项的操作：接收与环境中的自主车辆相关联的传感器数据；至少部分地基于该传感器数据确定数据，该数据包括环境和该环境中的对象的俯视表示；将该数据输入到机器学习模型中；从该机器学习模型接收包括该环境的一部分的离散化表示的输出，其中该离散化表示的单元与该对象在未来时间的位置的分类概率相关联；至少部分地基于该离散化表示和该分类概率，确定与该对象相关联的预测轨迹和与该预测轨迹相关联的权重；以及至少部分地基于与该对象相关联的该预测轨迹和与该预测轨迹相关联的该权重，使该自主车辆的操作受到控制。
143.b：根据条款a所述的系统，其中与该单元相关联的该分类概率指示该对象在该未来时间处于该位置的概率。
144.c：根据条款a或b所述的系统，其中：该位置是第一位置；该单元是第一单元；该分类概率是第一分类概率；该预测轨迹是第一预测轨迹；该权重是第一权重；该离散化表示包括与该对象在该未来时间处于第二位置的第二分类概率相关联的第二单元；以及该操作进一步包括：至少部分地基于地图数据，确定该第一位置与第一目的地相关联；至少部分地基于该地图数据，确定该第二位置与第二目的地相关联；至少部分地基于该第二分类概率和该第二位置，确定与在该未来时间的该对象相关联的第二预测轨迹；以及进一步至少部分地基于该第二预测轨迹和与该第二预测轨迹相关联的第二权重，使得该自主车辆的操作受到控制。
145.d：根据条款a至c中任一项所述的系统，该操作进一步包括：至少部分地基于该分类概率和另一分类概率确定该权重。
146.e：根据条款a至d中任一项所述的系统，其中：该位置表示至少部分地基于该对象在该未来时间之前的先前时间的对象位置的偏移。
147.f：一个或多个存储有指令的非暂时性计算机可读存储介质，该指令当被执行时，使得一个或多个处理器执行包括以下项的操作：将数据输入到模型中，该数据包括环境在第一时间的俯视表示；从该模型接收包括该环境的一部分的离散化表示的输出，其中该离散化表示的单元与在该第一时间之后的第二时间处的对象相关联的概率相关联；至少部分地基于该离散化表示和该概率，确定与该对象相关联的轨迹和与该轨迹相关联的权重；以及至少部分地基于该轨迹和该权重，使车辆的操作受到控制。
148.g：根据条款f所述的一个或多个非暂时性计算机可读存储介质，其中：该数据包括以下各项中的至少一项：传感器数据、地图数据或基于该传感器数据的数据，所述数据表示一个或多个通道图像以形成该俯视表示，并且与该单元相关联的概率指示该对象在该第二时间处于一位置的概率。
149.h：根据条款f或g所述的一个或多个非暂时性计算机可读存储介质，其中：该位置是第一位置；该单元是第一单元；概率是第一概率；该轨迹是第一轨迹；该权重是第一权重；该离散化表示包括与该对象在该第二时间处于第二位置的第二概率相关联的第二单元；以
及该操作进一步包括：至少部分地基于地图数据，确定该第一位置与第一目的地相关联；至少部分地基于该地图数据，确定该第二位置与第二目的地相关联；至少部分地基于该第二概率和该第二位置，确定与在该第二时间的该对象相关联的第二轨迹；以及进一步至少部分地基于该第二轨迹和与该第二轨迹相关联的第二权重，使得该车辆的操作受到控制。
150.i：根据条款f至h中任一项所述的一个或多个非暂时性计算机可读存储介质，该操作进一步包括：将包括该轨迹和该权重的数据发送至该车辆的规划组件；以及使该规划组件至少部分地基于该数据确定该车辆在环境中要遵循的候选轨迹。
151.j：根据条款f至i中任一项所述的一个或多个非暂时性计算机可读存储介质，该操作进一步包括：接收与该环境相关联的地图数据；至少部分地基于该地图数据和与该单元相关联的位置，确定该位置与语义目的地相关联；以及至少部分地基于该概率和该位置在该第二时间与该语义目的地相关联，确定该权重。
152.k：根据条款f至j中任一项所述的一个或多个非暂时性计算机可读存储介质，该操作进一步包括：至少部分地基于该概率和另一概率确定该权重。
153.l：根据条款f至k中任一项所述的一个或多个非暂时性计算机可读存储介质，其中该模型是至少部分地基于与该模型的先前输出相关联的数据和地面真实数据之间的比较而训练的机器学习模型。
154.m：根据条款f至l中任一项所述的一个或多个非暂时性计算机可读存储介质，该操作进一步包括：对该对象在该第一时间的位置和在该第二时间与该概率相关联的位置进行插值，并且其中该轨迹至少部分地基于该插值。
155.n：根据条款f至m中任一项所述的一个或多个非暂时性计算机可读存储介质，该操作进一步包括：接收与该环境相关联的地图数据；至少部分地基于该地图数据和与该单元相关联的位置，确定该位置与语义目的地相关联；以及至少部分地基于该语义目的地和该概率，确定与该对象相关联的意图；以及其中进一步地至少部分地基于该意图，使得该车辆的该操作受到控制。
156.o：一种方法，包括：将图像数据输入到模型中，该图像数据包括环境在第一时间的俯视表示；从该模型接收包括该环境的一部分的离散化表示的输出，其中该离散化表示的单元与在该第一时间之后的第二时间处的对象相关联的概率相关联；至少部分地基于该离散化表示和该概率，确定与该对象相关联的轨迹和与该轨迹相关联的权重；以及至少部分地基于该轨迹和该权重，使车辆的操作受到控制。
157.p：根据条款o所述的方法，其中：与该单元相关联的该概率指示该对象在该第二时间处于一位置的概率。
158.q：根据条款o或p所述的方法，其中：该位置表示至少部分地基于该对象在该第二时间之前的先前时间的对象位置的偏移。
159.r：根据条款o至p所述的方法，其中该环境的该俯视表示代表以下各项中的一项或多项：对象位置、对象速度、对象加速度、对象偏航、对象的属性、人行横道许可或交通灯允许性。
160.s：根据条款o至r所述的方法，进一步包括：接收与该车辆的传感器相关联的该环境的传感器数据；至少部分地基于该传感器数据，确定与该环境中的该对象相关联的第一对象类型和第二对象类型，该第二对象类型不同于该第一对象类型；确定该对象是该第一
对象类型的第一概率：以及确定该对象是该第二对象类型的第二概率，其中将该图像数据输入到该模型中包括输入与该第一对象类型相关联的该第一概率和与该第二对象类型相关联的该第二概率的指示。
161.t：根据条款o至s所述的方法，其中该车辆是自主车辆，并且进一步包括：将包括该轨迹和该权重的数据发送至该自主车辆的规划组件；以及使该规划组件至少部分地基于该数据确定该自主车辆在该环境中要遵循的候选轨迹。
162.u：一种系统，包括：一个或多个处理器；以及一个或多个非暂时性计算机可读存储介质，存储有可由该一个或多个处理器执行的指令，其中该指令在执行时使得该系统执行包括以下项的操作：接收传感器数据；确定该传感器数据中表示的对象；确定该对象的第一预测轨迹，该第一预测轨迹与第一权重相关联；确定该对象的第二预测轨迹，该第二预测轨迹与第二权重相关联；接收地图数据；至少部分地基于该地图数据，确定基于第一语义目的地的该第一轨迹的第一意图；至少部分地基于该地图数据，确定基于该第二轨迹的第二语义目的地的该第二轨迹的第二意图；以及至少部分地基于该第一轨迹、该第一权重、该第一意图、该第二轨迹、该第二权重和该第二意图，控制自主车辆。
163.v：根据条款u所述的系统，其中确定该第一预测轨迹包括执行回归。
164.w：根据条款u或v所述的系统，其中该第二轨迹至少部分地基于分类。
165.x：根据条款u至w中任一项所述的系统，其中：该第一轨迹与第一目的地相关联；以及该第二轨迹与不同于该第一目的地的第二目的地相关联。
166.y：根据条款u至x中任一项所述的系统，该操作进一步包括：确定该第一权重或该第二权重中的一个高于该第一权重和该第二权重中的另一个；以及以下各项中的至少一项：响应于确定该第一权重高于该第二权重，至少部分地基于该第一轨迹控制环境中的该自主车辆；或者响应于确定该第二权重高于该第一权重，至少部分地基于该第二轨迹控制该环境中的该自主车辆。
167.z：一种方法，包括：接收传感器数据；确定该传感器数据中表示的对象；确定与该对象相关联的第一轨迹；确定与该对象相关联的第二轨迹；基于第一语义目的地确定该第一轨迹的第一意图；基于该第二轨迹的第二语义目的地确定该第二轨迹的第二意图；以及将该第一轨迹、该第一意图、该第二轨迹和该第二意图发送到规划组件以控制车辆。
168.aa：根据条款z所述的方法，其中：该第一轨迹与第一轨迹类型相关联；以及该第二轨迹与不同于该第一轨迹类型的第二轨迹类型相关联。
169.ab：根据条款z或aa所述的方法，其中该第一轨迹类型或该第二轨迹类型包括与该车辆的环境中的路段相关联的轨迹类型。
170.ac：根据条款z或ab所述的方法，进一步包括：通过第一机器学习模型，确定与该第一轨迹相关联的第一权重；通过第二机器学习模型，确定与该第二轨迹相关联的第二权重；以及至少部分地基于该第一轨迹、该第一权重、该第一意图、该第二轨迹、该第二权重和该第二意图控制该车辆。
171.ad：根据条款z至ac中任一项所述的方法，其中控制该车辆包括确定该车辆在该环境中要遵循的候选轨迹。
172.ae：根据条款z至ad中任一项所述的方法，进一步包括至少部分地基于该对象与该车辆周围环境中的区域的接近程度来确定该第一意图或该第二意图中的至少一个。
173.af：根据条款z至ae中任一项所述的方法，其中：该环境中的该区域包括与代表该环境的地图数据相关联的路段，该对象包括行人或自行车，该第一语义目的地包括该车辆的环境中的第一区域，以及第二语义目的地包括该车辆的环境中不同于该第一语义目的地的第二区域。
174.ag：根据条款z至af中任一项所述的方法，其中该第一轨迹至少部分地基于回归，并且该第二轨迹至少部分地基于分类。
175.ah：根据条款z至ag中任一项所述的方法，其中：该第一轨迹与第一目的地相关联；以及该第二轨迹与不同于该第一目的地的第二目的地相关联。
176.ai：根据条款z至ah中任一项所述的方法，其中：该第一意图或该第二意图包括以下项中的至少一项：该对象在该车辆的环境中沿路段行进的意图，该对象在该路段的附近之外行进的意图，该对象在人行横道内行进的意图，或者该对象在该人行横道的边界之外行进的意图。
177.aj：一个或多个非暂时性计算机可读存储介质，其上存储有指令，所述指令当被执行时，使得一个或多个处理器执行包括以下项的操作：接收传感器数据；确定该传感器数据中表示的对象；确定与该对象相关联的第一轨迹；确定与该对象相关联的第二轨迹；基于第一语义目的地确定该第一轨迹的第一意图；基于该第二轨迹的第二语义目的地确定该第二轨迹的第二意图；以及将该第一轨迹、该第一意图、该第二轨迹和该第二意图发送到规划组件以控制车辆。
178.ak：根据条款aj所述的一个或多个非暂时性计算机可读介质，其中：该第一轨迹与第一轨迹类型相关联；以及该第二轨迹与不同于该第一轨迹类型的第二轨迹类型相关联。
179.al：根据条款aj或ak所述的一个或多个非暂时性计算机可读介质，其中：该第一轨迹与第一目的地相关联；以及该第二轨迹与不同于该第一目的地的第二目的地相关联。
180.am：根据条款aj至al中任一项所述的一个或多个非暂时性计算机可读介质，该操作进一步包括：从机器学习模型接收与该第一轨迹相关联的权重，其中该发送进一步包括将该权重发送到该规划组件以控制该车辆。
181.an：根据条款aj至am中任一项所述的方法，该操作进一步包括至少部分地基于该对象与环境中的区域的接近程度来确定该第一意图或该第二意图中的至少一个。
182.虽然上面描述的示例条款是关于一个特定的实施例的，但应该理解，在本文的上下文中，示例条款的内容也可以通过方法、设备、系统、计算机可读介质和/或另一个实施方式来实现。此外，示例a至an中的任何一个可以单独实施，也可以与示例a至an中的任何其他一个或多个结合实施。
183.结论
184.虽然已经描述了本文所述技术的一个或多个示例，但在本文所述技术的范围内包括其各种改变、补充、排列组合和等同内容。
185.在对示例的描述中，参考了构成本文一部分的附图，附图通过说明的方式示出了所要求的主题的具体示例。应当理解的是，可以使用其他示例，并且可以进行改变或变更，例如结构上的改变。这样的示例、改变或变更不一定偏离预期的所要求的主题的范围。虽然本文的步骤可以按照一定的顺序提出，但在一些情况下，可以改变顺序，以便在不同的时间或以不同的顺序提供某些输入，而不改变所述系统和方法的功能。所公开的程序也可以以
不同的顺序执行。此外，本文的各种计算不需要按照所公开的顺序执行，并且使用计算的变更顺序的其他示例也可以很容易地实现。除了重新排序之外，计算也可以被分解成具有相同结果的子计算。