轨线预测的制作方法

轨线预测


背景技术：

1.预测交通参与者未来的轨线通常是一项困难的任务。历史上，已经从本地周围环境中在假设人们的移动较慢的情况下研究了交互作用，这可能不适用于具有更快速度的运载工具，并且很少会考虑到道路布局。


技术实现要素：

2.根据一个方面，一种用于轨线预测的系统可以包括：处理器和存储器，存储器存储指令，该指令在由处理器执行时使得处理器执行：接收光检测和测距(lidar)图像序列，该测距图像序列包括lidar图像集合；基于lidar图像序列生成lidar标测图；通过经由交互编码器馈送lidar图像序列来生成交互编码器结果；通过经由特征提取器馈送lidar标测图来生成特征提取器结果；通过经由关系编码器馈送来自lidar图像序列的检测到的障碍物的过去的轨线、交互编码器结果和特征提取器结果来生成关系编码器结果；通过经由意图估计器馈送关系编码器结果来生成意图估计结果；通过经由条件生成模型编码器馈送检测到的障碍物的过去的轨线、意图估计结果和概率标测图来生成条件生成模型结果；以及通过经由轨线预测器馈送关系编码器结果、检测到的障碍物的过去的轨线和条件生成模型结果来生成对障碍物的轨线预测。
3.交互编码器结果和特征提取器结果可以被求和并且被提供作为对关系编码器的输入。特征提取器或交互编码器可以包括一个或多个2d卷积层。意图估计器可以包括一个或多个非线性单元层和一个或多个完全连接层。条件生成模型编码器可以包括一个或多个2d卷积层和一个或多个完全连接层。2d卷积层中的一个或多个卷积层可以与非线性单元函数相关联。轨线预测器可以包括一个或多个完全连接层和一个或多个解卷积层。基于lidar图像序列生成lidar标测图可以包括从lidar图像序列移除一个或多个动态障碍物。意图估计结果可以是与环境内的不同区相关联的意图目标的概率分布。轨线预测可以是与关联于环境内的不同区的意图目标相关联的轨线的概率分布。不同区中的区可以是交集的一部分。
4.根据一个方面，一种用于轨线预测的系统可以包括：光检测和测距(lidar)传感器、处理器和存储器。lidar传感器可以接收包括lidar图像集合的lidar图像序列。存储器可以存储指令，该指令在由处理器执行时使得处理器执行：基于lidar图像序列生成lidar标测图；通过经由交互编码器馈送lidar图像序列来生成交互编码器结果；通过经由特征提取器馈送lidar标测图来生成特征提取器结果；通过经由关系编码器馈送来自lidar图像序列的检测到的障碍物的过去的轨线、交互编码器结果和特征提取器结果来生成关系编码器结果；通过经由意图估计器馈送关系编码器结果来生成意图估计结果；通过经由条件生成模型编码器馈送检测到的障碍物的过去的轨线、意图估计结果和概率标测图来生成条件生成模型结果；以及通过经由轨线预测器馈送关系编码器结果、检测到的障碍物的过去的轨线和条件生成模型结果来生成对障碍物的轨线预测；以及运载工具系统，该运载工具系统基于对障碍物的轨线预测来激活相关联的运载工具系统功能。
5.交互编码器结果和特征提取器结果可以被求和并且被提供作为对关系编码器的输入。特征提取器或交互编码器可以包括一个或多个2d卷积层。意图估计器可以包括一个或多个非线性单元层和一个或多个完全连接层。条件生成模型编码器可以包括一个或多个2d卷积层和一个或多个完全连接层。2d卷积层中的一个或多个卷积层可以与非线性单元函数相关联。轨线预测器可以包括一个或多个完全连接层和一个或多个解卷积层。
6.根据一个方面，一种用于轨线预测的计算机实现的方法可以包括：接收光检测和测距(lidar)图像序列，该测距图像序列包括lidar图像集合；基于lidar图像序列生成lidar标测图；通过经由交互编码器馈送lidar图像序列来生成交互编码器结果；通过经由特征提取器馈送lidar标测图来生成特征提取器结果；通过经由关系编码器馈送来自lidar图像序列的检测到的障碍物的过去的轨线、交互编码器结果和特征提取器结果来生成关系编码器结果；通过经由意图估计器馈送关系编码器结果来生成意图估计结果；通过经由条件生成模型编码器馈送检测到的障碍物的过去的轨线、意图估计结果和概率标测图来生成条件生成模型结果；以及通过经由轨线预测器馈送关系编码器结果、检测到的障碍物的过去的轨线和条件生成模型结果来生成对障碍物的轨线预测。
7.用于轨线预测的计算机实现的方法可以包括：对交互编码器结果和特征提取器结果求和，并且提供该和作为对关系编码器的输入。基于lidar图像序列生成lidar标测图可以包括从lidar图像序列移除一个或多个动态障碍物。意图估计结果可以是与环境内的不同区相关联的意图目标的概率分布。
附图说明
8.图1是根据一个方面的用于轨线预测的系统的部件图的示例性图示。
9.图2是根据一个方面的用于轨线预测的方法的流程图的示例性图示。
10.图3是根据一个方面的图1的用于轨线预测的系统的实施方式的示例性图示。
11.图4a至图4b是根据一个方面的与轨线预测相关联的模型的示例性图示。
12.图5是根据一个方面的图1的用于轨线预测的系统的实施方式的示例性图示。
13.图6是根据一个方面的图1的用于轨线预测的系统的轨线预测的示例性图示。
14.图7是根据一个方面的示例性计算机可读介质或计算机可读装置的图示，该计算机可读介质或计算机可读装置包括被配置为体现本文阐述的规定中的一个或多个规定的处理器可执行指令。
15.图8是根据一个方面的示例性计算环境的图示，本文阐述的规定中的一个或多个规定在该计算环境中实现。
具体实施方式
16.以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于实施方式的部件的各种示例和/或形式。这些示例并非旨在进行限制。此外，本领域的普通技术人员将会知道，本文讨论的部件可以组合、省略或与其他部件组织或组织成不同架构。
17.如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位流或可被接收、传
输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
18.如本文所用的“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如rom(只读存储器)、prom(可编程只读存储器)、eprom(可擦除prom)和eeprom(电可擦除prom)。易失性存储器可以包括例如ram(随机存取存储器)、同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddrsdram)和直接ram总线ram(drram)。存储器可以存储控制或分配计算装置的资源的操作系统。
19.如本文所用的“盘”或“驱动器”可以是磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、zip驱动器、闪存存储器卡和/或存储棒。此外，盘可以是cd-rom(压缩盘rom)、cd可记录驱动器(cd-r驱动器)、cd可重写驱动器(cd-rw驱动器)和/或数字视频rom驱动器(dvd-rom)。盘可以存储控制或分配计算装置的资源的操作系统。
20.如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算机之间的其他计算机部件。总线可以在计算机部件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线可还是使用诸如面向媒体的系统传送(most)、控制器局域网(can)、本地互连网络(lin)等等协议来将在运载工具内的组件互连的运载工具总线。
21.如本文所用的“数据库”可以是指表、一组表和一组数据存储(例如，盘)和/或用于访问和/或操纵那些数据存储的方法。
[0022]“可操作的连接”或使实体“可操作地连接”的连接是可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电接口。
[0023]
如本文所用的“计算机通信”是指在两个或多个计算装置(例如，计算机、个人数字助理、蜂窝电话、网络装置)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(http)传输等。计算机通信可以跨例如无线系统(例如，ieee 802.11)、以太网系统(例如，ieee 802.3)、令牌环系统(例如，ieee 802.5)、局域网(lan)、广域网(wan)、点对点系统、电路交换系统、分组交换系统等等发生。
[0024]
如本文所用，“移动装置”可以是通常具有带有用户输入(例如，触摸、键盘)的显示屏和用于计算的处理器的计算装置。移动装置包括手持装置、移动装置、智能电话、膝上型电脑、平板电脑和电子阅读器。
[0025]
如本文所用，“运载工具”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动运载工具。术语“运载工具”包括汽车、卡车、货车、小型货车、suv、摩托车、踏板车、船只、私人船艇和飞行器。在一些场景中，机动运载工具包括一个或多个发动机。此外，术语“运载工具”可以是指由完全地或部分地由电池供电的一个或多个电动马达供电的电动运载工具(ev)。ev可包括电池动力电动运载工具(bev)和插电式混合动力电动运载工具(phev)。另外，术语“运载工具”可以是指由任何形式的能量提供动力的自动运载工具和/或自行驾驶运载工具。自动运载工具可以运载或可以不运载一个或多个人类乘员。
[0026]
如本文所用的“运载工具系统”可以是可用于加强运载工具110、驾驶和/或安全性的任何自动或手动系统。示例性运载工具系统包括自动驾驶系统、电子稳定性控制系统、防
抱死制动系统、制动辅助系统、自动制动预填充系统、低速跟随系统、巡航控制系统、碰撞警告系统、碰撞缓解制动系统、自动巡航控制系统、通道偏离警告系统、盲点指示器系统、通道保持辅助系统、导航系统、变速器系统、制动踏板系统、电子动力转向系统、视觉装置(例如，相机系统、接近传感器系统)、气候控制系统、电子预紧系统、监测系统、乘客检测系统、运载工具悬架系统、运载工具座椅配置系统、运载工具车厢照明系统、音频系统、感觉系统等。
[0027]
本文讨论的方面可以在存储计算机可执行指令的非暂态计算机可读存储介质的上下文中描述和实现。非暂态计算机可读存储介质包括计算机存储介质和通信介质。例如，闪存存储器驱动器、数字通用盘(dvd)、压缩盘(cd)、软盘和磁带盒。非暂态计算机可读存储介质可以包括在用于信息(诸如计算机可读指令、数据结构、模块或其他数据)的存储的任何方法或技术中实现的易失性或非易失性、可移动和不可移动介质。
[0028]
图1是根据一个方面的用于轨线预测的系统100的部件图的示例性图示。图1的用于轨线预测的系统100可以在运载工具110上实现，并且包括：传感器112；通信接口114；包括处理器122、存储器124和存储驱动器126的控制器120。用于轨线预测的系统100可以包括：总线128，该总线通信地耦合本文描述的一个或多个部件；特征提取器132；交互编码器134；关系编码器136；意图估计器138；编码器，诸如条件生成模型编码器142，其可以是卷积变分自编码器(cvae)；轨线预测器144；和一个或多个运载工具系统146。用于轨线预测的系统100可以与服务器150计算机通信。服务器可以包括处理器152、存储器154、数据库156和其自身的通信接口158，该通信接口用以促进服务器150与用于轨线预测的系统100之间的计算机通信。服务器150的数据库156可以存储经用于轨线预测的系统100训练的模型。
[0029]
此外，尽管关于用于轨线预测的系统100的处理器122进行描述，但是根据一个方面，由用于轨线预测的系统100的处理器122执行的任何或一个或多个动作或步骤可以由服务器150的处理器152执行。
[0030]
根据一个方面，传感器112可以是光检测和测距(lidar)传感器或图像捕获传感器。传感器112可以接收图像序列，诸如包括lidar图像集合的lidar图像序列。lidar图像或lidar图像集合可以被分解为lidar点云或由传感器112收集作为lidar点云。图像序列可以包括运载工具110移动通过的操作环境的图像。操作环境可以包括一个或多个障碍物(例如，动态障碍物、物体，诸如行人、其它运载工具等)。障碍物可以是静止的和/或作为操作环境的一部分(例如，停放的运载工具、建筑物、路缘、道路结构等)。
[0031]
处理器122可以基于lidar图像序列生成lidar标测图。lidar标测图可以指示与lidar图像序列相关联的点信息，其中动态移动的行为主体或障碍物(例如，移动的运载工具或行人，无论他们/它们是否正在移动)被移除，使得仅保留静态元素(诸如道路、人行道、建筑物、通道)。处理器122可利用剩余的点云来构建操作环境的lidar标测图。换句话讲，基于lidar图像序列生成lidar标测图可以包括从lidar图像序列移除一个或多个动态障碍物和/或配准剩余的点云。以此方式，lidar标测图可以与lidar点云相关联，该lidar点云可以是操作环境的静态或静止方面的点云标测图。
[0032]
根据一个方面，可以生成、处理或转化图像序列的图像、lidar图像序列的lidar图像、或lidar标测图，使得相应图像是操作环境的俯视图或鸟瞰图。换句话讲，可以对原始lidar点云和3d定界框进行处理并投影到俯视图像坐标中。
[0033]
对于每一τ δ(过去和未来)数量的点云，我们首先在世界坐标中使用gps/imu位置
估计将该子集转化为在时间t＝t
o-τ 1处的局部坐标。然后，根据一个方面，将这些转化后的点云投影到俯视图像空间上，该空间可以0.5m的分辨率被离散化。所投影的俯视图像ι中的每个小区可以具有高度、强度和密度的三信道(ci＝3)表示。可以通过激光扫描器获得高度和强度，并选择小区中的点的最大值。密度可以示出有多少点属于小区并且可以通过log(n 1)/log(64)来计算，其中n可以是小区中的点的数量。处理器122可以将每个信道归一化在[0,1]的范围内。从这些尺寸为h
×w×ci
的投影的俯视图像i，其中h＝w＝160，处理器122可以在时间t＝t
0-τ 1处在局部坐标中创建过去轨线x和未来轨线y的坐标。此外，处理器122可以从原始点云中移除动态移动的行为主体(运载工具和行人)，只留下静态元素，诸如道路、人行道、建筑物和通道。所得的点云在世界坐标中配准并因此被裁切以在t＝t
0-τ 1(与)相同)在局部坐标中构建大小为h
×w×cm
的标测图m。当自我意识运载工具停止通过红灯时，密度可能始终为高，并且当配准时，丘陵道路的高度可能不一致。因此，根据一个方面，可以使用cm＝1的强度值。
[0034]
根据一个方面，节点的传统定义可以从个别道路用户延伸到通过利用lidar图像序列的输入图像中的空间位置获得的时空特征表示。因此，边缘捕获来自道路用户(例如，其它检测到的运载工具)的时空交互的关系行为。可以定义无向且完全连接的曲线图g＝(v,e)，其中v可以是|v|＝n个节点的有限集合，并且ε可以是连接每对节点的关系边缘的集合。给定τ数量的输入图像，可以提取节点vi∈v，其中vi可以是d维向量，其表示离散化网格的第i个区域内的时空交互。
[0035]
两个节点(vi,vj)之间的关系边缘的特征r
ij
首先通过函数从时空的角度确定给定的交互对是否具有有意义的关系，然后可以用下面的函数θ来识别它们的关系r
ij
可以如何基于其过去的运动上下文qk来影响目标行为主体k的未来运动：
[0036][0037][0038]
其中是两个节点的级联，wr表示的权重参数，wf是θ的权重参数，并且qk是从在给定的感知信息中观察到的第k个行为主体的过去的轨线中提取的m维特征表示。可以从所有对中收集关系信息并执行逐元素求和，为第k个行为主体产生唯一的关系表示
[0039]
可以转移时空关系推断fk的知识来预测意图目标的概率以及面向目标的轨线。为了实现这一点，构建块可以从以下中组装：(i)关系推断，以使用关系图对运载工具的关系交互进行编码，(ii)意图估计以基于从感知上下文中推断出的关系来计算意图目标的概率分布，以及(iii)因果推理，以将驾驶员的面向目标的行为推理为根据意图目的地进行调节的未来位置。
[0040]
给定xk＝{im,xk}，所提出的框架旨在预测δ数量的可能性热图对于在i中观察到的第k个目标运载工具，其中是τ数量的过去的lidar图像，并且m是与i具有相同坐标的俯视
lidar标测图。处理器122可以从每个热图确定具有最大可能性的点的坐标，其对应于未来位置
[0041]
特征提取器132、交互编码器134、关系编码器136、意图估计器138、条件生成模型编码器142和轨线预测器144可以经由用于轨线预测的系统100的处理器122和存储器124来实现。
[0042]
特征提取器132可以基于lidar标测图生成特征提取器结果。换句话讲，lidar标测图可以通过特征提取器132被馈送以生成特征提取器结果。特征提取器132可以包括一个或多个2d卷积层或卷积层。
[0043]
交互编码器134可以基于lidar图像序列生成交互编码器结果。换句话讲，lidar图像序列可以通过交互编码器134被馈送以生成交互编码器结果。交互编码器134可以包括一个或多个2d卷积层或卷积层。根据一个方面，特征提取器132和交互编码器134可以具有2d卷积层的相同结构，但是接收不同的输入(例如，lidar序列与lidar标测图，其可以是单个图像)。以此方式，可以使用2d卷积从图像集编码空间行为。
[0044]
关系编码器136可以基于来自lidar图像序列、交互编码器结果和特征提取器结果的检测到的障碍物的过去的轨线来生成关系编码器结果。检测到的障碍物的过去的轨线可以是检测到的障碍物的过去的运动，该检测到的障碍物可以是检测到的运载工具。换句话讲，来自lidar图像序列、交互编码器结果和特征提取器结果的检测到的障碍物的过去的轨线可以通过关系编码器被馈送以生成关系编码器结果。根据一个方面，交互编码器结果和特征提取器结果可以被求和并且被提供作为对关系编码器136的输入。例如，通过对交互编码器结果和特征提取器结果(例如，其可以与lidar标测图相关联)求和并提供该和作为对关系编码器136的输入，可以诸如通过使用3d卷积来实现更准确的轨线预测。
[0045]
处理器122可以利用特征提取器结果、交互编码器结果和关系编码器结果来生成关系推断，该关系推断可以指示运载工具(例如，检测到的或感测到的运载工具)在操作环境内的关系行为。换句话讲，驾驶员的意图和行为之间的因果关系可以从对其朝向环境的关系交互(这可以由特征提取器结果、交互编码器结果和关系编码器结果来指示)的观察(例如，经由传感器112随时间推移)得出。
[0046]
可以由处理器122构建条件预测模型以预测面向目标的轨线。该条件预测模型可以用以下阶段进行训练：(i)关系推断，其中运载工具的关系交互可以使用感知上下文来编码；(ii)意图估计，以基于推断的关系计算意图目标的概率分布；以及(iii)因果推理，以将运载工具的行为推断为根据意图目的地进行调节的未来位置。条件概率预测模型可以构建为预测面向目标的轨线。首先，可以由意图估计器138估计运载工具的意图的概率分布(即，潜在目的地)。
[0047]
意图估计器138可以基于关系编码器结果生成意图估计结果。换句话讲，关系编码器结果可以通过意图估计器138被馈送以生成意图估计结果。意图估计器138可以包括一个或多个整流线性单元(relu)层(例如，作为激活函数)、一个或多个泄漏relu层、一个或多个非线性层以及一个或多个完全连接层。意图估计结果可以是与环境或操作环境内的不同区相关联的意图目标的概率分布。例如，根据一些方面，该概率分布可以表示为热图，如图6所示。以另一种方式解释，意图估计结果可以指示运载工具110的驾驶员或运载工具110的控
制器120期望移动到相关联的位置(诸如本文讨论的不同区)的可能性或概率。换句话讲，驾驶员的意图(例如，意图估计结果)与该驾驶员的行为之间可能存在因果关系。意图估计结果可以是对驾驶员期望的目的地的意图的估计。例如，该意图估计结果可以用于基于关系推断来预测驾驶员和他或她的运载工具的未来轨线。
[0048]
基于特征提取器结果、交互编码器结果和关系编码器结果，意图估计器138可以分析由用户或驾驶员驱动的运载工具110与其它运载工具之间的关系或相关联的相互关系、交互，确定相应运载工具的估计的意图，并且确定相应运载工具的相关联的目的地。
[0049]
接下来，可以由处理器122执行根据先前估计的意图类别的概率进行调节的多模态轨线预测。编码器或条件生成模型编码器142可以基于检测到的障碍物的过去的轨线、意图估计结果和概率标测图生成条件生成模型结果或编码器结果。换句话讲，检测到的障碍物的过去的轨线、意图估计结果和概率标测图可以通过编码器或条件生成模型编码器142被馈送以生成条件生成模型结果。条件生成模型编码器142可以包括一个或多个2d卷积层和一个或多个完全连接层。2d卷积层中的一个或多个卷积层可以与非线性单元函数相关联。根据一个方面，条件生成模型编码器142可以是任何编码器或任何条件生成模型编码器，并且轨线预测器144可以是任何解码器。在训练期间，可以调节与条件生成模型编码器142相关联的模型(例如，作为条件模型)。
[0050]
根据一个方面，条件生成模型编码器142编码器的输出可以是512维因子(例如，前256可以是最小值，并且接下来的256可以是方差)。对轨线预测器144的输入可以是相同的256维因子，并且从关系编码器136提取的特征可以由随机数掩蔽，这可以使用估计的中值方差来生成。
[0051]
条件生成模型编码器142可以预测每个运载工具的多个可能的轨线。对于给定的观察c，潜在变量z可以从先验分布p(z|c)中采样，并且输出热图h从分布p(h|z,c)中生成。因此，从条件分布中汲取的多个z允许系统使用相同的观察c对多个输出进行建模，其中是从x编码的过去运动上下文q和估计的意图g的级联。
[0052]
一般来讲，最大可能性推断中的真实后验p(z|h,c)可能是难以处理的。考虑具有由神经网络预测的变分参数的近似后验q(z|h,c)。因此，模型的变分下限写成如下：
[0053]
log p(h|c)≥-kl(q(z|h,c)||p(z|c)) e_(q(z/h,c))[log p(h|z,c)]
ꢀꢀ
(3)
[0054]
并且具有高斯潜变变量的目标变成
[0055][0056]
其中z
l
～q(z
l
|h,c)＝n(0,i)建模为高斯分布。在卷积神经网络之上，处理器122可以分别构建q(z|h,c)和p(h|z,c)作为条件生成模型编码器142编码器和轨线预测器144。在训练时，观察到的条件c首先与热图h级联，并且可以训练条件生成模型编码器142编码器以通过最小化kullback-leibler散度来学习近似先验分布p(z|c)。一旦学习了模型参数，则可以从相同的高斯分布中汲取潜在变量z。在测试时，随机样本z～n(0,i)可以使用逐元素乘法运算符生成并用关系特征f进行掩蔽。所得的变量可以通过轨线预测器144并与观察c级联以生成δ数量的热图
[0057]
可以训练基于条件生成模型编码器142的预测模型的意图估计器138采用关于运载工具意图的先验知识(在时间t＝t0 δ处)以进行面向目标的未来预测。给定从运载工具
交互中提取的关系特征f，可以通过具有以下relu激活函数的全连接层的集合为每个意图类别g∈{0,1,2,3,4}估计softmax概率sg。交叉熵可以从softmax概率来计算：
[0058][0059]
其中g可以是估计的意图类别，并且l是指示标识函数，如果m等于g，则其等于1，否则等于0。估计的意图g可用于调节模型预测的过程。计算出的softmax概率sg稍后在测试时用于对z的分布进行采样。
[0060]
轨线预测器144可以基于关系编码器结果、检测到的障碍物的过去的轨线和条件生成模型结果来生成轨线预测。例如，关系编码器结果、检测到的障碍物的过去的轨线和条件生成模型结果可以通过轨线预测器144被馈送。轨线预测器144可以包括一个或多个完全连接层和一个或多个解卷积层。轨线预测可以是与关联于环境内的不同区的意图目标相关联的轨线的概率分布，并且可以根据一些方面表示为热图。例如，区可以是交集的一部分，如图3所示，例如，参考0区、1区、2区、3区和4区。可以基于环境的不同区域之间的概率分布梯度来任意限定或限定区。
[0061]
根据一个方面，可以利用设计成约束模型依赖于感知场景上下文和时空先验的惩罚项。
[0062]
渗透惩罚
[0063]
渗透惩罚鼓励模型预测给定环境中可行驶道路边界内的所有未来位置。为确保预测不会渗透到道路外(即，人行道或建筑物)，检查预测的热图并使用以下项惩罚可行驶道路外的任何点：
[0064][0065]
其中函数b是具有阈值∈b的二元转化，d是可行驶道路内标注为零的二元掩码，并且j＝h
×
w是每个可能性热图中的像素的数量。
[0066]
不一致惩罚
[0067]
为了限制模型在相邻帧之间采用不切实际的速度变化，可以鼓励帧之间的时间一致性作为使预测轨线平滑的一种方式。在t＝t0时的当前速度应接近前一帧(t＝t
0-1)和下一帧(t＝t0 1)两者的速度。不一致惩罚限定为：
[0068][0069]
其中v
t
表示在时间t处的速度，并且
[0070]
e(a,x,b)＝max(0,min(a,b)-x) max(x-max(a,b),0)
ꢀꢀꢀ
(8)
[0071]
是对速度范围之外的预测进行轻度惩罚的项。
[0072]
分散惩罚
[0073]
模型可以被约束为输出更多自然的未来轨线，从而惩罚观察到大预测误差的情况。为了阻止模型的实际距离误差分布的分散，可以利用以下惩罚：
[0074][0075]
其中d
t
是在时间t处预测位置和地面实况之间的欧几里德距离，并且表示
的平均值。该ld惩罚特别有助于在同时使用l
p
项的情况下获得准确的未来位置。
[0076]
在训练时间处，所汲取的总损失可以如下最小化：
[0077]
l
优化
＝lc ls ζl
p
ηli μldꢀꢀꢀ
(10)
[0078]
前两项主要用于优化条件生成模型编码器142模块，该模块旨在近似先验并生成实际可能性预测。第三项主要导致模型的输出处于可驱动的道路中，并且最后两项涉及生成更真实的未来位置。损失权重可以设置为ζ＝1、η＝0.1并且μ＝0.01，这可以正确优化整个网络结构。
[0079]
基于关系编码器结果，处理器122或轨线预测器144可以估计特定运载工具的特定意图(例如，意图估计结果)。基于这些意图估计(例如，意图估计结果)，可以将未来轨线预测调节为更好的因果推理。也就是说，可以使行为主体的意图目的地与其中间配置之间的因果关系进行更准确的预测。以此方式，可以通过考虑交通场景中运载工具的行为意图来提供准确的运载工具轨线预测。因此，用于轨线预测的系统100可以包括运载工具轨线预测框架，该运载工具轨线预测框架从驾驶员的关系交互构造驾驶员的意图和行为之间的因果关系。运载工具轨线预测框架可以用于通过分析运载工具的关系行为来估计运载工具的意图。运载工具系统146中的一个或多个运载工具系统可以基于轨线预测被激活、致动、启用、禁用等。例如，可以基于另一运载工具的预测的轨线来激活碰撞避免、制动等。
[0080]
图2是根据一个方面的用于轨线预测的方法的流程图的示例性图示。用于轨线预测的方法可以包括：接收包括lidar图像集的lidar图像序列202；基于lidar图像序列生成lidar标测图204；通过经由交互编码器馈送lidar图像序列来生成交互编码器结果206；通过经由特征提取器馈送lidar标测图来生成特征提取器结果208；通过经由关系编码器馈送来自lidar图像序列的检测到的障碍物的过去的轨线、交互编码器结果和特征提取器结果来生成关系编码器结果210；通过经由意图估计器馈送关系编码器结果来生成意图估计结果212；通过经由条件生成模型编码器142编码器馈送检测到的障碍物的过去的轨线、意图估计结果和概率标测图来生成条件生成模型结果214；以及通过经由轨线预测器144馈送关系编码器结果、检测到的障碍物的过去的轨线和条件生成模型结果来生成对障碍物的轨线预测216。
[0081]
图3是根据一个方面的图1的用于轨线预测的系统100的实施方式300的示例性图示。参考所描绘的四个区(例如，0区、1区、2区、3区和4区)，基于运载工具110的路径轨线及其区的意图，则条件生成模型编码器142或编码器和解码器将训练沿该估计区输出。例如，编码器可以输出两个数字，诸如第一输出作为最小值，并且第二输出作为方差。有效地，可以训练条件生成模型编码器142或编码器和解码器以模拟数据的分布。如果假设目标分布将具有最小值0和方差1，则条件生成模型编码器142或编码器可以学习将输入特征嵌入到具有最小值0和方差1的相同分布中。一旦这样做，轨线预测器144则可以确定位置。尽管图3中描绘了4路交集，但是用于轨线预测的系统100可以为其他类型环境中的运载工具或行为主体生成轨线预测。
[0082]
图4a至图4b是根据一个方面的与轨线预测相关联的模型的示例性图示。时空图模型400a、400b被引入节点以表示道路使用者和边缘以表达他们彼此的时空交互。
[0083]
在图4a中，可以表示两个帧；在时间t＝t
0-1处的第一帧以及在时间t＝t0处的第二
帧。帧中的每个帧的节点中的每个节点表示运载工具，并且从第一帧移动到第二帧可以是时间步长的前进。节点之间的空间差可以指示或表示运载工具在时间步长上的位置的变化。换句话讲，基于两个帧上的每个区域，并且基于区域，运载工具相对于其它运载工具或环境可能存在一些行为或运动。
[0084]
可以经由空间边缘(例如，实线)和时间边缘(例如，虚线)来指示运载工具跨时间的位置的这些变化。进一步，例如，可以使用卷积神经网络结构作为时空交互来编码该信息。节点之间的连接可以是空间边缘或时间边缘。使用这些关系边缘，交互编码器134和关系编码器136可以推断给定运载工具的关系行为。为了对时空交互进行建模，空间边缘边捕获节点在每个时间步长处的相对运动，并且时间边缘捕获相邻帧之间的每个节点的时间运动。
[0085]
可以使用感受野内的卷积内核在视觉上计算时空特征。在时空域中，这些特征不仅含有道路使用者彼此之间的时空交互，还包含他们与当地环境的交互。
[0086]
在图4b中，在时间t＝t
0-1处的第一帧和在时间t＝t0处的第二帧的时空交互可以跨具有16个区域的4x4网格表示。从每个区域和每个时间戳，处理器122可以编码该特定区域内部的空间行为。可能不一定指定运载工具，而是由于卷积层的用户而聚焦区域。
[0087]
图5是根据一个方面的图1的用于轨线预测的系统100的实施方式500的示例性图示。在图5中，交互编码器134可以用于针对每个时间步长得出空间行为信息。然后，这些特征可以沿着时间轴线级联，并且3d卷积可以沿着时间轴线执行。以此方式，可以获得代表运载工具的空间交互的编码。关系编码器136可以输出关系编码器136的输出作为时空交互418，vi,vj，其可以被级联和处理以生成
[0088]
图6是根据一个方面或实施方式600的图1的用于轨线预测的系统100的轨线预测的示例性图示。可以在概率分布610、612、614、622和632中示出不同的轨线预测。
[0089]
又一方面涉及计算机可读介质，该计算机可读介质包括处理器可执行指令，该处理器可执行指令被配置为实现本文呈现的技术的一个方面。图7中示出了以这些方式设计的计算机可读介质或计算机可读装置的一方面，其中实施方式700包括计算机可读介质708，诸如cd-r、dvd-r、闪存驱动器、硬盘驱动器盘片等，计算机可读数据706在该计算机可读介质上进行编码。该编码的计算机可读数据706(诸如包括如706所示的多个零和一的二进制数据)又包括一组处理器可执行计算机指令704，该组指令被配置为根据本文阐述的原理中的一个或多个原理操作。在该实施方式700中，处理器可执行计算机指令704可以被配置为执行方法702，诸如图2的方法200。在另一方面，处理器可执行计算机指令704可以被配置为实现系统(诸如图1的系统100)。许多此类计算机可读介质可以由本领域的普通技术人员设计，其被配置为根据本文呈现的技术进行操作。
[0090]
如本技术中所用，术语“部件”、“模块”、“系统”、“接口”等一般旨在是指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是在处理器上运行的进程、处理单元、对象、可执行程序、执行线程、程序或计算机。作为说明，在控制器上运行的应用程序和控制器两者都可以是组件。驻留在进程或执行线程和组件内的一个或多个组件可以位于一台计算机上或分布在两台或更多台计算机之间。
[0091]
此外，所要求保护的主题被实现为使用标准编程或工程技术以产生软件、固件、硬
件或它们的任何组合来控制计算机实现所公开的主题的方法、设备或制品。如本文所用的术语“制品”旨在涵盖可从任何计算机可读装置、载体或介质访问的计算机程序。当然，在不脱离所要求保护的主题的范围或精神的情况下，可以对该配置做出许多修改。
[0092]
图8和以下讨论提供了用于实现本文阐述的规定中的一个或多个规定的方面的合适的计算环境的描述。图8的操作环境仅是合适的操作环境的一个示例，并且并不旨在对操作环境的使用范围或功能提出任何限制。示例性计算装置包括但不限于个人计算机、服务器计算机、手持式或膝上型装置、移动装置(诸如移动电话、个人数字助理(pda)、媒体播放器等)、多处理器系统、消费者电子装置、小型计算机、大型计算机、包括上述系统或装置中的任一个的分布式计算环境等。
[0093]
一般来说，在“计算机可读指令”可由一个或多个计算装置执行的一般上下文中描述各方面。计算机可读指令可以经由计算机可读介质分发，如下面将讨论。计算机可读指令可以被实现为执行一个或多个任务或实现一个或多个抽象数据类型的程序模块，诸如函数、对象、应用程序编程接口(api)、数据结构等。通常，计算机可读指令的功能性根据需要在各种环境中组合或分布。
[0094]
图8示出了包括被配置为实现本文提供的一个方面的计算装置812的系统800。在一个配置中，计算装置812包括至少一个处理单元816和存储器818。取决于计算装置的确切配置和类型，存储器818可以是易失性的(诸如ram)、非易失性的(诸如rom、闪存存储器等)或这两者的组合。该配置在图8中由虚线814示出。
[0095]
在其他方面，计算装置812包括附加特征或功能。例如，计算装置812可以包括附加存储装置，诸如可移动存储装置或不可移动存储装置，包括但不限于磁性存储装置、光学存储装置等。此类附加存储装置在图8中由存储装置820示出。在一个方面，用于实现本文提供的一个方面的计算机可读指令在存储装置820中。存储装置820可以存储其他计算机可读指令以实现操作系统、应用程序等。例如，计算机可读指令可以加载到存储器818中以供处理单元816执行。
[0096]
如本文所用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括在用于存储信息(诸如计算机可读指令或其他数据)的任何方法或技术中实现的易失性和非易失性、可移动和不可移动介质。存储器818和存储装置820是计算机存储介质的示例。计算机存储介质包括但不限于ram、rom、eeprom、闪存存储器或其他存储器技术、cd-rom、数字通用盘(dvd)或其他光学存储装置、盒式磁带、磁带、磁盘存储装置或其他磁性存储装置或可用于存储期望的信息并且可由计算装置812访问的任何其他介质。任何此类计算机存储介质都是计算装置812的一部分。
[0097]
术语“计算机可读介质”包括通信介质。通信介质通常以“经调制的数据信号”(诸如载波或其他传输机制)来体现计算机可读指令或其他数据并且包括任何信息传递介质。术语“经调制的数据信号”包括以对信号中的信息进行编码的方式设置或改变其特性中的一个或多个的信号。
[0098]
计算装置812包括输入装置824，诸如键盘、鼠标、笔、语音输入装置、触摸输入装置、红外相机、视频输入装置或任何其他输入装置。输出装置822(诸如一个或多个显示器、扬声器、打印机或任何其他输出装置)可以被包括在计算装置812中。输入装置824和输出装置822可以经由有线连接、无线连接或它们的任何组合连接到计算装置812。在一个方面，来
自另一计算装置的输入装置或输出装置可以用作计算装置812的输入装置824或输出装置822。例如，计算装置812可以包括通信连接826，以便于诸如通过网络828与一个或多个其他装置830进行通信。
[0099]
尽管用特定于结构特征或方法动作的语言描述了本主题，但是应当理解，所附权利要求书的主题不一定限于上述具体特征或动作。相反，上述具体特征和动作是作为示例性方面被公开。
[0100]
在本文提供了各方面的各种操作。描述操作中的一个或多个或全部的次序不应被解释为暗示这些操作必须是按次序的。将会基于该描述而知道替代排序。此外，并非所有操作都必须要存在于本文提供的每个方面中。
[0101]
如本技术中所用，“或”旨在表示包括性“或”而非排他性“或”。此外，包含性“或”可以包括它们的任何组合(例如，a、b或它们的任何组合)。另外，除非另外指明或从上下文清楚指向单数形式，否则如本技术中所用的“一个”和“一种”一般被解释为表示“一个或多个”。另外，a和b中的至少一个和/或相似的表达一般表示a或b或a和b两者。此外，就“包括(includes)”、“具有(having)”、“具有(has)”、“带有”或它们的变体在详细描述或权利要求书中使用来说，此类术语旨在以与术语“包括(comprising)”类似的方式是包括性的。
[0102]
此外，除非另有说明，否则“第一”、“第二”等并不表示暗示时间方面、空间方面、排序等。相反，此类术语仅用作特征、要素、项等的标识符、名称等。例如，第一信道和第二信道一般对应于信道a和信道b或两个不同或两个相同的信道、或同一信道。另外，“包括(comprising)”、“包括(comprises)”、“包括(including)”、“包括(includes)”等一般表示包括(comprising)或包括(including)但不限于。
[0103]
应当理解，上面公开的特征和功能以及其他特征和功能中的各种特征和功能或它们的替代物或变体可以理想地组合到许多其他不同系统或应用中。此外，本领域的技术人员可以之后做出本文的各种目前无法预料或无法预期的替代、修改、变化或改进，这些也旨在涵盖在所附权利要求书中。