一种障碍物未来轨迹的生成方法与流程

1.本发明涉及智能汽车自动控制领域，尤其涉及一种障碍物未来轨迹的生成方法。


背景技术：

2.智能驾驶汽车通过多个传感器感知周围的环境和障碍物信息，感知的结果送入运动规划系统，对智能驾驶汽车进行运动的规划，从而实现对车辆的自动控制。行为预测即对周围交通参与者进行未来运动轨迹的预判，准确的预测周围交通参与者的轨迹可以更有效地避免碰撞，保证智能驾驶汽车在复杂环境中安全行驶，还能提高规划控制的稳定性和舒适度。
3.现有研究中，主要可分为：基于物理模型和数据驱动的方法，基于物理模型的方法依据运动学原理根据历史轨迹预测未来轨迹，但这种方法只考虑被预测目标自身的运动信息，仅能进行短时的预测，长时的预测将会不准确；基于数据驱动的方法即采用机器学习或深度学习的方法，设计合适的机器学习或深度学习模型，通过数据训练的方式进行预测。基于数据驱动的方法能够结合目标历史信息、环境信息、周围目标交互信息，进行一个更准确的长时预测。然而，由于预测周围交通参与者的轨迹不是一个确定性的任务，受环境、驾驶员意图和驾驶习惯影响，如何准确预测周围交通参与者的未来轨迹，以提高智能驾驶车辆的行驶安全性和舒适性，是当下一个亟待解决的问题及难点。
4.例如，公开号为cn112347567a的一种车辆意图和轨迹预测的方法，提出的车辆意图和轨迹预测方法将预测人类驾驶行为简化为预测车辆会插入到哪个区域，通过车辆自身和邻居的信息判断车辆最终插入的区域，基于隐马尔可夫模型进行车辆意图的识别，结合车辆动力学模型进行轨迹预测。
5.公开号为cn113128326a的具有语义地图和lstm的车辆轨迹预测模型，提出一种结合语义地图的轨迹预测方法，采用lstm模型提取目标障碍物的动态特征，采用cnn模型学习图像地图的一部分中的驾驶环境的语义地图特征。结合目标障碍物的动态特征和驾驶环境的语义地图特征经过mlp获得轨迹预测信息。应用神经网络对预测间隔的连续时间点的移动障碍物的位置进行迭代预测，以完成所有时间点的预测。
6.公开号为cn112364997b的一种障碍物的轨迹预测方法及装置，通过目标障碍物周围的环境信息、目标障碍物的历史轨迹数据和预先确定的各参考轨迹，预测目标障碍物的意图属于该意图类型的概率，以及在该意图类型下目标障碍物的预测轨迹。其中，预先确定的参考轨迹根据预先采集到的若干个障碍物的真实轨迹，根据各个真实轨迹周围的环境信息，将真实轨迹划分为若干环境类型，针对每个环境类型，聚类该环境下的各个真实轨迹，并将聚类的轨迹作为该环境类型下的各参考轨迹，每个参考轨迹对应一个意图类型。


技术实现要素：

7.本发明主要解决现有技术忽略其他交通参与者的干扰导致轨迹预测失真严重的问题；提供一种障碍物未来轨迹的生成方法。
8.本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括训练阶段和预测阶段，训练阶段同时运行轨迹生成模型和轨迹判别模型，所述轨迹生成模型生成一系列带约束的预测未来轨迹，所述轨迹判别模型负责判别所生成的预测未来轨迹的真假；其中，训练阶段仅在开发时运行，在实际场景应用时，只运行预测阶段，即在产品开发时将产品进行训练后提高预测的精准度，当精准度达到要求后即可进行轨迹预测。
9.所述训练阶段执行以下步骤：a1:获取预测目标以及所述预测目标周围的其他障碍物的历史轨迹与真实未来轨迹，将所述历史轨迹与真实未来轨迹进行编码后得到所述历史轨迹与真实未来轨迹的编码特征，获取经分布采样的历史轨迹编码特征；提取所述预测目标周围的障碍物的交互特征，生成所述预测目标的预测未来轨迹；障碍物可以是所有类型的周围交通参与者，包括行人、机动车、非机动车；在训练阶段，采用的是已经发生的时刻，即预测目标和其他障碍物的历史轨迹和那一时刻的未来轨迹都已经被确认了，这一确认的未来轨迹称作真实未来轨迹，预测未来轨迹是生成模型生成的未来轨迹，与真实的未来轨迹有出入；提取了周围障碍物的交互特征后，将周围障碍物的影响作为预测未来轨迹的指标之一，提高了预测精度。
10.a2:获取预测目标所在场景的可行驶区域鸟瞰图，对所述预测目标的预测未来轨迹进行约束；由于在实际的交通场景中，有些地方是不可行驶的，比如单行道、公交车专用道、红灯路口等，需要利用这些条件对预测的轨迹进行约束才能使预测未来轨迹符合实际。
11.a3:交替更新所述判别模型和生成模型的权重；所述预测阶段执行以下步骤：b1：对所述预测目标以及预测目标周围的其他障碍物的历史轨迹进行编码得到所述预测目标以及预测目标周围的其他障碍物的历史轨迹编码特征，根据所述预测目标周围的其他障碍物的历史轨迹编码特征得到预测目标周围障碍物的交互特征；预测阶段是在真实应用场景下进行轨迹预测，所以没有真实未来轨迹；获取经分布采样的历史轨迹编码特征，由所述经分布采样的历史轨迹编码特征获得所述预测目标的预测未来轨迹；b2：将所述预测目标的预测未来轨迹投影至所述的可行驶区域鸟瞰图中对所述预测目标的预测未来轨迹进行约束；b3：执行步骤b1直到生成足够多条预测目标的预测未来轨迹，足够多条预测目标的预测未来轨迹指k条预测未来轨迹。
12.作为优选，若场景中有n个障碍物，以所述第i个障碍物为预测目标，则所述预测目标的第t时刻的历史轨迹的坐标表达式为：其中，τ为以t时刻为基准往前的τ个时刻，为预测目标t时刻时在世界坐标系下的坐标；所述预测目标的第t时刻的真实未来轨迹为：其中τ
′
为以t时刻为基准往后的τ
′
个时刻；历史轨迹histi和真实未来轨迹futurei是由多个时刻下预测目标在世界坐标系下的坐标点形成的一连串的轨迹，将这些坐标点称作轨迹点。
13.作为优选，所述训练阶段将历史轨迹histi编码后得到历史轨迹编码特征，未来轨迹futurei编码后得到未来轨迹编码特征；将所述历史轨迹编码特征和未来轨迹编码特征叠加后经过两个全连接层得到均值μ和方差σ2用于学习分布z(μ，σ2)～p(z|histi，futurei)，其中，z建模为高斯分布且z～n(0，i)；计算z(μ，σ2)与高斯分布n(0，i)的距离损失为：l1(i)＝kld(z(μ，σ2)，n(0，i))；对z(μ，σ2)进行随机采样得到一组隐变量，将所述隐变量经过多层感知机得到和历史轨迹编码特征相同维度的特征向量后经过归一化与所述历史轨迹编码特征相乘得到经分布采样的历史轨迹编码特征；训练阶段采用kl散度度量学习的分布z(μ，σ2)与高斯分布n(0，i)的距离损失。
14.作为优选，所述的根据权利要求2所述的一种障碍物未来轨迹的生成方法，其特征在于，对所述预测目标周围的所有障碍物的历史轨迹经过编码后得到周围障碍物的编码特征，对所述周围障碍物的编码特征求均值后得到所述预测目标周围障碍物的交互特征；将经分布采样的历史轨迹编码特征和预测目标周围障碍物的交互特征叠加后获得最终编码特征，将预测未来轨迹的最终编码特征解码后得到预测的第i个预测目标的未来轨迹的表达式其中，predictioni为预测未来轨迹。
15.作为优选，所述的根据权利要求3所述的一种障碍物未来轨迹的生成方法，其特征在于，对分布z(μ，σ2)进行k次随机采样生成k组预测目标的预测未来轨迹，第k组预测目标的预测未来轨迹的表达式为其中，(k∈k)；在训练阶段，利用k组预测的第i个障碍物的未来轨迹prediction
ik
与所述的真实未来轨迹futurei计算得到均方差损失为：
16.作为优选，获取自动驾驶车辆所在场景的可行驶区域鸟瞰图；将所述预测未来轨迹中的点投影至可行驶区域鸟瞰图中，根据可行驶区域对预测未来轨迹的轨迹点进行约束；可行驶区域鸟瞰图可以由视觉或激光传感器获得的数据识别得到，通过可行驶区域的约束，将预测未来轨迹中的不合理轨迹去除，优化预测未来轨迹。
17.作为优选，依次将所述预测未来轨迹中的轨迹点投影至鸟瞰图中，根据可行驶区域鸟瞰图，计算所述轨迹点到可行驶区域的最短距离其中，对应未来的某一时刻，若所述轨迹点投影在可行驶区域内，则计算约束损失其中，α，β，γ为超参数常量，用于计算距离相关的约束值，β，γ用于调节约束强度，距离越大说明越偏离可行驶区域，惩罚也越大即损失越大，为与时间相关的调节因子，越小影响越大惩罚越大损失越大，目的是希望越接近当前时刻预测的轨迹点更准确。
18.作为优选，所述判别模型的权重更新包括：将所述的历史轨迹和预测未来轨迹拼接成完整轨迹送入判别模型，所述完整轨迹经过编码后由多层感知器得到轨迹真假的概率值pred
ik
，与标签gt
ik
值计算交叉熵损失，对应标签gt
ik
为假；将历史轨迹和真实未来轨迹拼接后再次送入判别模型，完整轨迹经过编码后经过多层感知器得到轨迹是否真假的概率值
pred
i_real
，与标签gt
i_real
值计算交叉熵损失，对应标签gt
i_real
为真；判别损失l4(i)计算为判别模型总损失loss
d_i
＝l4(i)；所述生成模型的权重更新包括：将所述的历史轨迹和生成轨迹拼接成一条完整轨迹送入判别模型，完整轨迹经过编码后经过多层感知器得到轨迹是否真假的概率值pred
ik
，与标签gt
ik
值计算交叉熵损失，此时，对应标签gt
ik
为真；此时判别损失表达为：生成模型总损失需要将生成模型的和判别模型的损失进行加权求和：loss
g_i
＝α1l1(i) α2l2(i) α3l3(i) α4l4(i)，其中，α1，α2，α3，α4为对应的损失权重。
19.作为优选，所述预测阶段对所述的预测目标以及预测目标周围的障碍物的历史轨迹编码后得到预测目标以及预测目标周围的障碍物的历史轨迹的编码特征，对所述编码特征求均值获得预测目标的周围障碍物的交互特征；根据学习的分布z(μ，σ2)进行随机采样后得到的隐变量得到特征向量，将所述特征向量归一化后与历史轨迹编码特征相乘得到经分布采样的历史轨迹编码特征；经分布采样的历史轨迹编码特征和预测目标周围障碍物的交互特征叠加获得最终编码的特征，解码后获得预测未来轨迹的坐标表达式所述预测未来轨迹predictioni中的点投影至可行驶区域鸟瞰图中，对预测未来轨迹进行约束，将超出可行驶区域轨迹去除；再次根据分布z(μ，σ2)进行随机采样，重复上述过程，直到生成k条预测未来轨迹，这k条预测未来轨迹即作为预测目标未来可能的行驶轨迹；预测阶段学习的分布与训练阶段学习分布的步骤相同。
20.本发明的有益效果是：1.生成模型充分考虑被预测目标的历史轨迹特征和周围车辆的交互特征，提高预测的精度；2.通过判别模型的学习使得网络能够获得更加真实的轨迹；3.通过对生成的轨迹进行可行驶区域约束，过滤不合理的轨迹，获得更加合理有效的轨迹；4.适用于所有类型周围交通参与者，包括行人、机动车、非机动车；5.轨迹生成阶段考虑了其他交通参与者的影响，通过网络自动学习到被预测目标在不同环境下的多意图行为，充分表达未来轨迹的不确定性。
附图说明
21.图1是本发明的一种障碍物未来轨迹的生成方法的训练阶段流程示意图；图2是本发明的一种障碍物未来轨迹的生成方法的预测阶段流程示意图。
具体实施方式
22.下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
23.实施例：本实施例的一种障碍物未来轨迹的生成方法，如图1、图2所示，主要应用于自动驾
驶汽车，本方法结合cvae和gan的多轨迹生成方法，包括训练阶段和预测阶段，其中，只有在对产品进行开发时才运行训练阶段；而在产品真正投入使用后，仅实施预测阶段来对未来轨迹进行预测；训练阶段同时运行轨迹生成模型和轨迹判别模型，轨迹生成模型以历史轨迹的编码特征和未来轨迹的编码特征作为条件，学习轨迹编码特征的一个高斯分布，再根据高斯分布采样结合历史轨迹编码特征和周围交通车辆的交互特征解码后生成一系列带约束的轨迹，判别模型中负责判别所生成的轨迹的真假；预测阶段只运行生成模型，根据训练阶段学习到的高斯分布经过多次采样，再结合历史轨迹编码特征和周围交通参与者的交互特征经过解码器后生成预测未来轨迹，生成预测未来轨迹经过投影后，去除可行驶区域外的轨迹，得到最终的多条轨迹。
24.为了清楚地表达轨迹，可以将预测目标看作行驶在世界坐标系上，预测目标的轨迹即由世界坐标系上的一个个坐标点形成。
25.假设当前时刻为第t时刻，在自动驾驶车辆的交通场景中有n个其他交通参与者，将其他交通参与者视作障碍物，则第i个障碍物在第t时刻的历史轨迹为：τ为以t时刻为基准往前的τ个时刻，τ表明了历史轨迹的长度；第t时刻的未来轨迹为：其中τ
′
为以t时刻为基准往后的τ
′
个时刻，τ
′
表明了未来轨迹的长度。
26.在训练阶段，利用自动驾驶车辆上的传感器获得自动驾驶车辆及周围车辆的历史轨迹和未来轨迹，该历史轨迹和未来可以由视觉或激光传感器获得的数据识别得到的，具体识别方法本实施例中不做详细介绍；对第i个预测目标，历史轨迹histi经过编码器1得到历史轨迹编码特征，未来轨迹futurei经过编码器2得到未来轨迹编码特征，历史轨迹编码特征和未来轨迹编码特征叠加后经过两个全连接层，得到均值μ和方差σ2，用于学习分布z(μ，σ2)～p(z|histi，futurei)，z建模为高斯分布，z～n(0，i)；训练阶段采用kl散度度量学习的分布z(μ，σ2)与高斯分布n(0，i)的距离损失:l1(i)＝kld(z(μ，σ2)，n(0，i))；接下来再根据学习的分布z(μ，σ2)～p(z|histi，futurei)进行随机采样，得到一组隐变量，该隐变量经过多层感知机得到和历史轨迹编码特征相同维度的特征向量，再经过softmax归一化与历史轨迹编码特征相乘，得到经分布采样的历史轨迹编码特征。
27.同时，提取第i个目标周围车辆的交互特征，具体方法如下：对第i个预测目标周围所有障碍物的历史轨迹分别经过编码器3获得周围车辆的历史轨迹的编码特征，再对这些障碍物的历史轨迹编码特征求均值获得第i个预测目标周围障碍物的交互特征；由经分布采样的历史轨迹编码特征和障碍物的交互特征叠加获得最终编码的特征，最终编码的特征再经过解码器，获得预测未来轨迹的坐标表达经过对学习的分布进行k次随机采样，生成k组轨迹，在训练阶段，这k组生成轨迹prediction
ik
与真实未来轨迹futurei计算均方误差损失
28.获得自动驾驶车辆所在场景的可行驶区域鸟瞰图，该可行驶区域鸟瞰图可以由视觉或激光传感器获得的数据识别得到，具体识别方法本实施例不做详细介绍；将生成轨迹prediction
ik
中的点投影至可行驶区域鸟瞰图中，根据可行驶区域对生成轨迹的轨迹点进行约束，具体方法为：依次将预测未来轨迹prediction
ik
中的轨迹点投影至鸟瞰图中，根据可行驶区域鸟瞰图，计算该轨迹点到可行驶区域的最短距离可行驶区域鸟瞰图，计算该轨迹点到可行驶区域的最短距离对应未来的某一时刻，其中，若该轨迹点投影在可行驶区域内，则根据轨迹点到可行驶区域的最短距离和未来的时刻点计算约束损失，基于可行驶区域的约束损失其中，α，β，γ为超参数常量，计算距离相关的约束值，β，γ用于调节约束强度，距离越大说明越偏离可行驶区域，惩罚也越大即损失越大，为与时间相关的调节因子，越小影响越大惩罚越大损失越大，目的是希望越接近当前时刻预测的轨迹点更准确。
29.判别模型由一个编码器4和多层感知器组成；在整个训练过程中，判别模型和生成模型权重交替更新。
30.更新判别模型的过程如下：将历史轨迹histi和预测未来轨迹prediction
ik
拼接成一条完整轨迹送入判别模型，完整轨迹经过编码器4编码后经过多层感知器得到轨迹是否真假的概率值pred
ik
，与标签gt
ik
值计算交叉熵损失，对应标签gt
ik
为假；同时，将历史轨迹histi和真实未来轨迹futurei拼接后再次送入判别模型，完整轨迹经过编码器4编码后经过多层感知器得到轨迹是否真假的概率值pred
i_real
，与标签gt
i_real
值计算交叉熵损失，对应的标签gt
i_real
即为真；此时，得到判别损失的表达式为：判别模型总损失loss
d_i
＝l4(i)，判别模型总损失用于更新判别模型对应的权重。
31.更新生成模型的过程如下：将历史轨迹histi和生成轨迹predicton
ik
拼接成一条完整轨迹送入判别模型，完整轨迹经过编码器4编码后经过多层感知器得到轨迹是否真假的概率值pred
ik
，与标签gt
ik
值计算交叉熵损失，此时，对应标签gt
ik
为真；此时，判别损失表达为：生成模型总损失需要将生成模型和判别模型的损失进行加权求和：loss
g_i
＝α1l1(i) a
2 l2(i) α
3 l3(i) α
4 l4(i)，其中，α1，α2，α3，α4为对应的损失权重，生成模型总损失用于更新生成模型对应的权重。
32.其中，以上提到的编码器1，2，3，4可以为一维卷积网络或rnn系列循环神经网络比如lstm,gru等，解码器可以为rnn系列循环神经网络(lstm,gru等)。
33.执行预测阶段时，自动驾驶汽车在真实的驾驶场景下对周围障碍物的轨迹进行预测，此时只有历史轨迹信息，而无未来轨迹信息。预测阶段的具体过程为：对第i个预测目标，历史轨迹histi经过编码器1得到历史轨迹编码特征，对第i个预测目标周围障碍物的历史轨迹分别经过编码器3获得周围障碍物的编码特征，再对这些障碍物的编码特征求均值
后获得第i个预测目标周围障碍物的交互特征。
34.根据分布z(μ，σ2)进行随机采样，得到一组隐变量，该隐变量经过多层感知机得到和历史轨迹的编码特征相同维度的特征向量，再经过softmax归一化后与历史轨迹编码特征相乘，得到经分布采样的历史轨迹编码特征；由经分布采样的历史轨迹编码特征和周围障碍物的交互特征叠加获得最终编码的特征，再经过解码器，获得预测未来轨迹的坐标表达式为：将预测未来轨迹predictioni中的点投影至可行驶区域鸟瞰图中，根据可行驶区域对生成轨迹的轨迹点进行约束，将超出可行驶区域的轨迹点对应的轨迹去除；再次根据分布z(μ，σ2)进行随机采样，重复上述过程，直到生成k条轨迹:
35.其中，以上提到的k值可以根据实际需要采取不同的k值，在本实施例中，k值一般取6、8、10。
36.当前自动驾驶车辆周围的其他障碍物的未来轨迹均可按照上述第i个预测目标的预测方法进行预测和生成。
37.在本实施例中，通过结合cvae和gan的多轨迹生成方法，采用数据驱动的方式，学习生成模型和判别模型，生成模型中学习在给定历史轨迹和未来轨迹特征下的分布z(μ，σ2)，通过学习到分布进行多次随机采样，生成多条轨迹，生成模型充分考虑被预测目标的历史轨迹特征和周围车辆的交互特征，通过判别模型的学习使得网络能够获得更加真实的轨迹；同时，通过对生成的轨迹进行可行驶区域约束，过滤不合理的轨迹，获得更加合理有效的轨迹。
38.此外，在本实施例中的方法可适用于所有类型周围交通参与者，包括行人、机动车、非机动车，只需要获得场景下对应类型的可行驶区域和目标的轨迹信息即可使用本发明的方法；若只有目标的轨迹信息同样可以生成多轨迹，只是缺少可行驶区域的约束。
39.应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。