运动轨迹预测方法、装置、计算机设备和存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种运动轨迹预测方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着计算机技术的发展，在自动驾驶过程中，需要通过线上平台的机器学习模型实时计算出目标物体在未来一段时间内的运动轨迹，为保证计算的实时性，通常需要减少机器学习模型的计算量，因此线上平台的机器学习模型根据由经过下采样的环境数据生成的运动数据进行轨迹预测。在对机器学习模型进行训练时，作为训练样本的运动数据，与机器学习模型在实际进行预测时使用的运动数据应该具有相同的数据分布。因此传统方法中，使用根据由经过下采样的环境数据获得的运动数据对机器学习模型进行训练，由于经过下采样的环境数据具有较大的噪声抖动，训练所得的预测模型预测准确性低，导致通过预测模型预测所得的运动轨迹准确性低。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够提高准确性的运动轨迹预测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
4.第一方面，本技术提供了一种运动轨迹预测方法。所述方法包括：
5.获取对目标环境进行采集所得的环境数据样本，以及对所述环境数据样本进行下采样所得的下采样环境数据样本；
6.分别对所述环境数据样本以及所述下采样环境数据样本进行运动感知处理，得到所述目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；
7.基于所述第一运动数据样本以及所述第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；
8.通过所述预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
9.第二方面，本技术还提供了一种运动轨迹预测装置。所述装置包括：
10.获取模块，用于获取对目标环境进行采集所得的环境数据样本，以及对所述环境数据样本进行下采样所得的下采样环境数据样本；
11.处理模块，用于分别对所述环境数据样本以及所述下采样环境数据样本进行运动感知处理，得到所述目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；
12.训练模块，用于基于所述第一运动数据样本以及所述第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；
13.预测模块，用于通过所述预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
14.在一个实施例中，所述训练模块，还用于：
15.在所述第二运动数据样本中，提取所述目标环境中的目标物体在第一时间段内的第一目标数据样本；
16.在所述第一运动数据样本中，提取所述目标物体在所述第二时间段内的第二目标数据样本；所述第二时间段是所述第一时间段相邻的下一时间段；
17.根据由所述第一目标数据样本与所述第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。
18.在一个实施例中，所述训练模块，还用于：
19.在所述第一运动数据样本中，提取所述目标物体对应的第一跟踪标识；
20.在所述第二运动数据中，查找所述第一跟踪标识匹配的第二跟踪标识；
21.根据所述第二跟踪标识，在所述第二运动数据样本中，提取所述目标物体在所述第二时间段内的第二目标数据样本。
22.在一个实施例中，所述装置还包括：
23.确定模块，用于基于所述第一运动数据，确定所述目标环境中各物体的运动时长；在所述目标环境内的各物体中，若所述物体对应的运动时长大于预设时长，将所述物体作为目标物体；所述预设时长大于所述第一时间段的长度与所述第二时间段的长度之和。
24.在一个实施例中，所述训练模块，还用于：
25.通过所述预训练的机器学习模型，根据所述第二运动数据样本进行预测，得到预测轨迹数据；
26.根据所述第一运动数据样本进行计算，得到轨迹标签数据；
27.基于所述预测轨迹数据与所述轨迹标签数据计算损失值；
28.根据所述损失值对所述预训练的机器学习模型的参数进行调整，得到预测模型。
29.在一个实施例中，所述装置还包括：
30.所述获取模块，还用于在自动驾驶过程中，获取采集驾驶环境所得的环境数据；
31.下采样模块，用于对所述环境数据进行下采样，得到下采样环境数据；
32.所述预测模块，还用于：
33.根据所述下采样环境数据进行运动感知处理，得到运动数据；
34.通过所述预测模型对所述运动数据进行预测，得到所述驾驶环境中各物体的运动轨迹。
35.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
36.获取对目标环境进行采集所得的环境数据样本，以及对所述环境数据样本进行下采样所得的下采样环境数据样本；
37.分别对所述环境数据样本以及所述下采样环境数据样本进行运动感知处理，得到所述目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；
38.基于所述第一运动数据样本以及所述第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；
39.通过所述预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
40.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
41.获取对目标环境进行采集所得的环境数据样本，以及对所述环境数据样本进行下采样所得的下采样环境数据样本；
42.分别对所述环境数据样本以及所述下采样环境数据样本进行运动感知处理，得到所述目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；
43.基于所述第一运动数据样本以及所述第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；
44.通过所述预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
45.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
46.获取对目标环境进行采集所得的环境数据样本，以及对所述环境数据样本进行下采样所得的下采样环境数据样本；
47.分别对所述环境数据样本以及所述下采样环境数据样本进行运动感知处理，得到所述目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；
48.基于所述第一运动数据样本以及所述第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；
49.通过所述预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
50.上述运动轨迹预测方法、装置、计算机设备、存储介质和计算机程序产品，获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本。然后分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本。基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型。由于基于未经过下采样处理的环境数据样本所得的第一运动数据样本，噪声抖动较小，可以准确的描述目标环境中物体的运动情况，因此，通过在模型训练时使用第一运动数据样本可以提高训练所得的预测模型的预测准确性，进一步的，通过预测模型进行预测所得的运动轨迹更加准确。并且，由于第二运动数据样本是通过下采样环境数据样本所得，第二运动数据样本和线上平台的预测模型在实际进行预测时所使用的数据具有相同的数据分布，因此，训练所得的预测模型可以应用于线上平台，对由下采样环境数据所得的、轻量级的运动数据进行预测，得到准确的运动轨迹。
附图说明
51.图1为一个实施例中运动轨迹预测方法的应用环境图；
52.图2为一个实施例中运动轨迹预测方法的流程示意图；
53.图3为一个实施例中运动轨迹的示意图；
54.图4为一个实施例中预测模型训练方法的流程示意图；
55.图5为一个实施例中提取第二目标数据样本方法的流程示意图；
56.图6为一个实施例中标注跟踪标识的示意图；
57.图7为另一个实施例中运动轨迹预测方法的流程示意图；
58.图8为一个实施例中运动轨迹预测装置的结构框图；
59.图9为另一个实施例中运动轨迹预测装置的结构框图；
60.图10为一个实施例中计算机设备的内部结构图。
具体实施方式
61.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
62.本技术实施例提供的运动轨迹预测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104从终端102获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本；分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；通过预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。其中，终端102可以但不限于是智能车载设备或者便携式可穿戴设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
63.在一个实施例中，如图2所示，提供了一种运动轨迹预测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
64.s202，获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本。
65.其中，目标环境可以是包括各种运动物体的环境。例如，目标环境可以是交通工具的驾驶环境。环境数据样本是对目标环境进行采集所得的数据样本，可以是通过激光雷达对目标环境进行扫描所得的点云数据样本，或者通过摄像机对目标环境进行采集所得的图像数据样本、视频数据样本等。图像数据样本可以是彩色的图像数据样本，或者也可以是黑白的图像数据样本；视频数据样本可以是彩色的视频数据样本，或者也可以是黑白的视频数据样本。对环境数据样本进行下采样可以是在空间上对环境数据样本进行下采样，或者也可以是在时间上对环境数据样本进行下采样。例如，服务器可以在空间上对m
×
n的图像数据样本进行s倍下采样，得到(m/s)
×
(n/s)的图像数据样本。例如，服务器可以在时间上对包含n个视频帧的视频数据样本进行下采样，从视频数据样本中抽取n(1≤n《n)帧作为下采样环境数据样本。
66.s204，分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本。
67.其中，运动感知处理是获取运动物体的运动情况的处理过程，包括目标检测和运动跟踪。目标检测是用于检测出目标环境中的各种物体的处理过程。运动跟踪是用于对检
测出的物体进行跟踪的处理过程。
68.其中，运动数据样本为描述物体运动情况的数据样本，包括物体在世界坐标系中的位置坐标(x，y，z)、运动速度(v_x，v_y，v_z)、加速度(a_x，a_y，a_z)、朝向角(heading)以及尺寸(长，宽，高)等。第一运动数据样本为对环境数据样本进行运动感知处理所得的运动数据样本，第二运动数据样本为对下采样环境数据样本进行运动感知处理所得的运动数据样本。由于下采样环境数据样本经过下采样，损失了部分数据，数据精度较低，因此，第二运动数据样本的精度小于第一运动数据样本的精度。
69.在一个实施例中，服务器通过线下感知模型对环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本；通过线上感知模型对下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第二运动数据样本。
70.其中，线下感知模型是在线下平台运行的感知模型，包括检测模型与跟踪模型。检测模型用于检测目标环境中存在的物体。跟踪模型用于对检测出的物体进行运动跟踪。由于线下感知模型运行在线下平台，对数据处理的实时性要求较低，可以具有复杂模型结构，使用数据量较大的环境数据样本进行运动感知处理。例如，线下感知模型中的检测模型可以是3d auto labelling(3d自动标注)模型、auto4d模型等。
71.其中，线上感知模型是在线上平台运行的感知模型，包括检测模型与跟踪模型。由于线上感知模型运行在线上平台，对数据处理的实时性要求较高，相比于线下感知模型的模型结构更加简单，为轻量级的模型，使用数据量较小的下采样环境数据样本进行运动感知处理。例如，线下感知模型中的检测模型可以是pointpillar(点云检测)模型或者pointvoxel-rcnn(point voxel-region convolutional neural network，三维体素区域卷积神经网络)模型等。
72.s206，基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型。
73.其中，机器学习模型是基于机器学习技术构造的人工智能模型，可以是神经网络模型、卷积神经网络模型、深度学习模型等。例如，机器学习模型可以是scene transformer模型，mm transformer模型、vectornet模型或者multipath 模型等。
74.在一个实施例中，服务器对第一运动数据样本与第二运动数据样本进行拼接，得到训练数据样本，并用训练数据样本对预训练的机器学习模型进行训练。然后，通过训练所得的预测模型对第二运动数据进行测试，得到测试结果。当测试结果满足训练停止条件时，确定机器学习模型训练完成，将训练完成的机器学习模型作为预测物体运动轨迹的预测模型。其中，训练停止条件为用于判断机器学习模型是否训练完成的条件，例如，训练停止条件可以是测试结果的准确率高于预设数值。
75.s208，通过预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
76.其中，运动轨迹为物体从开始位置移动到结束位置所经过的路线，可以用物体移动过程中所经过的各个点的位置坐标来表示。例如，如图3所示，机动车从a点移动到b点，运动轨迹为从a点到b点的曲线。
77.在一个实施例中，s208之前还包括：在自动驾驶过程中，获取采集驾驶环境所得的环境数据；对环境数据进行下采样，得到下采样环境数据；s208具体包括：根据下采样环境
数据进行运动感知处理，得到运动数据；通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
78.其中，环境数据是对驾驶环境进行采集所得的数据，可以是通过激光雷达扫描驾驶环境所得的点云数据或者通过摄像机采集的图像数据、视频数据等。图像数据可以是彩色的图像数据，或者也可以是黑白的图像数据；视频数据可以是彩色的视频数据，或者也可以是黑白的视频数据。对环境数据进行下采样可以是在空间上对环境数据进行下采样，或者也可以是在时间上对环境数据进行下采样。
79.服务器在训练得到预测模型后，将预测模型部署到线上平台进行使用，服务器通过线上感知模型对下采样环境数据进行运动感知处理，得到运动数据，然后再通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
80.上述实施例中，获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本。然后分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本。基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型。由于基于未经过下采样处理的环境数据样本所得的第一运动数据样本，噪声抖动较小，可以准确的描述目标环境中物体的运动情况，因此，通过在模型训练时使用第一运动数据样本可以提高训练所得的预测模型的预测准确性，进一步的，通过预测模型进行预测所得的运动轨迹更加准确。并且，由于第二运动数据样本是通过下采样环境数据样本所得，第二运动数据样本和线上平台的预测模型在实际进行预测时所使用的数据具有相同的数据分布，因此，训练所得的预测模型可以应用于线上平台，对由下采样环境数据所得的、轻量级的运动数据进行预测，得到准确的物体运动轨迹。
81.在一个实施例中，如图4所示，s206具体包括如下步骤：
82.s402，在第二运动数据样本中，提取目标环境中的目标物体在第一时间段内的第一目标数据样本。
83.其中，目标物体可以是目标环境中的任意物体，包括机动车、行人、动物等。第一时间段为目标物体出现在目标环境中的任意时间段，例如，第一时间段可以是目标物体在目标环境中出现的第1秒至第3秒的时间段。第一目标数据样本是目标物体在第一时间段内的运动数据。例如，第一目标数据样本包括目标物体在第1-3秒的位置坐标、速度、加速度、朝向角或者尺寸等。
84.在一个实施例中，第二运动数据样本为[t1_onboard，t2_onboard，t3_onboard]，其中，t1_onboard、t2_onboard、t3_onboard分别为目标物体在[0，t1]、(t1，t2]、(t2，t3]时间段内的第二运动数据样本，服务器所提取的第一目标数据样本可以为t1_onboard。
[0085]
s404，在第一运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本；第二时间段是第一时间段相邻的下一时间段。
[0086]
其中，第二时间段是第一时间段相邻的下一时间段。例如，第一时间段为0-3秒的时间段，第二时间段为3-8秒的时间段。第二目标数据样本是目标物体在第二时间段内的运动数据样本。例如，第二目标数据样本包括目标物体在第3-8秒的位置坐标、速度、加速度、朝向角或者尺寸等。
[0087]
在一个实施例中，第一运动数据样本为[t1_offboard，t2_offboard，t3_
offboard]，第二运动数据样本为[t1_onboard，t2_onboard，t3_onboard]。其中，t1_offboard、t2_offboard与t3_offboard分别为目标物体在[0，t1]、(t1，t2]与(t2，t3]时间段内的第一运动数据样本；t1_onboard、t2_onboard、t3_onboard分别为目标物体在[0，t1]、(t1，t2]、(t2，t3]时间段内的第二运动数据样本。当服务器所提取的第一目标数据样本为t1_onboard时，服务器所提取的第二目标数据样本为t2_offboard。
[0088]
s406，根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。
[0089]
服务器根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，例如，服务器根据[t1_onboard，t2_offboard]对预训练的机器学习模型进行训练，得到预测模型。
[0090]
在一个实施例中，s406具体包括：通过预训练的机器学习模型，根据第一目标数据样本进行预测，得到预测轨迹数据；根据第二目标数据样本进行计算，得到轨迹标签数据；基于预测轨迹数据与轨迹标签数据计算损失值；根据损失值对预训练的机器学习模型的参数进行调整，得到预测模型。
[0091]
其中，轨迹标签数据为根据第二目标数据样本计算所得的实际运动轨迹数据。损失值用于表示预测轨迹数据与轨迹标签数据间的差异。在一个实施例中，服务器可以通过交叉熵损函数、指数损失函数、对数损失函数、绝对值损失函数等计算损失值。
[0092]
上述实施例中，服务器在第二运动数据样本中，提取目标环境中的目标物体在第一时间段内的第一目标数据样本。然后，服务器在第一运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本。根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。由于第二运动数据样本和线上平台的预测模型在实际进行预测时所使用的数据具有相同的数据分布，因此，通过从第二运动数据样本中提取的第一目标数据样本训练所得的预测模型可以应用于线上平台。由于第一运动数据样本的噪声抖动较小，可以准确的描述目标环境中物体的运动情况，因此，在模型训练时使用第一运动数据样本作为测试数据，可以提高训练所得的预测模型的预测准确性。
[0093]
在一个实施例中，s402之前还包括：基于第一运动数据，确定目标环境中各物体的运动时长；在目标环境内的各物体中，若物体对应的运动时长大于预设时长，将物体作为目标物体；预设时长大于第一时间段的长度与第二时间段的长度之和。
[0094]
其中，运动时长为物体出现在目标环境中的时长，从物体进入目标环境开始到离开目标环境的时间长度。预设时长为预先设置的时间长度，大于第一时间段的长度与第二时间段的长度之和。例如，第一时间段的长度为3秒，第二时间段的长度为5秒，则预设时长可以设置为10秒。
[0095]
服务器对目标环境内的各物体进行筛选，去除运动时长小于预设时长的物体，将运动时长大于预设时长的物体作为目标物体。由于预设时长大于第一时间段的长度与第二时间段的长度之和，所以目标物体在第一时间段与第二时间段内均具有完整的第一目标数据样本与第二目标数据样本，保证了用于训练的数据样本的完整性。
[0096]
上述实施例中，服务器确定目标环境中各物体的运动时长，将运动时长大于预设时长的物体作为目标物体，然后分别提取目标物体对应的第一目标数据样本以及第二目标
数据样本，并根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。从而保证了用于训练的数据样本的完整性，提高了训练所得的预测模型的准确性。
[0097]
在一个实施例中，如图5所示，s404具体包括如下步骤：
[0098]
s502，在第一运动数据样本中，提取目标物体对应的第一跟踪标识。
[0099]
其中，第一跟踪标识(tracking id)为目标物体在第一运动数据样本中的标识。例如，如图6所示，机动车的跟踪标识为1，树木的跟踪标识为2，儿童的跟踪标识为3。
[0100]
s504，在第二运动数据中，查找第一跟踪标识匹配的第二跟踪标识。
[0101]
由于同一目标物体在第一运动数据样本与第二运动数据中的跟踪标识可能并不相同，服务器在第二运动数据中，查找第一跟踪标识匹配的第二跟踪标识，以找到第二运动数据中的目标物体，使所提取的第一目标数据样本与第二目标数据样本为同一目标物体的数据样本。
[0102]
在一个实施例中，服务器可以通过匈牙利算法(hungarian algorithm)或者km(kuhn-munkres algorithm)算法等查找第一跟踪标识匹配的第二跟踪标识。
[0103]
s506，根据第二跟踪标识，在第二运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本。
[0104]
服务器在第二运动数据样本中，提取第二跟踪标识对应的目标物体在第二时间段内的第二目标数据样本。例如，目标物体a在第一运动数据样本中的第一跟踪标识为1，服务器查找到目标物体a在第二运动数据样本中对应的第二跟踪标识为2，在第二运动数据样本中，提取跟踪标识为2的目标物体在第二时间段内的第二目标数据样本。
[0105]
上述实施例中，服务器在第一运动数据样本中，提取目标物体对应的第一跟踪标识，在第二运动数据中，查找第一跟踪标识匹配的第二跟踪标识并根据第二跟踪标识，在第二运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本。实现了将目标物体在第一运动数据样本中的跟踪标识与在第二运动数据样本中的跟踪标识相关联，以将第一运动数据样本与第二运动数据样本中的同一目标物体相匹配。继而可以提取出同一目标物体对应的第一目标数据样本与第二目标数据样本，并用于训练机器学习模型，提高了机器学习模型的预测准确性，进一步的，提高了所预测的运动轨迹的准确性。
[0106]
在一个实施例中，s206具体包括：通过预训练的机器学习模型，根据第二运动数据样本进行预测，得到预测轨迹数据；根据第一运动数据样本进行计算，得到轨迹标签数据；基于预测轨迹数据与轨迹标签数据计算损失值；根据损失值对预训练的机器学习模型的参数进行调整，得到预测模型。
[0107]
其中，预测轨迹数据为用于记录机器学习模型所预测的运动轨迹的数据。轨迹标签数据为用于记录物体实际的运动轨迹的数据。服务器基于预测轨迹数据与轨迹标签数据计算损失值，并根据损失值对预训练的机器学习模型的参数进行调整，以使预测轨迹数据与轨迹标签数据间的损失值最小，从而对预训练的机器学习模型进行优化。在一个实施例中，服务器可以通过交叉熵损函数、指数损失函数、对数损失函数、绝对值损失函数等计算损失值。
[0108]
上述实施例中，服务器通过预训练的机器学习模型，根据第二运动数据样本进行预测，得到预测轨迹数据。根据第一运动数据样本进行计算，得到轨迹标签数据。基于预测
轨迹数据与轨迹标签数据计算损失值；根据损失值对预训练的机器学习模型的参数进行调整，得到预测模型。从而可以根据损失值对预训练的机器学习模型进行迭代优化，提高了训练所得的预测模型的准确性。
[0109]
在一个实施例中，自动驾驶的机动车在行驶过程中，通过激光雷达对目标环境进行扫描，得到点云数据，或者通过摄像器对目标环境进行拍摄，得到图像数据。服务器将点云数据或者图像数据作为环境数据样本，并对环境数据样本进行下采样，得到下采样环境数据样本。服务器通过线下感知模型对环境数据样本进行运动感知处理，得到第一运动数据样本；通过线上感知模型对下采样环境数据样本进行运动感知处理，得到第二运动数据样本。服务器确定第一运动数据样本以及第二运动数据样本中各物体的运动时长，将运动时长小于预设时长(例如，10秒)的物体的运动数据样本删除，仅保留运动时长大于或等于预设时长的目标物体的第一运动数据样本以及第二运动数据样本。假设删除后剩余的第一运动数据样本为[t1_offboard，t2_offboard，t3_offboard]，其中，t1_offboard、t2_offboard与t3_offboard分别为目标物体在[0，t1]、(t1，t2]与(t2，t3]时间段内的第一运动数据样本。假设删除后剩余的第二运动数据样本为[t1_onboard，t2_onboard，t3_onboard]，t1_onboard、t2_onboard、t3_onboard分别为目标物体在[0，t1]、(t1，t2]与(t2，t3]时间段内的第二运动数据样本。服务器在第二运动数据样本中提取t1_onboard的数据，在第一运动数据样本中提取t2_offboard的数据，并将[t1_onboard，t2_offboard]组成样本集合。服务器将t1_onboard作为训练数据对预训练的机器学习模型进行训练，并将t2_offboard作为测试数据对训练所得的机器学习模型进行测试，并根据测试结果对机器学习模型的参数进行调整，当对训练所得的机器学习模型进行测试的结果满足训练停止条件时，将满足训练停止条件的机器学习模型作为预测物体运动轨迹的预测模型。由于t2_offboard是线下感知模型对环境数据样本进行运动感知处理所得的运动数据样本，相比于由线上感知模型所得的运动数据样本，噪声抖动较小，能够更加精确的描述物体的运动情况，使用t2_offboard作为测试数据训练所得的预测模型具有更强的抗噪声能力，预测准确性高。
[0110]
自动驾驶的机动车在行驶过程中对驾驶环境进行采集，得到环境数据，并将环境数据上传到服务器。服务器对环境数据进行下采样，得到下采样环境数据。服务器通过线上感知模型对下采样环境数据进行运动感知处理，得到运动数据，然后通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
[0111]
在一个实施例中，如图7所示，运动轨迹预测方法包括如下步骤：
[0112]
s702，获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本。
[0113]
s704，分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本。
[0114]
s706，在第二运动数据样本中，提取目标环境中的目标物体在第一时间段内的第一目标数据样本。
[0115]
s708，在第一运动数据样本中，提取目标物体对应的第一跟踪标识，并在第二运动数据中，查找第一跟踪标识匹配的第二跟踪标识。
[0116]
s710，根据第二跟踪标识，在第二运动数据样本中，提取目标物体在第二时间段内
的第二目标数据样本；第二时间段是第一时间段相邻的下一时间段。
[0117]
s712，根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。
[0118]
s714，通过预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
[0119]
s716，在自动驾驶过程中，获取采集驾驶环境所得的环境数据，并对环境数据进行下采样，得到下采样环境数据。
[0120]
s718，根据下采样环境数据进行运动感知处理，得到运动数据。
[0121]
s720，通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
[0122]
上述s702至s720的具体内容可以参考上文的具体实现过程。
[0123]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0124]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的运动轨迹预测方法的运动轨迹预测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个运动轨迹预测装置实施例中的具体限定可以参见上文中对于运动轨迹预测方法的限定，在此不再赘述。
[0125]
在一个实施例中，如图8所示，提供了一种运动轨迹预测装置，包括：获取模块802、处理模块804、训练模块806和预测模块808，其中：
[0126]
获取模块802，用于获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本；
[0127]
处理模块804，用于分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；
[0128]
训练模块806，用于基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；
[0129]
预测模块808，用于通过预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
[0130]
上述实施例中，获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本。然后分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本。基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型。由于基于未经过下采样处理的环境数据样本所得的第一运动数据样本，噪声抖动较小，可以准确的描述目标环境中物体的运动情况，因此，通过在模型训练时使用第一运动数据样本可以提高训练所得的预测模型的预测准确性，进一步的，通过预测模型进行预测所得的运动轨迹更加准确。并且，由于第二运动数据样本是通过下采样
环境数据样本所得，第二运动数据样本和线上平台的预测模型在实际进行预测时所使用的数据具有相同的数据分布，因此，训练所得的预测模型可以应用于线上平台，对由下采样环境数据所得的、轻量级的运动数据进行预测，得到准确的物体运动轨迹。
[0131]
在一个实施例中，训练模块806，还用于：
[0132]
在第二运动数据样本中，提取目标环境中的目标物体在第一时间段内的第一目标数据样本；
[0133]
在第一运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本；第二时间段是第一时间段相邻的下一时间段；
[0134]
根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。
[0135]
在一个实施例中，训练模块806，还用于：
[0136]
在第一运动数据样本中，提取目标物体对应的第一跟踪标识；
[0137]
在第二运动数据中，查找第一跟踪标识匹配的第二跟踪标识；
[0138]
根据第二跟踪标识，在第二运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本。
[0139]
在一个实施例中，如图9所示，装置还包括：
[0140]
确定模块810，用于基于第一运动数据，确定目标环境中各物体的运动时长；在目标环境内的各物体中，若物体对应的运动时长大于预设时长，将物体作为目标物体；预设时长大于第一时间段的长度与第二时间段的长度之和。
[0141]
在一个实施例中，训练模块806，还用于：
[0142]
通过预训练的机器学习模型，根据第二运动数据样本进行预测，得到预测轨迹数据；
[0143]
根据第一运动数据样本进行计算，得到轨迹标签数据；
[0144]
基于预测轨迹数据与轨迹标签数据计算损失值；
[0145]
根据损失值对预训练的机器学习模型的参数进行调整，得到预测模型。
[0146]
在一个实施例中，装置还包括：
[0147]
获取模块802，还用于在自动驾驶过程中，获取采集驾驶环境所得的环境数据；
[0148]
下采样模块812，用于对环境数据进行下采样，得到下采样环境数据；
[0149]
预测模块808，还用于：
[0150]
根据下采样环境数据进行运动感知处理，得到运动数据；
[0151]
通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
[0152]
上述运动轨迹预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0153]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储
有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储运动轨迹预测数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种运动轨迹预测方法。
[0154]
本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0155]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本；分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；通过预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
[0156]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在第二运动数据样本中，提取目标环境中的目标物体在第一时间段内的第一目标数据样本；在第一运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本；第二时间段是第一时间段相邻的下一时间段；根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。
[0157]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在第一运动数据样本中，提取目标物体对应的第一跟踪标识；在第二运动数据中，查找第一跟踪标识匹配的第二跟踪标识；根据第二跟踪标识，在第二运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本。
[0158]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于第一运动数据，确定目标环境中各物体的运动时长；在目标环境内的各物体中，若物体对应的运动时长大于预设时长，将物体作为目标物体；预设时长大于第一时间段的长度与第二时间段的长度之和。
[0159]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预训练的机器学习模型，根据第二运动数据样本进行预测，得到预测轨迹数据；根据第一运动数据样本进行计算，得到轨迹标签数据；基于预测轨迹数据与轨迹标签数据计算损失值；根据损失值对预训练的机器学习模型的参数进行调整，得到预测模型。
[0160]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在自动驾驶过程中，获取采集驾驶环境所得的环境数据；对环境数据进行下采样，得到下采样环境数据；根据下采样环境数据进行运动感知处理，得到运动数据；通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
[0161]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本；分别对环境数据样本以及下采
样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；通过预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
[0162]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在第二运动数据样本中，提取目标环境中的目标物体在第一时间段内的第一目标数据样本；在第一运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本；第二时间段是第一时间段相邻的下一时间段；根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。
[0163]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在第一运动数据样本中，提取目标物体对应的第一跟踪标识；在第二运动数据中，查找第一跟踪标识匹配的第二跟踪标识；根据第二跟踪标识，在第二运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本。
[0164]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于第一运动数据，确定目标环境中各物体的运动时长；在目标环境内的各物体中，若物体对应的运动时长大于预设时长，将物体作为目标物体；预设时长大于第一时间段的长度与第二时间段的长度之和。
[0165]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预训练的机器学习模型，根据第二运动数据样本进行预测，得到预测轨迹数据；根据第一运动数据样本进行计算，得到轨迹标签数据；基于预测轨迹数据与轨迹标签数据计算损失值；根据损失值对预训练的机器学习模型的参数进行调整，得到预测模型。
[0166]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在自动驾驶过程中，获取采集驾驶环境所得的环境数据；对环境数据进行下采样，得到下采样环境数据；根据下采样环境数据进行运动感知处理，得到运动数据；通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
[0167]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取对目标环境进行采集所得的环境数据样本，以及对环境数据样本进行下采样所得的下采样环境数据样本；分别对环境数据样本以及下采样环境数据样本进行运动感知处理，得到目标环境中各目标物体对应的第一运动数据样本以及第二运动数据样本；基于第一运动数据样本以及第二运动数据样本，对预训练的机器学习模型进行训练，得到预测模型；通过预测模型对由下采样环境数据所得的运动数据进行预测，得到物体的运动轨迹。
[0168]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在第二运动数据样本中，提取目标环境中的目标物体在第一时间段内的第一目标数据样本；在第一运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本；第二时间段是第一时间段相邻的下一时间段；根据由第一目标数据样本与第二目标数据样本组成的样本集合，对预训练的机器学习模型进行训练，得到预测模型。
[0169]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在第一运动数据样本中，提取目标物体对应的第一跟踪标识；在第二运动数据中，查找第一跟踪标识匹配的
第二跟踪标识；根据第二跟踪标识，在第二运动数据样本中，提取目标物体在第二时间段内的第二目标数据样本。
[0170]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于第一运动数据，确定目标环境中各物体的运动时长；在目标环境内的各物体中，若物体对应的运动时长大于预设时长，将物体作为目标物体；预设时长大于第一时间段的长度与第二时间段的长度之和。
[0171]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预训练的机器学习模型，根据第二运动数据样本进行预测，得到预测轨迹数据；根据第一运动数据样本进行计算，得到轨迹标签数据；基于预测轨迹数据与轨迹标签数据计算损失值；根据损失值对预训练的机器学习模型的参数进行调整，得到预测模型。
[0172]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在自动驾驶过程中，获取采集驾驶环境所得的环境数据；对环境数据进行下采样，得到下采样环境数据；根据下采样环境数据进行运动感知处理，得到运动数据；通过预测模型对运动数据进行预测，得到驾驶环境中各物体的运动轨迹。
[0173]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0174]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0175]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0176]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保
护范围。因此，本技术的保护范围应以所附权利要求为准。