轨迹预测方法及装置与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种轨迹预测方法及装置。


背景技术：

2.在自动驾驶轨迹预测领域，用于车辆轨迹预测的方法主要分为两类，分别是基于物理模型的方法和基于学习的方法。其中，基于物理模型的方法通过对车辆进行动力学和运动学的建模来预测车辆未来轨迹，此类方法预测的精度高，但是预测时间短，通常只能有效预测未来1秒内的车辆轨迹，对于长时间的预测，由于车辆的力学特性可能在未来几秒内发生较大变化，因此基于物理模型的方法无法进行长时间的轨迹预测。近年来，得益于深度学习的快速发展，在自动驾驶轨迹预测领域也产生了一类基于学习的方法，但是由于感知信息获取不全面，导致模型的轨迹预测的精度不高。因此，如何获取全面的感知信息以提高模型的轨迹预测精度是一个亟待解决的问题。


技术实现要素：

3.有鉴于此，有必要提供一种轨迹预测方法及装置，用以解决现有技术中不能获取全面的感知信息而导致模型的轨迹预测精度低的问题。
4.为了解决上述问题，第一方面，本发明提供一种轨迹预测方法，包括：获取包括目标对象的图像，并对所述图像进行语义分割处理，得到所述目标对象的第一特征信息；获取包括目标对象的点云信息，并基于所述点云信息提取所述目标对象的第二特征信息；基于所述第一特征信息与所述第二特征信息构建三维局部地图；获取所述目标对象的历史帧图像，基于所述历史帧图像提取所述目标对象的时空特征序列；将所述局部地图与所述时空特征序列输入预先训练好的轨迹预测模型中，预测所述目标对象的轨迹。
5.可选的，所述目标对象包括静态目标对象与动态目标对象，所述对所述图像进行语义分割处理，得到所述目标对象的第一特征信息，包括：基于预设检测网络对所述图像进行动态目标检测，得到所述动态目标对象在二维图像坐标系上的第一动态特征信息；基于预设分割网络对所述图像进行静态目标分割，得到所述静态目标对象在二维图像坐标系上的第一静态特征信息。
6.可选的，所述获取包括目标对象的点云信息，包括：扫描所述图像，获取所述图像的扫描结果；基于所述扫描结果构建针对所述图像的三维空间坐标系，并在所述三维空间坐标系中确定所述图像包含对象的点云信息。
7.可选的，所述基于所述点云信息提取所述目标对象的第二特征信息，包括：确定所述动态目标对象在所述三维空间坐标系的第一点云信息；确定所述静态目标对象在所述三维空间坐标系的第二点云信息。
8.可选的，所述基于所述第一特征信息与所述第二特征信息构建三维局部地图，包括：基于预设的标定算法对获取所述图像的相机进行标定，并确定所述相机的标定参数；基于所述标定参数确定所述第一特征信息与所述第二特征信息的转化关系，并根据所述转化关系将所述第一特征信息从二维图像坐标系转换到所述三维空间坐标系；利用所述三维空间坐标系中的第二特征信息和已转换的第一特征信息构建所述三维局部地图。
9.可选的，所述时空特征序列包括时间特征序列和空间特征序列；所述时间特征序列包括通过车辆行驶时间构建的关于所述目标对象的第三特征信息序列；所述空间特征序列包括通过车辆行驶距离构建的关于所述目标对象的第四特征信息序列。
10.可选的，所述将所述局部地图与所述时空特征序列输入预先训练好的轨迹预测模型中，预测所述目标对象的轨迹，包括：对所述局部地图与所述时空特征序列中的目标对象进行采样，以获取所述目标对象的矢量化编码结果，其中，所述目标对象的矢量化编码结果包括静态对象的方向与动态对象的轨迹；将所述目标对象的矢量化编码进行图表示，形成每一静态对象方向或每一动态对象轨迹的子图；通过所述轨迹预测模型中的图神经网络对所述子图进行特征提取，学习不同动态对象之间、动态对象与静态对象之间的交互关系；对所述每一动态对象轨迹的子图进行解码，获得所述每一动态对象的预测轨迹。
11.第二方面，本发明还提供一种轨迹预测装置，包括：第一特征信息获取模块，用于获取包括目标对象的图像，并对所述图像进行语义分割处理，得到所述目标对象的第一特征信息；第一特征信息获取模块，用于获取包括目标对象的点云信息，并基于所述点云信息提取所述目标对象的第二特征信息；局部地图构建模块，用于基于所述第一特征信息与所述第二特征信息构建三维局部地图；时空特征序列获取模块，用于获取所述目标对象的历史帧图像，基于所述历史帧图像提取所述目标对象的时空特征序列；轨迹预测模块，用于将所述局部地图与所述时空特征序列输入预先训练好的轨迹预测模型中，预测所述目标对象的轨迹。
12.采用上述实施例的有益效果是：本发明通过基于图像获取目标对象的第一特征信息，通过点云数据获取目标对象的第二特征信息，可以保证构建的局部地图的完整性和准
确性，并且通过整合提取到的上述特征信息构建车身坐标系下的局部地图，能够在没有高精地图的情况下，为车辆构建局部地图。并且通过结合时间和空间特征序列，充分利用历史车辆轨迹数据和车辆周围的空间环境信息，弥补了因车辆静止时间特征序列出列导致的信息缺失，使得能够更加准确地对目标对象的未来轨迹进行预测，提升了预测模型的精度，进一步提高了道路交通的安全性。
附图说明
13.图1为本发明提供的轨迹预测方法的一实施例的流程示意图；图2为本发明一实施例提供的一种预测目标对象的轨迹的流程示意图；图3为本发明提供的轨迹预测装置的一实施例的结构示意图。
具体实施方式
14.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本发明一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
15.在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
16.本发明提供了一种轨迹预测方法及装置，以下分别进行说明。
17.请参阅图1，图1为本发明提供的轨迹预测方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种轨迹预测方法，包括：步骤s101：获取包括目标对象的图像，并对图像进行语义分割处理，得到目标对象的第一特征信息；步骤s102：获取包括目标对象的点云信息，并基于点云信息提取目标对象的第二特征信息；步骤s103：基于第一特征信息与第二特征信息构建三维局部地图；步骤s104：获取目标对象的历史帧图像，基于历史帧图像提取目标对象的时空特征序列；步骤s105：将局部地图与时空特征序列输入预先训练好的轨迹预测模型中，预测目标对象的轨迹。
18.首先需要说明的是，本发明主要应用在自动驾驶领域，具体可应用在车辆终端，通过预测目标对象的轨迹来减少事故的发生，提高驾驶的安全性。
19.在步骤s101中，获取包括目标对象的图像可由安装在自动驾驶车辆上的相机获取，终端在收到图像后，可对图像进行语义分割和目标检测的操作，以得到目标对象的第一特征信息。
20.其中，目标对象包括道路交通参与者，即其他行驶车辆和行人等动态目标对象，也包括道路要素，即车道线，人行横道，护栏，可行驶区域，立杆，导流带等静态目标对象。
21.目标对象的第一特征信息包括目标对象的位置、形状，灰度值，深度，分割结果等
信息。
22.在本发明的一个实施例中，对图像进行语义分割处理，得到目标对象的第一特征信息，包括：基于预设检测网络对图像进行动态目标检测，得到动态目标对象在二维图像坐标系上的第一动态特征信息；其中，预设的检测网络包括yolov5网络，采用该网络可以对道路交通参与者进行实时检测，进而获取道路交通参与者的实时特征信息。
23.基于预设分割网络对图像进行静态目标分割，得到静态目标对象在二维图像坐标系上的第一静态特征信息。
24.其中，预设分割网络包括d-linknet和bisenet，具体的，采用d-linknet专门对车道线进行分割，能够得到较好的分割效果；采用bisenet可以对车道线，人行横道，护栏，可行驶区域，立杆，导流带等道路要素进行分割。
25.在步骤s102中，点云信息包括激光雷达点云信息，因此获取包括目标对象的点云信息可以由安装在车身的激光雷达获取。
26.可以理解的是，由于通过相机获取的深度信息存在较大的误差，因此需要激光雷达提供精确的三维位置信息。
27.在本发明的一个实施例中，获取包括目标对象的点云信息，包括：扫描图像，获取图像的扫描结果；基于扫描结果构建针对图像的三维空间坐标系，并在三维空间坐标系中确定图像包含对象的点云信息。
28.需要说明的是，点云信息是指在一个三维坐标系统中的一组向量的集合。这些向量通常以x，y，z三维坐标的形式表示，除了用来代表一个物体的几何位置信息之外，点云信息还可以表示一个点的rgb颜色，灰度值，深度，分割结果等，激光雷达点云信息可以由激光雷达扫描获取的。目标对象的第二特征信息包括目标对象的几何位置、rgb颜色，灰度值，深度，分割结果等信息。
29.在本发明的一个实施例中，基于点云信息提取目标对象的第二特征信息，包括：确定动态目标对象在三维空间坐标系的第一点云信息；确定静态目标对象在三维空间坐标系的第二点云信息。
30.可以理解的是，通过输入由激光雷达实时产生的激光点云信息，对激光点云信息进行特征提取，主要目的是确定道路中间的动态交通参与者，除了确定动态交通参与者的特征信息，还能够准确了解自身车辆和其他交通参与者的相对位置关系；另一个主要目的是提取道路两侧的静态物体，例如，提取道路两侧的立杆，除了确定道路要素的特征信息还可以用于定位车辆的位置。
31.在步骤s103中，由于第一特征信息和第二特征信息中包括了车辆视野下的道路要素及道路交通参与者的特征信息，因此可以根据第一、第二特征信息构建车辆坐标系下的局部地图。
32.可以理解的是，由于图像是二维数据，点云信息是三维数据，故从图像中提取的第一特征信息与从点云信息中提取的第二特征信息的维度不同，因此特征的表现形式也不同，并且同一个目标可以被图像和点云信息同时提取，造成特征信息的重叠，因此为了保证
所构建的局部地图的完整性和准确性，需要将图像和点云信息进行配准后再构建局部地图。
33.在本发明的一个实施例中，基于第一特征信息与第二特征信息构建三维局部地图，包括：基于预设的标定算法对获取图像的相机进行标定，并确定相机的标定参数；其中，预设的标定算法包括张正友相机标定法，具体为通过构建数学模型来逼近相机成像的过程，该模型可以实现三维世界坐标与二维图像坐标的相互转化。而相机标定的目的其实就是求出这个模型的相关参数，其中所必须的参数就是相机的内参矩阵和相机的外参矩阵，通过求解出相关参数，即可自由转换三维世界坐标与二维图像坐标。
34.具体的，三维世界坐标与二维图像坐标的转换关系可以由公式：表示，其中，表示相机的内参矩阵，表示相机的外参矩阵，均为相机的标定参数。表示世界坐标系，是3
×
3的旋转矩阵，是3
×
1的平移矩阵。
35.基于标定参数确定第一特征信息与第二特征信息的转化关系，并根据转化关系将第一特征信息从二维图像坐标系转换到三维空间坐标系；利用三维空间坐标系中的第二特征信息和已转换的第一特征信息构建三维局部地图。
36.可以理解的是，可以通过提取点云信息中的明显特征，例如道路要素中的立杆，然后按照上述公式将立杆投影到图像上，也就是将立杆在世界坐标系下的坐标转换到图像坐标系下，当转换后的立杆坐标和图像上的立杆高度重合时，认为图像信息和点云信息是配准的，此时的外参矩阵就认为是图像和点云之间坐标变换的真值。然后，运用这组参数，可以将图像上检测和分割得到的结果从二维的图像坐标系转换到三维的激光雷达坐标系下。最后，可以根据激光雷达在车辆上的安装位置，构建基于车身坐标系的三维局部地图。
37.在步骤s104中，可以理解的是，对目标对象检测的结果，不仅需要当前帧检测的结果，还需要历史帧检测的结果。具体的，可以对历史帧图像进行目标对象的特征信息提取。以构成目标对象的时间特征序列和空间特征序列。
38.其中，时间特征序列包括通过车辆行驶时间构建的关于目标对象的第三特征信息序列。具体的，将一定时间内的历史帧的检测结果输入到时间特征序列中，时间特征序列遵循先进先出的原则，这样当道路交通参与者在移动过程中被遮挡时，轨迹预测模型可以找到道路交通参与者被遮挡前的特征来预测感知结果。
39.空间特征序列包括通过车辆行驶距离构建的关于目标对象的第四特征信息序列。具体的，当车辆每前进一定距离时，检测的结果将会输入空间特征序列，空间特征序列也遵
循先进先出的原则，用于补充时间特征序列的缺陷。例如，用于等红绿灯这种需要长时间静止等待的状态，在该状态下，时间特征序列中一段时间之前的特征会因为出队而丢失，但是由于车辆处于停止状态，空间特征序列不会进行更新，从而保留了时间特征序列因为出队而丢失的信息，因此需要用空间特征序列对时间特征序列进行补充。
40.在步骤s105中，预先训练好的轨迹预测模型包括使用vectornet框架构建的神经网络模型，具体包括层级的图神经网络模型，第一层级聚合不同矢量的信息，第二层级建模折线之间的交互关系，最后整合vectornet编码器和多模态轨迹解码器以生多样化的未来轨迹。
41.具体的，请参阅图2，图2为本发明一实施例提供的一种预测目标对象的轨迹的流程示意图，在本发明的一个实施例中，将局部地图与时空特征序列输入预先训练好的轨迹预测模型中，预测目标对象的轨迹，包括：步骤s201：对局部地图与时空特征序列中的目标对象进行采样，以获取目标对象的矢量化编码结果，其中，目标对象的矢量化编码结果包括静态对象的方向与动态对象的轨迹；步骤s202：将目标对象的矢量化编码进行图表示，形成每一静态对象方向或每一动态对象轨迹的子图；步骤s203：通过轨迹预测模型中的图神经网络对子图进行特征提取，学习不同动态对象之间、动态对象与静态对象之间的交互关系；步骤s204：对每一动态对象轨迹的子图进行解码，获得每一动态对象的预测轨迹。
42.在步骤s201中，局部地图中的静态目标对象，即道路要素都是以点、线、面的形式构成的。其中，点具有空间三维位置，线是空间中点的集合，面也是空间中点的集合。对这些道路要素中的点进行采样，并根据不同的要素类型进行分类和连接。例如，车道线可以表示为一条由多个点构成的折线，合理控制采样点密度，让折线既能较好地拟合现实世界中的车道线，也不至于采样点过多而影响计算速度；人行横道可以表示为由四个点构成的矩形区域；其他道路要素采用类似的方式进行采样。
43.将具有相同道路要素id的地图采样点进行连接，形成局部矢量地图。例如，车道线采样点依次连接，车道线的方向为构成车道线的各个线段的方向的集合，由线段的起点指向终点。
44.其中，道路要素的矢量表示如下所示：，，其中，表示道路要素，是构成道路要素的采样点的集合，是构成道路要素的采样点之间方向的集合，是道路要素的属性特征，例如车道限速，车道类型，轨迹时间戳，交通参与者的类型等，是道路要素中线段的矢量化结果，且，其中，分别表示该线段中的开始点和结束点。
45.同时需要对时空特征序列进行采样，来表达自身车辆和动态目标对象，即其他交通参与者的历史轨迹和当前状态，并且将交通参与者的轨迹采样点按照时间顺序进行连接，形成轨迹图。
46.在步骤s202中，将矢量化编码后的车道要素和交通参与者轨迹进行图表示，每个
道路要素和每一条交通参与者轨迹均能够表达成一个子图的形式，每个矢量表示子图中的一个节点，所有节点之间相互连接构成子图的边。
47.因此，在一个道路场景中，会存在许多不同形状结构的子图，将这些子图当作是节点，可以构建一个更大的全局图，全局图能够对当前场景中的所有道路要素和交通参与者进行表示。至此，局部地图中的所有道路要素和交通参与者的轨迹都进行了图表示，全局图由若干个子图构成。
48.在步骤s203中，将图作为图神经网络的输入，通过图神经网络进行特征提取，学习交通参与者之间、交通参与者和道路要素之间的交互关系。
49.在步骤s204中，通过对目标交通参与者的节点进行解码，获得对目标交通参与者的预测轨迹。当交通参与者面临多种选择时，注意力机制能够将注意力集中在正确的选择，提高道路交通的安全性。
50.本发明通过基于图像获取目标对象的第一特征信息，通过点云数据获取目标对象的第二特征信息，可以保证构建的局部地图的完整性和准确性，并且通过整合提取到的上述特征信息构建车身坐标系下的局部地图，能够在没有高精地图的情况下，为车辆构建局部地图。并且通过结合时间和空间特征序列，充分利用历史车辆轨迹数据和车辆周围的空间环境信息，弥补了因车辆静止时间特征序列出列导致的信息缺失，使得能够更加准确地对目标对象的未来轨迹进行预测，提升了预测模型的精度，进一步提高了道路交通的安全性。
51.为了更好实施本发明实施例中的轨迹预测方法，在轨迹预测方法基础之上，对应的，请参阅图3，图3为本发明提供的轨迹预测装置的一实施例的结构示意图，本发明实施例提供了一种轨迹预测装置300，包括：第一特征信息获取模块301，用于获取包括目标对象的图像，并对图像进行语义分割处理，得到目标对象的第一特征信息；第一特征信息获取模块302，用于获取包括目标对象的点云信息，并基于点云信息提取目标对象的第二特征信息；局部地图构建模块303，用于基于第一特征信息与第二特征信息构建三维局部地图；时空特征序列获取模块304，用于获取目标对象的历史帧图像，基于历史帧图像提取目标对象的时空特征序列；轨迹预测模块305，用于将局部地图与时空特征序列输入预先训练好的轨迹预测模型中，预测目标对象的轨迹。
52.这里需要说明的是：上述实施例提供的装置300可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
53.本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
54.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，
都应涵盖在本发明的保护范围之内。