用于处理路况的方法和装置与流程

本申请涉及自动驾驶领域，更具体地，涉及用于确定路况拓扑关系的方法和装置，用于预测车辆轨迹的方法和装置，以及用于训练神经网络(nn)模型的方法和装置。

背景技术：

1、准确地对复杂交通场景进行建模是高级驾驶辅助系统(adas)执行正确规划和控制的关键组成部分。车道拓扑推理旨在理解道路车道场景，并在自动驾驶中呈现可行的行驶路线。这需要检测场景中的车道，并进一步推理它们的拓扑关系。

2、在现有的车道拓扑预测nn网络中，对nn网络的训练需要车道拓扑标签作为真值数据。然而，获取此类真值数据的成本极高，并且为大型数据集扩展注释过程既费力又低效。因此，需要改进的车道拓扑预测方法和相应的训练方法，以能够减少对于车道拓扑标签数据的需求，同时保持车道拓扑预测的准确性。

技术实现思路

1、提供下面的简介是为了以简单的形式介绍选择的一些概念，在后面的详细说明中会进一步描述这些概念。该简介不是想要突出所要求保护主题的关键特征或必要特征，也不是想要限制所要求保护主题的范围。

2、针对上述问题，本申请提供了一种新的车道拓扑预测方法以及相应的nn模型训练方法，在此基础上还提供了一种新的车辆未来轨迹预测方法以及相应的nn模型训练方法。通过采用本申请的方法，减少了对完全注释车道拓扑数据的依赖，解决了标签数据有限和特定域的挑战，同时保持车道拓扑预测的准确性。

3、根据本申请的一个方面，提供了一种用于处理路况的方法，包括：基于图像检测所述图像中包含的对象的轨迹；基于所述对象的轨迹和所述图像中的至少一者生成第一路况特征图；基于所述第一路况特征图生成所述车道的车道中心线；基于所述车道中心线生成车道拓扑。

4、根据本申请的一个方面，提供了一种用于训练用于处理路况的神经网络(nn)模型的方法，包括：基于第一训练集中的车道的边界标签确定所述车道的车道中心线伪标签，其中，所述第一训练集包括图像和所述图像中包含的车道的所述边界标签；基于所述车道中心线伪标签生成车道拓扑伪标签；通过本公开实施例所描述的方法处理所述第一训练集中的所述图像，以预测所述图像中包含的车道的车道中心线和车道拓扑以及所述图像中包含的对象的轨迹；基于所述车道中心线伪标签、所述车道拓扑伪标签、所述预测的车道中心线和所述预测的车道拓扑更新所述nn模型的学习参数。

5、根据本申请的一个方面，提供了一种用于处理路况的装置，包括：检测模块，用于基于图像检测所述图像中包含的对象的轨迹；第一路况特征提取模块，用于基于所述对象的轨迹和所述图像中的至少一者生成第一路况特征图；中心线预测模块，用于基于所述第一路况特征图生成所述车道的车道中心线；拓扑预测模块，用于基于所述车道中心线生成车道拓扑。

6、根据本申请的一个方面，提供了一种用于训练用于处理路况的nn模型的装置，包括：车道中心线伪标签生成模块，用于基于第一训练集中的车道的边界标签确定所述车道的车道中心线伪标签，其中所述第一训练集包括图像和所述图像中包含的车道的边界标签；车道拓扑伪标签生成模块，用于基于所述车道中心线伪标签生成车道拓扑伪标签；其中，所述nn模型通过本公开实施例所描述的方法处理所述第一训练集中的所述图像，以预测所述图像中包含的车道的车道中心线和车道拓扑；更新模块，用于基于所述车道中心线伪标签、所述车道拓扑伪标签、所述预测的车道中心线和所述预测的车道拓扑更新所述nn模型的学习参数。

7、根据本申请的一个方面，提供了一种处理装置，包括：一个或多个处理器；以及一个或多个存储器，该存储器存储有计算机可执行指令，该指令当被该一个或多个处理器运行时执行根据本申请实施例所描述的方法的操作。

8、根据本申请的一个方面，提供了一种机器可读存储介质，其存储有可执行指令，该指令当被执行时使得一个或多个处理器执行根据本申请实施例所描述的方法的操作。

9、根据本申请的一个方面，提供了一种计算机程序产品，其包括可执行指令，该指令当被执行时使得一个或多个处理器执行根据本申请实施例所描述的方法的操作。

10、根据本公开技术方案利用车道边界真值数据提供的有关道路结构的信息以及动态对象轨迹提供的道路环境动态变化的信息，使车道拓扑预测模型更适应新环境，从而利用容易获得的车道边界作为弱监督信号来训练nn模型的同时保证了模型预测的性能，有效地克服了现有技术中需要使用大量拓扑标记数据进行训练的问题，减少了对昂贵且劳动密集型的完全标签数据的需求。本公开技术方案的其他优点将在下文中说明。

1.一种用于处理路况的方法，包括：

2.如权利要求1所述的方法，还包括：基于所述车道拓扑、所述对象的轨迹和所述第一路况特征图来预测自车的未来轨迹。

3.如权利要求1或2所述的方法，还包括：基于图像检测所述图像中包含的车道的边界；

4.如权利要求1或2所述的方法，其中，所述生成所述车道的车道中心线包括：

5.如权利要求1或2所述的方法，其中，所述生成车道拓扑包括：

6.如权利要求5所述的方法，其中，所述构建包含节点和边的图包括：基于所述第一路况特征图和所述车道中心线确定所述节点中每个节点的节点特征和所述边中的每个边的权重。

7.如权利要求6所述的方法，其中，所述确定所述节点中每个节点的节点特征包括：基于所述节点中每个节点的位置确定所述第一路况特征图中与该节点相关的部分特征，以及基于该部分特征确定该节点的节点特征。

8.如权利要求2所述的方法，其中，所述预测自车的未来轨迹包括：

9.如权利要求8所述的方法，还包括：基于所述车道拓扑更新所述车道中心线的属性以得到更新的车道中心线，

10.一种用于训练用于处理路况的神经网络(nn)模型的方法，包括：

11.如权利要求10所述的方法，还包括：

12.如权利要求10或11所述的方法，其中，所述更新所述nn模型的学习参数包括：还基于所述预测的对象的轨迹更新所述nn模型的学习参数。

13.如权利要求10或11所述的方法，其中，所述确定所述车道的车道中心线伪标签包括：

14.如权利要求10或11所述的方法，其中，所述确定所述车道的车道中心线伪标签包括：

15.如权利要求10或11所述的方法，其中，所述第一训练集对应于第一域，对应于第二域的第二训练集包括图像和车道拓扑标签，所述方法还包括：

16.如权利要求15所述的方法，其中，所述第二训练集还包括车道中心线标签，所述方法还包括：基于所述第四特征图生成车道中心线预测；

17.一种用于处理路况的装置，包括：

18.如权利要求17所述的装置，还包括：

19.一种用于训练用于处理路况的nn模型的装置，包括：

20.一种用于确定路况拓扑关系的装置，包括：

21.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得一个或多个处理器执行如权利要求1到16中任一个所述的方法。

22.一种计算机程序产品，其包括可执行指令，所述指令当被执行时使得一个或多个处理器执行如权利要求1到16中任一个所述的方法。