自动驾驶系统的道路模型的自动注释的制作方法

所公开的技术涉及用于生成自动驾驶系统的道路模型注释的方法和系统。具体地，但不排他地，所公开的技术涉及将训练后的基础模型用于根据3d折线注释自动生成道路模型对象的属性注释。

背景技术：

1、近年来，自动驾驶系统已经引起了极大的关注，越来越高的级的自主被部署在消费者车辆中。这些系统依靠一系列传感器、计算平台和控制算法来感知车辆的周围环境，规划驾驶操纵，并且实时执行对应的动作。随着行业从驾驶员辅助功能（例如，自适应巡航控制和车道保持）向更高级别的自主（根据sae国际标准的3级、4级或5级）发展，安全性和可靠性仍然是首要目标。

2、自动驾驶系统依靠各种传感器（例如，相机、激光雷达、雷达）来感知和解释车辆的周围环境。车道检测是自动驾驶功能（例如，车道保持、自适应巡航控制和高速公路自动辅助驾驶）所必需的关键感知任务中的一个。准确的车道检测需要大量的良好注释的训练数据，使得机器学习模型可以在不同的驾驶条件下鲁棒地识别并跟踪车道标志。

3、传统上，在原始传感器数据中注释诸如车道标志的道路模型对象是人工处理的劳动密集型过程。注释者将检查图像或传感器帧、勾勒车道边界并且标记每个边界段，以供感知算法的后续训练。手动注释在时间消耗、成本以及管理不一致性和准确性方面带来了巨大的挑战。

4、因此，仍需要改进系统和方法来有效地生成诸如大数据集中的车道分隔线（也被称为车道标志）的道路模型对象的准确注释。

技术实现思路

1、本文中所公开的技术旨在减轻、缓解或消除现有技术中的上述缺陷和缺点中的一个或多个，以解决与提供各种道路模型对象的属性的注释的时间消耗和成本相关的各种问题。

2、在下面和随附的独立权利要求和从属权利要求中限定了所公开的技术的各个方面和实施例。

3、所公开的技术的第一方面包括用于生成自动驾驶系统的道路模型注释的计算机实现的方法。该计算机实现的方法包括：获得第一数据集，该第一数据集包括指定环境中的一组道路模型对象的3d折线注释。第一数据集包括在3d空间中表示的3d点云，该3d点云由激光雷达装置在指定环境中在一时间段内捕获，指示该组道路模型对象的存在。该方法进一步包括：获得第二数据集，该第二数据集包括描绘该时间段内的指定环境的一个或多个相机图像；以及基于第一数据集，从一个或多个相机图像中选择相机图像的子集。该方法进一步包括：生成给训练后的基础模型的提示。该提示包括用于训练后的基础模型的、用来分配在所获得的第一数据集中注释的每个道路模型对象的属性的指令，并且该指令基于所获得的第一数据集而被自动生成。该方法进一步包括：将第二数据集的所选择的相机图像的子集馈送到训练后的基础模型，将所生成的提示馈送到训练后的基础模型以及解析来自训练后的基础模型的输出。该输出被解析以生成：结构化数据交换格式的文件，其中，该文件包括指示该组道路模型对象中的每个道路模型对象的所分配的属性的注释；和一个或多个注释图像，该一个或多个注释图像包括指示一个或多个相机图像中的该组道路模型对象中的每个道路模型对象的所分配的属性的注释。

4、所公开的技术的第二方面包括包含指令的计算机程序产品，当程序由计算装置执行时，该指令使计算装置执行根据本文中所公开的第一方面的实施例中的任何一个的方法。对于所公开的技术的这个方面，与其他方面存在类似的优点和优选特征。

5、所公开的技术的第三方面包括包含指令的（非暂时性）计算机可读存储介质，当由计算装置执行时，该指令使计算装置执行根据本文中所公开的第一方面的实施例中的任何一个的方法。对于所公开的技术的这个方面，与其他方面存在类似的优点和优选特征。

6、对于所公开的技术的这个方面，与其他方面存在类似的优点和优选特征。

7、如本文中所使用的，术语“非暂时性的”旨在描述不包括传播电磁信号的计算机可读存储介质（或“存储器”），但是不旨在以其他方式限制短语计算机可读介质或存储器所涵盖的物理计算机可读存储装置的类型。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在涵盖不一定永久地存储信息的存储装置的类型，包括例如随机存取存储器（ram）。以非暂时性的形式存储在有形计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质或可以经由诸如网络和/或无线链路的通信介质来传送的、诸如电信号、电磁信号或数字信号的信号来传输。因此，如在本文中所使用的，术语“非暂时性的”是对介质本身的限制（即，有形的，不是信号），而不是对数据存储持久性的限制（例如，ram与rom）。

8、所公开的技术的第四方面包括用于生成自动驾驶系统的道路模型注释的系统。该系统包括一个或多个处理器和包括程序代码的一个或多个存储器存储区域，其中，一个或多个存储器存储区域和程序代码被配置为用一个或多个处理器使系统：获得第一数据集，第一数据集包括指定环境中的一组道路模型对象的3d折线注释。第一数据集包括在3d空间中表示的3d点云，该3d点云由激光雷达装置在指定环境中在一时间段内捕获，指示该组道路模型对象的存在。一个或多个存储器存储区域和程序代码被进一步配置为用一个或多个处理器使系统：获得第二数据集，该第二数据集包括描绘该时间段内的指定环境的一个或多个相机图像；并且基于第一数据集，从一个或多个相机图像中选择相机图像的子集。一个或多个存储器存储区域和程序代码被进一步配置为用一个或多个处理器使系统：生成给训练后的基础模型的提示。这里，该提示包括用于训练后的基础模型的、用来分配在所获得的第一数据集中注释的每个道路模型对象的属性的指令，并且该指令基于所获得的第一数据集而被自动生成。一个或多个存储器存储区域和程序代码被进一步配置为用一个或多个处理器使系统：将第二数据集的所选择的相机图像的子集馈送到训练后的基础模型，将所生成的提示馈送到训练后的基础模型并且解析来自训练后的基础模型的输出。该输出被解析以生成：结构化数据交换格式的文件，其中，该文件包括指示该组道路模型对象中的每个道路模型对象的所分配的属性的注释；和一个或多个注释图像，该一个或多个注释图像包括指示一个或多个相机图像中的该组道路模型对象中的每个道路模型对象的所分配的属性的注释。对于所公开的技术的这个方面，与其他方面存在类似的优点和优选特征。

9、所公开技术的第五方面包括服务器，该服务器包括根据本文中所公开的第四方面的实施例中的任何一个的系统。对于所公开的技术的这个方面，与其他方面存在类似的优点和优选特征。

10、所公开技术的第六方面包括云环境，该云环境包括根据本文中所公开的第五方面的实施例中的任何一个的一个或多个远程服务器。对于所公开的技术的这个方面，与其他方面存在类似的优点和优选特征。

11、所公开的方面和优选实施例可以以对本领域普通技术人员来说显而易见的任何方式适当地彼此组合，使得关于一个方面公开的一个或多个特征或实施例也可以被视为关于另一方面或另一方面的实施例被公开。

12、一些实施例的优点在于，可以为生成道路模型对象的大注释数据集实现大量时间的节省，该道路模型对象可以用于训练自动驾驶系统的各种模型。

13、一些实施例的优点在于，可以获得道路模型对象的准确注释数据集中的大数据集，从而提供改进和/或验证机器学习算法，并且尤其是用于感知和理解道路几何信息的机器学习算法的手段。

14、一些实施例的优点在于，由于大量训练数据变为可获得，用于理解自动驾驶系统中的道路几何信息的模型的性能和稳健性可以以更快且更具成本效益的方式来改善。

15、在从属权利要求中限定另外的实施例。应当强调，当在本说明书中使用时，术语“包括/包含”是用来指明所陈述的特征、整数、步骤或部件的存在。它不排除一个或多个其他特征、整数、步骤、部件或其组的存在或添加。

16、参考下文中所描述的实施例，以下将进一步阐明所公开的技术的这些以及其他特征和优点。