交通管理对象的三维标注的制作方法

摘要: 本发明涉及在三维(3d)空间中标注交通管理对象和生成训练数据集。尤其是,本发明涉及用于在3d空间中自动标注交通管理对象的方法、用于生成训练数据集的方法、相应的计...
交通管理对象的三维标注的制作方法

本发明涉及在三维(3d)空间中标注交通管理对象和生成训练数据集。尤其是,本发明涉及用于在3d空间中自动标注交通管理对象的方法、用于生成训练数据集的方法、相应的计算机可读介质、设备和系统。

背景技术:

1、道路上的交通通常由交通管理对象控制和管理。这些对象通过调节交通流量、提供必要的警告和引导道路使用者在确保车辆的安全和高效操作方面起到关键作用。交通管理对象的准确且可靠的识别对于自动驾驶系统的开发是至关重要的,其严重依赖于传感器数据和环境理解来安全地导航道路。

2、传统上,在二维(2d)中执行交通管理对象的标注。这一过程涉及用标签来标记图像,这些标签对不同的交通标志、信号和其他相关道路标记进行标识和分类。虽然2d标注在自动驾驶技术的早期阶段是有帮助的,但是当应用于现实世界驾驶环境的日益复杂、动态和固有3d性质时,其呈现显著限制。2d标注不能完全捕获对象的深度、取向和空间关系,这对于自主车辆或交通管理任务的准确感知和决策过程非常重要。例如,对于及时和适当的响应是关键性的交通标志,相对于车辆的距离和角度不能通过2d标注有效地传达。

3、此外,无论是在2d还是3d中,手动标注都带来了重大挑战。这是劳动密集、耗时且昂贵的过程,其需要大量的人力和专业知识。特别地,由于在三维空间中准确地定义对象的复杂性增加,手动3d标注甚至更加麻烦。这个过程不仅缓慢而且容易出现不一致和错误,这可能损害用于训练和验证自动驾驶系统的数据的可靠性。

4、us 2023/186499 a1涉及城市环境中静态对象的自动定位。噪声图像数据被用于识别和确定对象在大规模环境中的位置。通过使用基于投票的三角测量技术来定位静态对象。

5、kr 2023104841 a涉及在用于驾驶自主车辆的地图数据中标注对象。该方法基于自主车辆周围的环境的lidar数据,并被用于将目标对象注册至地图数据。另一种依赖于lidar和相机数据的方法在以下文献中描述:wonho song and hyun myung: “3d trafficsign detection using camera-lidar projection”, recent trends in mechatronicstowards industry 4.0, lecture notes in electrical engineering, vol. 730,2021,其使用深度学习2d对象检测,随后使用lidar相机校准数据和异常值移除算法,以便收集交通标志的3d点云数据。

6、ep 4205025 a1公开了一种用于训练分类器以识别由车辆捕获的图像中的交通信号状态的方法。车辆在环境中做出移动决策时使用所识别的状态。

7、simone mentasti et al.: “traffic lights detection and tracking for hdmap creation”, frontiers in robotics and ai, 2023,公开了用于灯光高清地图创建的管道,其被设计为提供地理参考位置和由安装在勘测车辆上的相机观测到的交通灯的描述。

8、nathaniel fairfield and chris urmson: “traffic light mapping anddetection”, ieee international conference on robotics and automation, 2011,公开了一种用于自动应用交通灯的3d位置并用相机检测车载交通灯状态的方法。

技术实现思路

1、2d标注的局限性和现有3d标注的不切实际强化了对用于交通管理对象的3d标注的自动化、可靠和高效方法的需要。总之,需要克服上述现有技术方法的缺点的用于交通管理对象的自动3d标注的改进方法。

2、因此,本发明的目的是根据独立权利要求提供一种用于在三维空间中自动标注交通管理对象的方法以及生成训练数据集的方法。此外,限定了相应的(电子)设备或装置、机器可读介质和(计算机)系统。

3、本发明的第一方面提供了一种用于在三维空间中标注(优选地自动标注)交通管理对象的方法,包括:获得多个图像帧,所述图像帧中的至少一些图像帧包括交通管理对象的二维2d边界框,并且每个图像帧关联有位置和取向数据;使用包括所述2d边界框的所述多个图像帧以及相应的位置和取向数据,定位交通管理对象的3d边界框的中心;对于所定位的每一交通管理对象的3d边界框的中心,基于包括该交通管理对象的2d边界框的图像帧,计算该3d边界框的尺寸和取向;对于每一交通管理对象的3d边界框,将该3d边界框投影在与该交通管理对象相关联的图像帧上;基于投影的3d边界框,生成交通管理对象的多个2d图像裁剪块(image cutout);以及训练至少一个模型以对所述多个2d图像裁剪块中的交通管理对象进行分类。

4、所述用于自动标注交通管理对象的方法是计算机实现的方法。所述方法可以在计算设备中或在具有一个或多个计算设备的系统上实现,所述计算设备包括一个或多个处理器或处理单元(pu),其可以彼此耦接或彼此通信,并且可被配置为执行单独的方法步骤。一个或多个处理器或pu可以实现执行各个方法步骤的硬件和/或软件模块。

5、第一方面的方法对具有交通管理对象的2d边界框的多个图像帧进行操作。图像帧可来自移动相机或放置在环境中的不同视点处的多个固定相机。每个图像帧关联有该图像帧(在3d空间中)在环境中的位置和取向数据。多个图像帧中的2d边界框及其位置和取向被用于确定3d空间中的交通管理对象的中心。

6、2d边界框是图像帧中定义对象在图像帧内的位置的矩形框。2d边界框是“2d”,因为它在图像帧的二维空间内操作。2d边界框可以由两个点指定,诸如矩形的左上角和右下角的坐标。可替代地,它也可以由一个角(通常是左上角)的坐标以及边界框的宽度和高度来定义。2d边界框的目的是突出显示或隔离图像帧内包括交通管理对象的区域。2d边界框的坐标可通常相对于图像帧的尺寸以像素为单位,其中,原点(0,0)通常位于图像的左上角。x坐标可向右增大,并且y坐标可向下增大。然而,应理解,可使用用于指定2d边界框的矩形区域的其他参数。使用多个相应图像帧中的多个2d边界框并结合相应图像帧的位置和取向数据,使得能够在3d空间中定位交通管理对象的中心,其中,每个中心可构成交通管理对象的相应3d边界框的中心。另外,交通管理对象的相应3d边界框的每个中心可以与包括标示该交通管理对象的2d边界框的图像帧集合相关联。

7、3d边界框将2d边界框的概念扩展到3d空间中。虽然在图像帧中2d边界框由平面上的矩形限定,在宽度和高度上包封交通管理对象的尺寸,但是3d边界框在宽度、高度和深度上包封交通管理对象的尺寸,有效地创建对象周围的体积边界。3d边界框可以由三维矩形棱柱(或长方体)表示,并且通常由中心、尺寸和相对于主轴(通常为x、y和z)的取向(旋转)限定。附加地或作为替代,3d边界框可以由其八个角的坐标来定义,或者由一个角以及沿三个主轴的宽度、高度和深度的尺寸来定义。

8、在根据第一方面的方法中,(3d)中心可被认为是用于构建交通管理对象周围的对应3d边界框的参考点,提供交通管理对象在环境中的位置、大小和取向的综合表示。如前所述,每个定位的3d中心可对应于包括相应交通管理对象的2d边界框的对应图像帧集合。该图像帧集合可被用于计算3d边界框相对于所定位的中心的尺寸和取向。

9、所述方法还使用指定的3d边界框来生成交通管理对象的多个2d图像裁剪块。根据相应交通管理对象的投影3d边界框来生成2d图像裁剪块。特别地,交通管理对象的每个3d边界框被投影在与该交通管理对象相关联的那些图像帧上,诸如包括该交通管理对象的2d边界框的图像帧。随后,训练至少一个模型以对多个2d图像裁剪块中的交通管理对象进行分类。

10、2d图像裁剪块是来自较大图像帧的裁剪部分,其通过基于投影的3d边界框选择和提取特定关注区域来创建。通过关注包含交通管理对象的特定区域,这些2d图像裁剪块可为训练提供更清晰、更集中的数据,使模型能够学习相关特征,而不会受到背景噪声或图像的无关部分的干扰。

11、在3d空间中限定交通管理对象的空间尺寸的每个3d边界框被投影到图像帧的2d平面上。该投影将3d边界框的体积信息转换成2d视角,优选地考虑相机的视点、角度和交通管理对象的空间位置。投影过程产生矩形区域(其可再次表示为2d边界框),该矩形区域呈现图像帧的出现交通管理对象的区域的轮廓,考虑其3d位置和尺寸。然后,从原始图像帧裁剪矩形区域,得到2d图像裁剪块。2d图像裁剪块基本上是较小的图像,其包含由3d边界框指定的交通管理对象,根据矩形区域来构建。优选地,可使用3d空间中位于交通管理对象的预定距离内的图像帧来创建2d图像裁剪块。优选地,交通管理对象的3d边界框可投影在距离交通管理对象200米或更小的图像帧上。

12、2d图像裁剪块可通过关注包含交通管理对象的较小图像区域而不是处理整个图像帧来减少计算要求。他们进一步关注交通管理对象,这可有助于至少一个模型更有效地学习相关特征,从而提高识别准确性。此外,使用3d边界框从各种角度和距离生成2d图像裁剪块可将期望的可变性引入训练数据集中,从而有助于创建更稳健的模型。

13、所述方法提供了稳健、快速且高效的途径,其实现了交通管理对象的自动3d标注,其基于容易获得的2d标注。所获得的3d标注被用于生成具有提高的可变性的训练数据集,以有效地训练具有提高的准确度和鲁棒性的至少一个模型。

14、在根据第一方面的方法的第一实施方式中,使用图像检测器神经网络获得2d边界框,其中,所述方法还包括检测所检测到的2d边界框的置信水平,并且使用具有置信水平高于阈值的2d边界框的图像帧来定位交通管理对象的3d边界框的中心。与2d边界框一起,图像检测器神经网络可为每个检测提供置信水平。该置信水平通常表示为0和1之间的百分比或概率,其可指示网络在边界框内对交通管理对象的检测和分类方面的确定性。

15、(图像检测器)神经网络可扫描图像帧,寻找与交通管理对象的图案、特征或特性匹配的图案、特征或特性,其已被训练以进行识别。取决于神经网络的训练数据,这可包括各种交通管理对象。一旦检测到对象,神经网络就可确定其在图像帧内的位置并在其周围绘制2d边界框。该2d边界框可呈现在图像帧中观测到的交通管理对象的尺寸的轮廓。置信水平可反映神经网络对边界框包含特定类型的交通管理对象的确定程度。例如,95%的置信水平可表明,根据模型被训练的类别,边界框内的对象被正确地识别为交通管理对象的概率为95%。置信水平可基于神经网络的特定层(诸如softmax层)的输出来计算,该输出可以与2d边界框的精度或其他相关因素组合。例如,置信水平可将交通管理对象的类别的可能性及其空间位置和大小的准确性考虑在内。

16、阈值可被设置为过滤掉具有低置信水平的检测。例如,仅具有高于某个阈值(诸如50%、60%、70%、80%或90%或其他)的置信水平的检测可被认为是有效的。应理解,可调整阈值以提高方法的鲁棒性。使用阈值有助于减少误报(false-positive),其中,网络可能错误地将不相关对象或噪声识别为有效交通管理对象。

17、在根据第一方面的方法的另一实施方式中,所述定位交通管理对象的3d边界框的中心包括:对于包括交通管理对象的2d边界框的每个图像帧,将中心线从与该图像帧相关的相机位置投射到该图像帧中的2d边界框的中心,以生成多个图像帧的多个中心线。此3d重建和定位任务可基于包括从不同角度或位置获取的传感器数据的图像帧来解决。每个2d边界框可以通过其角坐标或通过一个角及其尺寸(宽度和高度)来限定。这可被用于计算每个2d边界框的中心点。这可通过对对角相对的角的坐标求平均或通过将宽度和高度的一半加到左上角的坐标来完成。从与每个图像帧相关的相机的位置,可朝向2d边界框的中心投射线。该线表示交通管理对象的中心从相机的视角的投影。可进一步考虑相机的位置和取向(外在参数)及其内部特性(如焦距和镜头失真)(内在参数)以在3d空间中准确地投射中心线。中心线可被用于确定相应交通管理对象的3d边界框的中心。通过利用图像帧的多个视点和投影的几何形状,该方法有效地弥合了2d图像数据与3d空间理解之间的差距,使得在自动化系统和应用中实现全面的空间分析和决策过程。

18、在根据第一方面的方法的另一实施方式中,所述定位交通管理对象的3d边界框的中心还包括:识别所述多个中心线中彼此之间的距离小于预定距离的中心线集合;通过在每个集合中的每对中心线上迭代来生成多个候选点,以确定最接近相应中心线对的候选点;对所述多个候选点进行聚类以形成簇;以及使用每个簇的候选点来计算交通管理对象的3d边界框的中心。为了确定不同的交通管理对象,分析中心线以识别线彼此之间的距离小于预定距离的集合。此步骤是至关重要的,因为它有助于区分不同的交通管理对象并过滤掉由于检测或相机定位中的误差而不太可能相交的线。对于被识别为彼此之间的距离足够接近的每个中心线集合(根据预定距离),建立线对,并且对于每对,确定最接近这两条线的候选点。这通常通过几何方法或算法来实现,其找到3d空间中的两条线之间的最短距离并将该最短分段的中点标识为候选点。然后,对从所有已考虑的中心线对所得到的候选点执行聚类算法。聚类基于这些点彼此的接近度来对这些点进行分组。可使用各种聚类算法,诸如k均值、dbscan或分层聚类。算法的选择可取决于点的预期分布和任务的特定要求,诸如需要提前指定簇的数量。在候选点的每个簇内,可计算簇的中心点。这可例如通过基于簇的分布计算几何中值、质心或另一代表性点来完成。

19、优选地,使用簇中的候选点的平均值来计算簇的中心。每个簇的中心点可被认为是对应于该簇的交通管理对象的3d边界框的中心。因此,每个簇可表示不同的交通管理对象。

20、在根据第一方面的方法的另一实施方式中,如果候选点的数量超过第一阈值并且如果它们彼此的距离小于第二阈值,则候选点形成簇。这将紧密聚集的点分组在一起,并可有助于将低密度区域中的点识别为离群点。聚类是基于候选点彼此之间的接近度来执行的。这里的目的是将彼此靠近的候选点分组在一起,因为它们可能表示空间中的同一物理交通管理对象。为了提高方法的鲁棒性,那些过小的簇(即,其包括的中心点的数量低于第二阈值的簇)会被作为离群点丢弃。

21、在根据第一方面的方法的另一实施方式中,所述计算交通管理对象的3d边界框的尺寸包括:通过以下步骤计算多个横截面:对于包括该交通管理对象的2d边界框的每个图像帧,从与所述图像帧相关的相机位置朝向该交通管理对象的所述2d边界框的角投射线,以及计算所述线与所述3d边界框的中心处的平面的交点,所述平面平行于竖直轴并且垂直于视线向量的水平分量,以计算横截面;以及使用所述多个横截面来估计所述3d边界框的尺寸。3d边界框的中心处的平面(也可以称为中心平面)可用作用于将2d边界框的角(如在图像帧中看到的)投影到3d空间中以估计交通管理对象的尺寸的参考。中心平面可放置在交通管理对象的3d边界框的中心。该平面可平行于竖直轴,在大多数情况下,竖直轴与重力对准,指向上。这种对准确保可以以与对象在现实世界中通常如何取向和感知一致的方式进行对象的测量。视线向量可以是从相机的位置到交通管理对象的3d边界框的中心的方向线,如其在2d图像帧中呈现的。该向量表示从相机位置查看交通管理对象的方向。视线向量的水平分量可以指视线向量在水平面上的投影,基本上去除从相机到交通管理对象的任何垂直高度或偏角。该水平方向指示地平面处的视点方向。中心平面垂直于水平方向,水平方向对应于视线向量的水平分量。中心平面可被构造成穿过3d边界框的中心,与竖直轴对准(例如,确保其平行于重力方向)并且垂直于视线向量的水平分量。朝向2d边界框的角投射的线与中心平面的交点限定横截面。每个横截面的尺寸可以优选地由宽度和高度限定。附加地或作为替代,每个区段可以由位置(诸如相对于对应3d边界框的中心的位置)和取向(诸如中心平面的取向)来表征。

22、在根据第一方面的方法的另一实施方式中,该方法还包括使用多个横截面的平均尺寸或最大尺寸来估计3d边界框的尺寸。每个横截面的尺寸可以由横截面的宽度或高度中的至少一个限定。3d边界框的尺寸可以由3d边界框的宽度、深度或高度中的至少一个限定。基于计算出的多个横截面来估计交通管理对象的3d边界框的尺寸可涉及分析一个或多个横截面的宽度和/或高度以确定3d空间中的对应3d边界框的总体尺寸。例如,平均宽度和/或最大宽度可被用于估计3d边界框的一个维度(例如,宽度),和/或平均高度和/或最大高度可表示3d边界框的另一个维度(例如,高度)。边界框的深度可基于截面的尺寸沿着参考平面的分散或分布来估计。

23、使用横截面尺寸的平均值提供了从多个视点观察到的交通管理对象的典型尺寸的表示。使用跨所有横截面观察到的宽度和/或高度的最大值可确保估计出的3d边界框将涵盖整个交通管理对象,而不管视点如何。使用平均或最大尺寸之间的选择可取决于所标注的交通管理对象的均匀性和准确性要求。对于从各种角度维持一致尺寸的对象,平均值可提供更准确的表示。对于不规则形状的对象或者当确保完全覆盖至关重要时,可使用最大尺寸。例如,如果所标注的交通管理对象表示交通灯,则3d边界框的宽度可被设置为多个横截面的平均宽度,并且3d边界框的高度可被设置为多个横截面的平均高度。在又一示例中,如果所标注的交通管理对象表示交通标志,则3d边界框的宽度可被设置为多个横截面的最大宽度,并且3d边界框的高度可被设置为多个横截面的最大高度。

24、在根据第一方面的方法的另一实施方式中,所述方法还包括设置3d边界框的尺寸的深度的预定值或宽度和深度的相同值。深度值可根据所标注的交通管理对象的空间特性来设置。例如,如果已知所标注的交通管理对象在不同的实例中具有一致的深度,或者当精确深度对于标注不重要时,可为3d边界框中的至少一些设置预定深度。这可应用于例如具有标准化尺寸的某些类型的交通标志或障碍物。在这些情况下,可基于领域知识、监管标准或关于所关注的交通管理对象的经验数据来选择深度值。该值可以被实现为常数并且跨交通管理对象的至少一些或所有3d边界框均匀地应用。例如,深度可被设置为5cm至25cm范围内的值,优选地设置为7cm至15cm范围内的值,并且最优选地设置为包括10cm、11cm或12cm的值。应理解,这些值为优选示例,其他值可基于交通管理对象的类型特性进行选择。

25、另一方面,可定义预期在垂直于观察方向的平面中大致对称的交通管理对象的3d边界框,使得宽度等于深度。这可应用于关注的交通管理对象往往具有统一形状的情况,诸如交通灯。因此,在确定3d边界框的宽度之后,诸如通过使用从横截面分析导出的最大或平均宽度,3d边界框的尺寸的深度值可被设置为相同的值。确定深度的选择可以由所标注的交通管理对象的特性和用例的要求来指导。例如,如果空间表示的精度不如处理效率关键,或者如果已知交通管理对象具有标准尺寸,则设置预定深度可以是实际方法。如果交通管理对象在形状和大小上更均匀,则使用宽度和深度的相同值可以提供简单性和准确性之间的合理平衡。

26、在根据第一方面的方法的另一实施方式中,所述计算交通管理对象的3d边界框的取向包括:识别包括该交通管理对象的2d边界框的图像帧中的参考帧,其中,所述参考帧具有距该交通管理对象预定距离的位置;确定所述参考帧的所述位置处的移动方向;以及计算所述3d边界框的取向,以取向为与所述移动方向相反。计算交通管理对象的3d边界框的取向涉及使用来自环境的上下文线索,特别是交通管理对象与可用图像帧的关系,尤其是与参考帧的关系和与参考帧相关联的(车辆的)移动方向。参考帧可被用于在包含交通管理对象的2d边界框的图像帧内建立基本取向。在捕获到交通管理对象的多个图像帧中,满足与对象相距预定距离的标准的图像帧被识别并被选取为参考帧。所述距离可使用图像帧的位置和取向数据来确定,所述位置和取向数据可例如从相机元数据导出,例如,其可以与已建立的对应3d边界框的中心进行比较。用于确定距离的其它参数可包括跨图像帧或深度传感器的对象尺寸比较,以确保选定帧的适当距离以用于准确取向分析。参考帧可基于相机或车辆元数据来指示移动方向。如果该信息不可用,则可分析包括参考帧的对应图像帧序列以确定移动方向。附加地或作为替代,可分析环境线索以确定相对于交通管理对象的移动方向。这可涉及观察交通流量、车道标记的取向或行人面对的方向。附加地或作为替代,参考帧内的视觉指示符(诸如车辆的方向、道路上的箭头或周围基础设施的配置)可被用于估计参考帧的位置处的移动方向或确认已经确定的移动方向。在从参考帧确定移动方向的情况下,交通管理对象的3d边界框的取向可被设置为与该方向相反。这种对准确保了3d边界框的前部逆着移动方向,反映交通管理对象通常如何定位以面向迎面而来的车辆。通过将参考帧视为距交通管理对象特定距离处的图像帧之一,这种方法利用对交通管理对象的环境的直接观察和分析来推断其正确取向,以提高所得3d边界框的精度。

27、在根据第一方面的方法的另一实施方式中,所述计算交通管理对象的3d边界框的取向包括:识别具有最大宽度的交通管理对象的2d边界框的参考帧,以及根据参考帧将取向设置为交通管理对象的视线向量的水平分量的相反方向。作为选择特定距离处的参考帧的替代,或者另外为了改进或细化参考帧的确定,可分析包括对应2d边界框的每个图像帧中的交通管理对象的宽度。优选地,对于总体上扁平和/或矩形的交通管理对象,参考帧是基于所描绘的交通管理对象(或对应的2d边界框)的最大宽度来识别的,使得交通管理对象看起来最宽的图像帧,可能就是其最正对相机的图像帧。这个图像帧可被选择作为参考帧,因为其可能完整地捕获到交通管理对象,从而提供其预期的可视方向的指示。例如,这适用于交通标志和具有扁平侧面的其他类型的交通管理对象。

28、在所收集的包括交通管理对象的图像帧中,可选择交通管理对象周围的2d边界框具有最大宽度的图像帧作为参考帧。参考帧被认为最佳地表示交通管理对象的取向,因为最大宽度表明交通管理对象是从正面视角观看的,提供了其面向方向的指示。对于参考帧中的交通管理对象,可计算视线向量。该向量可表示从相机的视点到交通管理对象(的中心)的方向。实际上,这可被视为从相机到所选参考帧中的2d边界框的中心或交通管理对象的3d边界框的中心的直线。随后,可提取向量的水平分量。水平分量是视线向量在水平面上的投影,基本上忽略任何垂直高度或倾斜。水平分量可指示相机相对于对象面向的主方向。在确定视线向量的水平分量的情况下,3d边界框的取向可被设置为与该分量直接相对。由于交通管理对象被设计为面向迎面而来的车辆或观看者,因此设置与视线向量相反的取向确保3d边界框准确地反映交通管理对象的真实世界取向。

29、在根据第一方面的方法的另一实施方式中,所述计算交通管理对象的3d边界框的取向包括:使用基于图像的回归模型来确定3d边界框的取向。基于图像的回归模型可直接从图像帧数据学习。模型可采用回归来预测连续变量,诸如限定交通管理对象在3d空间中的取向的取向参数或角度。最初可编译表征交通管理对象的图像帧的数据集以及它们的已知取向。取向可以以各种格式表示,诸如欧拉角(偏航、俯仰、横滚)或四元数等。模型可学习识别图像内与对象的取向相关的特征。这可涉及交通管理对象的形状、其不同角度的外观、来自周围环境的上下文线索、以及这些方面相对于相机的视点如何改变。一旦被训练,回归模型就可预测图像帧中的交通管理对象的取向。使用基于图像的回归模型来计算交通管理对象的3d边界框的取向提供了一种强大的、数据驱动的途径,其利用机器学习的能力来进行准确且高效的取向估计。

30、在根据第一方面的方法的另一实施方式中,所述方法还包括训练第一模型以对多个2d图像裁剪块中的交通管理对象的状态进行分类。第一模型的训练数据集可包括任何标记数据集,诸如任何专有标记数据集或公共可用标记数据集,诸如openlane-v2数据集。训练数据集可包括具有针对各种照明条件、角度、距离和背景的标记状态的图像。训练数据集中的多样性对于训练能够在现实世界条件下表现良好的鲁棒模型是至关重要的。

31、状态可取决于交通管理对象的类型。状态可以是静态或动态状态。状态可包括遮挡水平。这可被用于静态交通标志。状态可包括颜色和遮挡水平。这可被用于例如交通灯或动态消息标志。颜色状态可被分类为多个类别,诸如红、绿、红-黄、黄和未知中的一个或多个,其可覆盖导航交叉路口或控制交通所需的基本信号,其中,“未知”提供模糊情况的回退。遮挡可被视为二元分类任务。第一模型可预测图像裁剪块不是交通管理对象的概率,其对应于被遮挡对象。这可被用于识别和忽略被遮挡的视图,以确保系统依赖于清晰的可见信号。

32、在一个示例中,用于训练分类器模型(包括第一模型)的训练数据集可包括交通管理对象的类型,诸如交通标志的类型、颜色状态和交通灯的掩码类型。训练数据集可以是手动标记的数据集。训练数据集可包括专有(内部)数据以及公开可用的数据。通过选择由图像检测器神经网络以高置信度识别的2d边界框并在训练数据集中将相应的图像裁剪块标记为未被遮挡,可以以完全自动化的方式训练遮挡。随后,可将2d边界框放置到图像帧中的随机位置,并且可在训练数据集中将相应的图像裁剪块标记为被遮挡。这基于随机位置最可能不包含任何交通管理对象的观察。分类器模型可在训练数据集中的这些自动标记的数据上被训练为遮挡预测网络。

33、在根据第一方面的方法的另一实施方式中,第一模型是卷积神经网络。优选地,第一模型可以是双头卷积神经网络(two-headed convolutional neural network)。在这种情况下,神经网络可同时执行两个任务,诸如颜色状态分类和遮挡估计。双任务方法可允许同时处理,从而优化神经网络的效率和有效性。

34、在根据第一方面的方法的另一实施方式中,所述方法还包括:基于与交通管理对象相关联的一个或多个图像帧,使用第一模型推断交通管理对象的状态,包括:针对一个或多个图像帧中的图像帧,对于为该图像帧的多个先前图像帧和后续图像帧推断的状态进行多数投票,以确定交通管理对象的状态。这将模型推断与时间分析相结合以提高准确性和可靠性。利用跨图像帧序列的多数投票考虑了时间一致性并且最小化了潜在误分类或瞬态遮挡的影响。已被训练以对交通管理对象的状态进行分类的第一模型被应用于给定序列内的每个图像帧。此序列包括为其确定状态的目标帧以及指定数量的先前帧和后续帧。对于每个帧,模型预测交通管理对象的状态。假定模型被设计为处理交通管理对象的状态,则每个推断可提供交通管理对象的当前状态的估计,诸如颜色和/或可见性。可在目标帧周围定义时间窗口,包括在目标帧之前和之后的设定数量的帧。该窗口大小可基于状态的预期持续时间(诸如交通灯周期)或其他相关时间因素(包括预期遮挡)来选择。在该窗口内,可聚合来自每个图像帧的推断状态,并且选择最频繁出现的状态作为目标帧时对象状态的最终确定。可通过将目标帧的推断状态与较大加权因子相关联并且将窗口中的剩余状态与较低因子相关联等来进一步加权多数投票。如果遮挡检测是第一模型的输出的一部分,则确定了对象被遮挡的帧可被从投票过程排除或相应地处理,以确保它们不会错误地影响最终状态确定。

35、在根据第一方面的方法的另一实施方式中,所述方法还包括:获得用于每个交通管理对象的多个2d图像裁剪块;以及训练第二模型以使用所述多个2d图像裁剪块对交通管理对象的掩码类型进行分类。第二模型可针对交通管理对象的外观的细微变化,其可由相应的掩码类型表示。掩码类型的分类本质上是指识别由交通管理对象显示的特定功能符号或设计,诸如由动态消息标志或交通灯上的箭头指示的方向,或者行人横道符号或建筑工地符号的存在。每个图像裁剪块可用其表示的特定掩码类型来标注。这可包括交通灯上的各种符号、动态消息标志或交通标志,诸如指示方向的箭头、行人符号、建筑工地符号等,或交通标志上的特定形状或设计等。第二模型可以是适于图像分类任务的神经网络架构。在2d图像裁剪块的带标注数据集上训练第二模型可涉及将图像裁剪块馈送到模型中,从而允许其通过优化过程来学习与每个掩码类型相关联的视觉特征,通常采用测量预测标签和实际标签之间的差异的损失函数。随后,数据的单独子集(在训练期间未被第二模型看到)可被用于验证和测试。可使用诸如准确度、精度、召回率和f1分数的性能度量来评估第二模型。用于第二模型的训练数据集可以包括具有所获得的2d图像裁剪块的标记数据集,其可被手动标记以训练分类器模型,包括第二模型。然而,应理解的是,用于第二模型的训练数据集还可包括任何专有的标记数据集或公开可用的标记数据集。

36、在根据第一方面的方法的另一实施方式中,交通管理对象是动态或静态交通管理对象。优选地,交通管理对象可以是交通标志、交通灯和动态消息标志中的一个或多个。每种类型的交通管理对象可服务于不同的目的,并对自动化系统(诸如在自动驾驶中使用的那些)中的检测、分类和解释提出了独特的挑战。静态交通管理对象可以是交通环境中的永久或半永久固定装置。它们保持恒定的位置和功能,并且不动态地改变状态。示例包括交通标志或障碍物和护柱。检测和分类必须准确地识别交通管理对象,而无关于照明、天气状况和遮挡的变化。解释需要理解每个对象传达的特定法规或指导(例如,速度限制、方向信息等)。动态交通管理对象可以是能够改变状态或位置、基于当前交通状况提供实时信息或控制的那些对象。示例包括动态消息标志,也称为可变消息标志(vms)、交通灯、自动屏障或门等。动态交通管理对象的状态检测不仅需要识别交通管理对象,而且还需要准确地确定其当前状态或消息。时间分析对于预测交通管理对象的状态的变化或理解模式可能是必要的。因此,考虑到环境变化,训练数据必须涵盖每种对象类型的宽范围的外观。重点可放在识别对象并理解其固定含义上。对于动态交通管理对象,模型应优选地基于捕获交通管理对象可表现出的不同状态或位置的数据来训练。

37、第一模型和/或第二模型的训练可通过一系列机器学习模型和过滤技术来提高交通管理对象的检测和分类的准确性和效用。生成交通管理对象的高精度3d边界框。三角测量和计算机视觉方法使得精度在地面实况的0.2米至0.3米内。从3d边界框,通过将3d边界框从优选始于200米的距离投影到相机图像平面(图像帧)上来产生交通管理对象的2d图像裁剪块。可根据参数和条件来调整该距离。所述方法按交通管理对象出现在相机馈送中将呈现的样子捕获交通管理对象。

38、根据交通管理对象的类型,开发专用模型(优选为cnn)来处理一个或两个任务。这可包括:将动态交通管理对象的颜色状态分类为多个类别,诸如将交通灯分类为五个类别,包括红、绿、红-黄、黄和未知;和/或将遮挡估计作为二元分类,包括可见或遮挡。模型可使用专有标注和来自公共可用数据集(诸如openlane-v2数据集)的数据的组合。

39、合理数量的图像裁剪块,诸如至少约100,000;150,000;180,000;或190,000个图像裁剪块,包括自动生成的遮挡版本,可被用于训练和评估模型,实现颜色状态分类和/或遮挡检测的高准确度。为了确保随时间一致的状态预测并减轻误分类,可应用考虑当前帧之前和之后的帧的平滑技术。多数投票可确定最终颜色状态,考虑动态交通管理对象中的光状态的时间变化。

40、对于描绘符号或具有不同设计的单个交通管理对象,交通管理对象的准确检测和分类可用作进一步分类每个交通管理对象的特定掩码类型的基础。掩码类型可表示交通管理对象可显示的各种符号或指示,诸如方向箭头、行人符号或建筑工地符号。例如,可在专有数据或公开可用数据上训练另一模型,以从对应的图像裁剪块中识别每个交通管理对象的掩码类型,从而覆盖可能的交通指示的综合范围。优选地,该模型可在验证数据集上实现至少99%的准确率。

41、优选地,为了减少交通管理对象检测中的误报,可计算3d边界框的2d投影与初始2d检测(基于初始2d边界框)之间的平均交并比(iou)。这有助于基于空间重叠度识别和只保留最准确的检测。通过将落在同一视线上的候选分组并选择具有最高iou的候选,可进一步细化检测。可去除平均遮挡率高于例如85%的预测,尤其是距离观测者小于20米的情况,以确保检测到的交通管理对象的可见性和相关性。

42、根据第一方面的实施例所描述的多阶段过程,从高精度3d映射和2d图像裁剪块生成到用于状态、遮挡和/或掩码类型分类的复杂机器学习模型,构成了能够准确地检测和分类交通管理对象的稳健系统。优选地,时间平滑和误报减少技术的结合进一步增强了系统在真实世界场景中的可靠性和适用性。

43、优选地,所述方法还包括在地图中提供3d边界框。3d边界框提供了交通管理对象的体积空间表示,详细描述其在3d空间内的位置、取向和大小。所生成的3d边界框可以在hd地图中提供,并且与包括具有位置/取向信息的图像数据的任何数据集一起使用,以生成相应交通管理对象的2d剪切。这可以用于分类或用于训练目的。

44、在根据第一方面的方法的另一实施方式中,所述方法还包括:生成包括交通管理对象的3d边界框的训练数据集。优选地,训练数据集可包括每个交通管理对象的状态、遮挡和掩码类型中的一个或多个。生成包括交通管理对象的3d边界框以及每个对象的诸如状态、遮挡和掩码类型等综合细节的训练数据集,为训练复杂机器学习模型形成坚实基础。然后,这些模型可被用于多种应用,包括自动驾驶、交通管理系统和城市规划。数据集可被用于训练或验证机器学习模型,特别是诸如卷积神经网络(cnn)的深度学习模型,以从各种传感器输入识别、分类和理解交通管理对象的特性和状态。

45、根据第二方面,限定了一种生成训练数据集的方法,其中,训练数据集是基于交通管理对象的3d边界框而生成的,其中,训练数据集是通过执行根据第一方面的任何实施方式的方法而获得的。具体地,可通过在三维空间中自动标注交通管理对象来获得训练数据集,包括:获得多个图像帧,所述图像帧中的至少一些图像帧包括交通管理对象的二维2d边界框,并且每个图像帧关联有位置和取向数据;使用包括所述2d边界框的所述多个图像帧以及相应的位置和取向数据,定位交通管理对象的3d边界框的中心;对于一交通管理对象的一3d边界框的每个定位的中心,基于包括该交通管理对象的2d边界框的图像帧,计算该3d边界框的尺寸和取向;对于一交通管理对象的每个3d边界框,将该3d边界框投影在与该交通管理对象相关联的图像帧上;基于投影的3d边界框,生成交通管理对象的多个2d图像裁剪块;以及训练至少一个模型以对所述多个2d图像裁剪块中的交通管理对象进行分类。应理解,第二方面的优选实施例可以以任何组合包含第一方面的实施例或实施方式的特征。

46、本发明的第三方面涉及一种计算机可读存储介质,其上存储有指令,所述指令在由计算设备执行时,将所述计算设备配置为执行根据第一方面或第二方面或第一方面或第二方面的实施方式之一所述的方法。具体地,计算设备可被配置为在三维空间中自动标注交通管理对象,包括:获得多个图像帧,所述图像帧中的至少一些图像帧包括交通管理对象的二维2d边界框,并且每个图像帧关联有位置和取向数据;使用包括所述2d边界框的所述多个图像帧以及相应的位置和取向数据,定位交通管理对象的3d边界框的中心;对于一交通管理对象的一3d边界框的每个定位的中心,基于包括该交通管理对象的2d边界框的图像帧,计算该3d边界框的尺寸和取向;对于一交通管理对象的每个3d边界框,将该3d边界框投影在与该交通管理对象相关联的图像帧上;基于投影的3d边界框,生成交通管理对象的多个2d图像裁剪块;以及训练至少一个模型以对所述多个2d图像裁剪块中的交通管理对象进行分类。应理解,第三方面的优选实施例可以以任何组合包含第一方面或第二方面的实施例或实施方式的特征。

47、本发明的第四方面限定了一种设备,其包括:存储器,被配置为存储图像数据;以及处理器,被配置为访问所述存储器并执行根据第一方面或第二方面或第一方面或第二方面的实施方式之一的方法。具体地,所述设备可以优选地是计算设备,其可被配置为在三维空间中自动标注交通管理对象,包括:获得多个图像帧,所述图像帧中的至少一些图像帧包括交通管理对象的二维2d边界框,并且每个图像帧关联有位置和取向数据;使用包括所述2d边界框的所述多个图像帧以及相应的位置和取向数据,定位交通管理对象的3d边界框的中心;对于一交通管理对象的一3d边界框的每个定位的中心,基于包括该交通管理对象的2d边界框的图像帧,计算该3d边界框的尺寸和取向;对于一交通管理对象的每个3d边界框,将该3d边界框投影在与该交通管理对象相关联的图像帧上;基于投影的3d边界框,生成交通管理对象的多个2d图像裁剪块;以及训练至少一个模型以对所述多个2d图像裁剪块中的交通管理对象进行分类。

48、在根据第四方面的设备的优选实施方式中,所述存储器可被配置为以任何组合存储图像帧、2d边界框、所确定的3d边界框和2d图像裁剪块中的一个或多个。

49、应理解,第四方面的其他实施方式可以以任意组合包含第一方面或第二方面的实施例或实施方式的特征。

50、根据本发明的又一方面,至少一个计算机可读介质可存储包括交通管理对象的3d边界框的训练数据集。优选地,训练数据集可包括每个交通管理对象的状态、遮挡和掩码类型中的一个或多个。优选地,训练数据集可以通过执行第一方面或第二方面的任意实施方式中的方法获得。

51、应理解,与计算设备或系统相关的实施例可包括逻辑、处理器或功能设备,其可根据本公开的第一方面或第二方面的实施例或实施方式或第一方面或第二方面的任何实施方式以任何组合来配置。优选地,所述计算设备和系统可根据第一或第二方面的方法的实施例以任何组合来配置。同样地,根据第一或第二方面的实施例的方法可包括以任何组合反映计算设备或第四方面的系统的实施例的结构特征或组件的功能的处理步骤。