用于适配经预训练的BEV网络的方法与系统和经预训练的BEV网络与流程
本发明涉及用于将经预训练的多视角鸟瞰图(bev)网络适配于新的传感器配置的方法与系统。本发明还涉及一种用于环境识别的经预训练的多视角鸟瞰图(bev)网络。
背景技术:
1、多视角bev网络对于不同的3d感知任务来说至关重要,但是对训练与使用之间的摄像装置配置中的偏差特别敏感。如果将针对确定的摄像装置配置经训练的网络应用于其他配置,预测的3d信息,包括占用栅格与对象位置,在高度与深度上出现错误定向以及错误的缩放尺寸。这些不准确性可能显著地损害后续任务如路径规划和碰撞避免的性能与可靠性。
2、“将多视角鸟瞰图(bev)网络适配于新的传感器配置、尤其是新的摄像装置配置”典型地需要针对目标配置对数据进行成本高昂且耗时的检测和标注。现有的方案尝试通过不同的策略来克服该局限。一种策略包含:用包括不同的摄像装置配置的多样的数据集进行的训练。然而,潜在的摄像装置位置与定向的庞大数量使得在实际中无法建立足够多样的用于覆盖所有真实场景的数据集。因此,这些办法通常无法有效地泛化到显著不同的传感器几何。另一方案使用合成式数据生成,其中,经预训练的生成式模型、如stablediffusion,连同几何变换一起使用,以便合成来自新的摄像装置视角的图像。该办法虽然颇具前景,但存在诸多挑战。用于生成大的合成数据集的计算开销可能是无法负担的。此外,合成的图像通常在光照、对象展示和传感器噪声方面与真实数据存在风格差异,这损害用这种数据进行的训练有效性。这种“仿真到真实”的缺口经常导致到真实场景的差的泛化。
技术实现思路
1、因此,本发明的任务可以被认为是,提供一种更鲁棒、更高效且成本更低的用于根据新的传感器配置对经预训练的多视角鸟瞰图(bev)网络进行的适配方法。
2、根据本发明的第一方面,提出一种用于将经预训练的多视角鸟瞰图(bev)网络适配于新的传感器配置、尤其是新的摄像装置配置的方法。该方法包括如下步骤:
3、- 获取来自所述新的传感器配置的多个环境数据集、尤其是多个图像;
4、- 在使用经预训练的基础模型(fm)进行深度估计的情况下,为所述多个环境数据集中的每个环境数据集产生目标深度地图;
5、- 在使用所述经预训练的bev网络的情况下,基于所述多个图像产生预测的3d占用展示;
6、- 基于预测的3d占用展示,为所述多个环境数据集中的每个环境数据集产生预测的深度地图,尤其是在使用可微分的神经渲染器的情况下;
7、- 基于分别彼此配属的目标深度地图与预测的深度地图之间的比较,确定误差函数和/或误差量;
8、- 基于所确定的误差函数和/或误差量,对所述经预训练的多视角鸟瞰图(bev)网络进行适配。
9、本发明基于用于深度估计的基础模型(fm)的领域中的最新发展。这种基础模型的突出特点在于:在基于单个图像预测深度地图方面具备显著的准确度。该能力至关重要,因为其为适配过程提供易于使用的监督信号。对于通常不可用或获取成本高昂的显式基准真相视差数据的依赖得以消除。
10、在本发明的上下文中,“基础模型”(fm)指的是大型的经预训练的深度学习模型、尤其是经训练用于基于单个图像进行深度估计的模型。这种模型典型地基于海量的数据集、例如图像以及相应的深度信息的数据集进行训练,从而这些模型能够学习在深度感知方面的一般性的特征与模式。在该上下文中的基础模型的核心特征是它的如下能力:能够良好地泛化至新的、未见过的数据或图像并且能够准确地预测深度地图,而无需根据目标数据集进行进一步的微调或适配。本发明利用该泛化能力,其方式是,本发明将基础模型的深度预测作为监督信号使用,以便使多视角bev网络适配于新的摄像装置配置,从而消除基于目标结构的经标注的深度数据的必要性。尽管基础模型本身并非是专门针对目标任务(bev网络的适配)训练的,但该模型的经预训练的用于深度估计的能力提供有价值的信息,这些信息控制适配过程。适用于该目的的基础模型示例是metric3dv2(参见hu等人,“metric3dv2: a versatile monocular geometric foundation model for zero-shotmetric depth and surface normal estimation”,https://arxiv.org/abs/2404.15506)与depthanything(参见yang等人,“depth anything: unleashing the power of large-scale unlabeled data”,https://arxiv.org/abs/2401.10891),二者均是基于大型数据集训练的并且在单目的深度估计中表现出优异的性能。
11、在本发明的上下文中,“多视角鸟瞰图(bev)网络”指的是一种专用的人工神经网络,该人工神经网络被开发为用于基于环境数据的、例如摄像装置图像的多个数据集进行3d感知。该人工神经网络例如可以接收多个摄像装置的图像作为输入,这些摄像装置安装在围绕车辆(或其他平台)的不同的视点处,并且该人工神经网络可以将这种透视视角变换为统一的鸟瞰视角(bird's-eye-view)展示。在此涉及正交投影、即无透视畸变的地图式俯视图,该俯视图如此展示场景,如同从上方对该场景进行考察一般。这种展示在典型地以车辆为中心的固定的坐标系中创建。
12、关键在于,所述网络学习:融合来自多个传感器视角或摄像装置视角的信息,以便在bev空间中构建对场景的连贯且全面的3d理解。该3d理解可以呈3d占用栅格、bev空间内的对象识别或与后续任务、如自主驾驶相关的其他3d特征的形式存在。网络的架构典型地包括:用于处理环境数据(例如摄像装置图像)的各个集合的编码器;用于将特征投影至bev空间中的变换;以及用于组合多视角信息的融合机制。该网络通常通过多个摄像装置的数据同时进行训练,以便学习所述变换与融合操作。
13、在本发明的上下文中,“可微分的神经渲染器”是关键组件,该关键组件使得能够计算损失相对于bev网络参数的梯度。具体地,该可微分的神经渲染器接收由bev网络预测的3d占用展示作为输入,并且基于此产生合成的深度地图,该合成的深度地图模拟来自单个摄像装置视角的场景。在这方面,“可微分”意味着:这样限定渲染器的操作,使得可以计算相对于输入数据(3d占用展示)的误差(所渲染的深度地图与由基础模型预测的深度地图之间的差异)的梯度。这种梯度计算尤其对于反向传播方法来说至关重要,该反向传播方法用于在训练期间调整bev网络的参数。因此,可微分的神经渲染器使得能够这样训练bev网络,使得该bev网络产生与基础模型的深度信息一致的3d占用展示,而无需基于新的摄像装置配置经标注的数据。该可微分的神经渲染器是bev网络的3d输出与2d深度地图之间的桥梁,并且因此使得能够对整个系统进行端到端优化。
14、传感器首先可以是通用的环境传感器的各种形式,例如雷达传感器、激光雷达传感器、超声传感器或成像的传感器(尤其是摄像装置)。在此,传感器配置可以包括同一类型的多个传感器,或者可以包括不同传感器类型。
15、例如,传感器配置包括多个摄像装置。新的传感器配置例如可以包括与原来的传感器配置相比更多和/或不同的传感器。新的传感器配置的传感器可以与原来的传感器配置中的传感器相比不同地定向或配置。
16、该方法尤其构造为用于将经预训练的多视角鸟瞰图(bev)网络适配于新的摄像装置配置,其中,该方法包括以下步骤:
17、- 提供用于深度估计的经预训练的基础模型与可微分的神经渲染器;
18、- 获取来自所述新的摄像装置配置的多个图像,尤其是未标注的图像;
19、- 使用所述经预训练的基础模型(fm),以便为每个图像产生目标深度地图;
20、- 使用所述经预训练的多视角鸟瞰图(bev)网络,以便基于所述多个图像产生预测的3d占用展示;
21、- 使用所述可微分的神经渲染器,以便基于预测的3d占用展示为每个图像产生预测的深度地图;
22、- 基于所述目标深度地图与预测的深度地图之间的差异,确定误差函数和/或误差量;以及
23、- 基于所确定的误差函数和/或误差量,对所述经预训练的多视角鸟瞰图(bev)网络进行适配。
24、在本发明的一种优选实施方式中,预测的深度地图的产生包括:在使用所述可微分的神经渲染器的情况下,将预测的3d占用展示投影至所述新的摄像装置配置的对应的图像平面上。这提供“准确地考虑特定的摄像装置几何”的优点。这导致3d感知的改进的准确度并且使得能够对在车辆环境中的对象进行精确的定位与分类。
25、在另一种优选实施方式中,若所述经预训练的基础模型提供缩放尺寸不变的视差信息,则选择缩放尺寸不变的误差函数和/或误差量作为误差函数。若所述经预训练的基础模型反之提供绝对的度量的视差信息,则选择绝对的误差函数(如均方误差mse)。对所述经预训练的多视角鸟瞰图(bev)网络的适配包括:在使用反向传播的情况下,基于如此确定出的误差量对所述经预训练的多视角鸟瞰图(bev)网络进行微调。根据所述基础模型的特性(缩放尺寸不变的或度量的)对误差函数进行的这种限定的选择保证鲁棒的适配与训练过程的稳定的收敛。借助反向传播对网络进行微调使得能够自动化地优化所有相关的网络参数并且导致对新的传感器配置的最优适配。
26、特别优选地,在无标注的情况下提供来自所述新的传感器配置的环境数据集、尤其是摄像装置图像。根据本发明的方法在原则上可以用经标注的或未标注的数据集执行。但该方法的特别的优势通过如下方式来展现:标注不是必需的。因此,可以有利地利用现有的未标注的数据资料,所述数据资料本就例如可由所述新的传感器配置的标定提供。这大幅地降低用于数据检测与预处理的开销并且加速适配过程,这能够导致成本节约与更快速的开发。
27、在另一种优选实施方式中,由所述经预训练的多视角鸟瞰图(bev)网络来产生3d占用展示作为主输出。
28、在另一种替代的优选实施方式中,所述多视角鸟瞰图(bev)网络产生3d占用展示作为辅助输出,并且在此基础上附加地执行至少一个另外的感知任务。所述感知任务尤其可以包括3d对象识别和/或车道识别和/或语义分割。这允许将所述多视角鸟瞰图(bev)网络集成到更复杂的系统中并且使得能够进行更完整且更细节的环境感知。
29、在另一种优选实施方式中,对所述经预训练的多视角鸟瞰图(bev)网络的适配包括:调整将图像特征映射到bev空间中的3d变换。由此可以精准地补偿在旧的和新的传感器配置之间的几何偏差。这提高系统对传感器布局方面的变化的鲁棒性,并且引起在传感器布置改变时的可靠的3d感知。
30、在另一种优选实施方式中,对所述经预训练的多视角鸟瞰图(bev)网络的适配包括:调整所述经预训练的多视角鸟瞰图(bev)网络的先前学习到的特征表示。通过调整学习到的特征表示可以实现根据新的传感器配置进行更精细的微调。这导致对新的、未知的场景的改进泛化并且提高在真实的应用场景中的系统可靠性。
31、在另一种优选实施方式中,所述多个环境数据集或所述多个图像来自所述新的传感器配置的不同的传感器、尤其是新的摄像装置配置的不同的摄像装置。
32、在另一种优选实施方式中,所述方法迭代地执行,其中,在每次迭代中重复“产生预测的深度地图”的步骤、“确定损失值”的步骤和“适配所述经预训练的多视角鸟瞰图(bev)网络”的步骤。这使得能够逐步地优化bev网络并且提高学习过程的收敛速度,这能够导致更高效的适配与更好的结果。
33、根据本发明的第二方面,提出一种用于将经预训练的多视角鸟瞰图(bev)网络适配于新的摄像装置配置的系统。该系统尤其构造为用于实施根据第一方面所述的方法。所述系统包括:
34、存储器,其存储:
35、- 用于深度估计的经预训练的基础模型,其配置为用于,基于图像产生目标深度地图;以及
36、- 可微分的神经渲染器,其配置为用于,基于3d占用展示创建预测的深度地图。
37、所述系统还包括处理器,该处理器配置为用于:
38、- 获取来自所述新的摄像装置配置的多个图像;
39、- 促使所述经预训练的基础模型为所述多个图像中的每个图像产生目标深度地图;
40、- 获取由所述经预训练的多视角鸟瞰图(bev)网络基于所述多个图像产生的、预测的3d占用展示;
41、- 促使所述可微分的神经渲染器基于预测的3d占用展示为所述多个图像中的每个图像创建预测的深度地图;
42、- 基于所述目标深度地图与预测的深度地图之间的差异,确定误差量和/或误差函数;以及
43、- 基于所确定的误差量和/或误差函数,输出用于所述经预训练的多视角鸟瞰图(bev)网络的训练信号。
44、优选地,所述系统这样构造,使得所述处理器还配置为用于迭代地执行“产生预测的深度地图”的步骤、“确定损失值”的步骤和“适配所述经预训练的bev网络”的步骤。
45、根据第三方面,提出一种用于环境识别、尤其是用于对至少部分自动化的机动车辆的环境进行环境识别或对自主机器人的环境进行环境识别的经预训练的多视角鸟瞰图(bev)网络。所述网络包括至少一个用于基于接收到的环境图像数据来产生3d占用展示的模块,所述图像数据是借助所确定的传感器配置所采集到的。所述多视角鸟瞰图(bev)网络构造为用于,基于由所述模块产生的3d占用展示来输出对所述环境的描述,尤其是3d对象列表和/或占用栅格。根据本发明,所述多视角鸟瞰图(bev)网络构造为用于,按照根据第一方面所述的方法,尤其是借助根据第二方面所述的系统,根据新的传感器配置进行适配。
46、特别优选地,所述经预训练的多视角鸟瞰图(bev)网络集成在自主的或部分自动化的车辆或自主机器人中。因此,所述经预训练的多视角鸟瞰图(bev)网络使得能够将感知系统(如通常用于现代车辆或机器人中的感知系统)灵活且高效地适配于新的传感器配置与任务,从而提升这种系统的自主性与性能并使得能够实现广泛的应用范围。
47、因此,本发明提供一种将多视角bev网络适配于新的传感器配置或摄像装置配置的新型方案,而无需为此而强制地必需新配置的经标注的数据。与通常仅对网络的部分进行适配的到目前为止的方案不同,在此执行全面的端到端微调。在此,使用用于深度估计的经预训练的基础模型(fm),该基础模型在适配过程期间承担监督功能。因此,不仅优化用于深度估计的网络分支,还优化将图像特征转换至bev空间中的关键的3d变换,以及所有隐式学习到的特征表示。这种整体的优化保证根据新的传感器几何构型对整个感知流程进行无缝的适配。在本发明的一种特别优选的构型中,使用神经渲染。由此,基于由网络预测的3d占用来产生深度地图。这些深度地图形成在3d占用输出与由fm提供的视差监督之间的桥梁。
48、可以在车辆中使用根据本发明的方法和/或系统。车辆例如可以构造为机动车辆和/或乘用车辆和/或至少部分自动化/自主的车辆。车辆可以具有例如用于提供自主驾驶功能的车辆设施和/或具有驾驶员辅助系统。该车辆设施可以实施为用于,至少部分自动地对车辆进行控制和/或加速和/或制动和/或转向。针对至少一个驾驶功能可以使用多视角bev感知系统。传感器布置可以是车辆的部分或布置在车辆上。
49、根据本发明的方法与系统可以显著地降低用于将感知模型适配于新的传感器布置的成本与时间开销。不再需要昂贵的参考传感器系统与人工标注。相较于现有的办法,尤其是基于多样的数据集或合成数据的办法,本发明提供更高的准确度与鲁棒性。这通过利用目标配置的真实的传感器数据来实现,从而可以直接校正由于在摄像装置几何方面的变化所导致的偏差。
50、本发明在每个必须根据新的传感器配置进行适配的多视角bev感知系统中均拥有广泛的应用领域。尽管该办法可直接应用于3d占用预言,但该办法能够无缝地集成至其他任务中,如3d对象识别、车道识别和语义分割。在这些情况下,3d占用预言可以作为辅助输出被集成,其中,主任务隐式地受益于改进的3d变换,该3d变换是在适配期间学习到的。之所以实现这一点,是因为跨任务地利用经校正的变换,这导致更准确且几何上更一致的输出。本发明在驾驶辅助、自主驾驶、机器人技术以及一般性的3d场景理解应用的领域中是特别有效果的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com