在线映射预训练和传感器泛化的动态场景重建方法和系统与流程
本公开总体上涉及自动驾驶技术。在特定实施例中,本公开涉及用于在线映射预训练和传感器泛化的动态场景重建和传感器数据合成的方法和系统。
背景技术:
1、在自动驾驶和高级映射系统的领域中,车辆越来越多地依赖于复杂的传感器阵列来生成对它们周围环境的准确、实时的描绘。现代映射方法在解释涵盖静止结构和瞬态元素(诸如移动的车辆和行人)二者的动态环境中发挥重要作用。然而,跨不同平台的传感器放置、校准和配置的可变性通常导致异构的数据表示。这些不一致性挑战了环境建模的可靠性,并且阻碍了传感器数据无缝集成到连贯且可操作的地图中。
2、采用在固定传感器条件下生成的数据集的现有方法在适应新的传感器配置时通常需要大量的人工干预或刚性更新协议。这种依赖可能在快速变化的条件下引入延迟并限制适应性,在该条件下环境的动态性质需要快速和准确的映射。此外,常规方法可能难以捕获动态场景的完整复杂度,有时产生在泛化和鲁棒性方面不足的模型。跨各种配置协调传感器数据同时确保在相异的操作条件下的高保真环境表示是需要的并且是困难的。
技术实现思路
1、在一个实施例中,提供了一种用来合成用于在线映射预训练和传感器泛化的传感器数据的方法。该方法包括:接收与场景相关联的先前生成的传感器数据集,该数据集已经由具有相关联的传感器规范的第一多个传感器捕获;将传感器数据分类为对应于静态对象的静态对象数据和对应于动态对象的动态对象数据;对静态和动态对象数据执行体积场景重建以生成场景的四维表示;生成该场景的新传感器数据集,包括由第二多个传感器捕获的传感器数据,该第二多个传感器具有与所述第一多个传感器的传感器规范不同的传感器规范;以及通过将四维表示对齐至新传感器规范来合成新传感器数据集以产生合成数据集,其中在一些实施例中,该合成还包括下述操作,诸如将四维表示转换为二维格式的光栅化,平滑和内插光栅化数据的扩散,以及可选地流匹配操作以对齐数据点的流;一些实施例并入了场景的四维模拟的生成并利用先前生成的传感器数据集,这些先前生成的传感器数据集包括由相机、lidar(激光雷达)或雷达传感器捕获的时空数据。
2、在一个实施例中,提供了一种用来合成用于在线映射预训练和传感器泛化的传感器数据的系统。该系统包括:被配置为存储与场景相关联的先前生成的传感器数据集的存储装置,位于车辆周围的第二多个传感器,以及耦合到存储装置和传感器的处理器;处理器被编程为接收先前生成的传感器数据集;处理传感器数据以将数据分类为静态对象数据和动态对象数据;对分类的数据执行体积场景重建以生成场景的四维表示;生成与场景相关联的新传感器数据集,其中新数据集由第二多个传感器捕获,该第二多个传感器具有与所述第一多个传感器的传感器规范不同的传感器规范;以及通过将四维表示对齐至新传感器规范来合成新传感器数据集以产生合成数据集。在各种实施例中,该合成还包括:将四维表示转换为二维格式的光栅化,平滑和内插光栅化数据的扩散,流匹配操作以对齐数据点的流;场景的四维模拟的生成,更新hd地图,以及在某些情况下,系统的操作利用先前生成的传感器数据集,这些先前生成的传感器数据集包括由相机、lidar或雷达传感器捕获的时空数据。
3、在一个实施例中,提供了一种非暂时性计算机可读介质,该介质包括指令,这些指令在由处理器执行时使处理器执行以下操作,包括:接收与场景相关联的先前生成的传感器数据集,该数据集已经由具有相关联的传感器规范的第一多个传感器捕获;将传感器数据分类为静态对象数据和动态对象数据;对分类的数据执行体积场景重建,以生成场景的四维表示;基于由第二多个传感器捕获的传感器数据生成场景的新传感器数据集,第二多个传感器具有与第一多个传感器的传感器规范不同的传感器规范;以及通过将四维表示对齐至新传感器规范来合成新传感器数据集,来生成合成数据集,其中在某些实施例中,这些指令还使处理器基于合成数据集来更新hd地图和控制车辆的移动。
1.一种用来合成用于在线映射预训练和传感器泛化的传感器数据的方法,所述方法包括:
2.根据权利要求1所述的方法,其中所述合成包括光栅化和扩散。
3.根据权利要求2所述的方法,其中所述光栅化包括将所述场景的四维表示转换为与所述新传感器规范对齐的二维格式。
4.根据权利要求3所述的方法,其中所述扩散包括应用扩散技术以平滑和内插光栅化数据。
5.根据权利要求2所述的方法,其中所述合成还包括:流匹配,其包括对齐所述场景内的数据点的流。
6.根据权利要求1所述的方法,还包括基于所述合成数据集来生成所述场景的四维模拟。
7.根据权利要求1所述的方法,其中所述先前生成的传感器数据集包括时空数据。
8.根据权利要求1所述的方法,其中所述第一多个传感器包括相机、lidar或雷达传感器。
9.一种用来合成用于在线映射预训练和传感器泛化的传感器数据的系统,所述系统包括:
10.根据权利要求9所述的系统,其中所述新传感器数据集的合成包括光栅化和扩散。
11.根据权利要求10所述的系统,其中所述光栅化包括将所述场景的四维表示转换为与所述新传感器规范对齐的二维格式。
12.根据权利要求11所述的系统,其中所述扩散包括应用扩散技术以平滑和内插光栅化数据。
13.根据权利要求10所述的系统,其中所述新传感器数据集的合成还包括:流匹配,其包括对齐所述场景内的数据点的流。
14.根据权利要求9所述的系统,其中所述处理器还被编程为基于所述合成数据集来生成所述场景的四维模拟。
15.根据权利要求9所述的系统,其中所述先前生成的传感器数据集包括时空数据。
16.根据权利要求9所述的系统,其中所述第一多个传感器包括相机、lidar或雷达传感器。
17.根据权利要求9所述的系统,其中所述处理器还被编程为基于所述合成数据来生成更新的hd地图。
18.一种非暂时性计算机可读介质,其包括指令,所述指令在由处理器执行时使所述处理器执行以下步骤:
19.根据权利要求18所述的非暂时性计算机可读介质,其中所述指令在由所述处理器执行时还使所述处理器:
20.根据权利要求18所述的非暂时性计算机可读介质,其中所述指令在由所述处理器执行时还使所述处理器:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com