一种基于高保真数字孪生的车路协同数据集生成方法及系统

本发明涉及自动驾驶与车路协同技术，具体而言，涉及一种基于高保真数字孪生的车路协同数据集生成方法及系统。

背景技术：

1、随着自动驾驶和车路协同感知技术的发展，基于路侧多传感器协同观测的数据集已成为车辆目标检测、轨迹预测、多目标跟踪和协同感知模型训练的重要基础。相比单车视角数据，路侧视角能够覆盖更大的交叉路口区域，并提供更稳定的全局交通观测信息，因此围绕真实路口构建高质量、多模态、可规模化扩展的车路协同数据集，已成为相关领域的重要研究方向。

2、现有方法中，一类方案通过真实路侧传感器直接采集图像、点云和轨迹信息，并由人工或半自动方式完成标注；另一类方案则依赖数字孪生仿真平台或三维场景重建技术生成合成数据。前者虽然能够获得真实观测结果，但存在采集成本高、标注成本高、长尾场景获取困难以及多传感器时间同步复杂等问题；后者虽然能够较低成本地生成大量数据，但常常面临仿真场景与真实场景之间坐标体系不一致、对象分布失真以及交互行为单一等问题，导致所生成的数据集在与真实数据联合训练时容易出现空间失配和分布偏移。

3、尤其是在路口级车路协同场景中，利用无人机摄影测量或其他重建方式获得的数字孪生地图导入仿真平台后，常因仿真世界坐标系与真实世界坐标系定义方式不同而产生尺度偏差、平移偏差和旋转偏差。若仅依赖模型导入时的默认坐标、二维地图尺度换算或单次人工选点校准，容易受到地图导入坐标定义、人工选点误差以及点云局部几何差异的影响，难以保证carla中地图点云与真实路口采集点云在同一空间框架下稳定一致，从而进一步影响后续交通参与体生成、交通流构建、虚拟传感器布设以及真值标签输出的准确性。

4、此外，现有仿真数据生成方法在交通参与体建模方面，往往偏向于采用预设资产库进行随机投放，难以充分体现真实路口在路侧视角下的出现频次分布、可见尺度分布和遮挡关系分布，导致低频类别、异常构型以及遮挡条件下的目标样本覆盖不足。在交通流生成方面，许多方案仅能复现较为常规的跟驰和通行过程，缺乏在真实交通规律约束下对进入时序、速度变化、路径组合、天气、光照和时间条件进行扩展配置的能力，难以获得兼具真实性与多样性的基础交通流样本。

5、在复杂路口环境中，真正影响车路协同感知模型鲁棒性的，往往不是普通交通流场景，而是加塞、抢行、遮挡突现、延迟避让、交叉干扰等长尾交互场景。现有数据集无论通过真实采集还是常规仿真方式生成，都较难稳定、可控地获得此类场景样本。同时，在仿真数据输出阶段，如果前端场景未实现统一空间对齐，后续还需要对采集数据和标注信息进行额外坐标修正，流程复杂且易引入新的误差。因此，亟需一种能够先实现数字孪生场景与真实路口空间高精度对齐，再在统一坐标框架下生成异构交通参与体、多样化基础交通流、长尾交互场景并直接输出多模态数据和标注信息的车路协同数据集生成方法及系统。

技术实现思路

1、本发明的目的在于，针对现有车路协同数据集生成方法中存在的仿真场景与真实场景空间坐标不一致、交通参与体分布失真、长尾交互场景覆盖不足以及多模态数据与标注信息难以在统一坐标框架下直接输出等问题，提供一种基于高保真数字孪生的车路协同数据集生成方法及系统，通过先对数字孪生场景与真实路口场景进行高精度空间对齐，再在统一坐标框架下生成交通参与体、基础交通流、长尾交互场景并进行多模态同步采集，从而构建更适于车路协同感知模型训练的多模态数据集。

2、本发明公开的技术方案如下：一种基于高保真数字孪生的车路协同数据集生成方法，包括以下步骤：

3、步骤一：基于无人机多源摄影测量数据构建交叉路口级别的数字孪生环境地图，对所述数字孪生环境地图进行地图清理、尺度整理和路网绘制后导入carla仿真世界；针对仿真地图与真实地图之间因坐标定义方式不同而导致的空间偏差，在carla中采集仿真地图点云，并获取真实路口采集点云；将所述仿真地图点云与所述真实路口采集点云导入点云配准工具，在两组点云中分别选取至少三对非共线同名特征点，依据所述同名特征点求取仿真地图点云到真实路口采集点云的旋转-平移矩阵，作为空间校准矩阵；对所述同名特征点执行多次选点配准，得到多个候选旋转-平移矩阵，并对所述多个候选旋转-平移矩阵进行均值融合和残差校验，得到稳健空间校准矩阵；利用所述稳健空间校准矩阵调整carla中数字孪生环境地图的位姿，实现仿真世界坐标系与真实世界坐标系之间的统一映射；利用路网生成工具构建初始路网网格，并基于真实场景的微观地形起伏数据对所述初始路网网格进行高程自适应微调，生成具有拓扑一致性和物理真实感的三维车道级路网，完成高保真数字孪生底座构建。

4、步骤二：基于步骤一构建的高保真数字孪生底座及空间校准矩阵，将真实路口路侧传感器观测到的交通参与体映射至数字孪生场景中，并统计各类交通参与体在路侧视角下的出现频次、可见尺度及遮挡关系，建立交通参与体生成规则；依据所述交通参与体生成规则，对车辆、行人、非机动车及道路附属目标进行组合生成，并对低频类别和异常构型进行增强，生成符合目标路口路侧观测特征的异构交通参与体模型群。

5、步骤三：基于步骤一得到的空间校准矩阵和步骤二生成的异构交通参与体模型群，将真实路口路侧传感器观测到的交通流时空分布信息映射至数字孪生场景中，并据此建立交通参与体的进入顺序、通行路径、速度变化、相对间距以及常规跟驰让行控制规则；在所述控制规则约束下，对异构交通参与体模型群的投放密度、进入时序、运行速度和路径组合进行参数扩展，生成符合目标路口路侧观测规律且具有多样性的基础交通流；同时，结合真实路口观测到的天气状态、光照条件和时间片特征，对数字孪生场景中的天气参数、光照参数和时间参数进行扩展配置，生成具有多样化环境条件的动态交通背景。

6、步骤四：步骤三生成的基础交通流演化过程中，识别目标路口内的冲突敏感时空区域，并对处于所述冲突敏感时空区域内的交通参与体执行受限行为重构；所述受限行为重构包括对交通参与体的进入时序、通行优先关系、局部路径和速度变化进行调整，并对局部遮挡关系进行强化控制，以在满足道路拓扑约束和运动学约束的前提下，定向生成加塞、抢行、遮挡突现、延迟避让和交叉干扰中的一种或多种长尾交互场景。

7、步骤五：基于步骤一完成空间对齐后的数字孪生场景和真实路口路侧传感器参数，在数字孪生场景中配置多模态虚拟传感器阵列；依据真实路侧传感器的位置参数、姿态参数和内参数，对所述虚拟传感器阵列进行对应设置；针对步骤三生成的基础交通流场景和步骤四生成的有效长尾交互场景进行多视角、多模态同步数据采集，并在所述统一坐标框架下直接生成目标的坐标信息、点云信息和标注信息，构建车路协同多模态数据集。

8、进一步地，步骤一中所述空间校准矩阵的求取具体包括：将导入carla仿真世界后的数字孪生环境地图作为仿真地图，采集所述仿真地图对应的仿真地图点云；获取目标真实路口对应的真实路口采集点云；将所述仿真地图点云和所述真实路口采集点云导入同一点云配准工具，并在两组点云中分别选取至少三对非共线同名特征点；根据所述同名特征点之间的三维对应关系求取由旋转矩阵和平移向量组成的旋转-平移矩阵，所述旋转-平移矩阵用于表征carla仿真世界坐标系与真实世界坐标系之间的空间映射关系，并作为空间校准矩阵。

9、进一步地，所述同名特征点包括在仿真地图点云和真实路口采集点云中均能够稳定识别的路缘交点、车道线交点、停止线端点、交通岛角点、道路附属设施角点或建筑边界角点中的至少一种；每次配准选取的至少三对同名特征点不共线，并分布于目标路口的不同区域，以同时约束平移偏差、旋转偏差和尺度偏差。

10、进一步地，所述空间校准矩阵通过多次选点配准获得：在点云配准工具中重复选取多组三对以上的非共线同名特征点，分别计算多个候选旋转-平移矩阵；对各候选旋转-平移矩阵对应的配准残差进行统计，剔除残差大于预设阈值的异常候选旋转-平移矩阵；对保留的候选旋转-平移矩阵中的平移分量求均值，并对旋转分量进行均值融合和归一化处理，得到最终空间校准矩阵。

11、进一步地，利用所述最终空间校准矩阵调整carla中的数字孪生环境地图包括：根据所述最终空间校准矩阵对carla中数字孪生环境地图的整体位置和姿态进行变换，使carla中生成的地图点云与真实路口采集点云在统一坐标框架下重合或接近重合；并在调整完成后再次采集carla地图点云，将其与真实路口采集点云进行误差检查，当点云对应特征区域的平均距离误差满足预设阈值时，确认完成空间对齐。

12、进一步地，所述数字孪生环境地图导入carla仿真世界之前，还包括：利用三维建模软件对无人机重建得到的真实路口地图进行裁剪、去噪、坐标整理和模型轻量化处理；利用roadrunner或其他参数化路网生成工具依据真实路口道路边界、车道线、停止线、路缘和交通渠化结构绘制对应路网；将处理后的地图模型和路网文件导入carla，以复现目标真实路口的数字孪生场景。

13、进一步地，完成空间对齐后，后续在carla中由虚拟激光雷达或其他虚拟传感器采集得到的点云数据与真实路口采集点云处于同一空间参考框架下；所述同一空间参考框架用于支持后续交通参与体生成、交通流时空分布映射、虚拟传感器布设以及目标标注信息直接生成。

14、进一步地，步骤二中所述交通参与体生成规则的建立具体包括：基于步骤一得到的空间校准矩阵，将真实路口路侧传感器观测到的交通参与体统一映射至数字孪生场景坐标系中；在统一坐标系下统计各类交通参与体在路侧视角下的出现频次、可见尺度和遮挡关系，并依据所述统计结果建立交通参与体生成规则。

15、进一步地，所述交通参与体生成规则用于约束交通参与体在数字孪生场景中的类别选取、可见尺度配置和遮挡关系配置，使生成后的交通参与体在路侧视角下与目标路口真实观测特征保持一致。

16、进一步地，所述对低频类别和异常构型进行增强具体包括：在保持目标路口路侧观测总体分布约束的前提下，对出现频次低于预设阈值的交通参与体类别以及偏离常规路侧视角形态分布的交通参与体构型进行定向补偿生成，以提高数字孪生场景中长尾交通参与体样本的覆盖度。

17、进一步地，步骤三中所述交通流时空分布信息的建立具体包括：基于步骤一得到的空间校准矩阵，将真实路口路侧传感器观测到的交通参与体运动轨迹统一映射至数字孪生场景坐标系中；对映射后的交通参与体运动轨迹进行统计分析，得到各类交通参与体的进入时序分布、通行路径分布、速度变化分布和相对间距分布；依据所述进入时序分布、通行路径分布、速度变化分布和相对间距分布建立交通流控制规则。

18、进一步地，所述交通流控制规则用于约束异构交通参与体模型群在数字孪生场景中的进入顺序、通行路径、速度变化、跟驰关系和让行关系，并在所述交通流控制规则约束下，对交通参与体的投放密度、进入时序、运行速度和路径组合进行参数扩展，以生成符合目标路口路侧观测规律的多样化基础交通流。

19、进一步地，所述环境配置具体包括：依据真实路口观测到的天气状态、光照条件和时间片特征，确定数字孪生场景中的天气参数、光照参数和时间参数的取值范围，并在所述取值范围内进行扩展配置，以生成不同天气、不同光照和不同时段下的动态交通背景。

20、进一步地，步骤四中所述冲突敏感时空区域的识别具体包括：基于步骤三生成的基础交通流，对不同交通参与体在目标路口内的运行轨迹、到达时序、相对距离和相对速度进行联合分析，确定潜在轨迹交汇区域以及交通参与体在所述潜在轨迹交汇区域内的时序重叠程度，并将时序重叠程度高于预设阈值的区域确定为冲突敏感时空区域。

21、进一步地，所述受限行为重构包括对处于冲突敏感时空区域内的交通参与体的进入时序、通行优先关系、局部路径、速度变化和局部遮挡关系进行调整，使交通参与体之间的时序关系、空间关系和遮挡关系发生受控变化，以形成长尾交互过程。

22、进一步地，所述长尾交互场景包括加塞场景、抢行场景、延迟避让场景、遮挡突现场景和交叉干扰场景中的一种或多种；所述受限行为重构在满足道路拓扑约束和交通参与体运动学约束的前提下执行，以保证所生成场景的物理可行性。

23、进一步地，所述受限行为重构具体包括：针对处于冲突敏感时空区域内的目标交通参与体，构造多个候选重构方案，所述候选重构方案至少包括进入时序调整方案、通行优先关系调整方案、局部路径偏移方案、速度变化调整方案和局部遮挡强化方案；分别计算各候选重构方案对时序重叠程度、相对接近程度和遮挡增强程度的影响，并在满足道路拓扑约束和交通参与体运动学约束的前提下，选取使冲突暴露程度增大的候选重构方案作为执行方案。

24、进一步地，所述局部遮挡强化方案包括：调整目标交通参与体与遮挡交通参与体之间的相对位置关系、相对时序关系或相对速度关系，使路侧视角下目标交通参与体的可见区域减小、可见持续时间缩短或被遮挡时段延长，从而形成遮挡突现、遮挡后抢行或遮挡后延迟避让场景。

25、进一步地，所述冲突暴露程度根据候选重构方案实施前后交通参与体之间的时序压缩程度、最小相对间距变化程度和路侧视角下可见区域减缩程度进行联合确定；其中，时序压缩程度用于表征不同交通参与体进入潜在轨迹交汇区域的时间间隔缩短量，最小相对间距变化程度用于表征不同交通参与体在冲突敏感时空区域内的最近接近程度变化量，可见区域减缩程度用于表征目标交通参与体在路侧视角下的可见轮廓范围缩减量或可见持续时间缩短量；在满足道路拓扑约束和交通参与体运动学约束的前提下，选取使所述时序压缩程度增大、最小相对间距减小且可见区域减缩程度增大的候选重构方案作为执行方案。

26、进一步地，所述候选重构方案的筛选还包括对重构后的交通参与体运行状态进行可行性校验，所述可行性校验至少包括车道边界约束校验、速度连续性校验、加速度变化约束校验和转向连续性校验；对于不满足所述可行性校验条件的候选重构方案予以剔除。

27、进一步地，所述遮挡突现场景的触发条件包括：目标交通参与体在路侧视角下的可见区域低于预设阈值、目标交通参与体与遮挡交通参与体之间的相对时序间隔低于预设阈值，以及目标交通参与体在解除遮挡后进入潜在轨迹交汇区域的时间满足预设冲突窗口条件；当上述触发条件成立时，对目标交通参与体执行进入时序调整或速度变化调整，以形成遮挡突现场景。

28、进一步地，所述遮挡后抢行场景和遮挡后延迟避让场景的生成具体包括：在目标交通参与体被遮挡的持续时段内，保持其与其他交通参与体之间的潜在冲突关系；在解除遮挡后，依据预设的优先关系调整规则和速度变化规则，对目标交通参与体或关联交通参与体的通行顺序和速度进行重构，使目标交通参与体在解除遮挡后形成抢先进入冲突区域或延迟作出避让的交互过程。

29、进一步地，所述交叉干扰场景的生成具体包括：针对具有潜在轨迹交汇关系的多个交通参与体，基于其进入冲突敏感时空区域的时序关系和相对路径关系，调整至少一个交通参与体的进入时间、通行顺序或局部路径，使多个交通参与体在冲突敏感时空区域内形成时序压缩和空间交叠增强的交互过程，从而生成交叉干扰场景。

30、进一步地，所述交叉干扰场景的筛选包括：对重构后的多个交通参与体在冲突敏感时空区域内的时序压缩程度、最小相对间距变化程度和遮挡增强程度进行联合评估；当联合评估结果高于预设阈值且满足道路拓扑约束和运动学约束时，将对应场景确定为有效长尾交互场景。

31、进一步地，将所述有效长尾交互场景连同对应的交通参与体轨迹信息、遮挡关系信息、冲突敏感时空区域信息和场景类型标识信息进行存储，并作为后续多模态感知数据采集和真值标签生成的场景样本集合。

32、进一步地，步骤五中所述多模态虚拟传感器阵列的配置具体包括：在步骤一完成空间对齐后的数字孪生场景中，按照真实路口路侧传感器的安装位置、朝向参数和内参数，对虚拟摄像头、虚拟激光雷达及虚拟深度传感器进行对应设置。

33、进一步地，所述多模态虚拟传感器阵列在统一仿真时钟下进行同步触发，对步骤三生成的基础交通流场景和步骤四生成的有效长尾交互场景进行同步采集，以获得时间对应的图像数据、点云数据和深度数据。

34、进一步地，所述图像数据、点云数据、深度数据及目标标注信息在步骤一完成空间对齐后的统一坐标框架下直接生成，所述目标标注信息至少包括目标位置、目标尺寸、目标类别和目标轨迹信息。

35、进一步地，所述车路协同多模态数据集中的感知数据与目标标注信息在同一坐标框架下保持对应关系，从而无需对采集后的感知数据和目标标注信息再进行二次坐标校正。

36、与现有技术相比，本发明具有以下有益效果：

37、一、针对默认坐标导入、二维尺度换算或单次人工选点校准难以稳定保证点云一致性的缺陷，本发明将carla中采集的仿真地图点云与真实路口采集点云共同导入点云配准工具，通过在两组点云中多次选取三对以上非共线同名特征点求取多个旋转-平移矩阵，并对多个旋转-平移矩阵进行均值融合和残差校验，得到稳健的空间校准矩阵，以调整carla中数字孪生环境地图的位姿，实现数字孪生场景与真实路口场景之间的高精度空间对齐，减小因坐标不一致造成的空间失配。

38、二、针对路侧视角下真实交通参与体在出现频次、可见尺度和遮挡关系方面具有明显分布特征的情况，本发明基于空间校准矩阵，将真实路口路侧传感器观测到的交通参与体映射至数字孪生场景中，并统计其在路侧视角下的观测特征，以建立交通参与体生成规则；在此基础上，对车辆、行人、非机动车及道路附属目标进行组合生成，并对低频类别和异常构型进行增强，从而获得符合真实路口路侧观测特征的异构交通参与体模型群，通过基于真实路口路侧观测特征建立交通参与体生成规则，能够提高低频类别和异常构型样本的覆盖能力，减轻交通参与体同质化问题，使得生成的异构交通参与体模型群更加符合真实路口的分布特征，提升了数据集的真实性。

39、三、本发明基于真实路口路侧传感器观测到的交通流时空分布信息，建立交通参与体的进入顺序、通行路径、速度变化、相对间距以及常规跟驰让行控制规则，并在所述控制规则约束下，对交通参与体的投放密度、进入时序、运行速度和路径组合进行参数扩展；同时，结合真实路口观测到的天气状态、光照条件和时间片特征，对数字孪生场景中的天气参数、光照参数和时间参数进行扩展配置，从而生成符合目标路口观测规律且具有多样性的基础交通流和动态交通背景，大幅提高了数据集的多样性；

40、四、通过识别冲突敏感时空区域并执行受限行为重构，能够定向生成加塞、抢行、遮挡突现等长尾交互场景，有效弥补了真实采集数据中长尾样本稀疏的问题，提升复杂边界样本的覆盖能力；

41、其五，通过在已完成空间对齐的数字孪生场景中直接配置虚拟传感器阵列并输出标注信息，能够降低后处理复杂度，提高多模态数据与标注信息的一致性。