面向自动驾驶的类别化实景三维高斯闭环重建方法及系统与流程

本技术属于面向自动驾驶的类别化实景三维高斯闭环重建领域，特别是涉及一种面向自动驾驶的类别化实景三维高斯闭环重建方法及系统。

背景技术：

1、城市道路数字孪生和闭环仿真系统需要三维场景模型在道路渠化、信号相位、车道组织和交通参与者轨迹发生变化后，持续输出可信的多相机视觉输入、遮挡关系和风险评价结果。传统技术中，三维场景重建方法通常以图像重建误差、峰值信噪比或结构相似性等视觉相似度指标作为核心优化目标来评估重建质量。在闭环仿真方面，现有的仿真系统通常将三维重建模块和仿真评价模块作为相邻但独立的环节运行，重建模块负责从采集数据中生成三维场景模型，仿真模块基于三维场景模型输出仿真结果并评价规划或控制策略。

2、然而，目前的传统方法的重建优化指标以视觉相似度为核心，不能区分仿真视角对交通规划评价的不同重要性，容易被优化到对规划评价价值较低的区域，关键区域的重建质量反而得不到优先保障。并且，扩散模型通常作为图像后处理器独立运行，在遮挡区、稀疏视角区或远距离小目标区域可能生成视觉合理但三维结构不真实的纹理，现有方案缺少将扩散输出作为伪监督写回三维结构时的可信判断机制，直接写回容易引入结构幻觉，完全不写回又无法改善三维场景底座。此外，现有方案将扩散修复结果或训练损失平均作用于整个场景，没有针对道路路面、静态环境、动态交通参与者和交通信号设施等不同对象类别设置差异化的质量目标和更新约束，容易出现道路浮空、信号设施模糊或动态参与者闪烁等问题。与此同时，现有的闭环仿真系统将仿真结果仅用于评价规划策略，仿真过程中产生的碰撞风险、遮挡变化和视角外推程度等信息不会反馈给三维重建过程，三维重建与闭环仿真之间缺少可传递的中间约束。而且，在多轮规划方案比较中，缺少面向多轮评估的可追溯质量状态记录机制，难以解释不同方案下的仿真结果为何可信或为何需要人工复核。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够实现面向道路场景的大规模三维重建和实时仿真渲染的面向自动驾驶的类别化实景三维高斯闭环重建方法及系统。

2、第一方面，本技术提供了一种面向自动驾驶的类别化实景三维高斯闭环重建方法，包括：

3、步骤s101，获取并基于多源传感器观测数据、时空基准标定参数、多源先验信息和高斯类别索引约束表，初始化构建得到类别化三维高斯场景图；获取对应于类别化三维高斯场景图的规划动作条件；

4、步骤s102，根据规划动作条件生成候选仿真视角集合，基于规划动作条件和类别化三维高斯场景图计算得到候选仿真视角集合中的各候选仿真视角的主动采样优先级和第一仿真可用性场，并根据主动采样优先级从高到低的顺序筛选候选仿真视角，得到高价值仿真视角队列；其中，主动采样优先级由各采样优先级分量加权求和并由上一轮迭代的下一轮采样概率修正得到，采样优先级分量包括基于时空基准标定参数和候选仿真视角设置得到的新视角外推强度分量，第一仿真可用性场包括各采样优先级分量；

5、步骤s103，基于类别化三维高斯场景图，按照主动采样优先级从高到低的顺序依次在高价值仿真视角队列中的各高价值仿真视角下，进行三维高斯渲染仿真，得到各高价值仿真视角的可见渲染高斯模型集合、三维高斯渲染图和视角参数参考数据；

6、步骤s104，将各三维高斯渲染图分别输入至基于规划动作条件、视角参数参考数据和高价值仿真视角队列选定的图像修复扩散模型中，生成三维高斯渲染修复图像，将三维高斯渲染修复图像输入至语义信息分割提取模型中，生成各三维高斯渲染修复图像的语义分割信息，并根据三维高斯渲染图、类别化三维高斯场景图、视角参数参考数据和语义分割信息，生成各三维高斯渲染修复图像的写回门控判定结果和第二仿真可用性场中的各残差分量；

7、步骤s105，获取各高外推强度高价值仿真视角下的可见渲染高斯模型集合中的各可见渲染高斯模型的投影协方差矩阵，基于各投影协方差矩阵设置高外推强度高价值仿真视角的外推退化标志和几何各向同性正则项，并对外推退化标志为外推退化的高外推强度高价值仿真视角对应的各所述可见渲染高斯模型进行几何重组，更新类别化三维高斯场景图；其中，高外推强度高价值仿真视角为写回门控判定结果为通过门控且新视角外推强度分量大于外推强度阈值的高价值仿真视角；

8、步骤s106，根据高斯类别索引约束表和仿真可用性场，结合外推退化标志和几何各向同性正则项，将各门控通过高价值仿真视角对应的三维高斯渲染修复图像回注至类别化三维高斯场景图中，更新优化类别化三维高斯场景图，得到高斯优化类别化三维高斯场景图和回注优化策略信息；其中，门控通过高价值仿真视角为写回门控判定结果为通过门控的高价值仿真视角，仿真可用性场包括第一仿真可用性场和第二仿真可用性场；

9、步骤s107，基于高斯优化类别化三维高斯场景图，按照主动采样优先级从高到低的顺序依次在高价值仿真视角队列中的各高价值仿真视角下，进行三维高斯渲染仿真，得到高斯优化可见渲染高斯模型集合、高斯优化三维高斯渲染图和高斯优化视角参数参考数据，并基于高斯优化可见渲染高斯模型集合、高斯优化三维高斯渲染图、高斯优化视角参数参考数据、回注优化策略信息、写回门控判定结果、仿真可用性场、外推退化标志、高价值仿真视角队列、高斯优化类别化三维高斯场景图和规划动作条件，生成本轮高斯重建评估信息；其中，本轮高斯重建评估信息包括本轮迭代的下一轮采样概率；

10、将上一轮迭代的高斯优化类别化三维高斯场景图作为下一轮迭代的类别化三维高斯场景图，闭环迭代步骤s102至步骤s107，直至满足闭环重建迭代终止条件。

11、第二方面，本技术还提供了一种面向自动驾驶的类别化实景三维高斯闭环重建系统，包括：

12、高斯场景初始化模块，用于实现步骤s101，获取并基于多源传感器观测数据、时空基准标定参数、多源先验信息和高斯类别索引约束表，初始化构建得到类别化三维高斯场景图；获取对应于类别化三维高斯场景图的规划动作条件；

13、仿真视角队列构建模块，用于实现步骤s102，根据规划动作条件生成候选仿真视角集合，基于规划动作条件和类别化三维高斯场景图计算得到候选仿真视角集合中的各候选仿真视角的主动采样优先级和第一仿真可用性场，并根据主动采样优先级从高到低的顺序筛选候选仿真视角，得到高价值仿真视角队列；其中，主动采样优先级由各采样优先级分量加权求和并由上一轮迭代的下一轮采样概率修正得到，采样优先级分量包括基于时空基准标定参数和候选仿真视角设置得到的新视角外推强度分量，第一仿真可用性场包括各采样优先级分量；

14、三维高斯渲染仿真模块，用于实现步骤s103，基于类别化三维高斯场景图，按照主动采样优先级从高到低的顺序依次在高价值仿真视角队列中的各高价值仿真视角下，进行三维高斯渲染仿真，得到各高价值仿真视角的可见渲染高斯模型集合、三维高斯渲染图和视角参数参考数据；

15、渲染修复与门控判定模块，用于实现步骤s104，将各三维高斯渲染图分别输入至基于规划动作条件、视角参数参考数据和高价值仿真视角队列选定的图像修复扩散模型中，生成三维高斯渲染修复图像，将三维高斯渲染修复图像输入至语义信息分割提取模型中，生成各三维高斯渲染修复图像的语义分割信息，并根据三维高斯渲染图、类别化三维高斯场景图、视角参数参考数据和语义分割信息，生成各三维高斯渲染修复图像的写回门控判定结果和第二仿真可用性场中的各残差分量；

16、几何重组判定更新模块，用于实现步骤s105，获取各高外推强度高价值仿真视角下的可见渲染高斯模型集合中的各可见渲染高斯模型的投影协方差矩阵，基于各投影协方差矩阵设置高外推强度高价值仿真视角的外推退化标志和几何各向同性正则项，并对外推退化标志为外推退化的高外推强度高价值仿真视角对应的各所述可见渲染高斯模型进行几何重组，更新类别化三维高斯场景图；其中，高外推强度高价值仿真视角为写回门控判定结果为通过门控且新视角外推强度分量大于外推强度阈值的高价值仿真视角；

17、修复图像回注优化模块，用于实现步骤s106，根据高斯类别索引约束表和仿真可用性场，结合外推退化标志和几何各向同性正则项，将各门控通过高价值仿真视角对应的三维高斯渲染修复图像回注至类别化三维高斯场景图中，更新优化类别化三维高斯场景图，得到高斯优化类别化三维高斯场景图和回注优化策略信息；其中，门控通过高价值仿真视角为写回门控判定结果为通过门控的高价值仿真视角，仿真可用性场包括第一仿真可用性场和第二仿真可用性场；

18、高斯重建仿真评估模块，用于实现步骤s107，基于高斯优化类别化三维高斯场景图，按照主动采样优先级从高到低的顺序依次在高价值仿真视角队列中的各高价值仿真视角下，进行三维高斯渲染仿真，得到高斯优化可见渲染高斯模型集合、高斯优化三维高斯渲染图和高斯优化视角参数参考数据，并基于高斯优化可见渲染高斯模型集合、高斯优化三维高斯渲染图、高斯优化视角参数参考数据、回注优化策略信息、写回门控判定结果、仿真可用性场、外推退化标志、高价值仿真视角队列、高斯优化类别化三维高斯场景图和规划动作条件，生成本轮高斯重建评估信息；其中，本轮高斯重建评估信息包括本轮迭代的下一轮采样概率；

19、高斯闭环迭代重建模块，用于将上一轮迭代的高斯优化类别化三维高斯场景图作为下一轮迭代的类别化三维高斯场景图，闭环迭代步骤s102至步骤s107，直至满足闭环重建迭代终止条件。

20、上述面向自动驾驶的类别化实景三维高斯闭环重建方法及系统，通过构建类别化三维高斯场景图，结合规划动作条件生成候选仿真视角集合，并筛选得到高价值仿真视角队列，能够锚定自动驾驶的规划动作需求定向筛选采样视角，提升视角采样的任务适配性，优化渲染算力的分配效率，强化同三维重建过程和行驶规划任务的耦合程度，让采样视角的选择始终服务于当前规划动作下的场景重建需求，同时借助上一轮迭代的采样概率修正优先级权重，让视角筛选逻辑能够适配迭代过程中的场景变化，保障在有限算力下实现最大化的重建收益；通过在高价值仿真视角队列中依次进行三维高斯渲染仿真，结合规划动作条件和视角参数选定图像修复扩散模型生成渲染修复图像，并生成写回门控判定结果和各残差分量，能够有序调度渲染计算资源，保障高优先级视角优先获得渲染算力支持，基于残差分量量化渲染结果同真实场景的偏差程度，通过写回门控机制过滤不符合质量要求的渲染数据，为场景图的更新优化提供可靠且高质量的数据输入；通过提取写回门控判定通过且具有高新视角外推强度的高价值仿真视角的可见渲染高斯模型的投影协方差矩阵，基于矩阵特征设置外推退化标志和几何各向同性正则项，并对外推退化状态下的所述可见渲染高斯模型进行几何重组，能够精准识别视角外推场景下的高斯几何退化现象，通过引入几何各向同性正则项约束几何重组的调整方向和幅度，能够提升外推区域的三维几何重建精度，维持高斯模型几何表达的合理性和一致性，提升场景图在未知外推区域的几何表达能力，拓展高精度场景重建的覆盖范围；通过基于高斯类别索引约束表、仿真可用性场、外推退化标志和几何各向同性正则项，将门控通过视角的三维高斯渲染修复图像回注至场景图，并对优化后的场景图进行二次渲染仿真，驱动全流程闭环迭代运行，能够保障回注过程严格遵循类别约束规则，优化场景图的几何精度和语义表达质量，通过二次渲染量化评估本轮优化的实际成效，能够动态调整下一轮的视角采样策略，让场景重建精度能够随着迭代轮次的增加持续提升，适配自动驾驶场景不断变化的环境感知需求以及对高精度和高完整性三维场景的长期应用需求。