三维场景输出方法、终端设备及存储介质与流程

本发明涉及三维场景构建，具体提供一种三维场景输出方法、终端设备及存储介质。

背景技术：

1、在自动驾驶仿真、智能机器人训练和城市数字孪生构建等前沿技术场景中，构建高质量的三维场景是关键环节。常规的三维场景构建方案通常依赖可见光图像提供纹理信息，激光雷达点云提供几何边界。在光照条件良好的情况下，能够取得较好的构建效果。

2、然而，在实际应用中，数据采集环境常常面临各种极端光照挑战，例如夜间弱光、强逆光以及雨雾天气等。在这些条件下，可见光图像的质量会严重退化，出现大面积的欠曝或过曝、对比度降低、纹理细节模糊甚至完全丢失。在这些极端光照场景下，现有三维场景构建方案往往会出现大面积的纹理缺失、色彩失真或目标轮廓不完整，导致生成的三维场景质量低下。

技术实现思路

1、本发明旨在解决上述技术问题，即，解决现有技术在极端光照条件下，因可见光图像退化导致生成的三维场景质量低下的问题。

2、在第一方面，本发明提供一种三维场景输出方法，包括：

3、获取多帧第一激光雷达点云、多帧第一红外热成像图像以及多帧第一可见光图像；

4、对多帧第一激光雷达点云、多帧第一红外热成像图像以及多帧第一可见光图像执行时空同步处理，得到时空对齐的多帧第二激光雷达点云、多帧第二红外热成像图像以及多帧第二可见光图像；

5、对于每一帧采集时刻，计算所述第二可见光图像的质量指标，根据所述质量指标判定每一帧采集时刻的光照退化等级；

6、根据所述光照退化等级，动态配置与每一帧采集时刻对应的第二可见光图像的第一权重、第二激光雷达点云的第二权重与第二红外热成像图像的第三权重，其中，所述第一权重，所述第二权重与所述第三权重之和为1；

7、根据第一权重、第二权重以及第三权重，对与每一帧采集时刻对应的第二可见光图像、第二激光雷达点云与第二红外热成像图像进行多模态特征融合，得到与每一帧采集时刻对应的多模态特征；

8、基于与每一帧采集时刻对应的多模态特征，对第二可见光图像的纹理缺失区域进行纹理补偿，得到与每一帧采集时刻对应的三维子场景；

9、对所有三维子场景进行拼接融合处理，输出全局三维场景。

10、可选地，所述对多帧第一激光雷达点云、多帧第一红外热成像图像以及多帧第一可见光图像执行时空同步处理，得到时空对齐的多帧第二激光雷达点云、多帧第二红外热成像图像以及多帧第二可见光图像，包括：

11、获取与所述多帧第一激光雷达点云对应的第一采集时间戳和第一传感器标定参数、与所述多帧第一红外热成像图像对应的第二采集时间戳和第二传感器标定参数，以及与所述多帧第一可见光图像对应的第三采集时间戳和第三传感器标定参数；

12、根据第一采集时间戳、第二采集时间戳和第三采集时间戳，对多帧第一激光雷达点云、多帧第一红外热成像图像以及多帧第一可见光图像执行时序对齐处理，筛选出同一帧采集时刻对应的第一激光雷达点云、第一红外热成像图像和第一可见光图像；

13、根据第一传感器标定参数、第二传感器标定参数和第三传感器标定参数，对同一帧采集时刻对应的第一激光雷达点云、第一红外热成像图像和第一可见光图像执行空间坐标配准处理，得到多帧第二激光雷达点云、多帧第二红外热成像图像以及多帧第二可见光图像。

14、可选地，所述对于每一帧采集时刻，计算所述第二可见光图像的质量指标，根据所述质量指标判定每一帧采集时刻的光照退化等级，包括：

15、将所述可见光图像转换为像素亮度图；

16、根据所述像素亮度图计算可见光图像的质量指标；

17、将所述质量指标与各光照退化等级分别对应的预设阈值标准进行比对，判定每一帧采集时刻的光照退化等级；其中，所述光照退化等级包括弱光退化等级、强逆光退化等级以及雨雾退化等级。

18、可选地，所述根据所述光照退化等级，动态配置与每一帧采集时刻对应的第二可见光图像的第一权重、第二激光雷达点云的第二权重与第二红外热成像图像的第三权重，包括：

19、若所述光照退化等级为弱光退化等级，配置第一权重为0.05，第二权重为0.35，第三权重为0.6；若所述光照退化等级为强逆光退化等级，配置第一权重为0.15，第二权重为0.4，第三权重为0.45；若所述光照退化等级为雨雾退化等级，配置第一权重为0.15，第二权重为0.35，第三权重为0.5。

20、可选地，所述根据第一权重、第二权重以及第三权重，对与每一帧采集时刻对应的第二可见光图像、第二激光雷达点云与第二红外热成像图像进行多模态特征融合，得到与每一帧采集时刻对应的多模态特征，包括：

21、对第二可见光图像执行纹理特征提取，得到与每一帧采集时刻对应的第一纹理特征；

22、对第二激光雷达点云执行点云几何增强处理，得到与每一帧采集时刻对应的第一反射强度和第一几何边界；

23、对第二红外热成像图像执行红外特征提取处理，得到与每一帧采集时刻对应的第一热辐射特征；

24、依据第一权重、第二权重和第三权重分别对所述第一纹理特征、第一特征几何边界、第一反射强度以及第一热辐射特征进行加权融合，得到与每一帧采集时刻对应的多模态特征。

25、可选地，所述基于与每一帧采集时刻对应的多模态特征，对第二可见光图像的纹理缺失区域进行纹理补偿，得到与每一帧采集时刻对应的三维子场景，包括：

26、根据所述第二可见光图像的质量指标，划分出每一帧采集时刻的纹理正常区域与纹理缺失区域；

27、对于纹理正常区域，根据第二激光雷达点云提取第二几何边界与第二反射强度，根据第二可见光图像生成第二纹理特征；

28、对于纹理缺失区域，根据第二激光雷达点云提取第三几何边界与第三反射强度，根据多模态特征生成第三纹理特征；

29、根据第二几何边界、第二反射强度、第二纹理特征、第三几何边界、第三反射强度与第三纹理特征，得到与每一帧采集时刻对应的三维子场景。

30、可选地，所述根据多模态特征生成第三纹理特征，包括：

31、将所述多模态特征作为纹理生成的条件输入，将所述条件输入导入预设条件生成网络，针对可见光图像的纹理缺失区域生成适配的可见光纹理，得到第三纹理特征。

32、可选地，所述对所有三维子场景进行拼接融合处理，输出全局三维场景，包括：

33、对第二几何边界、第二反射强度、第二纹理特征、第三几何边界、第三反射强度与第三纹理特征进行全局光照一致性优化，得到优化后的三维场景。

34、在第二方面，本发明提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本发明第一方面任一项所述的方法。

35、在第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本发明第一方面任一项所述的方法。

36、在采用上述技术方案的情况下，本发明首先通过引入激光雷达点云、红外热成像图像与可见光图像三模态数据进行联合建模，可在可见光图像退化时通过红外热成像图像输出场景热辐射轮廓与细节特征，从数据源层面解决了传统建模方式极端环境下纹理来源缺失的核心痛点；然后，通过时序对齐与空间坐标配准操作，实现多模态数据在时间维度同步与空间维度精准对齐，有效规避了多传感器独立采集带来的时序错位、空间偏移与目标轮廓错位等问题；接着，基于可见光图像的质量指标量化判定光照退化等级，并依据光照退化等级动态自适应配置可见光、激光雷达、红外图像的融合权重，实现不同工况下多源数据的最优融合；接着，对图像区域进行差异化纹理重建，对可见光图像清晰的纹理正常区域保留真实色彩纹理，对欠曝、过曝导致的纹理缺失区域依托红外多模态融合特征进行智能纹理补偿修复；最后，通过多帧三维子场景拼接融合得到全局三维场景。本发明有效解决了传统技术在极端工况下三维场景纹理残缺、色彩失真、轮廓断裂与建模质量低下的问题，显著提升三维数字场景的环境适应性与建模精度，能够充分满足自动驾驶仿真测试、智能机器人训练、城市高精度数字孪生实景复刻等高精度、高可靠性的工程应用需求。