道路场景信息的生成方法、智能设备及存储介质与流程

本技术涉及场景建模，具体提供一种道路场景信息的生成方法、智能设备及存储介质。

背景技术：

1、在对车辆等智能设备进行智能驾驶控制时，通常需要从智能设备采集的道路场景视频中获取道路场景的三维几何场景信息，以及道路场景中目标（如障碍物）的三维目标信息，再基于三维几何场景信息和三维目标信息确定驾驶策略，根据驾驶策略对智能设备进行智能驾驶控制。

2、在现有技术中，通常是将三维几何场景信息和三维目标信息拆分为两个独立的任务。其中，三维几何场景信息主要是利用三维高斯（3d gaussian）、nerf（neural radiancefields）或点云等稠密几何表达技术进行场景重建得到，但这些方法缺少显式目标约束，当道路场景存在动态车辆、遮挡区域或大范围运动区域时很容易产生时序拖影和几何歧义问题。三维目标信息的获取方法主要是直接预测目标的三维目标框，这种方法缺少与三维几何场景信息重建之间的双向约束，导致预测的三维目标框与真实道路场景的贴合度不足。

3、相应地，本领域需要一种新的技术方案来解决上述问题。

技术实现思路

1、本技术旨在解决上述技术问题，即，解决或至少部分地解决以下技术问题：如何准确且可靠地获取到智能设备的道路场景信息（包括三维几何场景信息和三维目标信息），以提高利用三维几何场景信息和三维目标信息对智能设备进行驾驶控制的安全性和可靠性。

2、在第一方面，本技术提供一种道路场景信息的生成方法，所述方法包括：

3、获取智能设备采集到的所述智能设备所处道路场景的视频；

4、获取基于随机高斯噪声生成的依时序排列的多帧第一几何隐表征和多帧第一目标隐表征，所述几何隐表征表示所述道路场景的三维高斯几何信息的隐表征，所述目标隐表征表示所述道路场景中目标的三维目标框的隐表征；

5、采用道路场景生成模型，对所述视频、所述依时序排列的多帧第一几何隐表征和多帧第一目标隐表征进行处理，以生成所述道路场景的动态三维高斯场景信息和所述道路场景中目标的三维目标信息；

6、其中，所述道路场景生成模型包括统一位置编码模块、多模态扩散变换器、几何信息解码头和目标框解码头；

7、所述统一位置编码模块被配置成对所述依时序排列的多帧第一几何隐表征和多帧第一目标隐表征进行统一位置编码，得到编码结果；

8、所述多模态扩散变换器被配置成基于所述视频的特征信息与所述编码结果，分别生成所述道路场景的第二几何隐表征和第二目标隐表征；

9、所述几何信息解码头被配置成对所述第二几何隐表征进行解码得到所述动态三维高斯场景信息，所述目标框解码头被配置成对所述第二目标隐表征进行解码得到所述三维目标信息。

10、在上述道路场景信息的生成方法的一个技术方案中，所述道路场景生成模型通过以下方式训练得到：

11、在所述道路场景生成模型中设置几何信息自编码器和目标框自编码器，采用训练样本对所述述道路场景生成模型进行两阶段训练；

12、其中，所述两阶段训练包括：

13、在第一阶段，冻结所述多模态扩散变换器，对所述几何信息自编码器、目标框自编码器、几何信息解码头和目标框解码头进行训练；在第二阶段，冻结所述几何信息自编码器、目标框自编码器、几何信息解码头和目标框解码头，对所述多模态扩散变换器进行训练；

14、所述训练样本包括道路场景的视频样本和所述视频样本中目标的三维目标框标注信息，所述几何信息自编码器被配置成提取所述视频样本的特征信息以获取依时序排列的多帧第三几何隐表征，所述目标框自编码器被配置成提取所述三维目标框标注信息的特征信息以获取依时序排列的多帧第三目标隐表征，所述统一位置编码模块被配置成对所述依时序排列的多帧第三几何隐表征和多帧第三目标隐表征进行统一位置编码，得到编码结果。

15、在上述道路场景信息的生成方法的一个技术方案中，所述统一位置编码模块被配置成通过以下方式对依时序排列的多帧几何隐表征和多帧目标隐表征进行统一位置编码，得到编码结果：

16、获取各帧几何隐表征的三维锚点，对各帧几何隐表征的三维锚点的三维坐标和各帧的时间索引分别进行编码，得到各帧几何隐表征的空间特征编码和时间特征编码，采用多层感知器将各帧几何隐表征的空间特征编码和时间特征编码映射至预设的三维度量空间，形成所述多帧几何隐表征的第一编码结果；

17、获取各帧目标隐表征的三维锚点，对各帧目标隐表征的三维锚点的三维坐标和各帧的时间索引分别进行编码，得到各帧目标隐表征的空间特征编码和时间特征编码，采用多层感知器将各帧目标隐表征的空间特征编码和时间特征编码映射至预设的三维度量空间，形成所述多帧目标隐表征的第二编码结果。

18、在上述道路场景信息的生成方法的一个技术方案中，所述几何隐表征包括多个三维高斯点，所述获取各帧几何隐表征的三维锚点，包括：

19、将道路场景的视频图像范围划分成多个图像块，分别获取各帧几何隐表征中落入各图像块范围内的三维高斯点；

20、根据三维高斯点的不透明度确定三维高斯点的权重，根据三维高斯点的权重分别对各帧几何隐表征中落入各图像块范围内的各三维高斯点的三维坐标进行加权平均计算，得到各帧几何隐表征在各图像块范围内的高斯点坐标的加权平均值；

21、根据各帧几何隐表征在各图像块范围内的高斯点坐标的加权平均值，分别获取各帧几何隐表征在各图像块范围内的三维锚点。

22、在上述道路场景信息的生成方法的一个技术方案中，所述目标隐表征包括至少一个三维目标框，所述获取各帧目标隐表征的三维锚点，包括：

23、分别获取各帧目标隐表征中各三维目标框的中心点；

24、根据各帧目标隐表征中三维目标框的中心点，分别获取各帧目标隐表征的三维锚点。

25、在上述道路场景信息的生成方法的一个技术方案中，所述方法还包括：

26、采用傅里叶编码方法，对各帧几何隐表征的三维锚点的三维坐标和各帧的时间索引分别进行特征编码，以及对各帧目标隐表征的三维锚点的三维坐标和各帧的时间索引分别进行特征编码。

27、在上述道路场景信息的生成方法的一个技术方案中，所述道路场景生成模型还包括变分自编码器，所述道路场景生成模型被配置成采用所述变分自编码器中的编码器提取所述视频的特征信息。

28、在上述道路场景信息的生成方法的一个技术方案中，所述方法还包括：

29、获取各目标的三维目标信息的置信度，所述置信度为所述道路场景生成模型在生成所述三维目标信息时得到的；

30、采用非极大值抑制算法，根据所述置信度对所述三维目标信息进行筛选。

31、在第二方面，本技术提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述第一方面提供的任一项技术方案所述的方法。

32、在第三方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述第一方面提供的任一项技术方案所述的方法。

33、本技术提供的上述技术方案，至少具有如下一种或多种有益效果：

34、在实施本技术提供的道路场景信息的生成方法的一个技术方案中，该方法可以包括以下步骤：获取智能设备采集到的智能设备所处道路场景的视频；获取基于随机高斯噪声生成的依时序排列的多帧第一几何隐表征（latent）和多帧第一目标隐表征（latent），几何隐表征表示道路场景的三维高斯几何信息的隐表征，目标隐表征表示道路场景中目标的三维目标框的隐表征；采用道路场景生成模型，对视频、依时序排列的多帧第一几何隐表征和多帧第一目标隐表征进行处理，以生成道路场景的动态三维高斯场景信息和道路场景中目标的三维目标信息，即道路场景信息可以包括动态三维高斯场景信息和三维目标信息。

35、道路场景生成模型包括统一位置编码模块、多模态扩散变换器、几何信息解码头和目标框解码头。具体而言，统一位置编码模块能够对依时序排列的多帧第一几何隐表征和多帧第一目标隐表征进行统一位置编码得到编码结果，这相当于利用统一位置编码模块对第一几何隐表征和第一目标隐表征联合建模。多模态扩散变换器能够基于视频的特征信息与编码结果，分别生成道路场景的第二几何隐表征和第二目标隐表征，编码结果是第一几何隐表征和第一目标隐表征的联合建模结果，利用该编码结果来生成第二几何隐表征和第二目标隐表征，能够使第二几何隐表征和第二目标隐表征在生成过程中相互约束，共同优化；其中，第二几何隐表征能够作为三维目标框的局部几何度量依据，基于该局部几何度量依据生成第二目标隐表征，能够使基于第二目标隐表征解码得到的三维目标框更加贴合真实的道路场景；第二目标隐表征能够作为几何隐表征的几何结构先验，相当于作为几何隐表征的显示目标约束，基于该几何结构先验生成第二几何隐表征，能够使基于第二几何隐表征解码得到的动态三维高斯场景信息更加准确、稳定地展示道路场景中动态车辆、遮挡区域或大范围运动区域。

36、由上述分析可以确定，基于上述实施方案能够利用一个模型同时对几何隐表征和目标隐表征联合建模，并在生成动态三维高斯场景信息和三维目标信息时能够使几何隐表征和目标隐表征相互约束，共同优化，从而提高动态三维高斯场景信息和三维目标信息的准确性和可靠性。