场景生成、模型训练方法、装置、电子设备及存储介质与流程

本技术涉及人工智能，特别是涉及一种场景生成、模型训练方法、装置、电子设备及存储介质。

背景技术：

1、逼真的激光雷达(light detection and ranging，简称lidar)点云场景生成是自动驾驶开发的核心赋能技术，生成的激光雷达点云场景能够真实地模拟现实世界中多样的道路场景，它通过提供高效、安全、全面的数据支持，显著降低了研发成本与风险，同时提升了系统的可靠性和安全性。

2、目前的激光雷达点云场景生成方式通常是通过生成式对抗网络实现，向生成式对抗网络输入低质量点云场景，生成式对抗网络经过处理后输出高保真点云场景。但是，该种方式需要收集大量的低质量点云场景，复杂度较高，并且单纯对低质量点云场景进行分析，准确性较低。

技术实现思路

1、鉴于上述问题，本技术实施例提出了一种场景生成、模型训练方法、装置、电子设备及存储介质，用以解决点目前的点云场景生成方式复杂度较高、准确性较低的问题。

2、根据本技术的实施例的一个方面，提供了一种场景生成方法，所述方法包括：

3、获取待处理场景对应的第一条件信息和第一噪声序列，所述第一条件信息包括第一道路草图信息、第一场景描述信息和第一物体先验信息中的至少之一，所述第一噪声序列通过对高斯分布的噪声进行随机采样得到；

4、利用时空扩散模型，在空间维度和时间维度根据所述第一条件信息和所述第一噪声序列进行特征提取，得到所述待处理场景对应的第一点云场景图像序列。

5、可选地，所述利用时空扩散模型，在空间维度和时间维度根据所述第一条件信息和所述第一噪声序列进行特征提取，得到所述待处理场景对应的第一点云场景图像序列，包括：

6、在空间维度和时间维度根据所述第一条件信息和所述第一噪声序列进行卷积特征提取，得到第一特征图像序列；

7、在空间维度和时间维度根据所述第一特征图像序列进行注意力特征提取，得到第二特征图像序列；

8、在空间维度和时间维度根据所述第二特征图像序列进行卷积特征提取，得到所述第一点云场景图像序列。

9、可选地，所述时空扩散模型包括等距柱状时空卷积模块，所述等距柱状时空卷积模块包括空间卷积模块、时间卷积模块和融合模块；所述在空间维度和时间维度根据所述第一条件信息和所述第一噪声序列进行卷积特征提取，得到第一特征图像序列，包括：

10、利用所述空间卷积模块，在空间维度根据所述第一条件信息和所述第一噪声序列进行空间特征提取，得到第一空间特征图像序列；

11、利用所述时间卷积模块，在时间维度根据所述第一空间特征图像序列进行时间特征提取，得到第一时间特征图像序列；

12、利用所述融合模块，对所述第一空间特征图像序列和所述第一时间特征图像序列进行融合，得到所述第一特征图像序列。

13、可选地，所述等距柱状时空卷积模块还包括特征添加模块；

14、在所述利用所述空间卷积模块，在空间维度根据所述第一条件信息和所述第一噪声序列进行空间特征提取，得到第一空间特征图像序列之前，还包括：利用所述特征添加模块，为所述第一噪声序列添加傅里叶特征，得到目标噪声序列；

15、所述利用所述空间卷积模块，在空间维度根据所述第一条件信息和所述第一噪声序列进行空间特征提取，得到第一空间特征图像序列，包括：利用所述空间卷积模块，在空间维度根据所述第一条件信息和所述目标噪声序列进行空间特征提取，得到第一空间特征图像序列。

16、可选地，所述时空扩散模型包括等距柱状时空变换器，所述等距柱状时空变换器包括空间注意力模块和时间注意力模块；所述在空间维度和时间维度根据所述第一特征图像序列进行注意力特征提取，得到第二特征图像序列，包括：

17、利用所述空间注意力模块，根据所述第一特征图像序列进行特征提取，得到第一空间注意力特征图像序列；

18、利用所述时间注意力模块，根据所述第一空间注意力特征图像序列进行特征提取，得到所述第二特征图像序列。

19、可选地，所述第一物体先验信息通过如下方式得到：

20、获取所述待处理场景对应的第一物体特征信息；

21、利用点云生成模型，根据所述第一物体特征信息生成所述第一物体先验信息。

22、根据本技术的实施例的另一方面，提供了一种模型训练方法，所述方法包括：

23、获取样本场景对应的第二条件信息、第二点云场景图像序列和实际噪声序列，所述第二条件信息包括第二道路草图信息、第二场景描述信息和第二物体先验信息中的至少之一；

24、利用待训练的时空扩散模型，在空间维度和时间维度根据所述第二条件信息和所述第二点云场景图像序列进行特征提取，得到所述样本场景对应的预测噪声序列；

25、根据所述预测噪声序列和所述实际噪声序列计算损失函数，在所述损失函数满足目标条件后，得到训练完成的如上任一项所述的时空扩散模型。

26、根据本技术的实施例的另一方面，提供了一种场景生成装置，所述装置包括：

27、第一获取模块，用于获取待处理场景对应的第一条件信息和第一噪声序列，所述第一条件信息包括第一道路草图信息、第一场景描述信息和第一物体先验信息中的至少之一，所述第一噪声序列通过对高斯分布的噪声进行随机采样得到；

28、生成模块，用于利用时空扩散模型，在空间维度和时间维度根据所述第一条件信息和所述第一噪声序列进行特征提取，得到所述待处理场景对应的第一点云场景图像序列。

29、可选地，所述生成模块包括：

30、第一生成单元，用于在空间维度和时间维度根据所述第一条件信息和所述第一噪声序列进行卷积特征提取，得到第一特征图像序列；

31、第二生成单元，用于在空间维度和时间维度根据所述第一特征图像序列进行注意力特征提取，得到第二特征图像序列；

32、第三生成单元，用于在空间维度和时间维度根据所述第二特征图像序列进行卷积特征提取，得到所述第一点云场景图像序列。

33、可选地，所述时空扩散模型包括等距柱状时空卷积模块，所述等距柱状时空卷积模块包括空间卷积模块、时间卷积模块和融合模块；所述第一生成单元，具体用于：

34、第一提取子单元，用于利用所述空间卷积模块，在空间维度根据所述第一条件信息和所述第一噪声序列进行空间特征提取，得到第一空间特征图像序列；

35、第二提取子单元，用于利用所述时间卷积模块，在时间维度根据所述第一空间特征图像序列进行时间特征提取，得到第一时间特征图像序列；

36、融合子单元，用于利用所述融合模块，对所述第一空间特征图像序列和所述第一时间特征图像序列进行融合，得到所述第一特征图像序列。

37、可选地，所述等距柱状时空卷积模块还包括特征添加模块；所述第一生成单元还包括：添加子单元，用于利用所述特征添加模块，为所述第一噪声序列添加傅里叶特征，得到目标噪声序列；所述第一提取子单元，具体用于利用所述空间卷积模块，在空间维度根据所述第一条件信息和所述目标噪声序列进行空间特征提取，得到第一空间特征图像序列。

38、可选地，所述时空扩散模型包括等距柱状时空变换器，所述等距柱状时空变换器包括空间注意力模块和时间注意力模块；所述第二生成单元，具体用于：

39、利用所述空间注意力模块，根据所述第一特征图像序列进行特征提取，得到第一空间注意力特征图像序列；

40、利用所述时间注意力模块，根据所述第一空间注意力特征图像序列进行特征提取，得到所述第二特征图像序列。

41、可选地，所述第一物体先验信息通过如下方式得到：获取所述待处理场景对应的第一物体特征信息；利用点云生成模型，根据所述第一物体特征信息生成所述第一物体先验信息。

42、根据本技术的实施例的另一方面，提供了一种模型训练装置，所述装置包括：

43、第二获取模块，用于获取样本场景对应的第二条件信息、第二点云场景图像序列和实际噪声序列，所述第二条件信息包括第二道路草图信息、第二场景描述信息和第二物体先验信息中的至少之一；

44、训练模块，用于利用待训练的时空扩散模型，在空间维度和时间维度根据所述第二条件信息和所述第二点云场景图像序列进行特征提取，得到所述样本场景对应的预测噪声序列；根据所述预测噪声序列和所述实际噪声序列计算损失函数，在所述损失函数满足目标条件后，得到训练完成的如上任一项所述的时空扩散模型。

45、根据本技术的实施例的另一方面，提供了一种电子设备，所述电子设备包括处理器和计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序；当所述计算机程序被所述处理器执行时，使得所述处理器执行如上任一项所述的场景生成方法，或者执行如上任一项所述的模型训练方法。

46、根据本技术的实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如上任一项所述的场景生成方法，或者执行如上任一项所述的模型训练方法。

47、本技术实施例中，获取待处理场景对应的第一条件信息和第一噪声序列，第一条件信息包括第一道路草图信息、第一场景描述信息和第一物体先验信息中的至少之一；利用时空扩散模型，在空间维度和时间维度根据所述第一条件信息和所述第一噪声序列进行特征提取，得到所述待处理场景对应的第一点云场景图像序列。由此可知，本技术实施例中，一方面，利用时空扩散模型对第一噪声序列进行分析，相比于收集低质量点云场景的方式，第一噪声序列通过对高斯分布的噪声进行随机采样得到，无需通过复杂的方式获取，因此该种方式复杂度较低；另一方面，在第一噪声序列的基础上，进一步加入了第一条件信息，第一条件信息能够对待处理场景进行条件限定说明，从而使待处理场景的说明更加详细，能够进一步提高点云场景的准确性。

48、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。