占据信息的确定方法、占据预测模型的训练方法及装置与流程

本公开涉及计算机视觉，尤其涉及一种占据信息的确定方法、占据预测模型的训练方法及装置。

背景技术：

1、occ（occupancy network，空间占据网络）通过预测三维空间中体素的占据状态，为智能体（如智能驾驶车辆或机器人等）提供精细化的三维环境几何与语义信息，是具身智能机器人、自动驾驶和无人机等领域的关键技术。

2、然而，相关技术中的空间占据预测算法为了追求极致的感知精度与范围，通常采用极为复杂的网络结构，如包含大量的3d（three-dimensional，三维）卷积或transformer（一种基于自注意力机制的神经网络模型）层，导致在实际部署过程中对硬件的算力要求极高，且难以兼顾感知精度和推理效率。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种占据信息的确定方法、占据预测模型的训练方法及装置，能够解决相关技术中感知精度和推理效率难以兼顾的技术问题。

2、本公开的第一个方面实施例，提供了一种占据信息的确定方法，该方法包括：确定图像传感器在同一时刻分别采集的目标场景的第一图像和第二图像；基于第一图像和第二图像，确定第一图像对应的深度概率分布；基于第一图像和深度概率分布，确定第一图像对应的视锥体特征；对视锥体特征进行投影聚合处理，得到视锥体特征对应的二维鸟瞰图特征；基于二维鸟瞰图特征，确定目标场景的占据信息。

3、本公开的第二个方面实施例，提供了一种占据预测模型的训练方法，该训练方法包括：确定视差深度估计网络和初始占据网络；确定至少一组样本图像和标签信息；其中，一组样本图像包括图像传感器在同一时刻分别采集的第三图像和第四图像；利用视差深度估计网络对第三图像和第四图像进行处理，得到第三图像对应的初始深度概率分布；利用初始占据网络对第三图像和初始深度概率分布进行处理，得到第三图像对应的初始视锥体特征，并对初始视锥体特征进行投影聚合处理，得到二维鸟瞰图特征；基于二维鸟瞰图特征，确定初始占据信息；基于初始占据信息和标签信息，迭代训练视差深度估计网络和初始占据网络，得到训练后的视差深度估计网络和训练后的占据网络；基于训练后的视差深度估计网络和训练后的占据网络，得到训练后的占据预测模型。

4、本公开的第三个方面实施例，提供了一种占据信息的确定装置，该装置包括：图像确定模块，用于确定图像传感器在同一时刻分别采集的目标场景的第一图像和第二图像；深度确定模块，用于基于第一图像和第二图像，确定第一图像对应的深度概率分布；视锥体特征确定模块，用于基于第一图像和深度概率分布，确定第一图像对应的视锥体特征；鸟瞰图特征确定模块，用于对视锥体特征进行投影聚合处理，得到视锥体特征对应的二维鸟瞰图特征；占据信息确定模块，用于基于二维鸟瞰图特征，确定目标场景的占据信息。

5、本公开的第四个方面实施例，提供了一种占据预测模型的训练装置，该训练装置包括：网络确定模块，用于确定视差深度估计网络和初始占据网络；样本确定模块，用于确定至少一组样本图像和标签信息；其中，一组样本图像包括图像传感器在同一时刻分别采集的第三图像和第四图像；视差深度估计模块，用于利用视差深度估计网络对第三图像和第四图像进行处理，得到第三图像对应的初始深度概率分布；占据预测模块，用于利用初始占据网络对第三图像和初始深度概率分布进行处理，得到第三图像对应的初始视锥体特征，并对初始视锥体特征进行投影聚合处理，得到二维鸟瞰图特征；基于二维鸟瞰图特征，确定初始占据信息；训练模块，用于基于初始占据信息和标签信息，迭代训练视差深度估计网络和初始占据网络，得到训练后的视差深度估计网络和训练后的占据网络；处理模块，用于基于训练后的视差深度估计网络和训练后的占据网络，得到训练后的占据预测模型。

6、本公开的第五个方面实施例，提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序用于执行上述第一个方面实施例提供的占据信息的确定方法，或，上述第二个方面实施例提供的占据预测模型的训练方法。

7、本公开的第六个方面实施例，提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述第一个方面实施例提供的占据信息的确定方法，或，上述第二个方面实施例提供的占据预测模型的训练方法。

8、本公开的第七个方面实施例，提供了一种计算机程序产品，当计算机程序产品中的指令被处理器执行时，执行上述第一个方面实施例提供的占据信息的确定方法，或，上述第二个方面实施例提供的占据预测模型的训练方法。

9、基于本公开提供的占据信息的确定方法，通过确定图像传感器在同一时刻分别采集的目标场景的第一图像和第二图像；基于第一图像和第二图像，确定第一图像对应的深度概率分布；基于第一图像和深度概率分布，确定第一图像对应的视锥体特征；对视锥体特征进行投影聚合处理，得到视锥体特征对应的二维鸟瞰图特征；基于二维鸟瞰图特征，确定目标场景的占据信息。如此，通过对视锥体特征投影聚合得到二维鸟瞰图特征，可避免在occ三维占据预测中间阶段显式构造三维体素特征，从而解决现有方案内存占用大、内存带宽需求高的问题；并且，整套流程依托第一图像和第二图像生成深度概率分布并逐层转换为三维的视锥体特征，将三维的视锥体特征转换为二维鸟瞰图特征，再通过二维鸟瞰图特征确定占据信息，无需执行大量三维卷积、三维transformer运算，从而能够降低整体计算复杂度；进一步地，计算量和内存开销的同步缩减能够减少推理延迟、降低硬件的持续运行功耗，从而解决现有方案推理实时性差、功耗过高的问题。同时，由于第一图像与第二图像联合求解得到的深度概率分布能够解决建模空间深度的不确定性，完整保留场景三维空间信息，从而保证占据预测的感知精度，因此本公开能够在兼顾感知精度与推理速度的情况下，实现目标场景的空间占据预测。

1.一种占据信息的确定方法，包括：

2.根据权利要求1所述的方法，其中，所述对所述视锥体特征进行投影聚合处理，得到所述视锥体特征对应的二维鸟瞰图特征，包括：

3.根据权利要求1所述的方法，其中，所述基于所述二维鸟瞰图特征，确定所述目标场景的占据信息，包括：

4.根据权利要求3所述的方法，其中，所述对所述编码后的二维特征进行通道映射处理，得到二维输出特征，包括：

5.根据权利要求3所述的方法，其中，所述对所述二维输出特征进行维度重排处理，得到所述目标场景的占据信息，包括：

6.根据权利要求 5 所述的方法，其中，所述基于拆分得到的所述多个独立维度对所述二维输出特征进行维度重组，得到三维占据特征，包括：

7.根据权利要求1所述的方法，其中，所述基于所述第一图像和所述深度概率分布，确定所述第一图像对应的视锥体特征，包括：

8.根据权利要求7所述的方法，其中，所述对所述第一图像的第一图像特征和所述深度概率分布分别进行特征扩展处理，得到对应的第一扩展图像特征和深度扩展概率分布，包括：

9.根据权利要求1-8任一项所述的方法，其中，所述基于所述第一图像和所述第二图像，确定所述第一图像对应的深度概率分布，包括：

10.根据权利要求9所述的方法，其中，所述基于所述第一图像特征和所述第二图像特征，对所述第一图像和所述第二图像进行视差匹配，得到所述第一图像对应的视差概率分布，包括：

11.根据权利要求9所述的方法，其中，所述基于所述视差概率分布和所述图像传感器的参数，确定所述深度概率分布，包括：

12.一种占据预测模型的训练方法，包括：

13.一种占据信息的确定装置，包括：

14.一种占据预测模型的训练装置，包括：

15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的占据信息的确定方法，或，上述权利要求12所述的占据预测模型的训练方法。

16.一种电子设备，所述电子设备包括：