自动驾驶视觉问答模型训练方法、装置、设备及存储介质与流程

本公开涉及图像处理，尤其涉及自动驾驶、电动汽车、深度学习、计算机视觉等领域，能够用于自动驾驶空间度量与理解等应用场景，具体涉及自动驾驶视觉问答模型训练方法、装置、设备及存储介质。

背景技术：

1、视觉语言模型通过对图像与文本进行联合建模，能够理解视觉场景并根据自然语言指令完成问答、描述、推理等任务，在自动驾驶场景理解、障碍物识别和人车交互等任务中具有应用价值。自动驾驶车辆通常同时配置摄像头和激光雷达，其中摄像头提供二维图像信息，激光雷达提供包含距离、方位和空间结构的三维点云信息。为了使视觉语言模型具备更强的三维场景理解能力，业界开始探索将点云、深度估计结果或其他空间几何信息引入视觉语言模型，例如通过激光雷达编码器提取点云特征并与图像、文本特征进行融合，或者通过单目深度估计、深度编码器等方式生成深度特征后与图像特征共同输入模型，从而支持自动驾驶场景下的目标定位、距离判断、空间问答和三维场景推理等任务。

技术实现思路

1、本公开提供了一种自动驾驶视觉问答模型训练方法、装置、设备及存储介质。

2、根据本公开的第一方面，提供了一种自动驾驶视觉问答模型训练方法，包括：获取与多个历史场景对应的点云数据、图像数据、图像文本标注和标定参数；图像文本标注至少包括目标二维像素指代区域和目标答案文本；根据目标二维像素指代区域和标定参数，生成点云坐标系下的角空间指代；根据点云数据、图像数据和角空间指代生成输入数据，并将目标答案文本作为监督，分别构建与每一历史场景对应的训练样本；基于预训练的视觉问答基础模型，构建雷达编码单元和点云投影单元，利用每一训练样本对点云投影单元进行参数更新，并保持视觉问答基础模型和雷达编码单元的参数不变，得到增强后的视觉问答模型。

3、根据本公开的第二方面，提供了一种自动驾驶视觉问答方法，包括：获取自动驾驶车辆采集的目标环境数据；目标环境数据至少包括目标环境图像和目标点云数据；根据目标环境数据和预设的提示词模板，生成目标提示词；目标提示词至少包括空间问题；将目标提示词输入视觉问答模型，以由视觉问答模型针对空间问题生成目标回答文本；视觉问答模型通过第一方面的方法得到。

4、根据本公开的第三方面，提供了一种自动驾驶视觉问答模型训练装置，包括：数据获取模块，用于获取与多个历史场景对应的点云数据、图像数据、图像文本标注和标定参数；图像文本标注至少包括目标二维像素指代区域和目标答案文本；指代转换模块，用于根据目标二维像素指代区域和标定参数，生成点云坐标系下的角空间指代；样本生成模块，用于根据点云数据、图像数据和角空间指代生成输入数据，并将目标答案文本作为监督，分别构建与每一历史场景对应的训练样本；模型训练模块，用于基于预训练的视觉问答基础模型，构建雷达编码单元和点云投影单元，利用每一训练样本对点云投影单元进行参数更新，并保持视觉问答基础模型和雷达编码单元的参数不变，得到增强后的视觉问答模型。

5、根据本公开的第四方面，提供了一种自动驾驶视觉问答装置，包括：数据采集模块，用于获取自动驾驶车辆采集的目标环境数据；目标环境数据至少包括目标环境图像和目标点云数据；问题构建模块，用于根据目标环境数据和预设的提示词模板，生成目标提示词；目标提示词至少包括空间问题；模型推理模块，用于将目标提示词输入视觉问答模型，以由视觉问答模型针对空间问题生成目标回答文本；视觉问答模型通过第一方面的方法得到。

6、根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。

7、根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

8、根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

9、采用本公开的方案，能够在不额外依赖精确三维框标注和复杂点云文本对齐数据的情况下增强视觉问答模型的三维空间理解能力。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种自动驾驶视觉问答模型训练方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述目标二维像素指代区域和所述标定参数，生成点云坐标系下的角空间指代，包括：

3.根据权利要求2所述的方法，其中，所述根据所述内部参数，将每一所述二维角点像素坐标分别反投影为图像采集设备坐标系下的多个图像系射线方向，包括：

4.根据权利要求2所述的方法，其中，所述根据所述外部参数，将多个所述图像系射线方向变换为点云坐标系下的多个点云系射线方向，包括：

5.根据权利要求2所述的方法，其中，所述根据所述多个点云系射线方向生成所述角空间指代，包括：

6.根据权利要求1所述的方法，其中，所述预训练的视觉问答基础模型包括：视觉编码单元、图像投影单元、提示词构建单元和大语言单元；

7.根据权利要求6所述的方法，其中，所述将所述训练样本集中的输入数据对应输入所述待训练的视觉问答模型，以由待训练的视觉问答模型输出文本回答，包括：

8.根据权利要求7所述的方法，其中，所述雷达编码单元具体执行如下步骤：

9.根据权利要求7所述的方法，其中，所述点云投影单元具体执行如下步骤：

10.根据权利要求7所述的方法，其中，所述提示词构建单元具体执行如下步骤：

11.一种自动驾驶视觉问答方法，包括：

12.根据权利要求11所述的方法，其中，所述根据所述目标环境数据和预设的提示词模板，生成目标提示词，包括：

13.根据权利要求12所述的方法，其中，所述将所述目标点云数据填入所述提示词模板中的点云占位符，包括：

14.一种自动驾驶视觉问答模型训练装置，包括：

15.一种自动驾驶视觉问答装置，包括：

16.一种电子设备，包括：

17.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据权利要求1-13中任一项的方法。

18.一种计算机程序产品，包括存储在存储介质上的计算机程序，计算机程序在被处理器执行时实现根据权利要求1-13中任一项的方法。