自动驾驶视觉问答方法、装置、电子设备及存储介质与流程

摘要: 本公开涉及图像处理,尤其涉及自动驾驶、电动汽车、深度学习、计算机视觉等领域,能够用于自动驾驶空间度量与理解等应用场景,具体涉及自动驾驶视觉问答方法、装置、电子设...
自动驾驶视觉问答方法、装置、电子设备及存储介质与流程

本公开涉及图像处理,尤其涉及自动驾驶、电动汽车、深度学习、计算机视觉等领域,能够用于自动驾驶空间度量与理解等应用场景,具体涉及自动驾驶视觉问答方法、装置、电子设备及存储介质。

背景技术:

1、视觉语言模型通常基于二维图像与文本进行预训练,能够完成图像理解、视觉问答和文本生成等多模态任务。随着自动驾驶技术的发展,车辆感知系统不仅需要识别道路参与者、交通标志、车道线等目标,还需要理解目标在真实三维空间中的距离、方位、尺寸及相对位置关系。为增强视觉语言模型在自动驾驶场景中的空间理解能力,现有技术中已有将激光雷达点云数据、深度信息或其他三维感知信息引入视觉语言模型的研究方向,例如将原始激光雷达点云特征输入模型并通过跨模态融合模块与图像特征进行融合,或者利用单目深度估计、独立深度编码器等方式提取深度特征,并将其与二维图像特征结合后供模型进行空间问答、目标定位或场景理解。

技术实现思路

1、本公开提供了一种自动驾驶视觉问答方法、装置、电子设备及存储介质。

2、根据本公开的第一方面,提供了一种自动驾驶视觉问答方法,包括:

3、获取点云数据、图像数据和标定参数;点云数据中包括多个三维点以及与每一三维点对应的三维坐标;根据标定参数,将点云数据中的三维点投影至图像数据对应的像素平面,得到每一三维点的像素位置;将位于图像数据的有效像素范围内的目标三维点对应的深度值写入与其对应的像素位置,生成与图像数据几何对齐的三通道深度图像;响应于视觉问答目标,构建目标提示词,并以目标提示词作为文本输入,至少以三通道深度图像作为图像输入,构建推理样本;将推理样本输入预先训练的视觉问答模型,以由视觉问答模型生成自动驾驶场景的空间理解结果。

4、根据本公开的第二方面,提供了一种自动驾驶视觉问答模型训练方法,包括:获取第一训练样本数据;第一训练样本数据包括第一训练输入数据以及第一训练监督数据,第一训练输入数据包括历史图像数据、历史三通道深度图像和训练文本提示词,第一训练监督数据包括历史视觉问答标签;历史三通道深度图像由历史点云数据投影生成,并与历史图像数据几何对齐;将第一训练输入数据输入初始视觉问答模型,以由初始视觉问答模型输出空间理解中间结果;根据空间理解中间结果和第一训练监督数据,确定第一训练损失;基于预设更新速率,根据第一训练损失更新初始视觉问答模型的模型参数,直至达到预设条件,得到视觉问答模型。

5、根据本公开的第三方面,提供了一种自动驾驶视觉问答装置,包括:

6、数据获取模块,用于获取点云数据、图像数据和标定参数;点云数据中包括多个三维点以及与每一三维点对应的三维坐标;点云投影模块,用于根据标定参数,将点云数据中的三维点投影至图像数据对应的像素平面,得到每一三维点的像素位置;深度生成模块,用于将位于图像数据的有效像素范围内的目标三维点对应的深度值写入与其对应的像素位置,生成与图像数据几何对齐的三通道深度图像;样本构建模块,用于响应于视觉问答目标,构建目标提示词,并以目标提示词作为文本输入,至少以三通道深度图像作为图像输入,构建推理样本;模型推理模块,用于将推理样本输入预先训练的视觉问答模型,以由视觉问答模型生成自动驾驶场景的空间理解结果。

7、根据本公开的第四方面,提供了一种自动驾驶视觉问答模型训练装置,包括:训练数据获取模块,用于获取第一训练样本数据;第一训练样本数据包括第一训练输入数据以及第一训练监督数据,第一训练输入数据包括历史图像数据、历史三通道深度图像和训练文本提示词,第一训练监督数据包括历史视觉问答标签;历史三通道深度图像由历史点云数据投影生成,并与历史图像数据几何对齐;初始模型推理模块,用于将第一训练输入数据输入初始视觉问答模型,以由初始视觉问答模型输出空间理解中间结果;训练损失计算模块,用于根据空间理解中间结果和第一训练监督数据,确定训练损失;模型迭代训练模块,用于基于预设数据配比和预设更新速率,根据训练损失更新初始视觉问答模型的模型参数,直至达到预设条件,得到视觉问答模型。

8、根据本公开的第五方面,提供了一种电子设备,包括:至少一个处理器;以及与该至少一个处理器通信连接的存储器;其中,该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一的方法。

9、根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

10、根据本公开的第七方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

11、采用本公开的方案,能够将点云数据转换为与图像数据几何对齐的三通道深度图像,使视觉问答模型能够以普通图像输入的方式利用点云数据提供的真实深度信息。

12、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种自动驾驶视觉问答方法,包括:

2.根据权利要求1所述的方法,其中,所述根据所述标定参数,将所述点云数据中的三维点投影至所述图像数据对应的像素平面,得到每一所述三维点的像素位置,包括:

3.根据权利要求2所述的方法,其中,所述基于所述内部参数,根据所述三维点图像坐标将所述三维点投影至所述图像数据对应的像素平面,获得所述三维点对应的所述像素位置,包括:

4.根据权利要求1所述的方法,其中,所述将位于所述图像数据的有效像素范围内的目标三维点对应的深度值写入与其对应的像素位置,生成与所述图像数据几何对齐的三通道深度图像,包括:

5.根据权利要求4所述的方法,其中,所述将所述归一化深度像素值写入所述像素位置,生成与所述图像数据几何对齐的所述三通道深度图,包括:

6.根据权利要求4所述的方法,其中,所述将所述归一化深度像素值写入所述像素位置,生成与所述图像数据几何对齐的所述三通道深度图,包括:

7.根据权利要求1所述的方法,其中,所述响应于视觉问答目标,构建目标提示词,并以所述目标提示词作为文本输入,至少以所述三通道深度图像作为图像输入,构建推理样本,包括:

8.根据权利要求7所述的方法,其中,所述响应于视觉问答目标,构建目标提示词模板,包括:

9.一种自动驾驶视觉问答模型训练方法,包括:

10.根据权利要求9所述的方法,其中,所述获取第一训练样本数据,包括:

11.根据权利要求9所述的方法,还包括:

12.一种自动驾驶视觉问答装置,包括:

13.一种自动驾驶视觉问答模型训练装置,包括:

14.一种电子设备,包括:

15.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行根据权利要求1-11中任一项的方法。

16.一种计算机程序产品,包括存储在存储介质上的计算机程序,计算机程序在被处理器执行时实现根据权利要求1-11中任一项的方法。