多模态数据处理方法、装置、车辆及存储介质与流程

本公开涉及智能驾驶领域，尤其涉及一种多模态数据处理方法、装置、车辆及存储介质。

背景技术：

1、近年来，生成式人工智能与大语言模型取得突破性进展，以gpt-4为代表的模型迅速席卷工业界与学术界，展现出变革多个领域的巨大潜力。在此发展态势下，多模态大模型作为新兴技术，因其能够处理图像、文本、音频等多种类型数据类型而备受关注，特别是在智能驾驶领域展现出广阔的应用前景。

技术实现思路

1、本公开的目的在于提供一种多模态数据处理方法、装置、车辆及存储介质。

2、根据本公开实施例的第一方面，提供一种多模态数据处理方法，所述方法包括：获取车载摄像头采集的待处理图像；基于车载设备上部署的多模态大模型对所述待处理图像进行特征提取，获得所述待处理图像的特征提取结果；所述特征提取结果包括所述待处理图像的视觉特征；获取所述待处理图像对应的文本提示；将所述待处理图像的视觉特征与所述待处理图像对应的文本提示进行整合，获得多模态信息；基于所述多模态大模型对所述多模态信息进行推理，生成与所述待处理图像和所述文本提示相关联的目标文本。

3、在本公开一些实施例中，所述待处理图像的特征提取结果还包括所述待处理图像的类别信息；其中，所述获取所述待处理图像对应的文本提示，包括：根据所述待处理图像的类别信息，从智能驾驶系统的提示库中查询所述待处理图像对应的文本提示。

4、在本公开一些实施例中，所述将所述待处理图像的视觉特征与所述待处理图像对应的文本提示进行整合，获得多模态信息，包括：对所述待处理图像对应的文本提示进行分词处理，获得分词处理后的文本提示；将所述待处理图像的视觉特征与所述分词处理后的文本提示进行整合，获得所述多模态信息。

5、在本公开一些实施例中，所述基于车载设备上部署的多模态大模型对所述待处理图像进行特征提取，获得所述待处理图像的特征提取结果，包括：将所述待处理图像输入所述多模态大模型的目标视觉模型中，生成所述待处理图像的图像特征；对所述待处理图像的图像特征进行编码，获得所述待处理图像的编码特征；基于多层感知器对所述待处理图像的编码特征进行处理，获得所述待处理图像的视觉特征和所述待处理图像的类别信息。

6、在本公开一些实施例中，所述基于多层感知器对所述待处理图像的编码特征进行处理，获得所述待处理图像的视觉特征和所述待处理图像的类别信息，包括：对所述待处理图像的编码特征进行采样处理，获得采样处理后的特征；基于所述多层感知器对所述采样处理后的特征进行非线性变换，获得所述待处理图像的视觉特征；基于所述多层感知器对所述采样处理后的特征进行分类预测，获得所述待处理图像的类别信息。

7、在本公开一些实施例中，所述基于所述多模态大模型对所述多模态信息进行推理，生成与所述待处理图像和所述文本提示相关联的目标文本，包括：将所述多模态信息输入所述多模态大模型的目标大语言模型中，对所述多模态信息进行预填充操作，获得填充后的多模态信息；对所述填充后的多模态信息进行解码处理，生成所述目标文本。

8、在本公开一些实施例中，在生成目标文本后，所述方法还包括：将所述目标文本转化为语音数据，播放所述语音数据。

9、在本公开一些实施例中，所述多模态大模型包括目标视觉模型和目标大语言模型；所述目标视觉模型为基于深度学习推理库优化的视觉模型；所述目标大语言模型为基于本地大语言模型推理引擎部署的大语言模型。

10、根据本公开实施例的第二方面，提供一种多模态数据处理装置，所述装置包括：图像获取模块，被配置为获取车载摄像头采集的待处理图像；图像处理模块，被配置为基于车载设备上部署的多模态大模型对所述待处理图像进行特征提取，获得所述待处理图像的特征提取结果；所述特征提取结果包括所述待处理图像的视觉特征；提示获取模块，被配置为获取所述待处理图像对应的文本提示；整合模块，被配置为将所述待处理图像的视觉特征与所述待处理图像对应的文本提示进行整合，获得多模态信息；推理模块，被配置为基于所述多模态大模型对所述多模态信息进行推理，生成与所述待处理图像和所述文本提示相关联的目标文本。

11、根据本公开实施例的第三方面，提供一种车辆，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现上述实施例所述的多模态数据处理方法。

12、根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述实施例所述的多模态数据处理方法。

13、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的多模态数据处理方法。

14、本公开的实施例提供的技术方案可以包括以下有益效果：

15、通过车载摄像头采集待处理图像，利用在车载设备上部署的多模态大模型对该待处理图像进行特征提取，能够准确捕捉到图像中的关键信息；获取与该待处理图像对应的文本提示，将待处理图像的视觉特征与文本提示进行整合，形成多模态信息，增强了图像和文本之间的语义关联，从而挖掘出单一模态数据无法体现的深层信息；进而基于多模态大模型对该多模态信息进行推理，得到与待处理图像和文本提示相关联的目标文本。通过这种方式，利用在车载设备上部署的多模态大模型进行数据处理，能够在车辆行驶过程中实时、高效地对采集到的图像和文本提示进行处理，提升智能驾驶系统的响应速度和决策可靠性，增强驾驶安全性。

16、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

1.一种多模态数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述待处理图像的特征提取结果还包括所述待处理图像的类别信息；

3.根据权利要求2所述的方法，其特征在于，所述将所述待处理图像的视觉特征与所述待处理图像对应的文本提示进行整合，获得多模态信息，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于车载设备上部署的多模态大模型对所述待处理图像进行特征提取，获得所述待处理图像的特征提取结果，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于多层感知器对所述待处理图像的编码特征进行处理，获得所述待处理图像的视觉特征和所述待处理图像的类别信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述多模态大模型对所述多模态信息进行推理，生成与所述待处理图像和所述文本提示相关联的目标文本，包括：

7.根据权利要求1所述的方法，其特征在于，在生成目标文本后，所述方法还包括：

8.根据权利要求1至7任一所述的方法，其特征在于，所述多模态大模型包括目标视觉模型和目标大语言模型；所述目标视觉模型为基于深度学习推理库优化的视觉模型；所述目标大语言模型为基于本地大语言模型推理引擎部署的大语言模型。

9.一种多模态数据处理装置，其特征在于，所述装置包括：

10.一种车辆，其特征在于，包括：

11.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行权利要求1-8中任一项所述的多模态数据处理方法。