基于多模态大模型的自动驾驶轨迹预测方法及其模型训练

本技术涉及车辆，尤其涉及一种基于多模态大模型的自动驾驶轨迹预测方法及其模型训练。

背景技术：

1、自动驾驶技术在复杂动态交通环境中面临多模态感知与决策的双重挑战，车辆轨迹预测需通过多模态数据的深度融合，动态调整感知与决策逻辑，确保在传感器数据部分失效或异常时仍能维持系统鲁棒性。

2、在相关技术中，多模态大模型对于三维传感器的理解能力有限，同时对三维传感器数据的建模能力有限，难以提取其几何结构与语义特征，并且在一种传感器数据异常时无法通过另一种传感器数据进行车辆轨迹的预测。

3、因此，如何提升车辆轨迹预测的准确性成为急需解决的技术问题。

技术实现思路

1、本技术实施例提供一种基于多模态大模型的自动驾驶轨迹预测方法及其模型训练，以解决相关技术针对车辆轨迹预测准确性低下问题。

2、第一方面，本技术实施例提供了一种基于多模态大模型的自动驾驶轨迹预测模型的训练方法，包括：

3、获取训练样本，训练样本包括车辆历史行驶过程中的样本实时图像和样本雷达图像；

4、根据样本实时图像和样本雷达图像一起与预设语义引导编码，确定样本实时图像和样本雷达图像的拼接特征；

5、将拼接特征输入至多模态大模型中进行处理，得到图像预测轨迹和图像轨迹置信度、雷达预测轨迹和雷达轨迹置信度以及融合预测轨迹和融合轨迹置信度；

6、根据图像预测轨迹、雷达预测轨迹和融合预测轨迹，确定偏离轨迹，并根据图像轨迹置信度、雷达轨迹置信度以及融合轨迹置信度，确定参考轨迹；

7、基于偏离轨迹和参考轨迹，对多模态大模型进行训练，得到训练好的轨迹预测模型。

8、在一种可能的实施方式中，根据图像预测轨迹、雷达预测轨迹和融合预测轨迹，确定偏离轨迹，包括：

9、根据图像预测轨迹、雷达预测轨迹和融合预测轨迹，确定平均轨迹；

10、分别计算融合预测轨迹和平均轨迹之间的第一偏离值、图像预测轨迹和平均轨迹之间的第二偏离值以及雷达预测轨迹和平均轨迹之间的第三偏离值；

11、将第一偏离值、第二偏离值和第三偏离值中的最大值对应的预测轨迹确定为偏离轨迹。

12、在一种可能的实施方式中，根据图像轨迹置信度、雷达轨迹置信度以及融合轨迹置信度，确定参考轨迹，包括：

13、计算图像轨迹置信度、雷达轨迹置信度以及融合轨迹置信度中的最大值；

14、将最大值对应的目标轨迹确定为参考轨迹；目标轨迹包括图像预测轨迹、雷达预测轨迹和融合预测轨迹中的任一项。

15、在一种可能的实施方式中，基于偏离轨迹和参考轨迹，对多模态大模型进行训练，得到训练好的轨迹预测模型，包括：

16、将图像轨迹置信度、雷达轨迹置信度以及融合轨迹置信度中的最大值对应的预测轨迹作为轨迹真值；

17、将偏离轨迹对应的特征输入至多模态大模型，得到待优化轨迹；

18、计算待优化轨迹和轨迹真值的损失值；

19、将损失值反向传播至多模态大模型，并对多模态大模型的参数进行更新，直至损失值对应的损失函数收敛，得到训练好的轨迹预测模型。

20、在一种可能的实施方式中，根据样本实时图像和样本雷达图像一起与预设语义引导编码，确定样本实时图像和样本雷达图像的拼接特征，包括：

21、分别对样本实时图像和样本雷达图像进行编码，得到图像编码和雷达图像编码；

22、将图像编码和雷达图像编码一起与预设语义引导编码进行拼接，得到样本实时图像和样本雷达图像的拼接特征。

23、第二方面，本技术实施例提供了一种基于多模态大模型的自动驾驶轨迹预测方法，包括：

24、获取车辆行驶过程中的实时图像、激光雷达图像以及毫米波雷达图像；

25、分别对实时图像、激光雷达图像和毫米波雷达图像进行编码，得到图像编码、激光雷达图像编码和毫米波雷达图像编码；

26、将图像编码、激光雷达图像编码和毫米波雷达图像编码一起与预设语义引导编码进行拼接，得到实时图像、激光雷达和毫米波雷达的拼接特征；

27、将拼接特征输入至轨迹预测模型中进行预测，得到车辆预测轨迹；轨迹预测模型是根据第一方面任一项的方法训练得到的。

28、在一种可能的实施方式中，在获取车辆行驶过程中的实时图像、激光雷达图像以及毫米波雷达图像之前，方法还包括：

29、获取车辆行驶过程中的实时激光雷达数据和实时毫米波雷达数据；

30、将实时激光雷达数据和实时毫米波雷达数据进行可视化处理，得到激光雷达图像和毫米波雷达图像。

31、第三方面，本技术实施例提供了一种基于多模态大模型的自动驾驶轨迹预测模型的训练装置，包括：

32、获取模块，用于获取训练样本，训练样本包括车辆历史行驶过程中的样本实时图像和样本雷达图像；

33、确定模块，用于根据样本实时图像和样本雷达图像一起与预设语义引导编码，确定样本实时图像和样本雷达图像的拼接特征；

34、处理模块，用于将拼接特征输入至多模态大模型中进行处理，得到图像预测轨迹和图像轨迹置信度、雷达预测轨迹和雷达轨迹置信度以及融合预测轨迹和融合轨迹置信度；

35、确定模块，还用于根据图像预测轨迹、雷达预测轨迹和融合预测轨迹，确定偏离轨迹，并根据图像轨迹置信度、雷达轨迹置信度以及融合轨迹置信度，确定参考轨迹；

36、训练模块，用于基于偏离轨迹和参考轨迹，对多模态大模型进行训练，得到训练好的多模态大模型。

37、第四方面，本技术实施例提供了一种基于多模态大模型的自动驾驶轨迹预测装置，包括：

38、获取模块，用于获取车辆行驶过程中的实时图像、激光雷达图像以及毫米波雷达图像；

39、编码模块，用于分别对实时图像、激光雷达图像和毫米波雷达图像进行编码，得到图像编码、激光雷达图像编码和毫米波雷达图像编码；

40、拼接模块，用于将图像编码、激光雷达图像编码和毫米波雷达图像编码一起与预设语义引导编码进行拼接，得到实时图像、激光雷达和毫米波雷达的拼接特征；

41、预测模块，用于将拼接特征输入至轨迹预测模型中进行预测，得到车辆预测轨迹；轨迹预测模型是根据第一方面任一项的方法训练得到的。

42、第五方面，本技术实施例提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

43、存储器存储计算机执行指令；

44、处理器执行存储器存储的计算机执行指令，以实现如上述第一方面、第二方面或任一种方式的方法。

45、第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述第一方面、第二方面或任一种方式的方法

46、第五方面，本技术实施例提供一种计算机程序，计算机程序产品包括计算机程序，计算机程序存储在计算机可读存储介质中，至少一个处理器可以从该计算机可读存储介质中读取该计算机程序，至少一个处理器执行计算机程序时可实现上述第一方面、第二方面或任一种方式的方法。

47、本技术实施例提供的基于多模态大模型的自动驾驶轨迹预测方法及其模型训练，该方法首先获取训练样本，根据样本实时图像和样本雷达图像一起与预设语义引导编码，确定样本实时图像和样本雷达图像的拼接特征。然后将拼接特征输入至多模态大模型中进行处理，让模型同时学习视觉纹理和雷达空间特征，提升了多模态大模型的准确性，得到图像预测轨迹和图像轨迹置信度、雷达预测轨迹和雷达轨迹置信度以及融合预测轨迹和融合轨迹置信度。之后根据图像预测轨迹、雷达预测轨迹和融合预测轨迹，确定偏离轨迹，并根据图像轨迹置信度、雷达轨迹置信度以及融合轨迹置信度，确定参考轨迹。最后基于偏离轨迹和参考轨迹，对多模态大模型进行训练，得到训练好的轨迹预测模型，精准修复了单一模态失效场景下的预测偏差，增强了模型在雨雪雾等复杂场景中的预测准确性和泛化能力。