一种结合大语言模型的目标检测方法及装置

摘要: 本申请涉及人工智能,具体涉及一种结合大语言模型的目标检测方法及装置。背景技术:1、随着人工智能技术发展,视觉检测模型广泛用于工业生产、智能安防、自动驾驶等多种场...
一种结合大语言模型的目标检测方法及装置

本申请涉及人工智能,具体涉及一种结合大语言模型的目标检测方法及装置。

背景技术:

1、随着人工智能技术发展,视觉检测模型广泛用于工业生产、智能安防、自动驾驶等多种场景。在自动驾驶场景中,通过目标检测模型对道路目标(如行人、车辆等)进行在线实时检测,能够为自动驾驶决策系统提供全面的环境语义支撑,增强自动驾驶车辆的环境感知能力,保障车辆行驶安全。yolo模型由于其轻量化、响应速度快的特点能够满足在线检测的高实时性需求,成为了自动驾驶目标检测的主流选择。然而,由于yolo模型缺乏开放场景下的语义理解能力,容易出现过拟合问题,导致对泛化性不足,对未见过的目标类别检测准确性低下。基于此,如何增强yolo模型的泛化能力与未见过类别的检测准确性,是当前需要解决的问题。

技术实现思路

1、本申请实施例的目的是提供一种结合大语言模型的目标检测方法及装置,以提高yolo模型的泛化性能与检测精度。

2、为达到上述目的,本申请的技术方案如下:

3、第一方面,本申请实施例提供了一种结合大语言模型的目标检测方法,该方法包括:

4、获取多个第一合成图像,及各个第一合成图像中包含的所有子图的描述文本;其中,所述子图包含道路目标的第一检测框及对应的第一类别,所述描述文本包括所述道路目标的描述信息;

5、基于各个子图在所述第一合成图像中的位置,构建各个子图的方位信息;

6、基于所述第一合成图像、所有子图的描述文本和方位信息,构建图文样本数据;

7、利用所述图文样本数据,对yolo模型及大语言模型进行联合训练;所述大语言模型用于根据所述第一合成图像的多尺度特征对应的多模态语义特征,生成包含各个子图的道路目标及方位的预测描述文本;所述预测描述文本用于增强所述yolo模型对通用语义特征及方位信息的理解能力;

8、将待检测的目标道路图像输入训练完成的yolo模型,得到检测结果;所述检测结果包括:道路目标的检测框及对应的类别。

9、第二方面,本申请实施例提供了一种结合大语言模型的目标检测装置,用于执行本申请实施例的第一方面提供的方法中的步骤。该装置包括:

10、预处理模块,被配置为获取多个第一合成图像,及各个第一合成图像中包含的所有子图的描述文本;其中,所述子图包含道路目标的第一检测框及对应的第一类别,所述描述文本包括所述道路目标的描述信息;基于各个子图在所述第一合成图像中的位置,构建各个子图的方位信息;基于所述第一合成图像、所有子图的描述文本和方位信息,构建图文样本数据;

11、训练模块,被配置为利用所述图文样本数据,对yolo模型及大语言模型进行联合训练;所述大语言模型用于根据所述第一合成图像的多尺度特征对应的多模态语义特征,生成包含各个子图的道路目标及方位的预测描述文本;所述预测描述文本用于增强所述yolo模型对通用语义特征及方位信息的理解能力;

12、检测模块,被配置为将待检测的目标道路图像输入训练完成的yolo模型,得到检测结果;所述检测结果包括:道路目标的检测框及对应的类别。

13、采用本申请所提供的结合大语言模型的目标检测方法,获取包含多种道路目标的第一合成图像,以及第一合成图像中各个子图对应的描述文本,基于各个子图在合成图像中的位置,构建各个子图的方位信息。基于方位信息、描述文本与合成图像,构建用于联合训练yolo模型与大语言模型的图文样本数据。利用图文样本数据对yolo模型和大语言模型进行联合训练,以将llm的海量语义知识注入yolo模型。

14、在联合训练过程中,大语言模型根据yolo模型从第一合成图像中提取的多尺度特征对应的多模态语义特征,生成第一合成图像对应的道路目标与方位的预测描述文本。进而,基于预测描述文本与图文样本数据更新yolo模型参数,以增强yolo模型对通用语义特征和视觉方位信息的理解能力。由此,实现了在避免yolo模型过拟合的基础上,利用大语言模型的通用语义和方位信息增强yolo模型的泛化性能以及未见过的目标的检测准确性,达到增强自动驾驶系统的环境感知能力及车辆行驶安全性的效果。

1.一种结合大语言模型的目标检测方法,其特征在于,包括:

2.根据权利要求1所述的结合大语言模型的目标检测方法,其特征在于,基于各个子图在所述第一合成图像中的位置,构建各个子图的方位信息,包括:

3.根据权利要求2所述的结合大语言模型的目标检测方法,其特征在于,所述第一合成图像采用矩阵式布局,其中各个子图的尺寸相同;将各个子图的像素坐标区间与所述方位标识进行映射,生成所述子图对应的方位信息,包括:

4.根据权利要求2所述的结合大语言模型的目标检测方法,其特征在于,将各个子图的像素坐标区间与所述方位标识进行映射,生成所述子图对应的方位信息,包括:

5.根据权利要求2所述的结合大语言模型的目标检测方法,其特征在于,基于所述第一合成图像、所有子图的描述文本和方位信息,构建图文样本数据,包括:

6.根据权利要求2所述的结合大语言模型的目标检测方法,其特征在于,基于所述第一合成图像、所有子图的描述文本和方位信息,构建图文样本数据,包括:

7.根据权利要求5或6所述的结合大语言模型的目标检测方法,其特征在于,所述yolo模型包括:视觉编码器及检测头;所述yolo模型与所述大语言模型之间通过多模态投影层连接;利用所述图文样本数据,对yolo模型及大语言模型进行联合训练,包括:

8.根据权利要求7所述的结合大语言模型的目标检测方法,其特征在于,所述检测损失包括:边界框回归损失、分类损失及分布焦点损失;所述多模态语义损失包括:图像级描述损失及区域级描述损失;基于所述yolo模型输出的数据及所述大语言模型输出的数据,计算综合损失,包括:

9.根据权利要求1所述的结合大语言模型的目标检测方法,其特征在于,在将待检测的目标道路图像输入训练完成的yolo模型,得到检测结果之后,还包括:

10.一种结合大语言模型的目标检测装置,其特征在于,用于执行如权利要求1-9任一所述的方法,包括: