面向任务无关增量的视觉语言目标检测方法及系统

本发明涉及目标检测，尤其涉及一种面向任务无关增量的视觉语言目标检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、基于视觉语言预训练的开放词汇目标检测模型在目标检测任务中，由于真实场景的图像分布、目标尺度、背景复杂度和类别组合通常与大规模预训练数据存在差异，导致明显性能下降。

3、一些研究试图通过增量视觉语言目标检测解决这一问题。模型按照任务流顺序学习新类别或新领域，同时避免遗忘已有能力，并保持对未见类别的泛化能力。

4、但现有增量视觉语言目标检测方法多采用任务增量式评测协议。该协议在测试时提供任务身份，模型只需在当前任务的类别提示中进行检测。这种设置便于分析稳定性与可塑性，但与真实部署存在距离。而任务无关增量视觉语言目标检测，推理阶段不提供任何任务先验，模型必须同时考虑所有已学习类别。但是长提示中的跨任务类别会造成语义干扰，使视觉特征难以稳定关注正确文本词元；且在不同任务中独立学习的类别专家在参数方向上可能差异较大，直接平均融合会产生参数冲突。

技术实现思路

1、针对现有技术存在的不足，本发明的目的是提供一种面向任务无关增量的视觉语言目标检测方法及系统，提出任务无关分布感知适配方法（task-agnostic distribution-aware adaptation，tada），通过训练阶段的随机提示增强与测试阶段的分布感知融合共同提升模型在任务无关场景中的鲁棒性，使模型在无需任务身份先验的情况下，能够面对全部已学习类别构成的统一提示完成目标检测。

2、为了实现上述目的，本发明是通过如下的技术方案来实现：

3、本发明第一方面提供了一种面向任务无关增量的视觉语言目标检测方法，包括以下步骤：

4、获取连续到达的目标检测任务数据，包括训练图像、训练图像对应的边界框集合以及边界框对应的类别标签，对训练图像进行预处理；

5、构建基于注意力机制的预训练开放词汇目标检测模型和类别级低秩适配专家库；

6、利用目标检测任务数据对预训练开放词汇目标检测模型进行训练，其中，通过随机提示增强构造包含当前类别、历史类别和随机噪声词元的增强训练提示；

7、利用训练后的预训练开放词汇目标检测模型对测试图像进行任务无关推理，根据测试图像特征与类别分布之间的马氏距离动态加权融合类别级低秩适配专家库中的类别级专家，得到目标边界框、类别名称和置信度。

8、进一步的，对训练图像进行归一化、像素归一化和批处理的预处理操作。

9、进一步的，基于注意力机制的预训练开放词汇目标检测模型包括图像编码器、文本编码器、跨模态特征融合模块、检测解码器和检测头。

10、进一步的，训练过程中采用匹配算法将预测框与真实边界框进行匹配，只使用训练图像真实标注类别参与匹配和损失计算，并在线维护类别特征均值和共享协方差矩阵。

11、进一步的，利用训练后的预训练开放词汇目标检测模型对测试图像进行任务无关推理过程中，不获取测试图像所属任务身份，将全部已学习类别构成统一推理提示，计算测试图像特征与各类别均值之间的马氏距离，并通过带温度系数的归一化指数函数得到类别级低秩适配专家的融合权重，进而动态融合专家参数并输出目标边界框、类别名称和置信度。

12、进一步的，训练过程中，在参数更新阶段，若训练样本包含真实类别，则更新该真实类别对应的低秩专家和共享投影矩阵；基础权重、图像编码器主要预训练权重和文本编码器主要预训练权重保持冻结或按预设策略冻结。

13、本发明第二方面提供了一种面向任务无关增量的视觉语言目标检测系统，包括：

14、数据获取与预处理模块，被配置为获取连续到达的目标检测任务数据，包括训练图像、训练图像对应的边界框集合以及边界框对应的类别标签，对训练图像进行预处理；

15、模型与专家库构建模块，被配置为构建基于注意力机制的预训练开放词汇目标检测模型和类别级低秩适配专家库；

16、模型训练模块，被配置为利用目标检测任务数据对预训练开放词汇目标检测模型进行训练，其中，通过随机提示增强构造包含当前类别、历史类别和随机噪声词元的增强训练提示；

17、任务无关推理模块，被配置为利用训练后的预训练开放词汇目标检测模型对测试图像进行任务无关推理，根据测试图像特征与类别分布之间的马氏距离动态加权融合类别级低秩适配专家库中的类别级专家，得到目标边界框、类别名称和置信度。

18、本发明第三方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序适于由处理器加载并执行如本发明第一方面所述的面向任务无关增量的视觉语言目标检测方法中的步骤。

19、本发明第四方面提供了一种计算机设备，该设备包括：

20、处理器，适于执行计算机程序；

21、计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被所述处理器执行时，实现如本发明第一方面所述的面向任务无关增量的视觉语言目标检测方法。

22、本发明第五方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如本发明第一方面所述的面向任务无关增量的视觉语言目标检测方法中的步骤。

23、以上一个或多个技术方案存在以下有益效果：

24、本发明公开了一种面向任务无关增量的视觉语言目标检测方法及系统，即任务无关分布感知适配方法（task-agnostic distribution-aware adaptation，简称 tada）。该方法获取连续到达的目标检测任务，基于预训练开放词汇目标检测模型构建类别级低秩适配专家库；训练阶段利用当前类别、历史类别和随机噪声词元构造增强训练提示，使模型在复杂跨任务文本环境下进行图像与文本特征融合，并仅依据真实标注类别计算检测损失；同时根据图像编码特征在线维护各类别特征均值和共享协方差矩阵。推理阶段不获取测试图像所属任务身份，将全部已学习类别构成统一推理提示，计算测试图像特征与各类别均值之间的马氏距离，并通过带温度系数的归一化指数函数得到类别级低秩适配专家的融合权重，进而动态融合专家参数并输出目标边界框、类别名称和置信度。本发明能够缓解统一提示造成的语义干扰和跨任务专家参数冲突，提高任务无关开放增量场景下的目标检测精度。

25、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

1.面向任务无关增量的视觉语言目标检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的面向任务无关增量的视觉语言目标检测方法，其特征在于，对训练图像进行归一化、像素归一化和批处理的预处理操作。

3.如权利要求1所述的面向任务无关增量的视觉语言目标检测方法，其特征在于，基于注意力机制的预训练开放词汇目标检测模型包括图像编码器、文本编码器、跨模态特征融合模块、检测解码器和检测头。

4.如权利要求1所述的面向任务无关增量的视觉语言目标检测方法，其特征在于，训练过程中采用匹配算法将预测框与真实边界框进行匹配，只使用训练图像真实标注类别参与匹配和损失计算，并在线维护类别特征均值和共享协方差矩阵。

5.如权利要求1所述的面向任务无关增量的视觉语言目标检测方法，其特征在于，利用训练后的预训练开放词汇目标检测模型对测试图像进行任务无关推理过程中，不获取测试图像所属任务身份，将全部已学习类别构成统一推理提示，计算测试图像特征与各类别均值之间的马氏距离，并通过带温度系数的归一化指数函数得到类别级低秩适配专家的融合权重，进而动态融合专家参数并输出目标边界框、类别名称和置信度。

6.如权利要求1所述的面向任务无关增量的视觉语言目标检测方法，其特征在于，训练过程中，在参数更新阶段，若训练样本包含真实类别，则更新该真实类别对应的低秩专家和共享投影矩阵；基础权重、图像编码器主要预训练权重和文本编码器主要预训练权重保持冻结或按预设策略冻结。

7.一种面向任务无关增量的视觉语言目标检测系统，其特征在于，包括：

8.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的面向任务无关增量的视觉语言目标检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于被处理器加载并执行如权利要求1-6中任一项所述的面向任务无关增量的视觉语言目标检测方法。

10.一种计算机设备，其特征在于，包括：