一种基于显式前景特征建模的分布外目标检测方法及系统

本发明属于计算机视觉，具体涉及一种基于显式前景特征建模的分布外目标检测方法。

背景技术：

1、目标级分布外检测旨在开放环境中识别训练类别之外的未知目标，并在保持分布内目标检测精度的同时降低安全风险。与图像级分布外检测不同，目标级分布外检测不仅需要判断目标是否属于分布外类别，还需要在区域级别完成前景定位和类别判定。因此，分布外目标不应被简单视为异常输入，而应被视为具有空间结构的未知前景实体。

2、现有目标级分布外检测方法主要通过表征学习和正则化策略抑制分布外区域对分布内类别的响应。vos首次通过未知感知学习框架形式化该任务，在特征空间决策边界附近合成虚拟异常值，并利用基于能量的不确定性识别分布外目标。后续方法大多沿用虚拟异常值正则化范式，通过生成、混合、扰动或扩散建模等方式构造伪分布外特征，以缓解训练阶段缺乏未知数据监督的问题。然而，伪异常值的覆盖范围受限于有限的分布内训练分布，难以充分表征开放世界中无界且复杂的未知目标空间。因此，真实分布外目标仍可能被映射到分布内特征空间中，形成特征塌陷，并导致未知目标被误判为已知类别或被抑制为背景。

3、为缓解伪异常值覆盖不足的问题，部分方法引入真实世界异常值暴露，将更多样化的分布外样本纳入检测器训练。该类方法能够提供更丰富的未知样本证据，但多数仍依赖响应抑制正则化来拒绝分布外输入。对于包含个分布内类别和第个背景类别的目标检测器而言，单纯降低分布外区域的分布内类别响应并不能保证其前景属性被保留。当分布外区域无法与任一已知类别建立有效匹配时，其特征可能被进一步推向背景类别，从而造成未知前景目标漏检。

4、近年来，视觉语言大模型通过大规模图文对齐学习获得了开放词汇语义先验，为分布外目标识别提供了新的技术路径。现有视觉语言模型方法通常将其作为后处理模块，对检测器已经生成的候选区域进行文本匹配或语义重评分。该范式虽然能够增强候选区域的语义判别能力，但仍依赖基础检测器的前景定位能力。一旦分布外目标在候选区域生成阶段被抑制为背景，后续视觉语言模型无法恢复该目标区域，最终仍会导致分布外目标被忽略。因此，需要将视觉语言模型导出的密集语义先验更早地引入检测流程，在候选区域生成之前增强未知区域的前景证据。

5、尽管前景背景分解方法取得了初步进展，但仍存在以下不足：

6、第一，现有方法普遍通过抑制分布外特征的分布内类别响应来实现分布外目标拒绝。然而，目标级分布外检测本质上是包含个分布内类别和第个背景类别的区域级分类问题。单纯的响应抑制虽然能够降低分布外区域被误判为已知类别的概率，却可能同时削弱其前景置信度，使分布外前景特征被吸收到背景类别中，从而造成未知目标漏检。

7、第二，现有先进的视觉语言模型方法通常将视觉语言大模型作为后处理模块，用于对检测器生成的候选区域进行文本匹配或语义重评分。该范式仍然依赖基础检测器的前景定位能力。一旦分布外目标在候选区域生成阶段被抑制为背景，后续视觉语言大模型将无法对其进行恢复，最终仍会导致分布外目标被忽略。

8、第三，现有方法对前景、背景和分布外特征之间的关系缺乏显式建模。背景区域通常具有高度异质性且缺乏统一语义，若仅依赖隐式分类边界进行区分，分布外前景特征在训练过程中容易受到背景流形干扰。因而，有必要对分布内前景特征和分布外特征之间的关系施加显式约束，为未知前景目标建立独立的判别边界，降低其被背景类别吸收的风险。

技术实现思路

1、本发明提供一种基于显式前景特征建模的分布外目标检测方法及系统，其目的在于解决开放场景下现有目标检测方法因缺乏对前景特征分布的显式建模与约束，难以精准区分和定位分布外未知目标、易将未知目标误判为已知类别，进而导致检测可靠性与准确率不足的问题。

2、第一个方面，本发明的目的在于提供一种基于显式前景特征建模的分布外目标检测方法，包括以下步骤：

3、s1：获取包含分布内样本的分布内训练数据集，以及包含分布外样本的分布外辅助数据集；

4、s2：构建目标级分布外检测模型，所述模型包括依次连接的多模态特征提取器、上下文解码器、特征金字塔模块、区域候选网络、感兴趣区域提取模块以及检测头；

5、s3：读取分布内训练数据集，基于分布内类别名称构建对应的文本提示特征，将所述分布内训练数据集与所述文本提示特征输入所述目标级分布外检测模型，通过分布内前景特征显式约束目标函数对模型执行第一阶段训练；

6、s4：将所述分布内训练数据集、分布外辅助数据集与所述文本提示特征共同输入完成第一阶段训练的模型，通过所述分布内前景特征显式约束目标函数结合分布外前景特征显式约束目标函数对模型执行第二阶段联合训练；所述分布外前景特征显式约束目标函数用于降低分布外前景特征对任一分布内高斯分量的归属概率；

7、s5：将待检测图像输入至训练完成的目标级分布外检测模型，基于检测头输出的预测logit计算对应目标预测分布的能量得分；

8、s6：将所述能量得分与预设判定阈值进行比较，若能量得分高于预设判定阈值，则判定对应待检测图像为分布外样本，否则判定为分布内样本。

9、更进一步地，提供优选方案：所述多模态特征提取器包括视觉编码分支与文本编码分支；所述视觉编码分支用于提取输入图像的多层多尺度视觉特征以及全局图像特征向量，所述文本编码分支用于对所述文本提示特征进行编码，输出对应各预设类别的文本特征向量。

10、更进一步地，提供优选方案：所述上下文解码器以所述文本特征向量作为查询序列、以所述全局图像特征向量作为上下文序列，通过多层transformer解码层建模文本语义与视觉前景区域的关联关系，输出融合当前图像视觉上下文的增强文本特征。

11、更进一步地，提供优选方案：所述特征金字塔模块的处理过程包括：

12、计算所述增强文本特征与全局图像特征向量的空间相似度，生成表征各空间区域与类别语义匹配程度的稠密语义响应特征；

13、以所述稠密语义响应特征为加权引导，对所述多层多尺度视觉特征进行逐层语义细化与自顶向下的特征融合，输出语义增强后的多尺度特征图。

14、更进一步地，提供优选方案：所述区域候选网络在所述语义增强后的多尺度特征图上生成候选目标区域，输出各候选区域的前景置信度与边界框回归偏移量；

15、所述感兴趣区域提取模块对各候选区域执行特征对齐操作，提取得到固定尺寸的区域级特征。

16、更进一步地，提供优选方案：所述分布内前景特征显式约束目标函数采用高斯混合分布对分布内前景区域的特征分布进行建模，约束分布内前景特征聚集于对应高斯分量的分布范围内。

17、更进一步地，提供优选方案：所述分布外前景特征显式约束目标函数用于降低分布外前景特征对任一分布内高斯分量的归属概率。

18、第二个方面，本发明的目的在于提出一种基于显式前景特征建模的分布外目标检测系统，用于实现上述任意一项或多项方案组合所述的基于显式前景特征建模的分布外目标检测方法，所述系统包括：

19、数据获取单元：用于获取包含分布内样本的分布内训练数据集，以及包含分布外样本的分布外辅助数据集；

20、模型搭建单元：用于构建目标级分布外检测模型，所述模型包括依次连接的多模态特征提取器、上下文解码器、特征金字塔模块、区域候选网络、感兴趣区域提取模块以及检测头；

21、第一训练单元：用于读取分布内训练数据集，基于分布内类别名称构建对应的文本提示特征，将所述分布内训练数据集与所述文本提示特征输入所述目标级分布外检测模型，通过分布内前景特征显式约束目标函数对模型执行第一阶段训练；

22、第二训练单元：用于将所述分布内训练数据集、分布外辅助数据集与所述文本提示特征共同输入完成第一阶段训练的模型，通过所述分布内前景特征显式约束目标函数结合分布外前景特征显式约束目标函数对模型执行第二阶段联合训练；所述分布外前景特征显式约束目标函数用于降低分布外前景特征对任一分布内高斯分量的归属概率；

23、特征计算单元：用于将待检测图像输入至训练完成的目标级分布外检测模型，基于检测头输出的预测logit计算对应目标预测分布的能量得分；

24、结果判定单元：用于将所述能量得分与预设判定阈值进行比较，若能量得分高于预设判定阈值，则判定对应待检测图像为分布外样本，否则判定为分布内样本。

25、第三个方面，本发明的目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述任意一项或多项方案组合所述的基于显式前景特征建模的分布外目标检测方法。

26、第四个方面，本发明的目的在于提供一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任意一项或多项方案组合所述的基于显式前景特征建模的分布外目标检测方法。

27、与现有技术相比，本发明的优势在于：

28、（1）通过设置上下文解码器，利用文本特征与视觉特征之间的跨模态交互关系对视觉特征进行语义增强，从而将clip中原有的图像-文本匹配方式重构为像素-文本匹配问题，利用得到的像素-文本得分图引导前景感知特征保持，从而使模型在特征提取和语义增强阶段能够更充分地保留目标前景区域的有效响应。

29、（2）通过采用高斯混合分布对分布内前景特征进行显式重塑，使模型能够学习更加清晰、更具判别性的分布内前景特征表示。同时，通过对离群数据施加负向学习约束，对分布外前景特征进行显式正则化，从而使分布外前景特征远离分布内前景特征分布及背景特征流形，避免其被误判为分布内类别或被错误吸收到背景类别中。

30、（3）通过将分布内前景特征建模、分布外前景特征约束以及基于能量得分的可信度评估相结合，本发明能够在保留分布外目标前景区域、避免其被吸收到背景类别中的同时，提升分布外目标检测性能。

31、本发明适用于自动驾驶、安防监控、工业质检等开放场景下与安全高度相关的目标检测任务。