一种基于语言引导的显著与伪装目标统一检测方法及系统

本发明涉及计算机视觉，具体为一种基于语言引导的显著与伪装目标统一检测方法及系统。

背景技术：

1、显著目标检测（salient object detection，sod）是计算机视觉中的基础任务，其目标是在图像中定位并分割最容易吸引人类视觉注意的前景目标。该类方法通常利用目标与背景之间的颜色差异、纹理差异、亮度差异、空间位置差异以及高级语义差异来生成前景掩码。

2、伪装目标检测（camouflaged object detection，cod）同样属于前景目标提取任务，但其目标对象往往与背景高度融合。例如，目标可能具有与周围环境相似的颜色、纹理、边缘轮廓或几何结构。因此，伪装目标检测更强调细粒度纹理差异、弱边界线索以及复杂背景下的结构推理能力。

3、视觉基础模型（例如分割类基础模型）能够提供较强的通用视觉表征能力。通过冻结视觉主干网络，并在其注意力层中插入低秩自适应（low-rank adaptation，lora）矩阵或适配器（adapter）模块，可以在较低可训练参数量下实现下游任务适配。

4、视觉-语言模型能够利用文本描述为视觉识别任务提供高层语义先验。文本信息可描述目标类别、数量、颜色、纹理、姿态、空间位置以及目标与背景之间的关系。对于显著与伪装目标统一检测任务，语言描述可以作为跨模态语义引导，帮助模型在复杂场景中聚焦真正的核心目标，并减少背景噪声和相似干扰物的影响。

5、现有技术方案主要包括纯视觉显著/伪装统一检测方法、基于视觉基础模型适配的图像分割方法，以及引入文本提示的视觉-语言分割方法。

6、现有纯视觉统一检测方法通常采用统一编码器和解码器结构，对输入图像进行特征提取，并直接输出前景目标掩码或目标属性类别。其主要步骤包括：

7、步骤一：输入待检测图像，对图像进行尺度归一化和预处理。

8、步骤二：利用视觉编码器提取多尺度图像特征。

9、步骤三：通过解码器融合不同层级的视觉特征，生成像素级前景预测图。

10、步骤四：通过属性判别分支或分类头判断当前目标属于显著目标或伪装目标。

11、现有视觉-语言分割方法通常将图像和文本分别输入视觉编码器和文本编码器，再通过跨模态注意力或特征拼接实现视觉特征与语言特征融合，最后输出与文本描述相关的目标分割结果。其主要步骤包括：

12、步骤一：获取图像和与目标相关的文本描述。

13、步骤二：利用视觉编码器提取图像特征，利用文本编码器提取文本语义特征。

14、步骤三：通过视觉-语言融合模块建立图像区域与文本词元之间的关联关系。

15、步骤四：基于融合特征预测目标分割掩码。

16、上述方案难以同时解决显著目标、伪装目标以及中间状态目标在统一场景下的分割和属性评分问题。具体缺点如下：

17、第一，现有显著目标检测模型和伪装目标检测模型通常针对单一任务训练。由于显著目标和伪装目标在视觉表现上相反，单一任务模型会形成特定的特征偏好。显著目标检测模型倾向于寻找高对比度区域，因而在伪装场景中容易漏检；伪装目标检测模型倾向于寻找弱纹理差异和隐蔽边界，因而在显著场景中可能引入边缘噪声或误检背景区域。因此，当同一场景中同时存在显著目标和伪装目标时，单一任务模型难以稳定完成统一检测。

18、第二，现有纯视觉统一检测模型主要依赖图像本身的颜色、纹理、形状和边缘线索。在多实例共存且特征分布不均的场景中，模型容易优先关注视觉响应最强的物体，而忽略较弱但同样属于核心目标的实例。在背景复杂或干扰物与目标相似的场景中，纯视觉模型缺少高层语义约束，容易将背景纹理误认为目标边界，进而造成目标区域缺失、边界破碎或属性混淆。

19、第三，现有属性判别方式多采用显著/伪装二分类硬标签。该方式将目标属性划分为离散类别，无法表达目标从显著到伪装之间的连续变化。当目标具有一定可见度但又与背景部分融合时，硬标签会使模型难以学习中间状态，导致评分不平滑、排序不稳定，并影响模型对半隐蔽目标的解释能力。

20、第四，现有文本引导方法通常将文本特征作为固定语义输入，缺少根据当前视觉场景动态更新文本语义的机制。当文本描述与复杂视觉场景中的局部目标、干扰背景或多目标关系不能充分对齐时，语言信息对目标定位的辅助能力受到限制。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种基于语言引导的显著与伪装目标统一检测方法及系统，以在复杂开放场景下提高核心目标定位精度、分割边界完整性和显隐属性评分稳定性。技术方案如下：

2、一种基于语言引导的显著与伪装目标统一检测方法，包括以下步骤：

3、步骤1：获取待检测图像和与核心目标相关的自然语言描述；

4、步骤2：将所述待检测图像输入视觉编码器，提取多尺度视觉特征；将所述自然语言描述输入文本编码器，提取词级嵌入和句级嵌入；所述视觉编码器采用预训练分割基础模型作为主干网络，并在其注意力层中插入低秩自适应矩阵和适配器模块进行任务适配；

5、步骤3：将所述多尺度视觉特征、所述词级嵌入和所述句级嵌入输入视觉-语言融合模块，通过跨模态注意力将文本语义注入视觉空间，得到跨模态融合特征；

6、步骤4：将所述跨模态融合特征分流至语言引导分割分支和属性评分分支；其中，

7、所述语言引导分割分支通过多粒度显著性感知注意力模块对目标区域进行定位和边界修复，生成像素级分割掩码；所述多粒度显著性感知注意力模块将所述词级嵌入作为语义引导，对多尺度视觉上下文进行注意力聚合，并提取不确定区域特征以修复漏检目标区域和边界细节；

8、步骤5：所述属性评分分支将所述句级嵌入和所述词级嵌入输入语言更新模块，通过以下子步骤动态校准文本语义：

9、步骤5.1：对所述句级嵌入进行自注意力增强，得到增强句级嵌入；

10、步骤5.2：将所述增强句级嵌入与所述词级嵌入进行矩阵交互，生成过渡矩阵和细粒度注意力矩阵，并基于所述细粒度注意力矩阵得到初步更新后的句级语义向量；

11、步骤5.3：将所述初步更新后的句级语义向量作为查询特征，将深层视觉特征作为键特征和值特征，通过视语交叉注意力对所述句级语义向量进行二次校准，得到语言引导特征；

12、步骤6：在所述属性评分分支中，将所述语言引导特征与所述语言引导分割分支激活的视觉特征共同输入核心目标预测头，通过矩阵乘法和上采样生成核心目标分割掩码；

13、步骤7：在所述属性评分分支中，基于显著-伪装连续属性回归，对所述核心目标分割掩码对应的目标区域进行显隐程度评分，生成显隐程度分值图。

14、一种基于语言引导的显著与伪装目标统一检测系统，包括：

15、双模态输入模块，用于获取待检测图像和与核心目标相关的自然语言描述；

16、双模态编码模块，包括视觉编码器和文本编码器，所述视觉编码器采用预训练分割基础模型作为主干网络并在其注意力层中插入低秩自适应矩阵和适配器模块，用于提取多尺度视觉特征；所述文本编码器用于提取词级嵌入和句级嵌入；

17、视觉-语言融合模块，用于通过跨模态注意力将文本语义注入视觉空间，得到跨模态融合特征，并将所述跨模态融合特征分流至语言引导分割分支和属性评分分支；

18、所述语言引导分割分支包括语言引导分割模块，用于将所述跨模态融合特征通过多粒度显著性感知注意力模块对目标区域进行定位和边界修复，生成分割掩码；

19、所述属性评分分支包括：

20、语言更新模块，用于对所述句级嵌入进行自注意力增强后与所述词级嵌入进行矩阵交互得到初步更新后的句级语义向量，并以所述初步更新后的句级语义向量为查询特征、以深层视觉特征为键特征和值特征进行视语交叉注意力校准，得到语言引导特征；

21、核心目标预测模块，用于将所述语言引导特征与所述语言引导分割分支激活的视觉特征进行融合预测，生成核心目标分割掩码；

22、属性评分模块，用于基于显著-伪装连续属性回归对目标区域进行显隐程度评分，生成显隐程度分值图。

23、本发明的有益效果是：

24、本发明针对现有显著目标检测与伪装目标检测任务割裂、纯视觉模型易受复杂背景干扰以及目标显隐属性难以连续刻画的问题，引入自然语言描述作为高层语义锚点，并通过视觉-语言融合、多粒度显著性感知注意力模块和语言更新策略，使模型在进行目标定位时不再仅依赖颜色、纹理和边缘等低层视觉线索。因此，在多实例共存、背景纹理复杂、目标视觉线索较弱或显著目标与伪装目标同时存在的场景中，本发明能够利用目标类别、空间关系、局部属性和显隐语义对视觉特征进行约束与校准，从而降低漏检、误检和属性混淆的概率，提高核心目标分割的完整性和边界准确性。

25、同时，本发明将显著与伪装属性由传统离散分类扩展为连续回归建模，并通过中间状态软标签监督，使模型能够学习目标从隐蔽伪装到视觉显著之间的平滑变化规律。因此，对于半隐蔽、弱显著或属性歧义目标，本发明不仅能够输出像素级分割掩码，还能够给出目标显隐程度分值图，提升检测结果的可解释性和排序稳定性。由于本发明可在冻结视觉/语言基础模型的基础上，仅训练低秩自适应矩阵、适配器模块及任务相关分支，因此在保证检测精度和鲁棒性的同时降低了训练参数量和部署成本，适用于复杂场景下目标分割、显隐属性评估和智能辅助决策等应用。