一种基于模态无关提示学习的多模态伪装目标检测方法

本发明涉及计算机视觉，尤其涉及一种基于模态无关提示学习的多模态伪装目标检测方法。

背景技术：

1、伪装目标检测任务旨在从复杂背景中分割出与环境高度融合的目标。传统rgb方法在高相似场景中难以提取有效前景信息。现有多模态方法通过引入深度、热红外或偏振信息增强检测性能，但大多数方法依赖特定模态设计，缺乏统一建模能力，难以适应不同模态组合。此外，基于sam的模型虽然具备良好泛化能力，但现有方法通常采用模态专用适配结构，限制了跨模态扩展能力。

技术实现思路

1、根据上述提出的技术问题，而提供一种基于模态无关提示学习的多模态伪装目标检测方法。本发明通过构建内容域以融合rgb与辅助模态特征，构建提示域以生成可学习提示原型；通过双域交互模块利用交叉注意力实现内容域与提示域的协同增强；将增强特征输入分割模型解码器生成初始预测；通过掩膜细化模块结合提示信息对预测结果进行校正。该方法实现对任意辅助模态的统一建模，提高伪装目标检测的泛化能力与精度。

2、本发明采用的技术手段如下：

3、一种基于模态无关提示学习的多模态伪装目标检测方法，包括：对rgb图像与辅助模态特征进行融合，生成内容域特征；构建可学习提示原型并根据所述内容域特征进行调制，生成提示域特征；通过交叉注意力机制对所述内容域特征与所述提示域特征进行双向交互；将双向交互结果输入分割模型解码器生成初始目标掩膜；利用双向交互后的提示域特征生成变换系数；结合所述变换系数对所述初始目标掩膜进行校正生成目标掩膜，实现伪装目标检测。

4、进一步地，所述内容域特征的生成具体包括：通过预训练sam图像编码器提取rgb图像的rgb特征，并通过多层特征提取网络提取辅助模态特征：

5、

6、其中，表示辅助模态图像；pvt表示基于transformer的骨干网络，表示经过pvt骨干网络提取到的四层特征；对rgb特征与辅助模态特征进行逐元素加和，形成所述内容域特征。

7、进一步地，初始化所述可学习提示原型，根据内容域特征通过卷积与非线性映射生成调制权重：

8、

9、其中，表示sigmoid函数，clg表示卷积，归一化，gelu激活函数的连续块，a表示自适应池化，表示内容域特征，mlp表示多层感知机，表示得到的调制权重；利用所述调制权重对所述可学习提示原型进行加权，形成提示域特征：

10、

11、其中，表示提示域特征。

12、进一步地，所述交叉注意力机制分别计算内容域到提示域、提示域到内容域的双向交互结果；将提示域特征作为查询向量，内容域特征作为键值向量，内容域到提示域的映射结果为：

13、

14、其中，表示sigmoid函数，表示将提示域作为查询向量，表示将内容域作为键值向量，表示键值向量的维度，表示内容域；将内容域特征作为查询向量，提示域特征作为键值向量，提示域到内容域的映射结果为：

15、

16、其中，表示sigmoid函数，表示将内容域作为查询向量，表示将提示域作为键值向量，表示键值向量的维度，表示提示域。

17、进一步地，所述调制系数的生成具体包括：将双向交互结果输入分割模型解码器生成初始目标掩膜，引入辅助令牌以增强多模态表达能力，将辅助令牌与原始提示信息共同输入分割模型，对双向交互后的提示域特征进行非线性映射生成变换系数：

18、

19、其中，表示双向交互后的提示域特征，mlp表示多层感知机，表示sigmoid函数，表示变换系数。

20、进一步地，将所述目标掩膜表示为：

21、

22、其中，表示目标掩膜，表示变换系数，clg表示卷积，用于进行归一化处理，表示经过sam解码之后的转置卷积特征，表示经过sam解码器中注意力机制后的特征，mlp表示多层感知机。

23、较现有技术相比，本发明具有以下优点：

24、本发明通过构建内容域以融合rgb与辅助模态特征，构建提示域以生成可学习提示原型；通过双域交互模块利用交叉注意力实现内容域与提示域的协同增强；将增强特征输入分割模型解码器生成初始预测；通过掩膜细化模块结合提示信息对预测结果进行校正。该方法实现对任意辅助模态的统一建模，提高伪装目标检测的泛化能力与精度。本发明能够实现模态无关的统一建模能力，有效解决了伪装物体检测问题。

25、本发明通过内容域（数据驱动）与提示域（知识驱动）之间的双向交互机制，有效融合数据驱动信息与先验知识；通过掩膜细化模块，对初始的掩膜进行校正提高伪装目标边界检测精度。本发明提供了可扩展的多任务统一框架，不仅适用于伪装目标检测任务，还能够扩展至其他分割任务；

1.一种基于模态无关提示学习的多模态伪装目标检测方法，其特征在于，包括：

2.根据权利要求1所述的基于模态无关提示学习的多模态伪装目标检测方法，其特征在于，所述内容域特征的生成具体包括：

3.根据权利要求1所述的基于模态无关提示学习的多模态伪装目标检测方法，其特征在于，初始化所述可学习提示原型，根据内容域特征通过卷积与非线性映射生成调制权重：

4.根据权利要求1所述的基于模态无关提示学习的多模态伪装目标检测方法，其特征在于，所述交叉注意力机制分别计算内容域到提示域、提示域到内容域的双向交互结果；

5.根据权利要求1所述的基于模态无关提示学习的多模态伪装目标检测方法，其特征在于，所述调制系数的生成具体包括：

6.根据权利要求1所述的基于模态无关提示学习的多模态伪装目标检测方法，其特征在于，将所述目标掩膜表示为：