一种面向模态缺失的分类推理方法及系统

本发明涉及计算机视觉与自然语言处理的多模态交叉，尤其涉及一种面向模态缺失的分类推理方法及系统。

背景技术：

1、传统不完整多模态学习方法在长期发展中主要经历了掩码填充、跨模态补全和静态提示微调三个关键阶段。早期基于模态不变性的学习方法常采用零向量、掩码或常量对缺失模态进行直接填充，这类方法实现简单，但在高缺失率场景下容易引入噪声并干扰原始数据分布，使得预训练模型难以有效利用占位信息。随后，跨模态补全方法试图利用现有模态去生成缺失模态，但在克服模态异质性以及保证生成内容与真实分布的一致性方面仍面临挑战。

2、随着预训练多模态 transformer 模型的广泛应用，基于提示微调（prompttuning）的方法逐渐成为主流。例如，基于缺失感知的提示方法（如 maps）通过在模型中插入可学习的提示来增强缺失模态的鲁棒性。这类方法在一定程度上改善了模型表现，但其采用的往往是静态、样本无关的固定提示，难以针对不同缺失类型和不同样本的个性化差异进行自适应调节；同时，依赖无意义占位符填补缺失位置，在复杂真实数据上容易引入伪信号干扰。

技术实现思路

1、有鉴于此，为了解决现有分类推理方法面对模态缺失时大多是采用固定方式进行调补，进而导致在实际场景中分类精度不高的技术问题，本发明提出一种面向模态缺失的分类推理方法，该方法包括以下步骤：

2、构建训练样本：首先获取原始数据集，并对其中的模态信息进行人为缺失处理，以模拟真实场景下的数据不完整情况，由此生成用于模型训练的数据集。建立记忆检索机制：利用该训练集构建记忆库，并在库中执行相似样本的搜索，将检索到的相似样本及其对应的类别标签分别记录为列表形式。训练分类模型：将处理后的训练数据在冻结预训练骨干网络的基础上对频域缺失模态生成模块、置信度感知提示生成模块、参数化注意力残差跨层提示注入模块及标签原型增强模块进行训练，得到分类模型。待测数据输入：将需要进行分类的测试样本送入该训练好的模型中。多模态特征提取：借助模型中的多模态嵌入层，从测试样本中提取出各模态的基础特征表示。频域缺失重构：采用频域缺失模态生成模块（fmmg），在频域空间对缺失的模态信息进行重构补全。动态提示生成：利用置信度感知提示生成模块（confidence-aware prompt generator，capg），根据当前样本的特性动态生成具有实例针对性的软提示（soft prompt）。标签原型增强：通过标签原型增强模块，生成与各个类别标签相对应的原型嵌入向量。统一序列拼接与跨层注入：将分类标记、标签嵌入、文本提示、图像提示以及多模态词元序列按照指定顺序拼接为一个整体特征序列，经参数化注意力残差跨层提示注入模块在编码器执行跨层深度更新后，输出对测试样本的分类预测结果。

3、应用于上述方法，本发明还提出了一种面向模态缺失的分类推理系统，该系统包括离线处理单元、在线训练和推理单元。

4、基于上述方案，本发明提供了一种面向模态缺失的分类推理方法及系统，构建了“离线数据准备—在线模型推理”的两阶段流程，在预训练多模态大模型的框架中，依次引入多通道相似样本检索、缺失模态频域重构、置信度感知双层提示生成以及参数化注意力残差跨层注入等协同技术手段，前端提纯把控提示质量，后端动态跨层确保语义保真，从而提升多模态表征对模态缺失与检索噪声的鲁棒性。

1.一种面向模态缺失的分类推理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种面向模态缺失的分类推理方法，其特征在于，所述缺失模拟包括：

3.根据权利要求1所述一种面向模态缺失的分类推理方法，其特征在于，所述构建记忆库并执行多通道相似样本检索这一步骤，其具体包括：

4.根据权利要求1所述一种面向模态缺失的分类推理方法，其特征在于，所述由频域缺失模态生成器在频域对缺失模态进行重构这一步骤，其具体包括：

5.根据权利要求1所述一种面向模态缺失的分类推理方法，其特征在于，所述由置信度感知提示生成器以基础特征与检索张量为输入生成软提示这一步骤，其具体包括：

6.根据权利要求1所述一种面向模态缺失的分类推理方法，其特征在于，所述由标签原型增强分类头按标签列表索引可学习原型向量作为标签嵌入这一步骤，其具体包括：

7.根据权利要求5所述一种面向模态缺失的分类推理方法，其特征在于，所述将骨干网络的全局分类标记、标签嵌入、软提示及完整序列特征拼接后，经参数化注意力残差跨层提示注入模块在编码器内执行跨层更新，输出分类预测结果这一步骤，其具体包括：

8.一种面向模态缺失的分类推理系统，其特征在于，包括：

9.一种面向模态缺失的分类推理装置，其特征在于，包括：