一种缺失模态下跨模态低秩适配视觉语言识别方法及系统
本发明涉及分类识别领域,尤其涉及一种缺失模态下跨模态低秩适配视觉语言识别方法及系统。
背景技术:
1、随着大规模预训练视觉–语言模型(vision–language models,vlm)在图像分类、图文检索、新闻理解、多标签内容识别等任务中取得突破性进展,基于clip等视觉–语言模型的下游适配已经成为多模态学习领域的重要方向。现有视觉–语言模型通常假设输入样本同时具有图像模态和文本模态,并通过视觉编码器和文本编码器分别提取特征,再在共享语义空间中进行相似度计算或在融合特征上进行分类预测。然而,在真实应用场景中,图像和文本往往并不是始终成对出现:例如社交媒体图片可能缺少完整文本描述,新闻或影评文本可能缺少有效配图,食品图像分类数据可能只有图像而没有说明文字,影视内容数据也可能存在图像海报或文本简介缺失的情况。
2、对于上述缺失模态问题,传统方法通常采用空字符串、零向量或固定占位图像来补齐输入格式,再使用同一个多模态分类器进行预测。此类做法虽然便于批处理实现,但其本质上仍然把“缺失模态占位信息”当成了可参与语义建模的输入,容易将空文本特征或虚假图像特征引入融合空间,造成特征污染和分类偏差。
技术实现思路
1、有鉴于此,为了解决现有识别方法中在文本缺失或图像缺失时仅使用空字符串、虚拟图像或零向量进行占位,进而导致在模态缺失场景下的适用性不高的技术问题,第一方面,本发明提出一种缺失模态下跨模态低秩适配视觉语言识别方法,该方法包括以下步骤:
2、首先,获取多模态数据集并构造图文完整、文本缺失和图像缺失样本,生成样本级缺失指示量和缺失掩码。随后,在clip视觉编码器和文本编码器的选定自注意力查询投影层及价值投影层中设置跨模态低秩适配层,并结合基础分类头、缺失情形残差头和缺失情形感知原型分类头构建识别模型。训练完成后,将待测图像和待测文本分别转换为初始视觉令牌矩阵和初始文本令牌矩阵;每个编码层以前一编码层的输出为输入,在选定投影层中采用跨模态低秩适配后的投影权重,经注意力计算、残差连接和前馈变换输出至后一编码层,最终得到图像特征和文本特征。基于所述图像特征、所述文本特征和缺失掩码得到修正后的基础分类输出,并基于样本级缺失指示量选择相应的原型路径得到原型分类输出;组合两类输出得到最终逻辑值,再根据任务类型执行softmax或sigmoid得到分类结果。
3、其次,本发明还提出一种缺失模态下跨模态低秩适配视觉语言识别系统,该系统包括数据集构建单元、模型改进单元、训练单元和推理单元;其中,推理单元按照图像输入与文本输入、初始令牌矩阵、逐层编码输出、最终图像特征与文本特征、分类头逻辑值以及分类结果的顺序执行数据处理。
4、基于上述方案,本发明提供了一种缺失模态下跨模态低秩适配视觉语言识别方法及系统,显式设计了样本级缺失指示机制,避免空字符串和预设占位图像被错误当作有效语义输入,从源头上减少缺失占位信息造成的噪声干扰;进一步,构建了缺失情形感知原型分类器:针对完整样本、文本缺失样本和图像缺失样本分别维护不同类别原型,使模型能够在不同输入状态下匹配对应的类别中心,减少不同缺失模式之间的原型冲突和决策边界干扰。
1.一种缺失模态下跨模态低秩适配视觉语言识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种缺失模态下跨模态低秩适配视觉语言识别方法,其特征在于,训练过程中,总损失函数的表达式如下所示:
3.根据权利要求2所述一种缺失模态下跨模态低秩适配视觉语言识别方法,其特征在于,所述获取多模态数据集并构造缺失模态样本,得到训练数据集这一步骤,其具体包括:
4.根据权利要求2所述一种缺失模态下跨模态低秩适配视觉语言识别方法,其特征在于,训练过程中,冻结视觉编码器和文本编码器的参数,优化跨模态低秩适配层、基础分类头、缺失情形残差头和缺失情形感知原型分类头的参数。
5.根据权利要求4所述一种缺失模态下跨模态低秩适配视觉语言识别方法,其特征在于,所述将待测数据输入至所述训练完成的识别模型,输出分类结果这一步骤,其具体包括:
6.根据权利要求5所述一种缺失模态下跨模态低秩适配视觉语言识别方法,其特征在于,所述根据所述最终逻辑值输出分类结果这一步骤,其具体包括:
7.根据权利要求5所述一种缺失模态下跨模态低秩适配视觉语言识别方法,其特征在于,所述样本级缺失指示量的表示包括图像和文本均完整、文本缺失和图像缺失;所述缺失情形感知原型分类头维护四组可训练类别原型,包括完整样本图像侧原型、完整样本文本侧原型、文本缺失图像侧原型和图像缺失文本侧原型。
8.一种缺失模态下跨模态低秩适配视觉语言识别系统,其特征在于,包括:
9.一种缺失模态下跨模态低秩适配视觉语言识别装置,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com