基于非平衡最优传输的动态粒度多模态细粒度对齐方法
本发明属于人工智能与多模态机器学习,具体涉及一种基于非平衡最优传输的动态粒度多模态细粒度对齐方法。
背景技术:
1、视觉-语言细粒度对齐是多模态人工智能的一个重要应用方向。视觉-语言细粒度对齐旨在建立图像区域与文本语义单元之间的精确对应关系,是一种描述跨模态语义关联的分析方法,其对齐结果可以清晰地反映视觉内容与语言描述之间的映射规律,便于人们从中认识和发现视觉-文本语义的对应机制。与常规图像-文本检索相比,视觉-语言细粒度对齐有着以下难题:1)模态差异大,图像与文本之间存在显著的语义鸿沟,细粒度语义对应关系难以建立;2)视觉表征粒度单一,仅依靠全局特征难以捕获有价值的区域级语义表征;3)文本侧信息容量受限,难以承载包含行为、场景上下文与外观属性的长文本描述;4)细粒度标注数据获取成本高,可获得的有效训练样本数量少;5)背景噪声与幻觉文本干扰明显,密集、遮挡与关系耦合的目标难以处理。因此针对常规图像-文本检索的处理模型和方法不能满足视觉-语言细粒度对齐的需要,需要针对跨模态细粒度语义的特点,在模式识别、深度学习、跨模态表征学习等技术的基础上,进一步发展视觉-语言细粒度对齐技术,进而有效建立传统全局对齐方法中很难区分的局部语义对应关系。
2、近些年来,对比语言-图像预训练模型(clip)以其高泛化能力和零样本迁移能力在视觉-语言理解任务中得到了广泛的应用。clip是一个双编码器结构的跨模态预训练模型,相比传统的单模态模型和基于监督学习的融合方法,更为简单和高效。radford等人在2021年提出的clip通过大规模对比学习将图像与对应文本映射到共享嵌入空间,从而在零样本分类、图像-文本检索与视觉问答等任务上取得了显著突破。
3、clip虽然已有很好的全局对齐效果,但是它主要处理的还是图像与文本的全局语义信息,而忽视了在细粒度理解中起很大作用的区域级局部信息,为了克服这个缺陷,已有很多学者采用了区域特征提取和clip结合的方法,该方法继承了clip的优异泛化性能,首先在预处理阶段利用预训练目标检测器或分割模型提取合适的区域特征,然后采用clip作为对齐模型,从而获得更好的细粒度对齐效果。但是上述方法依然存在问题:1)随着模式识别和深度学习的快速发展,很多区域特征提取方法被成功地应用于普通图像领域。然而图像与文本具有丰富的多粒度语义信息,粗粒度的区域划分难以捕捉细粒度语义差异,如何提取合适的区域级特征很困难。2)在实际情况中,上述方法严重依赖预训练检测或分割模型,其对齐质量受检测器性能上限制约,增加了系统复杂度并引入误差传播风险,对微小、动态目标易出现漏检与误检。3)从匹配机制看,经典最优传输(ot)要求源集合到目标集合的质量守恒约束,在多粒度场景下该刚性约束迫使传输质量近似均匀地分散到全部单元对上,导致对齐行为退化为全局平均匹配;同时,一对一的硬对齐机制无法建模视觉与文本多粒度表征集合之间的多对多关系,从而在局部细节与全局语义之间制造对齐噪声。
4、因此,亟需一种无需外部检测或分割工具、能够自适应建模多粒度视觉-文本多对多对应关系、并能抑制背景噪声与幻觉文本干扰的跨模态细粒度对齐方法。 技术实现要素:
5、本发明的目的在于提供一种基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其包括以下步骤:
6、实现本发明目的的技术方案为:
7、一种基于非平衡最优传输的动态粒度多模态细粒度对齐方法,包括以下步骤:
8、步骤1,提取图像的全局表征、区域级表征与块级表征;
9、步骤2,提取与所述图像对应的全局描述文本、局部描述文本和细节描述文本的三粒度文本特征;
10、步骤3,构建文本词元与视觉词元之间的全局对比学习损失和动态粒度非平衡最优传输损失,计算多粒度图像特征与多粒度文本特征之间的相似度,得到最终的多粒度对比学习损失;将最终的多粒度对比学习联合损失作为优化目标,基于对比学习联合损失使用梯度回传算法更新模型权重,该损失应用于多粒度图像-文本对齐任务中。
11、一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
12、一种电子设备,包括存储器以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现上述方法的步骤。
13、本发明与现有技术相比,其显著优点为:(1)本发明直接利用clip视觉transformer不同深度的层token构建全局、区域级、块级三级视觉表征,通过可学习查询向量的注意力池化从中间层聚合空间相关的图像块,完全无需外部检测或分割工具,消除了检测瓶颈与误差传播,系统结构简洁且支持离线特征预计算;(2)本发明引入非平衡最优传输,通过kl散度边缘松弛实现质量松弛机制,允许部分匹配,自动将传输质量集中于语义相关的文本-视觉单元对,对无关单元赋予近零权重,从而抑制背景噪声与幻觉文本干扰,克服经典最优传输质量守恒约束导致的全局平均匹配退化问题;(3)本发明通过最优传输计划对两两余弦相似度加权聚合实现动态相似度聚合,最优传输计划自适应学习文本单元与视觉单元之间的匹配强度,隐式实现动态粒度路由,建模了多对多的软对齐关系,突破infonce一对一硬对齐的理论瓶颈。
技术实现思路
1.一种基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其特征在于,步骤1采用图像编码器类别词元作为图像的全局表征,采用注意力聚合算法聚合图像编码器中间层的区域级表征,采用图像编码器输出的块词元作为块级表征。
3.根据权利要求2所述的基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其特征在于,图像编码器基于多层视觉transformer,通过对比语言-图像预训练模型初始化权重和偏置,注意力聚合采用正交初始化;
4.根据权利要求1所述的基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其特征在于,步骤2所述三粒度文本特征由全局描述、局部描述和细节描述组成,其中全局描述刻画图像整体场景,每条局部描述刻画图像中单个实体的结构化标注,每条细节描述刻画行为、背景、物种与外观等细节属性;任一条文本特征提取公式为:
5.根据权利要求1所述的基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其特征在于,步骤3中多粒度图像特征与多粒度文本特征之间的相似度的元素定义如下:
6.根据权利要求5所述的基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其特征在于,动态粒度指最优传输计划的元素按样本内容自适应分配传输质量,使不同粒度的文本单元与不同层级的视觉单元之间的匹配强度随输入动态变化,无需人工指定粒度对应关系。
7.根据权利要求5所述的基于非平衡最优传输的动态粒度多模态细粒度对齐方法,其特征在于,步骤3中所述由最优传输计划对两两余弦相似度进行加权聚合,得到图像-文本相似度的公式为:
8.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一所述方法的步骤。
9.一种电子设备,其特征在于,包括存储器以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现如权利要求1至7任一所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com