基于双深度编码与门控融合的多模态隐喻检索方法
本发明属于多模态大模型、计算机视觉、自然语言处理、跨模态信息检索交叉,具体涉及一种基于双深度编码与门控融合的多模态隐喻检索方法。
背景技术:
1、当前主流跨模态检索模型以clip、blip、siglip为代表,均采用单组编码器同步提取表层视觉与抽象语义,存在明显缺陷:
2、1、单编码器架构下画面实体浅层特征与隐喻抽象语义相互干扰,模型容易只学习物体外观匹配,无法识别图像蕴含的象征、隐喻内涵;
3、2、常规图文融合仅采用简单特征拼接、基础交叉注意力,缺少针对隐喻跨域映射的门控调节机制,无关背景特征会大量干扰语义对齐效果;
4、3、传统infonce损失对全部负样本统一加权,模型难以区分“画面相似但隐喻含义完全不同”的样本,细粒度抽象匹配能力差;
5、4、现有检索模型大多仅支持单一文本或单一图像输入,无法适配“图像+文本约束”混合检索的真实创意设计需求。
6、综上,现有检索架构无法实现隐喻图像深层语义精准匹配,工业创意素材检索系统存在召回率低、匹配偏差大的不足。
技术实现思路
1、针对上述现有技术存在的问题,本发明提供一种基于双深度编码与门控融合的多模态隐喻检索方法,目的在于,通过双分支深度编码架构分别提取浅层视觉特征与深层隐喻语义特征,通过门控多头交叉注意力融合transformer实现跨模态特征的细粒度交互与融合,通过自适应加权特征组合得到统一检索表征,并通过加权对比学习训练提升模型对难负样本的区分能力,同时兼容纯文本、纯图像及图文混合三种查询形式,能够实现浅层视觉特征与深层隐喻语义的解耦提取,增强跨模态特征的融合质量,提升模型对困难负样本的判别能力,并支持多种查询形式的灵活输入,适用于广告创意、艺术图像等深层隐喻语义跨模态检索场景。
2、为了实现上述目的,本发明的具体方案如下:
3、基于双深度编码与门控融合的多模态隐喻检索方法,包括如下步骤:
4、步骤1,构建双深度特征提取分支:设置两组参数相互独立的编码器,分别作为浅层编码器与深层编码器;针对模态缺失场景设置统一输入补齐规则:当仅输入文本查询时,在图像输入通道填充预定尺寸的全黑图像;当仅输入图像查询时,在文本输入通道填充空字符串,以保证不同查询形式下网络输入的结构和维度一致;将同一待处理样本的浅层编码器输出与深层编码器输出按模态分别进行拼接,得到文本联合特征和图像联合特征;
5、步骤2,门控多头交叉注意力融合transformer:初始化全局可学习语义探针作为跨模态信息交互载体,依次执行两轮门控多头交叉注意力计算;第一轮以语义探针作为查询向量,以步骤1得到的文本联合特征作为键向量和值向量,通过第一组特征投影矩阵和门控投影矩阵进行门控处理,得到文本交互特征;第二轮以第一轮更新后的语义探针作为查询向量,以步骤1得到的图像联合特征作为键向量和值向量,通过第二组特征投影矩阵和门控投影矩阵进行门控处理,得到图像交互特征;第一轮与第二轮的特征投影矩阵和门控投影矩阵相互独立且参数不共享;将文本交互特征和图像交互特征进行拼接,得到中间特征张量;将中间特征张量经swiglu通道增强和后置门控处理,得到融合transformer最终全局表征。所述融合transformer具有可学习网络参数,所述可学习网络参数包括特征投影矩阵、门控投影矩阵、swiglu通道增强模块权重矩阵和后置门控投影矩阵。
6、步骤3,设置取值区间为0~1的可学习权重参数,通过线性映射层将步骤1得到的文本联合特征和图像联合特征,以及步骤2得到的融合transformer最终全局表征进行特征维度统一,并进行自适应加权特征组合,得到统一检索表征;
7、步骤4,在训练批次内构建图文正负样本配对,以余弦相似度衡量查询特征与图库样本之间的匹配远近,通过指数函数依据相似度对负样本赋予损失权重,计算加权对比损失;将加权对比损失反向传播,同步更新步骤1所述浅层编码器与深层编码器的编码器参数、步骤2所述可学习网络参数以及步骤3所述可学习权重参数,迭代训练至预设轮次后停止;
8、步骤5,输入纯文本、单张图像或图文混合查询,按照步骤1中设置的统一输入补齐规则执行补齐后,通过步骤1中的浅层编码器与深层编码器进行特征提取并拼接,得到文本联合特征和图像联合特征;将文本联合特征和所述图像联合特征经步骤2中的融合transformer与步骤3中的自适应加权特征组合处理,得到统一检索表征;计算统一检索表征与图库内全部样本表征的余弦相似度,按相似度从高到低排序并输出top-k检索结果。
9、进一步地,步骤1所述浅层编码器、深层编码器均采用siglip编码器,且两者之间参数不共享;浅层编码器用于提取图像画面实体、文本字面表层特征;深层编码器用于挖掘图文内部源域、目标域对应的抽象隐喻语义与象征内涵;所述预定尺寸为640像素×640像素,所述全黑图像的各像素值均设置为0。
10、进一步地,步骤2中所述两轮门控多头交叉注意力计算的公式如下:
11、
12、
13、式中:表示门控多头交叉注意力中第i个注意力头的原始查询输入q经查询特征投影和门控处理后得到的查询矩阵;q表示门控多头交叉注意力中第i个注意力头经特征投影和门控处理后得到的查询矩阵;为sigmoid激活函数;k表示门控多头交叉注意力的原始键输入;表示门控多头交叉注意力中第i个注意力头的原始键输入k经键特征投影和门控处理后得到的键矩阵;v表示轮门控多头交叉注意力的原始值输入;vi表示第i个注意力头经特征投影和门控处理后得到的值矩阵;为特征投影矩阵;为门控投影矩阵;headi表示门控多头交叉注意力中第i个注意力头的输出特征;表示第i个注意力头的键矩阵的转置矩阵;表示每个注意力头中查询矩阵和键矩阵的特征维度。
14、进一步地,步骤2中所述中间特征张量是经过swiglu通道增强模块进行非线性优化:
15、,
16、,
17、式中,表示文本交互特征与图像交互特征拼接后得到的中间特征张量;o2表示经swiglu通道增强模块进行非线性变换后得到的通道增强特征;和为swiglu通道增强模块中的两组独立可学习权重矩阵,为后置门控投影矩阵;代表逐元素哈达玛积;为激活函数;为融合transformer输出全局表征。
18、进一步地,步骤3所述自适应加权特征组合的计算公式如下:
19、,
20、式中,表示由融合transformer最终全局表征、维度对齐后的文本联合特征和图像联合特征进行自适应加权组合后得到的统一检索表征;为融合transformer输出全局表征;tc表示文本联合特征;ic表示图像联合特征;l(·)表示将文本联合特征或图像联合特征映射至与融合transformer最终全局表征相同维度的全连接层;区间可学习权重参数。
21、进一步地,步骤4所述对负样本赋予损失权重的公式如下:
22、,
23、所述加权对比损失采用加权infonce损失函数,公式如下:
24、,
25、式中,表示依据查询特征与第i个负样本特征之间的余弦相似度计算得到的第个负样本损失权重;为放大系数,设为9;l表示当前查询样本对应的相似度加权infonce损失;sim代表余弦相似度;为温度超参数;为查询特征;为正样本特征;表示第i个负样本特征。
26、进一步地,步骤5所述top-k检索结果为top-k隐喻检索图像。
27、本发明的优点
28、1、本发明通过设置浅层编码器与深层编码器,两组编码器参数独立、互不共享,分别提取源域实体表面视觉特征与目标域深层隐喻语义特征,经拼接得到文本联合特征与图像联合特征,能够有效避免单编码器架构下源域表层视觉信息对目标域抽象象征语义的掩盖,使网络在特征提取阶段即实现浅层视觉特征与深层隐喻语义的解耦,为后续跨模态隐喻关联建立提供高质量的特征基础。
29、2、本发明通过创新融合门控多头交叉注意力与swiglu通道增强机制,能够抑制图像背景噪声与无关文本信息的干扰,精准构建源域与目标域之间的隐喻语义跨模态关联。
30、3、本发明通过设置取值区间为的可学习权重参数,将文本联合特征、图像联合特征及融合transformer全局表征三者进行自适应加权组合,得到统一检索表征。针对纯文本、纯图像、图文混合三种查询形式动态调节各模态特征贡献比例,使单一架构兼容全部检索查询范式。
31、4、本发明采用加权infonce对比损失函数进行训练,在每一训练批次内部构建图文正负样本配对,采用余弦相似度衡量查询特征与图库样本的匹配远近,通过指数函数依据相似度对各负样本赋予损失权重,使高相似度负样本获得更大的损失权重。该机制在训练过程中重点强化对高相似度难负样本的区分边界学习,能够有效提升网络对外观相近但隐喻内涵相异的样本的判别能力。
32、5、本发明通过上述双深度特征提取、门控多头注意力融合、swiglu通道增强、自适应加权特征组合及加权对比学习训练的协同作用,在训练完成后进入推理阶段时,输入纯文本、单张图像或图文混合任意一种查询形式,依次执行模态补齐、双编码器特征提取得到文本联合特征和图像联合特征,送入融合transformer与自适应加权模块计算统一检索表征,计算该表征与图库内全部样本表征的余弦相似度,按相似度从高到低排序并输出检索结果,使单一架构支持文本检索图像、图像检索文本及图文混合检索三种任务。
33、经对比验证,本发明方法在文搜图、图搜文、图文组合隐喻检索任务上的召回率均显著优于clip、blip、siglip等主流基线模型,且整体架构轻量化、部署便捷,可无缝对接广告素材平台、艺术图像分析、新媒体舆情检索等各类实际工程系统。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com