基于语义增强的反馈锚点在线跨模态快速检索方法及系统
本发明属于多模态信息处理,尤其涉及基于语义增强的反馈锚点在线跨模态快速检索方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
2、随着图像、文本等多模态数据持续产生,跨模态检索系统既要消除不同模态之间的异构差异,又要控制大规模检索的存储和计算开销。跨模态哈希方法通过将异构数据映射到公共汉明空间,以二值码代替高维实值向量,并利用位运算加速检索,能够提高大规模检索效率。但是,批处理式方法在新数据到达时通常需要重新访问历史样本并更新全部模型,不适于连续数据流场景;仅用当前数据块更新模型又容易破坏新旧样本的语义一致性。
3、现有在线哈希方案如doch通过保留新旧数据汉明空间相似性及离散优化实现增量学习,seoch借助标签语义嵌入构造语义相似矩阵以维持语义关系,流形排序方法利用锚点近似刻画流数据相关性,类语义引导方案通过词嵌入挖掘类别关联,语义增强策略采用两步在线哈希降低重训开销,细粒度语义方法利用大模型生成类别描述增强表征。
4、然而,上述方案仍面临共性问题:生成式增强常依赖真实标签或配对模态,易引入不可泛化的语义泄漏;不同样本增强质量差异显著,固定融合权重无法抑制错误描述;在线场景下有限历史存储难以兼顾新旧数据语义关系、标签关系及二值码稳定性;多标签类别码之间可能高度相关或重复,短码条件下容易发生类别冲突;基于当前块更新易遗忘历史结构,而全量重访则导致存储与计算开销持续增长。
技术实现思路
1、为了解决上述背景技术中存在的至少一项技术问题,本发明提供基于语义增强的反馈锚点在线跨模态快速检索方法及系统。
2、为了实现上述目的,本发明采用如下技术方案:
3、本发明的第一方面提供基于语义增强的反馈锚点在线跨模态快速检索方法,包括如下步骤:
4、读取包含成对图像、文本及可选多标签的多模态数据,为每个样本生成唯一标识;按照预设到达顺序和数据块大小划分训练数据流,并划分查询集与检索库;
5、分别对文本和图像执行模态隔离的语义增强,基于提取两种模态的原始表征和增强表征的一致性计算图像置信度与文本置信度,结合两种模态的原始表征和增强表征、图像置信度与文本置信度分别构造图像复合特征、文本复合特征以及联合语义向量;
6、仅利用训练数据构建标签码本和语义原子,在数据流到达过程中,利用标签相关性约束的标签码本、联合语义空间中的语义原子、原子残差补偿和有界历史锚点记忆,对当前数据块的二值哈希码和双模态哈希函数进行交替更新,直至数据块的总体目标函数相对变化小于预设阈值或者达到最大迭代次数,输出图像和文本投影分数;
7、对图像和文本投影分数进行阈值校准,利用最终图像投影矩阵和文本投影矩阵分别生成查询集与检索库的二值哈希码,计算跨模态哈希码之间的汉明距离并由小到大排序,输出图像到文本检索结果和文本到图像检索结果。
8、进一步地,所述分别对文本和图像执行模态隔离的语义增强,包括:
9、针对文本分支,将当前样本的原始标题、描述、用户标签或其它文本字段作为唯一可见证据输入生成模型,生成结果采用结构化字段记录摘要、实体、属性、动作、关系、场景、检索关键词、不确定项、置信说明和供视觉—语言编码器使用的短描述;
10、针对图像分支,将当前样本的图像像素作为唯一可见证据输入视觉生成模型,生成结果以与文本分支对应的结构化字段描述可见物体、属性、动作、空间关系和场景;
11、分别对两个生成分支建立由样本标识、增强阶段、输入内容哈希、提示模板哈希和模型版本标识共同确定的缓存键。
12、进一步地,所述图像复合特征和文本复合特征表示为:
13、,
14、联合语义向量表示为:
15、,其中,、、和分别表示原始图像表征、图像增强描述表征、原始文本表征和文本增强描述,和表示图像语义一致性置信度和文本语义一致性置信度,表示 l2归一化。
16、进一步地,根据训练划分中的标签矩阵构建标签码本,当哈希码长度足够且类别数较少时,从hadamard矩阵中选择相互正交的码字;当类别数多于码长或标签相关性复杂时,从平衡候选码池中选择码字,并以标签共现相似度调节类别对的相关性惩罚;
17、语义原子是由训练数据的标签信息、样本分布或语义聚类结果确定的基础语义表示单元,用于刻画数据集中具有代表性的类别语义或局部语义结构。
18、进一步地,所述利用标签相关性约束的标签码本、联合语义空间中的语义原子、原子残差补偿和有界历史锚点记忆,对当前数据块的二值哈希码和双模态哈希函数进行交替更新,包括:
19、读取第t个训练数据块,根据当前联合语义向量与各语义原子的相似度计算语义原子软分配矩阵;
20、利用上一时刻的反馈矩阵与语义原子软分配矩阵预测当前块的结构化量化残差,根据标签码本生成当前标签码目标,并融合当前样本与历史锚点之间的标签共享关系和语义相似关系,形成当前—历史相似性矩阵及有效历史约束权重;
21、基于结构化量化残差构建化残差反馈项,基于当前—历史相似性矩阵及有效历史约束权重构造当前-历史相似性保持项,以残差反馈项、图像投影拟合项、文本投影拟合项及投影矩阵正则项、标签码约束项、当前-历史相似性保持项、两模态投影分数一致性项及比特平衡项和比特去相关项构建当前块目标函数;
22、在保持二值约束和正交约束的条件下,采用块坐标下降方式交替更新图像投影矩阵、文本投影矩阵、正交旋转矩阵、连续潜表示和当前块二值哈希码,直至目标函数相对变化小于预设阈值或者达到最大迭代次数。
23、进一步地,有界历史锚点记忆的构建包括:在全局记忆方式中,对到达样本执行蓄水池采样:当记忆未满时直接加入;记忆已满时,对第个已见样本以的概率替换一个历史位置,为记忆预算在分层记忆方式中,先按最大软分配原子确定样本所属原子,再在每个原子的容量内独立执行蓄水池采样,以维持不同语义区域的覆盖。
24、进一步地,当前数据块的总体目标函数为:
25、,
26、,
27、,
28、,
29、,
30、其中,表示量化残差反馈项,用于把作为历史语义残差偏移注入当前量化;表示图像投影拟合项、文本投影拟合项及投影矩阵正则项;表示标签码约束项;表示当前-历史相似性保持项;表示两模态投影分数一致性项;表示比特平衡项和比特去相关项;表示由标签码本与当前块标签矩阵组合得到的样本标签码目标;表示当前数据块的二值哈希码矩阵,、分别控制量化项与原子补偿强度,和控制两模态拟合,为投影矩阵正则权重,为控制标签码目标,为控制历史关系保持,为控制两模态投影分数的一致性,比特平衡项和比特去相关项分别用于抑制恒定比特和不同比特之间的相关性,和为图像和文本哈希投影矩阵,为哈希码长度,为当前块连续隐变量,为正交旋转矩阵,和分别为当前块图像和文本复合特征矩阵。
31、本发明的第二方面提供基于语义增强的反馈锚点在线跨模态快速检索系统,包括:
32、查询集与检索库构建模块,用于读取包含成对图像、文本及可选多标签的多模态数据,为每个样本生成唯一标识;按照预设到达顺序和数据块大小划分训练数据流,并划分查询集与检索库;
33、隔离语义增强模块,用于分别对文本和图像执行模态隔离的语义增强,基于提取两种模态的原始表征和增强表征的一致性计算图像置信度与文本置信度,结合两种模态的原始表征和增强表征、图像置信度与文本置信度分别构造图像复合特征、文本复合特征以及联合语义向量;
34、哈希学习模块,用于仅利用训练数据构建标签码本和语义原子,在数据流到达过程中,利用标签相关性约束的标签码本、联合语义空间中的语义原子、原子残差补偿和有界历史锚点记忆,对当前数据块的二值哈希码和双模态哈希函数进行交替更新,直至数据块的总体目标函数相对变化小于预设阈值或者达到最大迭代次数,输出图像和文本投影分数;
35、检索模块,用于对图像和文本投影分数进行阈值校准,利用最终图像投影矩阵和文本投影矩阵分别生成查询集与检索库的二值哈希码,计算跨模态哈希码之间的汉明距离并由小到大排序,输出图像到文本检索结果和文本到图像检索结果。
36、本发明的第三方面提供一种计算机可读存储介质。
37、一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述所述的基于语义增强的反馈锚点在线跨模态快速检索方法中的步骤。
38、本发明的第四方面提供一种计算机设备。
39、一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的基于语义增强的反馈锚点在线跨模态快速检索方法中的步骤。
40、与现有技术相比,本发明的有益效果是:
41、1.本发明通过语义原子软分配、历史反馈矩阵和结构化量化残差共同作用,将历史数据块中可复用的量化偏差预测为当前块的残差补偿并注入量化目标,解决现有在线跨模态哈希通常将量化误差作为当前块局部误差而被丢弃、难以复用跨块相近语义残差的问题,实现当前二值码与历史语义残差方向协同校正,提高流式更新场景下哈希码的跨块稳定性和检索排序一致性。
42、2.本发明通过固定预算的历史锚点记忆保存列对齐的历史二值码、联合语义向量和标签向量,并利用融合后的当前-历史相似性矩阵约束当前连续潜表示与历史二值锚点的内积关系,解决不能重访全部历史样本时新旧样本语义关系易遗忘的问题,实现以有限存储维持历史二值结构兼容性,降低全量重训或全量历史保存带来的存储与计算开销。
43、3. 本发明通过模态隔离语义增强和样本级置信度融合,使文本增强分支不访问配对图像、图像增强分支不访问配对文本,并用原始表征与增强表征的一致性调节增强信息能量,解决生成式增强可能引入监督泄漏、跨模态捷径和错误描述等问题,实现对噪声增强结果的抑制以及对可靠增强语义的利用。
44、4. 本发明通过标签共现关系约束的标签码本及样本标签码目标,在短哈希码和多标签类别相关的条件下约束码字相关性、最大相关性、比特均衡和重复码字,解决多标签类别码冲突和低频标签语义被弱化的问题,实现更适于跨模态监督哈希学习的标签级二值语义参考。
45、5. 本发明通过二值约束和正交约束下的块坐标下降以及投影充分统计量累计更新,解决在线更新中重新访问全部历史特征成本高、连续松弛后再量化易造成额外量化损失的问题,实现当前块哈希码、图像投影和文本投影的直接交替更新,并输出可直接用于汉明距离计算的图文二值码。
46、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com