一种基于特征对齐与语义增强的图文智能检索方法与流程

摘要: 本发明涉及信息检索,尤其涉及一种基于特征对齐与语义增强的图文智能检索方法。背景技术:1、随着互联网和移动互联网的快速发展,图像和文本等多媒体数据呈现爆发式增长态...
一种基于特征对齐与语义增强的图文智能检索方法与流程

本发明涉及信息检索,尤其涉及一种基于特征对齐与语义增强的图文智能检索方法。

背景技术:

1、随着互联网和移动互联网的快速发展,图像和文本等多媒体数据呈现爆发式增长态势,图文跨模态检索作为多媒体内容管理和智能搜索推荐的核心基础技术,受到业界广泛关注。当前主流的图文检索技术主要包括三类方案:以clip、align为代表的双分支全局编码架构,通过独立编码器提取图文全局特征并映射至公共语义空间,检索速度快但全局特征丢失了实体、属性和纹理等细粒度信息,导致复杂场景下检索精度不足;以scan、vsrn为代表的细粒度区域对齐方案,通过注意力机制建立图像区域与文本单词的对应关系,能够捕捉细粒度匹配但计算复杂度显著提升;工程化的两级检索方案结合全局召回与细粒度重排序,在一定程度上平衡了精度与效率,但各方案均存在固有缺陷。

2、现有方案仅支持单一粒度的语义对齐,缺乏从全局到细粒度的多层级分层匹配机制,无法兼顾整体语义逻辑与局部细节特征,导致以文搜图时局部匹配但整体语义不符、以图搜图时局部纹理相似但主体目标不同的误匹配频发;视觉特征与文本特征由异构编码器提取,分布逻辑和语义表征体系差异显著,仅靠简单线性投影无法实现精准的跨模态语义对齐,实体错配和属性错位问题严重;检索策略静态固化,对所有查询采用相同的计算逻辑,低复杂度查询存在大量算力冗余而高复杂度多实体多属性查询细粒度匹配权重不足,无法实现自适应算力分配;通用预训练模型迁移至工业、医疗等垂直领域时性能严重衰减,全量微调需要海量标注数据和巨额算力,落地成本极高,效率不足。

技术实现思路

1、鉴于上述的分析,本发明实施例旨在提供一种基于特征对齐与语义增强的图文智能检索方法,用以解决现有检索结果语义精度不足、检索效率低的问题。

2、本发明实施例提供了一种基于特征对齐与语义增强的图文智能检索方法,包括:

3、为图库中的每张图像构建视觉特征金字塔,并根据查询输入的类型构建查询特征金字塔;所述视觉特征金字塔和所述查询特征金字塔的层级相同,所述查询输入的类型包括文本查询和图像查询;

4、提取查询输入的语义特征,基于所述查询输入的语义特征计算语义复杂度得分,根据所述语义复杂度得分对所述查询输入进行语义增强,得到增强检索特征;基于所述增强检索特征从所述图库中筛选候选图像集;

5、对于候选图像集中的每张图像,计算该图像的视觉特征金字塔和查询特征金字塔的各层级匹配得分,基于所述各层级匹配得分计算该图像与查询输入的一致性得分;以及基于语义复杂度得分和所述各层级匹配得分得到该图像的综合匹配得分;

6、基于候选图像集中每张图像的所述综合匹配得分和所述一致性得分,对候选图像集中所有图像进行综合排序,输出最终检索结果。

7、进一步地,对于图库中的每张图像,计算该图像的视觉特征金字塔和查询特征金字塔的各层级匹配得分包括:

8、将该图像的视觉特征金字塔与所述查询特征金字塔的各层级特征进行配对;

9、将每一对特征分别映射至公共语义空间,通过特征交互融合生成该层级的融合特征;

10、对每个层级的所述融合特征进行池化压缩,基于池化压缩后的融合特征计算该层级的匹配得分,得到该图像的视觉特征金字塔与查询特征金字塔的各层级匹配得分。

11、进一步地,所述视觉特征金字塔和所述查询特征金字塔的层级均为3,所述基于所述各层级匹配得分计算该图像与查询输入的一致性得分如下式所示;

12、;

13、其中,为第一层级匹配得分,为第二层级匹配得分,为第三层级匹配得分,为一致性得分,为第一层级匹配得分和第二层级匹配得分的余弦相似度值,为第一层级匹配得分和第三层级匹配得分的余弦相似度值,为第二层级匹配得分和第三层级匹配得分的余弦相似度值。

14、进一步地,将每一对特征分别映射至公共语义空间,通过特征交互融合生成该层级的融合特征,包括:

15、对于第n层级,将该图像视觉特征金字塔的第n层级特征经可学习投影矩阵变换得到公共视觉特征矩阵,并将查询特征金字塔的第n层级特征经可学习投影矩阵变换得到公共查询特征矩阵;

16、计算所述公共查询特征矩阵与所述公共视觉特征矩阵的转置矩阵的乘积,经维度缩放后通过归一化处理,得到注意力权重矩阵;

17、基于所述注意力权重矩阵、所述公共视觉特征矩阵和所述公共查询特征矩阵,得到第n层级的融合特征。

18、进一步地,基于语义复杂度得分和所述各层级匹配得分得到该图像的综合匹配得分包括:

19、提取查询输入的语义特征,基于所述查询输入的语义特征计算语义复杂度得分;

20、基于所述语义复杂度得分,分别计算第一层级权重系数、第二层级权重系数和第三层级权重系数,如下式所示:

21、

22、

23、

24、其中,为第一层级权重系数,为第二层级权重系数,为第三层级权重系数,为语义复杂度得分;

25、基于第一层级权重系数、第二层级权重系数、第三层级权重系数以及各层级匹配得分计算综合匹配得分,如下式所示:

26、+;

27、其中,为综合匹配得分。

28、进一步地,基于候选图像集中每张图像的所述综合匹配得分和所述一致性得分,对候选图像集中所有图像进行综合排序,包括:

29、基于候选图像集中各图像的综合匹配得分和一致性得分,计算各图像的排序得分;

30、按排序得分从高到低的顺序对所述候选图像集中的所有图像进行排序;

31、计算各图像的排序得分如下式所示:

32、;

33、其中,为排序得分,为综合匹配得分,为一致性得分;为综合匹配得分权重系数,为一致性得分权重系数。

34、进一步地,根据所述语义复杂度得分对所述查询输入进行语义增强,得到增强检索特征,包括:

35、基于所述语义复杂度得分确定查询输入的复杂度等级,所述复杂度等级包括高复杂度等级、中复杂度等级和低复杂度等级;

36、当所述语义复杂度等级为高复杂度等级时,识别所述查询输入中的歧义信息,根据预设语义知识库对所述歧义信息进行消歧,并扩展所述查询输入的关联语义,得到扩展后的查询输入;基于扩展后的查询输入得到所述增强检索特征;

37、当所述语义复杂度等级为低复杂度等级或中复杂度等级时,直接扩展所述查询输入的关联语义,基于扩展后的查询输入得到所述增强检索特征。

38、进一步地,通过增强检索特征从所述图库中筛选候选图像集,包括:

39、基于所述图库中所有图像的视觉特征金字塔的第一层级特征构建多层拓扑图,其中,所述多层拓扑图包括全量数据层、过渡匹配层和稀疏导航层;

40、将所述增强检索特征作为检索向量,从所述多层拓扑图中逐层检索筛选得到候选图像集。

41、进一步地,构建多层拓扑图包括:

42、将每张图像的视觉特征金字塔的第一层级特征分别映射为全量数据层的一个节点,并将每个节点与其在特征向量空间中最接近的若干个节点通过边连接;

43、从所述全量数据层中按预设比例随机抽取部分节点作为过渡匹配层的节点,并将过渡匹配层中的每个节点与其在特征向量空间中最接近的若干个节点通过边连接;

44、从所述过渡匹配层中按预设比例随机抽取部分节点作为稀疏导航层的节点,并将稀疏导航层中的每个节点与其在特征向量空间中最接近的若干个节点通过边连接,得到多层拓扑图。

45、进一步地,从所述多层拓扑图中逐层检索筛选得到候选图像集包括:

46、将所述增强检索特征作为检索向量,在所述稀疏导航层中,沿边查找与所述检索向量距离最近的节点,作为第一最近节点;

47、在所述过渡匹配层中沿与第一最近节点相连的边所连接的邻域范围内,查找与所述检索向量距离最近的节点,作为第二最近节点;

48、在所述全量数据层中沿与第二最近节点相连的边所连接的邻域范围内,查找与所述检索向量距离最近的k个节点,将所述k个节点对应的图像作为候选图像集。

49、与现有技术相比,本发明至少可实现如下有益效果之一:

50、1、本发明通过构建包含第一层级、第二层级和第三层级的三级视觉特征金字塔和查询特征金字塔,实现从全局语义到中粒度实体属性再到细粒度局部细节的覆盖,在公共语义空间中进行融合,同时通过计算三个层级匹配得分之间的两两余弦相似度均值作为一致性得分,对跨粒度语义对齐结果进行交叉校验,抑制了不同粒度之间的语义冲突,解决了局部匹配但整体语义矛盾以及缺乏多级语义校验机制导致错误匹配无法修正的,提升了检索结果的语义精度。

51、2、本发明通过对查询输入进行语义复杂度评估,基于语义复杂度得分动态计算全局权重系数、中粒度权重系数和细粒度权重系数,对三个层级的匹配得分进行自适应加权求和得到综合匹配得分,使简单查询侧重全局特征快速匹配以降低算力开销、复杂查询强化细粒度匹配以提升检索精度;同时对高复杂度查询触发知识图谱语义补全以消解歧义并扩展关联语义,结合领域偏移校正生成增强检索特征,解决了现有图像检索效率低的问题。

52、本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。