一种基于层次化语义对齐的文物图文检索方法
本发明涉及信息检索,尤其是一种基于层次化语义对齐的文物图文检索方法。
背景技术:
1、随着数字博物馆和馆藏资源数字化建设不断推进,博物馆、文物研究机构及公共文化平台积累了大量文物图像、文字描述、馆藏元数据和属性标签。如何在文物图像和文物文本描述之间建立准确的跨模态语义关联,是实现文物资源智能管理和高效利用的重要基础。
2、现有图文检索方法通常采用双编码器或视觉语言预训练模型,分别提取图像特征和文本特征,并将二者映射至共享特征空间,再根据全局特征之间的相似度进行匹配和排序。该类方法在通用图文检索任务中能够获得一定效果,但直接应用于文物检索时仍存在以下问题。
3、第一,文物文本具有较强的专业性。文物描述通常包含朝代、器类、材质、制作工艺、纹样和装饰细节等信息,例如青铜器、掐丝珐琅、缠枝莲纹和饕餮纹等专业术语。通用文本编码模型主要基于开放领域语料进行训练,难以充分表达不同文物属性之间的层次关系,导致文本侧领域语义表征能力不足。
4、第二,不同文物之间的差异往往集中在局部区域。外形相近的文物可能仅在纹样、铭文、釉色、材质肌理、器物边缘或局部工艺上存在区别。仅依赖图像全局特征进行检索,容易忽略具有鉴别意义的局部视觉信息,从而产生同类文物之间的误匹配。
5、第三,现有图文检索方法大多采用全库平铺式检索,即将待检索查询对象与检索库中的全部候选对象逐一计算相似度。该方式未充分利用文物在朝代、器类、材质和纹样等方面具有的天然层级结构,候选搜索空间较大,且容易出现不同朝代或不同器类文物之间的跨类别误匹配。
6、第四,采用属性预测结果直接进行固定单路径筛选时,一旦某一属性层级预测错误,正确候选对象可能在精细匹配之前被提前排除;而固定保留多条路径又会导致候选集规模过大,无法有效降低后续局部精细匹配的计算开销。
7、第五,传统局部注意力匹配通常分别计算各图像区域与各文本词元之间的匹配权重,缺乏图像区域集合和文本词元集合之间的双侧分配约束,可能出现多个图像区域集中匹配同一文本词元的情况,影响局部匹配的稳定性。
技术实现思路
1、为了解决上述问题,本发明提供一种基于层次化语义对齐的文物图文检索方法,能够增强文物领域语义表达和局部细粒度对齐能力,缩减候选搜索范围并能够保护候选集规模,并且根据属性预测结果的不确定程度自适应选择单路径或多路径,实现了检索准确性和检索效率的兼顾。
2、为了实现上述目的,本发明采用的技术方案为:
3、一种基于层次化语义对齐的文物图文检索方法,包括下述步骤:
4、s1. 获取待检索查询对象及预先建立的文物检索库,所述待检索查询对象为文物图像或文物文本描述;所述文物检索库中存储有文物样本的跨模态特征、文物属性标签、文物属性层级树、所述文物属性层级树中的属性节点与文物样本标识集合之间的索引关联;
5、s2. 将所述待检索查询对象输入预先训练的文物图文检索模型,以获得所述待检索查询对象的查询特征及其分别对应于不同属性层级的类别置信度分布;
6、s3. 根据所述类别置信度分布,从所述文物属性层级树的根节点开始,按照由粗至细的顺序逐层进行候选路径筛选,根据当前属性层级的属性预测结果,保留单个候选属性节点或保留多个候选属性节点;
7、s4. 根据所述候选属性节点对应的文物样本标识集合对上一属性层级的候选集进行筛选,在保留多个候选属性节点时,将所述多个候选属性节点对应的文物样本标识集合取并集,获得当前属性层级筛选后的候选集;
8、s5. 根据当前属性层级筛选后的候选集中的候选对象数量,以将上一属性层级的候选集替代当前属性层级筛选后的候选集,或保留当前属性层级筛选后的候选集,以进行候选集规模保护;
9、s6. 对进行候选路径筛选后的候选集,分别计算所述待检索查询对象与各候选对象之间的全局语义相似度及局部细粒度对齐相似度,根据所述全局语义相似度和所述局部细粒度对齐相似度确定综合匹配分数,且按照所述综合匹配分数对所述候选对象进行排序,输出文物图文检索结果。
10、进一步地,在步骤s1中,所述文物检索库的建立步骤包括:
11、s1.1 获取待入库的文物样本图像、与所述文物样本图像对应的文物文本描述及文物属性标签;
12、s1.2 通过所述预先训练的文物图文检索模型对所述文物样本图像和所述文物文本描述进行特征预计算,以获得图像全局特征、多尺度视觉区域特征、文本全局特征、文本词元特征、领域增强文本特征;
13、s1.3 根据所述文物属性标签构建所述文物属性层级树,且建立所述所述文物属性层级树中的属性节点或属性路径与相应文物样本标识集合之间的索引关联;
14、s1.4 将所述图像全局特征、所述多尺度视觉区域特征、所述文本全局特征、所述文本词元特征、所述领域增强文本特征、所述文物属性标签、所述索引关联存储于所述文物检索库中。
15、进一步地,在步骤s1.1中,所述文物属性标签包括朝代标签、器类标签、材质标签、纹样标签;
16、所述文物属性层级树自根节点向下依次包括朝代层、器类层、材质层、纹样层,相邻属性层级之间根据馆藏元数据、文物分类规则、专家标注信息中的至少一种建立父子节点关系;
17、每一文物样本根据其文物属性标签被映射至所述文物属性层级树中的对应属性节点或属性路径;
18、对于在同一属性层级具有多个属性标签的文物样本,根据馆藏元数据中的主要属性字段、专家标注结果或预设属性优先级规则确定主属性标签,将所述主属性标签用于构建所述属性路径,且将其余属性标签作为所述文物图文检索模型训练时的辅助监督标签。
19、进一步地,在步骤s1.2及步骤s2中,所述文物图文检索模型的训练方法包括:
20、a1. 获取训练样本中的文物图像、与所述文物图像对应的文物文本描述及文物属性标签;
21、a2. 通过图像编码网络提取所述文物图像的图像全局特征及多尺度视觉区域特征,通过文本编码网络提取所述文物文本描述的文本词元特征,且基于层次化提示学习生成领域增强文本特征;
22、a3. 基于所述图像全局特征及所述领域增强文本特征进行全局语义对齐,基于所述多尺度视觉区域特征及所述文本词元特征进行局部细粒度对齐,且基于所述文物属性标签进行属性预测;
23、a4. 根据全局对比损失、局部对齐损失及属性预测损失的加权和,更新所述文物图文检索模型中的可训练参数。
24、进一步地,在步骤a2中,所述领域增强文本特征的生成步骤包括:
25、a2.1 在所述文本编码网络的输入端分别设置宏观提示向量组、中观提示向量组、微观提示向量组;其中,所述宏观提示向量组用于朝代语义及器类语义的表征,所述中观提示向量组用于材质语义及工艺语义的表征,所述微观提示向量组纹样语义、装饰细节语义及局部工艺细节语义的表征;
26、a2.2 将所述文物文本描述分别与所述宏观提示向量组、所述中观提示向量组、所述微观提示向量组进行拼接,且分别输入共享参数的文本编码器,以获得宏观文本表示、中观文本表示、微观文本表示;
27、a2.3 将所述宏观文本表示、所述中观文本表示、所述微观文本表示输入门控融合网络,以获得分别对应于所述宏观文本表示、所述中观文本表示、所述微观文本表示的融合权重;
28、a2.4根据所述融合权重对所述宏观文本表示、所述中观文本表示和所述微观文本表示进行加权融合,以获得所述领域增强文本特征。
29、进一步地,在步骤a3中,所述多尺度视觉区域特征的提取步骤包括:
30、a3.1 将所述文物图像输入图像编码网络的多尺度特征提取模块,以获得至少两个不同尺度的视觉特征图;
31、a3.2 对所述不同尺度的视觉特征图进行特征融合,以获得多尺度视觉特征表示;
32、a3.3 基于所述多尺度视觉特征表示确定多个候选视觉区域或候选图像块,且提取所述候选视觉区域或候选图像块对应的区域特征;
33、a3.4 分别计算各所述区域特征的语义重要性权重,且根据所述语义重要性权重对所述区域特征进行加权增强或残差增强,以获得用于所述局部细粒度对齐的多尺度视觉区域特征。
34、进一步地,在步骤s6中,所述所述局部细粒度对齐相似度计算方法包括:
35、s6.1 获取参与匹配的文物图像对应的多尺度视觉区域特征集合,及参与匹配的文物文本描述对应的文本词元特征集合;
36、s6.2对所述多尺度视觉区域特征集合及所述文本词元特征集合进行归一化处理;
37、s6.3计算各多尺度视觉区域特征与各文本词元特征之间的相似度,构建区域与词元相似度矩阵,且根据所述区域与词元相似度矩阵构建传输代价矩阵;
38、s6.4在源分布边际约束、目标分布边际约束、熵正则项约束下,求解所述传输代价矩阵对应的最优传输矩阵;
39、s6.5根据所述最优传输矩阵对所述区域与词元相似度矩阵中的局部相似度进行加权聚合,以获得所述局部细粒度对齐相似度。
40、进一步地,在步骤s2中,所述属性层级包括朝代层、器类层、材质层和纹样层;
41、在步骤s2中,将所述待检索查询对象对应的图像特征或文本特征分别输入与所述朝代层、所述器类层、所述材质层、所述纹样层对应的属性分类器,以获得各属性层级的所述类别置信度分布;
42、在步骤s3中,判断当前属性层级的属性预测结果是否满足预设确定性条件,当前属性层级的属性预测结果满足预设确定性条件时,将所述最高类别置信度对应的属性节点确定为当前属性层级的候选属性节点,以保留单个候选属性节点;当前属性层级的属性预测结果不满足预设确定性条件时,将当前属性层级中类别置信度排序靠前的至少两个属性节点确定为候选属性节点,以保留多个候选属性节点;
43、所述预设确定性条件为:当前属性层级中的最高类别置信度不小于预设置信度阈值,且所述最高类别置信度与次高类别置信度之间的差值不小于预设置信度差值阈值;
44、在步骤s5中,判断所述当前属性层级筛选后的候选集中的候选对象数量是否小于预设保护阈值,当所述候选对象数量小于所述预设保护阈值时,以上一属性层级的候选集替代所述当前属性层级筛选后的候选集,当所述候选对象数量不小于所述预设保护阈值时,保留所述当前属性层级筛选后的候选集。
45、进一步地,在步骤s5中,所述候选集规模保护的步骤包括:
46、s5.1 在完成任一当前属性层级的候选路径筛选后,确定当前属性层级筛选后的候选对象数量;
47、s5.2当所述候选对象数量不小于所述预设保护阈值时,将当前属性层级筛选后的候选集作为下一属性层级候选路径筛选的输入候选集;
48、s5.3 当所述候选对象数量小于所述预设保护阈值时,撤销所述当前属性层级的筛选结果,并将上一属性层级的候选集作为下一属性层级候选路径筛选的输入候选集。
49、进一步地,在步骤s6中,根据所述待检索查询对象的属性预测结果与所述候选对象的文物属性标签之间的一致程度,确定属性一致性分数;
50、根据所述全局语义相似度、所述局部细粒度对齐相似度、所述属性一致性分数,计算获得所述综合匹配分数:
51、
52、其中,为综合匹配分数;为全局语义相似度;为所述局部细粒度对齐相似度;为属性一致性分数,、和为非负权重系数,且满足,当不使用所述属性一致性分数时,令。
53、本发明的有益效果是:
54、1. 通过宏观、中观、微观三个层次的提示向量进行层次化提示学习,使文本编码网络能够有针对性地学习和融合朝代、器类、材质、纹样等不同粒度的文物专业语义。有效克服了通用文本编码模型在文物这一垂直领域语义理解不足的问题,显著增强了文本特征的领域区分度,提升了文物文本的领域语义表征能力
55、2. 本发明不仅提取多尺度视觉区域特征以捕捉纹样、铭文等关键局部细节,还引入最优传输理论来指导图像区域与文本词元之间的局部对齐,通过施加源分布边际约束,确保了图像区域和文本词元之间能够进行更均衡、更稳定的匹配,避免了传统注意力机制中多个图像区域过度集中于单个文本词元的“退化匹配”问题,从而提升了匹配的准确性,增强了局部细粒度特征的对齐精度。
56、3. 构建了文物属性层级树,将传统的全库平铺式检索转化为由粗至细的层级筛选过程,大幅减少了需要进行高成本精细匹配的候选对象数量,显著提高了检索效率。同时,通过根据属性预测的置信度自适应地选择单路径或多路径筛选,并在候选集规模过小时触发回退保护机制,有效降低了因某一层级属性预测错误而导致正确结果被提前排除的风险,从而在保证检索速度的同时,兼顾了检索的召回率和准确性,实现了检索效率与准确率的有效平衡。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com