一种面向多模态RAG的图像检索与引用方法

摘要: 本申请涉及多模态检索增强生成,特别是涉及一种面向多模态rag的图像检索与引用方法。背景技术:1、随着多模态大语言模型和检索增强生成技术的快速发展,检索增强生成(...
一种面向多模态RAG的图像检索与引用方法

本申请涉及多模态检索增强生成,特别是涉及一种面向多模态rag的图像检索与引用方法。

背景技术:

1、随着多模态大语言模型和检索增强生成技术的快速发展,检索增强生成(retrieval-augmented generation,rag)系统已由传统纯文本模式逐步演进为图文融合的多模态rag模式。在学术论文、金融研报、政务文件、专利文献、技术手册、行业白皮书、司法材料等专业文档中,大量关键事实、核心证据、比较结论、趋势判断和逻辑结构并非仅存在于正文文本中,而是集中承载于图表、架构图、流程图、示意图、表格截图、实验结果图、影像图等图像信息中。因此,图像能否被准确理解、合理匹配、规范引用,已成为决定多模态rag系统专业可用性的关键因素。

2、然而,现有多模态rag技术在图像处理和图像引用环节大多仍停留在粗粒度、松耦合、弱约束状态,无法满足专业场景对于准确性、规范性、可解释性与合规性的刚性要求。现有方法通常在用户发起任务时一次性检索相关图像,再在生成结束后简单附加或插入,缺少与生成过程的深度耦合,容易出现图像与具体段落不匹配、核心图漏检、弱相关图误插入、重复图冗余引用等问题,难以满足专业写作中“论述驱动、证据支撑”的要求。

技术实现思路

1、为改善现有存在的技术问题,本申请提供一种能够提高图像检索和引用精准度的面向多模态rag的图像检索与引用方法。

2、本申请实施例提供一种面向多模态rag的图像检索与引用方法,包括:获取目标文本中当前正在生成的目标段落内容;基于所述目标段落内容生成上下文需求槽;其中,所述上下文需求槽表征所述目标段落内容所需目标图像对应的至少一种约束信息;基于所述上下文需求槽与多个候选图像的图像证据包进行动态匹配,根据匹配结果在所述多个候选图像中确定所述目标图像;将所述目标图像插入所述目标文本中;基于所述目标文本的内容对应的应用场景、以及所述目标图像对应的限定条件和语境约束构建证据陈述格式对象;基于所述证据陈述格式对象执行图文一致性校验;响应于所述图文一致性校验通过,基于所述目标文本的内容对应的应用场景在所述目标文本中生成所述目标图像对应的标引。

3、上述实施例所提供的面向多模态rag的图像检索与引用方法中,获取目标文本中当前正在生成的目标段落内容;基于所述目标段落内容生成上下文需求槽;基于所述上下文需求槽与多个候选图像的图像证据包进行动态匹配,根据匹配结果在所述多个候选图像中确定所述目标图像;将所述目标图像插入所述目标文本中;基于所述目标文本的内容对应的应用场景、以及所述目标图像对应的限定条件和语境约束构建证据陈述格式对象;基于所述证据陈述格式对象执行图文一致性校验;响应于所述图文一致性校验通过,基于所述目标文本的内容对应的应用场景在所述目标文本中生成所述目标图像对应的标引。如此,通过在rag文本生成过程中根据实时生成的段落内容动态生成上下文需求槽,并根据上下文需求槽与候选图像的图像证据包进行动态匹配,从而相较于仅与图像本身匹配可以提高匹配精准度,而且检索匹配的对象不再是面向整个目标文本的整体任务请求,而是能够在文本生成过程中针对每个段落每一个论述节点处精准给出其所需的图像,而非泛化的相关图像。在此基础上结合证据陈述格式对象的一致性校验,可以对图像插入后的正文标引进行前置校验,进一步提升图文匹配的精准度。这样实现了插入的图像与生成过程的深度耦合,可以根据正在生成的段落主题、论证角色和当前语义需求,动态判断图像需求,提高了图像检索和引用的精准度,避免模糊相似度匹配导致的检索精度低。

1.一种面向多模态rag的图像检索与引用方法,其特征在于,包括:

2.根据权利要求1所述的面向多模态rag的图像检索与引用方法,其特征在于,所述基于所述目标段落内容生成上下文需求槽,包括:

3.根据权利要求1所述的面向多模态rag的图像检索与引用方法,其特征在于,所述基于所述上下文需求槽与多个候选图像的图像证据包进行动态匹配,根据匹配结果在所述多个候选图像中确定所述目标图像,包括:

4.根据权利要求3所述的面向多模态rag的图像检索与引用方法,其特征在于,还包括:构建图像证据包;

5.根据权利要求4所述的面向多模态rag的图像检索与引用方法,其特征在于,所述基于所述候选图像对应的图像证据包与所述上下文需求槽进行匹配评分计算,包括:

6.根据权利要求4所述的面向多模态rag的图像检索与引用方法,其特征在于,还包括:构建预设索引;其中,所述预设索引包括所述标签索引、所述向量索引和所述全文索引;

7.根据权利要求4所述的面向多模态rag的图像检索与引用方法,其特征在于,所述将所述目标图像插入所述目标文本中,包括:

8.根据权利要求4所述的面向多模态rag的图像检索与引用方法,其特征在于,所述基于所述目标文本的内容对应的应用场景、以及所述目标图像对应的限定条件和语境约束构建证据陈述格式对象,包括:

9.根据权利要求8所述的面向多模态rag的图像检索与引用方法,其特征在于,所述将所述目标图像插入所述目标文本中,包括:

10.根据权利要求4所述的面向多模态rag的图像检索与引用方法,其特征在于,在将所述目标图像插入所述目标文本之后,还包括: