多源检索增强生成方法

摘要: 本申请涉及人工智能与计算机信息处理,特别是涉及一种多源检索增强生成方法。背景技术:1、随着大语言模型在专业领域中的广泛应用,检索增强生成(rag)已成为提升大模...
多源检索增强生成方法

本申请涉及人工智能与计算机信息处理,特别是涉及一种多源检索增强生成方法。

背景技术:

1、随着大语言模型在专业领域中的广泛应用,检索增强生成(rag)已成为提升大模型事实性、时效性和领域适配能力的关键路径。rag系统通常通过向量检索、关键词检索、知识图谱检索或混合检索等方式,从学术论文、行业指南、官方公告、法规条文、研报、新闻、专业数据库、企业知识库等多个来源召回外部知识,再将召回结果作为上下文输入大模型,从而降低大模型幻觉、缓解知识陈旧、提高专业问答质量。

2、然而,不同信息源由于发布主体、数据口径、研究方法、适用对象、时间版本、立场倾向等不同,常常会针对同一主题给出显著不同甚至相互对立的结论。若这些冲突信息未经识别和处理即直接输入大模型,极易导致模型偏采信、遗漏争议点、给出自相矛盾答案,甚至在高风险场景中形成误导性决策建议。

3、当前与文本冲突检测、观点对立识别及rag冲突处理相关的现有技术,普遍采用句子级语义相似度计算、自然语言推理(nli)二元矛盾判断或简单关键词对抗规则等方式,将文档片段直接作为比对对象进行冲突判别。然而,这类粗粒度匹配方案存在显著的判别精度不足问题,以及多源冲突带来的答案可靠性。

4、一方面,现有方案难以区分真实冲突与场景差异型结论。例如,一个观点适用于成人,一个观点适用于儿童;一个结论适用于高温环境,一个结论适用于常温条件;一个结论基于旧版规范,一个结论基于最新版指南。现有方案很容易将其误判为冲突,导致假阳性率高。另一方面,对于隐含前提不同、跨文档碎片化表达、非直接否定式对立、数值区间重叠与边界互斥等复杂情形,现有技术又缺乏充分识别能力,造成大量关键冲突被漏判。

5、此外,现有技术多以事后检测为主,即在大模型生成文本之后,再对生成结果做一致性校验或事实核对。这种方式存在明显缺陷:冲突信息已经在召回、重排序、上下文构建和推理过程中对模型造成干扰,后置检测只能在结果层面补救,无法阻断错误信息在生成链路中的前向传播,也无法针对不同风险等级实施差异化控制。当检测到问题时,错误信息已经参与了生成过程,后置修正既无法消除其对模型内部状态的影响,也难以从根本上解决多源冲突带来的答案可靠性问题。

技术实现思路

1、为解决现有存在的技术问题,本申请提供多源检索增强生成方法,可解决现有技术中假阳性率高与关键冲突漏判并存的精度瓶颈,以及提升多源冲突场景下答案质量与可靠性。

2、第一方面,提供一种多源检索增强生成方法,所述方法包括:

3、响应查询请求,从知识库中进行检索,获取检索命中的k个候选块及其来源元数据;

4、分别提取k个候选块的观点要素,基于所述观点要素得到各候选块的观点向量表征与约束指纹;

5、基于各候选块的观点主体、查询意图、观点向量表征与约束指纹,对k个候选块的观点进行聚类,得到m个观点簇;

6、对所述m个观点簇内的各观点进行可信度评估,得到各观点的综合可信得分;

7、基于所述m个观点簇以及所述来源元数据,对各观点簇内的候选观点从对浅层元数据维度进行假冲突前置过滤,得到待深度判别的真实候选观点对;并对所述真实候选观点对从深层语义与证据链维度进行冲突判别,确定存在真实冲突的观点对;

8、对存在真实冲突的观点对确定冲突信息;

9、将所述冲突信息注入检索增强生成的召回重排序、上下文打包、提示词策略、生成约束和补充检索策略中的至少一者,并基于注入结果执行检索增强生成。

10、上述实施例所提供的多源检索增强方法,通过构建完整的观点抽取、聚类、可信度评估与冲突判别,以及冲突信息检索增强策略,有效解决了传统检索增强生成方案中检索与生成脱节及粗粒度匹配导致假阳性与漏判突出的问题。具体地,通过将检索命中的候选文本转化为结构化的观点单元,使生成器在生成任务之前即可识别不同观点之间的支持、对立与补充关系,防止盲目拼接。采用浅层元数据过滤虚假冲突的观点对,以降低假阳性。接着对真实候选观点对从深层语义与证据链维度进行冲突判别,确定存在真实冲突的观点对及其冲突信息,最后将冲突信息注入召回重排序、提示词策略与生成约束等环节,使大模型在生成前即感知多源观点间的真实关系,从而改善多源冲突场景下答案的事实准确性,克服传统粗粒度匹配中因难以区分场景差异型结论与真实冲突所导致的误判问题。

1.一种多源检索增强生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的多源检索增强生成方法,其特征在于,所述观点要素包括:观点主体、核心主张、前提假设、适用边界、支撑论据和来源属性;

3.根据权利要求1所述的多源检索增强生成方法,其特征在于,基于各候选块的观点主体、查询意图、观点向量表征与约束指纹,对k个候选块的观点进行聚类,得到m个观点簇,包括:

4.根据权利要求1所述的多源检索增强生成方法,其特征在于,所述对所述m个观点簇内的各观点进行可信度评估,得到各观点的综合可信得分,包括:

5.根据权利要求1所述的多源检索增强生成方法,其特征在于,所述基于所述m个观点簇以及所述来源元数据,对各观点簇内的候选观点对从浅层元数据维度进行假冲突前置过滤,得到待深度判别的真实候选观点对,包括:

6.根据权利要求5所述的多源检索增强生成方法,其特征在于,所述对所述真实候选观点对从深层语义与证据链维度进行冲突判别,确定存在真实冲突的观点对,包括:

7.根据权利要求6所述的多源检索增强生成方法,其特征在于,所述冲突信息包括冲突定位结果、冲突分类、冲突要素层级和冲突风险级别;

8.根据权利要求1所述的多源检索增强生成方法,其特征在于,所述将所述冲突信息注入检索增强生成的召回重排序、上下文打包、提示词策略、生成约束和补充检索策略中的至少一者,并基于注入结果执行检索增强生成,包括:

9.根据权利要求8所述的多源检索增强生成方法,其特征在于,所述方法还包括:

10.根据权利要求1至9任一项所述的多源检索增强生成方法,其特征在于,所述方法还包括以下处理中的至少之一: