一种基于多源证据检索与动态置信度评估的大模型专业问答生成方法及系统与流程
本公开涉及人工智能,尤其涉及一种基于多源证据检索与动态置信度评估的大模型专业问答生成方法及系统。
背景技术:
1、随着大语言模型(large language model,llm)技术的发展,大语言模型逐渐应用于医疗、法律、金融等专业问答场景。为提高专业问答结果的事实准确性,相关技术通常采用检索增强生成(retrieval-augmented generation,rag)方式,根据用户查询从外部知识源中检索相关内容,并将检索内容作为大语言模型生成答案的参考依据。然而,专业知识通常分布于不同类型的知识源中,不同知识源所提供内容的质量和适用程度存在差异,检索结果中可能包含内容过时、来源不可靠或者相互冲突的信息,若直接将上述检索结果用于问答生成,容易使大语言模型受到低质量信息的干扰。因此,如何提高专业问答生成过程中多源证据的质量可控性,是当前面临的主要问题。
2、在相关技术中,通常将从外部知识源获得的检索结果直接或经处理后作为上下文信息提供给大语言模型,以辅助生成专业问答结果。然而,不同知识源的检索结果在内容质量以及对当前用户查询的支撑程度方面可能存在差异,而相关技术难以对各检索结果作为答案生成依据的适用性及其在生成过程中的使用进行有效控制,导致不适宜的检索结果仍可能参与模型生成并对输出内容造成干扰。由此,专业问答结果可能因缺乏可靠的信息支撑而产生结论偏差,难以满足专业问答场景对答案准确性和可靠性的要求。
技术实现思路
1、本公开提供了一种基于多源证据检索与动态置信度评估的大模型专业问答生成方法及系统。
2、根据本公开的第一方面,提供了一种基于多源证据检索与动态置信度评估的大模型专业问答生成方法,包括:
3、获取用户查询,并基于用户查询进行多源证据检索,得到多源候选证据集合;
4、分别对多源候选证据集合中的各候选证据进行动态置信度评估,得到各候选证据的综合置信度;其中,各候选证据的综合置信度分别由相应的候选证据的来源权威性、内容时效性、语义相关性和多源一致性的评估结果融合得到;
5、根据各候选证据的综合置信度,从多源候选证据集合中确定目标证据集合;
6、基于用户查询和目标证据集合构建包含生成约束的模型输入信息;其中,生成约束用于限定大语言模型以目标证据集合为生成依据;
7、将模型输入信息输入大语言模型,得到与用户查询对应的专业问答结果。
8、进一步地,基于用户查询进行多源证据检索,得到多源候选证据集合,包括:
9、对用户查询进行标准化语义编码,得到查询语义编码结果;
10、基于查询语义编码结果,从结构化知识源、非结构化文档库和半结构化资源中进行并行检索,分别得到结构化候选证据集合、非结构化候选证据集合和半结构化候选证据集合;
11、汇总结构化候选证据集合、非结构化候选证据集合和半结构化候选证据集合,得到多源候选证据集合;其中,多源候选证据集合中的各候选证据具有用于标识相应知识源的来源标识。
12、进一步地,分别对多源候选证据集合中的各候选证据进行动态置信度评估,得到各候选证据的综合置信度,包括:
13、针对每个候选证据,分别基于来源权威性、内容时效性、语义相关性和多源一致性对候选证据进行评估,得到候选证据对应的各维度评估结果;
14、分别为各维度评估结果设置对应的权重;其中,各权重之和为1;
15、基于各维度评估结果及其对应的权重进行加权求和,得到候选证据的综合置信度。
16、进一步地,针对每个候选证据,候选证据对应的来源权威性的评估结果和内容时效性的评估结果分别通过以下处理得到:
17、根据候选证据所属知识源的专业等级和权威程度,对候选证据进行分层评分,得到候选证据对应的来源权威性的评估结果;
18、获取候选证据的发布时间和当前时间,并根据发布时间和当前时间确定时间间隔;
19、基于时间间隔和衰减系数,采用指数衰减函数计算得到候选证据对应的内容时效性的评估结果;其中,内容时效性的评估结果随时间间隔的增大而减小。
20、进一步地,针对每个候选证据,候选证据对应的语义相关性的评估结果和多源一致性的评估结果分别通过以下处理得到:
21、采用sentence-bert模型分别对用户查询和候选证据的证据内容进行语义编码,得到查询语义向量和证据语义向量;
22、计算查询语义向量与证据语义向量之间的余弦相似度,得到候选证据对应的语义相关性的评估结果;
23、基于候选证据与多源候选证据集合中的其他候选证据之间的内容一致情况,确定候选证据对应的多源一致性的评估结果。
24、进一步地,根据各候选证据的综合置信度,从多源候选证据集合中确定目标证据集合,包括:
25、按照各候选证据对应的综合置信度由高至低的顺序,对各候选证据进行排序,得到候选证据序列;
26、基于预设置信度阈值,从候选证据序列中筛选出对应的综合置信度大于预设置信度阈值的各候选证据,得到由筛选出的各候选证据构成的目标证据集合。
27、进一步地,基于用户查询和目标证据集合构建包含生成约束的模型输入信息,包括:
28、基于目标证据集合中各候选证据之间的内容重叠程度,对各候选证据进行聚类去重,得到去重证据集合;
29、分别对去重证据集合中的各候选证据进行文本摘要生成,得到各候选证据对应的证据摘要;
30、针对去重证据集合中的每个候选证据,基于候选证据对应的证据摘要和候选证据的综合置信度,生成候选证据对应的证据条目;
31、基于各证据条目构建结构化证据列表;
32、将用户查询、结构化证据列表和生成约束进行组合,得到模型输入信息。
33、进一步地,生成约束包括证据使用约束和证据引用约束;
34、将用户查询、结构化证据列表和生成约束进行组合,得到模型输入信息,包括:
35、分别为结构化证据列表中的各证据条目设置证据编号,得到编号证据列表;
36、将用户查询、编号证据列表、证据使用约束和证据引用约束进行组合,得到模型输入信息;其中,证据使用约束用于限定大语言模型仅以编号证据列表为依据生成专业问答结果;证据引用约束用于限定大语言模型在专业问答结果中的结论处引用与结论对应的证据编号。
37、进一步地,在将模型输入信息输入大语言模型,得到与用户查询对应的专业问答结果之后,方法还包括:
38、对专业问答结果进行语义解析,提取主答案文本以及主答案文本中引用的证据编号;
39、确定主答案文本中的各结论以及各结论引用的证据编号,并根据各结论引用的证据编号,从编号证据列表中确定与各结论对应的证据条目;
40、建立各结论与对应的证据条目之间的映射关系。
41、进一步地,在建立各结论与对应的证据条目之间的映射关系之后,方法还包括:
42、基于映射关系,针对与各结论对应的每个证据条目,获取证据条目所对应的候选证据的证据内容和来源信息,得到证据条目对应的溯源信息;
43、针对与各结论对应的每个证据条目,根据证据条目对应的综合置信度,采用与综合置信度对应的颜色对证据条目对应的溯源信息进行标注,得到证据条目对应的可视化溯源信息;
44、在主答案区显示主答案文本,并在溯源信息区分别显示与各结论对应的各证据条目的可视化溯源信息。
45、根据本公开的第二方面,提供了一种基于多源证据检索与动态置信度评估的大模型专业问答生成系统,包括:
46、多源证据检索模块,用于获取用户查询,并基于用户查询进行多源证据检索,得到多源候选证据集合;
47、动态置信度评估模块,用于分别对多源候选证据集合中的各候选证据进行动态置信度评估,得到各候选证据的综合置信度;其中,各候选证据的综合置信度分别由相应的候选证据的来源权威性、内容时效性、语义相关性和多源一致性的评估结果融合得到;
48、目标证据确定模块,用于根据各候选证据的综合置信度,从多源候选证据集合中确定目标证据集合;
49、模型输入构建模块,用于基于用户查询和目标证据集合构建包含生成约束的模型输入信息;其中,生成约束用于限定大语言模型以目标证据集合为生成依据;
50、专业问答生成模块,用于将模型输入信息输入大语言模型,得到与用户查询对应的专业问答结果。
51、根据本公开的第三方面,提供了一种电子设备。该电子设备包括:存储器和处理器,存储器上存储有计算机程序,处理器执行程序时实现如以上的方法。
52、根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现本公开的上述方法。
53、根据本公开的第五方面,提供了一种计算机程序产品。该计算机程序产品包括计算机程序,计算机程序被处理器执行时实现本公开的上述方法。
54、本公开实施例提供的一种基于多源证据检索与动态置信度评估的大模型专业问答生成方法及系统,在本公开实施例中,首先,获取用户查询,并基于用户查询进行多源证据检索,得到多源候选证据集合;然后,分别对多源候选证据集合中的各候选证据进行动态置信度评估,得到各候选证据的综合置信度;其中,各候选证据的综合置信度分别由相应的候选证据的来源权威性、内容时效性、语义相关性和多源一致性的评估结果融合得到;之后,根据各候选证据的综合置信度,从多源候选证据集合中确定目标证据集合;之后,基于用户查询和目标证据集合构建包含生成约束的模型输入信息;其中,生成约束用于限定大语言模型以目标证据集合为生成依据;最后,将模型输入信息输入大语言模型,得到与用户查询对应的专业问答结果。
55、通过上述描述可知,本公开实施例通过基于用户查询进行多源证据检索,为专业问答生成提供来源更加丰富的候选证据;通过从来源权威性、内容时效性、语义相关性和多源一致性对各候选证据进行动态置信度评估,并融合得到综合置信度,可以综合反映候选证据的可靠性、对当前用户查询的支撑程度以及与其他候选证据的相互印证程度;再根据综合置信度确定目标证据集合,能够对进入生成环节的证据进行质量控制,减少不适宜的候选证据对生成过程的干扰;进一步利用生成约束限定大语言模型以目标证据集合为生成依据,能够对大语言模型的生成边界进行控制,降低大语言模型脱离可靠证据生成内容的可能性。由此,本公开实施例可以解决相关技术中多源证据作为答案生成依据的适用性及其在大语言模型生成过程中的使用难以得到有效控制,导致专业问答结果事实准确性和可靠性不足的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com