多源知识库与联网检索融合的可追溯智能问答方法及系统与流程

摘要: 本发明涉及检索增强生成(rag)以及智能问答,特别地,涉及一种面向政企办公、行业研究、知识服务、专业问答等场景,能够将多源知识库检索、联网检索、文件检索进行统一...
多源知识库与联网检索融合的可追溯智能问答方法及系统与流程

本发明涉及检索增强生成(rag)以及智能问答,特别地,涉及一种面向政企办公、行业研究、知识服务、专业问答等场景,能够将多源知识库检索、联网检索、文件检索进行统一融合编排,并实现回答来源全链路可追溯、流式同步输出、平台工厂化扩展的智能问答方法及系统;具体而言,涉及多源知识库与联网检索融合的可追溯智能问答方法及系统。

背景技术:

1、随着大语言模型技术的快速迭代与落地应用,基于大模型的智能问答系统已广泛渗透至政务办公、企业内部知识管理、行业专题研究、专业知识服务等场景。为克服大模型自身存在的知识滞后、幻觉生成、信息不可控等问题,检索增强生成(retrieval-augmentedgeneration,rag)技术成为当前主流解决方案,其主要流程为:先通过检索从外部知识源获取相关上下文,再将检索结果与用户问题一同输入大模型,由大模型基于外部知识生成回答。

2、尽管现有rag技术已实现基础问答能力,但是在面向政企办公、行业研究、知识服务和专业问答场景时,现有技术方案存在明显缺陷,难以满足实际业务对信息全面性、来源可追溯性、结果可控性、系统扩展性与运维经济性的综合要求。

3、现有rag技术的实现方案主要分为以下四类:

4、第一类为单知识库问答方案。该方案依赖单一固定知识库执行检索,根据用户问题只查询一个固定知识库,将检索片段简单拼接后送入大模型生成回答。其优点是实现简单、资源消耗低,但缺点极为突出:面向真实业务时,用户的问题往往并非来自单一知识域。例如,同一问题既可能需要参考企业内部制度文档,也可能需要参考专题资料库、行业知识库,甚至还需要补充最新的互联网公开信息。当用户问题跨多个知识域时,无法同时获取内部资料、专题资料、公共知识与实时互联网信息,导致回答片面、覆盖不足,无法满足复杂业务问题的知识需求。传统的单知识库问答方式已经难以满足复杂业务下对信息全面性、时效性和可解释性的要求。

5、第二类为联网搜索增强问答方案。在接收到用户问题后直接调用互联网搜索接口,将网页摘要拼接后作为上下文输入大模型。该方案能够提升信息时效性,可获取最新公共资讯,但是无法接入企业内部知识库、专题知识库,无法有效利用企业内部资料或专题知识库,且网页信息杂乱、权威性不可控,难以保障结果的可控性和一致性。

6、第三类为多知识源简单拼接方案。部分系统可同时接入多个知识库或联网结果,但仅执行无结构的简单文本拼接,未对检索结果进行统一结构化封装、元数据补全、来源映射与去重合并,多源检索结果缺乏统一编排机制。由于知识库检索、联网检索和文件检索往往彼此独立,系统缺少统一的数据准备流程,无法根据用户问题、场景配置和默认知识范围自动组合不同来源的上下文内容。并且,此类方案会在上下文较长时容易造成冗余输入,并且生成的回答无法关联具体来源,输出结果难以追踪来源。

7、第四类为仅返回最终答案的流式对话方案。许多流式输出模型回答往往只把模型生成文本内容以流的形式返回前端,而不记录答案背后使用了哪些文档片段、网页片段、数据集标识、文档标识和会话标识,检索结果缺乏细粒度来源追踪,没有将来源片段、数据集标识、文档标识、网页链接和消息标识随流式过程同步输出。流式问答场景中来源信息与答案信息脱节,来源信息要么单独异步查询,要么根本不返回,前端难以实时展示引用依据,难以同步进行前端展示、交互反馈和结果后台落库。在政企类场景中,问答系统不仅要“能答出来”,还要“说清楚答案来自哪里”。如果不能把答案对应到具体文档、片段、网页来源和会话记录,就难以支撑后续的复核、引用、审计、溯源和反馈闭环,导致结果难以复核、难以审计、难以追责。

8、此外,现有rag技术实现方案还存在以下弱点:

9、多源结果容易重复、冗余和无序。来自不同知识库或联网搜索的片段可能在主题上相似或内容重复,如果缺少标准化合并与排序机制,就会出现上下文冗余、提示词过长、回答内容发散等问题。

10、平台扩展性不足:不同项目往往同时接入多种大模型平台、联网检索平台和知识库平台,如果缺乏统一工厂化接入机制,则后续新增平台时需要改动大量业务代码,系统维护成本高、复用性差。

技术实现思路

1、鉴于此,本发明的目的在于提出一种多源知识库与联网检索融合的可追溯智能问答方法及系统,通过多源统一编排、来源元数据全量补全、流式首包绑定、来源差异化合并、平台工厂化接入等技术手段,构建可追溯、可复核、可扩展、低冗余的企业级智能问答闭环,实现多源知识统一调度、来源全链路可追溯、流式同步输出、结果低冗余、平台低耦合扩展,适用于需要对问答结果进行复核、审计、引用、追责与闭环优化的政企办公、行业研究、知识服务和专业问答等专业领域,满足政企与专业场景对问答全面性、可信性、可审计性、可扩展性的需求,

2、本发明提供多源知识库与联网检索融合的可追溯智能问答方法,如图1所示包括以下步骤:

3、s1、接收用户输入信息,所述用户输入信息至少包括用户问题文本、用户显式选择的数据集标识列表、是否启用联网检索的布尔参数、用户上传文件引用列表、会话标识和用户身份标识;

4、优选地,还可接收业务场景标识、思维增强标志、身份类型标志等扩展输入,用于控制大模型问答行为。

5、s2、根据平台预设业务配置,对用户指定知识库与系统默认知识库执行向量检索、元数据条件过滤、元数据全量补全;

6、s3、构建统一上下文缓存区,并行执行多源检索:若启用联网检索,则调用联网检索服务获取网页结果并标准化封装后写入上下文缓存区;若用户指定知识库,则对每个知识库分别执行向量检索,将检索片段追加至上下文缓存区;

7、具体地,首先构建统一的上下文缓存区 knowledgebuffer。若用户启用联网检索,则调用联网检索通道,将互联网检索结果转换为标准化网页片段结构并写入上下文缓存区;若用户选择了一个或多个知识库,则调用知识库检索通道,对每个知识库分别执行向量检索,再把检索到的片段追加到所述上下文缓存区。

8、同时,系统在用户显式选择的知识库之外,还可根据平台配置自动补充默认知识库,使得同一问题在不增加用户操作复杂度的前提下自动获得公共知识支持。

9、本发明实施例中对应项目中的编排逻辑的代码示例如下:

10、stringbuffer knowledgebuffer = new stringbuffer();

11、if (chatrequestdto.getnetworking()) {

12、chatcommonservice.preparemodelinputwebsearch(

13、chatrequestdto.getquestion(), messagesourceentities, knowledgebuffer

14、);

15、}

16、if (collectionutil.isnotempty(chatrequestdto.getknowledgelist())) {

17、chatcommonservice.preparemodelinputkb(

18、chatrequestdto.getquestion(), chatrequestdto.getknowledgelist(),

19、messagesourceentities, knowledgebuffer

20、);

21、}

22、modelinputchatdto.setknowledge(knowledgebuffer.tostring());

23、对于知识库检索通道,系统根据数据集标识、问题文本和可选文档标识列表构造向量检索请求。检索响应返回后,不只提取片段正文,还进一步对每个片段执行元数据查询,以补充文档来源、发布时间、标题、数据集标识、文档标识和分段标识。

24、通过该元数据补全过程,原本仅用于模型输入的文本片段被提升为可审计、可引用、可过滤的结构化来源对象。后续无论是前端展示、会话追踪还是结果复核,都可以直接引用这些来源对象。

25、在分类约束检索场景下,系统还可在向量检索请求中增加元数据条件,例如分类层级字段、专题字段或业务标签字段。代码示例如下:

26、metadatacondition condition = new metadatacondition();

27、condition.setname("classification0");

28、condition.setcomparisonoperator("=");

29、condition.setvalue(request.getonelevel());

30、metadataconditions.add(condition);

31、vectorsearchrequest.setmetadataconditions(metadataconditions);

32、对于联网检索通道,通过独立的联网检索服务平台获得网页结果,并将每条网页结果标准化为包含标题、链接、正文摘要和来源类型的结构化对象。为避免无上限拼接导致模型上下文过长,可对联网检索结果的总长度设置阈值,并在达到阈值后截断后续内容。

33、本发明的一个实施例中,将联网结果组织为统一格式的网页块,例如包含 `[webpage n start]` 和 `[webpage n end]` 标识的结构化文本块,以便大模型在回答阶段识别每条网页结果的边界。

34、s4、对知识库检索返回的每个文本片段执行元数据补全操作,补全信息包括文档来源、发布时间、文档标题、数据集标识、文档标识和分段标识,将纯文本片段转换为结构化来源对象,输出结构化来源对象;

35、s5、将整合完成的上下文缓存区内容、用户问题、会话标识、文件引用列表封装为大模型请求对象,通过大模型平台工厂调用对应大模型服务,生成流式回答;

36、具体地,将多源检索结果拼接后的上下文写入模型输入对象中,并结合用户问题、会话标识、上传文件引用和响应模式共同构造模型问答请求对象。然后通过统一的大模型平台工厂获取目标平台实例,将请求提交给对应大模型服务。这种工厂化接入方式使业务层无需感知具体平台实现细节,只需面向统一接口构建请求,后续新增或替换模型平台时仅需扩展平台实现类即可。

37、s6、解析流式回答输出的首包响应(第一条响应数据),提取会话标识和消息标识,将所述会话标识和消息标识批量回写至所有结构化来源对象,建立来源对象与当前会话、当前消息的唯一绑定关系;

38、当大模型以流式方式返回结果时,优先解析第一条响应数据,从中提取conversation_id 和 message_id两个标识。随后,将这两个标识写回全部来源对象,使每个来源对象与本次会话和本次消息建立直接绑定关系。

39、本发明实施例中对应项目中的关键逻辑的代码示例如下:

40、for (messagesourceentity messagesourceentity : messagesourceentities){

41、messagesourceentity.setmessageid(messageid);

42、messagesourceentity.setconversationid(conversationid);

43、}

44、list mergedmessagesources =

45、workflowutil.mergemessagesources(messagesourceentities);

46、emitter.send(sseemitter.event().data(

47、workflowutil.convertchinesetounicode(jsonutil.tojson(mergedmessagesources))

48、));

49、通过上述过程,来源信息与答案流在同一条技术链路中被同步返回,前端可以在收到回答内容的同时展示引用来源,后台也可以同步完成会话级落库。

50、s7、按照预设来源类型差异化策略执行来源合并与去重:对联网检索来源保留独立url项,对知识库来源按标题、文档标识或主题执行聚合,合并重复片段并降低冗余;

51、由于不同知识库片段可能标题相同、主题相同或属于同一文档,系统需要对来源对象进行合并与去重。本发明采用来源类型差异化处理机制:对联网搜索来源,由于每条网页都具有独立 url,优先保留独立项;对知识库来源,则可按标题、来源类型或文档标识进行聚合,并将多个上下文片段通过分隔符连接后形成单一来源对象。

52、该合并机制降低了前端展示冗余度,也减少了持久化对象数量,提高了后续查询和审计效率。

53、s8、将大模型流式回答与处理后的结构化来源信息同步返回至前端,并将会话标识、消息标识、用户问题、回答内容、来源记录、用户身份信息持久化至数据库,形成可追溯问答记录。

54、在问答完成后,将会话标识、消息标识、来源记录、用户反馈状态和问题上下文一并落库。这样,后续不仅能够查询历史会话,还能够基于消息标识追踪本次回答具体引用了哪些知识片段和网页信息。

55、优选地,系统还同步构建点赞或点踩记录对象,并与消息标识绑定,从而形成问题、答案、来源、反馈的四元关联结构。

56、进一步地,步骤s3中的联网检索的结果被标准化为包含标题、原始链接、正文摘要、来源类型、发布时间、域名的结构化对象,并设置总长度阈值,超出阈值部分自动截断;同时为每条联网结果添加结构化边界标记,便于大模型识别片段边界。

57、进一步地,步骤s3中的向量检索支持元数据条件约束,约束字段包括分类层级、专题名称、业务标签、发布时间、文档状态,检索请求在向量匹配基础上执行元数据过滤,提升结果精准度。

58、进一步地,步骤s5中的大模型平台工厂采用注解注册、配置注册或服务发现方式管理多个大模型平台实例,业务层通过统一接口调用,新增或替换大模型平台时无需修改主业务流程。

59、进一步地,步骤s6中的流式回答输出与结构化来源信息通过同一sseemitter通道同步输出,前端在接收回答文本的同时实时渲染来源列表、链接与元数据,实现展示与交互同步。

60、进一步地,步骤s7中的去重的规则包括文本完全匹配去重、文档标识重复去重、url重复去重,合并后的来源对象保留所有原始片段引用,不丢失来源信息。

61、进一步地,所述多源知识库与联网检索融合的可追溯智能问答方法还包括反馈闭环步骤:接收用户对回答的点赞、点踩、评论或纠错反馈,将反馈数据与消息标识绑定并持久化,形成问题、答案、来源、反馈四元关联结构,用于后续问答质量优化。

62、进一步地,步骤s3中的多源检索还包括用户上传文件检索:对用户上传的pdf、word、excel文件建立索引并执行检索,将文件片段纳入统一上下文缓存区。

63、本发明还提供多源知识库与联网检索融合的可追溯智能问答系统,用于实现如上述所述的多源知识库与联网检索融合的可追溯智能问答方法,包括:

64、输入接收模块:用于接收用户输入信息,所述用户输入信息至少包括用户问题文本、用户显式选择的数据集标识列表、是否启用联网检索的布尔参数、用户上传文件引用列表、会话标识和用户身份标识;

65、知识库编排模块:用于根据平台预设业务配置,对用户指定知识库与默认知识库执行向量检索、元数据条件过滤、元数据全量补全;

66、联网检索模块:用于构建统一上下文缓存区,并行执行多源检索:若启用联网检索,则调用联网检索服务获取网页结果并标准化封装后写入上下文缓存区;若用户指定知识库,则对每个知识库分别执行向量检索,将检索片段追加至上下文缓存区;

67、请求构建模块:用于对知识库检索返回的每个文本片段执行元数据补全操作,补全信息包括文档来源、发布时间、文档标题、数据集标识、文档标识和分段标识,将纯文本片段转换为结构化来源对象,输出结构化来源对象;

68、平台工厂模块:用于将整合完成的上下文缓存区内容、用户问题、会话标识、文件引用列表封装为大模型请求对象,通过大模型平台工厂调用对应大模型服务,生成流式回答;

69、具体地,平台工厂模块包括大模型平台工厂、联网检索平台工厂、知识库平台工厂,在本发明的一个实施例中,大模型平台工厂(聊天服务平台工厂)和联网检索平台工厂分别通过注解方式注册平台实例,并依据默认平台编码返回对应实现对象,示意代码如下:

70、chatserviceplatform platform =

71、chatserviceplatformfactory.getplatform();

72、websearchserviceplatform webplatform =

73、websearchplatformfactory.getplatform();

74、该实施例的实现方式支持在不修改业务主流程的情况下扩展新的问答平台、工作流平台或联网检索平台。通过扩展实现类并注册即可完成接入,不影响现有业务逻辑。

75、流式追踪模块:用于解析流式回答输出的首包响应(第一条响应数据),提取会话标识和消息标识,将所述会话标识和消息标识批量回写至所有结构化来源对象,建立来源对象与当前会话、当前消息的唯一绑定关系;

76、来源合并模块:用于按照预设来源类型差异化策略执行来源合并与去重:对联网检索来源保留独立url项,对知识库来源按标题、文档标识或主题执行聚合,合并重复片段并降低冗余;

77、持久化与反馈模块:用于将大模型流式回答与处理后的结构化来源信息同步返回至前端,并将会话标识、消息标识、用户问题、回答内容、来源记录、用户身份信息持久化至数据库,形成可追溯问答记录;

78、本发明在同一问答请求中统一调度多个知识库、默认知识库和联网搜索结果;在检索过程中保留数据集标识、文档标识、发布时间、来源地址等元数据,并在回答阶段继续使用这些元数据;在流式输出场景下把答案生成与来源回传进行同步编排;在多源结果之间完成按标题或来源规则的合并去重,从而降低了冗余上下文长度;在后续扩展新平台时保持业务层代码稳定,避免了大规模改造。

79、本发明适用于政企办公、行业研究、知识服务和专业问答等所有对问答可追溯、可复核、可扩展有强需求的场景。

80、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述所述的多源知识库与联网检索融合的可追溯智能问答方法的步骤。

81、本发明还提供一种计算机设备,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的多源知识库与联网检索融合的可追溯智能问答方法的步骤。

82、与现有技术相比,本发明的有益效果在于:

83、本发明提供的多源知识库与联网检索融合的可追溯智能问答方法及系统相较于现有的仅依赖单知识库的问答方案,能够同时整合用户知识库、默认知识库和联网搜索结果,回答覆盖范围更广,适合跨知识域问题;相较于现有的仅把多个检索结果简单拼接后送入模型的方案,保留了完整的来源结构和元数据信息,使得结果具备可解释性、可引用性和可审计性;相较于现有的只返回最终答案的流式问答方案,在流式过程开始时即建立来源对象与消息标识之间的绑定关系,使得前端能够同步展示答案依据,后台能够同步形成历史记录;相较于现有的固定平台调用的实现方案,采用平台工厂化接入机制,新增模型平台或联网检索平台时不需要重写主流程,系统可扩展性更强;相较于现有的来源对象彼此独立、缺乏治理的方案,提供了多源来源对象合并与去重机制,能够显著降低前端展示冗余和存储冗余,并优化大模型上下文长度;不仅提高了智能问答的回答质量,还提高了问答过程的可追踪性、可复核性、可扩展性,具有广泛的推广应用前景。