基于多模态的知识库垂直领域智能问答工程化方法与流程

摘要: 本发明涉及智能问答,具体为基于多模态的知识库垂直领域智能问答工程化方法。背景技术:1、当前垂直领域智能问答技术主要分为三类方案,均存在明显缺陷。2、第一类为直接...
基于多模态的知识库垂直领域智能问答工程化方法与流程

本发明涉及智能问答,具体为基于多模态的知识库垂直领域智能问答工程化方法。

背景技术:

1、当前垂直领域智能问答技术主要分为三类方案,均存在明显缺陷。

2、第一类为直接调用大语言模型进行问答,该方案可理解自然语言并生成流畅文本,但在专业、时效、地域、版本、规则约束显著的垂直场景中,易生成错误内容即产生幻觉,且无法区分答案来源,用户难以判断可信程度。

3、第二类为传统检索增强生成问答系统,通过知识库检索结合大模型生成答案,可降低部分幻觉,但仅依赖语义相似度召回,未综合考量知识来源、文档版本、适用条件、更新时间、业务标签、引用依据等要素,易召回错误知识或混合不同条件知识,答案精度不足。

4、第三类为固定知识库或企业知识库问答系统,仅能应答已有问题,对未覆盖问题直接拒答或泛化回答,缺乏明确的知识库答案与联网搜索答案区分机制,无法实现受控兜底应答。

5、综上,现有技术存在以下核心缺陷:

6、未建立知识库答案与联网搜索答案的明确区分机制,答案来源混淆,可信度难以核验;

7、缺乏严格的知识引用标注机制,答案不可追溯,不利于人工核验与合规使用;

8、当本地知识库未检索到足够证据、无法直接支撑回答时,现有系统缺少受控兜底处理流程,容易出现直接拒答,或者在缺乏可靠依据的情况下生成不确定甚至编造答案的问题;

9、不具备基于知识库的统计分析与逻辑推理能力,仅能应答事实类问题;

10、多模态输入解析与多模态输出编排能力不足,交互与呈现形式单一;

11、知识库自学习更新机制不完善,人工维护效率低,直接写入易造成知识库污染;

12、长答案输出易出现截断、遗漏、引用错乱、格式缺失等问题,可用性差;

13、知识文档采用固定长度切分,语义断裂,检索准确性低;

14、采用单一检索通道,召回不完整,难以适配医保等高规则约束领域。

15、因此,亟须构建一种能够实现多模态统一处理、证据驱动可信回答、联网兜底、统计推理、自适应切分、混合检索、知识图谱推理、垂直领域合规分析、长答案完整性控制及安全自学习更新的一体化工程化技术方案。

技术实现思路

1、本发明的目的在于提供基于多模态的知识库垂直领域智能问答工程化方法,通过对用户多模态输入问题进行统一解析,补全上下文并识别意图,再从知识库召回知识并评分判断证据是否充足;根据判断结果,按知识库可信回答或联网兜底生成答案;针对统计推理类问题自动转为查询计划完成计算判断,按类型输出对应格式,长文本通过大纲、状态机与断点续写保证完整;并收集候选知识经审核后版本化更新知识库,形成全程可追溯的垂直领域智能问答闭环,解决了上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、基于多模态的知识库垂直领域智能问答工程化方法,包括以下步骤:

4、s1:接收用户输入的多模态问题,将语音转写为文本,对图片与文档进行文字与结构提取,对表格进行字段与关系识别,将不同模态的输入问题统一转换为标准化问题表征;

5、s2:在多轮对话中读取历史对话内容,并对历史上下文进行筛选、压缩和指代消解,筛选历史对话关键信息,形成可检索问题;

6、s3:对用户问题进行意图识别,将问题划分为知识查询、规则解释、统计分析、逻辑推理、图片理解、表格分析、处方分析、费用清单分析、报销判断、联网搜索及知识库更新建议;根据识别结果,将问题分流至不同处理链路;

7、s4:对知识文档按类型执行自适应切分,绑定元数据,构建向量库、全文索引、结构化库、知识图谱融合的混合索引;并通过浏览器插件智能体、本地桌面ocr智能体及anysearch工具,对内部规定、企业制度及行业细则非公开资料进行采集、分类和触达,构建搜索引擎无法获取的专属知识库,形成协同采集架构;所述自适应切分包括:父子切分、固定长度切分、表格行切分、语义切分、结构化切分、图片补偿切分、问答对切分、案例切分;所述元数据包括文档名称、章节、条款、版本、生效时间、失效时间、适用地区、适用对象、医保编码、来源等级;

8、s5:基于用户问题生成多查询变体并执行多通道混合检索,对候选知识去重、融合及多维评分,判断是否存在可支撑回答的有效证据;所述多通道混合检索包括:向量检索、关键词检索、全文检索、结构化查询、规则匹配、知识图谱多跳查询;多维评分因素包括语义相似度、关键词匹配度、知识来源等级、更新时间、文档版本、适用条件、医保编码匹配度、图谱路径长度、上下文一致性;

9、s6:根据识别出的实体,在知识图谱中执行一跳、二跳或多跳关系查询,形成实体关系路径、关联证据及推理依据;并将图谱推理结果与检索证据融合,为后续合规分析、报销判断、风险识别提供关联支撑;

10、s7:对合同合规审查、招投标合规审查、公办食堂采购合规审查场景,将优先引用内部规则知识库的相关条款作为核心依据;对处方、用药清单、费用清单、发票、检查单及检验单图片或文档资料进行结构化识别,提取药品、项目、金额、医保编码、诊断及医疗机构关键信息;结合医保目录、政策条款、业务规则及知识图谱关系,完成报销可行性判断、费用合理性判断及医疗风险分析,并输出确定性结论、风险提示与引用依据;

11、s8:根据问题类型与答案内容,自动适配文本、表格、图表、引用卡片、分析报告的多模态输出形式。

12、进一步地,还包括以下步骤:

13、s9:对长文本回答,先生成大纲,回答大纲包括章节标题、每一章节的回答目标、所需引用依据、预期输出格式以及完成状态;

14、通过状态机跟踪生成进度,在出现截断、遗漏时按断点自动续写,完成完整性校验。

15、进一步地,还包括以下步骤:

16、s10:在运行过程中收集用户反馈、人工修正内容、低置信问题、联网搜索高频问题、用户满意问答对以及新增业务资料进入候选知识池,对候选知识进行多重审核,将通过审核的候选知识进入正式知识库;

17、当候选知识通过审核后,生成新的知识版本,并同步更新相关索引、引用编号和元数据。

18、进一步地,s5中,判断是否存在可支撑回答的有效证据,包括以下步骤:

19、若判定知识库证据充足时,则进入知识库可信回答模式;在知识库可信回答模式下,基于知识库证据生成答案,同步标注文档名称、条款、版本、更新时间、引用编号后输出可信答案。

20、若判定知识库证据不充分时,不生成确定性结论,则进入联网搜索兜底模式;在联网搜索兜底模式下,调用外部可信资料源或公网搜索以生成联网参考答案,明确标注联网搜索答案/外部参考答案,输出参考答案并提示需人工确认。

21、进一步地,s5中,判断是否存在可支撑回答的有效证据,还包括以下步骤:

22、对用户自然语言问题进行任务解析,识别当前问题是否属于统计计算类问题、趋势分析类问题、条件筛选类问题、规则判断类问题或综合推理类问题;

23、若属于统计分析或逻辑推理的问题,则将用户自然语言问题转换为统一查询计划;

24、若属于结构化知识,则将统一查询计划转换为结构化查询语句;对于图谱型知识,将统一查询计划转换为图查询语句;

25、若属于文档型知识,则将统一查询计划转换为语义检索条件、关键词检索条件或片段过滤条件;

26、根据统一查询计划,从知识库中识别可统计对象、统计字段、时间范围、分类维度和筛选条件,并对知识库中的结构化数据、半结构化数据、文档片段、问答记录或已抽取知识事实进行计算分析,得到统计结果。

27、进一步地,s5中,判断是否存在可支撑回答的有效证据,还包括以下步骤:

28、若属于推理类问题,则基于知识库中的规则、条款、知识图谱关系、时间条件、适用对象、上下文证据和业务约束进行逻辑判断,生成推理结论;

29、在输出统计分析结果或推理结论时,同时标注参与计算或推理的知识来源、规则依据、统计范围和中间计算结果;

30、若统计或推理所需数据在当前知识库中不完整,则提示当前结论仅基于现有知识库内容生成,并说明缺失的数据范围或需要补充的知识内容。

31、进一步地,s9中,通过状态机跟踪生成进度,包括以下步骤:

32、在进行分段生成时,维护全局生成状态机或结构化状态队列,记录每一段落、表格、图表、引用、结论和补充说明的生成状态;

33、对长文本回答,先生成包括章节标题、每章回答目标、所需引用依据、预期输出格式的回答大纲,初始化包括未开始、生成中、已完成、待补全、待校验、异常中断六种状态的生成状态队列;

34、分段生成答案内容并绑定引用依据后开展单段完整性检查,单段完整性检查从段落是否缺失、表格是否完整、引用是否遗漏、结论是否缺失、格式是否异常五个维度逐项核验;

35、若核验结果判定存在缺失或中断,则根据全局生成状态机或结构化状态队列记录的断点位置,自动生成续写指令;

36、当全部分段生成完成后,系统进行最终完整性校验;

37、若最终校验仍存在缺失内容,则继续触发补全流程;

38、若不存在缺失或中断,则进入最终完整性校验,校验通过后输出完整长答案。

39、进一步地,所述知识库为文档库、向量库、全文索引库、知识图谱、规则库、结构化数据库、问答对库、业务数据集中的一种或多种组合。

40、与现有技术相比,本发明的有益效果是:

41、1.通过在回答前,先判断当前知识库是否存在足够证据,若知识库存在答案,则基于知识库进行精确回答,并标注引用来源,避免大语言模型凭空生成答案,提升了垂直领域问答的可信度;当知识库不存在答案时,系统触发联网搜索兜底,并明确标注该答案属于联网搜索答案或外部参考答案,避免用户将外部参考内容误认为知识库确定内容,实现了知识库答案与联网搜索答案的清晰区分。

42、2.本发明不仅能够回答单条知识查询问题,还能够根据现有知识库进行统计分析、趋势对比、规则判断和逻辑推理,使知识库从静态资料库升级为可分析、可推理的知识服务系统,增强了知识库的分析和推理能力。

43、3.通过候选知识池、多重审核、版本管理和热更新机制,使知识库能够根据用户反馈、人工修正和联网搜索结果持续完善,同时避免错误知识直接污染正式知识库,实现了知识库的安全自学习和持续更新。

44、4.通过大纲规划、分段生成、引用绑定和完整性校验机制,减少长回答中出现的中途截断、段落遗漏、表格不完整和引用错乱问题,解决了长答案输出不完整的问题,可应用于政务、医疗、医保、金融、教育、企业知识管理、工业运维、客服知识库等多种垂直领域场景。

45、5.通过父子切分、固定长度切分、行切分、语义切分、结构化切分、图片识别切分等多种文档切分方式,使政策条款、医保目录、报销规则、费用项目和问答资料能够按照业务语义进行组织,避免简单切分造成的上下文断裂,提高知识召回和引用准确性。

46、6.通过医保政策知识图谱建立症状、疾病、诊断、药品、诊疗项目、医保目录、支付类别、限定支付范围、参保类型、地区政策和费用规则之间的关系,识别用户上传的处方图片、用药清单、费用明细和票据资料,并结合医保报销目录、结构化规则、向量检索结果和知识图谱关系,对药品能否报销、是否存在限定支付条件、是否存在重复收费、费用异常或过度医疗风险进行辅助分析,使系统能够根据用户输入的单一实体进行多跳扩展和关联推理,从而回答用户未明确表达但与医保政策相关的延伸问题,提高了处方、用药清单和费用清单的智能审核能力。