基于AI多模态融合的智能问答知识库智能体系统及方法与流程
本发明涉及智能问答,具体涉及基于ai多模态融合的智能问答知识库智能体系统及方法。
背景技术:
1、随着人工智能技术的快速发展,基于大语言模型(llm)的智能问答系统在企业知识管理、运维决策、应急处置等领域展现出巨大的应用潜力。尤其是在地下空间(如综合管廊)、城市公共安全、制造业等专业领域,企业积累了大量的专业知识,包括但不限于:制度规范文档、设备技术手册、巡检记录、维修工单、视频监控数据、传感器实时数据流、bim/gis空间数据、cad工程图纸等多源异构知识。上述知识具有以下共同特征:
2、(a)模态异构性:同一业务领域的知识以不同数据形态存在,包括非结构化自由文本(pdf、word、txt等)、半结构化数据(excel表格、json格式的工单记录)、图像数据(设备照片、巡检截图、cad渲染图)、视频数据(监控录像、操作演示视频)、结构化数据(关系型数据库中的设备台账、传感器时序数据)、空间数据(bim模型、gis坐标)。各种模态数据的特征维度、数据分布和语义表达方式从根本上不同,无法直接进行跨模态的语义对齐和统一检索。
3、(b)关系复杂性:企业知识实体之间存在大量的显式结构化关系,例如:设备间的层级归属关系(系统→子系统→设备→部件)、故障与根因之间的因果链关系(故障现象→直接原因→根本原因→处置措施)、巡检点位与风险事件之间的影响关系、规范条款与设备类型的适用关系、维护人员与负责设备之间的责任关系等。上述关系构成了一张高度异构的企业知识关系网络,使得单一依靠文本片段的语义相似度检索无法充分表达这些关系约束。
4、(c)动态更新性:企业知识处于持续更新状态——新设备投运、规范修订、巡检记录新增、传感器数据实时刷新。传统静态知识库无法在不对已有索引进行全量重建的情况下,高效地支持增量式知识更新,将知识更新的延迟控制在实际业务可接受的范围内。
5、(d)答案可验证性需求:在工业场景中,智能问答系统提供的答案直接影响运维决策和现场操作。答案一旦出现事实性错误(即llm的"幻觉"输出),可能导致设备损坏甚至人身安全事故。
6、基于此,本发明设计了基于ai多模态融合的智能问答知识库智能体系统及方法以解决上述问题。
技术实现思路
1、针对现有技术所存在的上述缺点,本发明提供了基于ai多模态融合的智能问答知识库智能体系统及方法。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、基于ai多模态融合的智能问答知识库智能体系统,包括;
4、多模态知识融合引擎:用于将三种不同模态的异构知识源提取各模态的语义向量,并将各模态的语义向量映射至同一d维统一语义向量空间,将映射后的语义向量进行统一管理、统一存储和统一检索,输出按相似度降序排列的检索结果列表;
5、知识图谱构建与推理模块:用于从企业多源异构知识中抽取实体及其间的关系,构建知识图谱,并通过关系图注意力网络在知识图谱上执行消息传播和实体嵌入学习,得到所有实体节点的关系增强嵌入向量集合;
6、知识图谱增强的混合检索引擎:用于对问题q进行检索结果列表检索、关键词bm25检索、知识图谱结构检索,三路结果取并集去重后形成检索集合,引入知识图谱结构关系信号作为第三维排序依据,最终按综合得分降序排列的前个结果作为最终检索结果;
7、领域知识引导的agent(智能体)任务规划模块:用于对问题q进行查询意图识别与复杂度分级,对复杂查询实现知识驱动的子任务拆解,通过dag拓扑排序完成智能调度与并行执行,搭载容错降级机制,最终输出标准化的任务执行结果集合;
8、多源知识联合推理与答案生成模块:用于最终召回结果和任务执行结果集合进行结构化融合,构建多源统一证据集,以层次化结构组织上下文,输入llm生成自然语言答案,并在生成后通过独立的多源一致性验证器对答案进行证据溯源验证和跨源矛盾检测,并输出端最终答案。
9、更进一步的,语义向量包括文本语义向量、视觉语义向量和结构化语义向量。
10、更进一步的,多模态知识融合引擎包括文本知识向量化模块、视觉知识向量化模块、结构化数据向量化模块和跨模态统一索引模块;
11、文本知识向量化模块:用于将非结构化和半结构化的文本文档转化为d维文本语义向量,输出文本语义向量集合,以及每个向量对应的切片元数据;
12、视觉知识向量化模块:用于将企业中的图像资料和视频资料转化为d维视觉语义向量,并输出视觉语义向量集合,以及每个向量对应的元数据;
13、结构化数据向量化模块:用于将关系型数据库中的结构化业务记录、iot(物联网)传感器时序数据、bim(建筑信息模型)/gis(地理信息系统)空间数据通过结构化模板映射器转化为d维结构化语义向量,并输出视觉语义向量集合,以及每个向量对应的元数据;
14、跨模态统一索引模块:用于将文本语义向量、视觉语义向量和结构化语义向量进行统一管理、统一存储和统一检索,输出按相似度降序排列的检索结果列表。
15、更进一步的,知识图谱构建与推理模块包括实体抽取与关系构建模块、属性向量嵌入模块和图神经网络推理模块;
16、实体抽取与关系构建模块:用于根据企业知识和数据源构建知识图谱;
17、属性向量嵌入模块用于为知识图谱中的每个实体节点生成初始属性向量;
18、图神经网络推理模块采:利用知识图谱中的关系拓扑信息,增强每个实体节点的上下文语义表示,为下游的知识图谱增强检索提供具备图结构上下文感知能力的实体嵌入向量;
19、知识图谱增强的混合检索引擎:用于对问题q进行检索结果列表检索、关键词bm25检索、知识图谱结构检索,三路结果取并集去重后形成检索集合,引入知识图谱结构关系信号作为第三维排序依据,最终按综合得分降序排列的前个结果作为最终检索结果。
20、更进一步的,知识图谱增强的混合检索引擎包括多路并行检索模块和知识图谱增强重排序模块;
21、多路并行检索模块:用于接收问题q检索操作请求后,同时触发语义向量检索、关键词bm25(best matching 25,最佳匹配25算法)检索和知识图谱结构检索,并输出语义检索结果集合、关键词检索结果集合和知识图谱检索结果集合;
22、知识图谱增强重排序模块:用于将知识图谱中的结构关系拓扑信息作为独立的第三路排序信号,与语义向量相似度和关键词匹配度共同构成三因素加权融合的检索排序函数。
23、更进一步的,领域知识引导的agent任务规划模块包括意图识别与复杂度评估模块、知识图谱引导的任务分解模块和工具编排与执行控制模块;
24、意图识别与复杂度评估模块:用于自然语言查询p四类查询意图分类,结合多因子加权算法量化查询复杂度,通过阈值判定实现分流,简单查询直接检索输出结果,复杂查询触发后续知识图谱引导的任务分解模块进行知识图谱任务分解;
25、知识图谱引导的任务分解模块;依托知识图谱邻域分析识别关联知识域,结合领域工具约束构造标准化提示词进行推理拆解,并通过格式校验与重试降级机制,最终生成规范可调度的结构化子任务序列;
26、工具编排与执行控制模块:通过分析子任务数据依赖构建dag拓扑执行图,支持分层并行调度,配套超时、异常、循环依赖的容错降级策略,统一记录各子任务运行状态与数据,最终输出完整的任务执行结果集合。
27、更进一步的,多源知识联合推理与答案生成模块包括多源知识融合模块、上下文构建与提示工程模块、llm答案生成与知识溯源模块和多源一致性验证模块;
28、多源知识融合模块:用于将最终召回结果和任务执行结果集来自不同管道的数据进行结构化融合,构建统一的多源证据集evidence;
29、上下文构建与提示工程模块:基于统一的多源证据集evidence和用户原始问题q生成推理提示词;
30、llm答案生成与知识溯源模块:将输入大语言模型llm,大语言模型以自回归方式逐token生成答案answer文本,且为每一个论断输出其依赖的证据源标注,生成答案answer和置信度;
31、多源一致性验证模块:用于在llm生成答案answer后执行独立的后处理验证,生成最终答案。
32、一种问答方法,利用基于ai多模态融合的智能问答知识库智能体系统,包括以下步骤:
33、步骤1:对多源异构知识提取各模态语义向量,统一映射至d维语义向量空间,完成向量的标准化存储与相似度检索,构建全文语义检索底座;
34、步骤2:从企业异构知识中抽取实体与关系搭建知识图谱,通过图注意力网络完成节点消息传播与嵌入学习,生成带关系语义的增强嵌入向量集;
35、步骤3:对问题q融合步骤1跨模态语义检索、关键词bm25检索、步骤2知识图谱结构检索,三路结果取并集去重后形成检索集合,引入知识图谱结构关系信号作为第三维排序依据,最终按综合得分降序排列的前个结果作为最终检索结果;
36、步骤4:对问题q进行查询意图识别与复杂度分级,对复杂查询实现知识驱动的子任务拆解,通过dag拓扑排序完成智能调度与并行执行,搭载容错降级机制,最终输出标准化的任务执行结果集合;
37、步骤5:最终召回结果和任务执行结果集合进行结构化融合,构建多源统一证据集,以层次化结构组织上下文,输入llm生成自然语言答案,并在生成后通过独立的多源一致性验证器对答案进行证据溯源验证和跨源矛盾检测,并输出端最终答案。
38、有益效果:本发明多模态知识融合引擎提供跨模态统一索引的数据基础设施;知识图谱增强的混合检索引擎在三路并行检索的基础上融入图谱结构信号进行融合排序;领域知识引导的agent(智能体)任务规划模块在必要时对复杂查询进行图谱引导的子任务分解和工具编排;多源知识联合推理与答案生成模块将上述模块的输出进行融合推理,生成经多源交叉验证的最终答案,实现了真正的多模态知识统一表征与跨模态检索能力,显著提升了知识检索的准确性和完整性,且实现了基于领域知识引导的自适应任务规划,还可有效抑制了大语言模型的幻觉输出问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com