多源异构数据驱动的企业级智能知识检索系统的制作方法

摘要: 本发明涉及人工智能、自然语言处理、知识图谱、企业信息化、数据检索,具体来说,涉及多源异构数据驱动的企业级智能知识检索系统。背景技术:1、随着企业数字化转型的持续...
多源异构数据驱动的企业级智能知识检索系统的制作方法

本发明涉及人工智能、自然语言处理、知识图谱、企业信息化、数据检索,具体来说,涉及多源异构数据驱动的企业级智能知识检索系统。

背景技术:

1、随着企业数字化转型的持续推进,目前企业知识库检索技术主要包括以下几类技术方案:

2、第一类为传统关键词检索方案,通常基于elasticsearch、solr等搜索引擎,对文档进行分词处理并建立倒排索引,用户输入关键词后返回包含对应关键词的文档列表。其技术局限在于仅支持字面文本匹配,无法理解用户查询的语义内涵。

3、第二类为融合知识图谱与语义向量的智能检索方案,例如公开号为cn202512004863.7的中国专利申请,将文档摘要和文本段分别编码为摘要向量与文本段向量并存入向量数据库,同时构建知识图谱存储概念词组与文本段的关联关系。但该方案仅覆盖文档类数据源,未整合数据库与api接口类数据;检索结果缺乏来源追溯机制;且未涉及企业级权限控制与审计追踪能力。

4、第三类为检索增强的企业多源知识溯源方案,例如公开号为cn202511835485.0的中国专利申请,通过标准化知识图谱检索知识片段,结合大语言模型生成自然语言回答,并基于三维权限模型动态控制回答粒度。但其局限性在于:知识图谱构建仅依赖原始数据源id与生成时间,未针对文档与api数据开展语义化处理;权限模型为角色-组织-数据粒度的粗粒度控制,未实现段落级的内容级细粒度权限管控;溯源机制仅能标识数据源类别,不支持点击跳转至原始数据的溯源验证功能。

5、第四类为现有rag增强检索方案,在向量检索的基础上增加重排序环节。但该类方案仍存在明显不足:通常仅覆盖单一数据源;生成答案后缺乏有效的来源追溯机制;同时对业务实体间的关系推理能力较弱。

6、综上,现有企业知识库检索技术普遍存在以下技术缺陷:

7、一是多源数据孤岛问题突出。企业知识分散在文档、数据库、api三类异构数据源中,现有方案仅能覆盖其中一类数据,无法实现三类异构数据的统一语义表示与联合检索。

8、二是检索精度存在固有短板。纯向量检索对结构化数据的语义理解能力较弱,纯关键词检索对非结构化文档的召回率较低,二者均无法兼顾不同类型数据的检索效果。

9、三是答案生成缺乏可追溯性。大模型生成答案后无法明确告知用户结论的数据来源,无法满足企业审计与合规管理中所有结论有据可查的要求。

10、四是缺失企业级应用配套特性。现有检索方案未充分考虑企业场景下的分级权限控制、数据时效性管理、全链路审计追踪等刚需特性,落地适配成本高,难以直接满足企业级生产部署要求。

11、针对相关技术中的问题,目前尚未提出有效的解决方案。

技术实现思路

1、针对相关技术中的问题,本发明提出多源异构数据驱动的企业级智能知识检索系统,以克服现有相关技术所存在的上述技术问题。

2、为此,本发明采用的具体技术方案如下:

3、多源异构数据驱动的企业级智能知识检索系统,该系统包括:

4、查询解析与意图识别模块,用于根据用户自然语言查询,进行意图分类、实体识别和查询重写,输出查询意图数据;

5、多源异构数据表示模块,用于对多源异构数据分别进行差异化语义化处理,构建语义索引;

6、混合推理检索模块,用于根据查询意图数据在语义索引中进行检索,并对检索结果依次进行图谱推理、向量检索及跨源聚合,输出排序后的事实片段序列;

7、答案生成与溯源模块,用于将排序后的事实片段序列中的各事实片段及关联的数据源定位标识作为上下文输入大语言模型,生成包含引用来源标记的自然语言答案;

8、权限与审计模块,用于在检索全链路进行分级权限校验与内容密级过滤,并对完整检索行为进行不可篡改的审计记录;

9、其中,权限与审计模块分别与查询解析与意图识别模块、多源异构数据表示模块、混合推理检索模块、答案生成与溯源模块建立双向数据连接,在检索全流程执行过程中进行权限校验和审计记录。

10、优选地,查询解析与意图识别模块包括:

11、意图分类子模块,用于根据用户自然语言查询,识别用户自然语言查询对应的意图类型,输出意图分类结果;

12、实体识别子模块,用于基于用户自然语言查询,提取用户自然语言查询中的关键实体与约束条件,输出实体识别结果;

13、查询重写子模块,用于根据意图分类结果与实体识别结果进行查询重写,输出查询意图数据。

14、优选地,多源异构数据表示模块包括:

15、文档语义化子模块,用于对文档类数据源进行分块处理,对各文本块分别进行语义向量编码和实体关系抽取,并为各文本块绑定元数据,生成文档类语义索引;

16、数据库语义化子模块,用于基于关系型数据库获取表结构、字段注释和外键关系,抽取代表性样本数据生成数据摘要,并保留查询语言链路,生成数据库类语义索引;

17、api语义化子模块,用于提取接口路径、请求参数、返回字段和功能描述,对接口功能描述进行语义向量编码,并建立接口参数与业务实体的映射关系,生成api类语义索引;

18、其中,所述语义索引包括文档类语义索引、数据库类语义索引与api类语义索引。

19、优选地,混合推理检索模块包括:

20、图谱推理子模块,用于根据查询意图数据在语义索引中进行实体定位与图遍历,得到目标实体及关联关系路径;

21、向量检索子模块,用于基于目标实体及关联关系路径缩小检索范围,并在缩小的检索范围内进行多源异构数据的语义向量召回,输出多源候选事实片段;

22、跨源聚合子模块,用于多源候选事实片段依次进行综合排序、去重合并及冲突检测,输出排序后的事实片段序列。

23、优选地,根据查询意图数据在语义索引中进行实体定位与图遍历,得到目标实体及关联关系路径包括:

24、根据查询意图数据中的目标实体列表,在语义索引的图谱中通过节点标签索引进行匹配定位,得到起始实体节点;

25、以起始实体节点为起点,按照预设遍历深度执行广度优先图遍历,得到候选关联实体节点、对应关联关系及从起始实体节点到各候选关联实体节点的遍历路径;

26、基于路径长度与关联关系强度计算候选关联实体节点及遍历路径的置信度评分,根据置信度评分进行筛选,输出目标实体及关联关系路径。

27、优选地,根据查询意图数据在语义索引中进行实体定位与图遍历,得到目标实体及关联关系路径还包括:

28、当查询意图数据对应关系推理型查询时,在广度优先图遍历的基础上,计算起始实体节点与目标实体节点之间的最短关联关系路径,并将最短关联关系路径作为置信度评分的计算依据。

29、优选地,基于目标实体及关联关系路径缩小检索范围,并在缩小的检索范围内进行多源异构数据的语义向量召回,输出多源候选事实片段包括:

30、根据目标实体及关联关系路径,确定各目标实体在语义索引中的关联节点及关联范围,得到缩小的检索范围;

31、在缩小的检索范围内,针对各类多源异构数据对应的语义向量分别执行相似度匹配,并召回各类异构数据片段;

32、对召回的各类异构数据片段绑定对应数据源定位标识与实体关联信息,经格式归一化处理后输出多源候选事实片段。

33、优选地,在缩小的检索范围内,针对各类多源异构数据对应的语义向量分别执行相似度匹配,并召回各类异构数据片段包括:

34、在缩小的检索范围内,对文档类数据源进行语义向量相似度匹配,召回与查询意图语义相关的文档块;

35、在缩小的检索范围内,对数据库类数据源进行语义向量相似度匹配,基于查询语言链路生成并召回查询语句;

36、在缩小的检索范围内,对api类数据源进行语义向量相似度匹配,基于接口功能语义向量生成并召回调用参数。

37、优选地,答案生成与溯源模块包括:

38、溯源标识绑定子模块,用于为排序后的事实片段序列中各事实片段匹配绑定对应的数据源定位标识,整合形成上下文信息;

39、答案生成子模块,用于将上下文信息输入大语言模型,生成包含引用来源标记的自然语言答案;

40、溯源验证子模块,用于建立引用来源标记与数据源定位标识的映射关系,并支持基于引用来源标记跳转至对应的原始数据位置。

41、优选地,权限与审计模块包括:

42、权限控制子模块,用于基于用户身份信息与查询意图数据,在检索全链路各环节执行数据源级权限校验与内容级密级过滤,拦截越权检索请求;

43、时效管理子模块,用于针对不同权限等级、不同更新频率的多源异构数据配置差异化缓存时效与刷新策略;

44、审计追踪子模块,用于获取检索全链路中的完整检索行为数据并写入不可篡改的审计日志,并基于审计日志生成审计报告。

45、本发明的有益效果为:

46、1、本发明首创文档-数据库-api三类异构数据的统一语义表示框架,将三类异构数据统一映射至同一语义空间,解决了现有技术仅能覆盖单一数据源的问题,真正打破企业知识的数据孤岛。

47、2、本发明首创图谱推理定位-向量精准召回-跨源聚合去重的三层混合检索流程,相较于纯向量检索方案,本发明对涉及多跳关系、业务实体关联的复杂查询具有更强的推理能力,检索精度显著提升。

48、3、本发明首创答案生成的多源溯源验证机制,每个用于生成答案的事实片段均绑定精细化的数据源定位标识,实现了答案的完全可追溯、可复核、可验证,满足企业对审计合规的刚性需求。

49、4、本发明构建了完善的企业级管控体系。在权限控制方面,采用数据源级与内容级的双重权限控制;在数据时效性管理方面,针对三类数据源实施差异化的缓存策略;在审计追踪方面,保审计日志不可篡改并可定期生成审计报告。上述企业级特性的内置使本发明可直接部署于金融、医疗、政务等对数据安全和合规要求严苛的实际业务场景,具备良好的产业应用前景。