基于大模型与企业知识库的企业知识与业务数据查询方法与系统

摘要: 本发明涉及人工智能大模型、企业数字化数据服务,更具体的说是涉及一种基于大模型与企业知识库的企业知识与业务数据查询方法与系统。背景技术:1、当前企业数字化建设中,...
基于大模型与企业知识库的企业知识与业务数据查询方法与系统

本发明涉及人工智能大模型、企业数字化数据服务,更具体的说是涉及一种基于大模型与企业知识库的企业知识与业务数据查询方法与系统。

背景技术:

1、当前企业数字化建设中,企业知识查询、业务数据查询分为两套独立运行的系统,具体方案与实现流程如下:

2、企业知识库系统:存储规章制度、业务流程、产品资料、运维手册等文档,多采用关键词检索模式,员工输入关键词匹配文档标题或正文,系统返回完整文档,需员工人工阅读筛选所需答案;部分轻量化接入通用大模型的知识库工具仅支持简单问答,无法联动企业业务数据。

3、企业数据中台:存储业务订单、财务、生产、客户等结构化业务数据,配套标准数字字典定义数据表、字段含义、数据关联关系。现有数据查询方式分为两种:一是由技术人员编写sql语句执行查询,普通业务人员无代码能力无法自主操作;二是通过低代码可视化平台,需拖拽组件、配置筛选条件生成报表,操作步骤繁琐,无法直接使用日常自然语言完成提问查询。

4、现有两类系统相互独立,无统一交互入口,员工查询业务知识需登录知识库系统,查询业务数据需切换至数据中台,查询完成后需手动复制数据到excel、bi工具中手动制作图表,整体业务流程割裂。

5、现有技术存在以下缺陷与不足:

6、(1)知识库检索智能化程度低,关键词匹配易出现答非所问,传统关键词检索仅匹配文字字符,无法理解用户自然语言的语义;通用公有大模型未接入企业私有知识库,回答内容脱离企业内部专属业务规则,存在信息不准确、企业内部信息泄密的风险。

7、(2)业务数据查询门槛高,非技术人员无法自主取数,数据中台的使用依赖sql代码编写或复杂的可视化配置,业务人员普遍不熟悉数据表结构、字段含义、关联逻辑;数字字典仅作为后台文档单独存放,无法与查询工具联动,用户不清楚字段对应的业务含义,自然语言提问无法转化为可执行的查询语句。

8、(3)知识问答与数据查询场景割裂,无法处理混合问答需求,员工日常工作需求常同时包含业务知识咨询与业务数据统计,例如查询上月客户投诉流程,并统计各区域投诉数量并生成柱状图,现有系统只能单独处理知识查询或单独处理数据查询,无法一体化响应此类复合需求。

9、(4)图表生成依赖全人工操作,执行效率低下,获取查询数据后,员工需导出数据集、手动选择图表类型、配置坐标轴、筛选统计维度,多轮操作耗时较长,无法根据用户自然语言指令自动匹配适配的图表类型并渲染输出。

10、(5)数据安全管控能力薄弱,公有大模型直连企业数据中台易泄露内部经营数据;现有查询工具缺少完善的权限校验机制,不同岗位员工无数据访问分级控制,存在越权查询敏感业务数据的安全隐患。

11、因此,如何提供一种基于大模型与企业知识库的企业知识与业务数据查询方法与系统是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此,本发明提供了一种基于大模型与企业知识库的企业知识与业务数据查询方法与系统,旨在解决上述技术问题。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种基于大模型与企业知识库的企业知识与业务数据查询方法,包括以下步骤:

4、s1、通过统一交互前端接收用户输入的自然语言提问,对提问文本进行语义解析,区分提问的需求类型;

5、s2、读取当前登录用户的岗位权限信息,执行权限校验,过滤该用户无权限访问的知识库资源与业务数据资源;

6、s3、根据识别出的需求类型进行任务分发与对应处理;若为知识类需求,执行企业私有知识库检索并基于检索结果生成知识答案;若为数据类需求,执行业务数据查询并返回结构化数据集;若为知识与数据复合类需求,同步执行知识检索处理与数据查询处理,融合两类处理结果生成综合回答;

7、s4、针对数据查询结果,根据提问语义自动匹配适配的可视化形式,生成对应的可视化图表;

8、s5、统一整合知识答案、数据明细与可视化图表,通过统一交互前端向用户返回结果,并支持结果导出;全流程留存操作日志,用于审计追溯。

9、进一步的,所述s2中,统一交互前端对接企业统一登录系统,同步传递用户身份与岗位权限信息;权限校验基于预先配置的企业分级权限规则执行,拦截越权查询指令并返回权限不足提示。

10、进一步的,所述s3中,知识类需求的处理具体为:

11、调用私有知识库检索模块,采用大模型语义向量检索方式匹配企业内部文档,基于检索到的文档片段由大模型提炼生成精准答案,不输出无关的完整文档;

12、数据类需求的处理具体为:

13、调取企业统一数字字典,解析提问中业务名词对应的数据表、字段及关联关系,由大模型自动生成合规可执行的sql查询语句,下发至企业数据中台执行查询并获取结构化数据集。

14、进一步的,所述s4中,适配的可视化图表类型包括折线图、柱状图、饼图、表格;由图表渲染模块内置的多种可视化模板,自动匹配统计维度与指标完成图表渲染,输出支持在线预览、下载的图表图片或报表文件。

15、进一步的,所述s5中,留存的操作日志包含提问内容、访问数据范围、操作人信息、操作时间,永久存储用于追溯。

16、一种基于大模型与企业知识库的企业知识与业务数据查询系统,包括统一交互前端模块、语义解析与任务分发模块、权限安全校验模块、企业私有知识库检索模块、数据中台联动模块、智能图表渲染模块,各模块通过企业内部api接口互联互通,统一交互前端模块连接语义解析与任务分发模块;语义解析与任务分发模块双向连通权限安全校验模块;权限安全校验模块分别连通企业私有知识库检索模块与数据中台联动模块;数据中台联动模块与语义解析与任务分发模块进行数据交互;语义解析与任务分发模块连接智能图表渲染模块;

17、所述统一交互前端模块为系统统一交互入口,用于接收用户自然语言输入,展示整合后的问答结果;

18、所述语义解析与任务分发模块以私有化部署的大语言模型为核心基座,用于解析提问语义、识别需求类型,并向对应模块分发处理任务;

19、所述权限安全校验模块用于校验用户岗位权限,过滤用户无权限访问的资源,并存储全流程操作审计日志;

20、所述企业私有知识库检索模块用于对接企业知识库文档库,根据任务指令检索匹配的知识内容;

21、所述数据中台联动模块用于对接企业业务数据中台,根据任务指令执行结构化数据查询;

22、所述智能图表渲染模块用于根据任务指令与查询数据集自动生成可视化图表。

23、进一步的,所述语义解析与任务分发模块内置语义分类、实体识别、意图抽取能力;所述语义解析与任务分发模块接收前端提问后,拆解区分知识意图、数据查询意图与复合意图并生成知识库检索指令、sql查询语句、图表生成指令并下发至对应模块;

24、所述企业私有知识库检索模块内置向量数据库,预先将企业存量业务文档向量化存储;接收检索指令后,基于语义相似度匹配相关文档片段,将参考素材返回至大模型,由大模型提炼生成精准答案。

25、进一步的,所述数据中台联动模块包含数字字典解析子单元、sql执行子单元;其中数字字典预先存储企业全部数据表、字段、业务释义、数据关联规则;接收到数据查询意图后,数字字典解析子单元将自然语言业务词汇映射为数据库标准字段,大模型基于映射结果生成符合数据中台规范的sql查询语句,由sql执行子单元向数据中台发起查询并接收返回的结构化数据集。

26、进一步的,所述智能图表渲染模块内置多种可视化模板,接收数据集与图表类型指令后,自动匹配统计维度与指标完成图表渲染,输出可在线预览、下载的图表图片或报表文件;

27、所述权限安全校验模块内存储企业分级权限配置,用于校验用户可查看的文档范围、可访问的数据表与字段,拦截越权查询指令并返回权限不足提示,汇总全部模块的操作日志并统一存储。

28、进一步的,系统还包括企业统一登录系统、企业私有文档知识库、企业业务数据中台存储库;

29、所述企业统一登录系统对接统一交互前端模块,用于用户身份认证与岗位权限信息传递;

30、所述企业私有文档知识库对接企业私有知识库检索模块,用于存储企业内部规章制度、业务流程、产品资料、运维手册类文档;

31、所述企业业务数据中台存储库对接数据中台联动模块,用于存储企业业务订单、财务、生产、客户类结构化业务数据。

32、相较于现有技术,本发明采用私有知识库向量检索和本地大模型结合的方案,不依赖公有大模型的外部数据,回答全部基于企业内部文档生成;用语义检索替代传统关键词检索,大幅减少无关文档推送,答案精准度提升60%以上,规避公有模型泄露企业内部资料的风险;依托数字字典自动映射业务名词与数据库字段,普通业务人员仅需用自然语言描述需求,系统即可自动生成sql语句,无需掌握数据库语法、数据表结构,可减少80%技术人员协助取数的工作量;单一对话窗口同时支持知识咨询、数据查询、复合需求问答,无需切换多个系统,原本需3-5步切换、复制粘贴的操作简化为一次提问,整体查询效率提升70%以上;系统根据提问语义自动识别统计维度、指标,匹配最优图表类型,无需人工拖拽配置,查询数据后即时输出可视化图表,报表制作时间从十几分钟缩短至秒级;全流程绑定用户岗位权限,自动屏蔽无权限文档、敏感数据表与字段;完整留存操作审计日志,可追溯数据访问行为,杜绝内部敏感经营数据越权泄露的问题;无需替换企业现有知识库、数据中台、数字字典,仅通过标准api接口对接改造,改造成本低、部署周期短,兼容企业存量数字化系统;减少专职数据分析师、知识库运维人员的重复答疑、取数、制作报表工作,节约人力投入。