基于图搜索与大语言模型协同的智能问数方法、系统及介质与流程
本发明涉及一种基于图搜索与大语言模型协同的智能问数方法、系统及介质,属于数据库智能查询。
背景技术:
1、随着企业数字化转型的深入,各类业务系统(如制造执行系统、客户关系管理系统等)积累了海量结构化数据,这些数据通常分布在数十张甚至上百张相互关联的数据库表中。业务人员需要频繁跨表查询以进行运营分析、成本核算和业务审计。在工程实践中(如为制药mes构建查询能力)发现,大多数日常查询涉及固定的业务指标和维度字段,且这些字段在查询逻辑中通常具有明确的关联路径。
2、现有智能问数技术方案主要包括四类:
3、(1)基于模板和规则的查询方案:通过预定义查询模板响应问题,准确率高但覆盖范围极其有限,无法应对未预定义的个性化查询场景;
4、(2)传统模型驱动的text-to-sql方案:利用机器学习模型将自然语言转换为sql,泛化能力优于模板方案,但对训练数据依赖强,跨数据库架构迁移时性能下降明显;
5、(3)基于大语言模型的text-to-sql方案:利用大模型理解与生成能力直接输出sql,灵活性取得突破,但在复杂多表关联时极易出现关联路径错误或逻辑偏差,且生成过程缺乏可验证性,难以满足生产级数据准确性要求;
6、(4)以图结构辅助表关联推理的改进方案,例如:
7、现有专利申请公布号(cn121117006a)公开一种基于大模型及er图谱的sql生成方法及装置:解析用户查询得到候选表集合,基于er图谱查询候选表之间关联路径及中间表,将中间表信息、候选表集合及查询语句共同输入大语言模型由其输出sql。
8、现有专利申请公布号(cn121722785a)公开一种基于外键补全和知识图谱的nl2sql方法:从数据库元数据与数据内容提取候选外键,经物理层唯一性验证、词法层匹配、语义层大模型仲裁的三层漏斗校验构建schema知识图谱;基于查询确定种子表集合,在图谱上计算连接路径补全中间表扩展为子图表,将其输入大语言模型生成多条候选sql,执行后按结果一致性投票选出最终sql,未形成多数派或全部执行失败时扩大路径搜索范围回溯迭代。
9、上述方案在sql生成方式与衍生计算两方面仍存在明显不足:在sql生成上,图结构均仅用于辅助候选表召回、字段筛选与关联路径查找,最终sql仍由大语言模型概率式生成——需多轮调用大模型分别完成候选表解析、字段提取与sql生成,关联逻辑正确性缺乏确定性保证;需生成多条候选sql并执行结果一致性投票,未形成多数派或全部失败时还需扩大路径搜索回溯迭代,多次模型推理与数据库执行使端到端延迟和资源开销偏高,难以满足高频查询场景的时效性要求。在衍生计算上,上述方案聚焦于自然语言到单条sql的转换,缺乏对查询结果之上衍生逻辑的处理机制:对无法由单条sql直接表达的衍生计算(多步骤运算、自定义聚合、迭代统计等),只能依赖大模型以嵌套子查询、窗口函数等复杂sql形式表达,出错概率高,系统对衍生分析缺乏统一灵活支持。
10、综上,面向复杂企业数据系统的智能问数,核心挑战在于如何在数据结构高度复杂、关联关系密集的场景下,兼顾查询的高准确性、系统灵活性与对衍生分析需求的支撑能力。
技术实现思路
1、针对上述现有智能问数方案中复杂表结构下sql关联准确率较低、生成过程缺乏正确性保证与可追溯性、复杂衍生逻辑表达困难、schema信息冗余浪费上下文窗口、以及推理效率低响应延迟高等缺陷,提供一种能够提高多表关联查询准确性与可解释性、并灵活支持衍生计算的基于图搜索与大语言模型协同的智能问数方法、系统及介质。
2、为实现上述目的,本发明提供如下技术方案:
3、本发明提供一种基于图搜索与大语言模型协同的智能问数方法,包括以下步骤:
4、接收用户的自然语言查询请求,通过大语言模型对所述自然语言查询请求进行意图理解和字段语义匹配,从预配置的查询字段列表中确定与所述自然语言查询请求相关联的目标字段集合;其中,所述预配置的查询字段列表中每个查询字段配置有字段元数据,所述字段元数据至少包括字段标识符、字段名称、字段描述、来源表、来源列及数据类型。
5、根据所述目标字段集合中各目标字段及其配置的限定条件字段的来源表和来源列,基于数据库的外键关系构建表关联图;以所述目标字段集合中第一个查询字段的来源表作为起始节点,在所述表关联图中执行图搜索算法,搜索覆盖所述目标字段集合中全部目标字段及其配置的限定条件字段所在表的最短关联路径,并依据所述最短关联路径及各目标字段及其配置的限定条件字段的来源列自动组装生成多表关联sql查询语句,提交数据库执行,获取基础数据结果集。
6、由所述大语言模型基于所述基础数据结果集判断所述自然语言查询请求是否需要在所述基础数据结果集之上进行衍生计算;若是,则由所述大语言模型基于所述基础数据结果集的样本数据生成数据处理脚本,在沙箱环境中利用所述样本数据验证所述数据处理脚本的正确性,验证通过后将所述数据处理脚本应用于全量基础数据执行,得到最终处理结果;若否,则以所述基础数据结果集作为最终处理结果。
7、将所述最终处理结果返回给用户。
8、进一步地,所述表关联图为以数据库表为节点、以外键关联关系为边的无向图;在构建所述表关联图时,从数据库系统表中提取表结构和外键约束信息,每个节点记录对应表的表名、列名列表、数据类型和主键信息,每条边记录两个节点之间的外键关联条件及关联类型。
9、进一步地,所述图搜索算法为广度优先搜索(bfs)算法,所述bfs算法包括以下步骤:
10、步骤a、以所述起始节点为搜索起点,将包含所述起始节点的初始搜索路径入队。
11、步骤b、从队列中取出当前搜索路径,判断所述当前搜索路径中已覆盖的表集合是否包含所述目标字段集合中全部目标字段及其配置的限定条件字段所在表;若是,则将所述当前搜索路径作为所述最短关联路径。
12、步骤c、若所述当前搜索路径未覆盖全部目标表,则遍历所述当前搜索路径中每个节点在所述表关联图中的所有邻居节点,对于每个未被所述当前搜索路径覆盖的邻居节点,判断将该邻居节点扩展至所述当前搜索路径后形成的新表集合是否已在全局已访问集合中;若不在,则将所述新表集合加入所述全局已访问集合,并扩展生成新的搜索路径入队。
13、步骤d、重复执行步骤b至步骤c,直至队列为空或找到覆盖全部目标表的最短关联路径。
14、进一步地,所述全局已访问集合以搜索路径已覆盖的表集合为元素,不同访问顺序覆盖同一组表的搜索路径被视为同一状态,仅记录一次,以实现对重复搜索路径的剪枝,减少搜索规模。
15、进一步地,在自动组装生成所述多表关联sql查询语句时,对于每个目标字段,先判断该目标字段的字段元数据中是否配置有自定义查询语句;若配置有自定义查询语句,则优先使用所述自定义查询语句作为该字段的查询逻辑,而非通过所述最短关联路径进行sql组装;若未配置自定义查询语句,则根据所述最短关联路径中各节点的遍历顺序依次拼接多表连接(join)语句,将关联条件填入on子句,select子句包含全部目标字段对应的列,where子句包含用户指定的限定条件,最终生成完整的多表关联sql查询语句。
16、进一步地,所述基础数据结果集的样本数据为所述基础数据结果集中的部分记录,所述样本数据的数量小于所述基础数据结果集的记录总量,以避免超出所述大语言模型的上下文窗口;所述数据处理脚本由所述大语言模型根据所述样本数据、目标字段的字段元数据及所述查询请求的衍生计算需求生成。
17、进一步地,在所述沙箱环境中利用所述样本数据验证所述数据处理脚本的正确性包括以下步骤:
18、步骤a、将所述样本数据输入所述数据处理脚本执行,获取验证输出结果。
19、步骤b、由所述大语言模型对所述验证输出结果进行正确性判断。
20、步骤c、当判断验证输出结果不正确时,由所述大语言模型根据验证反馈对所述数据处理脚本进行自动修正,并重复执行步骤a至步骤b,直至所述数据处理脚本验证通过。
21、进一步地,所述方法还包括对所述最短关联路径进行缓存的步骤:对于包含相同目标字段集合的查询请求,直接调用已缓存的关联路径,跳过重新执行图搜索的步骤。
22、本发明还提供一种基于图搜索与大语言模型协同的智能问数系统,包括:
23、大语言模型交互模块,用于接收用户的自然语言查询请求,对所述查询请求进行意图理解和字段语义匹配,从预配置的查询字段列表中确定相关联的目标字段集合,以及在获取基础数据结果集后基于所述基础数据结果集判断是否需要进行衍生计算,并组织最终处理结果返回给用户。
24、字段配置模块,用于预配置业务查询字段及其字段元数据,所述字段元数据至少包括字段标识符、字段名称、字段描述、来源表、来源列、数据类型及可选的字段限定条件,并为所述大语言模型交互模块提供字段列表供语义匹配,为sql组装模块提供字段元数据以指导sql拼接。
25、sql组装模块,用于基于数据库的外键关系构建表关联图,接收所述大语言模型交互模块传递的目标字段集合,在所述表关联图中执行图搜索算法搜索覆盖全部目标字段及其配置的限定条件字段所在表的最短关联路径,并依据所述最短关联路径自动组装生成多表关联sql查询语句,提交数据库执行获取基础数据结果集;当所述基础数据结果集记录量超过预设阈值时,仅抽取部分记录返回给所述大语言模型交互模块。
26、脚本计算模块,用于在所述大语言模型判断需要衍生计算时,利用大语言模型的编程能力基于所述基础数据结果集的样本数据生成数据处理脚本,在沙箱环境中验证所述数据处理脚本的正确性,验证通过后将所述数据处理脚本应用于全量基础数据执行,输出最终处理结果给所述大语言模型交互模块。
27、数据存储模块,用于存储原始业务数据及表结构信息,为所述sql组装模块提供表结构和外键约束信息,并执行sql查询语句返回数据。
28、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的基于图搜索与大语言模型协同的智能问数方法。
29、与现有的技术相比,本发明的基于图搜索与大语言模型协同的智能问数方法、系统及介质,在技术性能与实际应用中展现出以下有益效果:
30、第一,sql关联准确率显著提升。本发明的sql组装基于真实的数据库外键关系图和确定性的图搜索算法(如bfs算法)。bfs搜索保证找到最短关联路径,避免了大语言模型因理解偏差而选择错误关联路径的问题。生成的sql关联条件来源于实际的外键约束,而非模型的文本推理,因此关联逻辑必然正确。sql生成的准确率从依赖模型能力转变为依赖图搜索的正确性,准确率得到根本保障。
31、第二,系统可解释性强、可追溯。每条sql的关联路径都可以追溯到表关联图中的具体路径。当查询结果不符合预期时,可以检查bfs搜索路径和字段配置,定位问题根源。相比于大语言模型黑盒生成的sql,本发明的方案提供了清晰的关联逻辑链条,提高了系统的可信度和可维护性。
32、第三,复杂数据处理能力增强。本发明将数据检索与复杂计算分离:sql组装层只负责准确获取基础数据,脚本计算层负责衍生逻辑和复杂处理。这种分离避免了在sql中编写冗长复杂的计算逻辑,充分发挥大语言模型在编程方面的优势。同时,通过上下文工程优化(抽取样本数据辅助生成),既保证了模型对数据的理解能力,又解决了大规模数据处理时的上下文限制问题。
33、第四,降低模型输入负担,支持更大规模数据库。本发明通过预配置字段层对数据库结构进行抽象,大语言模型在意图理解与字段匹配环节仅需理解字段的名称和业务描述,而不需要掌握完整的表结构信息。预配置字段列表的规模远小于原始schema描述文本,上下文占用大幅减少。当数据库表数量从几十张扩展到上百张时,模型输入规模并不会随表数量线性增长,而是保持在预配置字段的数量级别。系统扩展性显著提升,同时模型对查询意图的理解精度因输入精简而得到保障。
34、第五,确定性与可缓存性带来高响应效率。本发明的sql组装层采用确定性的图搜索算法,相同的查询字段集合总是会返回相同的关联路径。这种确定性使得搜索到的关联路径可以被缓存复用,避免了相同或相似查询的重复计算。端到端响应时间大幅降低且具备可预测性,满足高频查询场景的时效性要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com