一种基于多维审查与经验驱动修复的SQL生成方法及系统

摘要: 本发明属于sql生成,具体涉及一种基于多维审查与经验驱动修复的sql生成方法及系统。背景技术:1、随着企业云原生架构和多云资源管理的普及,云服务成本的精细化管理...
一种基于多维审查与经验驱动修复的SQL生成方法及系统

本发明属于sql生成,具体涉及一种基于多维审查与经验驱动修复的sql生成方法及系统。

背景技术:

1、随着企业云原生架构和多云资源管理的普及,云服务成本的精细化管理已成为finops 的核心环节。通过自然语言提问并自动生成 sql 查询语句来获取云账单分析结果,是提升成本分析效率和财务决策效率的重要路径;相关现有技术大体包括三类。

2、第一类为基于执行结果的 text-to-sql 修正方案。该类方案通过执行候选 sql、比较查询结果或分析数据库报错信息来驱动模型再次生成 sql。该类方案依赖实际执行反馈,但对模型理解过程缺少显式约束。在 finops 领域中,一条 sql 即使能够成功执行并返回结果,也可能在成本口径、时间窗口或聚合目标上已经产生偏差,执行结果本身无法很好的暴露此类业务逻辑错误。

3、第二类为基于自我纠正的大语言模型 sql 生成方案。该类方案将错误信息或反馈重新输入模型,由模型多轮修正候选 sql。该类方案能够在部分语法错误和执行错误场景下提升结果质量,但修复过程通常由单一模型对自身输出进行再次判断,缺乏独立的多维度审查视角。同时,修复过程中积累的成功经验难以被结构化存储和复用,导致相同类型的错误在不同查询中反复出现。

4、第三类为基于 sql 静态规则或执行计划的数据库风险分析方案。该类方案可以识别索引失效、全表扫描、join 代价过高等数据库访问风险,但通常独立于自然语言到sql 的生成链路,仅提供检测或告警能力,缺乏从 sql 生成、错误检测、自动修复到验证输出的完整闭环。

5、由此,大语言模型已经能够完成常规 text-to-sql 任务,但在云成本分析场景中,直接使用大语言模型生成 sql 仍面临以下2点问题。

6、第一,生成 sql 的正确性不高。在 finops 场景中,云账单数据库通常包含多类成本度量字段、费用抵扣字段、资源归属字段、计费周期字段和业务标签字段。不同字段虽然均可能与"成本""费用""用量""抵扣"等概念相关,其财务语义、统计口径和适用场景存在差异。同一费用对象可能存在原始计费口径、账单应付口径、折扣后口径、分摊口径、摊销口径等多种表达。用户自然语言问题还经常包含项目、成本中心、云账号、地域、资源类型、时间窗口、排序方向和返回数量等隐含约束。大语言模型在生成 sql 时可能遗漏部分约束、误解时间表达、混淆聚合口径,或将"返回前十个对象"的需求生成为仅返回单条结果。这些问题在 sql 语法层面不一定表现为错误,但会导致查询结果偏离实际业务目的。

7、第二,生成 sql 的执行性能不可控。云成本明细表和资源使用明细表通常具有较大数据规模,且存在跨表 join、维度表关联、时间分区扫描和聚合排序等操作。大语言模型生成 sql 时对索引、分区、数据量统计和执行计划的感知不足,可能生成缺少分区过滤条件、扫描范围过大、大表 join 过重、排序聚合无返回数量限制等高风险 sql。该类 sql 在小规模测试环境中可能能够执行,在生产环境中容易导致查询超时、数据库资源占用过高或连接池压力增大。

8、因此,需要探究一种方法,在大语言模型生成 sql 之后、实际执行之前,对 sql进行多维度的自动化检查与修复,使 finops 场景下生成的 sql 在正确性和执行性能上都有较好的效果。

技术实现思路

1、针对现有技术中的上述不足,本发明提供的基于多维审查与经验修复驱动的sql生成方法解决了现有技术在云成本分析场景中生成sql正确性不高以及生成sql的执行性能不可控的问题。

2、为了达到上述发明目的,本发明采用的技术方案为:一种基于多维审查与经验驱动修复的sql生成方法,应用于finops场景,包括以下步骤:

3、s100、接收并构造用户自然语言问题的领域增强模式,根据领域增强模式构造sql生成提示词,调用大语言模型生成初步的候选sql;

4、s200、采用以检查目标而非涉及对象为划分原则的多维度分离策略,分别从逻辑、字段和性能维度对当前sql进行审查,生成统一结构化格式的错误列表;

5、s300、判断错误列表是否为空;

6、若是,则将当前sql作为最终sql,并输出;

7、若否,则进入步骤s400;

8、s400、对错误列表中的各项错误分别在对应的案例库中检索历史案例,并注入到修复提示词中进行sql修复,生成修复sql,返回s200。

9、另一方面,还提供了一种基于多维审查与经验驱动修复的sql生成系统包括:

10、sql生成模块,用于接收用户自然语言问题,并输出初步的候选sql;

11、错误检查模块,用于分别从逻辑、字段和性能维度,及其对应维度检查提示词,对当前sql进行审查,并生成错误列表;

12、错误修复模块,用于根据错误列表在案例库中检索对应的成功修复案例,进行sql修复,并将修复sql送入错误检查模块再次进行错误检查,直到获得错误列表为空时的最终sql;

13、案例库,用于存储历史sql生成过程中成功修复的历史案例。

14、本发明的有益效果为:

15、与直接将用户自然语言请求输入大语言模型并输出sql的现有方案相比,本发明在候选sql实际执行前建立多维审查、错误定位、历史经验检索、定向修复和重新验证相结合的查询治理链路。通过将用户业务约束、数据库模式、sql结构及候选执行计划作为不同来源的检查证据,本发明能够在sql语法正确但业务含义、字段映射或执行性能仍存在问题的情况下,对错误进行识别和定位,并根据经审核的历史修复经验实施针对性修复。具体具有以下有益效果:

16、(1)提高候选sql错误检查的完整性

17、本发明分别从业务逻辑、字段映射和执行性能等维度对候选sql进行检查,并为各检查维度配置相应的检查规则、上下文信息和检查证据。

18、其中,业务逻辑检查以用户自然语言请求和finops领域规则为主要依据,识别成本口径、资源范围、时间窗口、聚合方式以及排序和返回数量等方面的偏差;字段映射检查以数据库模式、字段语义和表间关联关系为主要依据,识别表名、字段名和连接关系错误;执行性能检查以sql结构和候选执行计划为主要依据,识别分区未裁剪、大表全量扫描、多事实表明细粒度关联、预估行数异常放大及重复扫描等风险。

19、通过上述多维检查,可以减少仅依赖sql语法检查或单一模型综合判断造成的检查遗漏,并在候选sql实际执行前同时发现业务语义错误、数据库对象错误和执行资源风险。

20、(2)提高错误结果的可定位性和可处理性

21、本发明将不同检查流程发现的问题转换为统一格式的结构化错误记录。所述错误记录包含检查维度、规则标识、sql位置、检查证据、错误描述和错误等级,使每项错误能够与对应的检查规则、sql结构位置及判断依据建立关联。

22、与仅输出自然语言错误说明的方式相比,本发明生成的结构化错误记录能够明确表示错误原因、错误性质,为后续案例检索和定向修复提供确定的输入依据,减少不同检查结果之间含义不一致、错误位置不明确以及修复模块难以确定修改对象的问题。

23、(3)减少sql修复过程中的无目标重写

24、本发明根据当前错误记录的检查维度和规则标识限定历史修复案例的检索范围,并结合错误描述和sql结构特征检索相关的成功修复案例。修复模块同时接收当前错误证据、错误所在sql位置和历史修复经验,从而针对已经识别的问题实施定向修改。

25、与仅将数据库报错信息重新输入模型并要求模型重新生成sql的方式相比,本发明能够限定修复目标和允许修改的sql位置,使修复模块优先保留与当前错误无关的查询结构,降低修复一个问题时改变正确业务约束、破坏表间关联关系或引入其他错误的概率。

26、(4)提高高风险sql的执行可控性

27、本发明将修复后的sql重新输入前述多维审查流程,对其业务逻辑、字段映射和执行性能进行再次验证。只有在阻断性错误被消除且执行风险满足预设条件时,修复后的sql才可以进入后续执行链路。

28、对于达到最大修复次数后仍存在阻断性错误或高等级执行风险的候选sql,系统终止其自动输出和执行,并将候选sql及错误信息提交人工审核。由此可以避免将已知存在字段错误、业务口径冲突或高代价访问风险的sql直接送入生产数据库,减少错误查询结果、无效数据库访问以及高风险查询对数据库计算和存储资源的占用。

29、(5)实现历史修复经验的持续复用

30、本发明将验证通过的修复结果生成候选修复案例,并在审核确认后写入与其检查维度和规则标识相对应的历史修复案例库。后续出现相同规则或相似sql结构的错误时,系统可以检索已经验证的历史案例作为修复参考。

31、通过上述机制,系统能够将原本分散在单次模型调用中的修复结果转换为可检索、可审核和可重复利用的结构化经验,减少同类错误每次均依赖模型从头分析和修复的问题,并提高相似错误处理方式的一致性。

32、(6)提高云服务成本查询结果的业务准确性

33、本发明将finops领域中的成本口径、资源范围、时间窗口、统计粒度、排序要求和数据库访问约束引入sql生成后的检查与修复过程,使系统能够发现sql虽然可以执行、但查询结果不符合用户实际成本分析目的的问题。

34、在本实施例的90条云服务成本查询用例中,直接输出生成sql时的执行结果匹配准确率为51.11%,经过本发明的多维审查和定向修复后,执行结果匹配准确率提高至71.11%,提升20个百分点。该实验结果说明,本发明所构建的完整查询治理链路能够提高云服务成本分析场景下生成sql的结果准确性。