一种基于执行质量感知的模型路由阈值自适应调整方法与流程

本发明涉及人工智能推理服务与数据库查询生成，更具体地说，它涉及一种基于执行质量感知的模型路由阈值自适应调整方法。

背景技术：

1、在面向数据仓库的问数服务中，业务人员以自然语言提出取数请求，智能体在库表结构摘要与方言约束下生成查询语句并在数仓中执行。为兼顾生成成本与能力，服务方通常并行部署低成本模型与高成本模型，由路由环节将调用前的充足度分数与预设阈值比较，决定是否把请求升级到高成本模型。

2、已有方案多沿此思路展开，一类以可核对的执行反馈更新模型在线声誉，或按预设置信度分档在轻量模型与大模型之间切换；另一类在验证集上按准确率约束一次性选阈、按语义簇离线寻优阈值，或把服务等级的质量目标换算为逐请求阈值，以在调用前引入质量或成本考量。

3、但上述方案的路由阈值仍为预设常数、用户旋钮或离线标定结果，其自适应对象是声誉、效用权重或知识库而非阈值本身；同时将多阶段核验压成单一质量误差，使语法失败与超时相互抵消，并以一条全局阈值绑定报表刷新与即席分析两类请求，导致模型能力静默漂移或流量结构变化时阈值在质量不足与过度升级之间反复失衡，且为获取标签常需并行调用高成本模型而抬高成本。此外，逐请求依据单次成败调整阈值，易在临界请求上频繁切换模型档位，带来时延抖动与成本毛刺。

技术实现思路

1、本发明提供一种基于执行质量感知的模型路由阈值自适应调整方法，解决相关技术中路由阈值脱离可核对执行质量、依赖预设或离线标定而难以随模型能力与负载漂移自适应调整的技术问题。

2、本发明提供了一种基于执行质量感知的模型路由阈值自适应调整方法，包括以下步骤：

3、s1，接收自然语言问法、库表结构摘要和方言约束，将问法与库表结构摘要对齐抽取结构线索，并按结构线索划分为报表刷新层或即席分析层，得到结构线索向量和难度层标识；

4、s2，将结构线索向量与难度层标识拼接后输入多头小型前馈网络前向计算，得到一次通过概率为充足度分数、含分阶段失败概率并带难度层标识的充足度记录；

5、s3，获取充足度记录，将充足度分数与对应难度层当前路由阈值比较后选定生成模型，并按分阶段失败概率触发预升级或过滤注入，在方言与库表结构摘要约束下生成查询语句，得到待核验查询语句、升级标记和难度层标识；

6、s4，对待核验查询语句依次执行语法核验、解释计划核验、仓内执行核验和结果可用性判断，并在升级标记为假且属预定失败阶段时触发高成本模型重试，得到阶段核验结果、失败重试对照和难度层标识；

7、s5，按难度层和核验阶段将阶段核验结果与失败重试对照分流写入实时窗或延迟窗，并对实时窗按难度层汇总，得到分层窗口统计量；

8、s6，按分层窗口统计量计算对应难度层路由阈值的更新量，经幅度门限判断、增量限幅、指数平滑和区间投影后写回比较器，得到更新后的分层路由阈值。

9、在一个优选的实施方式中，所述结构线索向量按固定维顺序拼接，第一维为多表匹配个数经预设上限截断后除以预设上限得到的值，第二维为时间口径标记的取值，第三维为嵌套汇总标记的取值，第四维为表变更标记的取值，第五维为业务谓词密度，命中表位于近期结构变更名单时表变更标记为真；

10、当多表匹配个数达到预设即席判定条数或嵌套汇总标记为真时将难度层标识划分为即席分析层，命中表集合为空时划分为即席分析层，其余划分为报表刷新层。

11、在一个优选的实施方式中，所述多头小型前馈网络包括输入线性层、修正线性激活的共享隐层和多个并列的输出头；

12、将难度层标识转为独热编码后与结构线索向量在特征维拼接得到输入向量，输入线性层对输入向量左乘第一权重矩阵并加第一偏置得到隐层预激活向量，共享隐层对隐层预激活向量逐元素取其非负部分得到隐层激活向量，各输出头对隐层激活向量左乘各自的输出权重向量并加各自的偏置得到标量，将标量取相反数的自然指数加一后取倒数，分别得到一次通过概率以及构成分阶段失败概率的语法失败概率和缺过滤解释计划失败概率。

13、在一个优选的实施方式中，所述多头小型前馈网络由线上执行日志中的一次通过样本与失败重试对照样本训练得到；

14、一次通过样本使一次通过概率的输出头取通过标签、其余输出头取未通过标签，低成本模型语法核验失败后经重试成功的样本使语法失败概率的输出头取通过标签，低成本模型因缺分区或缺时间过滤致解释计划核验失败后经重试成功的样本使缺过滤解释计划失败概率的输出头取通过标签；

15、训练的损失为各样本在各输出头上的加权交叉熵之和，语法失败概率的输出头的权重大于缺过滤解释计划失败概率的输出头的权重，样本按报表刷新层与即席分析层分层抽样。

16、在一个优选的实施方式中，所述充足度分数达到对应难度层当前路由阈值时选定低成本模型并将升级标记置假，未达到时选定高成本模型并将升级标记置真；

17、当充足度记录带有缺失摘要标记或充足度分数缺失时，跳过比较直接选定高成本模型并将升级标记置真。

18、在一个优选的实施方式中，所述预升级为，当语法失败概率超过预设语法预升级阈值且表变更标记为真时，直接选定高成本模型并将升级标记置真；

19、过滤注入为，在已选定低成本模型且缺过滤解释计划失败概率超过预设过滤注入阈值时，在生成模板中追加对库表结构摘要中相应表的分区字段或时间字段施加过滤的要求。

20、在一个优选的实施方式中，所述语法核验、解释计划核验、仓内执行核验和结果可用性判断按固定顺序进行且前一阶段未通过时不进入后一阶段；

21、解释计划核验中，当预估代价超过预设计划代价阈值时，将解释计划中实际用于裁剪的字段与库表结构摘要中相应表的分区字段和时间字段求交，交集为空时判定为缺分区或缺时间过滤并标记为可重试，交集非空时标记为不可重试；

22、仓内执行核验中的超时、引擎错误以及空结果不作为触发高成本模型重试的条件。

23、在一个优选的实施方式中，所述预定失败阶段包括语法核验失败、因缺分区或缺时间过滤的解释计划核验失败和结果不可用；高成本模型重试为，在升级标记为假且失败阶段属于预定失败阶段时，用高成本模型对同一自然语言问法、同一库表结构摘要和同一方言约束重新生成查询语句并按相同顺序再核验，且重新生成时不读取低成本模型已失败的语句文本；

24、重试通过全部核验时生成失败重试对照，失败重试对照记录低成本失败阶段、高成本成功标记、问法指纹、结构线索摘要和难度层标识；

25、重试在语法核验再次失败或出现超时、引擎错误时不生成失败重试对照；同一问法指纹在实时窗内已存在失败重试对照后，重复到达的相同问法不再计入失败重试对照数。

26、在一个优选的实施方式中，所述实时窗按报表刷新层和即席分析层分桶并以环形缓冲按请求条数推进，延迟窗接收口径平台事后回写的口径差错并按语句指纹回挂到原难度层，口径差错不参与当前窗口的分层窗口统计量的计算；

27、分层窗口统计量包括各难度层的请求数、失败重试对照数、低成本路径语法失败率和升级比例，升级比例的分子只统计在比较时直接选定高成本模型的请求。

28、在一个优选的实施方式中，所述更新量等于对照项与语法失败项之和减去升级超出项，对照项为失败重试对照数除以请求数所得对照率乘以预设对照项步长，语法失败项为低成本路径语法失败率乘以预设语法失败项步长，升级超出项为升级比例减去预设升级比例目标后取正值乘以预设升级超出项步长；

29、更新量的绝对值不超过预设幅度门限时保持路由阈值，超过时将更新量在正向限幅与负向限幅之间截断，再与路由阈值相加得到候选阈值并按预设平滑系数与旧路由阈值指数平滑，最后投影到阈值下限与阈值上限之间并写回比较器，得到更新后的分层路由阈值。

30、本发明的有益效果在于：

31、把分层路由阈值作为受控对象，以问数网关本已执行的低成本失败后高成本重试所形成的失败重试对照作为主更新信号，无需为获取标签并行调用高成本模型；语法失败进入对照项与语法失败项，空结果与超时只存档，事后到达的口径差错进入延迟窗，使阈值轨迹不被合法空集、仓内负载或晚到差错误抬，并按报表刷新层与即席分析层分账更新，即席分析变难时只收紧即席分析层，报表刷新层保持原比较尺度；运维据此可按难度层查看当前阈值、初值与上一窗口更新量，核对写回是否已生效到后续请求；

32、多头小型前馈网络在生成前分别输出语法失败概率与缺过滤解释计划失败概率，对语法失败概率超过预升级阈值且表结构已变更的请求预升级为高成本模型、对缺过滤概率超过注入阈值的低成本生成注入分区或时间过滤，把可预测的失败及其后的重试往返在发生前化解，降低取数中断与二次重试时延；网络权重不随窗口更新，避免把阈值整定与概率估计耦合为一次联合优化，由此在不增加探测开销的前提下减少低成本路径上可预测的失败与无谓的高成本调用。