多通道推理调用劣化输出判定恢复留存方法及系统与流程
本发明涉及计算机软件与数据处理,具体涉及一种多通道推理调用劣化输出判定恢复留存方法及系统。
背景技术:
1、在多通道并行推理调用架构中,将同一输入交由多个异构推理通道处理,各通道按预定结构化数据格式返回其结果的文本表示,由调用方解析后汇总。
2、已有的一些模型编排框架配有输出解析组件。langchain框架提供 outputparser组件,其通过结构化输出方法将 json 模式绑定至模型,并自动将输出解析为有效json对象。guardrails ai框架通过声明式规则对输出执行校验与自动更正,其在 llm调用外层包装验证管道,对不符合用户定义模式或字段级校验规则的输出自动重新提示模型进行修正。openai的 structured outputs 机制通过向模型提供json schema以约束解码器在采样时仅生成符合模式的令牌,实现模式合规输出。baml(boundaryml)以领域专用语言定义llm交互模式,生成跨语言类型安全的客户端代码,确保结构化输出在不同语言间保持一致。专利文献us20250322046公开了一种语言模型提示的动态评估与输出验证系统,其通过输入输出验证模块对llm生成的输出执行毒性检测、代码验证及安全校验,并基于验证指标控制输出的放行或修改。专利文献ep 4428711 a1公开了一种自然语言到查询语言的转换方法,其由llm生成候选查询请求元组,并按定义的语法对llm生成数据执行验证。
3、上述框架及专利文献均试图在解析失败时对输出进行更正、补全或安全校验,而非以严格判据区分已产出与未产出。其做法大致有三类:其一,以启发式规则自输出中截取疑似结构化片段并补全缺失符号;其二,将解析失败的输出连同解析错误一并回送模型,要求其重新输出,如此往复直至可以解析或达到重试上限;其三,在解析失败时以预定的默认结构代替,使流程得以继续。在多通道并行调用的场景中,通常由运行控制层依据各通道是否已返回结果决定何时推进至下游;某一路失败时的常见处置为整体重试或以缺省值补位。
4、然而,上述现有技术存在以下缺陷:以默认值代替不可用的返回,则未产出结果的一路被置为完成状态,运行控制层据此以不齐备的输入推进下游,该错误须待事后发现;对解析失败者一概丢弃其返回文本,则该通道已产出的内容随之灭失;对劣化输出施以自动更正,则更正后的文本纵能解析,其与该通道实际所产出者是否一致无从验证;把任何解析失败一概判为传输截断,则完整但语法错误的输出被误标,失败原因失真。
技术实现思路
1、本发明所要解决的技术问题包括:如何以确定的判据把未产出可用结果者与已产出结果者区分开,并使前者置为可重试的劣化失败态,从而把重发的粒度收敛至单路而非整轮;如何在判定失败的同时保留通道已产出的内容,以免为取回该内容而重新调用;如何自被叙述性文本包裹的返回中确定地还原出完整结果对象;以及如何区分传输截断与完整但语法错误,使失败原因如实、据以选择的处置得当。
2、本发明提供一种多通道推理调用劣化输出判定恢复留存方法,包括:
3、接收推理通道返回的文本,对所述返回文本施行严格解析:仅解析所得为非空对象者,判为已产出可用结果对象;所述返回文本为空或仅含空白、不能解析、解析所得为非对象、或解析所得为空对象者,置为劣化失败态并标记为可重试,不作补写、更正或猜测,且不以默认值代替,并以与该情形对应的预定失败原因标识记入该通道的失败结果;所述失败原因标识至少包括空返回标识、不能解析标识、非对象标识与空对象标识,相同情形恒记入同一失败原因标识;
4、使处于所述劣化失败态的通道维持于所述劣化失败态,所述下游处理接口对该通道保持关闭;所述通道仅于后述取得合格对象时,方由所述劣化失败态转为所述完成状态,并触发所述下游处理接口接收该合格对象;
5、对处于所述劣化失败态且所述返回文本非空者,读取为该通道预先配置的取用方向,所述取用方向的取值为前向或后向之一,将所述返回文本按所述取用方向截取至预定长度,作为不参与下游处理的原文留存字段记入该通道的失败结果;
6、对处于所述劣化失败态且所述返回文本非空者,依下列判别确定本次处置分支;其中,所述合格判据指:候选顶层对象的键的数目不少于预定下限、且携带预定结果标识键并该键具有非空取值;存在至少一个满足所述合格判据且可被完整解码的顶层对象时,判为非传输截断;不存在此种对象、且解码在到达所述返回文本的末端位置时仍需后续输入或报告字符串未终止时,判为传输截断;不存在此种对象、而解码在所述返回文本的内部位置报错时,判为完整但语法错误;判为所述传输截断者不执行恢复,维持所述劣化失败态、以传输截断标识改记所述失败原因标识并连同所述原文留存字段输出该通道的失败结果;
7、判为所述非传输截断或所述完整但语法错误者,自所述返回文本中逐个解码顶层对象,以所述合格判据筛选合格对象,按所述取用方向取前向首个或后向末个合格对象,作为该通道的结果对象且不对其内容作任何改写;取得者径作该通道的结果对象,将该通道由所述劣化失败态转为所述完成状态,并将该结果对象经所述下游处理接口输出以推进下游处理;无任何满足所述合格判据的顶层对象者,维持所述劣化失败态,按已记入的所述失败原因标识连同所述原文留存字段输出该通道的失败结果,不以任何默认值、部分内容或残缺片段替代。
8、本发明还提供一种多通道推理调用劣化输出判定恢复留存方法,包括:
9、接收推理通道返回的文本,对所述返回文本施行严格解析:仅解析所得为非空对象者,判为已产出可用结果对象;所述返回文本为空或仅含空白、不能解析、解析所得为非对象、或解析所得为空对象者,置为劣化失败态并标记为可重试,不作补写、更正或猜测,且不以默认值代替,并以与该情形对应的预定失败原因标识记入该通道的失败结果;所述失败原因标识至少包括空返回标识、不能解析标识、非对象标识与空对象标识,相同情形恒记入同一失败原因标识;
10、使处于所述劣化失败态的通道维持于所述劣化失败态,所述下游处理接口对该通道保持关闭;
11、对处于所述劣化失败态且所述返回文本非空者,将所述返回文本按预先配置的取用方向截取至预定长度,作为不参与下游处理的原文留存字段记入该通道的失败结果;
12、按已记入的所述失败原因标识连同所述原文留存字段输出该通道的失败结果,不以任何默认值、部分内容或残缺片段替代。
13、优选地,还包括:对预定的通道,在施行所述严格解析之前,剥离以成对标记界定的推理痕迹块。
14、优选地,所述劣化失败态的标记包含确定的失败原因标识,所述失败原因标识至少包括空返回标识、不能解析标识、非对象标识及空对象标识,相同失败原因恒返回同一失败原因标识;对判为传输截断者,以传输截断为失败原因标识返回。
15、优选地,所述预定下限为二;所述合格判据要求候选顶层对象同时满足键的数目不少于所述预定下限、且携带预定结果标识键并该键具有非空取值,使仅具单一键的结果对象在恢复路径上维持劣化失败态,且所述合格判据严于所述严格解析的判据,以换取自混合了叙述性文本的返回中所取对象确为一次完整结果。
16、优选地,所述取用方向预先配置为:结果在前、叙述在后者取前向首个;叙述在前、结果在后者取后向末个。
17、优选地,所述原文留存字段的截取方向为:取前向者自首部保留,取后向者自末端保留。
18、优选地,所述严格解析包括:对所述返回文本按预定结构化数据格式解析,不作补写、更正或猜测;凡不能如实解析者判为失败。
19、优选地,所述结果标识键具有非空取值时,不论其取值表征肯定抑或否定的处理结论,均满足所述合格判据。
20、优选地,所述传输截断判别中,完整对象之后纵有未完结的残片,仍以该完整对象为准,不因残片而放弃还原。
21、本发明还提供一种多通道推理调用劣化输出判定恢复留存系统,包括:
22、严格解析模块,用于接收推理通道返回的文本,并对所述返回文本施行严格解析:仅解析所得为非空对象者,判为已产出可用结果对象;所述返回文本为空或仅含空白、不能解析、解析所得为非对象、或解析所得为空对象者,置为劣化失败态并标记为可重试,不作补写、更正或猜测,且不以默认值代替;
23、状态控制模块与所述严格解析模块相连,用于使处于所述劣化失败态的通道维持于所述劣化失败态,所述下游处理接口对该通道保持关闭;所述通道仅于后述取得合格对象时,方由所述劣化失败态转为所述完成状态,并触发所述下游处理接口接收该合格对象;
24、下游处理接口与所述状态控制模块相连,用于接收处于所述完成状态的通道所输出的结果对象,并推进下游处理;
25、原文留存模块与所述严格解析模块及所述状态控制模块相连,用于接收所述严格解析模块所处置的返回文本,并对处于所述劣化失败态且所述返回文本非空者,将所述返回文本按与该通道预先配置的取用方向一致的方向截取至预定长度,作为不参与下游处理的原文留存字段记入该通道的失败结果;
26、截断判别模块与所述严格解析模块及所述状态控制模块相连,用于接收所述严格解析模块所处置的返回文本,并对处于所述劣化失败态且所述返回文本非空者的返回文本判别是否为传输截断:若自所述返回文本中扫描得到至少一个可被完整解码且满足合格判据的顶层对象,则判为非传输截断;若所述返回文本解码至输入末端时仍需后续输入、或报告未终止的字符串,则判为传输截断,不执行恢复,维持所述劣化失败态并以传输截断为失败原因标识返回;若不存在此种对象而解码在所述返回文本的内部位置报错,则判为完整但语法错误;
27、确定性恢复模块与所述严格解析模块、所述截断判别模块及所述状态控制模块相连,用于对判为所述非传输截断或所述完整但语法错误者,自所述返回文本中逐个解码顶层对象,以键的数目不少于预定下限、且携带预定结果标识键并该键具有非空取值为合格判据,按该通道预先配置的取用方向取前向首个或后向末个合格对象,作为该通道的结果对象且不改写其内容;取得合格对象者由所述劣化失败态转为所述完成状态,并将该结果对象经所述下游处理接口输出以推进下游处理;无任何合格对象者,维持所述劣化失败态并按已记入的所述失败原因标识连同所述原文留存字段输出该通道的失败结果。
28、优选地,还包括:
29、推理痕迹剥离模块,用于对预定的通道,在施行所述严格解析之前,剥离以成对标记界定的推理痕迹块;
30、所述严格解析模块与所述推理痕迹剥离模块相连,用于接收经所述推理痕迹剥离模块处理后的返回文本,并对所述返回文本施行所述严格解析。
31、本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现多通道推理调用劣化输出判定恢复留存方法。
32、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现多通道推理调用劣化输出判定恢复留存方法。
33、本发明所改造的是计算机系统内部的执行流程:下游处理接口的输入准入控制、通道状态集合的迁移条件、解析器的容错能力约束、返回文本的截取与旁路留存。所受约束的计算资源包括外部推理通道的调用次数与调用配额。可测的技术效果包括:相同返回文本恒得相同的状态迁移结论与相同的失败原因标识;未产出可用结果的通道其结果不经下游处理接口输出。
34、本发明所带来的有益效果包括:
35、本发明通过对推理通道返回的文本施行严格解析,仅解析所得为非空对象者判为已产出可用结果对象,为空、不能解析、非对象或空对象者一律置为劣化失败态且不以默认值代替,使未产出可用结果的通道被确定地置为劣化失败态且不进入完成状态,运行控制层因而不以不齐备的输入推进下游处理。
36、本发明通过对处于劣化失败态且返回文本非空者,按与该通道预先配置的取用方向一致的方向截取至预定长度,作为不参与下游处理的原文留存字段记入失败结果,使该通道已产出的内容不因判定失败而灭失。
37、本发明通过对判为非传输截断或完整但语法错误者,按合格判据与预先配置的取用方向确定性恢复结果对象,使被叙述性文本包裹的返回得以还原为可用结果,该通道由劣化失败态转为完成状态,本次运行无须发起任何重新调用即可继续,且恢复所得对象不作任何改写,不存在更正结果与实际产出不一致的风险。
38、本发明通过以键数下限与结果标识键非空取值为合格判据,使残缺片段、空对象与仅具键而无取值的外壳不被当作完整结果对象取出;通过区分传输截断与完整但语法错误,使失败原因如实,运行控制层据以选择重试抑或放弃的处置得当。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com