大语言模型输出校验方法、装置、电子设备和计算机可读存储介质与流程

本发明涉及大语言模型，具体而言，涉及一种大语言模型输出校验方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、随着llm（large language model，大语言模型）的广泛应用，确保模型输出严格符合预定义的schema（如json schema）已成为构建稳定系统的关键环节。

2、传统技术方案通常采用“提示工程+后处理校验”的模式，即在提示词中注入预设格式要求，待llm完成全部文本生成后，再对生成的全部文本进行全量解析。然而，在实际的高并发工程实践中，这种“生成后校验”的策略由于校验逻辑滞后于生成过程，一旦模型在响应初期就产生了违反预设格式要求的错误，仍需等待整个序列生成完毕才能捕获异常，由此导致了推理算力与token配额的严重浪费。

技术实现思路

1、本发明目的在于提供一种大语言模型输出校验方法、装置、电子设备和计算机可读存储介质。

2、本发明的实施例可以这样实现：

3、第一方面，本发明提供一种大语言模型输出校验方法，所述方法包括：

4、在大语言模型针对预设生成任务进行推理并输出token流的过程中，获取当前时刻输出的token片段；

5、利用预先初始化的校验器对所述token片段进行校验，所述校验器是根据用于约束所述大语言模型输出的token流的语法和语义的预设规范、基于有限状态机构建的；

6、当校验不通过时，终止所述大语言模型继续输出所述token流。

7、在可选的实施方式中，所述利用预先初始化的校验器对所述token片段进行校验的步骤之前，还包括：

8、获取预先定义的结构化数据类，所述结构化数据类包括至少一个字段；

9、对每一所述字段的元数据进行解析，得到每一所述字段的语义约束；

10、按照预设语法约束将全部所述语义约束转换成预设规范；

11、生成符合所述预设规范的有限状态机并将所述有限状态机和所述校验器绑定，以初始化所述校验器。

12、在可选的实施方式中，所述按照预设语法约束将全部所述语义约束转换成预设规范的步骤之后，还包括：

13、获取所述大语言模型的配置策略；

14、若所述配置策略为工具调用配置，则构建预设工具定义对象并将所述预设规范嵌入所述预设工具定义对象的参数，以通过所述预设工具定义对象将所述预设规范注入所述大语言模型的输入上下文；

15、若所述配置策略为文本生成配置，则按照预设格式将所述预设规范格式化为字符串并将所述字符串注入提示词，以通过所述提示词将所述预设规范注入所述大语言模型的输入上下文。

16、在可选的实施方式中，所述校验器预先绑定有限状态机，所述利用预先初始化的校验器对所述token片段进行校验的步骤包括：

17、将所述token片段按照字节流的方式输入所述有限状态机；

18、若当前输入的字节触发所述有限状态机跳转到预设非法状态，则判定校验未通过；

19、若所述token片段的所有字节均未触发所述有限状态机跳转到所述预设非法状态，则判定校验通过。

20、在可选的实施方式中，所述当校验不通过时，终止所述大语言模型继续输出所述token流的步骤包括：

21、当校验不通过时，向所述大语言模型发送取消信号，以使所述大语言模型基于所述取消信号终止继续输出所述token流；

22、或者，

23、当校验不通过时，断开与所述大语言模型之间的网络连接，终止所述大语言模型继续输出所述token流。

24、在可选的实施方式中，所述方法还包括：

25、当校验不通过、且重试次数小于预设次数时，根据当前校验位置、错误类型及期望类型构建错误对象；

26、根据所述错误对象更新所述大语言模型的上下文；

27、基于更新后的上下文重新初始化所述校验器并利用所述大语言模型重新对所述预设生成任务进行推理。

28、在可选的实施方式中，所述token流暂存于目标缓冲区，所述获取当前时刻输出的token片段的步骤包括：

29、利用预设缓冲区协议获取所述token片段在所述目标缓冲区中的内存地址及片段长度；

30、根据所述内存地址及片段长度从所述目标缓冲区中获取所述token片段。

31、在可选的实施方式中，所述方法还包括：

32、当校验通过时，等待获取下一个时刻的token片段并进行校验直至所述token流输出完毕。

33、在可选的实施方式中，所述token流输出完毕之后，还包括：

34、将所述token流转换成预设结构类型的对象实例；

35、识别所述对象实例中存在预设外部依赖的每一目标字段；

36、检索每一所述目标字段所需的预设外部依赖的活动资源实例；

37、将所有目标字段所需的活动资源实例作为与所述对象实例的上下文相关的活动资源实例；

38、根据所述对象实例和所述活动资源实例，生成携带上下文信息的目标对象。

39、第二方面，本发明提供一种计算机程序产品，所述计算机程序产品被处理器执行时，实现第一方面所述的大语言模型输出校验方法。

40、相对于现有技术而言，本发明具有以下有益效果：

41、本发明在大语言模型针对预设生成任务进行推理并输出token流的过程中，利用预先初始化的校验器对当前时刻获取的token片段进行校验，当校验不通过时，终止所述大语言模型继续输出所述token流。由于校验器是根据预设规范、基于有限状态机构建的，预设规范是预先确定的、用于对大语言模型输出的token流的语法和语义进行约束的规范，由此实现了对大语言模型输出的token流进行实时校验，并在校验不通过时及时终止token流的继续输出，避免了“生成后校验”的实现方式导致的推理算力与token配额的严重浪费。

1.一种大语言模型输出校验方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述利用预先初始化的校验器对所述token片段进行校验的步骤之前，还包括：

3.根据权利要求2所述的方法，其特征在于，所述按照预设语法约束将全部所述语义约束转换成预设规范的步骤之后，还包括：

4.根据权利要求1所述的方法，其特征在于，所述校验器预先绑定有限状态机，所述利用预先初始化的校验器对所述token片段进行校验的步骤包括：

5.根据权利要求1所述的方法，其特征在于，所述当校验不通过时，终止所述大语言模型继续输出所述token流的步骤包括：

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述token流暂存于目标缓冲区，所述获取当前时刻输出的token片段的步骤包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，所述token流输出完毕之后，还包括：

10.一种计算机程序产品，其特征在于，所述计算机程序产品被处理器执行时，实现权利要求1-9中任一项所述的大语言模型输出校验方法。