具有受约束的输出词元词汇表的机器学习模型的制作方法

摘要: 背景技术:1、在机器学习环境中,通过提示词控制大语言模型(llm)和大型多模态模型(lmm)的输出是一种典型方式。当使用提示词时,用户通常以自然语言的形式提供文...
具有受约束的输出词元词汇表的机器学习模型的制作方法

背景技术:

1、在机器学习环境中,通过提示词控制大语言模型(llm)和大型多模态模型(lmm)的输出是一种典型方式。当使用提示词时,用户通常以自然语言的形式提供文本输入,该文本输入被转换为输入词元。然后在机器学习模型处处理输入词元以生成潜在输出词元的概率分布。从概率分布中采样输出词元以包括在呈现给用户的输出中。当迭代地生成包括多个输出词元的输出时,输出词元也可以被视为好像它被包括在词元化输入中。因此,输出是以自回归方式生成的,其中机器学习模型在生成稍后的输出词元时使用先前生成的输出词元作为输入。

技术实现思路

1、根据本公开的一个方面,提供了一种计算系统,包括被配置为接收提示词的一个或多个处理设备。在具有包括多个候选输出词元的输出词元词汇表的机器学习模型处,一个或多个处理设备还被配置为至少部分地基于提示词来计算输出词元词汇表上的多个输出词元概率。在解码器插件处,一个或多个处理设备还被配置为计算受约束的输出词元词汇表,受约束的输出词元词汇表为输出词元词汇表的真子集。一个或多个处理设备还被配置为至少部分地基于所计算的输出词元概率来选择一个或多个输出词元。一个或多个输出词元从包括在受约束的输出词元词汇表中的候选输出词元中被选择。一个或多个处理设备还被配置为将包括一个或多个输出词元的输出传输到附加计算过程。

2、提供本 技术实现要素: 是为了以简化的形式介绍一些概念,这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。此外,所要求保护的主题不限于解决在本公开的任何部分中提到的任何或所有缺点的实现。

1.一种计算系统(10),包括:

2.根据权利要求1所述的计算系统,其中所述一个或多个处理设备还被配置为:

3. 根据权利要求2所述的计算系统,其中:

4. 根据权利要求3所述的计算系统,其中,在所述监督机器学习模型处,所述一个或多个处理设备还被配置为:

5. 根据权利要求2至4中任一项所述的计算系统,其中:

6.根据权利要求1至5中任一项所述的计算系统,其中,在所述解码器插件处,所述一个或多个处理设备还被配置为修改所述机器学习模型的一个或多个采样参数。

7. 根据权利要求1至6中任一项所述的计算系统,其中,在所述解码器插件处,所述一个或多个处理设备还被配置为:

8.根据权利要求7所述的计算系统,其中,当在所述解码器插件处执行所述搜索算法时,所述一个或多个处理设备被配置为在所述预定义的搜索域的多个分支上执行蒙特卡洛树搜索(mcts)。

9.根据权利要求1至8中任一项所述的计算系统,其中,在所述解码器插件处,所述一个或多个处理设备被配置为利用正则表达式或上下文无关文法来指定所述受约束的输出词元词汇表。

10. 根据权利要求1至9中任一项所述的计算系统,其中,在所述机器学习模型处,所述一个或多个处理设备还被配置为:

11. 根据权利要求1至10中任一项所述的计算系统,其中,在计算所述受约束的输出词元词汇表之前执行的解码器插件生成阶段期间,所述一个或多个处理设备还被配置为:

12.一种用于计算系统的方法(200),所述方法包括:

13.根据权利要求12所述的方法,还包括:

14. 根据权利要求13所述的方法,其中:

15. 根据权利要求13或14所述的方法,其中:

16. 根据权利要求12至15中任一项所述的方法,还包括,在所述解码器插件处:

17.根据权利要求12至16中任一项所述的方法,还包括,在所述解码器插件处,利用正则表达式或上下文无关文法来指定所述受约束的输出词元词汇表。

18. 根据权利要求12至17中任一项所述的方法,还包括,在所述机器学习模型处:

19. 根据权利要求12至18中任一项所述的方法,还包括,在计算所述受约束的输出词元词汇表之前执行的解码器插件生成阶段期间:

20.一种计算系统(10),包括: