一种投机解码方法、装置、电子设备以及存储介质

本发明涉及人工智能模型，尤其涉及一种投机解码方法、装置、电子设备以及存储介质。

背景技术：

1、随着人工智能模型的发展，自然语言模型在在线问答、数学推理、代码生成、知识问答、智能代理、搜索增强生成等场景具有广泛应用。其中，投机解码系统由草稿模型和验证模型组成，由轻量级的草稿模型一次性快速生成多个候选token（词元），再由验证模型前向计算严格贪心token，从左到右依次验证候选token和严格贪心token，一旦遇到第一个不匹配位置，后续候选token全部丢弃，输出不匹配位置之前的token。

2、现有技术中为提高投机解码速度和精度，通常围绕着对草稿模型和验证模型进行重训练，但是这种方式成本较高，也难以快速迁移至已有推理服务。同时，严格贪心验证将第一个不匹配token之后的全部token等同丢弃处理，未能充分利用验证模型已经计算出的严格贪心token和候选token之间的差异。

技术实现思路

1、本发明提供了一种投机解码方法、装置、电子设备以及存储介质，以实现在无需训练模型、可插拔的基础上，对低风险的候选token进行可审计放宽，从而延长连续提交前缀。

2、第一方面，本发明实施例提供了一种投机解码方法，该方法由验证模型执行，该方法包括：

3、确定草稿模型输出的各候选词元，以及验证模型对候选词元进行前向计算得到的严格贪心词元；

4、根据各候选词元以及与各候选词元对应的严格贪心词元，确定各候选词元对应的局部风险和单位价值风险；

5、其中，局部风险用于表示候选词元与严格贪心词元之间的不一致风险，单位价值风险为通过候选词元之后的后缀价值对局部风险进行归一化而得到；

6、若根据目标候选词元的局部风险和单位价值风险，确定不满足门限约束条件，则将目标候选词元之前的各候选词元作为连续提交前缀进行输出。

7、第二方面，本发明实施例还提供了一种投机解码装置，该装置部署于验证模型执，该装置包括：

8、词元确定模块，用于确定草稿模型输出的各候选词元，以及验证模型对候选词元进行前向计算得到的严格贪心词元；

9、风险计算模块，用于根据各候选词元以及与各候选词元对应的严格贪心词元，确定各候选词元对应的局部风险和单位价值风险；

10、其中，局部风险用于表示候选词元与严格贪心词元之间的不一致风险，单位价值风险为通过候选词元之后的后缀价值对局部风险进行归一化而得到；

11、连续提交前缀确定模块，用于若根据目标候选词元的局部风险和单位价值风险，确定不满足门限约束条件，则将目标候选词元之前的各候选词元作为连续提交前缀进行输出。

12、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的投机解码方法。

13、第四方面，本发明实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的投机解码方法。

14、本发明实施例的技术方案，通过验证模型对草稿模型输出的各候选词元进行前向计算，得到严格贪心词元，分别计算各候选词元及其对应的严格贪心词元之间的局部风险和单位价值风险，局部风险用于表示候选词元与严格贪心词元之间的不一致风险，单位价值风险为通过候选词元之后的后缀价值对局部风险进行归一化而得到，逐个候选词元进行判断，在目标候选词元的局部风险和单位价值风险不满足门限约束条件时，将目标候选词元之前的各候选词元作为连续提交前缀进行输出。本发明实施例的技术方案，无需训练草稿模型和验证模型，可插拔，可审计，能够对低风险的候选词元进行放宽，从而延长连续提交前缀。

15、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种投机解码方法，其特征在于，所述方法由验证模型执行，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据各候选词元以及与各候选词元对应的严格贪心词元，确定各候选词元对应的局部风险，包括：

3.根据权利要求1所述的方法，其特征在于，所述后缀价值，通过候选词元之后的后续候选词元的数量进行表示；

4.根据权利要求1所述的方法，其特征在于，根据目标候选词元的局部风险和单位价值风险，确定不满足门限约束条件，包括：

5.根据权利要求1所述的方法，其特征在于，在确定不满足门限约束条件之后，还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

7.根据权利要求5所述的方法，其特征在于，所述方法由多进程并行执行时，所述方法，还包括：

8.一种投机解码装置，其特征在于，所述装置部署于验证模型，所述装置包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的投机解码方法。

10.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的投机解码方法。