多模型协同生成方法、装置、电子设备、存储介质与流程

本公开实施例涉及计算机，尤其涉及多模型协同生成方法、装置、电子设备、存储介质。

背景技术：

1、在自然语言处理领域，大规模语言模型在数学推理、逻辑推理、代码生成等复杂任务中展现出较强的推理能力，但其参数规模庞大，推理过程中计算资源消耗显著、响应延迟较高。参数规模较小的语言模型虽然具备部署成本低、响应速度快等优势，但在处理复杂推理任务时，容易在关键中间推理步骤产生错误，影响最终输出结果的准确性。为兼顾推理质量与计算成本，多种模型协同推理的技术方案被提出。在相关技术中，一种常见做法是在系统入口处部署路由模块，通过预设规则、分类模型或置信度评估等方式，对输入请求进行分类，以决定将其分配至不同规模的模型进行处理。

2、然而，上述依赖外部路由组件的方案存在若干技术局限。首先，路由组件作为独立模块需要单独训练、参数调优和部署维护，增加了系统的整体工程复杂度和资源开销。其次，在模型生成过程中，外部路由器需要对每个生成步骤或词元位置进行独立的判断与评分，这一过程本身引入了不可忽视的额外计算开销。此外，基于固定阈值或统计特征的路由策略在不同任务类型和不同数据分布条件下适应性不足，容易导致大规模模型被过度调用，造成计算资源的冗余消耗，系统整体的数据处理效率仍有提升空间。

技术实现思路

1、本公开实施例提供一种多模型协同生成方法、装置、电子设备、计算机可读存储介质，以至少部分地解决相关技术中存在的上述问题。

2、根据本公开的其中一方面，提供一种多模型协同生成方法，方法包括：获取待处理任务并构造输入上下文；将输入上下文输入第一模型，由第一模型生成第一生成内容，其中，第一模型的词表包括委托标记对应的词元，委托标记为用于指示切换生成主体的预设触发特征；在第一模型生成第一生成内容的过程中，检测第一模型的输出内容中是否包含委托标记；若检测到委托标记，则保留委托标记之前的第一模型已生成内容作为生成前缀，并基于生成前缀构造第二模型输入上下文；将第二模型输入上下文输入第二模型，由第二模型基于第二模型输入上下文继续生成，得到后续生成内容；将后续生成内容与生成前缀进行合并，得到合并结果，由第一模型基于合并结果继续执行生成处理，直至生成结束并获得最终输出。

3、根据本公开的其中一方面，提供一种多模型协同生成装置，装置包括：输入构造模块，用于获取待处理任务并构造输入上下文；第一生成模块，用于将输入上下文输入第一模型，由第一模型生成第一生成内容，其中，第一模型的词表包括委托标记对应的词元，委托标记为用于指示切换生成主体的预设触发特征；委托标记检测模块，用于在第一模型生成第一生成内容的过程中，检测第一模型的输出内容中是否包含委托标记；前缀提取与上下文构造模块，用于若检测到委托标记，则保留委托标记之前的第一模型已生成内容作为生成前缀，并基于生成前缀构造第二模型输入上下文；第二生成模块，用于将第二模型输入上下文输入第二模型，由第二模型基于第二模型输入上下文继续生成，得到后续生成内容；合并与续生模块，用于将后续生成内容与生成前缀进行合并，得到合并结果，由第一模型基于合并结果继续执行生成处理，直至生成结束并获得最终输出。

4、根据本公开的其中一方面，提供一种电子设备，包括：存储器，存储有能够被处理器执行的计算机可执行指令；处理器，用于执行计算机可执行指令以实现以上任一方法。

5、根据本公开的其中一方面，提供一种计算机可读存储介质，存储有计算机程序，程序被处理器执行时实现以上任一方法。

6、本公开其中一实施例提供一种多模型协同生成方法，包括：获取待处理任务并构造输入上下文；将输入上下文输入第一模型，由第一模型生成第一生成内容，其中，第一模型的词表包括委托标记对应的词元，委托标记为用于指示切换生成主体的预设触发特征；在第一模型生成第一生成内容的过程中，检测第一模型的输出内容中是否包含委托标记；若检测到委托标记，则保留委托标记之前的第一模型已生成内容作为生成前缀，并基于生成前缀构造第二模型输入上下文；将第二模型输入上下文输入第二模型，由第二模型基于第二模型输入上下文继续生成，得到后续生成内容；将后续生成内容与生成前缀进行合并，得到合并结果，由第一模型基于合并结果继续执行生成处理，直至生成结束并获得最终输出。这样，通过在第一模型的词表中设置委托标记，使第一模型能够在生成过程中自主输出该标记以触发第二模型接续生成，有助于避免外部路由模块带来的额外系统开销和部署复杂度，降低了第二模型的调用成本，提高了协同推理的数据处理效率。同时，由于委托决策由第一模型自身的生成行为表达，减少了因外部路由逐步骤判断不准确所导致的第二模型调用冗余，有助于降低处理器的运算压力和算力资源占用。

1.一种多模型协同生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述第二模型基于所述第二模型输入上下文继续生成时，所述委托标记不作为所述第二模型的解码目标词元，以使所述第二模型在所述继续生成过程中不输出所述委托标记。

3.根据权利要求1所述的方法，其特征在于，所述由所述第二模型基于所述第二模型输入上下文继续生成，得到后续生成内容，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述第一模型通过第一阶段训练和第二阶段训练获得；

6.根据权利要求5所述的方法，其特征在于，所述第一阶段训练和所述第二阶段训练还包括：

7.根据权利要求5所述的方法，其特征在于，所述奖励通过以下方式构建：

8.一种多模型协同生成装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7任一项所述的方法。