面向资源敏感部署环境的统一基座模型多任务推理方法与流程

本申请涉及人工智能，特别涉及面向资源敏感部署环境的统一基座模型多任务推理方法。

背景技术：

1、在多任务部署场景下，大语言模型通常采用低秩适配技术作为参数微调的主流方案，比如通过在原始权重矩阵旁设置低秩分支实现对特定任务的快速适应。然而，相关方案在推理阶段普遍采用固定的低秩增强路径，即低秩分支的结构和计算量在训练完成后即被固化，无法随实际部署环境的变化而调整。

2、而在资源敏感部署环境中，硬件资源往往难以满足所有推理请求均采用最高精度模式进行计算，系统难以在资源波动的条件下兼顾推理效率与推理质量。比如，在请求高峰期或硬件资源紧张时，相关技术中的固定路径无法降低增强分支的计算量以保障推理的实时性，可能导致服务延迟增加甚至系统崩溃；而在硬件资源充裕时，固定路径也无法充分利用闲置资源来提升推理质量。

技术实现思路

1、有鉴于此，本申请提供面向资源敏感部署环境的统一基座模型多任务推理方法，以兼顾多任务的推理效率与推理质量。

2、本申请提供的技术方案如下：

3、根据本申请第一方面的实施例，提供了一种面向资源敏感部署环境的统一基座模型多任务推理方法，所述方法应用于推理设备，所述推理设备被配置运行统一基座模型，所述统一基座模型包括原始权重矩阵和独立设置的低秩增强分支；所述方法包括：

4、根据所述推理设备的硬件资源负载参数，以及待执行的任务，生成秩配置指令，所述秩配置指令用于指示低秩增强分支中待激活的有效秩维度；所述低秩增强分支包括共享低秩基和任务专属低秩补偿，所述有效秩维度包括所述共享低秩基中第一目标秩级和任务专属低秩补偿中第二目标秩级；所述共享低秩基中不同秩级对应不同数量的待激活的秩，所述任务专属低秩补偿中不同秩级对应不同数量的待激活的秩；

5、响应于所述秩配置指令，将所述统一基座模型中的低秩增强分支切换至与所述有效秩维度对应的低秩配置；

6、将所述统一基座模型中原始权重矩阵对输入数据的输出、以及所述低秩配置对所述输入数据的运算结果进行叠加，得到目标推理结果。

7、根据本申请第二方面的实施例，提供了一种面向资源敏感部署环境的统一基座模型多任务推理装置，所述装置应用于推理设备，所述推理设备被配置运行统一基座模型，所述统一基座模型包括原始权重矩阵和独立设置的低秩增强分支；所述装置包括：

8、生成单元，用于根据所述推理设备的硬件资源负载参数，以及待执行的任务，生成秩配置指令，所述秩配置指令用于指示低秩增强分支中待激活的有效秩维度；所述低秩增强分支包括共享低秩基和任务专属低秩补偿，所述有效秩维度包括所述共享低秩基中第一目标秩级和任务专属低秩补偿中第二目标秩级；所述共享低秩基中不同秩级对应不同数量的待激活的秩，所述任务专属低秩补偿中不同秩级对应不同数量的待激活的秩；

9、切换单元，用于响应于所述秩配置指令，将所述统一基座模型中的低秩增强分支切换至与所述有效秩维度对应的低秩配置；

10、推理单元，用于将所述统一基座模型中原始权重矩阵对输入数据的输出、以及所述低秩配置对所述输入数据的运算结果进行叠加，得到目标推理结果。

11、根据本申请第三方面的实施例，提供了一种电子设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处理器用于执行所述机器可执行指令，以实现如第一方面所述的方法。

12、由以上技术方案可见，本申请根据硬件资源负载参数生成秩配置指令，该指令指示低秩增强分支中待激活的有效秩维度，而不同秩级对应不同数量的待激活的秩，使得推理设备能够根据当前资源状况实时调节低秩增强分支实际参与计算的数据通道数量。响应于该指令，低秩增强分支被切换至与当前有效秩维度对应的低秩配置，从而在不改变基座模型的前提下改变增强分支的计算强度。由此，推理设备能够在资源波动的部署条件下，动态地调节低秩增强分支的计算量，解决了相关技术中固定低秩增强路径无法随资源变化而调整的缺陷，兼顾了不同资源状况下的推理需求。

1.一种面向资源敏感部署环境的统一基座模型多任务推理方法，其特征在于，所述方法应用于推理设备，所述推理设备被配置运行统一基座模型，所述统一基座模型包括原始权重矩阵和独立设置的低秩增强分支；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述推理设备的硬件资源负载参数，以及待执行的任务，生成秩配置指令，包括：

3.根据权利要求2所述的方法，其特征在于，所述生成指示所述低秩增强分支的有效秩维度为非零值的秩配置指令，包括：

4.根据权利要求2所述的方法，其特征在于，所述生成指示所述低秩增强分支的有效秩维度为非零值的秩配置指令，包括：

5.根据权利要求1所述的方法，其特征在于，所述响应于所述秩配置指令，将所述统一基座模型中的低秩增强分支切换至与所述有效秩维度对应的低秩配置，包括：

6.根据权利要求1所述的方法，其特征在于，所述共享低秩基包含串联连接的共享参数矩阵和共享映射矩阵；所述任务专属低秩补偿包含串联连接的所述共享参数矩阵和任务专属映射矩阵；

7.根据权利要求6所述的方法，其特征在于，所述共享低秩基和所述任务专属低秩补偿通过以下方式训练得到：

8.根据权利要求7所述的方法，其特征在于，在训练所述任务专属低秩补偿时，该方法还包括：

9.根据权利要求8所述的方法，其特征在于，当所述待执行的任务对应的任务专属低秩补偿中叠加有所述私有低秩增强子基时，所述将所述统一基座模型中原始权重矩阵对输入数据的输出、以及所述低秩配置对所述输入数据的运算结果进行叠加，包括：

10.一种面向资源敏感部署环境的统一基座模型多任务推理装置，其特征在于，所述装置应用于推理设备，所述推理设备被配置运行统一基座模型，所述统一基座模型包括原始权重矩阵和独立设置的低秩增强分支；所述装置包括：

11.一种电子设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处理器用于执行所述机器可执行指令，以实现如权利要求1至9中任一项所述的方法。