模型适配方法、装置、设备、介质及程序产品与流程

摘要: 本申请涉及人工智能,尤其涉及一种模型适配方法、装置、设备、介质及程序产品。背景技术:1、随着人工智能技术的快速发展,大语言模型已成为自然语言处理领域的常用模型。...
模型适配方法、装置、设备、介质及程序产品与流程

本申请涉及人工智能,尤其涉及一种模型适配方法、装置、设备、介质及程序产品。

背景技术:

1、随着人工智能技术的快速发展,大语言模型已成为自然语言处理领域的常用模型。然而,大语言模型通常参数量巨大,采用全量微调方式进行下游任务适配时,需要更新大量模型参数,不仅训练成本高昂,还会导致模型体积增大、推理延迟增加。

2、为此,低秩适应(low-rank adaptation,lora)应运而生,lora通过在原始权重矩阵中引入低秩分解矩阵实现模型适配,能够在显著降低训练参数量的同时保持模型性能。具体地,针对单一任务,在预训练模型的各权重矩阵引入低秩分解矩阵,冻结原始权重不变,仅对低秩矩阵进行训练;推理时,将训练得到的低秩矩阵与原始权重合并后进行前向计算,从而完成下游任务的适配。

3、然而,上述lora通常仅支持单一任务或固定适配,无法满足多任务等更多任务场景的适配需求,无法灵活且高效地实现任务的适配。

技术实现思路

1、本申请提供一种模型适配方法、装置、设备、介质及程序产品,用于提高任务适配的灵活性和效率。

2、第一方面,本申请实施例提供了一种模型适配方法,该方法包括:获取第一任务的任务信息;基于任务信息,确定第一任务对应的候选任务领域和候选任务领域的置信度;基于候选任务领域和置信度,从至少两个低秩适应lora模块中确定与第一任务对应的第一lora模块;基于第一lora模块的适配参数,更新预设大模型的模型参数,得到目标大模型;其中,预设大模型包括至少两个关键层,每个关键层包括至少两个lora模块中的一个lora模块,且不同关键层包括的lora模块不同。

3、本申请提供的技术方案至少带来以下有益效果:基于第一任务的候选任务领域和置信度,得到对应的第一lora模块,通过第一lora模块更新预设大模型的模型参数得到目标大模型。本方案中,基于任务的任务信息,确定对应的任务领域和任务领域的置信度,以确定最适配的lora模块,然后使用lora模块的适配参数更新预设大模型的参数,以训练得到目标大模型,使得目标大模型能够应对多任务、多领域或动态上下文的适配需求。如此,提高了大模型在多任务场景下任务适配的灵活性与效率。

4、一种可能的实现方式,上述至少两个lora模块均以模块文件的形式存储在电子设备中,每个lora模块对应的模块文件为通过预设量化压缩算法进行压缩处理得到的文件。

5、一种可能的实现方式,上述基于上述任务信息,确定上述第一任务对应的候选任务领域和上述候选任务领域的置信度,包括:根据上述任务信息,确定上述第一任务对应的多维度特征集合;通过上述预设大模型中的轻量化分类器,对上述多维度特征集合执行分类处理,得到上述候选任务领域;通过上述预设大模型中的基于变换器的双向编码器bert意图识别模型,对上述候选任务领域执行置信度校验处理,得到上述候选任务领域的置信度。

6、一种可能的实现方式,上述基于上述第一lora模块的适配参数,模型适配装置更新预设大模型的模型参数,得到目标大模型,包括:模型适配装置激活上述第一lora模块,并对上述第一lora模块的适配参数与预设大模型的权重参数执行线性融合处理,得到目标大模型。

7、一种可能的实现方式,上述方法还包括:在执行上述第一任务完成后或接收到其他任务的任务信息的情况下,模型适配装置卸载或去激活上述第一lora模块。

8、第二方面,本申请实施例提供了一种模型适配装置,包括:获取模块和处理模块;获取模块,用于获取第一任务的任务信息;获取模块,还用于基于任务信息,确定第一任务对应的候选任务领域和候选任务领域的置信度;获取模块,还用于基于候选任务领域和置信度,从至少两个lora模块中确定与第一任务对应的第一lora模块;处理模块,用于基于第一lora模块的适配参数,更新预设大模型的模型参数,得到目标大模型;其中,预设大模型包括至少两个关键层,每个关键层包括至少两个lora模块中的一个lora模块,且不同关键层包括的lora模块不同。

9、一种可能的实现方式,上述至少两个lora模块均以模块文件的形式存储在电子设备中;其中,每个lora模块对应的模块文件为通过预设量化压缩算法进行压缩处理得到的文件。

10、一种可能的实现方式,上述获取模块,具体用于:根据上述任务信息,确定上述第一任务对应的多维度特征集合;通过上述预设大模型中的轻量化分类器,对上述多维度特征集合执行分类处理,得到上述候选任务领域;通过上述预设大模型中的bert意图识别模型,对上述候选任务领域执行置信度校验处理,得到上述候选任务领域的置信度。

11、一种可能的实现方式,上述处理模块,具体用于:激活上述第一lora模块,并对上述第一lora模块的适配参数与预设大模型的权重参数执行线性融合处理,得到目标大模型。

12、一种可能的实现方式,上述处理模块,还用于在执行上述第一任务完成后或接收到其他任务的任务信息的情况下,卸载或去激活上述第一lora模块。

13、第三方面,本申请提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。

14、第四方面,本申请提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。

15、第五方面,本申请提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。

16、第六方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

17、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。

1.一种模型适配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的模型适配方法,其特征在于,所述至少两个lora模块均以模块文件的形式存储在电子设备中;

3.根据权利要求1所述的模型适配方法,其特征在于,所述基于所述任务信息,确定所述第一任务对应的候选任务领域和所述候选任务领域的置信度,包括:

4.根据权利要求1所述的模型适配方法,其特征在于,所述基于所述第一lora模块的适配参数,更新预设大模型的模型参数,得到目标大模型,包括:

5.根据权利要求4所述的模型适配方法,其特征在于,所述方法还包括:

6.一种模型适配装置,其特征在于,包括:获取模块和处理模块;

7.根据权利要求6所述的模型适配装置,其特征在于,所述至少两个lora模块均以模块文件的形式存储在电子设备中;

8.根据权利要求6所述的模型适配装置,其特征在于,所述获取模块,具体用于:

9.根据权利要求6所述的模型适配装置,其特征在于,所述处理模块,具体用于:激活所述第一lora模块,并对所述第一lora模块的适配参数与预设大模型的权重参数执行线性融合处理,得到目标大模型。

10.根据权利要求9所述的模型适配装置,其特征在于,所述处理模块,还用于在执行所述第一任务完成后或接收到其他任务的任务信息的情况下,卸载或去激活所述第一lora模块。

11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的模型适配方法。

12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被计算机执行时实现如权利要求1-5任一项所述的模型适配方法。

13.一种计算机程序产品,其特征在于,所述计算机程序产品被存储在存储介质中,所述计算机程序产品被计算机执行时以实现如权利要求1-5任一项所述的模型适配方法。