优化基础模型推理的系统与方法与流程
本技术涉及机器学习模型,更具体地,涉及用于优化预训练基础模型推理的系统和各种方法。
背景技术:
1、低秩自适应(low-rank adaptation,lora)是一种用于微调大型预训练机器学习模型的方法,尤其适用于自然语言处理(natural language processing,nlp)和计算机视觉领域。lora无需修改预训练模型的全部参数,而是在冻结原始预训练权重的同时,添加一组规模较小且可训练的参数。这些可训练参数通过适配模型行为的低秩矩阵来表示。
2、剪枝(pruning)是一种模型优化技术,用于在不显著影响机器学习模型性能的前提下,缩减模型的规模并降低其复杂度。该过程包括识别重要性较低的参数(如权重、神经元或层),并将此类参数从模型中移除。具体而言,对模型性能贡献最小的参数可以设置为零,也可以直接移除模型的整个组件。
技术实现思路
1、根据本发明的一个方面,提供了一种计算机实现方法。所述方法包括:在内存中加载一个预训练机器学习模型;接收要使用所述机器学习模型进行处理的多个请求,其中,每个请求包括输入提示词、第一预算和第一任务的任务标识符;对于每个接收到的请求:在推理时对所述机器学习模型进行剪枝,其中,所述剪枝包括为所述机器学习模型的每层确定层门控值,所述层门控值基于所述第一预算和所述第一任务指示是否使用所述层进行推理;根据所述层门控值使用所述剪枝后机器学习模型来生成与所述请求对应的输出。
2、在一些实现方式中,确定所述层门控值可包括:对预算表执行查找,其中,所述预算表针对任务和预算的多种组合中的每种组合存储向量,所述向量表示所述机器学习模型的所有层的层门控值;确定所述预算表包括与所述第一预算和所述第一任务的所述组合对应的第一表项;检索与所述第一表项相关联的层门控值。
3、在一些实现方式中,所述机器学习模型的所述层的所述层门控值可通过所述预算表中的布尔向量表示。
4、在一些实现方式中,使用所述剪枝后机器学习模型可包括:仅使用层门控值等于预定义第一值的所述层生成所述输出。
5、在一些实现方式中,确定所述层门控值可包括:对预算表执行查找,其中,所述预算表针对任务和预算的多种组合中的每种组合存储向量,所述向量表示所述机器学习模型的所有层的层门控值;确定所述预算表不包括与所述第一预算和所述第一任务的所述组合对应的表项;执行逐层剪枝方法以获取所述第一预算和所述第一任务对应的层门控值。
6、在一些实现方式中,所述方法还可包括:将所述获取到的层门控值存储到所述预算表中。
7、根据本发明的另一个方面,提供了一种计算机实现方法。所述方法包括:在内存中加载一个预训练机器学习模型;接收要使用带有多个低秩自适应(low-rank adaptation,lora)适配器的所述机器学习模型进行处理的多个请求,其中,每个请求包括输入提示词、第一预算和第一lora适配器的标识符;对于每个接收到的请求:在推理时对所述机器学习模型进行剪枝,其中,所述剪枝包括为所述机器学习模型的每层确定层门控值,所述层门控值基于所述第一预算和所述第一lora适配器指示是否使用所述层进行推理;根据所述层门控值使用所述剪枝后机器学习模型和对应的lora适配器来生成与所述请求对应的输出。
8、在一些实现方式中,确定所述层门控值可包括:对预算表执行查找,其中,所述预算表针对lora标识符和预算的多种组合中的每种组合存储向量,所述向量表示所述机器学习模型的所有层的层门控值;确定所述预算表包括与所述第一预算和所述第一lora适配器的所述组合对应的第一表项;检索与所述第一表项相关联的层门控值。
9、在一些实现方式中,所述机器学习模型的所述层的所述层门控值可通过所述预算表中的布尔向量表示。
10、在一些实现方式中,使用所述剪枝后机器学习模型可包括:仅使用层门控值等于预定义第一值的所述层生成所述输出。
11、在一些实现方式中,确定所述层门控值可包括:对预算表执行查找,其中,所述预算表针对lora标识符和预算的多种组合中的每种组合存储向量,所述向量表示所述机器学习模型的所有层的层门控值;确定所述预算表不包括与所述第一预算和所述第一lora适配器的所述组合对应的表项;执行逐层剪枝方法以获取所述第一预算和所述第一lora适配器对应的层门控值。
12、在一些实现方式中,所述方法还可包括:将所述获取到的层门控值存储到所述预算表中。
13、根据本发明的另一个方面,提供了一种计算机实现方法。所述方法包括:接收要使用预训练机器学习模型进行处理的多个请求,其中,每个请求包括相应的输入提示词、预算和任务的任务标识符;对于所述机器学习模型的每层:识别具有相同层门控值的多个请求,其中,所述相同层门控值基于所述相应的预算和所述任务指示要使用所述层进行推理;响应于识别所述多个请求,为所述识别到的请求批量同步执行所述层。
14、在一些实现方式中,识别所述多个请求可包括:对预算表执行查找,其中,所述预算表针对任务和预算的多种组合中的每种组合存储向量,所述向量表示所述机器学习模型的所有层的层门控值;确定所述预算表包括与预算和任务的组合对应的表项,其中,所述组合与所述请求中的多个请求相关联;检索与所述表项相关联的层门控值。
15、在一些实现方式中,所述方法还可包括:对于所述机器学习模型的每层:仅识别具有层门控值的一个请求,其中,所述层门控值基于所述相应的预算和所述任务指示要使用所述层进行推理;响应于仅识别所述一个请求,在不进行批处理的情况下为所述识别到的请求执行所述层。
16、在一些实现方式中,所述机器学习模型的所述层的所述层门控值可通过所述预算表中的布尔向量表示。
17、根据本发明的另一个方面,提供了一种用于二进制剪枝门控的基于梯度的学习的计算机实现方法。所述方法包括:对二进制剪枝掩码进行参数化,以对hard concrete分布进行建模;优化以下公式给出的最小最大化目标:
18、=,
19、其中,是拉格朗日乘数。
20、在一些实现方式中,所述hard concrete分布被定义为:
21、,
22、其中,是均匀分布,是温度参数,是符合所述hard concrete分布的松弛二进制掩码,是所述hard concrete分布的边界。
23、根据本发明的另一个方面,提供了一种计算机可读存储介质,包括一个或多个指令,其中,当所述一个或多个指令在计算机上运行时,所述计算机执行本文中公开的任何方法。
24、根据本发明的另一个方面,提供了一种存储指令的非瞬时性计算机可读介质,所述指令在由处理器执行时,使得所述处理器实现本文中公开的任何方法。
25、根据本发明的另一个方面,提供了一种用于执行本文中公开的任何方法的设备。
26、根据本发明的另一个方面,提供了一种处理器,用于执行指令以使得设备执行本文中公开的任何方法。
27、根据本发明的另一个方面,提供了一种用于执行本文中公开的任何方法的集成电路。
28、根据本发明的另一个方面,提供了一种模块,包括用于执行本文中公开的任何方法的一个或多个电路。
29、根据本发明的另一个方面,提供了一种包括一个或多个处理器的装置,所述一个或多个处理器在功能上连接到存储器并用于执行本文中公开的任何方法。
30、根据本发明的另一个方面,提供了一种用于执行本文中公开的任何方法的装置。
31、在一些实施例中,所述装置包括用于执行本文中公开的任何方法的一个或多个单元。
32、根据本发明的另一个方面,提供了一个或多个非瞬时性计算机可读存储介质,包括计算机可执行指令,其中,所述指令在被执行时,使得至少一个处理单元、至少一个处理器或至少一个电路执行本文中公开的任何方法。
33、根据本发明的另一个方面,提供了存储计算机程序的一个或多个计算机可读存储介质,其中,当所述计算机程序由装置执行时,所述装置能够实现本文中公开的任何方法。
34、根据本发明的另一个方面,提供了一种包括一个或多个指令的计算机程序产品,其中,当所述指令由装置执行时,所述装置能够实现本文中公开的任何方法。
35、根据本发明的另一个方面,提供了一种计算机程序,其中,当所述计算机程序由计算机执行时,装置能够实现本文中公开的任何方法。
36、根据本发明的另一个方面,提供了一种系统,包括用于执行本文中公开的任何方法的节点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com