一种模型推理方法及系统与流程
本技术涉及人工智能(artificial intelligence,ai),尤其涉及一种模型推理方法及系统。
背景技术:
1、模型推理,是指使用训练好的模型对的输入数据进行处理以输出处理结果的过程。在前述过程中,计算设备从存储器中获取模型的权重来对输入数据进行处理。在单机场景中,常将一部分权重部署在加速卡中,将另一部分权重部署在处理器中。在加速卡对输入数据进行处理时,需从处理器中获取权重来对输入数据进行处理。然而,加速卡与处理器之间的通信常通过高速串行计算机扩展总线(peripheral component interconnectexpress,pcie)进行,该pcie的带宽受限、加速卡获取权重的速度较慢,模型推理的效率较低。
技术实现思路
1、本技术提供了一种模型推理方法及系统,以解决由于pcie带宽受限,加速卡从处理器处获取权重的速度较慢,进而加速卡进行模型推理的效率较低的问题。
2、第一方面,本技术提供了一种模型推理方法。该模型推理方法可应用于计算机系统或应用于该计算机系统中实现模型推理方法的计算设备,如该计算机系统为模型推理系统,该计算设备包括加速器。在一种可能的示例中,模型推理系统包括多个加速器,多个加速器包括第一加速器和第二加速器,第一加速器中配置有模型的第一热权重,第二加速器中配置有模型的第二热权重。本方面提供的模型推理方法包括:模型推理系统获取第一推理请求。第一加速器根据第一热权重,对第一推理请求进行处理,得到第一推理结果,且第二加速器根据第二热权重,对第一推理请求进行处理,得到第二推理结果。第一加速器根据第一推理结果和第二推理结果,得到输出结果。其中,第一热权重的激活频率大于模型中冷权重的激活频率,且第一热权重与第二热权重相同。
3、在本技术中,第一加速器和第二加速器中都部署有相同的热权重,进而,第一加速器与第二加速器在执行模型推理时,可从其本地获取热权重以进行模型推理,由于加速器(第一加速器、第二加速器)从其本地获取热权重的速度大于加速器从其他位置(如处理器)获取权重的速度,因此,可提高模型推理的效率。以及,由于热权重的激活频率大于模型中冷权重的激活频率,因此,在第一加速器、第二加速器对第一推理请求进行处理时,可从其本地获取到执行第一推理请求所需的大部分权重,也即减少了第一加速器、第二加速器从其他位置获取权重的数据量,在加速器从其本地获取热权重的速度大于加速器从其他地方获取权重的速度的情况下,可进一步提高模型推理的效率。
4、在一种可能的情形中,上述模型可为大语言模型(large language model,llm)、卷积神经网络(convolutional neural network,cnn)、递归神经网络(recurrent neuralnetwork,rnn)、生成对抗网络(generative adversarial network,gan)等。
5、在一种可能的情形中,上述模型中一个网络层对应的权重包括第一热权重。
6、在另一种可能的情形中,上述模型中多个网络层对应的权重包括第一热权重。
7、在一种可能的示例中,模型推理系统获取第一推理请求,包括:第一加速器获取第一推理请求。
8、在另一种可能的示例中,模型推理系统还包括处理器,模型推理系统获取第一推理请求,包括:处理器获取第一推理请求。
9、例如,处理器通过收发器获取第一推理请求。
10、在一种可能的实现方式中,上述第一加速器与第二加速器的类型相同。
11、在一种可能的示例中,第一加速器与第二加速器都为用于指示模型推理的处理器。
12、例如,第一加速器、第二加速器都为图形处理器(graphics processing unit,gpu)。
13、又如,第一加速器、第二加速器都为神经网络处理器(neural networkprocessing unit,npu)。
14、还如,第一加速器、第二加速器都为张量处理器(tensor processing unit,tpu)。
15、再如,第一加速器、第二加速器都为可编程逻辑门阵列(field-programmablegate array,fpga)、或专用集成电路(application-specific integrated circuit,asic)、或数据处理器(data processing unit,dpu)等。
16、在一种可能的实现方式中,上述多个加速器还包括第三加速器,第三加速器与第一加速器和第二加速器的类型不同,第三加速器中配置有模型的第三热权重,第三热权重与第一热权重不同。进而,上述模型推理方法还包括:第三加速器根据第三热权重,对第一推理请求进行处理,得到第三推理结果。第一加速器根据第一推理结果和第二推理结果,得到输出结果,包括:第一加速器根据第一推理结果、第二推理结果和第三推理结果,得到输出结果。
17、在本技术中,由于模型推理系统包括不同类型的加速器,且该不同类型的加速器存储有不同的热权重,进而可通过异构的模型推理系统来实现模型推理,异构的模型推理系统能够灵活应对不同的推理需求和负载,从而可提高模型推理效率。
18、在一种可能的情形中,第一加速器和第二加速器的类型为gpu,第三加速器的类型为npu。
19、在另一种可能的情形中,第一加速器和第二加速器的类型为gpu,第三加速器的类型为tpu。
20、在一种可能的示例中,第一加速器中存储的第一热权重为模型中第一网络层的权重,第三加速器中存储的第三热权重为模型中第二网络层的权重,第一网络层和第二网络层为模型中不同的网络层。
21、在一种可能的实现方式中,第一加速器根据所第一热权重,对第一推理请求进行处理,得到第一推理结果,包括:第一加速器利用第一热权重中的第一子热权重,对第一推理请求进行处理,得到第一推理结果。该第一子热权重为模型推理系统通过飞线预测器,预测第一热权重处理第一推理请求时,所需利用的权重。
22、在本技术中,第一加速器在处理第一推理请求时仅用激活第一子热权重,即第一加速器仅用获取第一子热权重,减少了第一加速器获取权重的数据量,进而减小了获取权重所需的耗时,从而提高了第一加速器进行模型推理的效率。
23、同样的,在一种可能的实现方式中,第二加速器根据第二热权重,对第一推理请求进行处理,得到第二推理结果,包括:第二加速器利用第二热权重中的第二子热权重,对第一推理请求进行处理,得到第二推理结果。该第二子热权重为模型推理系统通过飞线预测器,预测第一热权重处理第一推理请求时,所需利用的权重。
24、在本技术中,第二加速器在处理第一推理请求时仅用激活第二子热权重,即第二加速器仅用获取第二子热权重,减少了第二加速器获取权重的数据量,进而减小了获取权重所需的耗时,从而提高了第二加速器进行模型推理的效率。
25、在一种可能的实现方式中,第一加速器中还配置有冷权重中的第一冷权重,第二加速器中还配置有冷权重中的第二冷权重。上述第一加速器根据第一热权重,对第一推理请求进行处理,得到第一推理结果,包括:第一加速器根据第一热权重和第一冷权重,对第一推理请求进行处理,得到第一推理结果。上述第二加速器根据第二热权重,对第一推理请求进行处理,得到第二推理结果,包括:第二加速器根据第二热权重和第二冷权重,对第一推理请求进行处理,得到第二推理结果。
26、在本技术中,由于第一加速器中配置有第一冷权重,第二加速器中配置有第二冷权重,因此,可减少第一加速器或第二加速器从模型推理系统中的其他器件中获取权重的数据量,进而减小了获取权重所需的耗时,从而提高了模型推理系统进行模型推理的效率。
27、在一种可能的情形中,第一热权重的存储区域与第一加速器中的加速芯片的距离小于或等于第一冷权重的存储区域与前述加速芯片的距离,进而加速芯片对第一热权重的访存效率大于或等于加速芯片对第一冷权重的访存效率。
28、在一种可能的示例中,第一热权重存储在第一加速器中的一级缓存、二级缓存或三级缓存中,第一冷权重中在一种可能的实现方式中,模型推理系统通过飞线预测器,预测模型推理系统处理第一推理请求时,所需利用的权重。前述所需利用的权重包括:第一热权重中的第一子热权重、第一冷权重中的第一子冷权重、第二热权重中的第二子热权重、第二冷权重中的第二子冷权重。上述第一加速器根据第一热权重和第一冷权重,对第一推理请求进行处理,得到第一推理结果,包括:第一加速器根据第一子热权重和第一子冷权重,对第一推理请求进行处理,得到第一推理结果。上述第二加速器根据第二热权重和第二冷权重,对第一推理请求进行处理,得到第二推理结果,包括:第二加速器根据第二子热权重和第二子冷权重,对第一推理请求进行处理,得到第二推理结果。
29、在本技术中,第一加速器在处理第一推理请求时仅用激活第一子热权重和第一子冷权重,即第一加速器仅用获取第一子热权重和第一子冷权重,减少了第一加速器获取权重的数据量(从第一热权重和第一子冷权重的数据量,减少到第一子热权重和第一子冷权重的数据量),进而减小了第一加速器获取权重所需的耗时,从而提高了模型推理的效率。
30、同样的,第二加速器在处理第一推理请求时仅用激活第二子热权重和第二子冷权重,即第二加速器仅用获取第二子热权重和第二子冷权重,减少了第二加速器获取权重的数据量(从第二热权重和第二子冷权重的数据量,减少到第二子热权重和第二子冷权重的数据量),进而减小了第二加速器获取权重所需的耗时,从而提高了模型推理的效率。综上,即可提高模型推理系统进行模型推理的效率。
31、在一种可能的实现方式中,第一子热权重的数据量和第一子冷权重的数据量之和,与第二子热权重的数据量和第二子冷权重的数据量之和的差值小于或等于第一阈值。
32、在本技术中,由于第一子热权重和第一子冷权重的数据量之和,与第二子热权重和第二子冷权重的数据量之和的差值小于或等于第一阈值,因此,每个加速器(第一加速器和第二加速器)处理第一推理请求时,所需的硬件资源(计算资源、存储资源、网络资源)的差值在第一阈值内,换言之,每个加速器在处理第一推理请求时都负载均衡,从而可提高模型推理系统进行模型推理的效率。
33、在一种可能的实现方式中,第一冷权重包括共现度大于或等于第二阈值的权重组合,权重组合存储在第一加速器中的同一存储单元中。
34、同样的,第二冷权重包括共现度大于或等于第二阈值的权重组合,权重组合存储在第二加速器中的同一存储单元中。
35、在本技术中,第一加速器通过将权重组合存储在同一存储单元中,进而第一加速器可从较小的存储区域中获取到该权重组合,进而加快了获取权重的速度,从而提高了模型推理效率。
36、在一种可能的情形中,上述权重组合可包括模型对应的权重矩阵中至少两个权重。
37、在一种可能的情形中,上述存储单元为数据块(block)、缓存行(cache line)、数据段(segment)或者物理存储块(chunk)。
38、在一种可能的实现方式中,上述模型推理方法,还包括:第一加速器获取用于指示对第一加速器中配置的第一冷权重进行切换的第一权重切换请求,进而根据第一权重切换请求,将第一冷权重中的第三子冷权重切换为热权重。其中,第三子冷权重的激活频率大于冷权重中除第三子冷权重外其他权重的激活频率。
39、在本技术中,第一加速器通过将第一冷权重中的第三子冷权重切换为热权重,在第一冷权重的存储区域远于第一热权重的存储区域的情况下,减少了第一加速器从较远的第一冷权重中获取权重的数据量,从而减小了第一加速器获取权重的耗时,从而提高了对模型推理的效率。
40、在一种可能的实现方式中,上述模型推理方法,还包括:第一加速器获取用于指示对第一加速器中配置的第一热权重进行切换的第二权重切换请求,进而根据第二权重切换请求,将第一热权重中的第三子热权重切换为冷权重。其中,第三子热权重的激活频率小于第一热权重中除第三子热权重外其他权重的激活频率。
41、在本技术中,第一加速器通过将第一热权重中的第三子热权重切换为冷权重,减少了第一加速器存储的第一热权重的数据量,降低了第一加速器的资源负载,以及第一加速器的功耗。
42、在一种可能的实现方式中,上述模型推理方法,还包括:第一加速器获取用于指示对第一加速器中配置的权重进行切换的第三权重切换请求,进而根据第三权重切换请求,将第一热权重中的第三子热权重切换为冷权重,且将第一加速器中配置的第一冷权重中第三子冷权重切换为热权重。其中,第三子热权重的激活频率小于第一热权重中除第三子热权重外其他权重的激活频率,第三子冷权重的激活频率大于冷权重中除第三子冷权重外其他权重的激活频率。
43、在本技术中,第一加速器通过将第一热权重中的第三子热权重切换为冷权重,且将第一冷权重中的第三子冷权重切换为热权重,进而在第一冷权重的存储区域远于第一热权重的存储区域的情况下,减少了第一加速器从较远的第一冷权重中获取权重的数据量(如减少了获取第三子冷权重的数据量),从而减小了第一加速器获取权重的耗时,从而提高了对模型推理的效率。
44、在一种可能的实现方式中,上述模型推理系统还包括处理器,该处理器用于管理所述多个加速器。上述模型推理系统获取第一推理请求包括:处理器获取第一推理请求,进而对第一推理请求进行飞线预测,确定第一加速器和第二加速器处理第一推理请求所需利用的权重,从而将第一加速器处理第一推理请求所需利用的权重的标识发送给第一加速器、将第二加速器处理第一推理请求所需利用的权重的标识发送给第二加速器。
45、在本技术中,处理器通过将第一加速器、第二加速器处理第一推理请求所需利用的权重的标识发送给第一加速器,可实现第一加速器、第二加速器选择性激活模型中的部分权重,从而减少第一加速器、第二加速器处理第一推理请求时获取的权重的数量,减小了获取权重所需的耗时,从而提高了模型推理系统进行模型推理的效率。
46、在一种可能的情形中,上述标识可为所需利用的权重的存储地址。
47、在一种可能的实现方式中,上述处理器中还配置有计数矩阵,该计数矩阵用于指示模型中权重的激活频率。上述模型推理方法,还包括:处理器根据模型推理系统处理第一推理请求所需利用的权重,确定所需利用的权重在权重矩阵中的第一位置,进而在计数矩阵中与第一位置对应的第二位置处的数值加1。若计数矩阵中第三位置处的数值大于第三阈值,则向第一加速器发送第一权重切换请求;若计数矩阵中第四位置处的数值小于第四阈值,则向第一加速器发送第二权重切换请求;若计数矩阵中第三位置处的数值大于第三阈值,且计数矩阵中第四位置处的数值小于第四阈值,则向第一加速器发送第三权重切换请求。
48、在本技术中,处理器在处理推理请求过程中,对所需利用的权重的激活次数进行统计,进而在满足阈值(第三阈值、第四阈值)要求时,向第一加速器发送权重切换请求(第一权重切换请求、第二权重切换请求、第三权重切换请求),处理器根据真实的推理请求,对冷权重、热权重进行动态切换,实现第一加速器中存储最新的第一热权重,减少了第一加速器对推理请求处理时,从模型推理系统包括的其他器件中获取权重的数据量,从而减小了第一加速器获取权重的耗时,提高了模型的推理效率。
49、在一种可能的情形中,权重矩阵中与第三位置对应位置的权重被配置在第一加速器中、权重矩阵中与第四位置对应位置的权重被配置在第一加速器中。
50、第二方面,本技术提供了一种模型推理系统。模型推理系统包括用于执行第一方面或第一方面任一种可选实现方式中的模型推理方法的各个设备。在一种可能的示例中,该模型推理系统包括多个加速器,多个加速器包括第一加速器和第二加速器,第一加速器中配置有模型的第一热权重,第二加速器中配置有模型的第二热权重。
51、模型推理系统,用于获取第一推理请求。
52、第一加速器,用于根据所述第一热权重,对所述第一推理请求进行处理,得到第一推理结果;所述第一热权重的激活频率大于所述模型中冷权重的激活频率。
53、第二加速器,用于根据所述第二热权重,对所述第一推理请求进行处理,得到第二推理结果;所述第二热权重与所述第一热权重相同。
54、第一加速器,用于根据所述第一推理结果和所述第二推理结果,得到输出结果。
55、在一种可能的实现方式中,第一加速器与第二加速器的类型相同。
56、在一种可能的实现方式中,上述多个加速器还包括第三加速器,第三加速器,与第一加速器和第二加速器的类型不同。第三加速器中配置有模型的第三热权重,第三热权重与第一热权重不同。第三加速器,用于根据第三热权重,对第一推理请求进行处理,得到第三推理结果。第一加速器,具体用于根据第一推理结果、第二推理结果和第三推理结果,得到输出结果。
57、在一种可能的实现方式中,第一加速器中还配置有冷权重中的第一冷权重,第二加速器中还配置有冷权重中的第二冷权重。第一加速器,具体用于根据第一热权重和第一冷权重,对第一推理请求进行处理,得到第一推理结果。第二加速器,具体用于根据第二热权重和第二冷权重,对第一推理请求进行处理,得到第二推理结果。
58、在一种可能的实现方式中,第一加速器,具体还用于根据第一热权重中的第一子热权重和第一冷权重中的第一子冷权重,对第一推理请求进行处理,得到第一推理结果。第二加速器,具体还用于根据第二热权重中的第二子热权重和第二冷权重中的第二子冷权重,对第一推理请求进行处理,得到第二推理结果。
59、在一种可能的实现方式中,第一子热权重的数据量和第一子冷权重的数据量之和,与第二子热权重的数据量和第二子冷权重的数据量之和的差值小于或等于第一阈值。
60、在一种可能的实现方式中,第一冷权重包括共现度大于或等于第二阈值的权重组合,权重组合存储在第一加速器中的同一存储单元中。
61、在一种可能的实现方式中,第一加速器,还用于获取第一权重切换请求;第一权重切换请求用于指示对第一加速器中配置的第一冷权重进行切换。第一加速器,还用于根据第一权重切换请求,将第一冷权重中的第三子冷权重切换为热权重;第三子冷权重的激活频率大于冷权重中除第三子冷权重外其他权重的激活频率。
62、在一种可能的实现方式中,第一加速器,还用于获取第二权重切换请求;第二权重切换请求用于指示对第一加速器中配置的第一热权重进行切换。第一加速器,还用于根据第二权重切换请求,将第一热权重中的第三子热权重切换为冷权重;第三子热权重的激活频率小于第一热权重中除第三子热权重外其他权重的激活频率。
63、在一种可能的实现方式中,第一加速器,还用于获取第三权重切换请求;第三权重切换请求用于指示对第一加速器中配置的权重进行切换。第一加速器,还用于根据第三权重切换请求,将第一热权重中的第三子热权重切换为冷权重,且将第一加速器中配置的第一冷权重中第三子冷权重切换为热权重。第三子热权重的激活频率小于第一热权重中除第三子热权重外其他权重的激活频率,第三子冷权重的激活频率大于冷权重中除第三子冷权重外其他权重的激活频率。
64、关于模型推理系统更多详细的实现内容可参照以上第一方面或第一方面中任一实现方式的描述,以及下述具体实施方式的内容,在此不予赘述。
65、第三方面,本技术提供一种芯片,包括:控制电路和接口电路。接口电路用于获取第一推理请求,控制电路用于执行上述第一方面或第一方面中任一种可能实现方式中的方法中第一加速器或第二加速器对所述第一请求的处理。本方面提供的芯片可为第一方面中第一加速器或第二加速器包括的用于在模型推理过程中执行计算的芯片。
66、第四方面,本技术提供一种服务器。该服务器包括处理器、多个加速器和存储器。
67、处理器用于执行存储器中存储的指令,以获取第一推理请求。
68、多个加速器中的第一加速器配置有模型的第一热权重,第一加速器根据第一热权重,对第一推理请求进行处理,得到第一推理结果;第一热权重的激活频率大于模型中冷权重的激活频率。
69、多个加速器中的第二加速器配置有模型的第二热权重,第二加速器根据第二热权重,对第一推理请求进行处理,得到第二推理结果;第二热权重与第一热权重相同。
70、第一加速器根据第一推理结果和第二推理结果,得到输出结果。
71、第五方面,本技术提供一种计算设备集群。该计算设备集群包括至少一个计算设备,每个计算设备包括存储器和处理器,该存储器用于存储计算机指令;该处理器执行计算机指令时,实现上述第一方面或第一方面中任一种可能实现方式中的方法。本方面提供的计算设备集群可为上述第二方面的模型推理系统,也即计算设备集群包括第一加速器以及第二加速器。
72、第六方面,本技术提供一种计算机可读存储介质,该存储介质中存储有计算机程序或指令,当计算机程序或指令被处理设备执行时,实现上述第一方面或第一方面中任一种可能实现方式中的方法。
73、第七方面,本技术提供一种计算机程序产品,该计算程序产品包括计算机程序或指令,当该计算机程序或指令被处理设备执行时,实现上述第一方面或第一方面中任一种可能实现方式中的方法。
74、以上第二方面至第七方面的有益效果可参照第一方面或第一方面中任一种可能的实现方式,在此不予赘述。本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com