一种大模型的推理方法以及装置与流程

本技术实施例涉及计算机领域，尤其涉及一种大模型的推理方法以及装置。

背景技术：

1、随着大模型的应用越来越广泛，大模型推理过程的优化变得尤为重要。大模型的推理过程是指在已经训练好的模型上进行预测或生成任务，通常包括模型加载、输入处理、前向传播、后处理和结果生成等。由于大模型的复杂性，推理过程需要高效的计算资源和优化技术。

2、为了进一步提高大模型的推理效率，目前的大模型往往采用预填充和解码分离(prefill and decode disaggregation)的架构执行推理任务，pd分离架构是将大模型的预填充(prefill)和解码(decode)阶段分离处理，其中，预填充阶段是计算密集型的，用于处理输入数据的编码以及生成kv缓存数据，而解码阶段则是访存密集型的，用于加载kv缓存数据进行标记(token)计算。通过pd分离的引入，使得大模型在处理不同类型的输入时更加灵活，可以根据两个推理阶段的特性进行推理优化和调整，提升大模型的推理性能。

3、然而，在目前大模型pd分离架构的推理配置中，需要预先配置预填充阶段的实例和解码阶段的实例数量，在推理过程中，解码阶段的实例受限于预先配置的实例数量，在一些长序列处理场景中，无法扩充实例的显存空间，从而导致推理时延长。同时，目前pd分离架构的推理方案中，预填充阶段的实例执行预填充阶段的推理任务生成键值缓存数据后，需要将全部键值缓存数据发送至解码阶段的实例进行解码阶段的计算，实例之间通信负载高，较高的通信负载也进一步增加了推理时延。

技术实现思路

1、本技术实施例提供了一种大模型的推理方法，用于降低大模型的推理时延，提升大模型的推理效率。本技术实施例还提供了一种大模型的推理方法对应的大模型的推理装置、计算设备、计算设备集群、计算机可读存储介质以及计算机程序产品。

2、第一方面，本技术实施例提供了一种大模型的推理方法，该方法可以由大模型的推理系统执行，也可以由大模型的推理系统的部件，例如大模型的推理系统的处理器、芯片或芯片系统等执行，还可以由能实现全部或部分大模型的推理系统功能的逻辑模块或软件实现。第一方面提供的方法包括：大模型的推理系统获取大模型的推理任务，推理任务包括预填充阶段的推理任务和解码阶段的推理任务。大模型的推理系统中的第一实例执行预填充阶段的推理任务，生成键值缓存数据，键值缓存数据用于执行解码阶段的推理任务，键值缓存数据包括第一键值缓存数据和第二键值缓存数据，第一实例将第一键值缓存数据保留在第一实例，将第二键值缓存数据发送至第二实例，其中，第一实例即预填充实例，第二实例即解码实例。第一实例基于第一键值缓存数据，执行解码阶段的推理任务，第二实例基于第二键值缓存数据执行解码阶段的推理任务，即第一实例与第二实例可以并行执行解码阶段的推理任务。

3、本技术实施例中第一实例在执行预填充阶段的推理任务生成键值缓存数据之后，能够在第一实例保留一部分键值缓存数据继续和第二实例并行执行解码阶段的推理任务，即本技术中第一实例的显存空间也可以用于执行解码阶段的推理任务，相较于现有技术中预先配置固定数量的预填充实例和解码实例，由预填充实例和解码实例分别执行预填充阶段和解码阶段的推理任务，本技术实施例中的推理方法能够利用第一实例的带宽能力分担第二实例的带宽压力，从而提升了不同实例的显存利用率，降低了大模型的推理时延，提升大模型的推理效率。

4、一种可能实施方式中，大模型的推理系统基于推理配置策略对推理任务进行推理配置，推理配置策略用于配置第一实例与第二实例执行推理任务，包括配置第一实例执行预填充阶段的推理任务，以及配置第一实例与第二实例并行执行解码阶段的推理任务。推理配置策略还可以配置第一实例的显存空间用于执行解码阶段的推理任务。推理配置策略还可以配置执行预填充阶段的推理任务的第一实例和执行解码阶段的推理任务的第二实例的实例数量。

5、本技术实施例中大模型的推理系统可以灵活配置执行预填充阶段的推理任务的第一实例和执行解码阶段的推理任务的第二实例，同时也可以配置第一实例的显存空间用于执行解码阶段的推理任务，即申请实施例中能够利用第一实例的带宽能力分担第二实例的带宽压力，从而提升了不同实例的显存利用率，降低了大模型的推理时延，提升大模型的推理效率。

6、一种可能实施方式中，推理配置策略用于配置第一键值缓存数据在第一实例的显存空间，其中，推理配置策略包括外借显存空间比例，外借显存空间比例用于确定第一实例中保留第一键值缓存数据的部分显存空间，大模型的推理系统在基于第一实例执行预填充阶段的推理任务之后，基于外借显存空间比例在第一实例的显存空间保存第一键值缓存数据，外借显存空间比例是固定的比例，或者，外借显存空间比例是自适应调整的比例。即外借显存空间方式包括固定外借显存空间比例和自适应调整外借显存空间，固定外借显存空间比例是指第一实例设置允许保留固定比例的显存空间用于执行解码阶段的推理任务，自适应调整外借显存空间则是指第一实例可以自适应决定要保留的显存空间比例。

7、本技术实施例中大模型的推理系统可以基于推理配置策略设置第一实例的外借显存空间方式，可以配置第一实例外借固定比例的显存空间用于执行解码阶段的推理任务，也可以配置第一实例自适应决定外借显存空间比例，从而提升了第一实例外借显存空间处理阶段推理任务的灵活性。

8、一种可能实施方式中，推理配置策略包括实例扩缩方式，大模型的推理系统基于实例扩缩方式对第一实例或第二实例进行实例扩缩，实例扩缩是指扩充实例数量或缩减实例数量，实例扩缩方式包括实时调整或延时调整。其中，实时调整是指满足实例扩缩条件之后即时进行实例的扩充和缩减，延时调整是指满足实例扩缩条件之后按照延时规则延时进行实例的扩充和缩减。

9、本技术实施例中大模型的推理系统能够基于推理配置策略中的不同的实例扩缩方式对第一实例或第二实例进行实例扩缩，从而灵活调整执行预填充阶段的推理任务的第一实例和执行解码阶段的推理任务的第二实例，从而提升了不同实例的带宽利用效率以及算力利用效率，进一步提升了推理任务的推理效率。

10、一种可能实施方式中，推理配置策略还包括实例扩缩条件，大模型的推理系统基于实例扩缩条件对第一实例或第二实例进行实例扩缩，实例扩缩条件包括按照首字时延ttft调整或按照显存空间阈值调整。其中，按照首字时延ttft调整是指基于首字时延对应的首字时延阈值扩充或缩减实例，按照显存空间阈值调整是指剩余显存空间对应的显存空间阈值扩充或缩减实例。

11、本技术实施例中大模型的推理系统能够基于推理配置策略中的实例扩缩条件对第一实例或第二实例进行实例扩缩，从而灵活调整执行预填充阶段的推理任务的第一实例和执行解码阶段的推理任务的第二实例，从而提升了不同实例的带宽利用效率以及算力利用效率，进一步提升了推理任务的推理效率。

12、一种可能实施方式中，当推理任务的首字时延大于首字时延阈值，则第一实例扩充实例执行推理任务，或者，当第一实例的剩余显存空间小于显存空间阈值，则第一实例扩充实例执行推理任务。同样的，当推理任务的首字时延小于或等于首字时延阈值，则第一实例可以缩减实例执行推理任务，或者，当第一实例的剩余显存空间大于或等于显存空间阈值，则第一实例缩减实例执行推理任务。

13、本技术实施例中的不同实例能够按照执行推理任务的首字时延或者剩余显存空间扩充或者缩减实例，从而提升了扩充或缩减实例的可实现性。

14、一种可能实施方式中，当实例扩缩方式为延时调整，首字时延阈值包括第一首字时延阈值和第二首字时延阈值，显存空间阈值包括第一显存空间阈值和第二显存空间阈值，当推理任务的首字时延大于第一首字时延阈值且小于第二首字时延阈值，则第一实例延迟扩充实例执行推理任务，或者，当第一实例的剩余显存空间大于第一显存空间阈值且小于第二显存空间阈值，则第一实例延迟扩充实例执行推理任务。

15、本技术实施例中当实例扩缩方式为延时调整，则当实例扩缩条件满足第一实例扩缩条件，延时进行实例扩缩，当示例扩缩条件满足第二实例扩缩条件，再即时进行实例扩缩，从而提升了延时调整的示例扩缩方式下的进行实例扩缩的可实现性。

16、一种可能实施方式中，大模型的推理系统基于推理配置策略对推理任务进行推理配置的过程中，基于推理配置策略配置第二实例的显存空间管理方式，显存空间管理方式用于指示第二实例进行实例扩充的实例选择策略，显存空间管理方式包括轮询策略和长度预测辅助。其中，轮询策略是指推理系统轮询多个第二实例，查询多个第二实例的剩余显存空间的显存空间管理方式。长度预测辅助的是指第二实例根据长度预测模型预测执行推理任务的显存空间需求，并按照显存空间需求管理第二实例的显存空间。

17、本技术实施例中大模型的推理系统基于推理配置策略配置第二实例的显存空间管理方式，大模型的推理系统能够基于轮询策略和长度预测辅助的方式管理第二实例的显存空间，从而提升了第二实例的显存空间的利用效率，进一步提升了大模型的推理效率。

18、一种可能实施方式中，当第二实例的显存空间管理方式为长度预测辅助，则第二实例基于长度预测模型的预测结果确定执行推理任务的第二实例，长度预测模型用于预测解码阶段的推理任务所需的显存空间。

19、本技术实施例中第二实例基于长度预测模型的预测结果确定执行推理任务的第二实例，从而提升了选择执行推理任务的第二实例准确性，进一步提升了推理任务的执行效率。

20、一种可能实施方式中，大模型的推理系统基于第一实例与第二实例并行执行解码阶段的推理任务的过程中，大模型的推理系统在第一实例和第二实例之间传输查询词，查询词用于执行解码阶段的推理任务。

21、本技术实施例中第一实例保留一部分键值缓存数据在第一实例执行解码阶段的推理任务，并且在执行解码阶段的推理任务时第一实例和第二实例之间传输查询词，因此减少了第一实例和第二实例传输键值缓存数据的通信量，进一步提升了大模型的推理效率。

22、一种可能的实施方式中，推理配置策略还用于配置大模型推理的基础设置，其中，基础设置包括模型参数等信息的配置，例如，推理配置策略还用于指示配置上传模型参数的地址、配置大模型推理支持的最大推理长度以及推理精度。

23、本技术实施例中大模型的推理系统能够基于推理配置策略配置上传模型参数的地址和大模型推理支持的最大推理长度以及推理精度，从而提升了大模型推理配置的可实现性。

24、第二方面，本技术实施例提供了一种大模型的推理配置装置，该装置包括获取单元和处理单元，其中，获取单元用于获取大模型的推理任务，推理任务包括预填充阶段的推理任务和解码阶段的推理任务。处理单元用于执行预填充阶段的推理任务，生成键值缓存数据，键值缓存数据用于执行解码阶段的推理任务，键值缓存数据包括第一键值缓存数据和第二键值缓存数据，将第一键值缓存数据保留在第一实例中，将第二键值缓存数据发送至第二实例。处理单元还用于基于第一键值缓存数据，执行解码阶段的推理任务，第二实例基于第二键值缓存数据执行解码阶段的推理任务。

25、一种可能实施方式中，处理单元还用于基于推理配置策略对推理任务进行推理配置，推理配置策略用于配置第一实例与第二实例执行推理任务。

26、一种可能实施方式中，推理配置策略用于配置第一键值缓存数据在第一实例的显存空间，其中，推理配置策略包括外借显存空间比例，外借显存空间比例用于确定第一实例中保留第一键值缓存数据的部分显存空间，处理单元还用于基于外借显存空间比例在第一实例的显存空间保存第一键值缓存数据，外借显存空间比例是固定的比例，或者，外借显存空间比例是自适应调整的比例。

27、一种可能实施方式中，推理配置策略包括实例扩缩方式，处理单元还用于基于实例扩缩方式对第一实例或第二实例进行实例扩缩，实例扩缩方式包括实时调整或延时调整。

28、一种可能实施方式中，推理配置策略包括实例扩缩条件，处理单元还用于基于实例扩缩条件对第一实例或第二实例进行实例扩缩，实例扩缩条件包括按照首字时延ttft调整或按照显存空间阈值调整。

29、一种可能实施方式中，处理单元还用于当推理任务的首字时延大于首字时延阈值，则使第一实例扩充实例执行推理任务，或者，处理单元还用于当第一实例的剩余显存空间小于显存空间阈值，则使第一实例扩充实例执行推理任务。

30、一种可能实施方式中，当实例扩缩方式为延时调整，首字时延阈值包括第一首字时延阈值和第二首字时延阈值，显存空间阈值包括第一显存空间阈值和第二显存空间阈值，处理单元还用于当推理任务的首字时延大于第一首字时延阈值且小于第二首字时延阈值，则使第一实例延迟扩充实例执行推理任务，或者，处理单元还用于当第一实例的剩余显存空间大于第一显存空间阈值且小于第二显存空间阈值，则使第一实例延迟扩充实例执行推理任务。

31、一种可能实施方式中，处理单元具体用于基于推理配置策略配置第二实例的显存空间管理方式，显存空间管理方式用于指示第二实例进行实例扩充的实例选择策略，显存空间管理方式包括轮询策略和长度预测辅助。

32、一种可能实施方式中，处理单元还用于当第二实例的显存空间管理方式为长度预测辅助，则第二实例基于长度预测模型的预测结果确定执行推理任务的第二实例，长度预测模型用于预测解码阶段的推理任务所需的显存空间。

33、一种可能实施方式中，处理单元具体用于在第一实例和第二实例之间传输查询词，查询词用于执行解码阶段的推理任务。第三方面，本技术实施例提供了一种计算设备，计算设备包括处理器，处理器与存储器耦合，处理器用于存储指令，当指令被处理器执行时，以使得计算设备执行第一方面或第一方面任意一种可能的实施方式所述的方法。

34、第四方面，本技术实施例提供了一种计算设备集群，计算设备集群包括一个或多个计算设备，计算设备包括处理器，处理器与存储器耦合，处理器用于存储指令，当指令被处理器执行时，以使得计算设备集群执行第一方面或第一方面任意一种可能的实施方式所述的方法。

35、第五方面，本技术实施例提供了一种计算机可读存储介质，其上存储有指令，指令被执行时，以使得计算机执行上述第一方面或第一方面任意一种可能的实施方式所述的方法。

36、第六方面，本技术实施例提供了一种计算机程序产品，计算机程序产品中包括指令，指令被执行时，以使得计算机实现上述第一方面或第一方面任意一种可能的实施方式所述的方法。

37、可以理解，上述提供的任意一种大模型的推理装置、计算设备、计算设备集群、计算机可读介质或计算机程序产品等所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。