推理结果生成方法、装置、电子设备及存储介质与流程

本公开涉及人工智能，特别涉及大模型、自然语言处理、分布式存储和智能云等领域，尤其涉及推理结果生成方法、装置、电子设备及存储介质。

背景技术：

1、目前，电力企业在推进信创（信息技术应用创新）改造过程中，核心业务系统被要求迁移至指定的芯片平台，如所述芯片可为国产神经网络处理单元（npu，neuralprocessing unit）。这类芯片在内存层次结构、指令集架构等方面与通用图形处理器（gpu，graphics processing unit）存在显著差异。比如，这类芯片通常采用高带宽内存（hbm，high bandwidth memory）与低带宽内存的两级存储层级。

技术实现思路

1、本公开提供了推理结果生成方法、装置、电子设备及存储介质。

2、一种推理结果生成方法，包括：

3、确定待处理的目标请求；

4、按照优先查询目标芯片的高带宽内存，未全部命中则查询所述目标芯片的低带宽内存的原则，从所述高带宽内存存储的热页面和/或所述低带宽内存存储的冷页面中，确定出所述目标请求对应的目标页面，其中，对推理引擎推理过程中产生的键值缓存进行键值页面的划分，并根据访问热度将各键值页面分别确定为所述热页面或所述冷页面，所述推理引擎运行在所述目标芯片上；

5、根据所述目标页面生成推理任务，将所述推理任务发送给所述推理引擎，并获取所述推理引擎生成的推理结果返回。

6、一种推理结果生成装置，包括：请求调度模块、分层压缩模块和量化执行模块；

7、所述请求调度模块，用于确定待处理的目标请求；

8、所述分层压缩模块，用于按照优先查询目标芯片的高带宽内存，未全部命中则查询所述目标芯片的低带宽内存的原则，从所述高带宽内存存储的热页面和/或所述低带宽内存存储的冷页面中，确定出所述目标请求对应的目标页面，其中，对推理引擎推理过程中产生的键值缓存进行键值页面的划分，并根据访问热度将各键值页面分别确定为所述热页面或所述冷页面，所述推理引擎运行在所述目标芯片上；

9、所述量化执行模块，用于根据所述目标页面生成推理任务，将所述推理任务发送给所述推理引擎，并获取所述推理引擎生成的推理结果返回。

10、一种电子设备，包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

14、一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

15、一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如以上所述的方法。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种推理结果生成方法，包括：

2.根据权利要求1所述的方法，其中，所述确定待处理的目标请求包括：

3.根据权利要求2所述的方法，还包括以下之一或任意组合：

4.根据权利要求1所述的方法，还包括：

5.根据权利要求4所述的方法，还包括：

6.根据权利要求5所述的方法，其中，获取任一热页面的综合评分包括：

7.根据权利要求5所述的方法，其中，

8.根据权利要求1所述的方法，还包括：

9.根据权利要求8所述的方法，其中，所述生成所述词汇表对应的量化嵌入矩阵包括：

10.根据权利要求9所述的方法，其中，所述获取词汇标签映射表包括：

11.根据权利要求10所述的方法，其中，所述分别获取所述词汇表中的各词汇的敏感度评分包括：

12.根据权利要求9所述的方法，其中，所述根据所述词汇标签映射表生成所述量化嵌入矩阵包括：

13.根据权利要求12所述的方法，其中，所述根据所述量化嵌入矩阵确定出所述目标请求对应的目标嵌入矩阵包括：

14.一种推理结果生成装置，包括：请求调度模块、分层压缩模块和量化执行模块；

15.一种电子设备，包括：

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-13中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1-13中任一项所述的方法。