跨平台的大模型迁移方法、装置、电子设备及存储介质与流程

本申请涉及人工智能，具体涉及一种跨平台的大模型迁移方法、装置、电子设备及存储介质。

背景技术：

1、在当前人工智能大模型飞速发展的时代，随着大模型技术在金融风控、信贷审批、交易合规识别等金融业务领域以及医疗影像辅助诊断、基因组学分析、智能病历质控等医疗健康领域中加速落地。银行等金融机构与医院等医疗机构对数据安全、合规可控及本土化适配的要求日益严苛，为此需在不同图形处理器（graphics processing unit，gpu）硬件平台间频繁迁移模型推理与训练任务。

2、但是，不同gpu平台所对应的编译器、加速库及运行时环境存在显著生态差异，导致大模型在跨平台迁移部署时面临性能衰减、精度偏差及接口不兼容等突出矛盾。因此，目前亟需解决大模型在异构gpu平台间迁移兼容性低的问题。

技术实现思路

1、鉴于相关技术的上述不足，本申请提供一种跨平台的大模型迁移方法、装置、电子设备及存储介质，有效提高大模型在异构gpu平台间迁移的兼容性。

2、第一方面，本申请提供一种跨平台的大模型迁移方法，包括：

3、获取目标大模型在原始处理平台上进行训练后的模型权重，将所述模型权重转换为通用中间格式文件；

4、根据目标处理平台的架构类型，对所述通用中间格式文件执行与所述目标处理平台匹配的适配处理，得到推理部署文件，所述推理部署文件包括被所述目标处理平台执行模型推理任务的数据；

5、根据所述目标处理平台的硬件资源信息，对所述推理部署文件进行模型推理任务调度，并将调度后的模型推理任务部署至所述目标处理平台运行。

6、在可选的实施方式中，所述原始处理平台为第一计算芯片，所述目标处理平台为第二计算芯片，所述根据目标处理平台的架构类型，对所述通用中间格式文件执行与所述目标处理平台匹配的适配处理，得到推理部署文件，包括：

7、对所述通用中间格式文件进行算子映射处理，得到映射计算图；

8、对所述映射计算图进行优化编译，得到所述推理部署文件。

9、在可选的实施方式中，所述对所述通用中间格式文件进行算子映射处理，得到映射计算图，包括：

10、将所述通用中间格式文件中计算图的通用算子替换为所述第二计算芯片中的专用算子；

11、对满足融合条件的所述专用算子进行合并处理，得到初始映射计算图；

12、根据所述初始映射计算图的计算流程，配置所述初始映射计算图的内存复用规则，得到所述映射计算图。

13、在可选的实施方式中，所述对所述映射计算图进行优化编译，得到所述推理部署文件，包括：

14、对所述映射计算图进行解析，得到计算流程图；

15、根据所述计算流程图，删除所述映射计算图中的模型训练算子，所述模型训练算子是模型训练阶段使用的算子；

16、根据所述计算流程图对所述映射计算图进行内存静态规划；

17、根据内存静态规划后的映射计算图，生成所述第二计算芯片可执行的二进制推理文件，得到所述推理部署文件。

18、在可选的实施方式中，所述原始处理平台为第二计算芯片，所述目标处理平台为第一计算芯片，所述将所述模型权重转换为通用中间格式文件，包括：

19、通过所述第二计算芯片的训练套件导出接口，将所述模型权重及对应的配置信息导出为第一中间格式文件；

20、将所述第一中间格式文件转换为安全张量存储格式文件，所述安全张量存储格式文件构成所述通用中间格式文件。

21、在可选的实施方式中，所述根据目标处理平台的架构类型，对所述通用中间格式文件执行与所述目标处理平台匹配的适配处理，得到推理部署文件，包括：

22、将所述安全张量存储格式文件作为所述通用中间格式文件供所述第一计算芯片的推理加速框架引擎加载；

23、通过所述推理加速框架对所述通用中间格式文件的运行方式进行优化，得到所述推理部署文件。

24、在可选的实施方式中，所述通过所述推理加速框架对所述通用中间格式文件的运行方式进行优化，得到所述推理部署文件：

25、将所述通用中间格式文件中模型推理的键值缓存数据分散存储于非连续物理地址空间中；

26、将所述通用中间格式文件中多个待处理推理请求动态合并为批量处理请求；

27、将所述通用中间格式文件中模型推理过程绘制为计算图，得到所述推理部署文件。

28、第二方面，本申请提供一种跨平台的大模型迁移装置，包括：

29、格式转换模块，用于获取目标大模型在原始处理平台上进行训练后的模型权重，将所述模型权重转换为通用中间格式文件；

30、适配处理模块，用于根据目标处理平台的架构类型，对所述通用中间格式文件执行与所述目标处理平台匹配的适配处理，得到推理部署文件，所述推理部署文件包括被所述目标处理平台执行模型推理任务的数据；

31、任务调度模块，用于根据所述目标处理平台的硬件资源信息，对所述推理部署文件进行模型推理任务调度，并将调度后的模型推理任务部署至所述目标处理平台运行。

32、第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序实现如本申请第一方面所述的跨平台的大模型迁移方法。

33、第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本申请第一方面所述的跨平台的大模型迁移方法。

34、本申请提供的跨平台的大模型迁移方法、装置、电子设备及存储介质，获取目标大模型在原始处理平台上进行训练后的模型权重，将模型权重转换为通用中间格式文件；根据目标处理平台的架构类型，对通用中间格式文件执行与目标处理平台匹配的适配处理，得到推理部署文件，推理部署文件包括被目标处理平台执行模型推理任务的数据；根据目标处理平台的硬件资源信息，对推理部署文件进行模型推理任务调度，并将调度后的模型推理任务部署至目标处理平台运行。本申请通过将通用中间格式文件作为不同处理平台之间的通用中间层，屏蔽了不同图形处理器平台在权重格式上的底层差异。同时对通用中间格式文件执行与目标处理平台匹配的适配处理，得到推理部署文件，使模型能够被目标处理平台正确识别和高效执行。最后根据目标处理平台的硬件资源信息，对推理部署文件进行模型推理任务调度并部署至目标处理平台运行，从而实现了大模型在异构图形处理器平台之间的平滑迁移，提高了大模型在异构图形处理器平台间迁移的兼容性。

1.一种跨平台的大模型迁移方法，其特征在于，包括：

2.根据权利要求1所述的跨平台的大模型迁移方法，其特征在于，所述原始处理平台为第一计算芯片，所述目标处理平台为第二计算芯片，所述根据目标处理平台的架构类型，对所述通用中间格式文件执行与所述目标处理平台匹配的适配处理，得到推理部署文件，包括：

3.根据权利要求2所述的跨平台的大模型迁移方法，其特征在于，所述对所述通用中间格式文件进行算子映射处理，得到映射计算图，包括：

4.根据权利要求2所述的跨平台的大模型迁移方法，其特征在于，所述对所述映射计算图进行优化编译，得到所述推理部署文件，包括：

5.根据权利要求1所述的跨平台的大模型迁移方法，其特征在于，所述原始处理平台为第二计算芯片，所述目标处理平台为第一计算芯片，所述将所述模型权重转换为通用中间格式文件，包括：

6.根据权利要求5所述的跨平台的大模型迁移方法，其特征在于，所述根据目标处理平台的架构类型，对所述通用中间格式文件执行与所述目标处理平台匹配的适配处理，得到推理部署文件，包括：

7.根据权利要求6所述的跨平台的大模型迁移方法，其特征在于，所述通过所述推理加速框架对所述通用中间格式文件的运行方式进行优化，得到所述推理部署文件：

8.一种跨平台的大模型迁移装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至7任一项所述的跨平台的大模型迁移方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的跨平台的大模型迁移方法。