一种大模型智能迁移系统、方法、设备及介质

本技术属于模型迁移，具体涉及一种大模型智能迁移系统、方法、设备及介质。

背景技术：

1、近几年来，随着大型语言模型技术的快速发展，以transformer为基础的大模型在自然语言理解、内容生成、智能对话等领域取得了显著成果。而专用ai算力芯片也逐渐成为支撑大模型高效运行的关键基础设施。其中，npu（neural processing unit, npu）凭借自研的达芬奇架构与完善的工具生态，在ai算力平台中占据重要地位，是大语言模型实现高效推理与部署的重要硬件载体。当前，将大语言模型从传统gpu（graphics processingunit, gpu）平台迁移适配至npu平台，对降低部署成本、推动算力生态建设具有重要现实意义。

2、在这个模型迁移过程中，整体流程大致可划分为权重转换适配、精度调试、预训练迭代验证三大核心阶段，涉及模型解析、推理验证等一系列任务。而不同大语言模型在结构、参数量、算子类型上存在差异，使得迁移各阶段的参数配置、脚本调用呈现高度多样化与场景依赖性。当前迁移工作主要依赖人工调试与固定接口开发，然而这种方法不仅流程繁琐、效率低下，而且为不同模型单独开发适配接口会导致系统复用性差、扩展困难。同时，迁移操作对使用者专业能力要求较高，普通用户难以快速、稳定地完成迁移任务。

3、在这样的背景下，大语言模型的跨硬件迁移过程面临流程复杂、参数繁多、经验难以复用、用户门槛较高等问题。

技术实现思路

1、本技术实施例的目的是提供一种大模型智能迁移系统、方法、设备及介质，能够解决上述问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种大模型智能迁移系统，该系统至少包括：

4、脚本经验知识库，用于存储多个历史模型迁移任务的历史执行经验和历史模型迁移任务的迁移脚本；所述历史执行经验包括历史成功执行经验和历史失败执行经验；

5、智能决策层，用于在当前模型迁移任务发起时，利用脚本工具在所述脚本经验知识库中检索并判断是否存在与所述当前模型迁移任务完全匹配的目标历史成功执行经验，得到检索结果：

6、智能决策层，用于在所述检索结果表示存在目标历史成功执行经验的情况下，按照所述目标历史成功执行经验生成针对所述当前模型迁移任务的目标迁移参数配置方案；

7、智能决策层，用于在所述检索结果表示不存在目标历史成功执行经验的情况下，将所述脚本工具在所述脚本经验知识库中检索到的候选迁移脚本、记忆工具在所述脚本经验知识库中检索到的与所述当前模型迁移任务关联的历史失败迁移经验，与所述当前模型迁移任务对应的待迁移模型的架构特征和目标迁移硬件的算力条件进行融合，生成目标迁移参数配置方案；

8、智能决策层，用于利用监控工具采集所述当前模型迁移任务的执行状态、日志信息、执行效果，并在按照所述目标迁移参数配置方案将所述待迁移模型迁移至目标迁移硬件之后，根据所述当前模型迁移任务的执行状态、日志信息和执行效果生成优化建议；

9、智能决策层，用于利用所述监控工具，将所述目标迁移参数配置方案、所述优化建议生成新的历史执行经验存入所述脚本经验知识库中。

10、可选地，所述将所述脚本工具在所述脚本经验知识库中检索到的候选迁移脚本、记忆工具在所述脚本经验知识库中检索到的与所述当前模型迁移任务关联的历史失败迁移经验，与所述当前模型迁移任务对应的待迁移模型的架构特征和目标迁移硬件的算力条件进行融合，生成目标迁移参数配置方案，包括：

11、智能决策层，用于接收所述脚本工具基于所述待迁移模型的架构特征、所述待迁移模型的迁移步骤、所述待迁移模型的模型唯一标识生成检索关键词，并根据所述检索关键词，从所述脚本经验知识库中确定出的候选迁移脚本；

12、智能决策层，用于接收所述记忆工具根据所述检索关键词，从所述脚本经验知识库中确定出的历史失败迁移经验；

13、智能决策层，用于根据所述候选迁移脚本中提取出的参数名和默认值，构建出基础参数集合；

14、智能决策层，用于根据所述历史失败迁移经验、所述基础参数集合、所述目标迁移硬件的算力信息和所述待迁移模型的架构特征，生成目标迁移参数配置方案。

15、可选地，所述脚本工具基于所述待迁移模型的架构特征、所述待迁移模型的迁移步骤、所述待迁移模型的模型唯一标识生成检索关键词，并根据所述检索关键词，从所述脚本经验知识库中确定出的候选迁移脚本，包括：

16、脚本工具，用于获取所述待迁移模型的配置文件，解析得到所述待迁移模型的架构特征；

17、脚本工具，用于基于所述待迁移模型的架构特征、所述待迁移模型的迁移步骤、所述待迁移模型的模型唯一标识生成检索关键词，并根据所述检索关键词，从所述脚本经验知识库中初筛出满足所述检索关键词的多个初始候选迁移脚本：

18、脚本工具，用于根据所述待迁移模型的配置文件，确定出所述待迁移模型的第一模型系列信息和待迁移模型的第一模型规模信息，以及根据所述待迁移模型的模型唯一标识确定出所述待迁移模型的第二模型系列信息和待迁移模型的第二模型规模信息；

19、脚本工具，用于将所述第一模型系列信息和所述第一模型规模信息与所述第二模型系列信息和所述第二模型规模信息进行对比，得到脚本筛选范围，并基于所述脚本筛选范围对所述多个初始候选迁移脚本进行筛选，得到多个中间候选迁移脚本；

20、脚本工具，用于利用第一大语言模型，基于所述目标迁移硬件的算力信息、待迁移模型的功能类型、待迁移模型的配置文件，从所述多个中间候选迁移脚本中确定出候选迁移脚本。

21、可选地，所述根据所述检索关键词，从所述脚本经验知识库中确定出的历史失败迁移经验，包括：

22、根据所述检索关键字、所述迁移步骤、所述配置信息生成原始查询，并利用第二大语言模型对所述原始查询进行语义扩展，得到扩展查询；

23、根据所述原始查询和所述扩展查询，从所述脚本经验知识库中确定出多个初始候选失败迁移经验；

24、通过加权融合排序的方式，根据所述当前模型迁移任务分别与所述初始候选失败迁移经验之间的向量语义相似度、时间衰减因子，从所述多个初始候选失败迁移经验中确定出排名在前k的初始候选失败迁移经验作为历史失败迁移经验。

25、可选地，所述当前模型迁移任务包括：权重转换、模型训练、精度采集和性能采集：

26、所述系统还包括：

27、交互接入层，用于接收用户输入的待迁移模型的模型唯一标识；

28、服务协同层，用于根据所述模型唯一标识下载所述待迁移模型；

29、智能决策层，用于根据服务协同层下载的待迁移模型，获取所述待迁移模型的架构特征和所述待迁移模型的迁移步骤；

30、交互接入层，用于将智能决策层生成的目标迁移参数配置方案显示给用户，并接收用户在交互接入层对所述目标迁移参数配置方案的确认信息或参数配置调整信息；

31、智能决策层，用于在接收到所述参数配置调整信息后，将所述参数配置调整信息、所述基础参数集合、所述历史失败执行经验、所述目标迁移硬件的算力信息、所述待迁移模型的架构特征与预设决策引导提示词进行结合，通过第三大语言模型对所述基础参数集合进行优化，得到更新后的目标迁移参数配置方案并通过交互接入层显示给用户，直至接收用户在交互接入层对所述更新后的目标迁移参数配置方案的确认信息；

32、计算执行层，用于在接收到所述确认信息后，按照所述目标迁移参数配置方案或所述更新后的目标迁移参数配置方案执行所述当前模型迁移任务；

33、其中，所述目标迁移参数配置方案中的迁移脚本或所述更新后的目标迁移参数配置方案中的迁移脚本包括权重转换所需的模型格式转换脚本和目标迁移硬件的前向校验脚本，以及模型训练所需的模型训练脚本。

34、可选地，所述计算执行层包括：权重转换模块、模型训练模块、精度采集模块和性能采集模块；所述按照所述目标迁移参数配置方案或所述更新后的目标迁移参数配置方案执行所述当前模型迁移任务，包括：

35、权重转换模块，用于按照所述模型格式转换脚本和所述目标迁移硬件的前向校验脚本对所述待迁移模型依次进行格式转换、权重一致性验证、原始迁移硬件前向验证、目标迁移硬件前向验证及前向结果对比；

36、模型训练模块，用于按照所述模型训练脚本，针对所述待迁移模型进行数据预处理与预训练迭代，

37、精度采集模块，用于在用户在所述待迁移模型进行预训练前开启训练数据采集功能的情况下，向用户提供训练过程精度数据；

38、性能采集模块，用于在用户在所述待迁移模型进行预训练前开启训练数据采集功能的情况下，向用户提供训练过程性能数据。

39、可选地，交互接入层，还用于对尚未适配的模型，提供自定义脚本配置入口；

40、所述自定义脚本配置入口用于使用户自行编写并提交针对尚未适配的模型的迁移脚本，并将尚未适配的模型的迁移脚本存储至所述脚本经验知识库中，以供后续同类型的待迁移模型对应的模型迁移任务检索和复用。

41、第二方面，本技术实施例提供了一种大模型智能迁移方法，所述方法包括：

42、将多个历史模型迁移任务的历史执行经验和历史模型迁移任务的迁移脚本存储至脚本经验知识库中；所述历史执行经验包括历史成功执行经验和历史失败执行经验；

43、在当前模型迁移任务发起时，利用脚本工具在所述脚本经验知识库中检索并判断是否存在与所述当前模型迁移任务完全匹配的目标历史成功执行经验，得到检索结果：

44、在所述检索结果表示存在目标历史成功执行经验的情况下，按照所述目标历史成功执行经验生成针对所述当前模型迁移任务的目标迁移参数配置方案；

45、在所述检索结果表示不存在目标历史成功执行经验的情况下，将所述脚本工具在所述脚本经验知识库中检索到的候选迁移脚本、记忆工具在所述脚本经验知识库中检索到的与所述当前模型迁移任务关联的历史失败迁移经验，与所述当前模型迁移任务对应的待迁移模型的架构特征和目标迁移硬件的算力条件进行融合，生成目标迁移参数配置方案；

46、利用监控工具采集所述当前模型迁移任务的执行状态、日志信息、执行效果，并在按照所述目标迁移参数配置方案将所述待迁移模型迁移至目标迁移硬件之后，根据所述当前模型迁移任务的执行状态、日志信息和执行效果生成优化建议；

47、利用所述监控工具，将所述目标迁移参数配置方案、所述优化建议生成新的历史执行经验存入所述脚本经验知识库中。

48、第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第二方面所述的大模型智能迁移方法中的步骤。

49、第四方面，本技术实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第二方面所述的大模型智能迁移方法中的步骤。

50、本技术提供了一种大模型智能迁移系统该系统至少包括：脚本经验知识库，用于存储多个历史模型迁移任务的历史执行经验和历史模型迁移任务的迁移脚本；所述历史执行经验包括历史成功执行经验和历史失败执行经验；智能决策层，用于在当前模型迁移任务发起时，利用脚本工具在所述脚本经验知识库中检索并判断是否存在与所述当前模型迁移任务完全匹配的目标历史成功执行经验，得到检索结果：在所述检索结果表示存在目标历史成功执行经验的情况下，按照所述目标历史成功执行经验生成针对所述当前模型迁移任务的目标迁移参数配置方案；在所述检索结果表示不存在目标历史成功执行经验的情况下，将所述脚本工具在所述脚本经验知识库中检索到的候选迁移脚本、记忆工具在所述脚本经验知识库中检索到的与所述当前模型迁移任务关联的历史失败迁移经验，与所述当前模型迁移任务对应的待迁移模型的架构特征和目标迁移硬件的算力条件进行融合，生成目标迁移参数配置方案；利用监控工具采集所述当前模型迁移任务的执行状态、日志信息、执行效果，并在按照所述目标迁移参数配置方案将所述待迁移模型迁移至目标迁移硬件之后，根据所述当前模型迁移任务的执行状态、日志信息和执行效果生成优化建议；利用所述监控工具，将所述目标迁移参数配置方案、所述优化建议生成新的历史执行经验存入所述脚本经验知识库中。

51、通过本技术的技术方案，构建了一种大模型智能迁移系统，针对传统迁移流程中脚本选择依赖人工、参数适配灵活性不足、历史迁移经验难以复用等问题，该系统通过分层协同架构实现历史迁移经验的匹配，以及多源信息融合的生成目标迁移参数配置方案、任务执行、历史执行经验记录的闭环优化机制，降低了异构迁移场景中的人工依赖，提高了大语言模型的跨硬件迁移的效率和稳定性。