一种基于多前端的模型快速部署方法及系统与流程

摘要: 本发明属于人工智能模型部署,涉及一种基于多前端的模型快速部署方法及系统。背景技术:1、随着人工智能产业的快速发展,昇腾310b/910、瑞芯微rk3588、复旦...
一种基于多前端的模型快速部署方法及系统与流程

本发明属于人工智能模型部署,涉及一种基于多前端的模型快速部署方法及系统。

背景技术:

1、随着人工智能产业的快速发展,昇腾 310b/910、瑞芯微 rk3588、复旦微 100tai等多款国产化专用 ai 后端板卡,已在边缘计算、智能视觉、嵌入式 ai、工业控制、涉密场景等领域大规模落地应用。深度学习模型从训练环境迁移至 ai 板卡完成工程化部署,是算法落地的核心环节,在模型正式上线运行前,需依次完成部署环境适配、模型转换优化、部署验证评估三大核心流程,是保障算法落地效果与设备运行稳定性的关键步骤。

2、当前业内主流 ai 模型部署工具链主要包含百度 fastdeploy 通用部署平台、磐基智能算法快速原型平台及各芯片厂商原生配套工具链。在实际工程落地中,现有部署方案普遍存在操作门槛高、多硬件适配弱、流程固化僵化、环境校验混乱、业务流程碎片化、无离线能力、全链路能力缺失七大核心缺陷,严重制约国产化 ai 模型批量部署与迭代效率。

3、结合国家知识产权局公开专利文献检索结果,目前业界已公开的模型部署、硬件适配、推理优化相关专利数量较多,但整体技术布局零散、场景针对性不足,未能系统性解决国产边缘 npu 全流程部署痛点,现有相关专利可归纳为三类,且均存在明显技术短板:

4、第一类为通用 ai 模型部署类专利,典型代表为百度在线网络技术(北京)有限公司《一种模型部署方法、装置、设备及存储介质》(cn117033922a)、腾讯科技(深圳)有限公司《跨平台模型部署方法、装置及电子设备》(cn116560666a)。该类专利主要聚焦通用 cpu、gpu 平台,侧重多引擎推理调度、模型轻量化压缩、统一接口部署优化,能够实现通用场景下的模型快速上线。但其技术方案为普适性设计,未针对昇腾、瑞芯微、复旦微等国产异构npu 架构、专属 sdk、硬件调度逻辑做深度适配,缺失国产芯片专用依赖分层校验、多硬件动态切换适配、算子级精度故障精准定位等定制能力,同时不支持全离线打包部署,无法适配涉密、断网边缘场景,国产化落地适配性严重不足。

5、第二类为算法原型验证类专利,以磐基智能相关算法快速验证专利、中兴通讯《基于边缘算力的模型部署测试方法》(cn116204878a)为典型代表。该类专利主要面向算法原型验证、边缘算力评估、多模型性能比对场景,可缩短算法早期验证周期。但整体架构偏向测试场景,未解决工程部署落地痛点,依旧依赖传统命令行交互,无一体化可视化操作体系,未实现系统依赖与硬件专属 sdk 的分层管理,缺失自动化参数寻优、远程可视化调试核心功能,跨不同架构国产 npu 迁移时需大规模重构适配逻辑,且未考虑无网涉密环境的离线部署需求,工程落地实用性有限。

6、第三类为单一国产芯片厂商配套专利,典型包括华为技术有限公司《一种模型推理部署方法及装置》(cn116127785a)、瑞芯微电子股份有限公司《基于边缘芯片的模型优化部署方法》(cn115937624a)。该类专利针对自有品牌 npu 硬件架构深度定制,可实现单款芯片的模型转换、环境校验、推理加速与性能测试,能够保障单一硬件的部署稳定性。但该类专利技术封闭性强、通用性极差,属于硬件绑定式定制方案,仅适配自家芯片平台,跨品牌、跨架构硬件迁移需要完全重构整套部署逻辑;同时普遍存在部署流程固化、功能碎片化、依赖在线环境更新依赖、无闭环自动化调优能力等问题,无法实现多品牌国产 ai 板卡的统一适配、灵活配置与全流程自动化部署。

7、综上,现有公开专利及商用技术方案,要么适配通用海外算力平台、国产化深度不足,要么硬件绑定严重、通用性缺失,要么仅覆盖部署单一环节、无法形成全链路闭环。目前尚无专利可同时实现多前端框架统一适配、多品牌国产 npu 兼容、分层依赖校验、可视化全流程操作、模块化柔性部署、算子级精度诊断、全离线涉密场景适配、远程可视化调试的一体化技术能力。本发明针对国产化边缘 ai 工程部署痛点,依托统一多后端适配框架、离线静态打包方案、全链路可视化交互架构,整合模型转换、精度分析、参数调优、远程调试、硬件监控全流程能力,构建一套通用、自主可控、全离线的国产化模型快速部署平台及方法,有效填补了现有专利技术体系的空白。

技术实现思路

1、本发明的目的在于解决不同模型前端面向不同神经网络处理器进行模型部署时存在的适配过程复杂、模型部署环境与目标硬件匹配困难以及模型转换与目标硬件运行衔接不便的问题,提供一种基于多前端的模型快速部署方法及系统。

2、为达到上述目的,本发明采用以下技术方案予以实现:

3、一种基于多前端的模型快速部署方法,包括以下步骤:

4、获取待部署模型和部署任务,所述部署任务包括待部署模型的模型前端类型、目标神经网络处理器类型和部署功能信息;

5、解析部署任务,根据模型前端类型从预设的前端适配关系中确定与其对应的模型处理资源,根据目标神经网络处理器类型从预设的硬件适配关系中确定与其对应的环境检查规则,所述环境检查规则包括通用系统依赖检查规则和目标神经网络处理器专用依赖检查规则;

6、根据通用系统依赖检查规则和目标神经网络处理器专用依赖检查规则,对模型部署环境进行分层环境检查,获得环境检查结果;

7、在环境检查结果指示模型部署环境通过分层环境检查时,根据部署功能信息调用与模型前端类型对应的模型处理资源,对待部署模型进行模型转换处理,获得目标模型;

8、将目标模型发送至目标神经网络处理器执行端,对目标模型进行推理,获取目标模型的运行结果;

9、基于运行结果,完成待部署模型的部署。

10、本发明的进一步改进在于:

11、所述预设的前端适配关系包括框架-功能配置映射文件和框架-指令映射表;

12、所述框架-功能配置映射文件用于存储不同模型前端类型对应的模型解析规则、转换流程和环境检查清单;

13、所述框架-指令映射表用于存储不同模型前端类型对应的转换命令、脚本路径、权限配置和接口适配规则;

14、所述根据模型前端类型从预设的前端适配关系中确定与其对应的模型处理资源,包括:

15、根据模型前端类型,从框架-功能配置映射文件中确定对应的模型解析规则和转换流程,并从框架-指令映射表中确定对应的转换命令、脚本路径、权限配置和接口适配规则;

16、根据确定的模型解析规则、转换流程、转换命令、脚本路径、权限配置与接口适配规则确定模型处理资源。

17、所述根据通用系统依赖检查规则和目标神经网络处理器专用依赖检查规则,对模型部署环境进行分层环境检查,获得环境检查结果,包括:

18、根据接入的硬件类型动态加载检查清单,分别对通用系统依赖和ai硬件专用依赖进行校验,并根据校验结果生成结构化报告,所述结构化报告包括依赖缺失信息和版本不兼容信息;

19、在结构化报告指示存在依赖缺失或版本不兼容时,调用本地预置的离线资源包,对模型部署环境执行缺失依赖补充、版本适配和环境变量配置,并对执行后的模型部署环境重新进行分层环境检查。

20、所述部署功能信息包括参数调优和精度分析:

21、所述根据部署功能信息调用与模型前端类型对应的模型处理资源,对待部署模型进行模型转换处理,获得目标模型,包括:

22、对待部署模型完成跨格式转换和算子适配,通过自动化参数遍历寻优生成推理速度最优、检测精度最优和速度与精度兼顾的模型文件,并对原始前端模型与转换后的模型文件进行算子级精度比对,根据比对结果定位异常算子并生成分析报告,根据自动化参数遍历寻优结果确定目标模型。

23、所述部署功能信息还包括远程调试;

24、在将目标模型发送至目标神经网络处理器执行端后,通过集成式ide和远程调试组件与目标神经网络处理器执行端建立远程调试链路,通过远程调试链路对运行目标模型的应用程序执行代码编译、断点调试和变量查看,在客户端、硬件协同套件和目标神经网络处理器执行端之间进行双向文件传输与目录管理。

25、所述获取目标模型的运行结果,包括:

26、在目标神经网络处理器执行端加载目标模型执行模型推理期间,实时采集npu内存、ai core使用率、cpu负载、芯片温度和总线带宽的运行指标;

27、在运行指标超出预设阈值时触发告警,并将运行指标、模型转换日志、精度指标、调试信息和执行状态码作为运行结果进行反馈。

28、一种基于多前端的模型快速部署系统,包括:

29、任务获取模块,用于获取待部署模型和部署任务,所述部署任务包括待部署模型的模型前端类型、目标神经网络处理器类型和部署功能信息;

30、任务解析模块,用于解析部署任务,根据模型前端类型从预设的前端适配关系中确定与其对应的模型处理资源,根据目标神经网络处理器类型从预设的硬件适配关系中确定与其对应的环境检查规则,所述环境检查规则包括通用系统依赖检查规则和目标神经网络处理器专用依赖检查规则;

31、分层环境检查模块,用于根据通用系统依赖检查规则和目标神经网络处理器专用依赖检查规则,对模型部署环境进行分层环境检查,获得环境检查结果;

32、模型转换模块,用于在环境检查结果指示模型部署环境通过分层环境检查时,根据部署功能信息调用与模型前端类型对应的模型处理资源,对待部署模型进行模型转换处理,获得目标模型;

33、模型推理模块,用于将目标模型发送至目标神经网络处理器执行端,对目标模型进行推理,获取目标模型的运行结果;

34、模型部署模块,用于基于运行结果,完成待部署模型的部署。

35、一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现任一项所述的方法。

36、一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现任一项所述方法的步骤。

37、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现任一项所述方法的步骤。

38、与现有技术相比,本发明具有以下有益效果:

39、本发明公开了一种基于多前端的模型快速部署方法,通过获取包括待部署模型的模型前端类型、目标神经网络处理器类型和部署功能信息的部署任务,并对部署任务进行解析,一方面根据模型前端类型从预设的前端适配关系中确定对应的模型处理资源,使不同模型前端类型能够匹配相应的模型处理资源,另一方面根据目标神经网络处理器类型从预设的硬件适配关系中确定对应的环境检查规则,使不同目标神经网络处理器能够匹配相应的环境检查规则,降低不同模型前端和不同目标神经网络处理器进行模型部署时的适配复杂度;通过包括通用系统依赖检查规则和目标神经网络处理器专用依赖检查规则的环境检查规则对模型部署环境进行分层环境检查,使模型部署环境的检查既能够覆盖通用系统依赖,又能够针对目标神经网络处理器的专用依赖进行检查,提高模型部署环境检查与目标神经网络处理器之间的适配性,减少因模型部署环境与目标神经网络处理器不匹配而影响后续模型转换的问题;在模型部署环境通过分层环境检查后,根据部署功能信息调用与模型前端类型对应的模型处理资源对待部署模型进行模型转换处理,使模型转换处理能够建立在与模型前端类型相匹配的模型处理资源以及通过检查的模型部署环境基础上,获得能够用于目标神经网络处理器的目标模型;再将目标模型发送至目标神经网络处理器执行端进行推理并获取运行结果,基于运行结果完成待部署模型的部署,解决多前端模型面向不同目标神经网络处理器部署时适配过程复杂、环境检查与模型处理过程相互割裂的问题,提高多前端模型部署过程的适配性和部署效率。