AI插件动态加载与调度方法、装置、电子设备及存储介质与流程

摘要: 本发明涉及边缘计算与人工智能交叉,具体涉及一种ai插件动态加载与调度方法、装置、电子设备及存储介质。背景技术:1、客户前置设备作为部署在用户侧的接入网关,天然位...
AI插件动态加载与调度方法、装置、电子设备及存储介质与流程

本发明涉及边缘计算与人工智能交叉,具体涉及一种ai插件动态加载与调度方法、装置、电子设备及存储介质。

背景技术:

1、客户前置设备作为部署在用户侧的接入网关,天然位于数据产生的源头,具备进行本地ai推理和智能处理的独特位置优势。在容器化技术方面,基于openwrt等嵌入式linux系统的cpe设备已逐步支持docker、lxc等轻量级容器运行时,为插件化的ai能力部署提供了技术基础。轻量级虚拟化技术通过命名空间和控制组实现资源隔离,具有低资源开销、快速启动、灵活扩展等核心优势。

2、在工业边缘领域,已有专利方案通过模型分片管理器将ai模型解耦为功能分片,结合上下文感知实现动态加载,但侧重点在于模型层面的分片管理,而非容器级插件的动态调度与协同执行。在插件调度领域,有方案采用强化学习算法对插件任务进行资源分配,但其面向的是通用边缘计算模块,未专门针对cpe设备的资源受限特性进行优化。此外,也有方案通过实现算法调度基本接口的方式在嵌入式边缘设备上调度算法,但其基于静态编译而非容器化动态加载,灵活性不足。

3、现有方案主要适用于服务器集群或资源相对充裕的边缘节点,未能充分考虑cpe设备的特殊硬件限制。当新的ai任务到达而当前可用资源不足时,如何在cpe的严格资源约束下实现ai插件的动态加载与资源回收,仍是当前亟需解决的技术问题。

技术实现思路

1、本发明的目的在于克服上述技术不足,提出一种ai插件动态加载与调度方法,解决现有技术中cpe资源约束下ai插件动态加载与回收困难的技术问题。

2、为达到上述技术目的,本发明采取了以下技术方案:

3、第一方面,本发明提供了一种ai插件动态加载与调度方法,用于cpe,包括:

4、获取所述cpe的资源状态信息,所述资源状态信息用于表征所述cpe的硬件运行状态和容器运行状态;

5、接收ai任务请求,解析所述ai任务请求,获取任务属性信息,所述任务属性信息用于表征所述ai任务的执行需求和优先级特征;

6、基于所述资源状态信息和所述任务属性信息,通过预设的资源匹配策略,从多个候选ai插件中确定目标ai插件;

7、根据所述目标ai插件,基于所述资源状态信息判断所述cpe的当前可用资源是否满足启动所述目标ai插件所需的资源阈值;若满足,则加载所述目标ai插件至所述cpe的内存中;若不满足,则根据预设的优先级策略释放所述cpe中运行的低优先级插件的资源,并重新判断所述当前可用资源是否满足所述资源阈值,直至满足后,再加载所述目标ai插件至所述cpe的内存中。

8、在一些实施例中,所述资源匹配策略至少包括:

9、第一筛选阶段,根据所述任务属性信息中的预设硬性约束条件,对所述候选ai插件进行硬性约束过滤,剔除不符合所述硬性约束条件的候选ai插件;

10、第二筛选阶段,根据所述资源状态信息对过滤后的候选ai插件进行匹配度评估,并根据评估结果选择所述目标ai插件。

11、在一些实施例中,所述匹配度评估的公式为:

12、;

13、其中,为资源匹配度;为性能匹配度;为冷启动成本;、、为可配置权重系数。

14、在一些实施例中,所述资源匹配策略还包括:

15、获取所述cpe的当前运行场景信息,所述运行场景信息至少包括当前电池供电模式、当前网络连接状态以及设备温度中的一种或多种;

16、根据所述运行场景信息,动态调整所述、、的取值。

17、在一些实施例中,所述加载所述目标ai插件至所述cpe的内存中的步骤之前,还包括:

18、解析所述任务属性信息,判断所述ai任务请求是否为单插件任务;

19、若是单插件任务,则直接执行所述加载所述目标ai插件至所述cpe的内存中的步骤;

20、若非单插件任务,则根据预设的协同执行策略,确定执行所述ai任务所需的多个目标ai插件,并构建所述多个目标ai插件之间的执行dag;其中,所述dag用于指示所述多个目标ai插件之间的数据流转路径和执行依赖关系。

21、在一些实施例中,所述构建所述多个目标ai插件之间的执行dag,包括:

22、根据所述任务属性信息,将所述ai任务拆分为多个子任务,并为每个所述子任务匹配对应的所述目标ai插件,以作为所述dag的节点;根据各所述子任务之间的数据依赖关系,确定所述dag的有向边;基于所述节点和所述有向边,生成初始执行dag;

23、根据所述初始执行dag,确定各节点的调度策略,所述调度策略包括:当所述dag中存在无依赖关系的并行分支时,以流水线并行方式调度对应的ai插件;以及,确定各节点间的数据流转方式,所述数据流转方式包括通过共享内存或unix domain socket在各ai插件间传递中间结果;

24、获取所述cpe本地存储中预存的调用链模板库,根据所述任务属性信息中的任务类型,匹配对应的目标调用链模板;若匹配成功,则直接以所述目标调用链模板替代所述初始执行dag,作为最终执行dag;若匹配失败,则将所述初始执行dag作为最终执行dag,并存入所述调用链模板库。

25、在一些实施例中,所述加载所述目标ai插件至所述cpe的内存中的步骤之后,还包括:

26、启动所述目标ai插件以执行所述ai任务;

27、响应于所述ai任务执行完成,返回执行结果,并更新所述cpe的本地元数据库;

28、其中,所述元数据库至少包括所述目标ai插件的性能画像信息和所述cpe在任务执行前后的资源状态变化记录,更新后的所述元数据库用于为后续接收的ai任务请求确定目标ai插件提供依据。

29、第二方面,本发明还提供了一种ai插件动态加载与调度装置,包括:

30、资源监控模块,用于获取所述cpe的资源状态信息,所述资源状态信息用于表征所述cpe的硬件运行状态和容器运行状态;

31、任务解析模块,用于接收ai任务请求,解析所述ai任务请求,获取任务属性信息,所述任务属性信息用于表征所述ai任务的执行需求和优先级特征;

32、插件选择模块,用于基于所述资源状态信息和所述任务属性信息,通过预设的资源匹配策略,从多个候选ai插件中确定目标ai插件;以及

33、插件调度模块,用于根据所述目标ai插件,基于所述资源状态信息判断所述cpe的当前可用资源是否满足启动所述目标ai插件所需的资源阈值;若满足,则加载所述目标ai插件至所述cpe的内存中;若不满足,则根据预设的优先级策略释放所述cpe中运行的低优先级插件的资源,并重新判断所述当前可用资源是否满足所述资源阈值,直至满足后,再加载所述目标ai插件至所述cpe的内存中。

34、第三方面,本发明还提供了一种电子设备,包括:处理器和存储器;

35、所述存储器上存储有可被所述处理器执行的计算机程序;

36、所述处理器执行所述计算机程序时实现如以上任意一项所述的ai插件动态加载与调度方法中的步骤。

37、第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如以上任意一项所述的ai插件动态加载与调度方法。

38、与现有技术相比,本发明提供的ai插件动态加载与调度方法,通过实时获取cpe的资源状态信息和ai任务的任务属性信息,在加载目标插件前预先判断当前可用资源是否满足资源阈值,仅在满足条件时加载,避免了资源不足导致的加载失败;当资源不足时,主动释放低优先级插件资源并循环执行释放-重新判断的操作,直至资源满足阈值后再加载目标插件,实现了资源的精细化回收和按需分配,避免了过度回收导致的算力浪费和反复加载对系统稳定性的影响,保障了高优先级任务的实时响应,从而在cpe的严格资源约束下实现了ai插件容器的动态按需加载与及时回收,最大化资源利用效率。