一种模型调度方法及电子设备与流程

摘要: 本技术涉及电子设备,尤其涉及一种模型调度方法及电子设备。背景技术:1、大模型的快速发展催生了智能代理(agent)和内容生成等诸多应用。为满足数据隐私保护和成本...
一种模型调度方法及电子设备与流程

本技术涉及电子设备,尤其涉及一种模型调度方法及电子设备。

背景技术:

1、大模型的快速发展催生了智能代理(agent)和内容生成等诸多应用。为满足数据隐私保护和成本的诉求,当前电子设备尤其是移动端电子设备中正加速集成多样化模型,例如电子设备中可以应用语言大模型、代码大模型、多模态大模型等多种模型。一些模型尤其是大模型对算力、内存等系统资源的消耗很大,而端侧电子设备的算力和内存资源有限,运行模型时容易给操作系统带来风险。例如电子设备中的应用调用模型时,不同模型之间可能存在资源抢占,导致模型运行效率下降和电子设备资源过度消耗甚至系统卡顿、卡死等问题,使用体验较低。

技术实现思路

1、本技术提供一种模型调度方法及电子设备,用以实现高效合理的模型调度,避免或减少模型运行时出现系统卡顿、卡死等问题。

2、第一方面,本技术实施例提供一种模型调度方法,应用于电子设备,所述方法包括:基于第一参考项和/或第二参考项,确定第一模型和第二模型的运行顺序;其中,所述第一参考项包括所述第一模型的类型和所述第二模型的类型,所述第二参考项包括所述第一模型的运行状态和所述第二模型的运行状态;基于所述运行顺序运行所述第一模型和所述第二模型。

3、该方法中,电子设备可以基于不同模型的类型和/或运行状态确定不同模型的运行顺序,并基于不同模型的运行顺序按序运行不同模型,进而高效合理的实现模型推理的调度,并提高多模型运行效率。该方法中,通过有序运行不同模型,还能防止不同模型之间进行资源抢占,进而避免或减少电子设备在模型运行过程中出现系统卡顿、卡死等问题,因此使用体验较高。

4、在一种可能的设计中,任一模型的类型符合以下至少一项:系统模型或非系统模型;大模型或小模型;其中,所述大模型为大小大于或等于设定大小的模型,所述小模型为大小小于所述设定大小的模型;或者,所述大模型为推理时延大于或等于设定时延的模型,所述小模型为推理时延小于所述设定时延的模型。其中,推理时延即运行时延,是指模型在执行推理任务的过程中从开始推理到生成完整响应所需的总时长。可选的,任一模型的推理时延为所述任一模型在历史时间段内执行至少一次推理任务的平均推理时延或最大推理时延或最小推理时延。

5、基于上述方法,电子设备可以基于模型的大小、模型是否为系统模型等信息灵活高效的确定不同模型的运行顺序,实用性较高。

6、在一种可能的设计中,所述系统模型的优先级高于所述非系统模型的优先级。基于该方法确定不同模型的运行顺序时,有助于优先保证系统模型的运行效率。

7、在一种可能的设计中,所述小模型的优先级高于所述大模型的优先级。

8、该方法中,小模型一般为用户希望立即得到响应的模型。大模型的运行速度较慢,实时性要求相对不高,可以允许小模型打断。因此通过设置小模型的优先级高于大模型的优先级,有助于保证用户期望的模型优先运行,进而提高使用体验。

9、在一种可能的设计中,任一模型的运行状态为前台状态或除所述前台状态以外的其它状态。

10、该方法中,模型的运行状态一定程度上可以反映出用户期望的模型运行顺序,例如前台状态的模型可以是用户当前更期望运行的模型。因此通过参考不同模型的运行状态确定不同模型的运行顺序,有助于使模型的运行顺序更接近用户期望,进而提高使用体验。

11、在一种可能的设计中,所述前台状态的模型的优先级高于所述其它状态的模型的优先级。

12、该方法中,前台状态的模型处理的推理任务为用户相对更关注的推理任务,因此通过设置前台状态的模型的优先级高于所述其它状态的模型的优先级,有助于保证用户相对更关注的推理任务优先执行,进而提高使用体验。

13、在一种可能的设计中,所述前台状态包括前台焦点状态或前台非焦点状态。

14、基于该方法可以参考更细粒度的信息确定不同模型的优先级,有助于实现更细粒度的模型调度。

15、在一种可能的设计中,所述前台焦点状态的模型的优先级高于所述前台非焦点状态的模型的优先级。

16、该方法中,前台焦点状态的模型处理的推理任务一般为用户最关注的推理任务,因此通过设置前台焦点状态的模型的优先级最高,有助于保证用户最关注的推理任务优先执行,进而提高使用体验。

17、在一种可能的设计中,当所述第一模型和所述第二模型均属于所述小模型时,所述运行顺序与所述第一模型和所述第二模型的优先级的高低顺序相同;或者,当所述第一模型和所述第二模型均属于所述大模型,且所述第一模型的运行状态和所述第二模型的运行状态不同时,所述运行顺序为并行运行;或者,当所述第一模型和所述第二模型均属于所述大模型,且所述第一模型的运行状态和所述第二模型的运行状态相同时,所述运行顺序为按照设定规则确定的顺序;或者,当所述第一模型属于所述大模型和所述非系统模型,且所述第二模型属于所述大模型和所述系统模型时,所述运行顺序为并行运行;或者,当所述第一模型属于所述小模型,所述第二模型属于所述大模型,且所述第一模型的运行状态为所述其它状态、所述第二模型的运行状态为所述前台状态时,所述运行顺序为并行运行;或者,当所述第一模型属于所述小模型,所述第二模型属于所述大模型,且不满足所述第一模型的运行状态为所述其它状态、所述第二模型的运行状态为所述前台状态时,所述运行顺序与所述第一模型和所述第二模型的优先级的高低顺序相同;其中,所述第一模型和所述第二模型的优先级是基于所述第一参考项和/或所述第二参考项确定的。

18、基于该方法,电子设备在不同场景下,可以结合具体场景确定更合适的模型运行顺序,进而提高不同场景下的模型调度效率和使用体验,实用性较高。

19、在一种可能的设计中,所述基于第一参考项和/或第二参考项,确定第一模型和第二模型的运行顺序,包括:基于所述第一参考项和/或所述第二参考项,确定所述第一模型和所述第二模型的优先级;基于所述第一模型和所述第二模型的优先级,确定所述运行顺序。

20、该方法中,模型运行状态的优先级可以反映业务优先级,模型类型的优先级可以反映运行资源优先级。电子设备结合业务优先级和运算资源优先级能够更合理的确定不同模型的优先级,进而基于不同模型的优先级更合理的确定不同模型的运行顺序。

21、在一种可能的设计中,当所述第一模型和所述第二模型的优先级不同时,所述运行顺序与所述第一模型和所述第二模型的优先级的高低顺序相同;或者,当所述第一模型和所述第二模型的优先级不同时,所述运行顺序为并行运行;或者,当所述第一模型和所述第二模型的优先级相同时,所述运行顺序为按照设定规则确定的顺序。

22、基于该方法,电子设备在不同优先级场景下,可以结合具体场景确定更合适的模型运行顺序,进而提高不同场景下的模型调度效率和使用体验,实用性较高。

23、在一种可能的设计中,所述基于所述运行顺序运行所述第一模型和所述第二模型,包括:当所述运行顺序为所述并行运行且所述第一模型的优先级高于所述第二模型的优先级时,按照第一运行速度运行所述第一模型,并按照第二运行速度运行所述第二模型;其中,所述第一运行速度高于所述第二运行速度。可选的,所述第一运行速度为所述第一模型的最大运行速度降低设定比例后得到的速度。可选的,所述第二运行速度小于或等于设定速度。

24、基于该方法,在多模型并发场景下,电子设备可以保证高优先级模型高速运行,进而保证对应的高优先级业务体验,同时可以保证低优先级模型不饿死,进而保证低优先级业务不饿死。通过该方法能够高效合理的实现多模型的并发调度,并防止不同模型之间进行资源竞争,进而避免系统卡顿、卡死等问题。

25、在一种可能的设计中,所述方法还包括:在运行所述第一模型和/或所述第二模型的过程中检测到满足设定的管控条件时,执行管控处理;其中,所述管控处理包括以下至少一项:降低所述第一模型和/或所述第二模型的运行速度;暂停运行所述第一模型和/或所述第二模型;停止运行所述第一模型和/或所述第二模型;不运行新的模型。

26、基于该方法,电子设备可以在单个或多个模型运行过程中结合实际场景对模型的运行过程进行管控,能够有效避免模型运行时对电子设备的系统能力和资源的过度消耗,进而避免出现系统卡顿、卡死过热、死机等问题。

27、在一种可能的设计中,所述管控条件包括以下至少一项:所述电子设备处于设定的高负载状态;所述电子设备的温度高于设定温度;所述电子设备的功耗高于设定功耗;所述电子设备的电量低于设定电量。可选的,所述电子设备处于设定的高负载状态,具体包括以下至少一项:所述电子设备中用于运行模型的处理器的负载高于或等于设定负载;所述电子设备中用于运行模型的处理器的带宽高于或等于设定带宽;所述电子设备的空闲内存容量小于或等于设定容量。

28、基于该方法,电子设备可以结合整体状态例如负载、温度、功耗、电量等,对单个或多个模型的运行过程进行管控,能够有效避免有效避免模型运行时对电子设备的系统能力和资源的过度消耗,进而保证电子设备的整机性能。

29、在一种可能的设计中,所述第一模型和/或所述第二模型的运行状态为其它状态;或者,所述第一模型和/或所述第二模型的运行状态为前台状态且所述第一模型和/或所述第二模型属于大模型;或者,所述第一模型和/或所述第二模型属于大模型。

30、上述方法中,其它状态的模型或大模型运行的实时性要求相对不高,因此通过结合整机状态对这类模型的运行过程进行管控,能够保证整机性能的同时尽可能降低对使用体验的影响。

31、在一种可能的设计中,所述方法还包括:若所述管控条件包括所述电子设备处于所述高负载状态,在执行所述管控处理时,输出用于提示所述第一模型和/或所述第二模型的运行资源不足的提示信息。通过该方法可以及时提醒用户系统资源不足,有助于提高使用体验。

32、在一种可能的设计中,所述暂停运行所述第一模型和/或所述第二模型,包括:在降低所述第一模型和/或所述第二模型的运行速度后仍满足所述管控条件时,暂停运行所述第一模型和/或所述第二模型。

33、该方法中,电子设备可以在整机状态较差时先降速运行模型,若降速运行模型后整机状态仍较差即降速运行模型不足以缓解整机压力,则可以暂停运行模型,从而更大力度的缓解整机压力。通过该方法,电子设备可以实现分档的精细化的模型管控,在管控时能够避免管控过度,实现合理有效的管控效率。

34、在一种可能的设计中,所述停止运行所述第一模型和/或所述第二模型,包括:在暂停运行所述第一模型和/或所述第二模型后仍满足所述管控条件时,停止运行所述第一模型和/或所述第二模型。

35、该方法中,电子设备在暂停运行模型后整机状态仍较差即暂停运行模型也不足以缓解整机压力,则可以停止运行模型,从而更大力度的缓解整机压力。通过该方法,电子设备可以实现分档的精细化的模型管控,在管控时能够避免管控过度,实现合理有效的管控效率。

36、在一种可能的设计中,所述方法还包括:当所述第一模型的运行状态为所述前台焦点状态,且无法支持所述第一模型按照最大速度运行时,输出用于提示所述第一模型的运行资源不足的提示信息。通过该方法可以及时提醒用户系统资源不足,有助于提高使用体验。

37、在一种可能的设计中,所述方法还包括:当所述第一模型和所述第二模型中的至少一个模型的运行状态变化时,基于所述第一参考项和/或第三参考项,重新确定所述第一模型和所述第二模型的运行顺序;其中,所述第三参考项包括所述至少一个模型的运行状态变化后所述第一模型的状态和所述第二模型的状态;按照重新确定的所述第一模型和所述第二模型的运行顺序运行所述第一模型和所述第二模型。

38、基于该方法,电子设备可以结合具体场景调节模型调度策略,实现动态进行模型调度的效果,灵活性和实用性较高。

39、第二方面,本技术提供一种电子设备,所述电子设备包括存储器和一个或多个处理器;其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备执行上述第一方面或第一方面的任一可能的设计所描述的方法。

40、第三方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行上述第一方面或第一方面的任一可能的设计所描述的方法。

41、第四方面,本技术提供一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令在电子设备上运行时,使得所述电子设备执行上述第一方面或第一方面的任一可能的设计所描述的方法。

42、第五方面,本技术提供一种芯片系统,该芯片系统包括处理器、存储器,存储器中存储有指令;所述指令被所述处理器执行时,实现上述第一方面或第一方面的任一可能的设计所描述的方法。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。

43、上述第二方面到第五方面的有益效果,可以参见上述第一方面的有益效果,这里不再重复赘述。