一种便携终端多模型协同推理方法及系统与流程

本发明涉及计算机数据处理，尤其涉及一种便携终端多模型协同推理方法及系统。

背景技术：

1、随着人工智能技术的发展，具有人工智能推理能力的便携终端得到广泛应用。为满足不同应用功能及处理需求，便携终端中通常部署有多个推理模型，不同推理模型可根据终端运行需求分别执行相应的推理任务。由于便携终端受到设备体积、功耗及硬件配置等因素限制，可供多个推理模型使用的处理器、存储器及推理加速器等计算资源相对有限，因此多个推理模型在运行过程中通常需要共享部分计算资源。

2、在多模型运行场景下，不同推理任务的启动时机、运行时长及资源占用情况具有一定的动态性。当多个推理模型在相近时间内运行时，不同模型之间可能产生资源竞争，使其中部分推理任务的处理时延增加或者运行稳定性降低。现有技术通常根据模型的运行状态、资源占用情况或者任务优先级等信息，对多个推理模型的启动、等待及执行顺序进行管理，以降低多个推理任务同时执行所产生的资源竞争，并保证具有较高实时性要求的推理任务正常运行。

3、然而，便携终端中的计算资源运行状态会受到前后多个推理任务连续执行过程的影响，模型停止执行后，终端运行状态及其他正在运行的推理任务的处理性能并不一定同步恢复至模型介入前的状态。在多个推理请求连续到达的情况下，若仅依据当前模型是否正在执行或者当前计算资源占用情况进行后续模型的执行控制，难以准确反映前序推理任务对后续运行过程产生的持续影响，容易造成多个推理模型之间的连续资源干扰，进而影响便携终端多模型推理过程的运行稳定性。

技术实现思路

1、为解决上述技术问题，本发明提供了一种便携终端多模型协同推理方法及系统，通过分析多个推理模型运行过程中的干扰影响及恢复关系，实现对多个推理模型执行时序的协同控制。

2、为实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种便携终端多模型协同推理方法，包括：

4、获取便携终端中多个推理模型的运行数据，推理模型包括基准推理模型以及与基准推理模型共享计算资源的介入推理模型；

5、识别多组运行数据中的多个干扰事件，根据介入推理模型启动执行前基准推理模型的运行数据确定每个干扰事件的运行基准；

6、在介入推理模型停止执行后，根据基准推理模型相对于运行基准的运行状态，确定干扰事件的干扰闭合状态；

7、根据多个干扰事件中，在前序介入推理模型对应的干扰事件未闭合期间介入后续介入推理模型时，基准推理模型相对于对应运行基准的运行状态变化，确定前序介入推理模型与后续介入推理模型之间的恢复冲突关系；

8、响应于待执行介入推理模型的推理请求，根据当前未闭合干扰事件确定至少一个未闭合干扰来源，并根据各未闭合干扰来源与待执行介入推理模型之间的恢复冲突关系控制执行时序。

9、优选地，识别多组运行数据中的多个干扰事件，根据介入推理模型启动执行前基准推理模型的运行数据确定每个干扰事件的运行基准包括：

10、运行数据至少包括推理模型的模型标识以及多个推理实例的开始时刻和结束时刻，根据开始时刻和结束时刻按照执行顺序建立基准推理模型的推理实例序列；

11、当检测到任意一个介入推理模型在基准推理模型重复执行期间启动执行时，将介入推理模型的启动执行时刻对应的运行事件确定为候选干扰事件，并从启动执行时刻向前选取预设数量的连续基准推理模型推理实例，其中，所选取的推理实例均在介入推理模型启动执行前完成，且对应执行期间不存在其他介入推理模型的执行以及未闭合干扰事件；

12、根据所选取的多个推理实例的开始时刻和结束时刻确定对应运行时长，将各运行时长的中位值确定为中位运行时长，基于中位运行时长和多个运行时长计算所选取的多个推理实例的运行波动参数；

13、当运行波动参数不大于预设稳定阈值时，将候选干扰事件确定为干扰事件，并将中位运行时长确定为干扰事件的运行基准。

14、优选地，确定前序介入推理模型与后续介入推理模型之间的恢复冲突关系包括：

15、干扰闭合状态的确定包括，根据运行时长和干扰事件的运行基准判断多个推理实例是否满足恢复条件，当连续满足恢复条件的推理实例数量达到预设数量时，将干扰事件确定为闭合状态，否则确定为未闭合状态；

16、从多个干扰事件中确定关联干扰事件，对于任意一个关联干扰事件，确定后续介入推理模型启动执行前基准推理模型连续满足恢复条件的目标推理实例数量，并在后续介入推理模型启动执行后，按照前序介入推理模型对应干扰事件的运行基准继续判断基准推理模型的后续推理实例是否满足恢复条件；

17、当后续介入推理模型启动执行后，基准推理模型连续满足恢复条件的推理实例数量相对于目标推理实例数量发生回退时，将对应关联干扰事件确定为恢复回退事件；

18、针对相同的前序介入推理模型与后续介入推理模型对应的模型组合，根据恢复回退事件在对应关联干扰事件中的数量占比，确定模型组合的恢复回退参数；

19、根据后续介入推理模型在基准推理模型不存在未闭合干扰事件时的运行数据，确定后续介入推理模型的基准干扰参数，并根据恢复回退参数和基准干扰参数确定前序介入推理模型与后续介入推理模型之间的恢复冲突关系。

20、优选地，从多个干扰事件中确定关联干扰事件包括：

21、对于任一干扰事件，在对应介入推理模型停止执行后，根据基准推理模型关于多个推理实例是否满足恢复条件依次更新干扰事件的干扰闭合状态，将首个满足恢复条件的推理实例至使干扰事件首次达到闭合状态的推理实例之间的推理实例序列，确定为干扰事件的闭合转换区间；

22、若存在任意一个介入推理模型在闭合转换区间内启动执行，则将干扰事件确定为关联干扰事件，将形成关联干扰事件的介入推理模型确定为前序介入推理模型，将在闭合转换区间内最先启动执行的介入推理模型确定为后续介入推理模型。

23、优选地，根据当前未闭合干扰事件确定至少一个未闭合干扰来源，并根据各未闭合干扰来源与待执行介入推理模型之间的恢复冲突关系控制执行时序包括：

24、确定基准推理模型当前是否存在未闭合干扰事件，当基准推理模型存在未闭合干扰事件和满足恢复条件的推理实例时，将形成当前未闭合干扰事件的介入推理模型确定为初始未闭合干扰来源，并按照多个未闭合干扰来源的介入顺序建立未闭合干扰链；

25、响应于待执行介入推理模型的推理请求，分别确定待执行介入推理模型与未闭合干扰链中多个未闭合干扰来源之间的恢复冲突关系；

26、当待执行介入推理模型与多个未闭合干扰来源均不存在恢复冲突关系，且基准推理模型当前连续满足恢复条件的推理实例数量大于零时，获取待执行介入推理模型启动执行前基准推理模型的恢复进度，将恢复进度确定为待执行介入推理模型对应的恢复检查点；

27、控制待执行介入推理模型启动执行，并按照其介入顺序将待执行介入推理模型加入未闭合干扰链。

28、在待执行介入推理模型停止执行后，当基准推理模型的恢复进度重新达到恢复检查点时，将对应介入推理模型从未闭合干扰链中移除；

29、对于因与至少一个未闭合干扰来源存在恢复冲突关系而保持待执行状态的待执行介入推理模型，在未闭合干扰链发生更新后，根据更新后的多个未闭合干扰来源重新确定待执行介入推理模型的执行时序。

30、优选地，获取待执行介入推理模型启动执行前基准推理模型的恢复进度包括：

31、统计当前基准推理模型连续满足恢复条件的推理实例数量，将统计得到的推理实例数量作为基准推理模型的恢复进度。

32、第二方面，本发明提供一种便携终端多模型协同推理系统，包括：

33、运行数据获取模块，用于获取便携终端中多个推理模型的运行数据，推理模型包括基准推理模型以及与基准推理模型共享计算资源的介入推理模型；

34、干扰事件分析模块，用于识别多组运行数据中的多个干扰事件，根据介入推理模型启动执行前基准推理模型的运行数据确定每个干扰事件的运行基准；

35、干扰闭合确定模块，用于在介入推理模型停止执行后，根据基准推理模型相对于运行基准的运行状态，确定干扰事件的干扰闭合状态；

36、恢复冲突分析模块，用于根据多个干扰事件中，在前序介入推理模型对应的干扰事件未闭合期间介入后续介入推理模型时，基准推理模型相对于对应运行基准的运行状态变化，确定前序介入推理模型与后续介入推理模型之间的恢复冲突关系；

37、协同执行控制模块，用于响应于待执行介入推理模型的推理请求，根据当前未闭合干扰事件确定至少一个未闭合干扰来源，并根据各未闭合干扰来源与待执行介入推理模型之间的恢复冲突关系控制执行时序。

38、本发明具有以下有益效果：

39、本发明通过对便携终端中多个推理模型的实际运行过程进行分析，以基准推理模型的运行状态确定介入推理模型停止执行后的干扰闭合情况，并进一步建立不同介入推理模型之间的恢复冲突关系，从而避免仅以模型停止执行作为干扰结束依据而造成后续推理模型过早介入；同时，通过对当前未闭合干扰来源进行动态维护，并结合恢复检查点逐步更新可执行的介入推理模型，使具有恢复冲突关系的推理模型能够受到相应执行限制，而不存在恢复冲突的推理模型无需等待整个干扰过程完全结束，有利于降低连续多模型运行对基准推理过程稳定性的影响。