一种多个人工智能模型执行的方法及系统与流程

本发明的实施例涉及用于编译和执行ai模型的配置参数的优化。

背景技术：

1、当一个边缘设备同时运行多个人工智能（ai）应用时，这些应用所使用的ai模型可能会争夺有限的系统资源，例如中央处理单元（cpu）核心、神经处理单元（npu）和各种内存设备。这种竞争可能导致ai应用的性能下降，而性能下降可能导致无法满足预期的性能要求，例如功耗、内存占用和延迟。

2、为了缓解潜在的性能下降，应用开发人员可能依赖他们在系统资源分配方面的经验来满足性能要求。然而，当多个ai应用被执行时，资源分配的复杂性急剧增加。资源分配的配置设置有无数种可能的组合，而在有限的时间内只能实验有限的一组设置。此外，配置调整伴随着性能指标的权衡（例如，当功耗降低时，延迟增加），这使得启发式方法难以找到一种能够平衡在边缘设备上使用ai模型的多个ai应用性能的配置。

3、因此，需要一种有效的方法来确定资源分配，以便同时执行在边缘设备上使用ai模型的ai应用。该方法不仅需要高效，还需要确保所有ai应用在并行运行时能够满足其性能要求。

技术实现思路

1、在一个实施例中，提供了一种用于优化在应用场景中使用的ai模型执行的方法。该方法包括初始化用于编译和执行ai模型的参数设置。该参数设置包含编译设置和执行设置，分别进一步包括至少每个ai模型的硬件资源分配以及该ai模型在该应用场景中执行的顺序。该方法还包括使用基于性能指标的遗传算法调整该参数设置，以迭代更新该参数设置，以生成优化的编译设置和优化的执行设置。在每次迭代中，该性能指标由一个或多个目标边缘设备根据更新的执行设置执行该ai模型生成，并且该ai模型根据更新的编译设置进行编译。该方法还包括将该优化执行设置和使用该优化编译时设置编译的ai模型发送到多个边缘设备，以在该应用场景中执行该ai模型。

2、在另一个实施例中，提供了一种用于优化在应用场景中使用的ai模型执行的系统。该系统包括与处理器耦合的处理器和内存。处理器能够执行上述方法。

3、其他方面和特征将在结合附图对具体实施例的以下描述中为本领域普通技术人员所理解。

1.一种用于优化在应用场景中使用的多个人工智能ai模型执行的方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述硬件资源分配包括分配以下之一或多个：紧耦合内存和神经处理单元核心。

3.如权利要求1所述的方法，其特征在于，所述ai模型为所述遗传算法的多个选定个体重新编译。

4.如权利要求1所述的方法，其特征在于，所述参数设置包括编译时参数的设置，并且所述编译时参数包括以下之一或多个：分配给每个ai模型的内存大小、分配给每个ai模型的处理器核心数量，以及每个ai模型的切片和融合策略。

5.如权利要求1所述的方法，其特征在于，所述参数设置包括执行时参数的设置，并且所述执行时参数包括以下之一或多个：用于执行每个ai模型的神经处理单元的操作性能点、每个ai模型的线程数量，以及调度策略。

6.如权利要求1所述的方法，其特征在于，所述参数设置包括表示所述ai模型执行顺序的有向图。

7.如权利要求1所述的方法，其特征在于，所述两个或多个ai模型在所述目标边缘设备上并发执行于所述应用场景中。

8.如权利要求1所述的方法，其特征在于，所述多个目标边缘设备在调整所述参数设置期间并行执行，每个目标边缘设备执行所述遗传算法的一个或多个个体以生成所述性能指标。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

10.如权利要求1所述的方法，其特征在于，所述遗传算法中的每个个体由所有所述ai模型的编译时参数和执行时参数以及所述ai模型执行顺序表示。

11.一种用于优化在应用场景中使用的多个人工智能ai模型执行的系统，其特征在于，包括：

12.如权利要求11所述的系统，其特征在于，所述硬件资源分配包括分配以下之一或多个：紧耦合内存和神经处理单元核心。

13.如权利要求11所述的系统，其特征在于，所述ai模型为所述遗传算法的多个选定个体重新编译。

14.如权利要求11所述的系统，其特征在于，所述参数设置包括编译时参数的设置，并且所述编译时参数包括以下之一或多个：分配给每个ai模型的内存大小、分配给每个ai模型的处理器核心数量，以及每个ai模型的切片和融合策略。

15.如权利要求11所述的系统，其特征在于，所述参数设置包括执行时参数的设置，并且所述执行时参数包括以下一项或多项：用于执行每个ai模型的神经处理单元的操作性能点、每个ai模型的线程数，以及调度策略。

16.如权利要求11所述的系统，其特征在于，所述参数设置包括表示所述执行ai模型顺序的有向图。

17.如权利要求11所述的系统，其特征在于，两个或多个ai模型在所述应用场景中并发地在所述目标边缘设备上执行。

18.如权利要求11所述的系统，其特征在于，多个目标边缘设备在调整所述参数设置期间并行执行，每个目标边缘设备执行一个或多个遗传算法个体以生成所述性能指标。

19.如权利要求11所述的系统，其特征在于，所述一个或多个处理器进一步操作以：

20.如权利要求11所述的系统，其特征在于，所述遗传算法中的每个个体由所有ai模型的编译时参数和执行时参数以及所述执行ai模型的顺序表示。