一种工业AI操作系统的云边端多模型协同推理编排方法与流程

本发明涉及人工智能任务调度及分布式计算，特别是一种工业ai操作系统的云边端多模型协同推理编排方法。

背景技术：

1、随着人工智能技术的发展，越来越多的应用需要通过多个ai模型协同完成推理任务，不同ai模型之间以及同一ai模型内部的不同计算环节之间通常存在数据传递关系和执行先后关系。现有的ai模型推理任务通常以完整模型、服务或容器作为调度单元，各ai模型大多独立部署和执行，难以在算子粒度对多个ai模型的计算结构及算子依赖关系进行统一描述。在一个推理任务包括多个ai模型的情况下，通常需要按照预设顺序或者固定流程组织各ai模型的执行，容易出现算子之间的依赖关系不明确、执行顺序难以统一确定以及影响整体推理时延的关键计算环节难以识别等问题，从而导致多个ai模型之间的等待或执行冲突，影响推理任务的协同执行效率。因此，如何对多个ai模型中的算子及其依赖关系进行统一表示，并据此确定算子的执行顺序和关键路径，以实现多个ai模型推理任务的统一编排，成为需要解决的技术问题。

技术实现思路

1、在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、为解决现有技术的不足，本发明的一个目的在于提供一种工业ai操作系统的云边端多模型协同推理编排方法。

3、为了实现上述目标，本发明采用如下的技术方案：一种工业ai操作系统的云边端多模型协同推理编排方法，所述工业ai操作系统包括统一调度器以及部署于云端、边缘端和端侧的计算资源，其特征在于，包括：接收基于工业现场数据的推理任务，并获取用于协同执行所述推理任务的多个ai模型；将各所述ai模型解析为算子级有向无环图，所述算子级有向无环图以所述ai模型中的算子为节点，并以所述算子之间的依赖关系为有向边；对各所述算子级有向无环图进行拓扑排序和关键路径分析，获得各所述算子的执行顺序和各所述算子级有向无环图的关键路径；根据各所述算子的执行顺序和所述关键路径，对各所述算子进行编排，生成任务编排结果；通过所述统一调度器获取所述云端、所述边缘端和所述端侧的资源状态，根据所述任务编排结果和所述资源状态确定各所述算子的执行位置，并按照所述任务编排结果将各所述算子调度至对应执行位置的计算资源执行；通过所述统一调度器获取各所述算子的执行状态，并根据所述执行状态对各所述算子的调度进行调整。

4、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：通过有向无环图引擎将各所述ai模型解析为所述算子级有向无环图，包括：解析各所述ai模型的计算结构，识别构成各所述ai模型的多个算子节点；获取各所述算子节点的算子元数据，并为各所述算子节点确定算子亲和性标签；根据各所述算子节点之间的数据传递关系建立算子依赖关系；将各所述算子节点与对应的所述算子元数据、算子亲和性标签和算子依赖关系相关联，形成多个统一计算单元，并根据各所述统一计算单元之间的算子依赖关系构建所述算子级有向无环图。

5、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：还包括，统一调度器向资源监控器查询边端设备资源画像，并接收所述资源监控器返回的实时资源状态；当所述实时资源状态表征边端资源足够时，将所述算子级有向无环图完整部署至边缘执行器；当所述实时资源状态表征边端资源不足时，触发所述算子级有向无环图的粗粒度拆分，将所述算子级有向无环图拆分为第一子图和第二子图，并将所述第一子图部署至所述边缘执行器，将所述第二子图部署至云端执行器。

6、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：所述粗粒度拆分包括，根据所述算子级有向无环图的拓扑关系对所述算子级有向无环图进行划分，获得多个相互关联的算子子图；根据各所述算子的算子亲和性标签和所述边端设备资源画像，为各所述算子子图确定对应的执行器；其中，对所述算子级有向无环图的划分以降低不同执行器之间的数据传输量为约束。

7、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：通过所述统一调度器将待执行的各所述算子加入任务队列，对各所述算子进行优先级计算，并根据优先级计算结果将各所述算子分配至对应的优先级队列；根据各所述优先级队列中算子的优先级确定目标算子，并将所述目标算子调度至对应的执行器执行。

8、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：所述优先级计算按照以下公式确定各所述算子的动态优先级：

9、；

10、其中，为第i个算子在时刻t的动态优先级，为所述第i个算子所属ai模型的静态优先级，为所述第i个算子的截止时间紧迫度，为所述第i个算子对应的实时工况紧迫度，为所述第i个算子在所述算子级有向无环图中的下游阻塞度，、、和分别为对应的加权系数。

11、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：根据所述优先级计算结果确定目标算子对应的执行器，并向所述执行器下发所述目标算子的调度执行指令，获取所述执行器返回的执行状态；根据所述执行状态确定对应执行器的资源状态，在所述资源状态表征出现资源瓶颈时，触发所述算子级有向无环图的动态再拆分，并将资源瓶颈对应的算子子图中的至少部分算子迁移至满足执行条件的其他执行器。

12、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：所述动态再拆分包括，根据各所述算子子图的执行状态确定资源瓶颈对应的目标算子子图，并从所述目标算子子图中确定待迁移算子；根据其他执行器的资源状态，从所述其他执行器中确定满足所述待迁移算子执行条件的目标执行器，并将所述待迁移算子由原执行器迁移至所述目标执行器执行。

13、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：根据所述执行状态确定各所述算子的执行进度，在目标算子的执行进度不满足对应的截止时间要求时，提高所述目标算子的优先级，并使所述目标算子抢占优先级低于所述目标算子的算子所占用的执行资源。

14、作为本发明所述工业ai操作系统的云边端多模型协同推理编排方法的一种优选方案，其中：还包括，对所述推理任务进行端到端确定性推理保障，以使所述推理任务从开始处理至获得最终推理结果的端到端时延满足预设时延约束。

15、本发明的有益效果：本发明将推理任务所包括的各ai模型解析为算子级有向无环图，以算子作为节点并以算子之间的依赖关系作为有向边，使不同ai模型的计算结构和算子依赖关系能够在统一的数据结构中进行表示；通过对各算子级有向无环图进行拓扑排序和关键路径分析，能够在满足算子依赖关系的基础上确定各算子的执行顺序，并识别对推理任务执行进程具有较大影响的关键路径；进而根据算子的执行顺序和关键路径对各算子进行统一编排，生成任务编排结果，减少因算子依赖关系不明确而产生的等待和执行冲突，有利于提高多ai模型推理任务的协同执行效率，并为各算子在云端、边缘端和端侧之间的后续调度与部署提供编排基础。