边缘GPU下的QoS自适应细粒度模型调度方法和系统与流程

本发明涉及电子信息，尤其是指一种边缘gpu下的qos自适应细粒度模型调度方法和系统。

背景技术：

1、随着深度神经网络在边缘智能应用中的广泛部署，为了充分利用图形处理器（graphics processing unit，gpu）资源，常将服务质量关键型（quality of service qoscritical，qc）任务与尽力而为型（best effort，be）任务共置运行 。

2、现有技术中，传统的边缘计算节点多采用单一且固定精度的模型架构，面对突发流量时仅能通过机械地调整批处理大小（batch size）来提升系统的整体吞吐量与延迟，并不能调整准确率这一指标。这种调节方式忽略了模型加载与切换的潜在能力，无法动态适应不同请求严格的服务等级目标（service level objective，slo），无法实现准确率、延迟与吞吐量的有效均衡。

3、现有边缘计算框架在动态调整模型配置时，大多仅静态评估理论延迟与准确率，忽略了模型切换带来的切换开销。由于缺乏对该开销的量化与请求积压预测，系统在突发流量下触发切换会产生显著的时延峰值。这种调度方式会导致请求大量堆积，不仅无法优化吞吐量，反而引发端到端延迟激增及严重的qos违规。

4、现有的边缘节点在执行ai推理任务时，由于缺乏深入到流多处理器（streamingmultiprocessor，sm）内部的细粒度资源管理机制，往往无法充分且协同地调度gpu底层的计算单元与访存资源。这种资源分配方式导致gpu资源利用率极易较低，难以满足边缘场景下强化算力统筹性能的要求。

5、传统的边缘节点调度大多依赖于先来先服务（first-come, first-served，fcfs）或基于经验的静态启发式规则进行任务分配。这类简单策略无法根据实时的系统排队状态、负载特征（计算偏好或访存偏好）以及qos余量进行动态感知与自适应调整，难以在复杂的异构负载下预测qos是否合规。

6、综上所述，现有技术难以同时兼顾推理结果的准确率和延迟，且传统抢占式共置策略缺乏低开销的内核抢占机制，导致gpu内部的细粒度资源（如张量核心与计算单元）无法被充分利用，极易造成性能干扰并导致qc任务的服务质量（quality of service，qos）违规。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中的不足，提供一种边缘gpu下的qos自适应细粒度模型调度方法和系统，可以在资源受限的边缘gpu环境中满足qc任务的qos约束。

2、为解决上述技术问题，本发明提供了一种边缘gpu下的qos自适应细粒度模型调度方法，包括：

3、获取当前模型配置，估计当前模型配置下的请求的完成时间，根据请求的完成时间估计请求的延迟qos余量，根据请求的延迟qos余量计算当前队列积压的有效准确率；

4、根据当前队列积压的有效准确率是否满足qc任务的qos选择对应的候选模型配置集合，计算对应比例的融合强度；

5、结合所述融合强度计算候选模型配置集合中每个候选模型配置融合后的有效准确率，当融合后的有效准确率可以满足qc任务的qos时执行融合，根据不同候选模型配置进行内核融合后的改善率选择最优的模型配置。

6、进一步地，所述请求的延迟qos余量的计算方法为：

7、，

8、式中，为第k个请求的延迟qos余量，为预设延迟阈值，为当前模型配置下第k个请求的在队列中的等待时间，为第k个请求的量，为当前吞吐量。

9、进一步地，所述当前队列积压的有效准确率的计算方法为：

10、，

11、式中，为当前队列积压的有效准确率，为第k个请求的延迟qos余量，为当前队列积压，表示满足时值为1、否则值为0。

12、进一步地，所述根据当前队列积压的有效准确率是否满足qc任务的qos选择对应的候选模型配置集合，计算对应比例的融合强度，具体为：

13、若当前队列积压的有效准确率小于有效准确率阈值，则停止be任务并预测可满足现在请求速率的候选模型配置集合，对应比例的融合强度为0；

14、若当前队列积压的有效准确率大于等于有效准确率阈值，则预测可满足现在请求速率的候选模型配置集合并根据批处理的大小选择不同的be任务，通过持久线程块机制计算对应比例的融合强度。

15、进一步地，所述停止be任务并预测可满足现在请求速率的候选模型配置集合，具体为：

16、暂时停止所有的be任务，寻找新的模型配置使得新的模型配置对应的队列积压的有效准确率大于有效准确率阈值，将寻找到的所有新的模型配置作为候选模型配置集合；

17、在寻找新的模型配置时，优先寻找批处理小于当前批处理的模型配置，若直到寻找到的最小的批处理仍无法满足条件，则在满足当前队列积压的有效准确率大于等于有效准确率阈值的前提下选择较低计算复杂度的模型配置。

18、进一步地，所述预测可满足现在请求速率的候选模型配置集合并根据批处理的大小选择不同的be任务，具体为：

19、寻找新的模型配置使得新的模型配置对应的队列积压的有效准确率大于有效准确率阈值，将寻找到的所有新的模型配置作为候选模型配置集合；

20、针对候选模型配置集合中的每个候选模型配置，若候选模型配置的批处理在低负载区，则通过先来先到选择访存密集型be任务；否则，选择计算密集型be任务。

21、进一步地，结合所述融合强度计算候选模型配置集合中每个候选模型配置融合后的有效准确率，当融合后的有效准确率可以满足qc任务的qos时执行融合，具体为：

22、使用两阶段线性回归模型预测融合内核的执行时间，使用融合强度作为输入，输出融合内核的执行时间；

23、计算每一个请求的延迟变化为：

24、，

25、式中，为每一个请求的延迟变化，为融合内核的执行时间，表示原qc任务的执行时间，为第i个候选模型配置的批处理大小；

26、计算融合内核的端到端延迟为：

27、，

28、式中，为融合内核的端到端延迟，为队列中第个请求的端到端延迟；

29、计算融合内核的违规请求数为：

30、，

31、式中，为融合内核的违规请求数，为预设延迟阈值，1表示满足时值为1、否则值为0，为累积的请求队列积压数；

32、计算融合内核的违规率为：

33、，

34、式中，为融合内核的违规率；

35、计算融合后的个请求的有效准确率为：

36、，

37、式中，为融合后的个请求的有效准确率，为候选模型配置对应的队列积压的有效准确率；

38、如果，为有效准确率阈值，则认为融合后的有效准确率可以满足qc任务的qos，此时执行融合。

39、进一步地，所述的计算方法为：

40、，

41、式中，为当前模型配置下第k个请求的在队列中的等待时间，为模型切换时间，为第k个请求，表示候选模型配置的处理速率，为当前已在队列中的请求数，为当前吞吐量，为在时刻发起模型切换时的请求到达率。

42、进一步地，所述不同候选模型配置进行内核融合后的改善率的计算方法为：

43、，

44、式中，为改善率，为原qc任务的执行时间，为原be任务的执行时间，为融合强度，为融合内核的执行时间。

45、本发明还提供了一种边缘gpu下的qos自适应细粒度模型调度系统，包括模型切换调度模块、离线编译模块和自适应内核融合调度模块，所述自适应内核融合调度模块包括内核选择组件、qos预测组件、内核融合控制组件；

46、所述模型切换调度模块获取当前模型配置，估计当前模型配置下的请求的完成时间，根据请求的完成时间估计请求的延迟qos余量，根据请求的延迟qos余量计算当前队列积压的有效准确率；

47、所述离线编译模块针对所有的be应用，在离线阶段执行内核代码的重构与预编译；

48、所述自适应内核融合调度模块将每一个qc任务设置为qc应用内核序列、将be应用设置为be应用内核序列，融合过程以qc应用内核和be应用内核的内核对为基本单位；

49、所述内核选择组件观察当前qc应用内核的状态并从be应用内核序列中筛选出形成互补的候选内核对，根据当前队列积压的有效准确率是否满足qc任务的qos选择对应的候选模型配置集合，计算对应比例的融合强度；

50、所述qos预测组件对候选内核对进行在线可行性检查，计算有效准确率是否产生qos违规；结合所述融合强度计算候选模型配置集合中每个候选模型配置融合后的有效准确率；

51、当融合后的有效准确率可以满足qc任务的qos时，所述内核融合控制组件执行融合；

52、所述模型切换调度模块根据不同候选模型配置进行内核融合后的改善率选择最优的模型配置。

53、本发明的上述技术方案相比现有技术具有以下有益效果：

54、本发明通过建立qos约束，结合qc任务的负载特征和qos约束按需触发模型切换，从而在保障长期有效准确率要求的同时充分利用剩余gpu资源，可以在资源受限的边缘gpu环境中满足qc任务的qos约束。