基于异步数据传输的GPU调度方法及系统与流程

摘要: 本技术涉及gpu资源调度,具体涉及一种基于异步数据传输的gpu调度方法及系统。背景技术:1、图形处理器(gpu)是人工智能推理与协同计算等场景的核心算力器件。多...
基于异步数据传输的GPU调度方法及系统与流程

本技术涉及gpu资源调度,具体涉及一种基于异步数据传输的gpu调度方法及系统。

背景技术:

1、图形处理器(gpu)是人工智能推理与协同计算等场景的核心算力器件。多个不同优先级的任务被提交至同一gpu,其输入数据经异步传输预先搬运至gpu可访问的存储空间,调度器以传输完成为发射门限并据此确定发射次序。

2、在单一数据来源场景中,各任务输入数据的传输时延近似同步,完成事件到达次序与优先级次序尚能一致。当数据分别经多条相互独立的异步传输通路搬运时,该对应关系不再成立:各通路时延呈现不可预先对齐的抖动,而任务优先级依重要性与时限预先设定,二者无必然对应。于是当低优先级任务的通路较快、高优先级任务的通路较慢时,按完成事件到达次序发射便会颠倒执行优先次序;来源越异构、通路越多,错位越严重。

3、现有技术未解决该问题:数据预取类技术假定任务就绪时刻可由依赖关系直接确定;运行时优先级调度视优先级与就绪时刻无关;实时抢占式调度所针对的优先级反转成因在于内核执行时长;数据层与模型层的补偿类技术不涉及发射次序;均未触及多路独立异步传输下调度次序的重新确定。

4、如何使gpu调度器在多个不同优先级任务分别依赖经多条相互独立、时延非同步抖动的异步通路搬运的输入数据时,仍按优先级次序确定执行顺序,是亟待解决的技术问题。

技术实现思路

1、针对上述当多个具有不同调度优先级的任务分别依赖经由多条相互独立、时延彼此非同步抖动的异步传输通路搬运就绪的输入数据时,gpu任务调度器若以各通路传输完成事件到达调度器的先后次序作为发射次序依据便会系统性颠倒任务本应具有的执行优先次序的技术问题,本发明提供一种基于异步数据传输的gpu调度方法及系统。其核心构思在于:调度器不再以各通路传输完成事件到达的先后次序作为任务发射次序的依据,而是对每一条相互独立的异步传输通路分别建立在线的传输时延估计模型,据此预测尚未就绪的更高优先级任务的输入数据将在何时就绪,并在计算单元出现空闲、存在已就绪任务时依据优先级一致性目标作出有界延迟发射决策,即在受控的等待预算内适度延后低优先级任务的发射以等待预测将在该预算内就绪的更高优先级任务,从而将实际发射次序修正为与任务优先级次序相一致,同时通过对等待预算设置上界避免计算单元长时间空闲;每当一次传输实际完成,调度器将预测值与实际完成时刻相比较,以其偏差在线更新通路时延估计模型与不确定性度量,形成适应通路非平稳抖动的闭环校正。

2、本发明的一方面,提供一种基于异步数据传输的gpu调度方法,包括:

3、步骤s1,为各相互独立的异步传输通路分别维护传输时延估计模型,以带遗忘因子的递推方式在线更新,输出该通路在传输中搬运的预测剩余完成时间;

4、步骤s2,对每一尚未就绪的任务,取其所依赖各通路的预测剩余完成时间最大值为该任务的预测就绪时间;

5、步骤s3,当gpu计算单元空闲且有已就绪任务时,取其中优先级最高者为候选任务,取优先级高于该候选任务且预测就绪时间在有界等待预算内的任务构成等待候选集合;

6、步骤s4,当所述等待候选集合非空且等待带来的优先级次序一致性提升超过计算单元空闲代价时,在该预算内延后发射该候选任务,待所等待任务就绪后优先发射,否则立即发射;

7、步骤s5,每当一次搬运实际完成,以预测值与实际完成时刻的偏差更新该通路的所述传输时延估计模型。

8、进一步地,步骤s1中,所述传输时延估计模型将该通路的传输时延建模为缓变的均值分量与随机抖动分量之和,离散度表征所述随机抖动分量的统计离散程度,所述在线更新为对所述均值分量与所述离散度的在线更新,步骤s1还输出该搬运的不确定性度量,所述不确定性度量依据所述离散度确定;步骤s4中,以实际发射次序相对于任务优先级次序的带权逆序数作为优先级次序偏离量,将在所述有界等待预算内等待并转而发射更高优先级任务前后所述带权逆序数的减小量作为所述优先级次序一致性提升,所述计算单元空闲代价以延后发射窗口内计算单元的空闲时长、或该空闲时长经预设基准归一化后所得的数值表示。

9、进一步地,步骤s1中,将所述均值分量表示为随被搬运数据量变化的带宽相关项与叠加的抖动项之和。

10、优选地,步骤s1中,所述不确定性度量以所述离散度所对应的分位数或置信区间上界表示;所述带遗忘因子的递推方式采用一阶递推滤波实现,其每次更新的计算复杂度与异步传输通路的数量呈线性关系。

11、优选地,所述有界等待预算的上界配置为与所述候选任务的预计执行时长成比例的量,或配置为预先设定的最大允许空闲时长。

12、进一步地,步骤s3中,对优先级高于所述候选任务的每一尚未就绪的任务,依据其所依赖各异步传输通路的所述离散度构造该任务预测就绪时间的分布,取该分布中未就绪概率降至给定阈值所对应的时间分位点作为该任务对应的自适应等待上界,并以所述自适应等待上界与所述最大允许空闲时长中的较小者作为所述有界等待预算。

13、进一步地,步骤s3与步骤s4对每个空闲的计算单元逐次作出贪心决策,或者在一个预设时长的时间窗内对多个待发射任务与多个尚未就绪的任务统筹求解发射次序。

14、进一步地,各异步传输通路分别对应相互独立的异构上游源,对每一条异步传输通路始终维护相互独立的所述传输时延估计模型而不在通路之间共享统计假设;并依据各通路观测到的所述离散度,随所述离散度的增大而增大步骤s1所输出的所述不确定性度量。

15、进一步地,步骤s2中,当一个任务依赖多条异步传输通路搬运的多份输入数据且须全部搬运完成方可就绪时,对所述多条异步传输通路所对应的所述不确定性度量作联合处理,以得到该任务预测就绪时间的不确定性度量;对已完成全部输入数据搬运的任务,其预测就绪时间取为零。

16、本发明的另一方面,提供一种基于异步数据传输的gpu调度系统,包括传输观测模块、通路时延估计模块、就绪预测模块、发射决策模块与反馈校正模块;

17、所述传输观测模块,用于记录各异步传输通路的传输发起时刻、传输完成事件到达时刻与被搬运数据量;

18、所述通路时延估计模块,用于为各相互独立的异步传输通路分别维护传输时延估计模型,以带遗忘因子的递推方式在线更新,输出该通路在传输中搬运的预测剩余完成时间;

19、所述就绪预测模块,用于对每一尚未就绪的任务,取其所依赖各通路的预测剩余完成时间最大值为该任务的预测就绪时间;

20、所述发射决策模块,用于当gpu计算单元空闲且有已就绪任务时,取其中优先级最高者为候选任务,取优先级高于该候选任务且预测就绪时间在有界等待预算内的任务构成等待候选集合,并当所述等待候选集合非空且等待带来的优先级次序一致性提升超过计算单元空闲代价时,在该预算内延后发射该候选任务,待所等待任务就绪后优先发射,否则立即发射;

21、所述反馈校正模块,用于每当一次搬运实际完成,以预测值与实际完成时刻的偏差更新该通路的所述传输时延估计模型。

22、上述系统中,各模块与所述方法的各步骤一一对应,传输观测模块为通路时延估计模块提供有效传输时延样本,通路时延估计模块与就绪预测模块为发射决策模块提供预测就绪时间,发射决策模块在计算单元空闲时作出有界延迟发射决策并向gpu计算单元下发发射指令,反馈校正模块则将实际完成时刻与预测值的偏差回送通路时延估计模块。

23、与现有技术相比,本发明不依赖任务就绪时刻可直接获知或与优先级无关的假设,而是通过对相互独立的异步传输通路分别建立在线时延估计并据以作出有界延迟发射决策,直接针对多路独立异步传输完成次序与任务优先级次序错位这一成因进行修正,使原本会被完成事件到达次序颠倒的发射次序得以恢复为与任务优先级次序相一致;同时,凭借对等待预算设置上界以及在预算内权衡优先级次序一致性提升与计算单元空闲代价的判定,本发明在纠正发射次序的同时避免了计算单元的长时间空闲,从而在维持计算单元利用率的前提下恢复任务优先级次序;此外,由于对每一条通路始终维护相互独立的估计状态并对高抖动通路自适应放大不确定性度量,本发明在通路数量越多、异构性越强的异构多源场景下仍然有效,抑制了优先级次序错位随通路数量与异构程度上升而持续加剧的趋势;配合每次搬运实际完成后的偏差反馈与在线更新,估计模型能够持续跟踪通路时延的非平稳漂移,使调度决策在通路时延彼此非同步抖动的条件下保持稳健,从而解决了背景技术中所述的技术问题。