一种高效协同人工智能多核计算装置及方法与流程

摘要: 本发明属于人工智能计算,具体涉及一种高效协同人工智能多核计算装置及方法。背景技术:1、当前,面向人工智能计算的高性能异构多核片上系统(soc)已成为主流。这类系...
一种高效协同人工智能多核计算装置及方法与流程

本发明属于 人工智能计算,具体涉及一种高效协同人工智能多核计算装置及方法。

背景技术:

1、当前,面向人工智能计算的高性能异构多核片上系统(soc)已成为主流。这类系统通常集成多种架构的计算核心(如通用cpu、向量dsp、张量npu等),并通过片上网络互联,以应对大模型推理、多模态生成等复杂计算任务。

2、现有的任务调度技术主要关注计算核心本身的负载均衡,即致力于将计算任务均匀地分配到各个空闲或轻载的计算核上,然而,这种“以核为中心”的调度策略忽视了计算任务在众多计算核之间流动时所依赖的“道路”——即片上网络的通信状况,当大量细粒度任务在片上网络同时进行数据交换和同步时,会产生巨大的通信流量,极易导致网络拥塞,此时任务间等待数据通信完成的时间,可能远远超过其本身的计算时间。

技术实现思路

1、针对现有技术中存在的上述不足之处,本发明提供了一种高效协同人工智能多核计算装置及方法用以解决上述背景技术中的问题。

2、为了解决上述技术问题,本发明采用了如下技术方案:

3、一种高效协同人工智能多核计算装置,包括:

4、异构多核计算集群,由多个部署于片上不同物理簇的、架构互异的计算核组成;

5、片上互联网络模块,连接所述异构多核计算集群的各模块与计算核,用于数据交互与指令传输;

6、全局任务预处理模块,用于接收人工智能计算任务,基于计算图中间表示与实时执行状态对任务进行解析,并基于算子的计算特性、并行度及访存特征为算子标注属性标签;以及基于片上互联网络的实时拥塞状态,动态调整算子的拆分粒度,生成带属性标签的原子计算任务,或将数据依赖强度超过预设阈值的多个原子计算任务重组为带强制同簇调度标识的计算簇任务;

7、分布式核级调度代理集群,包括与各计算核一一对应的核级调度代理,用于采集对应计算核的实时状态、基于当前任务执行进度预测任务完成时间、在任务完成前向跨核协同仲裁模块发送携带计算核状态与预测完成时间的预申领请求;

8、跨核协同仲裁模块,用于基于所述原子计算任务或计算簇任务的属性标签、各所述核级调度代理的预申领请求,进行任务的动态仲裁、匹配与预分发;

9、负载实时感知模块,用于周期性采集所有计算核的负载数据及片上互联网络各链路的拥塞数据,构建并更新全系统状态视图。

10、优选地,所述全局任务预处理模块包括:

11、动态分片调整单元,用于基于片上互联网络拥塞矢量,通过评估通信代价与计算收益,动态调整算子拆分粒度;其中,通信代价基于链路延迟与带宽占用率的加权和计算,计算收益基于算子并行执行效率量化;当通信代价与计算收益的比值大于第一阈值时合并算子以增大粒度,当所述比值小于或等于所述第一阈值且网络拥塞低于第二阈值时拆分算子以减小粒度;

12、计算簇重组单元,用于当多个原子计算任务间的数据依赖强度超过第三阈值时,将所述多个原子计算任务重组为计算簇任务,并为所述计算簇任务标注强制同簇调度标识。

13、优选地,每个所述核级调度代理包括:

14、影子调度单元,用于基于当前任务执行进度,采用线性回归模型预测任务完成时间;

15、任务预申领单元,用于在所述预测任务完成时间前的预设时间窗口内,向所述跨核协同仲裁模块发送所述预申领请求。

16、优选地,所述跨核协同仲裁模块包括:

17、拓扑感知适配仲裁单元,用于为任务匹配最佳计算核;对于计算簇任务,优先匹配同一物理簇内的空闲计算核组;对于原子计算任务,基于其属性标签中的适配核类型,筛选负载低于空闲阈值且物理距离最近的计算核作为候选,并采用加权多维评分算法从候选核中确定目标调度核;

18、任务预分发单元,用于在目标计算核的当前任务完成前,将已仲裁匹配的新任务及对应的数据索引提前下发至目标计算核的核级调度代理,以触发数据预取操作。

19、优选地,所述跨核协同仲裁模块还包括:

20、精度驱动柔性调度单元,用于当最优及次优适配核类型均无可用计算核时,将原子计算任务通过动态量化降级后,调度至非适配核执行;

21、精度补偿管理单元,用于收集在非适配核上执行任务的结果偏差数据,基于历史偏差数据采用最小二乘法拟合生成精度补偿参数,并将精度补偿指令下发至核级调度代理。

22、优选地,所述负载实时感知模块包括:

23、阈值预警单元,用于当检测到任一计算核的负载率超过过载阈值,或任一网络链路的拥塞程度超过拥塞阈值时,生成预警信号并发送至所述跨核协同仲裁模块与所述全局任务预处理模块,以触发任务迁移或任务拆分粒度调整。

24、一种高效协同人工智能多核计算方法,应用于权利要求1-6中任一项所述的一种高效协同人工智能多核计算装置,所述方法包括:

25、s1.动态任务预处理:解析输入的计算任务,为算子标注属性标签,并基于实时网络状态动态调整算子拆分粒度,生成原子计算任务,或将强数据依赖的原子计算任务重组为计算簇任务;

26、s2.分布式预申领:各计算核的调度代理实时监控本核状态并预测当前任务完成时间,在任务完成前向跨核协同仲裁模块发送预申领请求;

27、s3.拓扑感知仲裁与预分发:跨核协同仲裁模块根据任务属性、预申领请求、全系统负载及物理拓扑,为任务匹配最佳计算核,并在该核当前任务结束前将新任务与数据索引提前下发;

28、s4.柔性调度与精度补偿:当无适配核可用时,对任务进行动态量化降级以调度至非适配核执行,并采集执行偏差,基于历史偏差拟合补偿参数对后续同类型任务进行闭环精度补偿;

29、s5.任务执行与状态更新:计算核执行分配的任务,完成后反馈状态并触发新一轮预申领,同时更新全系统负载视图。

30、优选地,所述步骤s1中,所述动态调整算子拆分粒度包括:基于片上网络拥塞矢量评估通信代价,基于算子并行潜力评估计算收益,依据通信代价与计算收益的比值决定合并或拆分算子。

31、优选地,所述步骤s3中,为原子计算任务匹配最佳计算核包括:首先筛选其最优适配核类型中负载低于空闲阈值的计算核,若存在多个,则选择其中负载最轻、且与任务数据依赖核物理距离最近的计算核。

32、优选地,所述步骤s4中,所述闭环精度补偿包括:建立以算子类型和执行核类型为键的偏差映射表,采用最小二乘法拟合该算子在特定核上执行的偏差规律,得到权重补偿系数和偏置调整量,并据此生成补偿指令,在后续执行时按“补偿后结果=原始结果×权重补偿系数+偏置调整量”进行实时修正。

33、本发明与现有技术相比,具有如下有益效果:

34、1.本发明的全局任务预处理模块能够基于负载实时感知模块采集的片上网络拥塞矢量,动态评估通信代价与计算收益,并据此实时调整算子拆分粒度,当网络拥塞时合并算子以增大粒度,减少通信频次与数据量;当网络空闲时拆分算子以提升并行度,此自适应粒度调整机制,使得任务并行策略能够与实时网络状态协同,确保并行计算带来的收益始终高于其通信开销,从而优化了片上通信资源的利用效率,提升了系统在重负载下的稳定性和性能;

35、2.本发明通过分布式核级调度代理集群实现计算核的主动、分布式任务申领,并结合跨核协同仲裁模块基于全局状态的动态匹配,这种“请求-仲裁”的分布式协同机制,使得系统能够实时响应各计算核的负载变化,将任务动态、柔性地调度至最合适的空闲或轻载计算核,实现了细粒度的负载均衡,从而最大限度地挖掘和利用了片上所有异构计算单元的算力潜力,提高了系统整体吞吐量;

36、3.本发明通过引入“预测-预申领-预分发”的协同流水线机制,有效消除了计算核的任务切换与空闲等待时间,具体的,分布式核级调度代理基于线性回归模型预测当前任务完成时间并提前发出预申领请求;跨核协同仲裁模块据此提前完成仲裁匹配,并由任务预分发单元在目标计算核当前任务完成前,将新任务及数据索引提前下发,此机制确保了计算核在完成当前任务后能近乎“零等待”地开始执行新任务,同时触发了数据预取,实现了“计算-通信-调度”的深度重叠,从而大幅降低了复杂任务流的整体执行时延。

37、4.本发明通过拓扑感知适配仲裁单元,在任务匹配时优先考虑计算核间的物理拓扑距离,并为具有强制同簇标识的计算簇任务优先分配同一物理簇内的计算核组,这种拓扑感知的调度策略极大化了数据本地性,将远距离、高延迟的片上网络通信转换为簇内高速总线或近邻通信,显著降低了由数据依赖引发的同步延迟,此外,当资源紧张时,精度驱动柔性调度单元与精度补偿管理单元协同工作,允许任务经动态量化后调度至非适配核执行,并通过基于历史偏差数据拟合的闭环补偿参数实时修正计算结果,这一柔性降级与闭环补偿机制增强了系统在负载高峰期的鲁棒性与可靠性。