一种基于人工智能大模型的算力调度优化系统的制作方法
本发明属于大数据资源服务,具体地说是一种基于人工智能大模型的算力调度优化系统。
背景技术:
1、面向人工智能大模型推理的异构算力集群,普遍搭载gpu、fpga混合硬件协同完成多批次轻量化小型ai任务实时运算,基于大模型的算力调度优化系统作为集群核心管控载体,承担任务资源需求解析、硬件资源分配、推理时序管控、任务部署调度等核心功能,是保障异构算力稳定、高效运行的关键软件平台;
2、当前行业内的人工智能大模型算力调度优化系统,底层资源分配逻辑均衍生自gpu调度框架,在大规模fpga小型ai任务并发部署的工程场景下,逐步暴露问题,系统仅针对gpu显存、通用计算单元设计资源采集与分配机制,无法识别fpga内的查找表、触发器、块内存、数字信号处理单元四类可编程硬件资源,缺少标准化数据模型统一封装小型ai任务的逻辑资源占用指标、临界切换时长等时序约束信息;而且调度系统无法提取单任务资源占用特征,也无法量化计算多任务同片部署的资源匹配程度与时序冲突风险,为避免推理时序错乱、硬件资源溢出故障,工程运维中只能采用整块fpga设备排他占用的粗放调度方式,每项小型ai任务单独占用一整块fpga硬件,而单路小型ai推理仅消耗少量可编程逻辑资源,使得fpga内部四类可编程硬件资源长期空闲,硬件内部形成大量离散逻辑碎片与连片闲置资源空洞;
3、同时,调度机制不具备针对fpga硬件的多任务时分复用调度能力,缺少比特流分时加载与轮换运行机制,不支持单可重配置分区内多任务时分复用调度,大量闲置逻辑碎片与资源空洞无法承接其他推理任务,fpga集群整体硬件资源利用率长期处于低位,无法满足基于人工智能大模型的异构算力集群高效调度运行需求。
4、为此,本发明提供了一种基于人工智能大模型的算力调度优化系统。
技术实现思路
1、为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题。
2、本发明解决其技术问题所采用的技术方案是:一种基于人工智能大模型的算力调度优化系统,包括以下模块:
3、特征集生成模块:基于fpga小型ai任务的可编程逻辑资源占用指标和时序容忍标准,通过标准化数字模型统一描述,生成fpga小型ai任务资源需求特征集;
4、可行性判定模块:根据fpga小型ai任务资源需求特征集,结合fpga可重配置分区空闲资源与逻辑碎片分布信息,计算多个fpga小型ai任务资源耦合度与时序冲突系数,判定多个fpga小型ai任务同片共载的可行性结果;
5、分时调度构建模块:基于可行性结果,构建fpga小型ai任务比特流分时复用调度机制,基于各fpga小型ai任务时序容忍标准与时序冲突系数划分时隙槽,并生成比特流预加载与轮换运行序列;
6、碎片聚合编译模块:针对fpga动态部分重配置分区内的逻辑碎片与闲置空洞,以资源耦合度与时序冲突系数为空间约束,轮换运行序列为时间约束,在时空维度将多个可共存且分时互补的小型ai任务动态聚合,编译为重配置链路。
7、作为本发明进一步的方案:通过标准化数字模型统一描述,生成fpga小型ai任务资源需求特征集的方式为:
8、可编程逻辑资源占用指标包括:设计所占用的查找表及触发器、块内存以及数字信号处理单元的数量,通过eda工具输出资源利用率报告获取;
9、将fpga小型ai任务加载后,模拟分时切换,以固定的步长增加切换的频率和时长,获得基准切换时长和频率切换时长,选取两者中的最小者作为fpga小型ai任务的临界切换时长,临界切换时长即为所求时序容忍标准;
10、将可编程逻辑资源占用指标和时序容忍标准合并至标准化数字模型中,形成fpga小型ai任务资源需求特征集。
11、作为本发明进一步的方案:可行性判定模块包括:
12、由fpga调度驱动层维护一张可重配置分区资源占用位图,实时记录可重配置分区内每一个基本单元的被占用状态,当新任务部署或旧任务退出时,驱动层同步更新可重配置分区资源占用位图;
13、调度器通过调用驱动层查询可重配置分区资源占用位图中连续空闲区域;
14、若连续空闲区域的资源数量高于于单个fpga小型ai任务的四类资源数量,则标记为可用连续空闲区域;若连续空闲区域的资源数量,低于待部署全部小型ai任务中资源需求最低的任务所需资源,则将判定为逻辑碎片。
15、作为本发明进一步的方案:在可行性判定模块中,资源耦合度具体计算方式为:
16、提取全部待部署fpga小型ai任务的查找表、触发器、块内存、数字信号处理单元四类资源的需求总量,对当前可编程硬件资源对应剩余总量进行比值处理,得到当前四类资源对应的单项占用比值;
17、选取四类资源单项占用比值中的最大值作为资源耦合度。
18、作为本发明进一步的方案:在可行性判定模块中,时序冲突系数具体计算方式为:
19、将所有单组fpga小型ai任务的时序偏离量进行求和得到总时序偏离量,并与调整系数乘积处理得到fpga小型ai任务的时序特征差异度;
20、调整系数为:二除以任务总数量与任务总数量减一的乘积,用于将总时序偏离量换算为全部两两组合时序偏离量的平均值,消除任务总数量带来的数值量级差异;
21、累加全部fpga小型ai任务推理运行时段、全部临界切换时长为单周期总时长;将单周期总时长分别和每一项fpga小型ai任务的截止时间比对,当完整轮换等待时长超出截止时间,记录时序超限差值;若等待时长超出临界切换时长,记录对应的切换裕量不足差值;
22、汇总全部时序超限差值、切换裕量不足差值进行归一化处理,求取全部归一化差值的算术平均值为排布可行性偏离度;
23、取时序特征差异度、排布可行性偏离度二者最大值作为时序冲突系数。
24、作为本发明进一步的方案:判定多个fpga小型ai任务是否具备同片共载的可行性的过程为:
25、当资源耦合度不超过第一预设阈值且时序冲突系数不超过第二预设阈值,判定多个fpga小型ai任务具备同片共载的可行性,输出包含可行标识、可行fpga小型ai任务集合、资源耦合度及时序冲突系数的可行性结果。
26、作为本发明进一步的方案:生成比特流预加载与轮换运行序列的过程为:
27、轮换运行序列通过时隙槽的排布顺序与比特流预加载序列整合得到;
28、时隙槽的排布顺序的获取过程为:提取具备同片共载的可行性的fpga小型ai任务集合,获取各fpga小型ai任务的临界切换时长、截止时间,以及时序冲突系数;
29、将各fpga小型ai任务截止时间作为分时复用调度周期的约束条件;
30、将分时复用调度周期划分为多个时隙槽,每个时隙槽对应一个fpga小型ai任务的推理运行时段,时隙槽的宽度为对应fpga小型ai任务的单次推理运行时段,时隙槽之间的切换间隔为各fpga小型ai任务的临界切换时长;
31、以调度周期起点为零时刻,按各fpga小型ai任务推理运行时段和临界切换时长沿时间轴依次累加,得到时隙槽的排布顺序。
32、作为本发明进一步的方案:比特流预加载序列的获取过程为:
33、基于各fpga小型ai任务的加载时刻、卸载时刻和比特流,以调度周期零时刻作为时间轴起点,按照时隙槽排布顺序确定的任务先后次序依次整理各项fpga小型ai任务对应的比特流、加载时刻与卸载时刻;
34、前一fpga小型ai任务卸载时刻叠加临界切换时长得到下一fpga小型ai任务加载时刻,所有fpga小型ai任务时序沿时间轴首尾串联排布,生成按时间轴排列的比特流预加载序列。
35、作为本发明进一步的方案:碎片聚合编译模块包括:
36、提取连续空闲区域四类可编程硬件资源存量,与任意单一fpga小型ai任务资源需求进行比对:四类资源存量均大于任意单一fpga小型ai任务资源需求,判定为整块闲置空洞;
37、当连续空闲区域至少一类可编程硬件资源存量小于任意单一fpga小型ai任务资源需求,判定为零散逻辑碎片;
38、对比不同fpga小型ai任务组合的四类资源总占用量,四类资源总占用量最高的fpga小型ai任务组合判定为高资源占用任务组合,将高资源占用任务组合匹配至整块闲置空洞;
39、四类资源需求全部小于或等于整块闲置空洞对应资源存量,且资源总量无法填满任意一块闲置空洞,判定为资源占用量偏低的单fpga小型ai任务,并整合为多任务子组合,获取各个零散逻辑碎片的起始和结束地址,将多任务子组合绑定至资源容量匹配的零散逻辑碎片。
40、作为本发明进一步的方案:碎片聚合编译模块还包括:
41、以资源耦合度作为空间约束,资源耦合度不超过第一预设阈值,四类资源的需求总量均不超过空闲资源,并聚合至同一可重配置分区;
42、以时序冲突系数作为空间分配的辅助约束,时序冲突系数为第二预设阈值时优先聚合至同一可重配置分区,时序冲突系数大于第二预设阈值时将时序冲突系数对比最低的fpga小型ai任务组合聚合至同一可重配置分区;
43、以轮换运行序列作为时间约束,将聚合至同一可重配置分区的各fpga小型ai任务按照轮换运行序列中时隙槽排布顺序、加载时刻和卸载时刻进行时序对齐;
44、将聚合至同一动态部分重配置分区内各fpga小型ai任务对应的比特流,根据轮换运行序列的加载顺序和加载时刻拼接编译,生成完整重配置链路。
45、本发明的有益效果如下:
46、本发明以fpga可编程逻辑资源的标准化特征提取为基础,通过资源耦合度与时序冲突系数实现多个fpga小型ai任务同片共载可行性的量化评估,从而优化了现有gpu衍生调度框架无法识别fpga内查找表、触发器、块内存、数字信号处理单元四类可编程硬件资源、缺少标准化特征描述手段、难以精细化提取任务资源特征、调度粒度粗放的问题;
47、本发明基于比特流分时复用调度机制,有效填补了现有调度系统不具备fpga多任务时分复用能力的空白,进一步以空间约束与时序约束将可共存且分时互补的任务动态聚合至同一可重配置分区并编译为重配置链路,使原本闲置的逻辑碎片与空洞得以充分利用,提升了fpga集群整体资源利用率,满足人工智能大模型异构算力集群高密度、高效并发调度的运行需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com