一种多任务场景下的AI算力资源自适应编排系统的制作方法
本发明涉及人工智能算力资源调度与微架构性能优化,具体涉及一种多任务场景下的ai算力资源自适应编排系统。
背景技术:
1、在人工智能应用场景中,多任务并发执行是提升算力利用率的常规运行模式。在多任务并发执行过程中,处理器硬件需要承载并发的计算任务与数据访存操作。现有技术通常采用基于操作系统的任务调度策略以及通用软件队列的资源分配方式,来协调不同计算任务在物理计算节点内的资源占用。
2、然而,现有技术在执行宏观软件调度时,缺乏对任务底层微架构资源请求规律的先验感知能力,仅停留在宏观的算力或内存容量分配层面。例如,现有kubernetes或slurm调度器仅依据算力配额与显存容量进行宏观分配,未考量任务内部算子级访存请求的微架构时频特征。这种调度方式无法预先量化任务内部离散的访存波形特征,导致被分配至同一物理计算节点的多个并发任务在访问底层总线与缓存时,容易在相同的时钟节拍内产生访存脉冲重叠,进而引发底层硬件微架构的同频竞争与总线拥塞,造成算力资源的执行吞吐量下降。
技术实现思路
1、为解决上述背景技术提出的问题,本发明提供一种多任务场景下的ai算力资源自适应编排系统,包括:计算图语义解析与特征注入模块,用于接收待编译的人工智能任务,生成所述人工智能任务对应的访存请求序列并转换为静态频谱特征元数据,将所述静态频谱特征元数据注入至所述人工智能任务对应的可执行二进制文件中;全局正交相容性调度模块,用于提取多个待调度人工智能任务的可执行二进制文件内部的静态频谱特征元数据以计算干扰代价,并将符合正交相容条件的多个人工智能任务下发部署至同一个物理计算节点;片上微观频谱监测模块,用于在所述物理计算节点的人工智能加速芯片执行人工智能任务时采集动态运行态时间序列,执行硬件级时频转换提取动态运行频谱,并在判定多个并发执行的人工智能任务进入同频共振状态时,发送带有硬件上下文标识符的同频共振预警信号;硬件级动态指令交错控制模块,用于接收所述同频共振预警信号,基于所述硬件上下文标识符提取处于同频共振状态的人工智能任务的瞬时物理相位差,并向非关键任务对应的硬件发射队列中注入停顿周期指令;在所述停顿周期指令的累计数量达到硬件容忍上限阈值时,向主机操作系统发送硬件中断信号,以触发对目标张量算子的微内核算子裂变重构。
2、优选的,所述计算图语义解析与特征注入模块生成访存请求序列时,具体用于:提取所述人工智能任务对应的有向无环图结构,遍历所述有向无环图结构中的节点以识别张量算子类型,将节点划分为计算密集型算子与访存密集型算子;根据计算密集型算子与访存密集型算子的分布序列调取目标硬件平台的硬件参数配置信息,基于所述硬件参数配置信息配置微架构模拟器;将有向无环图结构中的张量算子按照拓扑排序规律输入至所述微架构模拟器中进行静态推演,输出各张量算子的理想访存请求速率;按照拓扑排序设定的时间轴,将具有依赖关系的张量算子的理想访存请求速率进行顺序拼接,并将无依赖关系的并行张量算子的理想访存请求速率进行时域叠加,生成随处理器时钟周期变化的离散时间序列信号作为所述访存请求序列。
3、优选的,所述计算图语义解析与特征注入模块生成并注入静态频谱特征元数据时,具体用于:将所述访存请求序列的长度补零至2的幂次方后执行离散傅里叶变换操作,转换为频域信号,按照振幅数值大小进行降序排列,提取排列位次小于或等于预设提取维度阈值的频率分量作为特征频率及其对应的振幅数值,构建静态频谱特征元数据;采用连续的键值对排布格式对所述静态频谱特征元数据进行序列化编码以生成二进制数据流;在所述可执行二进制文件内部分配独立的自定义数据存储段以写入所述二进制数据流,并在文件头结构信息中记录所述自定义数据存储段的起始内存偏移地址与有效数据长度。
4、优选的,所述全局正交相容性调度模块计算干扰代价时,具体用于:读取所述可执行二进制文件中的文件头结构信息,根据文件头结构信息中记录的起始内存偏移地址与有效数据长度提取所述静态频谱特征元数据,执行反序列化解码获取各个待调度人工智能任务对应的特征频率数值与振幅数值集合;遍历组合选取任意两个待调度人工智能任务分别作为第一任务与第二任务,基于下述公式计算第一任务与第二任务在频域维度的干扰代价(s):
5、
6、其中,表示干扰代价;与分别表示第一任务与第二任务包含的特征频率的总数量;与分别表示第一任务的振幅数值与特征频率数值;与分别表示第二任务的振幅数值与特征频率数值;表示常数修正因子。
7、所述全局正交相容性调度模块执行下发部署时,具体用于:依据多个待调度人工智能任务之间两两对应的干扰代价构建全局干扰代价矩阵,将大于或等于预设频域正交阈值的干扰代价数值更新为预设的极大值常量,并将小于所述频域正交阈值的干扰代价数值作为正交相容连接边;将更新后的全局干扰代价矩阵映射为无向赋权图,其中待调度人工智能任务映射为顶点,所述正交相容连接边映射为边且对应的干扰代价数值映射为边的权重;获取物理计算节点的硬件资源容量约束信息,以所述硬件资源容量约束信息为边界约束条件对所述无向赋权图执行最小权重图分区计算获取顶点划分集合,根据所述顶点划分集合将划分至同一集合内的多个人工智能任务下发部署至同一个物理计算节点。
8、优选的,所述片上微观频谱监测模块采集动态运行态时间序列时,具体用于:获取人工智能任务对应的硬件上下文标识符,根据所述硬件上下文标识符初始化片上硬件性能计数器,将其采样触发时钟源绑定至硬件微秒定时器;
9、在所述硬件微秒定时器的每个触发周期内,基于所述硬件上下文标识符进行事件过滤,直接读取末级缓存缺失事件寄存器与系统总线事务字节寄存器中的硬件计数值并计算末级缓存缺失率与系统总线带宽占用量;根据预设的末级缓存缺失率上限阈值与总线峰值带宽数值执行归一化处理,将归一化处理后的末级缓存缺失率与系统总线带宽占用量进行加权求和获取单点瞬时访存负载数值,按触发时间的先后顺序将连续多个触发周期内的单点瞬时访存负载数值拼接为所述动态运行态时间序列。
10、优选的,所述片上微观频谱监测模块发送同频共振预警信号时,具体用于:将所述动态运行态时间序列输入至固化的快速傅里叶变换逻辑电路输出频域复数信号,利用片上硬件计算单元对实部数值与虚部数值执行平方和求根运算提取运行振幅,提取运行振幅大于预设振幅边界值的频率分量构建主导运行频率集合;获取标准离散频率区间序列,将主导运行频率集合中的频率分量以及静态频谱特征元数据中的特征频率数值分别对齐映射至所述标准离散频率区间序列中,生成动态运行频谱向量与静态特征基准向量并计算两向量的余弦相似度以获取频谱相似度数值;在频谱相似度数值低于预设漂移阈值时,将所述主导运行频率集合写入全局共享状态寄存器阵列;读取所述全局共享状态寄存器阵列获取并发执行的其他人工智能任务的主导运行频率数值,在任意两个人工智能任务的主导运行频率数值的差值绝对值小于预设同频容差数值的情况下,判定进入同频共振状态并发送预警信号。
11、优选的,所述硬件级动态指令交错控制模块具体用于:获取第一人工智能任务与第二人工智能任务的最近一次访存带宽峰值时间戳,结合主导运行频率对应的物理周期跨度,将当前时钟时间与最近一次访存带宽峰值时间戳的时间差值映射为相位角度,提取瞬时物理相位数值,进而计算差值绝对值获取瞬时物理相位差;基于安全反相阈值、瞬时物理相位差、主导运行频率数值以及人工智能加速芯片的核心时钟频率数值,通过预设计算公式向上取整计算获取停顿节拍数量;将系统优先级标识较低的人工智能任务设定为非关键任务,向所述非关键任务对应的硬件发射队列中注入数量为所述停顿节拍数量的空操作指令,或者拉低所述非关键任务对应的硬件发射队列的发射使能电平信号并保持与停顿节拍数量等同的时钟周期。
12、优选的,所述系统还包括主机操作系统;所述硬件级动态指令交错控制模块还用于,统计在预设时间窗口内向所述硬件发射队列持续注入的停顿节拍累计数量,在所述停顿节拍累计数量大于或等于硬件容忍上限阈值时,向所述主机操作系统发送硬件中断信号;所述主机操作系统用于,接收所述硬件中断信号并挂起所述非关键任务对应的设备流执行队列,拦截处于执行状态的目标张量算子,记录当前内存读取指针与计算进度状态信息并确定尚未执行的剩余张量数据区域;所述主机操作系统还用于,在空间维度上对所述剩余张量数据区域重新执行切片操作生成多个尺寸缩减的微内核计算分块,将所述目标张量算子等效拆解为多个子算子序列并重新下发至物理计算节点的人工智能加速芯片中继续执行。
13、优选的,所述系统还包括:算子分支调度模块,用于读取精度通道分配比例,将输入特征张量沿通道维度分割为第一特征张量子集与第二特征张量子集,分别分配高精度浮点算子分支与低精度定点算子分支;非对称精度执行模块,用于将高精度浮点算子分支与低精度定点算子分支的计算指令序列分别分发至浮点运算单元与整数运算单元在相同时钟周期内处理,并将最先计算完成的数据分支写入硬件同步缓存队列中等待直至均输出结束信号;精度对齐与特征融合模块,用于在接收到结束信号后,基于量化缩放因子与数值偏移量对低精度特征张量结果执行反量化映射获取格式对齐特征张量,并将高精度特征张量结果与所述格式对齐特征张量在通道维度执行矩阵拼接操作获取融合特征张量。
14、本发明采用上述技术方案,能够带来如下有益效果:
15、1、本发明通过将人工智能任务的访存请求序列转换为频域信号并提取静态频谱特征元数据封装至可执行二进制文件的文件头结构信息中,进而基于特征频率与振幅数值遍历计算干扰代价,并结合频域正交阈值与硬件容量约束条件构建无向赋权图执行最小权重图分区计算,实现了在集群维度对多个人工智能任务的正交相容组合部署及有效缓解底层微架构资源的同频竞争问题。
16、2、本发明通过在微秒定时器触发周期内读取硬件计数值构建动态序列并结合固化电路提取频谱以发送同频共振预警信号,将时间差值映射为相位角度获取瞬时物理相位差并据此计算停顿节拍数量,进而向非关键任务的硬件发射队列注入空操作指令或拉低发射使能信号,实现了在不挂起系统进程的条件下推迟底层指令发射以促使多任务访存脉冲在时间轴上安全交错执行。
17、3、本发明通过统计持续注入的停顿节拍累计数量判定访存占空比越界并在触发上限时发送中断信号以挂起执行队列,拦截目标张量算子并根据当前内存读取指针与进度状态确定剩余张量数据区域,进而对剩余区域重新切片生成微内核分块并重新下发执行,实现了在物理层面改变任务访存请求时域分布以解除单纯依靠硬件延迟指令无法修复的同频共振阻塞状态。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com