一种基于多维特征融合的算力预估神经网络构建方法与流程

摘要: 本发明涉及数据处理,特别是指一种基于多维特征融合的算力预估神经网络构建方法。背景技术:1、现有的算力预估技术通常先采集待执行任务的模型参数量、算子类型、输入数据...
一种基于多维特征融合的算力预估神经网络构建方法与流程

本发明涉及数据处理,特别是指一种基于多维特征融合的算力预估神经网络构建方法。

背景技术:

1、现有的算力预估技术通常先采集待执行任务的模型参数量、算子类型、输入数据规模、批处理数量等任务特征,以及处理器利用率、显存占用率、内存容量、网络带宽和历史执行时长等资源运行特征;再对各类特征进行清洗、归一化和向量化处理,将处理后的特征直接拼接为统一输入向量,并以任务实际执行过程中记录的计算量、执行时长或资源占用量作为标签,对全连接神经网络、卷积神经网络、循环神经网络或其组合网络进行监督训练,最终利用训练完成的神经网络对新任务所需的算力进行回归预测。

2、但是,上述将不同维度特征直接拼接后统一输入神经网络的技术,在大语言模型推理任务被调度至异构gpu算力集群的具体应用场景中,可能无法准确表示模型结构特征、请求负载特征与硬件运行特征之间具有条件依赖关系的交互作用,从而导致算力需求被系统性高估或低估。例如,在同一七十亿参数语言模型的在线推理服务中,调度系统接收到的请求虽然具有相同的模型参数量和相近的批处理数量,但请求的输入序列长度、预计输出序列长度以及并发到达方式可能明显不同:短输入、高并发请求主要增加批处理组织和核函数启动次数,长输入请求则会扩大注意力计算规模以及键值缓存的显存占用;当任务采用张量并行方式部署在多张gpu上时,层间计算还会伴随跨卡通信。若现有模型只是将“参数量、序列长度、gpu核心数量、显存容量、当前利用率和网络带宽”等数值归一化后直接拼接,其训练过程容易学习到各单项特征与算力标签之间的平均相关关系,却难以识别“序列长度增大导致键值缓存增长—显存访问量上升—显存带宽成为瓶颈”以及“并行卡数增加—单卡计算量下降—跨卡同步通信占比上升”等组合条件。在实际调度时,当某gpu节点的计算核心利用率尚未达到上限,但显存带宽已接近饱和,或者节点间通信链路同时承载其他任务的数据传输时,现有模型仍可能依据较低的核心利用率和较多的剩余显存,将该节点判断为具有较高可用算力,并给出能够继续承载多个推理实例的预估结果。调度系统据此叠加部署任务后,新增任务并不能获得预估的计算吞吐量,反而会因键值缓存频繁读写、跨卡同步等待和动态批次排队,使单个请求的首令牌响应时间及后续令牌生成间隔持续增加,甚至超过在线服务设定的响应时限。因此,该现有技术的具体缺陷并非简单的预测效率较低,而是缺少针对任务结构维度、请求负载维度、硬件资源维度和实时运行维度之间非线性耦合关系的有效表征机制,且在主导瓶颈由一种硬件资源维度转移至另一种硬件资源维度时,不能根据瓶颈转移方向和转移程度选择相应的特征融合方式,导致不同资源维度的特征贡献不能随实际瓶颈状态的变化而调整,进而使输出的预估算力值不能真实反映异构硬件节点在特定任务结构、请求负载、资源配置和实时运行状态共同作用下的实际可用计算能力。

技术实现思路

1、本发明的目的在于提供一种基于多维特征融合的算力预估神经网络构建方法,旨在解决背景技术中所提到的问题。

2、为解决上述技术问题,本发明的技术方案如下:

3、一种基于多维特征融合的算力预估神经网络构建方法,所述方法包括:

4、对任务结构维度特征、请求负载维度特征、各硬件资源维度特征及实时运行维度特征进行向量化处理,得到各维度对应的维度特征向量,并为各硬件资源维度配置对应的维度标识;

5、将每一硬件资源维度的维度特征向量与其他相同采样时刻的维度特征向量进行交叉组合和非线性映射,得到耦合子向量,并根据耦合子向量计算各硬件资源维度对应采样时刻的瓶颈表征值;

6、比较相邻采样时刻各硬件资源维度的瓶颈表征值,当瓶颈表征值的主导资源维度发生变化时,生成对应当前采样时刻的瓶颈转移向量,所述瓶颈转移向量包括转移前资源维度和转移后资源维度的维度标识及转移强度;

7、根据瓶颈转移向量中转移前资源维度、转移后资源维度的维度标识,从各耦合子向量中选取相关的目标耦合子向量,通过预设的特征融合路径将目标耦合子向量与转移前资源维度、转移后资源维度的维度特征向量进行聚合,得到瓶颈转移约束融合特征向量;

8、当瓶颈表征值的主导资源维度未变化时,生成维持资源维度对应的瓶颈维持约束融合特征向量;

9、将瓶颈转移约束融合特征向量或瓶颈维持约束融合特征向量输入算力回归层,输出预估算力值;

10、根据预估算力值与实测算力值之间的误差,反向调整算力预估神经网络的可训练参数,得到算力预估神经网络。

11、本发明的上述方案至少包括以下有益效果:

12、首先,本发明分别获取计算任务的任务结构维度特征、请求负载维度特征、多个硬件资源维度特征和实时运行维度特征,并对各维度特征进行向量化处理,能够使模型参数量、算子组成、输入输出规模、请求并发状态、硬件配置及实时资源占用状态分别形成对应的特征表示,避免不同维度特征在统一拼接过程中相互混淆,为后续识别各维度之间的关联关系提供明确的数据基础。

13、其次,本发明对每一硬件资源维度的维度特征向量与其他相同采样时刻的维度特征向量进行交叉组合和非线性映射,得到各维度组合对应的耦合子向量,能够表征任务结构维度、请求负载维度、硬件资源维度和实时运行维度之间具有条件依赖关系的非线性交互作用。由此,不再仅依据各单项特征与算力之间的平均相关关系进行预估,而能够反映序列长度变化与显存访问、并行卡数变化与跨卡通信、请求并发变化与批处理组织等组合条件对算力的共同影响。

14、进一步地,本发明根据耦合子向量计算各硬件资源维度对应采样时刻的瓶颈表征值,能够将多维特征之间的耦合关系转换为各硬件资源维度对当前计算任务形成限制的相对程度,从而识别计算核心、显存容量、显存带宽、内存、网络通信等硬件资源中实际处于主导限制状态的资源维度,避免仅根据单一利用率或剩余容量判断节点可用算力。

15、进一步地,本发明在相邻采样时刻的瓶颈表征值主导资源维度发生变化时,根据对应瓶颈表征值确定第一主导优势量和第二主导优势量,并生成包含转移前资源维度、转移后资源维度和转移强度的瓶颈转移向量,能够同时表示硬件资源瓶颈的转移方向和转移程度。由此,可区分计算核心向显存带宽转移、显存带宽向网络通信转移等不同瓶颈变化过程,并反映瓶颈变化的显著程度。

16、进一步地,本发明根据瓶颈转移向量中的维度标识选择对应的特征融合路径,并选取转移前资源维度与转移后资源维度共同参与生成的耦合子向量,以及转移后资源维度与其他维度共同参与生成的耦合子向量,与转移前资源维度和转移后资源维度的维度特征向量进行聚合,能够使不同资源维度的特征贡献随实际瓶颈转移方向和转移强度进行调整。由此,在硬件资源主导瓶颈发生变化时,能够保留转移前资源维度的限制信息,并增强转移后资源维度及其相关耦合关系的特征表达。

17、进一步地,本发明将瓶颈转移约束融合特征向量输入算力回归层输出预估算力值,使算力回归结果同时受到任务结构、请求负载、硬件配置、实时运行状态、多维耦合关系及瓶颈转移状态的共同约束,因而能够更加真实地反映异构硬件节点在特定任务和运行状态下的实际可用计算能力,降低算力需求被系统性高估或低估的概率。

18、最后,本发明根据预估算力值与实测算力值之间的误差反向调整算力预估神经网络的可训练参数,使维度特征处理、耦合关系表征、瓶颈识别、瓶颈转移表征、路径选择、特征融合及算力回归过程能够围绕实际算力结果进行联合优化,从而提高算力预估结果的准确性,为异构gpu算力集群中的任务部署、资源分配和调度决策提供更可靠的依据,并减少因错误叠加部署导致的显存访问拥塞、跨卡同步等待、动态批次排队及请求响应时延增加。