跨平台NPU深度神经网络推理任务性能预测方法及装置
本发明涉及人工智能推理性能建模与异构算力管理的,尤其涉及一种跨平台npu深度神经网络推理任务性能预测方法及装置。
背景技术:
1、随着人工智能技术的快速发展,深度神经网络模型在边缘计算、嵌入式智能系统、云边协同推理和异构加速集群中的部署规模不断扩大。为了满足低时延、高吞吐和低功耗的推理需求,越来越多的系统采用神经网络处理器(npu)作为专用推理加速硬件。在实际系统部署中,不同厂商、不同型号的npu在计算单元组织方式、存储层次结构、带宽能力、编译器优化策略以及运行时资源管理机制等方面存在显著差异,因此,同一深度神经网络模型在不同npu平台上的执行延迟通常会表现出明显差异。
2、现有技术中,推理任务性能预测方法大多采用基于人工经验构造特征的建模方式,例如:使用flops、macs、参数量、网络深度等统计指标作为输入,之后通过线性回归或多层感知机估计推理时间;这类方法虽然实现简单,但其技术本质是将复杂的神经网络结构压缩为少量标量特征,无法表达残差连接、多分支结构、跳连路径、动态依赖关系等关键拓扑信息,对resnet、yolo、transformer等复杂网络结构预测能力有限。同时,现有的npu编译与部署工具链通常会在推理前对模型执行算子融合、常量折叠、图优化、内存复用等黑盒优化操作,仅依赖浅层统计特征难以准确反映模型在真实硬件上的执行行为。
3、此外,在异构npu集群或多平台部署环境中,性能预测不仅取决于任务本身的结构特征,还与硬件静态能力以及运行时资源配置密切相关,例如:同一个模型在不同平台上的峰值算力、显存带宽、片上存储容量不同,在虚拟化或切分运行条件下,其可用逻辑核心数、显存配额及干扰因子也存在差异。因此,需要一种能够统一描述模型结构特征、平台静态硬件特征与运行时动态特征,并具备跨平台泛化能力的推理任务性能预测方案。
技术实现思路
1、本发明提供一种跨平台npu深度神经网络推理任务性能预测方法及装置,解决了异构npu平台上深度神经网络推理任务执行时间难以准确预测的问题。
2、为达到上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供一种跨平台npu深度神经网络推理任务性能预测方法,该方法包括:
4、将待预测的深度神经网络模型转换为统一中间表示,通过所述统一中间表示将不同深度学习框架下的深度神经网络模型转换到同一结构表示域中,并构建包含算子节点及数据依赖边的有向计算图;
5、提取所述有向计算图中各算子的节点特征及边依赖关系特征,提取目标npu平台的静态硬件特征及运行时动态特征;
6、在预先构建的mp-gnn跨平台性能预测模型中,利用图神经网络对所述有向计算图和所述节点特征及边依赖关系特征进行结构编码,并将得到的整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征融合,通过多npu平台对应的回归预测头输出所述待预测的深度神经网络模型在所述目标npu平台上的执行时间预测值。
7、在一种可能的实现方式中,将待预测的深度神经网络模型转换为统一中间表示,具体为:
8、读取待预测的深度神经网络模型的模型文件,通过模型解析模块对所述模型文件进行预处理,检查所述模型文件的输入输出定义、算子拓扑结构以及依赖关系的完整性,并将所述模型文件转换为具有一致数据格式的统一中间表示;所述模型文件为onnx模型文件,或经pytorch模型、tensorflow模型导出的模型文件。
9、在一种可能的实现方式中,所述构建包含算子节点及数据依赖边的有向计算图,具体为:
10、对所述待预测的深度神经网络模型的模型结构进行解析,根据模型中各算子之间的数据依赖关系构建所述待预测的深度神经网络模型的有向计算图;所述有向计算图以算子为节点,以张量数据依赖关系为边来描述所述待预测的深度神经网络模型的整体拓扑结构。
11、在一种可能的实现方式中,提取所述有向计算图中各算子的节点特征及边依赖关系特征,具体包括:
12、在构建所述有向计算图之后,对每个算子节点提取能够反映所述算子节点计算行为和资源需求的节点特征;所述节点特征包括算子类型、输入输出张量形状、计算量、访存量以及参数规模等信息;
13、对各所述算子节点之间的边依赖关系进行分析并提取依赖关系特征;所述依赖关系特征包括数据传输规模、分支与汇聚关系以及跳连结构。
14、在一种可能的实现方式中,在提取目标npu平台的静态硬件特征及运行时动态特征时,所述静态硬件特征包括平台峰值算力、存储容量、带宽能力以及计算核心数量;所述运行时动态特征包括当前系统负载、可分配算力资源、可用显存资源以及并发任务数量。
15、在一种可能的实现方式中,利用图神经网络对所述有向计算图和所述节点特征及边依赖关系特征进行结构编码,并将得到的整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征融合,具体包括:
16、将所述有向计算图和所述节点特征及边依赖关系特征输入图神经网络内,所述图神经网络通过消息传递机制使每个算子的节点能够在节点状态更新的过程中聚合其邻居节点的信息,以逐层学习所述有向计算图中的拓扑依赖关系,得到每个节点的嵌入表示;节点的嵌入表示包含每个所述节点的局部拓扑信息和全局上下文信息的嵌入表示;
17、对更新后的每个节点的嵌入表示执行图级读出,得到所述待预测的深度神经网络模型的整体模型的图结构嵌入;
18、将所述整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征融合,形成融合特征;所述融合特征包含所述待预测的深度神经网络模型的任务结构信息、所述目标npu平台的硬件平台能力信息以及所述运行时资源状态信息。
19、在一种可能的实现方式中,在预先构建的mp-gnn跨平台性能预测模型中,利用图神经网络对所述有向计算图和所述节点特征及边依赖关系特征进行结构编码之前,所述方法还包括:构建mp-gnn跨平台性能预测模型;所述mp-gnn跨平台性能预测模型包括计算图输入层、节点与边特征编码层、图神经网络骨干编码层、图级读出层、平台特征融合层以及多头回归输出层;
20、所述计算图输入层用于接收所述有向计算图;所述节点与边特征编码层用于将所述节点特征及边依赖关系特征处理为可供所述图神经网络骨干编码层识别的节点上下文向量特征;所述图神经网络骨干编码层通过归纳式消息传递机制对所述节点上下文向量特征进行迭代更新,得到每个节点的嵌入表示;所述图级读出层将所有节点的嵌入表示聚合为整体模型的图结构嵌入;所述平台特征融合层对所述整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征拼接,得到融合特征;所述多头回归输出层针对不同的npu平台设置有对应的回归预测头,通过与所述目标npu平台对应的回归预测头输出所述待预测的深度神经网络模型在所述目标npu平台上的执行时间预测值。
21、第二方面,本发明提供一种跨平台npu深度神经网络推理任务性能预测装置,包括:
22、解析处理及计算图生成模块,用于将待预测的深度神经网络模型转换为统一中间表示,通过所述统一中间表示将不同深度学习框架下的深度神经网络模型转换到同一结构表示域中,并构建包含算子节点及数据依赖边的有向计算图;
23、多维特征提取模块,用于提取所述有向计算图中各算子的节点特征及边依赖关系特征,提取目标npu平台的静态硬件特征及运行时动态特征;
24、mp-gnn跨平台性能预测模型,用于利用图神经网络对所述有向计算图和所述节点特征及边依赖关系特征进行结构编码,并将得到的整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征融合,通过多npu平台对应的回归预测头输出所述待预测的深度神经网络模型在所述目标npu平台上的执行时间预测值。
25、在一种可能的实现方式中,在将待预测的深度神经网络模型转换为统一中间表示时,所述解析处理及计算图生成模块具体被配置为执行:
26、读取待预测的深度神经网络模型的模型文件,通过模型解析模块对所述模型文件进行预处理,检查所述模型文件的输入输出定义、算子拓扑结构以及依赖关系的完整性,并将所述模型文件转换为具有一致数据格式的统一中间表示;所述模型文件为onnx模型文件,或经pytorch模型、tensorflow模型导出的模型文件。
27、在一种可能的实现方式中,在构建包含算子节点及数据依赖边的有向计算图时,所述解析处理及计算图生成模块具体被配置为执行:
28、对所述待预测的深度神经网络模型的模型结构进行解析,根据模型中各算子之间的数据依赖关系构建所述待预测的深度神经网络模型的有向计算图;所述有向计算图以算子为节点,以张量数据依赖关系为边来描述所述待预测的深度神经网络模型的整体拓扑结构。
29、在一种可能的实现方式中,在提取所述有向计算图中各算子的节点特征及边依赖关系特征时,所述多维特征提取模块具体被配置为执行:
30、在构建所述有向计算图之后,对每个算子节点提取能够反映所述算子节点计算行为和资源需求的节点特征;所述节点特征包括算子类型、输入输出张量形状、计算量、访存量以及参数规模等信息;
31、对各所述算子节点之间的边依赖关系进行分析并提取依赖关系特征;所述依赖关系特征包括数据传输规模、分支与汇聚关系以及跳连结构。
32、在一种可能的实现方式中,在提取目标npu平台的静态硬件特征及运行时动态特征时,所述多维特征提取模块内设置的待提取的静态硬件特征包括平台峰值算力、存储容量、带宽能力以及计算核心数量;运行时动态特征包括当前系统负载、可分配算力资源、可用显存资源以及并发任务数量。
33、在一种可能的实现方式中,在利用图神经网络对所述有向计算图和所述节点特征及边依赖关系特征进行结构编码,并将得到的整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征融合时,所述mp-gnn跨平台性能预测模型被配置为执行:
34、将所述有向计算图和所述节点特征及边依赖关系特征输入图神经网络内,所述图神经网络通过消息传递机制使每个算子的节点能够在节点状态更新的过程中聚合其邻居节点的信息,以逐层学习所述有向计算图中的拓扑依赖关系,得到每个节点的嵌入表示;节点的嵌入表示包含每个所述节点的局部拓扑信息和全局上下文信息的嵌入表示;
35、对更新后的每个节点的嵌入表示执行图级读出,得到所述待预测的深度神经网络模型的整体模型的图结构嵌入;
36、将所述整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征融合,形成融合特征;所述融合特征包含所述待预测的深度神经网络模型的任务结构信息、所述目标npu平台的硬件平台能力信息以及所述运行时资源状态信息。
37、在一种可能的实现方式中,所述跨平台npu深度神经网络推理任务性能预测装置还包括模型构建模块,所述模型构建模块用于在利用图神经网络对所述有向计算图和所述节点特征及边依赖关系特征进行结构编码之前,构建mp-gnn跨平台性能预测模型;所述mp-gnn跨平台性能预测模型包括计算图输入层、节点与边特征编码层、图神经网络骨干编码层、图级读出层、平台特征融合层以及多头回归输出层;
38、所述计算图输入层用于接收所述有向计算图;所述节点与边特征编码层用于将所述节点特征及边依赖关系特征处理为可供所述图神经网络骨干编码层识别的节点上下文向量特征;所述图神经网络骨干编码层通过归纳式消息传递机制对所述节点上下文向量特征进行迭代更新,得到每个节点的嵌入表示;所述图级读出层将所有节点的嵌入表示聚合为整体模型的图结构嵌入;所述平台特征融合层对所述整体模型的图结构嵌入与所述静态硬件特征及运行时动态特征拼接,得到融合特征;所述多头回归输出层针对不同的npu平台设置有对应的回归预测头,通过与所述目标npu平台对应的回归预测头输出所述待预测的深度神经网络模型在所述目标npu平台上的执行时间预测值。
39、第三方面,本发明提供一种电子设备,该电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项所述的跨平台npu深度神经网络推理任务性能预测方法。
40、第四方面,本发明提供一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项所述的跨平台npu深度神经网络推理任务性能预测方法。
41、本发明实施例提供的跨平台npu深度神经网络推理任务性能预测方法应用于异构npu集群中的任务部署决策、任务调度、资源切分以及性能预估等应用场景,在实际应用中不再依赖flops、参数量、网络层数等浅层统计指标,而是将待预测的深度神经网络模型解析为标准化的有向计算图,显式保留模型的算子级属性信息与跨层拓扑依赖关系,在此基础上,利用图神经网络对有向计算图进行结构特征编码,并进一步融合从目标npu平台提取的静态硬件特征及运行时动态特征,最终通过多npu平台对应的回归预测头输出待预测的深度神经网络模型在目标npu平台上的执行时间预测值。本发明能够从计算图层面对模型结构进行建模,自动学习算子之间的拓扑依赖关系,并融合平台侧及运行态信息,对不同npu平台上的推理延迟进行统一、准确且低开销的预测。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com