通用图形处理器缓存性能的模拟分析方法及系统、程序产品和电子设备与流程
本发明涉及缓存设计,特别涉及一种通用图形处理器缓存性能的模拟分析方法及系统、程序产品和电子设备。
背景技术:
1、通用图形处理器(general-purpose graphics processingunit,gpgpu)因其大规模并行计算能力和高吞吐量,已成为现代高性能计算,特别是在人工智能、科学计算、图形渲染等领域不可或缺的核心硬件。随着大语言模型、文生图模型等复杂ai模型的兴起,对gpgpu芯片的算力与存储性能提出了前所未有的要求。在这一背景下,算力与内存带宽已成为衡量gpgpu芯片性能和实际运行效率的核心指标。
2、根据经典的roof-line(屋顶-房檐)模型,芯片的理论性能受限于其峰值算力与峰值内存带宽。其中,算力决定了性能可达的上限(屋顶高度),内存带宽则决定了在数据密集型计算中性能随计算强度变化的斜率(房檐)。在gpgpu芯片硬件设计中,增加通用矩阵计算(gemm)单元可提升算力,而扩大内存带宽或优化存储层次结构则是提升带宽有效性的关键。合理的缓存(cache)配置,是平衡gpgpu芯片算力与带宽资源,最大化gpgpu芯片硬件利用率的决定性因素。
3、然而,当前针对gpgpu的缓存性能分析方法在应用于大语言模型、文生图模型等新兴复杂工作负载时,存在显著局限。现有的缓存性能分析方法通常与gpgpu实际的细粒度并行计算调度过程相脱节,难以反映任务动态执行时的缓存访问特性;同时,现有的缓存分析方法往往基于简化或单级的缓存模型以及理想化的内存访问模式,无法准确模拟复杂多级缓存架构和处理多样化数据布局时的真实行为。这些不足导致现有的缓存分析方法难以精准评估和优化面向现代ai负载的gpgpu缓存设计,使芯片设计可能面临算力或带宽资源无法充分利用的问题。
技术实现思路
1、技术问题
2、本技术要解决的技术问题为针对现有技术中gpgpu缓存分析方法与硬件实际执行过程脱节,评估结果不精准,无法有效指导芯片设计的技术问题,本技术提供一种通用图形处理器缓存性能的模拟分析方法及系统、存储介质、程序产品和电子设备,以对目标通用图形处理器运行特定待评估工作负载时的缓存性能进行模拟分析,提高了缓存性能分析的准确性,从而可以有效指导目标通用图形处理器的芯片缓存设计。
3、技术方案
4、为了解决上述技术问题,根据本技术的第一方面,提供一种通用图形处理器缓存性能的模拟分析方法,包括:获取模型输入信息以及与目标通用图形处理器相关的配置输入信息,其中,模型输入信息表征目标通用图形处理器的待评估工作负载的特征,配置输入信息表征目标通用图形处理器的硬件架构的特征;从模型输入信息中提取待模拟模型的模型结构信息;基于配置输入信息构造待模拟缓存的缓存拓扑结构;根据模型结构信息和配置输入信息生成用于将待模拟模型的计算任务调度到目标通用图形处理器的网格调度信息;基于模型结构信息,为待模拟模型中各算子的输入源和输出源分配内存基地址;根据网格调度信息、缓存拓扑结构以及内存基地址,模拟目标通用图形处理器的执行单元在运行待模拟模型时的数据加载与存储过程;以及在模拟数据加载与存储过程中,生成执行单元的工作负载日志与待模拟缓存的缓存行为日志,以用于对目标通用图形处理器的缓存性能进行分析。
5、本发明的技术方案获取的模型输入信息表征目标通用图形处理器的待评估工作负载的特征,从而从模型输入信息中提取的待模拟模型的模型结构信息可以准确地反映目标通用图形处理器的待评估工作负载的内部结构与计算任务。此外,由于本发明获取的配置输入信息表征目标通用图形处理器的硬件架构的特征,从而基于配置输入信息构造了一个可灵活配置且能准确反映目标通用图形处理器的硬件架构中具有多级缓存特性的虚拟的缓存拓扑结构。
6、在此基础上,根据模型结构信息和配置输入信息生成的用于将待模拟模型的计算任务调度到目标通用图形处理器的网格调度信息,从而将来自模型侧的计算任务特征与来自配置侧的硬件调度参数相结合,主动构建出一个符合gpgpu网格-工作组层次化并行执行模型的具体任务部署方案。该网格调度信息作为连接计算与硬件的关键枢纽,使得后续所有的数据加载与存储模拟过程都得以在一个与gpgpu真实执行调度机制严格对齐的上下文中进行。这确保了所模拟的每一次缓存访问,都精确反映了在目标gpgpu硬件调度策略下任务执行所应产生的行为,从而从根本上克服了现有缓存分析方法与gpgpu硬件实际执行过程相脱节的技术缺陷。
7、此外,本发明的技术方案通过基于模型结构信息,为待模拟模型中各算子的输入源和输出源分配内存基地址,为所有将在后续的数据加载和存储模拟过程中被访问的数据建立了精确的逻辑地址映。进而,根据网格调度信息、缓存拓扑结构以及内存基地址,模拟目标通用图形处理器的执行单元在运行待模拟模型时的数据加载与存储过程,实现了计算任务调度、硬件存储模型与数据寻址机制三者的动态协同仿真,确保了所仿真的每一次缓存访问都精确反映了在依据网格调度信息所确定的执行序列下,于缓存拓扑结构所表征的复杂多级缓存系统中处理由内存基地址与模型输入信息所定义的特定数据布局时所产生的行为。并且在模拟数据加载与存储过程中,生成的执行单元的工作负载日志与待模拟缓存的缓存行为日志可以完整记录计算侧与存储侧的互动细节,为对目标通用图形处理器的缓存性能进行分析提供了可量化的数据基础,从而可以根据这两个日志快速且有效地评估不同硬件配置方案的性能优劣,精准指导目标通用图形处理器的芯片缓存设计。
8、在第一方面的一种可能的实现中,模型结构信息可包括模型的层次化结构图,从模型输入信息中提取待模拟模型的模型结构信息,包括:从模型输入信息中提取出待模拟模型的模型各层信息;以及基于模型各层信息确定模型的层次化结构图。
9、本发明技术方案通过从模型输入信息中提取得到模型的层次化结构图,该层次化结构图是一种结构化可遍历的数据表示形式,为后续的基地址分配等操作提供了清晰的操作路径,使得后续的模拟过程能够无遗漏地处理模型中的每一个计算单元。
10、在第一方面的一种可能的实现中,模型各层信息可包括模型各层的算子类型信息、算子输入源信息、权重源信息以及输出源的尺寸信息。这些信息可以确保从模型中提取的元数据能够满足后续的基地址分配等关键步骤的输入要求,从数据源头保障了整个模拟过程的精确性等信息中的至少一种。
11、在第一方面的一种可能的实现中,模型输入信息可包括模型层数信息、模型各层结构信息、数据类型信息和内存布局信息中的至少一种。这些信息进一步提升了本发明技术方案对目标通用图形处理器缓存性能的模拟分析的准确性和对真实硬件运行情况的反映能力。
12、在第一方面的一种可能的实现中,配置输入信息可包括目标通用图形处理器的硬件算力带宽信息、缓存参数信息以及数据路由信息;其中,硬件算力带宽信息包括计算单元的目标算力信息和/或内存目标带宽信息;缓存参数信息包括缓存层级数量信息、各级缓存的大小信息以及缓存替换策略信息中的至少一种;并且数据路由信息包括数据加载源路径信息和/或数据存储目的路径信息。
13、本发明的技术方案通过对配置输入信息进行结构化分类,为后续步骤提供了精确且完备的硬件架构的输入规格。其中,硬件算力带宽信息为评估工作负载在目标通用图形处理器上的算力与带宽匹配度提供了基准;缓存参数信息是构造待模拟缓存的缓存拓扑结构时,定义每一级缓存静态属性的可配置的参数集;数据路由信息则为在同一拓扑结构中定义数据在缓存层级之间及缓存与全局内存之间的动态流动规则提供了依据。这些结构化参数的输入,使得最终构造出的缓存拓扑结构能够成为一个高保真、可配置的虚拟硬件存储模型,从而支撑后续的模拟过程能够在更贴近真实硬件约束的环境中进行。最终,基于此生成的工作负载日志与缓存行为日志,能够为不同缓存配置方案对特定工作负载的性能影响提供可量化可比较的评估依据,有效提升了芯片缓存子系统设计空间探索的效率和设计决策的精准性。
14、在第一方面的一种可能的实现中,待模拟缓存可包括多级缓存,基于配置输入信息构造待模拟缓存的缓存拓扑结构,包括:基于配置输入信息中的缓存参数信息,确定待模拟缓存中每一级缓存的容量、组织方式及数据替换策略,以定义缓存的层级静态结构;以及基于配置输入信息中的数据路由信息,确定数据在层级静态结构的各级缓存之间、以及各级缓存与全局内存之间的加载流向与存储流向,以定义缓存的数据通路结构;其中,缓存拓扑结构由层级静态结构与数据通路结构构成。
15、这样,可以为后续模拟数据加载与存储过程提供一个高保真的、行为定义明确的虚拟存储系统模型,确保了模拟过程中每次缓存访问都能在符合目标硬件数据通路规则的多级结构中得到处理,从而有助于生成准确的缓存行为日志础。
16、在第一方面的一种可能的实现中,配置输入信息还可包括网格配置参数和执行单元配置参数,根据模型结构信息和配置输入信息生成用于将待模拟模型的计算任务调度到目标通用图形处理器的网格调度信息,其中包括:根据模型结构信息中每个算子的输出尺寸,确定计算网格的维度;根据配置输入信息中的网格配置参数,将计算网格划分为多个工作组,并确定多个工作组在计算网格中的遍历顺序,并且基于遍历顺序生成网格索引信息;根据网格索引信息以及配置输入信息中的执行单元配置参数,为网格索引信息中的每个网格生成计算调度条目,并且基于计算调度条目生成计算调度信息;以及将计算调度信息作为网格调度信息;其中,网格配置参数包括以下参数中的至少一种:网格在x方向的工作组数量、网格在y方向的工作组数量以及工作组遍历顺序布局。
17、如此,通过将模型的计算特征与硬件的调度、资源配置特征相结合,生成了具体的、可执行的网格调度信息,为后续模拟过程提供了精确的、时序化的任务执行上下文,确保模拟的数据加载与存储行为能够紧密跟随目标gpgpu的并行调度逻辑展开,避免与硬件执行过程脱节。
18、在第一方面的一种可能的实现中,工作组遍历顺序布局可为线性x顺序布局、线性y顺序布局或z-order顺序布局中的其中一种。由此,使得本发明技术方案能够模拟和对比不同任务调度策略对数据访问局部性的影响。不同的遍历顺序布局会导致工作组的执行次序不同,从而直接影响内存访问模式,从而能够量化评估不同调度策略对最终缓存命中率和内存带宽利用率的影响,为芯片设计中任务调度器的优化或策略选择提供了重要的模拟分析能力。
19、在第一方面的一种可能的实现中,基于模型结构信息,为待模拟模型中各算子的输入源和输出源分配内存基地址,可包括:遍历待模拟模型的层次化结构图中的每一层及每一算子;以及根据当前算子每一输入源和输出源的尺寸与数据类型,计算并分配对应的内存基地址。
20、这样,可以为所有在模拟中将被访问的数据在虚拟内存空间中建立了精确的逻辑起始地址映射。分配的内存基地址是后续模拟过程中计算数据在内存中的访问地址的必要输入,为每一次模拟的访存操作提供了寻址原点,保证了模拟访存行为的精确性和可重现性。
21、在第一方面的一种可能的实现中,根据网格调度信息、缓存拓扑结构以及内存基地址,模拟目标通用图形处理器的执行单元在运行待模拟模型时的数据加载与存储过程,可包括:根据当前所执行算子的类型,选择激活矩阵计算核心单元或算术逻辑计算单元作为当前执行单元;根据网格调度信息,确定当前需加载或存储的数据所对应的网格与工作组;以及根据内存基地址与模型输入信息中的内存布局信息,计算数据在内存中的访问地址;以及根据访问地址,在缓存拓扑结构中模拟数据的加载命中、加载缺失、存储命中或存储缺失行为。
22、这样可以使得每一次模拟的数据访问都成为一个在明确计算单元执行特定调度任务时,对确定内存地址在特定缓存系统模型中发起查询的完整行为链。本发明技术方案通过这种精细化的过程分解与模拟,能够精确反映目标通用图形处理器在特定网格调度策略下,运行具有特定内存布局的模型时所表现出的真实、动态的缓存交互行为,从而提升了缓存性能模拟的准确性与保真度。
23、在第一方面的一种可能的实现中,算子的类型可包括通用矩阵乘法类型或通用矩阵向量乘法类型。由于本发明的算子类型支持这两类在人工智能和高性能计算领域最核心、最耗时的计算密集型算子,使得本发明的技术方案能够精准模拟和分析现代ai工作负载(例如深度学习训练与推理)中最主要的计算模式对缓存系统带来的压力特征。这使得利用本发明的技术方案能够精准评估和优化面向现代ai负载的gpgpu缓存设计。
24、在第一方面的一种可能的实现中,执行单元的工作负载日志可包括执行单元加载的负载、存储的负载以及完成的计算操作次数等信息中的至少一种。
25、通过记录执行单元加载的负载和存储的负载可以直接量化计算任务对内存子系统的总访问需求,是评估内存带宽压力的直接依据。记录执行单元完成的计算操作次数可以精确衡量计算单元的实际工作量。将这三者结合,可以计算出工作负载在实际硬件模型上的计算强度,这为优化芯片的算力与带宽资源配置提供了量化分析基础。
26、在第一方面的一种可能的实现中,待模拟缓存的缓存行为日志包括以下信息中的至少一种:各级缓存的加载负载、存储负载、缓存命中次数和缓存缺失次数。这些分级、细粒度的缓存行为日志信息,使得性能分析能够精准定位缓存系统的瓶颈所在层级,并量化评估不同缓存配置参数带来的性能收益变化,为针对性的缓存优化提供了决策依据。
27、在第一方面的一种可能的实现中,所述的通用图形处理器缓存性能的模拟分析方法还包括:基于执行单元的工作负载日志与待模拟缓存的缓存行为日志,生成目标通用图形处理器的缓存性能分析图表。由于缓存性能分析图表更加直观,从而使得设计人员可以快速地通过该缓存性能分析图表了解到目标通用图形处理器的缓存性能。有助于缩短设计流程。
28、在第一方面的一种可能的实现中,缓存性能分析图表用于展示以下至少一种关系:内存流量与缓存大小的关系、内存带宽与缓存大小的关系以及缓存缺失率与缓存大小的关系。这三种关系是评估不同缓存配置方案性能影响的可视化依据。所述缓存性能分析图表能够直观揭示所述目标通用图形处理器在运行所述待评估工作负载时,其缓存性能关键指标:内存流量、内存带宽利用率以及缓存缺失率,随缓存大小等配置参数的变化规律,从而为在实际芯片设计中选择最优的缓存配置参数提供了设计依据。
29、根据本技术的第二方面,提供一种通用图形处理器缓存性能的模拟分析系统,包括:信息获取单元,用于获取模型输入信息以及与目标通用图形处理器相关的配置输入信息,模型输入信息表征目标通用图形处理器的待评估工作负载的特征,配置输入信息表征目标通用图形处理器的硬件架构的特征;模型提取器,用于从模型输入信息中提取待模拟模型的模型结构信息;缓存拓扑构造器,用于基于配置输入信息构造待模拟缓存的缓存拓扑结构;网格调度生成器,用于根据模型结构信息和配置输入信息生成用于将待模拟模型的计算任务调度到目标通用图形处理器的网格调度信息;基地址生成器,用于基于模型结构信息,为待模拟模型中各算子的输入源和输出源分配内存基地址;性能模拟单元,用于根据网格调度信息、缓存拓扑结构以及内存基地址,模拟目标通用图形处理器的执行单元在运行待模拟模型时的数据加载与存储过程;以及日志生成单元,用于在模拟数据加载与存储过程中,生成执行单元的工作负载日志与待模拟缓存的缓存行为日志,以用于对目标通用图形处理器的缓存性能进行分析。
30、在本技术提供的通用图形处理器缓存性能的模拟分析系统中,信息获取单元获取的模型输入信息表征目标通用图形处理器的待评估工作负载的特征,从而模型提取器从模型输入信息中提取的待模拟模型的模型结构信息可以准确地反映目标通用图形处理器的待评估工作负载的内部结构与计算任务。并且由于信息获取单元获取的配置输入信息表征目标通用图形处理器的硬件架构的特征,从而缓存拓扑构造器基于配置输入信息构造了一个可灵活配置且能准确反映目标通用图形处理器的硬件架构中具有多级缓存特性的虚拟的缓存拓扑结构。
31、在此基础上,网格调度生成器根据模型结构信息和配置输入信息生成的用于将待模拟模型的计算任务调度到目标通用图形处理器的网格调度信息,从而将来自模型侧的计算任务特征与来自配置侧的硬件调度参数相结合,主动构建出一个符合gpgpu网格-工作组层次化并行执行模型的具体任务部署方案。该网格调度信息作为连接计算与硬件的关键枢纽,使得后续由性能模拟单元执行的所有数据加载与存储模拟过程都得以在一个与gpgpu真实执行调度机制严格对齐的上下文中进行。这确保了所模拟的每一次缓存访问,都精确反映了在目标gpgpu硬件调度策略下任务执行所应产生的行为,从而在系统层面克服了现有缓存分析方法与gpgpu硬件实际执行过程相脱节的技术缺陷。
32、此外,本发明的技术方案通过基地址生成器基于模型结构信息,为待模拟模型中各算子的输入源和输出源分配内存基地址,为所有将在后续的数据加载和存储模拟过程中被访问的数据建立了精确的逻辑地址映射。此外,根据网格调度信息、缓存拓扑结构以及内存基地址,模拟目标通用图形处理器的性能模拟单元在运行待模拟模型时的数据加载与存储过程,实现了计算任务调度、硬件存储模型与数据寻址机制三者的动态协同仿真,确保了所仿真的每一次缓存访问都精确反映了在依据网格调度信息所确定的执行序列下,于缓存拓扑结构所表征的复杂多级缓存系统中处理由内存基地址与模型输入信息所定义的特定数据布局时所产生的行为。并且日志生成单元在模拟数据加载与存储过程中,生成的执行单元的工作负载日志与待模拟缓存的缓存行为日志可以完整记录计算侧与存储侧的互动细节,为对目标通用图形处理器的缓存性能进行分析提供了可量化的数据基础,从而可以根据这两个日志快速且有效地评估不同硬件配置方案的性能优劣,精准指导目标通用图形处理器的芯片缓存设计。
33、在第二方面的一种可能的实现中,网格调度生成器还可包括网格生成器和计算调度表生成器;网格生成器用于根据模型结构信息中每个算子的输出尺寸,确定计算网格的维度,以及根据配置输入信息中的网格配置参数,将计算网格划分为多个工作组,并确定多个工作组在计算网格中的遍历顺序,并且基于遍历顺序生成网格索引信息;并且计算调度表生成器用于根据网格索引信息以及配置输入信息中的执行单元配置参数,为网格索引信息中的每个网格生成计算调度条目,并且基于计算调度条目生成计算调度信息,以及将计算调度信息作为网格调度信息。
34、如此,通过将模型的计算特征与硬件的调度、资源配置特征相结合,生成了具体的、可执行的网格调度信息,为后续模拟过程提供了精确的、时序化的任务执行上下文,确保模拟的数据加载与存储行为能够紧密跟随目标gpgpu的并行调度逻辑展开,避免与硬件执行过程脱节。
35、在第二方面的一种可能的实现中,通用图形处理器缓存性能的模拟分析系统,还可包括可视化单元,用于基于执行单元的工作负载日志与待模拟缓存的缓存行为日志,生成目标通用图形处理器的缓存性能分析图表。由于缓存性能分析图表更加直观,从而使得设计人员可以快速地通过该缓存性能分析图表了解到目标通用图形处理器的缓存性能。有助于缩短设计流程。
36、根据本技术的第三方面,还提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,该指令在电子设备上执行时使电子设备执行如第一方面以及第一方面的任意一种可能的实现中的通用图形处理器缓存性能的模拟分析方法。
37、根据本技术的第四方面,还提供一种计算机程序产品,计算机程序产品包括指令,指令当被一个或多个处理器执行时用于实现如第一方面以及第一方面的任意一种可能的实现中的通用图形处理器缓存性能的模拟分析方法。
38、根据本技术的第五方面,还提供一种电子设备,包括:存储器,用于存储指令,以及一个或多个处理器,当指令被一个或多个处理器执行时,处理器执行如第一方面以及第一方面的任意一种可能的实现中的通用图形处理器缓存性能的模拟分析方法。
39、有益效果
40、与现有技术相比,本发明的有益效果在于:
41、本发明的技术方案通过获取模型输入信息和配置输入信息,而获取的模型输入信息表征目标通用图形处理器的待评估工作负载的特征,从而从模型输入信息中提取的待模拟模型的模型结构信息可以准确地反映目标通用图形处理器的待评估工作负载的内部结构与计算任务。并且由于本发明获取的配置输入信息表征目标通用图形处理器的硬件架构的特征,从而基于配置输入信息构造了一个可灵活配置且能准确反映目标通用图形处理器的硬件架构中具有多级缓存特性的虚拟的缓存拓扑结构。
42、在此基础上,根据模型结构信息和配置输入信息生成的用于将待模拟模型的计算任务调度到目标通用图形处理器的网格调度信息,从而将来自模型侧的计算任务特征与来自配置侧的硬件调度参数相结合,主动构建出一个符合gpgpu网格-工作组层次化并行执行模型的具体任务部署方案。该网格调度信息作为连接计算与硬件的关键枢纽,使得后续所有的数据加载与存储模拟过程都得以在一个与gpgpu真实执行调度机制严格对齐的上下文中进行。这确保了所模拟的每一次缓存访问,都精确反映了在目标gpgpu硬件调度策略下任务执行所应产生的行为,从而从根本上克服了现有缓存分析方法与gpgpu硬件实际执行过程相脱节的技术缺陷。
43、此外,本发明的技术方案通过基于模型结构信息,为待模拟模型中各算子的输入源和输出源分配内存基地址,为所有将在后续的数据加载和存储模拟过程中被访问的数据建立了精确的逻辑地址映。进而,根据网格调度信息、缓存拓扑结构以及内存基地址,模拟目标通用图形处理器的执行单元在运行待模拟模型时的数据加载与存储过程,实现了计算任务调度、硬件存储模型与数据寻址机制三者的动态协同仿真,确保了所仿真的每一次缓存访问都精确反映了在依据网格调度信息所确定的执行序列下,于缓存拓扑结构所表征的复杂多级缓存系统中处理由内存基地址与模型输入信息所定义的特定数据布局时所产生的行为。并且在模拟数据加载与存储过程中,生成的执行单元的工作负载日志与待模拟缓存的缓存行为日志可以完整记录计算侧与存储侧的互动细节,为对目标通用图形处理器的缓存性能进行分析提供了可量化的数据基础,从而可以根据这两个日志快速且有效地评估不同硬件配置方案的性能优劣,精准指导目标通用图形处理器的芯片缓存设计。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com