基于冲突消解的RVV编译优化方法及系统

摘要: 本发明涉及深度学习编译优化,特别是涉及基于冲突消解的rvv编译优化方法及系统。背景技术:1、本部分陈述仅提供与本发明相关的背景技术信息,不必然构成在先技术。2、...
基于冲突消解的RVV编译优化方法及系统

本发明涉及深度学习编译优化,特别是涉及基于冲突消解的rvv编译优化方法及系统。

背景技术:

1、本部分陈述仅提供与本发明相关的背景技术信息,不必然构成在先技术。

2、深度学习编译器中,算子融合、循环分块和向量化等优化技术通常由不同编译阶段分别执行,各自追求局部最优,但由于缺乏对risc-v向量扩展物理资源的统一建模,一优化参数产生的收益可能在另一物理资源上形成反向代价。例如,编译器为减少向量指令的迭代开销而增大向量寄存器组倍率,虽然能够增加单次向量指令处理的元素数量、减少循环迭代次数,但同时也会使每个向量操作数占用的物理向量寄存器数量成倍增加;若该算子还通过融合策略同时保持多个并行累加向量以实现指令级并行,累积的物理寄存器占用很容易超过处理器可分配的寄存器数量,从而引发寄存器溢出,产生大量额外的向量加载与存储指令,反而抵消了优化带来的收益。

3、现有编译方案要么在调度阶段仅对候选参数进行后验加权排序,无法明确识别上述收益与代价之间的冲突来源,要么将寄存器溢出问题推给后端寄存器分配器被动处理,在代码生成阶段才插入溢出加载和溢出存储,缺乏在调度阶段根据冲突来源主动修复的机制,导致实际生成的代码难以同时发挥算子融合、向量化和寄存器资源的最优效能。

技术实现思路

1、为了解决现有技术的不足,本发明提供了基于冲突消解的rvv编译优化方法及系统,通过候选调度向量冲突识别与定向修复,消除寄存器超限,生成满足硬件约束的优化代码,避免寄存器溢出,提升执行效率。

2、为了实现上述目的,本发明是通过如下的技术方案来实现:

3、本发明第一方面,提供了基于冲突消解的rvv编译优化方法,包括:

4、获取融合候选子图的统一迭代域和活跃区间集合;

5、根据所述统一迭代域和活跃区间集合,结合硬件资源参数生成候选调度向量集合;

6、计算各候选调度向量的最大物理向量寄存器占用和片上驻留容量,并根据活跃区间确定取得所述最大物理向量寄存器占用的程序位置以及所述程序位置处占用贡献最大的活跃向量值类型;在仅lmul不同的候选比较组中,识别寄存器冲突;根据活跃向量值类型对输出分块、规约分块或融合边界执行定向修复,以消解寄存器冲突;

7、对修复后的候选调度向量进行约束回代,基于满足物理向量寄存器约束和片上驻留容量约束的候选调度向量生成可行候选集合;

8、从可行候选集合中选取目标调度向量作为rvv编译优化结果。

9、进一步地,所述候选调度向量至少包括融合边界、输出维度分块、规约维度分块、所选向量元素宽度、向量寄存器组倍率和向量寄存器生命周期策略;

10、所述输出维度分块通过面向向量微内核的映射规则确定并行累加向量组数,当所述输出维度分块被修改时,重新计算所述并行累加向量组数。

11、进一步地,计算各候选调度向量的最大物理向量寄存器占用,包括:

12、根据各活跃向量值的有效元素宽度和向量寄存器组倍率确定各活跃向量值的有效向量寄存器组倍率;

13、对于每个程序位置,将参与候选分配的各活跃向量值,按照对应的有效向量寄存器组倍率及寄存器组对齐规则换算为物理向量寄存器占用并求和;

14、取所有程序位置中的最大和值,作为该候选调度向量的最大物理向量寄存器占用。

15、进一步地,将当前候选调度向量对应的输入分片、权重分片、广播参数分片、输出分片、融合中间分片、边界换入换出数据、缓冲区及缓存行对齐填充的字节数累加求和,得到片上驻留容量。

16、进一步地,所述物理向量寄存器约束为所述最大物理向量寄存器占用不超过可分配物理向量寄存器数量;

17、所述可分配物理向量寄存器数量为物理向量寄存器总数减去由目标后端保留且不参与候选分配的寄存器数量。

18、进一步地,在仅lmul不同的候选比较组中,识别寄存器冲突,包括:将除lmul外所有候选字段均相同的两个候选组成比较组;

19、将所述比较组中向量寄存器组倍率较大的候选确定为第一候选,向量寄存器组倍率较小的候选确定为第二候选;

20、当所述第一候选因向量寄存器组倍率增大而使向量分段数量或向量循环迭代次数小于所述第二候选,且所述第一候选的最大物理向量寄存器占用超过可分配物理向量寄存器数量时,判定存在寄存器冲突。

21、进一步地,所述定向修复,包括:

22、当所述活跃向量值类型为并行累加向量时,减小决定并行累加向量组数的输出维度分块并重新计算所述并行累加向量组数;

23、当所述活跃向量值类型为规约中间量时,减小规约维度分块;

24、当所述活跃向量值类型为激活临时量时,改变临时量生成时序或缩短融合边界,并在缩短融合边界后重新生成活跃区间集合;

25、当所述活跃向量值类型为操作数向量时,减少同时预取或保持的操作数向量组数,或者改变操作数向量的加载时序。

26、本发明第二方面,提供了基于冲突消解的rvv编译优化系统,包括:

27、融合子图分析模块:用于获取融合候选子图的统一迭代域和活跃区间集合;

28、候选调度向量生成模块:用于根据所述统一迭代域和活跃区间集合,结合硬件资源参数生成候选调度向量集合;

29、物理资源评估及冲突消解模块:用于计算各候选调度向量的最大物理向量寄存器占用和片上驻留容量,并根据活跃区间确定取得所述最大物理向量寄存器占用的程序位置以及所述程序位置处占用贡献最大的活跃向量值类型;在仅lmul不同的候选比较组中,识别寄存器冲突;根据活跃向量值类型对输出分块、规约分块或融合边界执行定向修复,以消解寄存器冲突;

30、约束回代筛选模块:用于对修复后的候选调度向量进行约束回代,基于满足物理向量寄存器约束和片上驻留容量约束的候选调度向量生成可行候选集合;

31、目标选择输出模块:用于从可行候选集合中选取目标调度向量作为rvv编译优化结果。

32、本发明第三方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述方法的步骤。

33、本发明第四方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述方法的步骤。

34、与现有技术相比,本发明的有益效果是:

35、本发明通过候选调度向量冲突识别与定向修复机制,在编译期主动识别lmul增大带来的向量迭代收益与物理向量寄存器超限之间的冲突,并根据导致超限的活跃值类型执行针对性修复和约束回代,从而在生成目标代码前消除寄存器溢出风险,避免额外的向量加载与存储开销,提升代码生成效率。

1.基于冲突消解的rvv编译优化方法,其特征在于,包括:

2.如权利要求1所述的基于冲突消解的rvv编译优化方法,其特征在于,所述候选调度向量至少包括融合边界、输出维度分块、规约维度分块、所选向量元素宽度、向量寄存器组倍率和向量寄存器生命周期策略;

3.如权利要求1所述的基于冲突消解的rvv编译优化方法,其特征在于,计算各候选调度向量的最大物理向量寄存器占用,包括:

4.如权利要求1所述的基于冲突消解的rvv编译优化方法,其特征在于,将当前候选调度向量对应的输入分片、权重分片、广播参数分片、输出分片、融合中间分片、边界换入换出数据、缓冲区及缓存行对齐填充的字节数累加求和,得到片上驻留容量。

5.如权利要求1所述的基于冲突消解的rvv编译优化方法,其特征在于,所述物理向量寄存器约束为所述最大物理向量寄存器占用不超过可分配物理向量寄存器数量;

6.如权利要求1所述的基于冲突消解的rvv编译优化方法,其特征在于,在仅lmul不同的候选比较组中,识别寄存器冲突,包括:将除lmul外所有候选字段均相同的两个候选组成比较组;

7.如权利要求1所述的基于冲突消解的rvv编译优化方法,其特征在于,所述定向修复,包括:

8.基于冲突消解的rvv编译优化系统,其特征在于,包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。

10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述方法的步骤。