交替残差网络调度方法、装置、电子设备及存储介质

摘要: 本发明涉及神经网络硬件加速,特别涉及一种交替残差网络调度方法、装置、电子设备及存储介质。背景技术:1、残差连接(residualconnection,rc)是现...
交替残差网络调度方法、装置、电子设备及存储介质

本发明涉及神经网络硬件加速,特别涉及一种交替残差网络调度方法、装置、电子设备及存储介质。

背景技术:

1、残差连接(residual connection,rc)是现代cnn的核心组件,其通过缓解梯度消失问题来稳定深度模型的训练,resnet已成为计算机视觉等领域中最为常用的模型之一,对于资源受限硬件上的高性能流式数据流加速器而言,rc通常需要跨越多个卷积层(标准resnet中要跨越两层)。当硬件采用全流水线执行并同时处理多个输入激活(inputactivation,ia)数据时,必须将原始的特征图暂存在片上缓存中,直到该块的最后一个卷积层计算完成并准备进行加法操作。这导致前后相邻的输入激活数据在同一时刻竞争同一块物理缓存,引发“残差缓存冲突(residual buffer hazard,rbh)”问题。

2、相关技术中,采用以下两种妥协方案,(一)多缓存方案(multi-buffer)即为保持流水线不间断,分配额外的物理缓存来存储多帧数据,(二)停顿方案(stall-based)即为避免缓存竞争,在每个ia数据后强行插入流水线停顿,等待缓存释放后再输入下一帧数据。

3、然而,多缓存方案显著增加了片上存储器(如sram)的面积和功耗开销,停顿方案使得理论吞吐量直接减半,严重降低了硬件资源的利用率,亟待解决。

技术实现思路

1、本发明提供一种交替残差网络调度方法、装置、电子设备及存储介质,以解决相关技术硬件加速器残差缓存冲突、内存开销大、流水线停顿的问题,降低片上存储占用,提升网络流式推理吞吐量。

2、为达到上述目的,本发明第一方面实施例提供一种交替残差网络调度方法,包括以下步骤:获取当前输入激活值;基于当前输入激活值所属的输入激活数据序列,确定当前输入激活值的属性标记,并确定交替残差网络中每个残差块的静态物理奇偶属性;根据当前输入激活值属性标记和网络级联拓扑中每个残差块的静态物理奇偶属性的匹配结果得到当前输入激活值的最终特征。

3、进一步地,在一些实施例中,所述根据当前输入激活值属性标记和网络级联拓扑中每个残差块的静态物理奇偶属性的匹配结果得到当前输入激活值的最终特征,包括:基于预设的运算规则,将所述当前输入激活值属性标记依次和所述网络级联拓扑中每个残差块的静态物理奇偶属性的进行匹配,得到所述当前输入激活值的最终特征;其中,所述预设的运算规则为:若所述当前输入激活值属性标记和残差块的静态物理奇偶属性匹配,则启用残差缓存并执行残差加法运算,输出残差卷积特征;若所述当前输入激活值属性标记和残差块的静态物理奇偶属性不匹配,则拦截残差缓存写入、关闭残差分支使能,使当前输入激活值以无残差卷积形式穿过残差块,输出基础卷积特征。

4、进一步地,在一些实施例中,在基于当前输入激活值所属的输入激活数据序列,确定当前输入激活值的属性标记之前,还包括:获取输入激活数据;确定所述输入激活数据中每个输入激活值的时间戳,并基于所述每个输入激活值的时间戳,生成所述输入激活数据中多个输入激活值的排序结果;基于所述排序结果,分别为所述每个输入激活值分配对应的奇数属性标记或偶数属性标记,得到所述输入激活数据序列。

5、进一步地,在一些实施例中,所述基于当前输入激活值所属的输入激活数据序列,确定当前输入激活值的属性标记,包括:识别所述输入激活数据序列中最后一个输入激活值的属性标记;若所述输入激活数据序列中最后一个输入激活值的属性标记为奇数属性标记,则所述确定当前输入激活值的属性标记为偶数属性标记;以及,若所述输入激活数据序列中最后一个输入激活值的属性标记为偶数属性标记,则所述确定当前输入激活值的属性标记为奇数属性标记。

6、进一步地,在一些实施例中,在根据当前输入激活值属性标记和网络级联拓扑中每个残差块的静态物理奇偶属性的匹配结果得到当前输入激活值的最终特征之后,还包括:确定当前输入激活值所属的输入激活数据序列中每个输入激活值的最终特征;基于预设的归一化参数,对所述每个输入激活值的最终特征进行归一化修正;基于预设的一致性损失函数,根据归一化修正后的所有输入激活值的最终特征,计算时序奇偶特征一致性损失,并基于所述时序奇偶特征一致性损失,反向迭代优化所述交替残差网络的网络参数。

7、根据本发明实施例提供的交替残差网络调度方法,采集当前输入激活值,依据该激活值所在数据序列确定其时序属性标记,同时预先配置交替残差网络各残差块对应的静态物理奇偶属性,再比对输入激活值属性标记与残差块静态物理奇偶属性的匹配情况,依匹配结果计算输出当前输入激活值对应的最终特征,由此,解决了相关技术硬件加速器残差缓存冲突、内存开销大、流水线停顿的问题,降低了片上存储占用,提升了网络流式推理吞吐量。

8、为达到上述目的,本发明第二方面实施例提供一种交替残差网络调度装置,包括:获取模块,用于获取当前输入激活值;确定模块,用于基于当前输入激活值所属的输入激活数据序列,确定当前输入激活值的属性标记,并确定交替残差网络中每个残差块的静态物理奇偶属性;输出模块,用于根据当前输入激活值属性标记和网络级联拓扑中每个残差块的静态物理奇偶属性的匹配结果得到当前输入激活值的最终特征。

9、进一步地,在一些实施例中,所述输出模块,具体用于:基于预设的运算规则,将所述当前输入激活值属性标记依次和所述网络级联拓扑中每个残差块的静态物理奇偶属性的进行匹配,得到所述当前输入激活值的最终特征;其中,所述预设的运算规则为:若所述当前输入激活值属性标记和残差块的静态物理奇偶属性匹配,则启用残差缓存并执行残差加法运算,输出残差卷积特征;若所述当前输入激活值属性标记和残差块的静态物理奇偶属性不匹配,则拦截残差缓存写入、关闭残差分支使能,使当前输入激活值以无残差卷积形式穿过残差块,输出基础卷积特征。

10、进一步地,在一些实施例中,在基于当前输入激活值所属的输入激活数据序列,确定当前输入激活值的属性标记之前,所述确定模块还用于:获取输入激活数据;确定所述输入激活数据中每个输入激活值的时间戳,并基于所述每个输入激活值的时间戳,生成所述输入激活数据中多个输入激活值的排序结果;基于所述排序结果,分别为所述每个输入激活值分配对应的奇数属性标记或偶数属性标记,得到所述输入激活数据序列。

11、进一步地,在一些实施例中,所述确定模块,还用于:识别所述输入激活数据序列中最后一个输入激活值的属性标记;若所述输入激活数据序列中最后一个输入激活值的属性标记为奇数属性标记,则所述确定当前输入激活值的属性标记为偶数属性标记;以及,若所述输入激活数据序列中最后一个输入激活值的属性标记为偶数属性标记,则所述确定当前输入激活值的属性标记为奇数属性标记。

12、进一步地,在一些实施例中,在根据当前输入激活值属性标记和网络级联拓扑中每个残差块的静态物理奇偶属性的匹配结果得到当前输入激活值的最终特征之后,所述输出模块,还用于:确定当前输入激活值所属的输入激活数据序列中每个输入激活值的最终特征;基于预设的归一化参数,对所述每个输入激活值的最终特征进行归一化修正;基于预设的一致性损失函数,根据归一化修正后的所有输入激活值的最终特征,计算时序奇偶特征一致性损失,并基于所述时序奇偶特征一致性损失,反向迭代优化所述交替残差网络的网络参数。

13、根据本发明实施例提供的交替残差网络调度装置,采集当前输入激活值,依据该激活值所在数据序列确定其时序属性标记,同时预先配置交替残差网络各残差块对应的静态物理奇偶属性,再比对输入激活值属性标记与残差块静态物理奇偶属性的匹配情况,依匹配结果计算输出当前输入激活值对应的最终特征,由此,解决了相关技术硬件加速器残差缓存冲突、内存开销大、流水线停顿的问题,降低了片上存储占用,提升了网络流式推理吞吐量。

14、为达到上述目的,本发明第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的交替残差网络调度方法。

15、为达到上述目的,本发明第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以用于实现如上述实施例所述的交替残差网络调度方法。

16、本发明第五方面实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被执行,以用于实现如上述实施例所述的交替残差网络调度方法。

17、由此,本发明具有以下有益效果:

18、(1)本发明:通过在时间维度上解耦相邻数据帧对缓存的占用,实现了严格的单块单物理缓存架构,显著降低了片上内存的面积与容量需求。

19、(2)本发明时序交错执行机制消除了残差缓存冲突,使得底层硬件加速器彻底免除了因避免冲突而强加的流水线停顿。

20、(3)本发明硬件调度架构无需修改数据流格式,仅通过引入极少量的单比特状态寄存器和单比特逻辑比较器即可完成复杂的时空调度,适合部署在资源严重受限的硬件平台。

21、(4)本发明弥补了奇数与偶数路径由于结构不一致带来的特征分布偏差,在大幅削减底层硬件开销的同时,保证了模型具有与全残差网络高度一致的分类准确率和系统鲁棒性。