一种基于节点依赖和张量描述符的异构神经网络计算图处理器及其执行方法

摘要: 本技术属于神经网络加速器,更具体地说,是涉及一种基于节点依赖和张量描述符的异构神经网络计算图处理器及其执行方法。背景技术:1、随着轻量化卷积神经网络和目标检测网...
一种基于节点依赖和张量描述符的异构神经网络计算图处理器及其执行方法

本技术属于神经网络加速器,更具体地说,是涉及一种基于节点依赖和张量描述符的异构神经网络计算图处理器及其执行方法。

背景技术:

1、随着轻量化卷积神经网络和目标检测网络的发展,神经网络计算图中除普通卷积外,还包含逐通道卷积、张量尺寸变换、张量拼接、张量切片、数据重新打包以及检测结果解码等具有不同计算和存储访问特征的运算节点。现有神经网络处理器通常以普通卷积计算阵列为核心,对于上述特殊算子,常采用主控处理器逐节点配置执行,或者分别设置独立硬件模块完成处理。

2、采用主控处理器逐节点配置时,每个节点完成后均需要软件参与状态判断、下一节点启动以及输入输出地址配置,导致网络节点之间存在较多的软件控制和同步操作;而针对不同特殊算子分别配置完整的数据访问通路,又容易重复实现地址生成、外部存储访问和数据返回控制等硬件结构。因此,亟需提供一种新的神经网络计算图处理结构以解决上述问题。

技术实现思路

1、本技术实施例的目的在于提供一种基于节点依赖和张量描述符的异构神经网络计算图处理器及其执行方法,以解决现有技术中包含多种异构算子的神经网络在硬件执行过程中,存在软件控制开销大和硬件重复设计、资源冗余的技术问题。

2、为实现上述目的,本技术实施例的第一方面提供了一种基于节点依赖和张量描述符的异构神经网络计算图处理器,包括主控处理器和外部存储器,控制接口及地址路由模块、可配置卷积子系统和异构计算图执行子系统;

3、控制接口及地址路由模块,用于接收主控处理器的配置、访问地址和状态访问事务,并根据访问地址确定状态访问事务对应的可配置卷积子系统或异构计算图执行子系统;

4、可配置卷积子系统,用于处理普通卷积、逐点卷积以及能够映射至普通卷积计算通路的网络节点,并将最终计算结果写入外部存储器;

5、异构计算图执行子系统,用于处理逐通道卷积、张量变换以及多尺度检测解码此类特殊网络节点,依据节点依赖关系调度对应执行单元完成节点运算,并通过共享张量数据实现与外部存储器的数据传输。

6、优选地,异构计算图执行子系统包括节点命令缓存模块、节点依赖判断与调度模块、节点描述符解析模块、张量描述符解析模块、流式逐通道卷积执行单元、张量变换执行单元、多尺度检测解码执行单元、共享张量数据搬运模块以及节点完成状态及异常反馈模块;

7、节点命令缓存模块,用于先进先出地接收主控处理器按计算图拓扑顺序写入的特殊网络节点;

8、节点依赖判断与调度模块,用于依据前驱节点完成状态判断队首节点是否具备执行条件,当执行条件满足时,根据节点执行类型选择流式逐通道卷积执行单元、张量变换执行单元或多尺度检测解码执行单元此类异构执行单元。

9、优选地,流式逐通道卷积执行单元,包括输入数据接收路径、在线填充判断模块、行缓存模块、滑动窗口生成模块、抽头有效性判断模块、并行逐通道乘累加计算通路以及输出后处理模块,用于执行逐通道卷积运算,对各输入通道的输入特征数据独立完成空间卷积而不执行跨输入通道累加;抽头有效性判断模块生成有效抽头掩码,基于掩码屏蔽超出特征边界的窗口抽头,无需在外部存储器预生成零填充特征张量,并对卷积结果执行偏置叠加、重定量化及激活后写回外部存储器。

10、优选地,张量变换执行单元,包括控制状态机、输入张量描述符接口、输出张量描述符接口、输入地址生成模块、输出地址生成模块、坐标映射模块、局部数据缓存以及张量数据搬运接口,用于执行以张量存储地址和张量元素排列关系变化为特征的张量重组,基于坐标映射及地址生成完成邻近插值尺寸变换、张量拼接、实体化张量切片、数据重新打包、张量重塑或展平处理。

11、优选地,多尺度检测解码执行单元,包括多尺度输入读取及字段提取模块、定点非线性函数处理模块、网格和锚框参数处理模块、目标框坐标恢复模块、关键点坐标恢复模块以及多尺度结果拼接模块,用于处理目标检测网络输出的多尺度预测张量,对预测字段进行定点非线性处理,结合网格与锚框参数恢复目标框坐标与车牌关键点坐标得到多尺度解码结果,进行拼接生成统一候选结果张量,写入外部存储器。

12、优选地,共享张量数据搬运模块,用于统一完成各异构执行单元与外部存储器之间的数据传输,接收当前工作的异构执行单元基于张量描述符生成的访问请求并转换为外部存储访问事务,实现输入数据读取与输出结果写回,使多个异构执行单元复用同一数据搬运通路。

13、优选地,节点完成状态及异常反馈模块,用于记录并更新计算图中已执行完成的特殊网络节点的状态,为节点依赖判断与调度模块判断提供状态依据,支持计算图状态复位,在计算图执行结束后向主控处理器反馈整体完成状态,记录并上报节点配置、数据访问及运算执行过程中的异常状态。

14、优选地,节点描述符解析模块,用于解析节点描述符,当节点描述符的执行类型为逐通道卷积时,选择流式逐通道卷积执行单元;当执行类型为张量数据重组时,选择张量变换执行单元;当执行类型为检测结果解码时,选择多尺度检测解码执行单元。

15、优选地,张量描述符解析模块,用于解析张量描述符,得到包含张量编号、外部存储基地址、张量空间尺寸、通道数量和存储步长的张量信息,供异构执行单元,依据张量信息结合待处理数据的逻辑张量坐标生成外部存储的实际访问地址,实现运算与张量存储组织形式的解耦。

16、本技术实施例的第二方面提供了一种基于节点依赖和张量描述符的异构神经网络计算图处理器的执行方法,包括以下步骤:

17、接收主控处理器的配置、访问地址和状态访问事务,并根据访问地址确定状态访问事务对应的可配置卷积子系统或异构计算图执行子系统;当确定为可配置卷积子系统时,接收主控处理器下发配置、访问地址和状态访问事务参数,从外部存储器读取输入特征张量与卷积权重执行乘累加运算,将最终结果写入外部存储器;

18、当确定为异构计算图执行子系统时,主控处理器针对待执行神经网络确定特殊网络节点,分配张量描述符和节点描述符配置、访问地址和状态访问事务,按计算图拓扑顺序将多个特殊网络节点先入先出缓存后,读取队首节点并选择对应异构执行单元,解析张量描述符生成存储访问地址,访问外部存储器,完成对应类型算子的数据处理并写回输出结果,更新节点完成状态;

19、循环更新队首节点的完成状态,直至没有待执行的特殊网络节点,向主控处理器反馈计算图执行完成状态,结束计算图执行。

20、本技术的有益效果在于:本技术提供了一种面向异构神经网络计算图的硬件处理器及其执行方法,采用控制接口及地址路由模块、可配置卷积子系统与异构计算图执行子系统相配合的硬件架构,通过统一的节点描述、张量描述以及硬件内部节点依赖调度机制,实现逐通道卷积、张量变换、多尺度检测解码等异构算子的硬件化连续执行,减少主控处理器的软件参与度与重复数据搬运开销。其中,异构计算图执行子系统依托节点命令缓存、节点依赖判断与调度、节点完成状态管理机制,主控处理器仅需按照计算图拓扑顺序批量提交特殊算子节点,由硬件依据前驱节点完成状态自主判断节点执行条件,无需软件反复进行状态查询、重新配置与节点启动,降低神经网络推理过程中的软件控制开销;本技术借助张量描述符对网络节点、中间张量进行统一表征,各异构执行单元依据张量描述符自主生成外部存储器访问地址,避免主控处理器逐算子完成中间数据的地址计算与组织,流式逐通道卷积执行单元依靠行缓存、滑动窗口及抽头有效性判断实现硬件在线隐式零填充,无需在外部存储器预先生成零填充特征张量,减少额外存储与数据搬运,张量变换相关运算复用坐标映射、地址生成、局部缓存硬件通路,无需为各类张量重组操作分别搭建独立硬件通路,各特殊算子执行单元共用共享张量数据搬运模块完成外部存储器交互,避免每个执行单元独立实现完整存储访问逻辑,降低硬件重复设计,缓解硬件资源冗余问题。同时由硬件完成多尺度预测张量的定点非线性处理、目标框与关键点坐标恢复、多尺度结果拼接等解码运算,将检测解码的计算负载下放至硬件侧,减轻主控处理器逐候选目标解码的计算负担,提升异构神经网络整体推理效率。