一种基于推理精度的ANN/SNN动态调度方法及系统与流程

本发明属于人工智能芯片设计领域，具体涉及一种基于推理精度的ann/snn动态调度方法及系统。

背景技术：

1、随着人工智能大模型在视觉识别、自然语言处理及边缘智能等领域的广泛应用，推理计算对芯片的算力、能耗及实时性的要求不断提高。现有人工神经网络（artificialneural network，ann）主要采用浮点或定点数据执行乘累加（mac）运算，具有推理精度高、延迟低等优点，但需要大量乘法器和存储带宽支持，功耗较高。脉冲神经网络（spikingneural network，snn）则采用二值脉冲序列作为信息载体，通过神经元膜电位的累积、泄漏及阈值发放机制完成信息处理，其计算过程能够利用事件驱动方式减少乘法运算，具有较低的功耗和较高的能效。然而，snn通常依赖多个时间步进行推理，容易造成推理延迟增加，且在复杂任务中的推理精度通常低于ann。因此，如何兼顾ann的高精度优势和snn的低功耗优势，成为当前智能计算芯片的重要研究方向。

2、近年来，混合ann-snn推理技术逐渐受到关注，其基本思想是在同一神经网络中，根据不同网络层对计算精度的敏感程度，分别采用ann模式或snn模式进行计算，以在保证推理精度的前提下降低整体功耗。已有研究表明，不同网络层以及不同输入数据对应的特征分布存在明显差异，同一网络层在不同输入条件下对计算精度的需求也会动态变化，因此，仅依赖离线确定的固定模式分配难以充分发挥混合计算架构的优势，运行过程中需要能够结合实时推理状态动态调整计算模式。

3、目前，为实现混合ann-snn推理，通常在训练阶段分别完成ann模型和snn模型的训练，并依据训练数据统计各网络层在不同输入分布下的推理精度，建立精度评估模型，同时预先设定用于模式切换的精度阈值。当推理过程中检测到某层精度满足预设条件时，可切换至snn模式以降低功耗；当精度下降至允许范围以下时，则切换回ann模式以保证推理质量。然而，现有技术对于上述精度信息主要停留于离线分析阶段，缺少运行时的实时监测和动态反馈能力。

4、现有混合ann-snn加速方案主要包括采用独立ann加速器与神经形态芯片构成异构系统、基于离线成本模型进行静态模式分配以及利用fpga动态部分重构实现不同计算模块切换等方式。这些方案普遍采用相互独立的ann计算核心与snn计算核心，硬件资源无法充分复用，不仅增加了芯片面积和静态功耗，而且模式切换过程中还需要进行额外的数据传输和同步，带来较大的通信延迟和能耗开销。同时，现有方案的模式切换通常以网络层为单位，切换粒度较粗，难以适应运行过程中输入数据分布的动态变化。此外，大多数方案缺乏运行时精度闭环反馈机制，无法依据当前推理精度实时调整ann与snn计算模式，且snn模式下神经元树突数量及计算拓扑通常固定，难以针对不同网络层的结构特点进行灵活配置，导致硬件利用率及计算效率仍有进一步提升空间。

5、因此，亟需提供一种能够在同一张量处理硬件上实现ann与snn计算模式可重构、支持运行时实时精度监测及动态模式切换，并能够根据不同网络层灵活调整snn计算拓扑的混合计算架构及调度方法，以提高硬件资源利用率，在保证推理精度的同时进一步降低芯片功耗和推理延迟。

技术实现思路

1、本发明提供一种基于推理精度的ann/snn动态调度方法及系统，以解决现有技术中ann与snn计算资源复用程度低、难以根据运行时推理精度动态切换计算模式，以及snn神经元拓扑固定、难以适配不同网络层计算需求的问题。

2、为了解决上述技术问题，本发明实施例公开了如下技术方案：

3、本发明的一个方面提供一种基于推理精度的ann/snn动态调度方法，包括：

4、持续获取神经网络各网络层的输入数据，根据所述输入数据的统计特征预测各网络层当前的推理精度；

5、基于各网络层当前的推理精度预测结果及预设精度阈值，确定各网络层对应的计算模式，所述计算模式包括人工神经网络ann模式和脉冲神经网络snn模式；

6、根据各网络层对应的计算模式，对可重构处理单元阵列进行模式重构；当所述计算模式为snn模式时，根据对应网络层的计算需求，对所述可重构处理单元阵列进行组合配置，形成与对应网络层计算需求相匹配的神经元拓扑；

7、利用模式重构后的可重构处理单元阵列执行神经网络各网络层的推理计算。

8、可选的，所述根据所述输入数据的统计特征预测各网络层的推理精度，包括：

9、获取各网络层输入数据的统计特征，所述统计特征包括均值、方差、最大值、最小值、中位数、偏度及峰度中的一种或多种；

10、将所述统计特征输入预先建立的推理精度预测模型，得到对应网络层的推理精度预测结果。

11、可选的，所述基于各网络层的推理精度预测结果及预设精度阈值，确定各网络层对应的计算模式，包括：

12、将各网络层的推理精度预测结果与预设精度阈值进行比较；

13、当比较结果满足模式切换条件时，将对应网络层的计算模式切换为ann模式或者snn模式。

14、可选的，所述预设精度阈值包括精度阈值上限和精度阈值下限，

15、在当前网络层采用ann模式且推理精度预测结果高于精度阈值上限，且当前网络层在snn模式下的推理精度预测结果不低于精度阈值下限时，将当前网络层的计算模式切换为snn模式；

16、在当前网络层采用snn模式且推理精度预测结果低于精度阈值下限时，将当前网络层的计算模式切换为ann模式；

17、当推理精度预测结果不满足上述模式切换条件时，保持当前网络层的计算模式不变。

18、可选的，所述预设精度阈值的确定包括：

19、针对同一神经网络结构，分别完成ann训练和snn训练，获得对应的权值矩阵；

20、基于验证集数据分别对ann和snn的权值矩阵进行推理，记录各网络层输入数据的统计特征及对应的推理精度；

21、根据所述输入数据的统计特征及对应的推理精度，确定各网络层对应的精度阈值上限和精度阈值下限。

22、可选的，所述根据输入数据的统计特征与推理精度之间的对应关系，确定各网络层对应的精度阈值上限和精度阈值下限，包括：

23、在snn模式下渐进式改变各网络层的输入数据，将推理精度下降速率超过速率阈值时对应的推理精度确定为相应网络层的精度阈值下限；

24、基于ann的推理结果进行精度冗余分析，将推理精度趋于饱和时对应的推理精度确定为相应网络层的精度阈值上限。

25、可选的，所述根据各网络层对应的计算模式，对可重构处理单元阵列进行模式重构，包括：

26、根据当前网络层的计算模式，对同一可重构处理单元阵列中处理单元的运算逻辑和数据通路进行重构，使所述可重构处理单元阵列以对应的ann模式或者snn模式执行当前网络层的推理计算。

27、可选的，所述根据对应网络层的计算需求，对所述可重构处理单元阵列进行组合配置，包括：

28、根据对应网络层神经元的结构参数，对所述可重构处理单元阵列在行方向和/或列方向进行组合配置，以构建与对应网络层计算需求相匹配的神经元拓扑。

29、可选的，所述根据对应网络层神经元的结构参数，对所述可重构处理单元阵列在行方向和/或列方向进行组合配置，包括：

30、根据对应网络层的神经元树突数量和神经元数量，确定所述可重构处理单元阵列中纵向累加器和横向累加器的取用级数；

31、按照所述取用级数对纵向累加器和横向累加器进行组合配置，以调整单个神经元支持的树突数量以及可并行执行的神经元数量，形成与对应网络层相匹配的神经元拓扑。

32、本发明的另一个方面提供一种基于推理精度的ann/snn动态调度系统，包括：

33、推理精度预测模块，被配置为持续获取神经网络各网络层的输入数据，根据所述输入数据的统计特征预测各网络层当前的推理精度；

34、计算模式确定模块，被配置为基于各网络层当前的推理精度预测结果及预设精度阈值，确定各网络层对应的计算模式，所述计算模式包括人工神经网络ann模式和脉冲神经网络snn模式；

35、模式重构模块，被配置为根据各网络层对应的计算模式，对可重构处理单元阵列进行模式重构；当所述计算模式为snn模式时，根据对应网络层的计算需求，对所述可重构处理单元阵列进行组合配置，形成与对应网络层计算需求相匹配的神经元拓扑；

36、推理计算模块，被配置为利用模式重构后的可重构处理单元阵列执行神经网络各网络层的推理计算。

37、本发明提供的一种基于推理精度的ann/snn动态调度方法及系统，通过持续获取神经网络各网络层输入数据的统计特征，对各网络层当前的推理精度进行预测，并根据推理精度预测结果与预设精度阈值之间的关系，动态确定各网络层采用ann模式或snn模式，从而能够根据推理过程中的精度变化自适应调整计算模式，在满足推理精度要求的同时充分发挥snn模式的低功耗优势，实现推理精度与计算功耗之间的动态平衡。

38、同时，本发明通过同一可重构处理单元阵列实现ann模式和snn模式的计算，提升硬件资源的复用率。在snn模式下，还可根据不同网络层的神经元结构参数对所述可重构处理单元阵列进行行方向和/或列方向的组合配置，形成与不同网络层计算需求相匹配的神经元拓扑，从而提高对不同规格snn神经元及不同网络层计算需求的适应能力。

39、提供 技术实现要素： 部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的重要特征或必要特征，也无意限制本公开的范围。