一种面向微控制器的智能模型峰值内存优化方法

摘要: 本发明涉及微型机器学习,尤其涉及一种面向微控制器的智能模型峰值内存优化方法。背景技术:1、微控制器因其低功耗、低成本和易于嵌入部署等特点,已成为tinyml场景...
一种面向微控制器的智能模型峰值内存优化方法

本发明涉及微型机器学习,尤其涉及一种面向微控制器的智能模型峰值内存优化方法。

背景技术:

1、微控制器因其低功耗、低成本和易于嵌入部署等特点,已成为tinyml场景中承载神经网络推理的重要硬件平台。然而,微控制器通常仅具备kb级峰值内存(sram)与闪存(flash)资源,远低于通用边缘设备或云端平台。在此极端受限的资源条件下,模型参数存储、中间特征图缓存以及算子临时工作区会共同竞争有限的片上存储资源,其中推理过程中的峰值内存占用往往成为模型能否部署成功的关键约束。现有研究表明,即便是轻量化后模型,在微控制器上仍可能因峰值内存或存储空间超限而无法直接部署;特别是transformer一类模型在矩阵乘法和token表示处理中会产生更高的内存压力。

2、在模型结构优化方面,现有神经网络架构搜索方法多数以精度、计算量和参数量为主要目标,硬件感知搜索也往往面向 gpu、移动端或特定加速器。虽然已有工作开始将微控制器的内存约束纳入搜索过程,并通过调整 token 数量、低秩分解比例等结构因素降低推理峰值内存,但其关注重点主要在于结构是否满足内存限制,对于该结构在后续内存规划中是否易于复用缓冲区、是否适合原地覆盖、是否需要过大临时工作区等可部署性问题考虑不足。

3、在部署与内存分配方面,现有微控制器推理框架通常采用层级式或静态式张量分配策略,即在一层算子执行期间同时保留整层输入张量和整层输出张量,当模型包含大尺寸中间张量时,该类策略容易导致峰值内存过高。为降低峰值内存,部分方案采用基于补丁的推理方法(patch-based inference),通过对特征图分块、分批计算的方式减少一次性缓存的数据量,但该方式通常会引入重叠区域重复计算,从而显著增加推理时延和额外计算开销。还有研究通过张量切分和提前释放未再使用的张量空间来降低sram,但这类方法主要从编译阶段处理已有模型,并未在模型结构设计阶段同时考虑后续的切分与复用友好性。

技术实现思路

1、本发明提供一种面向微控制器的智能模型峰值内存优化方法,用于解决现有技术中神经网络架构搜索与内存规划相互割裂、峰值内存占用高、重复计算开销大以及部署可执行性差的问题,实现微控制器端神经网络模型从结构选择到推理部署的协同优化。

2、一种面向微控制器的智能模型峰值内存优化方法,包括:

3、获取目标微控制器的硬件资源约束信息;所述硬件资源约束信息包括:sram容量上限、flash容量上限、推理时延约束、可支持算子集合、算子临时工作区需求信息、数据位宽配置;

4、根据目标任务类型、输入数据特征、以及所述硬件资源约束信息构建候选神经网络架构搜索空间;所述候选神经网络架构搜索空间包括至少一种结构变量,所述结构变量包括:网络层数、通道数、卷积核尺寸、扩展倍率、注意力头数、token数量、低秩分解比例及算子组合方式; 对微控制器算子库不支持的算子,执行算子替换、近似实现或直接剔除处理;

5、对于搜索空间中的每一个候选神经网络,分别评估其任务精度、峰值内存、参数存储量、计算量以及内存可规划性;

6、根据评估结果,从所述候选神经网络中筛选出目标神经网络;

7、根据所述目标神经网络,执行面向推理过程的智能内存规划,生成适配所述目标微控制器的推理部署方案;

8、所述推理部署方案包括:目标神经网络结构参数、关键张量分块策略、子张量缓冲区地址映射关系、临时工作区复用关系、算子与子张量执行顺序、原地覆盖规则以及可在目标微控制器上执行的推理代码或中间表示。

9、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,构建候选神经网络架构搜索空间具体包括:

10、首先,根据所述目标任务类型,确定候选网络的基础网络骨干与候选算子集合;

11、然后,根据输入数据特征,确定全部结构变量的初始取值范围;

12、最后,利用所述硬件资源约束信息,对所述初始取值范围进行裁剪,从而得到候选神经网络架构搜索空间。

13、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述内存可规划性由共享缓冲复用潜力、原地覆盖可行性、张量生命周期重叠程度、临时工作区需求量及分块引入的额外代价中的一种或多种加权构成;

14、

15、其中,表示候选神经网络中张量缓冲区的共享复用潜力;表示张量或算子输出在不破坏计算正确性的前提下进行原地覆盖的可行性;表示候选神经网络中张量生命周期的重叠程度;表示候选神经网络在算子执行时对临时工作区的需求量;表示后续对关键张量执行分块时引入的额外调度、元数据和重复计算代价;为对应权重系数。

16、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述根据评估结果,从所述候选神经网络中筛选出目标神经网络包括:

17、首先,依据以下约束条件对候选神经网络进行筛选,对于不满足任一约束条件的候选神经网络,直接从搜索空间中剔除,从而得到初步筛选的候选神经网络;

18、

19、

20、

21、其中,为候选神经网络的峰值内存;为目标微控制器的sram容量上限;为候选神经网络的参数存储量;为目标微控制器的flash容量上限;为候选神经网络的推理时延;为预设推理时延约束;

22、其次,依据构建的联合目标函数,以从所述初步筛选的候选神经网络中进行排序和搜索,得到目标神经网络;

23、所述联合目标函数为:

24、

25、其中,为候选神经网络的任务精度;为候选神经网络的内存可规划性指标;为候选神经网络的计算量;和为调节系数。

26、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述根据所述目标神经网络,执行面向推理过程的智能内存规划,生成适配所述目标微控制器的推理部署方案包括:

27、根据所述目标神经网络,构建初始有向无环计算图,并基于所述初始有向无环计算图建立张量生命周期图;其中,节点集合表示目标神经网络中的各个算子,边集合表示所述算子之间通过张量形成的数据依赖关系;

28、根据所述张量生命周期图,确定张量生命周期区间;

29、根据所述张量生命周期区间,确定瞬时内存占用函数:

30、

31、其中,表示张量的存储大小;为指示函数,当张量在时刻处于存活状态时取值为1,否则取值为0;

32、根据所述瞬时内存占用函数,识别目标神经网络推理过程中的峰值内存区间,并在该峰值内存区间内识别得到至少一个关键张量;

33、对于识别得到的每一个关键张量,生成多个候选分块方案,并利用各候选分块方案对相应关键张量进行分割,从而得到不同候选分块方案分别对应的子张量集合;所述候选分块方案为:依据关键张量的尺寸特征、依赖关系及生命周期重叠程度,确定分块维度和分块粒度,并对所述关键张量沿高度维、宽度维、通道维或token维中的至少一个维度进行分割;

34、利用代价函数对每个候选分块方案进行比较,选择代价最小对应的分块方案对所述关键张量进行分割,从而得到分块后的子张量;

35、根据分块后的子张量,对所述初始有向无环计算图进行更新,将与关键张量相关联的算子替换为对应的子张量算子序列,从而得到更新后的有向无环计算图;

36、根据所述更新后的有向无环计算图,生成子张量执行依赖序列;

37、根据所述子张量执行依赖序列,执行共享缓冲分配、临时工作区复用、输入张量提前释放、输出张量原地覆盖及算子执行调度;

38、根据执行结果,生成适配目标微控制器的推理部署方案。

39、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述关键张量为位于峰值内存区间内且满足以下条件之一的张量:张量尺寸超过预设阈值、与其他张量存在较高生命周期重叠、对峰值内存贡献占比超过预设比例、或对应算子具有较大的临时工作区需求;所述关键张量为输入张量、中间张量或输出张量。

40、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述代价函数如下:

41、

42、其中,表示采用当前分块方案后推理执行过程中的峰值内存;表示由张量分块和子张量调度引入的额外计算代价;表示由张量分块引入的额外元数据管理和调度控制开销;为权重系数。

43、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述根据所述更新后的有向无环计算图,生成子张量执行依赖序列包括:

44、对于能够在局部结果产生后立即被后继算子消费的子张量,不再等待整个原始张量全部计算完成,而是在满足依赖约束后立即触发后续算子执行,以缩短输入子张量与输出子张量之间的生命周期重叠时间。

45、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述根据所述子张量执行依赖序列,执行共享缓冲分配、临时工作区复用、输入张量提前释放、输出张量原地覆盖及算子执行调度包括:

46、其中,根据所述子张量执行依赖序列,执行共享缓冲分配、临时工作区复用包括:

47、根据所述子张量执行依赖序列,建立静态内存池,对所有子张量统一进行地址分配,对于生命周期区间不重叠的两个或多个子张量,将其映射到同一物理缓冲区;同时,对多个算子执行过程中所需的临时工作区进行统一管理;对于临时工作区,采用按需申请、使用完成后立即释放的方式进行复用,当两个算子的临时工作区在时间上不存在重叠需求时,复用同一工作区地址;

48、根据子张量执行依赖序列,执行输入张量提前释放、输出张量原地覆盖包括:

49、在子张量执行过程中,当某一输入子张量完成最后一次消费后,立即释放其所占用的存储空间,不再等待整个原始层执行结束,释放后的缓冲区优先分配给后续待产生的输出子张量;

50、当某一目标张量同时满足以下预设条件时,对其执行原地覆盖;所述预设条件包括:

51、条件1:该张量对应的生产者算子与消费者算子之间不存在并行读写冲突;

52、条件2:该张量在当前执行阶段之后不再被其他算子访问;

53、条件3:原地写入不会破坏后续计算的正确性;

54、根据所述子张量执行依赖序列,执行算子执行调度方案包括:采用能够减少同时存活张量数量的调度方式对算子和子张量的执行顺序进行调度优化。

55、进一步地,如上所述的面向微控制器的智能模型峰值内存优化方法,所述目标任务类型包括:图像分类、语音识别、关键词检测、异常检测、时序信号识别、传感器数据分析;

56、所述输入数据特征包括:输入分辨率、序列长度、通道维度、采样频率、patch 尺寸、token 长度中的至少一种。

57、本发明提供面向微控制器的智能模型峰值内存优化方法,通过先执行内存约束的神经网络架构搜索,确定出目标神经网络,再基于目标神经网络执行面向推理过程的智能内存规划,实现了微控制器侧神经网络模型结构选择与部署执行过程的协同优化。

58、进一步地,本发明提供的方法,通过在架构搜索阶段引入内存可规划性指标,使得到的目标神经网络不仅满足 sram、flash 和时延约束,而且具有更好的部署友好性;在内存规划阶段通过张量生命周期分析、关键张量识别、自适应分块、共享缓冲分配、原地覆盖及执行调度,有效降低推理过程中的峰值内存占用,并控制因分块带来的额外计算和调度开销,从而提升模型在微控制器上的部署成功率、存储利用率和推理效率。