一种适用于移动端设备的轻量化神经网络自适应推理优化系统及方法

本发明涉及人工智能及移动端神经网络推理优化，具体涉及一种适用于移动端设备的轻量化神经网络自适应推理优化系统及方法。

背景技术：

1、适用于移动端设备的轻量化神经网络自适应推理优化是指针对智能手机、平板电脑、可穿戴设备及其他具有计算能力、存储容量和功耗受限特点的移动端设备，对神经网络模型的结构、参数规模、计算过程以及运行策略进行轻量化和动态优化，使神经网络能够根据移动端设备当前的硬件资源、计算负载、内存占用、电量状态以及具体推理任务的复杂程度，自适应地调整其推理方式，例如动态选择不同复杂度的网络结构或计算路径、调整参与计算的网络层或神经元数量、改变模型量化精度、控制特征处理规模或者合理分配计算资源，从而减少神经网络推理过程中所需的计算量、存储空间、内存访问和能源消耗，降低推理时延；其核心目的在于，在尽可能维持模型推理准确率的前提下，使神经网络的计算复杂度和资源消耗能够与移动端设备实时可用的计算资源及任务需求相匹配，避免传统神经网络采用固定模型结构和固定推理流程所造成的计算资源浪费或设备资源不足问题，进而实现神经网络在资源受限且运行状态动态变化的移动端设备上的高效、稳定和实时推理。

2、现有技术存在以下不足：移动端设备在执行神经网络推理任务时，其可用计算资源会受到后台任务运行、系统资源调度、设备功耗状态变化等因素影响而发生明显波动。当设备可用资源发生突变时，自适应推理机制将根据当前资源反馈调整神经网络的轻量化程度，以降低推理过程产生的资源压力。然而，轻量化程度发生改变后，神经网络自身的资源占用量也会随之变化，该变化又会反向影响设备可用资源的反馈结果，使自适应推理机制根据新的资源状态再次作出方向相反的调整。在设备资源处于策略切换临界状态时，上述反馈过程容易被连续放大，导致神经网络的轻量化程度难以稳定在适配当前资源状态的合理水平，进而造成推理策略异常切换、计算资源反复过量分配，严重影响移动端神经网络推理过程的稳定性及推理结果的可靠性。

3、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是提供一种适用于移动端设备的轻量化神经网络自适应推理优化系统及方法，以解决上述背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种适用于移动端设备的轻量化神经网络自适应推理优化方法，包括以下步骤：

3、采集移动端设备执行轻量化神经网络推理任务期间的可用算力占比、内存余量和功耗裕量，对相邻采样时刻对应的可用算力占比、内存余量和功耗裕量分别进行变化斜率计算，并按照各变化斜率确定移动端设备的资源跃迁强度值；

4、针对资源跃迁强度值对应的资源变化过程，获取轻量化程度调整前后的推理资源占用量，计算轻量化程度调整前后的资源占用偏移比例，对资源变化方向以及资源变化幅值进行比较，从资源变化方向相反且资源变化幅值增大的反馈变化中提取反馈反转系数；

5、将反馈反转系数映射至轻量化神经网络的推理资源占用变化幅度，统计连续采样过程中资源变化方向的相邻方向翻转次数，利用推理资源占用变化幅度和相邻方向翻转次数计算资源摆动指数，并由资源摆动指数确定推理策略失稳程度；

6、按照资源摆动指数对轻量化程度的调节跨度进行压缩，利用推理策略失稳程度对轻量化神经网络的推理策略切换边界进行扩展，将压缩后的轻量化程度调节跨度与扩展后的推理策略切换边界配置为动态抑制区间；

7、通过动态抑制区间限制轻量化神经网络推理资源占用的反向调节幅度，监测限制期间可用算力占比、内存余量和功耗裕量对应的资源变化斜率，按照资源变化斜率的变化状态逐级释放轻量化程度的调节权限，稳定移动端设备当前的轻量化神经网络推理状态。

8、轻量化程度划分为多个轻量化等级，各轻量化等级分别对应推理计算规模、推理精度等级及特征处理规模中的至少一项推理配置，相邻轻量化等级构成轻量化程度的调节单位；各轻量化等级配置计算资源占用范围、推理内存占用范围及推理功耗占用范围，相邻轻量化等级对应的三类资源占用变化范围作为资源占用偏移基准，连续推理期间记录各轻量化等级对应的推理资源占用量，并利用记录结果调整资源占用偏移基准。

9、可用算力占比、内存余量和功耗裕量采用统一采样周期连续采集，相邻采样时刻对应的三类资源变化量分别按照采样时间间隔确定变化斜率，各变化斜率依照对应资源变化范围划分变化等级，三类变化等级中的最大等级确定为资源跃迁等级；至少两类资源变化斜率同时沿资源余量减少方向变化时提高资源跃迁等级，三类资源变化斜率同时沿资源余量减少方向变化时再次提高资源跃迁等级，并以最终资源跃迁等级对应的离散值确定资源跃迁强度值。

10、资源跃迁强度值达到跃迁监测等级时确定资源变化过程的起始时刻，资源跃迁强度值连续多个采样时刻退出跃迁监测等级且三类资源变化斜率未产生新的方向翻转时确定资源变化过程的结束时刻；轻量化程度每次发生调整时，选取调整时刻之前的连续采样时段作为调整前观察区间，轻量化程度调整完成并经过预设响应间隔，选取相同采样数量的连续采样时段作为调整完成观察区间，两个观察区间分别记录推理资源占用量及资源变化方向。

11、调整前观察区间与调整完成观察区间分别确定计算资源占用量、推理内存占用量及推理功耗占用量对应的资源占用偏移比例，各资源占用偏移比例与轻量化等级变化对应的资源占用偏移基准进行比较，落入资源占用偏移基准范围的变化部分归入轻量化程度调整对应的推理资源占用变化，超出资源占用偏移基准范围的变化部分归入外部资源环境变化；资源变化方向发生反转且反转方向的变化幅值增加时，按照反转幅值等级及资源偏移等级确定反馈反转系数。

12、可用算力占比、内存余量和功耗裕量分别确定反馈反转系数，反馈反转系数等级最大的资源参数确定为主导资源参数，多类资源参数同时达到当前最大反馈反转等级时提高反馈反转等级；主导资源参数对应的资源占用变化等级确定推理资源占用变化幅度，连续采样采用滑动摆动观察窗口记录主导资源参数的资源变化方向，新采样时刻进入滑动摆动观察窗口时移除超过窗口长度的早期采样时刻及对应方向翻转记录，并统计滑动摆动观察窗口内的相邻方向翻转次数。

13、反馈反转系数确定单次资源反转对应的摆动等级，推理资源占用变化幅度及滑动摆动观察窗口内的相邻方向翻转次数共同调整资源摆动指数；反馈反转系数、推理资源占用变化幅度及相邻方向翻转次数分别按照预设等级关系划分多个资源摆动等级，滑动摆动观察窗口移除早期方向翻转记录时重新确定资源摆动指数，各资源摆动等级分别对应不同推理策略失稳程度，资源摆动等级增加时依次压缩单次允许跨越的轻量化等级数量。

14、推理策略切换边界分别配置可用算力占比、内存余量和功耗裕量对应的增加轻量化程度方向切换边界及降低轻量化程度方向切换边界，推理策略失稳程度增加时，两方向切换边界分别向资源余量减少方向及资源余量增加方向移动，两方向切换边界之间的资源状态范围确定动态抑制区间；任一资源参数越过增加轻量化程度方向切换边界时优先开放资源减压方向调节权限，三类资源参数均未越过对应边界且满足资源恢复条件时开放资源恢复方向调节权限。

15、动态抑制区间对应多个推理策略失稳程度配置不同反向调节幅度，资源变化斜率连续多个有效采样时刻未发生方向翻转、资源变化斜率绝对幅值进入第一释放范围且外部资源环境变化未持续沿资源压力增加方向变化时开放一级资源恢复方向调节权限；资源变化斜率继续保持同一方向并进入允许斜率绝对幅值更小的第二释放范围时再次开放调节权限；资源摆动指数退出当前推理策略失稳程度对应的资源摆动等级时恢复正常轻量化程度调节权限。

16、一种适用于移动端设备的轻量化神经网络自适应推理优化系统，包括资源跃迁监测模块、反馈反转识别模块、资源摆动评估模块、动态抑制模块以及调节权限释放模块：

17、资源跃迁监测模块，采集移动端设备执行轻量化神经网络推理任务期间的可用算力占比、内存余量和功耗裕量，对相邻采样时刻对应的可用算力占比、内存余量和功耗裕量分别进行变化斜率计算，并按照各变化斜率确定移动端设备的资源跃迁强度值；

18、反馈反转识别模块，针对资源跃迁强度值对应的资源变化过程，获取轻量化程度调整前后的推理资源占用量，计算轻量化程度调整前后的资源占用偏移比例，对资源变化方向以及资源变化幅值进行比较，从资源变化方向相反且资源变化幅值增大的反馈变化中提取反馈反转系数；

19、资源摆动评估模块，将反馈反转系数映射至轻量化神经网络的推理资源占用变化幅度，统计连续采样过程中资源变化方向的相邻方向翻转次数，利用推理资源占用变化幅度和相邻方向翻转次数计算资源摆动指数，并由资源摆动指数确定推理策略失稳程度；

20、动态抑制模块，按照资源摆动指数对轻量化程度的调节跨度进行压缩，利用推理策略失稳程度对轻量化神经网络的推理策略切换边界进行扩展，将压缩后的轻量化程度调节跨度与扩展后的推理策略切换边界配置为动态抑制区间；

21、调节权限释放模块，通过动态抑制区间限制轻量化神经网络推理资源占用的反向调节幅度，监测限制期间可用算力占比、内存余量和功耗裕量对应的资源变化斜率，按照资源变化斜率的变化状态逐级释放轻量化程度的调节权限，稳定移动端设备当前的轻量化神经网络推理状态。

22、在上述技术方案中，本发明提供的技术效果和优点：

23、本发明通过持续获取移动端设备的资源变化状态，利用资源跃迁强度值识别资源突变过程，并进一步分析轻量化程度调整前后的资源占用偏移以及反馈方向变化，能够识别轻量化程度改变引起的推理资源占用变化对后续资源反馈产生的反向作用。通过反馈反转系数与资源摆动指数逐层确定推理策略失稳程度，可降低单次资源恢复被直接作为反向调整条件的概率，减少轻量化程度在策略切换临界状态下往复改变造成的推理资源反复分配，提升移动端设备持续执行神经网络推理任务时的运行稳定性。

24、本发明根据资源摆动指数动态压缩轻量化程度的调节跨度，并按照推理策略失稳程度扩展推理策略切换边界，通过动态抑制区间限制推理资源占用的反向调节幅度，在资源变化斜率满足对应释放条件后逐级恢复轻量化程度的调节权限。该方式能够避免资源反馈发生短时反转后立即触发大幅度反向调整，同时保留资源压力增加时继续降低推理资源占用的调节能力，降低推理策略异常切换带来的计算资源波动，在适应移动端设备动态资源变化的同时增强轻量化神经网络推理状态的连续保持能力。