一种基于目标硬件延迟反馈的时间序列预测模型结构化压缩方法

摘要: 本发明涉及人工智能、时间序列数据处理和神经网络模型压缩,具体涉及一种基于目标硬件延迟反馈的时间序列预测模型结构化压缩方法。背景技术:1、时间序列预测是利用历史时...
一种基于目标硬件延迟反馈的时间序列预测模型结构化压缩方法

本发明涉及人工智能、时间序列数据处理和神经网络模型压缩,具体涉及一种基于目标硬件延迟反馈的时间序列预测模型结构化压缩方法。

背景技术:

1、时间序列预测是利用历史时刻采集的数据对未来一个或多个时刻的数据进行预测的技术,广泛应用于电力负荷预测、能源设备监测、工业过程控制、设备状态预警、环境监测和交通流量预测等场景。对于包含多个相关变量的多变量时间序列,预测模型需要同时学习数据的趋势变化、周期变化、变量间关联关系以及局部峰值、谷值和短时突变等时序特征。

2、随着深度学习技术的发展,循环神经网络、时序卷积网络、注意力网络以及基于transformer的网络模型被广泛用于时间序列预测任务。通过增加网络层数、隐藏特征维度或计算分支,可以提高模型对复杂时序关系的表示能力,但也会增加模型的参数量、存储占用和计算开销。

3、在云端服务器或高性能计算设备上,较大规模的时间序列预测模型通常可以借助图形处理器或其他加速设备完成推理。然而,在边缘网关、工业控制器、嵌入式设备、现场采集终端以及仅配置中央处理器的设备上,计算资源、存储空间和能耗通常受到限制。对于具有固定采样周期、控制周期或响应时间要求的应用,预测模型的实际推理时间还需要满足相应的时延约束。因此,时间序列预测模型在实际部署时,需要同时兼顾预测精度和目标硬件上的实际推理效率。

4、现有技术通常采用轻量化网络设计、知识蒸馏和网络剪枝等方式压缩时间序列预测模型。其中,轻量化网络设计通过减少网络层数、隐藏维度或计算分支降低模型规模;知识蒸馏通过使参数规模较小的学生模型学习教师模型的预测输出或中间特征,以保持教师模型的预测能力;网络剪枝则通过删除部分权重、神经元、通道、注意力头、网络层或计算分支减少模型的计算量和存储需求。

5、但是,现有技术在时间序列预测模型的实际部署压缩过程中,仍存在以下主要问题。

6、首先,现有剪枝方法通常依据权重大小、参数量、浮点运算次数、乘加运算量或预设稀疏率确定剪枝对象和剪枝比例。上述指标主要反映模型的理论规模或理论计算复杂度,难以充分反映模型在具体目标硬件上的实际推理延迟。相同的网络结构在不同处理器、运行时框架、线程配置、数据类型及输入形状下,可能具有不同的执行效率;算子并行、内存访问和线程调度等因素也可能造成理论计算量与实际推理时间之间的差异。因此,按照理论计算量或预设延迟进行模型压缩,可能出现模型规模下降但目标硬件上的实际推理延迟下降有限,或者压缩后的模型仍无法满足应用时延要求的情况。

7、其次,现有知识蒸馏方法通常主要约束教师模型与学生模型的最终预测输出。对于时间序列预测任务,最终预测结果还受到局部峰值、谷值、周期波动和短时突变等局部时序特征的影响。当学生模型的网络容量小于教师模型时,仅对最终预测输出进行蒸馏,难以充分迁移教师模型在局部时间范围内形成的中间时序表示,可能导致学生模型对局部波动和突变变化的拟合能力下降。

8、再次,现有模型压缩流程中的剪枝比例通常预先设定,或者在剪枝后仅通过一次微调获得压缩模型,缺少根据目标硬件实际推理延迟持续调整剪枝比例的机制。若剪枝后不重新测量目标硬件上的实际推理延迟,则难以判断压缩模型是否真正满足部署时延要求,也难以稳定获得兼顾预测能力和实际推理效率的结构化压缩模型。

9、因此,有必要提供一种基于目标硬件延迟反馈的时间序列预测模型结构化压缩方法,将目标硬件上的实际推理延迟用于学生模型训练,并结合教师模型输出知识和局部时序特征知识进行蒸馏;在此基础上,根据目标硬件上的延迟复测结果逐步提高剪枝比例,迭代执行结构化剪枝和短周期微调,获得与目标硬件实际运行性能相匹配且具有较好预测能力的压缩时间序列预测模型。

技术实现思路

1、(一)要解决的技术问题

2、本发明旨在解决现有时间序列预测模型压缩方法中,主要依据理论计算量、参数量或预设压缩比例进行模型压缩,难以使压缩结果与目标硬件上的实际推理延迟相匹配;仅对教师模型和学生模型的最终预测输出进行蒸馏,难以保持时间序列局部变化特征;以及剪枝过程缺少剪枝后微调、实际延迟复测和结构回退机制,难以同时满足预测精度和目标硬件推理延迟要求的问题。

3、为此,本发明提供一种基于目标硬件延迟反馈的时间序列预测模型结构化压缩方法,通过将目标硬件上的实际推理延迟纳入学生模型训练,结合教师模型输出知识和局部时序特征知识进行蒸馏,并根据延迟复测结果逐步提高剪枝比例、实施迭代式物理结构化剪枝,从而获得与目标硬件实际运行性能相匹配的压缩时间序列预测模型。

4、(二)技术方案

5、为解决上述技术问题,本发明采用如下技术方案:

6、一种基于目标硬件延迟反馈的时间序列预测模型结构化压缩方法,包括如下步骤:

7、步骤1:构造时间序列样本并建立教师模型和学生模型

8、获取待压缩的时间序列预测模型所对应的时间序列数据,对所述时间序列数据进行预处理,并按照预设历史输入长度和预测长度构造时间序列预测样本。

9、所述时间序列数据为单变量时间序列或多变量时间序列。所述预处理包括缺失值处理、异常值处理和标准化处理中的一种或多种。根据时间先后顺序,将所述时间序列预测样本划分为训练样本、验证样本和测试样本。

10、利用所述训练样本训练教师预测模型,获得用于提供预测知识和时序特征知识的教师模型;构建参数规模小于所述教师模型的学生预测模型,所述学生预测模型包括一个或多个能够整体删除或缩减的结构单元。

11、所述可压缩结构单元包括隐藏单元组、神经元组、卷积输出通道、注意力头、时序处理模块、网络层、计算分支或残差分支中的一种或多种。

12、步骤2:获取教师模型知识并执行局部时序特征蒸馏

13、将相同的时间序列预测样本分别输入所述教师模型和所述学生模型,获得教师预测结果、学生预测结果、教师中间时序特征以及学生中间时序特征。

14、对所述教师中间时序特征和学生中间时序特征进行时间位置对应和特征维度统一,并确定一个或多个局部时间片段。所述局部时间片段用于表征时间序列中的局部峰值、局部谷值、周期波动、短时突变或其他局部时序变化。

15、根据所述教师预测结果与学生预测结果之间的差异,对学生模型执行输出知识蒸馏;根据所述教师中间时序特征与学生中间时序特征在对应局部时间片段上的差异,对学生模型执行局部时序特征蒸馏,使学生模型同时学习教师模型的整体预测信息和局部时序表示信息。

16、步骤3:基于目标硬件实测延迟反馈训练学生模型结构

17、确定所述学生模型的目标硬件平台、目标推理延迟及延迟测量配置,并在所述目标硬件平台上测量教师模型的实际推理延迟,或者根据时间序列预测任务的采样周期、控制周期或应用响应要求确定目标推理延迟。

18、按照预设测量周期,在所述目标硬件平台上测量当前学生模型的实际推理延迟,并根据所述实际推理延迟与目标推理延迟的关系构建延迟约束损失。

19、在学生模型训练过程中,将所述延迟约束损失与知识蒸馏损失和局部时序特征对齐损失共同用于更新学生模型参数。

20、根据当前训练阶段分段调整延迟约束权重,使训练前期侧重知识迁移,训练中后期逐步增强并保持目标硬件延迟约束。

21、当学生模型的实际推理延迟不高于目标推理延迟的容忍上限时,延迟约束损失取零;当其超过所述容忍上限时,根据实际推理延迟与目标推理延迟之差施加延迟惩罚。

22、步骤4:根据目标硬件实测延迟实施迭代式结构化剪枝

23、完成学生模型训练后,在目标硬件平台上重新测量学生模型的实际推理延迟。

24、当学生模型的实际推理延迟高于目标推理延迟时,提高当前剪枝比例并对学生模型执行结构化剪枝,得到下一轮候选模型。

25、所述结构化剪枝的对象可以为隐藏单元组、神经元组、卷积输出通道、注意力头、时序处理模块、网络层、计算分支或残差分支,并按照预设剪枝准则选择待删除结构单元。

26、对选定的结构单元进行物理删除或结构缩减,同步调整相邻网络层的输入维度和输出维度,并生成连续、规则和致密的物理计算拓扑。

27、步骤5:执行剪枝后微调、延迟复测和结构回退

28、对所述候选压缩模型进行短周期微调,所述微调至少使用真实标签预测约束和教师模型知识蒸馏约束,并根据需要使用局部时序特征对齐约束。

29、微调完成后,在与前述延迟测量相同的目标硬件配置下,重新测量候选压缩模型的实际推理延迟,并检测候选压缩模型在验证样本上的预测误差。

30、根据候选压缩模型的实际推理延迟和预测误差确定本轮剪枝操作的处理结果:

31、①当候选压缩模型满足目标推理延迟和预测误差要求时,保存所述候选压缩模型,并根据预设停止条件确定是否继续剪枝;

32、②当候选压缩模型尚未达到目标推理延迟,但预测误差增量未超过允许范围时,接受本轮剪枝结果并继续进行下一轮剪枝;

33、③当候选压缩模型的预测误差增量超过允许范围时,恢复剪枝前的模型结构和模型参数,并降低后续剪枝比例、调整剪枝对象或终止剪枝;

34、④当继续剪枝所产生的实际延迟收益低于预设收益阈值,或者达到预设最大剪枝比例、最小剪枝步长时,终止剪枝。

35、将满足停止条件的学生模型参数、物理网络拓扑、时间序列数据预处理参数、输入输出时间长度、变量排列方式以及目标硬件运行配置进行保存,生成结构化压缩模型。

36、所述结构化压缩模型加载至目标硬件后,对待预测时间序列数据执行与训练阶段一致的预处理,将预处理后的历史时间窗口输入所述结构化压缩模型,并对模型输出进行必要的反标准化处理,以获得时间序列预测结果。

37、(三)有益效果

38、与现有技术相比,本发明具有以下有益效果:

39、(1)本发明将目标硬件上的实际推理延迟直接纳入学生模型训练和结构化剪枝过程,使模型压缩过程适应具体目标硬件、运行环境和推理配置,降低理论计算量与实际推理延迟之间的偏差。

40、(2)本发明不仅对教师模型和学生模型的预测输出进行蒸馏,还对对应局部时间片段的中间时序特征进行对齐,使学生模型能够学习教师模型中的局部峰值、谷值、周期波动和短时突变等信息,降低模型结构压缩对局部预测能力造成的不利影响,提高压缩模型对局部时序变化的保持能力。

41、(3)本发明在每轮结构化剪枝后执行短周期微调和目标硬件延迟复测;当模型尚未达到目标推理延迟时逐步提高剪枝比例并继续迭代,使剪枝过程能够以目标硬件上的实际运行结果作为停止依据。

42、本发明通过物理删除结构单元并同步调整相邻网络层的连接维度,生成连续、规则和致密的物理计算拓扑,有利于利用通用推理框架在目标硬件上获得实际的计算效率提升,形成适于实际部署的连续致密计算结构。