一种基于蒸馏加速的扩散模型时间序列预测方法

本发明属于时间序列数据预测，具体涉及一种基于蒸馏加速的扩散模型时间序列预测方法。

背景技术：

1、时间序列预测是工业过程控制、能源调度管理、资源优化配置以及灾害预警等众多领域中的核心技术环节。随着现代工业系统复杂度的提升和传感器数据采集能力的增强，如何从高维、动态、非线性的多元历史数据中精准预测未来趋势，已成为学术界和工业界共同关注的热点问题。近年来，随着深度学习技术的快速发展，基于生成式模型，特别是去噪扩散概率模型（denoising diffusion probabilistic models，ddpm）的预测方法，凭借其强大的分布拟合能力和生成多样性，在时间序列建模领域展现出广阔的应用前景。

2、在现有技术中，已有多种基于扩散模型的时间序列预测方案被提出。例如，北京科技大学公开的中国专利文献一种基于条件扩散模型的时间序列数据预测方法和系统(公开号：cn117076931a)提出了一种面向时间序列数据预测的条件扩散模型。该方案通过特征编码器将动态时序数据映射为高维特征，并搭建以条件输入transformer为主干的条件扩散模型，将历史高维动态时序数据与静态数据融合后的条件特征输入扩散模型进行训练。然而，该方案的设计高度依赖于静态数据的输入，其条件特征融合机制更适用于含有静态属性的产量预测场景；对于仅以历史多元时间序列作为输入、不包含静态特征的任务而言，该方案缺乏针对性的非零均值条件扩散实现机制。此外，其推理阶段仍采用常规扩散迭代去噪流程，未针对采样过程进行轻量化或蒸馏压缩设计，导致在多步预测推理中存在明显的计算开销和时延问题，难以满足实时预测场景的要求。

3、哈尔滨工程大学公开的中国专利文献一种基于去噪扩散模型的多元时间序列预测缺失变量方法、程序、系统及存储介质(公开号：cn120688557a)提出了一种名为diffmissing的模型。该方案侧重于从变量间关系和时间关系两个角度融合信息，用于提升多元时间序列中缺失变量的重构和预测能力。虽然该方案有效地利用了扩散模型的生成特性，但其核心应用场景局限于缺失数据的恢复，并未针对面向完整未来窗口的多变量多步预测进行专门的网络结构和时域建模设计，尤其在长预测时域下的误差累积抑制和少步采样效率优化方面存在明显缺失。

4、浙江大学公开的中国专利文献一种基于条件引导扩散过程的电力系统负荷预测方法(公开号：cn119338283a)提出了一种电力系统负荷预测方案。该方案设计了多阶段渐进引导的去噪流程，通过相似时段负荷曲线发掘算法、多分辨率趋势特征和混合特征条件生成网络引导去噪过程，以提升负荷曲线生成的精度和可控性。然而，该方案依赖于电力负荷场景中丰富的先验知识和特征构造，具有明显的场景专属性和业务依赖性，通用性较差。同时，该方案同样未针对扩散模型采样步数多、在线推理耗时高的问题提出有效的蒸馏或少步采样加速方案。

5、合肥工业大学公开的中国专利文献多维时序数据的短期趋势预测方法和系统(公开号：cn116258262a)提出了一种基于趋势与季节特征分解的预测方案，采用可解释的时序特征编码器进行分解，并结合多头自注意力机制和特征融合模块进行预测。然而，该方案本质上属于确定性或判别式预测框架，并非基于扩散过程建模未来序列的分布，因此难以输出具备多样化特征的未来轨迹，也无法给出有效的预测不确定性区间。同时，该方案依赖辅助信息编码器融合特征因素，不符合仅基于历史多元时间序列输入的预测设定。

6、综上所述，现有技术中的时间序列预测方案普遍存在以下技术局限性：一、部分方案依赖静态数据或特定场景的先验特征，通用性受限；二、扩散类预测方法在推理阶段普遍面临迭代步数多、计算开销大、实时性差的问题，缺乏针对模型蒸馏或少步采样的效率优化手段；三、现有技术多集中于缺失值重构或特定领域负荷预测，缺乏面向通用多变量时间序列、兼顾预测精度与推理效率的长视距多步预测体系；四、确定性预测方案难以量化模型的不确定性，无法为工业安全监控提供可靠的风险区间评估。因此，亟需一种能够克服上述缺陷、具备高度通用性、低延迟推理能力和不确定性量化能力的多元时间序列预测方法。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于蒸馏加速的扩散模型时间序列预测方法。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供了一种基于蒸馏加速的扩散模型时间序列预测方法，包括：

3、获取目标对象在当前时刻之前的历史输入序列，以构建历史条件信息；

4、将历史条件信息输入预先训练的条件预测模型，得到未来时间序列的条件预测均值；

5、以条件预测均值为中心，加入随机扰动，得到多个不同的扰动输入；

6、将历史条件信息、条件预测均值和多个不同的扰动输入预先训练的单步学生生成器，通过网络前向计算得到对应的多个未来预测轨迹；

7、对多个未来预测轨迹进行统计处理，得到未来时间序列的点预测结果和预测区间；输出多个未来预测轨迹、未来时间序列的点预测结果和预测区间，以实现时间序列预测；

8、其中，通过预训练的教师扩散模型和辅助去噪网络构造单步学生生成器的总损失，以约束单步学生生成器的训练。

9、在本发明的一个实施例中，获取目标对象在当前时刻之前的历史输入序列，以构建历史条件信息，包括：

10、获取目标对象在当前时刻之前的历史多元时间序列，从中截取长度为

l的历史窗口，得到历史输入序列；

11、根据历史输入序列及其时间戳构建历史条件信息。

12、在本发明的一个实施例中，历史条件信息，包括：

13、历史输入序列、历史时间标记、未来时间标记以及解码端输入中的一种或多种。

14、在本发明的一个实施例中，条件预测模型的训练损失如下：

15、；

16、其中，为条件预测模型的损失函数，为数学期望算子，为范数的平方，为真实序列，为条件预测均值，为正则损失对应的权重系数，为条件预测模型中的正则损失。

17、在本发明的一个实施例中，第

r个未来预测轨迹的表达式如下：

18、；

19、其中，为第

r个未来预测轨迹，为残差跳跃系数，为第

r个扰动输入，为条件预测均值，为第

r个残差。

20、在本发明的一个实施例中，第

r个残差的表达式如下：

21、；

22、其中，为单步学生生成器的目标函数，为历史条件信息，为第

r个扰动输入，为学生生成器使用的扩散时间步。

23、在本发明的一个实施例中，单步学生生成器的总损失函数如下：

24、；

25、其中，为单步学生生成器的总损失函数，为非零均值sid生成器损失，为预测窗口均值损失权重，为预测窗口均值损失。

26、第二方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

27、所述存储器，用于存放计算机程序；

28、所述处理器，用于执行所述存储器上所存放的程序时，实现本发明第一方面所提供的基于蒸馏加速的扩散模型时间序列预测方法的步骤。

29、第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面所提供的基于蒸馏加速的扩散模型时间序列预测方法的步骤。

30、本发明的有益效果：

31、本发明所提供的方案中，能够生成多个未来预测轨迹，并基于历史输入序列输出预测区间和风险指标，具有更强的不确定性表达能力；相较于原始多步扩散时间序列预测方法，本发明通过非零均值sid蒸馏将多步教师采样压缩为单步学生生成，可显著降低推理时延和重复网络前向计算次数。本发明通过教师扩散模型、辅助去噪网络和非零均值sid目标训练单步学生生成器，使单步生成过程具有明确的教师分布约束。进一步地，相较于通用扩散蒸馏方法，本发明针对时间序列预测任务引入历史序列、时间标记、条件预测均值和预测窗口约束，可更好保持单步学生生成器对条件未来路径分布的建模能力。