时间序列预测模型的训练方法、预测方法、系统及设备

摘要: 本发明涉及人工智能与信号处理,具体涉及一种时间序列预测模型的训练方法、预测方法、系统及设备。背景技术:1、现有技术中,多元时间序列预测通常由深度学习模型完成,模...
时间序列预测模型的训练方法、预测方法、系统及设备

本发明涉及人工智能与信号处理,具体涉及一种时间序列预测模型的训练方法、预测方法、系统及设备。

背景技术:

1、现有技术中,多元时间序列预测通常由深度学习模型完成,模型以最近个时间步、个通道的历史观察序列为输入,输出未来个时间步的预测序列。主流方法可分为三类:

2、(1)时域深度预测模型:包括循环神经网络/长短期记忆网络(rnn/lstm)、卷积/时序卷积网络(cnn/tcn),transformer类模型(如informer、autoformer、fedformer、itransformer、patchtst、fredformer等),以及轻量mlp类模型(如dlinear、patchmlp、timemixer、filternet、amplifier等)。这些模型大多直接以时域均方误差(mse)作为训练目标,仅通过时域残差隐式监督各个频率分量。

3、(2)频率感知模型:如fedformer在压缩频谱上施加频带注意力、fits采用复值线性层并配合低通滤波、wavelet transformer集成modwt小波分解、filternet学习频谱滤波器。这类方法从模型侧改变不同频率分量的可表示性,但通常仍使用时域mse训练,或通过截断、低通滤波、稀疏采样等方式丢弃高频信息,且难以与标准时域训练流程简单集成;固定滤波器组方案需要人工设定频带,存在频谱泄漏和相位失真问题。

4、(3)频域目标函数方法:如fredf直接监督多步标签的dft频谱,frele自适应地重新缩放显著频谱分量,amplifier放大网络内部被忽略的低能量分量。这类方法属于损失侧的频率感知加权,但多依赖经验设计,未显式量化梯度在各频率上的重新分配方式,也未给出频域监督与时域误差之间的定量关系。

5、现有技术存在的主要技术缺点:

6、1.双重谱衰减导致高频监督不足。真实世界时间序列的频谱能量集中于低频分量(数据侧低频主导,频谱近似幂律衰减,);同时神经网络存在模型侧谱偏差,训练初期对高频分量的输出灵敏度按()衰减。在仅使用时域mse训练时,每个频率上的梯度同时被目标频谱能量和模型灵敏度衰减抑制,高频梯度的贡献近似按快速衰减,导致峰值时刻、爬坡事件、突变转折等高频细节被系统性欠优化,预测误差集中在短时决策最敏感的时刻。

7、2.现有频域损失未校正模型侧谱偏差。纯频域l1损失虽能去除数据侧衰减,但仍对各频率施加相同权重,无法补偿模型侧灵敏度衰减;而多项式等启发式权重需要匹配未知且依赖结构的衰减指数,鲁棒性差,容易过度放大噪声或破坏时域重构稳定性。

8、3.现有频域模型结构复杂、易损失高频信息。频带注意力、低通滤波、小波分解、频谱滤波等模块常依赖截断、滤波、稀疏采样,可能丢弃有用的高频内容;固定滤波器组需要人工设定频带,存在频谱泄漏与相位失真,且与标准时域训练流程的集成复杂。

9、4.现有损失侧方法的解释性与可迁移性不足。fredf、frele等多为经验设计,未显式说明梯度如何在频率间重新分配、频域监督如何约束时域误差;将其迁移到mlp等不同骨干网络时效果不稳定。

技术实现思路

1、针对现有技术存在的双重谱衰减导致高频分量监督不足、预测精度受限的问题,本技术通过一种时间序列预测模型的训练方法、时间序列预测方法、系统及设备,实现了对高频分量的有效增强与精准预测。

2、为实现上述目的,本技术采用如下技术方案:

3、一种时间序列预测模型的训练方法,包括:获取历史时间序列以及对应的真实未来时间序列;将历史时间序列输入时间序列预测模型,得到预测时间序列;时间序列预测模型包含多个级联的特征提取阶段,每个特征提取阶段基于对应的输入残差进行特征提取,并将提取的特征从输入残差中减除,得到当前阶段的输出残差,以作为下一阶段的输入残差;基于预测时间序列和真实未来时间序列,计算时频融合损失;时频融合损失包括频域损失,频域损失中各频率分量的权重随频率递增;基于时频融合损失更新时间序列预测模型的参数。

4、上述方案通过多级残差减除级联结构与时频融合损失的协同作用,从模型结构和优化目标两个维度缓解双重谱衰减。在结构侧,残差减除机制迫使后续阶段专注于前序阶段未提取的成分,随着级联深度增加,残差中保留的高频成分占比逐渐提升,使深层网络自然聚焦于高频细节的学习;在优化侧,随频率递增的权重补偿了模型对高频分量的灵敏度衰减,增强了高频梯度的监督强度,从而提升了模型对快速动态变化的捕捉能力。

5、作为一种实施方式,时间序列预测模型包含多个级联的特征提取阶段,每个特征提取阶段基于对应的输入残差进行特征提取,并将提取的特征从输入残差中减除,得到当前阶段的输出残差,包括:对于第一个特征提取阶段,接收初始残差作为输入残差,进行特征提取并将提取的特征从初始残差中减除,得到第一个特征提取阶段的输出残差;对于第个特征提取阶段,接收第 个特征提取阶段的输出残差作为第个特征提取阶段的输入残差,进行特征提取并将提取的特征从第个特征提取阶段的输入残差中减除,得到第个特征提取阶段的输出残差,其中为大于1的整数。

6、此实施方式明确了级联结构中数据流的传递逻辑,通过逐级减除已提取特征,实现了由粗到细的分层频率细化,保证了不同深度的网络层能够自适应地对应不同频段的信息处理。

7、作为一种实施方式,第个特征提取阶段进行特征提取并将提取的特征从第个特征提取阶段的输入残差中减除,得到第个特征提取阶段的输出残差,满足以下公式:

8、;

9、;

10、其中,表示第 个特征提取阶段的输入残差,表示第个特征提取阶段提取的特征,表示第个特征提取阶段的输出残差,表示第个特征提取阶段对应的多层感知机单元,多层感知机单元包含通道内处理层与通道间处理层。

11、此实施方式给出了残差更新的具体数学表达,结合通道内与通道间处理层,能够在提取时序特征的同时捕获变量间的依赖关系,并通过显式的减法操作确保高频残差在深层网络中的有效传递。

12、作为一种实施方式,基于预测时间序列和真实未来时间序列,计算时频融合损失,包括:对预测时间序列和真实未来时间序列分别进行频域变换,得到预测频谱数据和真实频谱数据;基于预测频谱数据和真实频谱数据,计算各频点的频谱残差幅度;将各频点的频谱残差幅度乘以对应的权重后求和,得到频域损失。

13、此实施方式构建了频域监督的计算框架,利用频谱残差幅度而非平方差作为损失基础,配合加权求和,能够更直接地约束各频率分量的重构误差,为高频增强提供定量的优化信号。

14、作为一种实施方式,对预测时间序列和真实未来时间序列分别进行频域变换,包括:对预测时间序列和真实未来时间序列分别进行离散傅里叶变换,并选取单边非直流频点;权重随频率递增,满足以下公式:

15、;

16、其中,表示第个频点的权重,表示频点索引,表示选取的单边非直流频点的总数。

17、此实施方式采用对数递增权重,相较于多项式权重,对数函数随频率增长更为平缓,能够在补偿模型侧高频灵敏度衰减的同时,避免过度放大高频噪声,无需估计未知的谱衰减指数即可保持训练的稳健性。

18、作为一种实施方式,时频融合损失满足以下公式:

19、;

20、其中,表示时频融合损失,表示时域重构损失,表示频域损失,表示时频权衡系数,且的取值范围为 。

21、此实施方式通过均衡时频目标将频域监督与时域重构相结合,利用频域l1损失作为时域误差上界的特性,在增强高频监督的同时保留了显式的时域约束,兼顾了长期趋势的准确性与高频细节的敏锐度。

22、此外,本技术还提供了一种时间序列预测方法,包括:获取历史时间序列;将历史时间序列输入训练好的时间序列预测模型,得到目标预测序列;其中,训练好的时间序列预测模型包含多个级联的特征提取阶段,每个特征提取阶段基于对应的输入残差进行特征提取,并将提取的特征从输入残差中减除,得到当前阶段的输出残差,以作为下一阶段的输入残差。

23、上述方案利用经高频增强训练后的模型进行推理,能够在实际应用中准确还原时间序列中的快速动态变化,适用于电力负荷突变、交通流波动等对高频信息敏感的场景。

24、作为一种实施方式,将历史时间序列输入训练好的时间序列预测模型,得到目标预测序列,包括:计算历史时间序列在回看窗口内的时序均值,并将时序均值作为均值预测项;将历史时间序列减去时序均值,得到残差序列;将残差序列输入训练好的时间序列预测模型,得到残差预测项;将残差预测项与均值预测项相加,得到目标预测序列。

25、此实施方式通过均值分离策略,将直流分量与波动分量解耦处理,使模型专注于残差序列中的非零频成分预测,最后通过加法重构完整信号,进一步提升了预测结果的稳定性与物理可解释性。

26、此外,本技术还提供了一种时间序列预测系统,包括:获取模块,用于获取历史时间序列;预测模块,用于将历史时间序列输入训练好的时间序列预测模型,得到目标预测序列;其中,训练好的时间序列预测模型包含多个级联的特征提取阶段,每个特征提取阶段基于对应的输入残差进行特征提取,并将提取的特征从输入残差中减除,得到当前阶段的输出残差,以作为下一阶段的输入残差。

27、此外,本技术还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述任一项所述的时间序列预测模型的训练方法,或实现上述的时间序列预测方法。

28、本技术提供的技术方案,通过多级残差减除级联结构与随频率递增权重的时频融合损失协同工作,有效缓解了时间序列预测中的双重谱衰减问题。在模型结构层面,残差减除机制使得网络不同深度自然对应不同频率成分,浅层拟合低频趋势,深层聚焦高频细节,从结构上保证了高频内容的可学习性;在优化目标层面,对数递增权重定量补偿了神经网络固有的高频灵敏度衰减,增强了高频分量的梯度监督强度,同时避免了噪声过拟合。二者结合显著提升了模型对峰值、爬坡及突变等快速动态变化的预测精度,且训练过程稳定、易于集成,在多种基准数据集上均取得了优异的预测性能。有益效果具体为:

29、1.缓解双重谱衰减、增强高频监督。频域l1损失去除了数据侧频谱衰减因子,对数递增权重进一步补偿模型侧灵敏度衰减,使高频分量获得更强的梯度监督;hfa通过逐阶段残差细化使后续阶段专门学习残差中保留的高频成分,从结构上保证高频内容可学习。二者结合可提升峰值时刻、爬坡/突变等快速动态变化的预测精度。

30、2.对数权重稳健、不过度放大噪声。随频率缓慢增长(对所有),在增强高频梯度的同时避免像多项式权重那样因匹配未知衰减指数而失稳、避免过度放大高频噪声,且无需估计数据或模型的谱衰减指数。

31、3.频域监督有时域误差保障、训练稳定。频域l1损失是时域rmse的上界(parseval+-不等式),均衡目标同时保留显式时域重构项,兼顾长期趋势与高频细节;消融显示纯频域()或纯时域()监督均不如中间权衡系数稳定,默认在多个数据集上接近最优且稳健。

32、4.结构简单、对深度稳健、易集成。hfa仅由共享隐藏层、layernorm与残差捷径的mlp块构成,融合层与输出层为线性层,结构轻量;实验表明hfa在加深时误差基本稳定,而等深度堆叠基线在部分数据集(如solar)误差随深度显著上升(到接近翻倍)。频域损失可替换任意时域mse目标,与mlp类骨干(freqmlp、patchmlp)兼容良好。

33、5.预测精度显著提升。在etth1、etth2、ettm1、ettm2、ecl、solar、weather七个公开数据集、九种强基线(itransformer、patchtst、fredformer、timesnet、timemixer、dlinear、patchmlp、filternet、amplifier)上,本方法在mse与mae上均取得最佳平均排名(mse平均排名1.714,mae平均排名1.286),在七个数据集中的五个取得最低数据集平均误差,平均相对mse较第二名fredformer降低约3.1%;增益在高频丰富的数据集(solar、etth1)上最大。消融表明对数权重在各数据集上保持最好或接近最好的精度(优于等权/fredf、frele、线性、高斯、非直流等替换方案),且对与均较稳健。