基于多核自适应特征与残差连接的双端时间序列预测方法

本发明属于多元时间序列预测，具体涉及一种基于多核自适应特征与残差连接的双端时间序列预测方法。

背景技术：

1、多元时间序列预测是时序数据分析中的一项核心任务，广泛应用于天气预报、智能交通、股价预估及工业控制等场景。该任务通过分析历史数据中多个变量间的演化规律，来推断其未来取值，为科学决策与资源调度提供数据基础。这些预测结果为决策制定者和规划者提供宝贵信息，帮助他们做出准确预测和决策，从而提高生产效率、优化资源分配、降低风险等。在现有深度模型中，循环神经网络（rnn）、时序卷积网络（tcn）与变换器网络（transformer）被最为普遍采用。其中，rnn在处理长期依赖关系时，存在梯度消失和梯度爆炸的问题，它擅长捕捉临近时刻之间的动态变化，长期依赖关系建模能力相对较差。tcn具有并行计算的能力且能很好地处理长期依赖，但tcn依赖固定长度窗口的局部建模，主要强调局部周期结构，导致忽略关键的全局周期模式。transformer虽在捕捉长距离依赖方面具有结构优势，但由于实际时序信号常伴随噪声、突变和复杂周期叠加，仅靠点对点的注意力计算，难以稳定有效地提取具有泛化性的时序依赖关系。

技术实现思路

1、本发明的目的在于，提出一种基于多核自适应特征与残差连接的双端时间序列预测方法，以解决现有技术存在的外生变量时序演化信息丢失、线性预测头难以拟合复杂非线性物理过程，以及直接引入非线性网络易引发过拟合及训练不稳定的问题。

2、本发明的方法首先将原始时间序列解耦为内生变量端与外生变量端，对内生变量采用分块嵌入策略以保留局部时序细节，对外生变量采用反转嵌入策略以捕获整体动态趋势作为条件信息；同时，设计多核并行特征提取机制，利用切比雪夫kan核沿变量维度展开多阶多项式映射以挖掘变量间的高阶非线性耦合关系，利用一维卷积核沿时间维度以滑动窗口捕获局部时序模式，并通过可学习缩放因子对双分支输出进行自适应加权融合。之后将多核融合后的特征作为增量修正项，与进入网络前的原始内生变量序列执行残差叠加，且所述可学习缩放因子在训练初始阶段取值为零，确保训练起点与未增强基线完全对齐，随训练推进逐步释放非线性增强增益，从根本上消除深层变换带来的训练不稳定风险；在此基础之上，将增强后的内生块级表征与外生变量映射表征拼接输入堆叠的transformer编码器，利用多头自注意力机制联合捕获序列内部的长程时间依赖与内外部变量间的跨变量因果关联。在结果解码阶段，将编码后的内生变量特征同时送入线性主路径和非线性辅助路径，分别生成初步预测值与增量修正项，两者通过初始化为零的缩放因子执行残差融合，最后利用预处理阶段保存的均值和标准差参数对融合预测结果执行反归一化，输出最终预测值。

3、与现有技术相比，本发明通过“双端分离-多核增强-安全残差-联合建模-双路解码”的完整技术链路，在充分挖掘时序数据复杂耦合关系的同时，兼顾了深层模型的收敛安全性与预测精度。

4、为了实现上述目的，本发明给出如下技术方案予以解决：

5、一种基于多核自适应特征增强与残差连接的双端时间序列预测方法，包括以下步骤：

6、步骤1，数据预处理与双端分离：将原始时间序列数据输入模型后，首先计算其序列维度的均值和标准差，并对原始时间序列数据进行归一化处理，并将归一化后的数据分为内生变量序列和外生变量序列。

7、步骤2，多核自适应特征增强与残差连接：对步骤1得到的内生变量序列进行两分支特征提取后融合，经残差连接得到增强后的内生变量特征表示。包括如下子步骤：

8、步骤2.1，多核并行表征：将步骤1得到的内生变量序列同时输入第一特征提取分支和第二特征提取分支；

9、步骤2.2，将第一特征分支的输出与第二特征分支的输出通过初始化为零的可学习缩放因子执行加权融合；

10、步骤2.3，将加权融合后的特征经随机失活处理，与步骤1得到的内生变量序列通过identity映射路径直接传递至残差叠加层，生成增强后的内生变量特征表示；

11、步骤3，内生变量分块与外生变量反转嵌入：

12、将步骤2得到的增强后的变量特征表示沿时间维度切分为多个局部块，经线性映射转换为块级时序表征，并叠加位置编码以保留时序顺序，同时初始化可学习的全局表征向量作为跨变量交互中枢。步骤1得到的外生变量序列采用反转嵌入（invertedembedding）策略，即不进行分块处理，而是将步骤1得到的每个外生变量的完整时间序列整体映射为一个变量级表征向量，以保留外部协变量在时间维度上的全局动态信息。

13、步骤4，基于transformer编码器的依赖关系建模：将步骤3得到的块级时序表征、全局表征向量与变量级整体表征向量沿序列维度进行拼接，共同输入堆叠的transformer编码器，得到编码后的内生变量特征表示。

14、本步骤通过堆叠的transformer编码器的多头自注意力机制，能够同时捕获序列内部的长程时间依赖关系以及内生变量与外生变量之间的跨变量因果关联，实现时间维度与变量维度的联合表征学习。

15、步骤5，基于残差式双路解码的线性映射与结果还原，包括如下子步骤：

16、步骤5.1，将步骤4得到的编码后的内生变量特征表示同时输入第一解码分支和第二解码分支；将第一解码分支的输出与第二解码分支的输出通过初始化为零的可学习缩放因子执行残差叠加，得到双路融合预测结果；

17、步骤5.2，根据步骤1得到的均值和标准差参数，对步骤5.1得到的双路融合预测结果执行反归一化操作，得到预测结果。

18、进一步的，步骤1中，设输入的原始时间序列为，输入数据归一化处理为：

19、

20、其中，μ、σ分别为序列维度的均值和标准差。

21、进一步的，步骤2.1中，所述第一特征提取分支采用切比雪夫kan核，沿变量维度对步骤1得到的内生变量序列执行多阶多项式展开映射，利用不同阶数的切比雪夫基函数逼近变量间的高阶非线性耦合关系，生成跨变量全局特征；所述第一特征提取分支的全局输出特征gc表示为：

22、

23、

24、其中，是第阶切比雪夫基函数，作用于输入变量；是设定的最大阶数，本研究设置，这个取值平衡了非线性表达能力和计算复杂度，是可学习的加权系数，其取值由网络在训练过程中通过梯度下降优化得到，用于组合不同变量和不同阶数的基函数；表示将第个输入变量的值代入第阶切比雪夫基函数后得到的基函数值。

25、所述第二特征提取分支采用一维卷积核，沿时间维度以预设窗口大小执行滑动卷积操作，提取序列中的局部时序模式，卷积方式如下：

26、

27、其中，为输入的归一化内生变量序列，为可学习卷积核参数，为预设窗口大小。

28、两分支并行执行互不干扰，分别捕获数据在变量维与时间维上的互补信息。

29、步骤2.2中，所述可学习缩放因子作为可训练参数，其梯度根据损失函数计算，并通过优化器（如 adam 或 sgd）进行更新；在模型优化过程中自适应地调整双分支特征的贡献比例，以数据驱动的方式确定最优融合权重。

30、步骤2.3中，保留步骤1得到的内生变量序列的物理分布作为主信号，将步骤2.2中得到的加权融合后的特征作为增量修正项叠加于主信号之上。

31、进一步的，步骤2.2和步骤2.3的综合表达式为：

32、

33、其中，为增强后的内生变量特征表示，为内生变量序列，为初始化为零的可学习缩放因子，为随机失活处理，、分别是第一特征分支的输出和第二特征分支的输出。

34、进一步的，步骤5.1中，所述第一解码分支为线性主路径，通过全连接层将编码后的内生变量特征表示直接映射为预设预测长度的初步预测值，作为解码主信号；

35、所述第二解码分支为非线性辅助路径，通过包含激活函数的全连接层对编码后的内生变量特征表示执行非线性变换，生成增量修正项；再将所述增量修正项乘以初始化为零的可学习缩放系数后，与所述初步预测值执行残差叠加，生成双路融合预测结果；

36、进一步的，步骤5.2中，将步骤5.1得到的双路融合预测结果乘以标准差并加上均值，还原至原始数据量纲，输出最终预测值。

37、具体的，计算公式为：

38、

39、其中，为模型输出的归一化预测值，和分别为步骤1中记录的原始序列标准差和均值，表示逐元素相乘。

40、相较于现有技术，本发明具有如下有益效果：

41、1、本发明通过在多核自适应特征增强中引入切比雪夫kan核与一维卷积核构成的双分支并行结构，沿变量维度与时间维度分别捕获跨变量高阶非线性耦合特征和局部时序模式，实现数据内在物理结构的双维解耦与精细化重建；同时，采用初始化为零的可学习缩放因子对双分支输出进行自适应加权融合，并配合残差连接与随机失活机制，使增强分支以安全增量方式叠加于原始分布之上，退可保持基线性能、进可获得精度增益，有效解决了深层非线性变换引入的训练不稳定与过拟合问题。

42、2、本发明通过在内生变量端采用分块嵌入策略，将增强后的内生序列沿时间维度切分为多个局部块并叠加位置编码，同时初始化可学习的全局表征向量作为跨变量信息交互中枢，实现局部时序细节与全局语义的协同表征；外生变量端则采用反转嵌入策略保留完整时间序列，以变量级整体表征参与交叉注意力，在完整保留外部协变量时序动态信息的同时，避免了细粒度分块引入的冗余噪声与计算开销，有效解决了传统方法中内生变量与外生变量信息粒度不匹配导致的表征错位问题。

43、3、本发明通过编码器前端的多核自适应增强与后端的残差式线性解码构成增强-映射的解耦架构，前端专注提升内生变量特征的表征质量，后端通过扁平化全连接层实现高效线性解码，配合反归一化操作还原至真实物理量纲，形成端到端的协同优化链路；结合可学习缩放因子的零初始化策略，确保模型训练起点等价于原始基线，消除了深层变换带来的随机波动风险，实现了在公开数据基准上均方误差与平均绝对误差的显著降低。