一种基于双分支液态状态空间模型的多元时间序列预测方法
本发明属于人工智能深度学习与多元时间序列预测,具体涉及一种基于双分支液态状态空间模型的多元时间序列预测方法,通过宏观层面的双分支显式变量解耦设计和微观层面的二阶多项式液态渗透阀调节,能够广泛支持城市交通路网流量流速控制、气象动力学指标演化预测、流行病学传播趋势追踪以及现代通信骨干网络路由节点的拥堵动态流量预测等多元时序分析任务,并取得了显著超越现有先进基线模型的预测准确性与泛化鲁棒性。
背景技术:
1、在复杂的多维非线性动力系统中,多元时间序列预测(multivariate timeseries forecasting, mtsf)构成了关键决策和主动管理的基石。例如,在气象热力学分析中,准确的时序预测能够通过联合分析温度、湿度、气压等复杂关联指标,实现灾害性天气的早期监测与防御;在流行病学监控中,通过对门诊患者比例、流感样病例数等多维人口统计学指标的精准演化推演,能为突发病毒疫情期间医疗资源的动态调配提供前瞻性指引;在现代网络通信基础设施中,对骨干路由节点间高维源-宿(origin-destination, od)流量矩阵的在线短时预测,更是避免全网级严重拥堵、动态分配全局带宽的核心所在。随着各种高频传感器与泛在感知网络的蓬勃发展,工业界积累了海量的、带有复杂空间拓扑或物理耦合的非平稳时序数据,这为深度学习模型在预测领域的应用打下了良好基础。
2、目前,用于多元时间序列预测的深度学习架构主要以循环神经网络(rnn)、时间卷积网络(tcn)以及基于自注意力机制的transformer网络为主流。特别是transformer凭借其强大的全局依赖捕捉能力,在长期序列预测中建立起了主导地位。近年来,为了兼顾高频海量时序数据的长程记忆能力与计算效率,结构化状态空间模型(structured statespace models, ssm,如s4模型、mamba模型等)作为一种更高效的替代方案应运而生。ssm通过连续时间系统的精美离散化,利用频域快速傅里叶变换(fft)实现了时间复杂度为 o(llog l) 的高效卷积流,极大缓解了传统注意力机制随着回溯窗口长度呈平方级增长的计算瓶颈。
3、然而,尽管现有的transformer、mlp类或ssm类时序模型在传统的长期平稳时序预测任务中取得了长足进步,但是在实际部署于高混沌、高易变性且富含局部突变的短时预测环境时,这些模型共同暴露出两个致命的理论缺陷:第一,微观层面的表征刚性。无论是transformer的投影权重矩阵,还是标准ssm模型的核心算子,本质上都受到线性时不变(linear time-invariant, lti)性质的严格约束。其卷积核在空间维度或通道维度上的参数是全局静态、无法随时间变化的。在处理真实世界混沌系统中无处不在的瞬态强扰动、系统跃迁或偶发突变(如节假日突发拥堵、疫情突然暴发或网络流量高频剧烈脉冲)时,这些刚性滤波器往往会强行抹平、平滑掉这些短时的瞬态动力学特征,从而引发剧烈的瞬时预测误差。第二,宏观层面的变量依赖困境。现有的多元预测架构(如itransformer、channel-dependent类模型)通常倾向于将所有特征变量强制映射到同一个紧密纠缠的共享网络黑盒中。由于神经网络在优化过程中天然地倾向于拟合低方差、高自相关的平滑信号,这种全变量纠缠状态会使得模型过度依赖安全、保守的自回归历史数值,而将外部高频强扰动信号误判为无用噪声予以过滤。其在视觉和指标上的直接体现,就是引发了“滞后预测”现象,即模型输出的预测曲线仅仅是历史地面值的平移滞后,无法真正捕获未来时间内的突变趋势。
技术实现思路
1、为了解决上述现有深度学习时序预测模型微观上表征僵化、宏观上特征纠缠,进而导致短时突变捕捉无力与严重滞后预测的技术缺陷,本发明提出了一种基于双分支液态状态空间模型的多元时间序列预测方法及系统,从根本上打破了传统的线性时不变(lti)约束,实现了动态输入感知形变的微观算子与显式解耦的宏观分支,能够有效清除时序预测中的滞后效应。
2、本发明采用的技术方案如下:
3、一种基于双分支液态状态空间模型的多元时间序列预测方法,包括以下处理步骤:步骤一:获取多元时间序列历史观测数据批次 x ∈ rb×l×d,其中 b 为批次大小,l 为回溯窗口长度,d 为输入特征的特征维数;将多元时间序列预测任务定义为学习一个从所述历史观测数据批次 x 到未来 t 个时间步目标变量的直接映射函数 f,用以预测未来 t个时间步的目标变量预测值 ŷ ∈ rb×t×1;步骤二:采用显式变量解耦策略对输入的所述历史观测数据批次 x 进行宏观层面的双分支解耦处理,将其同步切分并输入到两个并行的自回归分支与多元残差分支中,从而将系统的整体动力学物理分离为纯历史演化趋势与外部特征的非线性扰动;步骤三:在所述自回归分支与所述多元残差分支内部,分别通过独立加权的液态核心模块提取动态时变特征,通过引入输入驱动的二阶多项式升级算子对局部的隐藏特征向量进行非线性对流项建模,生成随输入强度实时动态形变的poly-b液态渗透阀,并将所述poly-b液态渗透阀叠加于状态空间全局卷积的静态基准输出上,得到各分支对应的动态调制特征序列;步骤四:分别提取所述自回归分支与所述多元残差分支在最后一个时间步的终端隐藏状态,经线性投影层分别映射生成基准自回归预测值与外部强迫残差预测值,并基于输入窗口的最终时间步特征,通过末端状态自适应神经门控机制动态融合所述基准自回归预测值与所述外部强迫残差预测值,获得最终的目标变量预测值 ŷ;步骤五:在归一化潜在空间中构建包含主要训练目标与辅助监测指标的复合损失函数,通过梯度反向传播算法计算物理梯度的变化,以此同步更新所述方法中各功能模块和网络层的所有可学习参数,直至模型整体训练收敛。
4、在步骤二中,所述宏观层面的双分支解耦处理具体包括:在所述自回归分支中,通过变量切片操作提取所述历史观测数据批次 x 中目标变量所在通道 c 的单变量序列,构建自回归分支输入矩阵 x(ar) = x[:, :, c] ∈ rb×l×1,用以隔离并捕获纯粹的目标变量历史演化惯性;在所述多元残差分支中,将完整的多元历史观测数据批次直接作为多元残差分支输入矩阵 x(mr) = x ∈ rb×l×d,用以专门捕获来自全部特征通道的非线性外部强迫与多变量残差(multivariate residual),从而切断自回归惯性与外部非线性噪声在同一网络空间内的特征纠缠。
5、在步骤三中,所述液态核心模块提取动态时变特征的具体微观操作包括:将任一分支的输入序列矩阵记为泛化序列输入 z ∈ rb×l×din,首先利用可学习的输入投影矩阵win 和偏置向量 bin 通过线性层将 z 映射至统一的高维隐藏空间,得到高维隐藏空间矩阵 u = zwin + bin ∈ rb×l×dmodel,其中 din 为对应分支的输入特征维度,dmodel 为高维隐藏层维度;沿时间轴对所述高维隐藏空间矩阵 u 进行时间步切片,提取任意指定观测时刻t ∈ [1, l] 处的局域隐藏特征向量 u(t) = u[:, t, :] ∈ rb×dmodel,作为该时刻微观液态变换的输入驱动特征。
6、在步骤三中,所述非线性对流项建模具体包括:引入液态多项式阶数参数 k=2,通过将一阶线性隐藏特征与带有延迟参数 τ 的二阶非线性跨时间交互项进行级联组合,将所述局域隐藏特征向量 u(t) 升级映射至高阶非线性感知空间,得到升级后的多项式隐藏特征向量 upoly(t):upoly(t) = u(t) + α(u(t) ⊙ u(t-τ)) ∈ rb×dmodel式中,α 为可学习的对流缩放因子,用以控制非线性流体交互的激荡强度,τ 为历史时序延迟参数,⊙ 表示元素级哈达玛乘积;其中所述二阶非线性跨时间交互项 u(t) ⊙ u(t-τ) 对应于流体力学中的非线性对流加速度项,使所述多项式隐藏特征向量 upoly(t) 能够同时捕获隐藏状态的绝对数值特征与随时间流动的局域动态梯度,激发模型对混沌时序中瞬态骤变的突变自适应。
7、在步骤三中,所述生成随输入强度实时动态形变的poly-b液态渗透阀并进行动态调制的过程具体包括:将所述高维隐藏空间矩阵 u 同步输入到标准的结构化状态空间模型 s4 模块中进行全局卷积计算,利用频域快速傅里叶变换 fft 实现 o(l log l) 计算复杂度的长程历史惯性捕捉,输出全局静态基准矩阵 os4 ∈ rb×l×dmodel;沿时间轴对所述全局静态基准矩阵 os4 进行切片,获取所述时刻 t 处的静态输出特征向量 os4(t) = os4[:, t, :];利用升级后的所述多项式隐藏特征向量 upoly(t) 经过可学习参数矩阵 wu 的线性映射,并通过双曲正切激活函数 tanh 计算,生成实时动态适应的特征调节控制信号,将其作为标准状态空间微分方程中输入控制矩阵 b 的时变动态渗透对应物,定义为poly-b 液态渗透阀信号 δb(t):δb(t) = tanh(upoly(t)wu) ∈ rb×dmodel将所述 poly-b液态渗透阀信号 δb(t) 与可学习的流体渗透矩阵 wp相乘,并以点积作用和单元增益叠加的方式作用于所述静态输出特征向量 os4(t) 上,得到经过局域流体自适应调制后的时变液态特征向量 opolyb(t):opolyb(t) = os4(t) ⊙ (1 + δb(t)wp) ∈ rb×dmodel在遍历完成回溯窗口内所有时刻的时间序列计算后,将各个时刻对应的时变液态特征向量 opolyb(t)沿时间轴进行依序拼接,重构得到所述液态核心模块的终端分支输出矩阵 opolyb ∈ rb×l×dmodel,实现微观卷积核权重的输入感知形变。
8、在步骤四中,所述映射生成预测值的过程具体包括:从自回归分支内部液态核心模块的输出矩阵 opolyb(ar) 中,抽取最后一个时间步 l 处的特征向量作为自回归终端隐藏状态 hlast(ar) = opolyb(ar)[:, l, :] ∈ rb×dmodel,利用对应的可学习自回归预测权重矩阵war 与偏置项 bar 进行线性映射投影,生成基准自回归预测值 ŷar = hlast(ar)war + bar ∈rb×t×1;同步从多元残差分支内部液态核心模块的输出矩阵 opolyb(mr) 中,抽取最后一个时间步 l 处的特征向量作为多元残差终端隐藏状态 hlast(mr) = opolyb(mr)[:, l, :] ∈ rb×dmodel,利用对应的可学习多元残差预测权重矩阵 wmr 与偏置项 bmr 进行线性映射投影,生成外部强迫残差预测值 ŷmr = hlast(mr)wmr + bmr ∈ rb×t×1。
9、在步骤四中,所述神经门控机制动态融合的过程具体包括:抽取原始输入所述历史观测数据批次 x 中最终时刻 l 处的全部通道特征向量 xl = x[:, l, :] ∈ rb×d 作为当前系统所处环境的外在机制感知状态;将所述特征向量 xl 输入到末端状态自适应多层感知机中,首先利用第一隐藏层权重矩阵 wh 和偏置 bh 进行线性映射并通过修正线性单元 relu 进行非线性激活,再通过第二映射层权重矩阵 wg 和偏置 bg 进行变换,最后采用 sigmoid 激活函数 σ 进行限幅压缩,从而生成一个取值范围被严格限制在 (0, 1) 区间内的动态门控系数 g:g = σ(wgrelu(whxl + bh) + bg)利用所述动态门控系数 g 对所述基准自回归预测值 ŷar 与外部强迫残差预测值 ŷmr 进行动态配比融合,最终融合输出能够有效消除时间滞后现象的目标序列预测结果 ŷ:ŷ = g ⊙ ŷar + (1 - g) ⊙(ŷar + ŷmr)。
10、在步骤五中,所述构建复合损失函数的过程具体包括:采用平均绝对误差 mae 作为模型参数全域协同优化更新的主训练损失函数 lmae,其数学表达式为:lmae = [1 / (b· t)] σb=1b σt=1t |ŷb,t - yb,t|式中,ŷb,t 和 yb,t 分别表示在归一化潜在空间尺度下,第 b 个数据批次在未来第 t 个预测时间步的目标变量预测值与真实地面值;同步引入均方误差 mse 作为模型的辅助视察监视指标,用以针对非平稳动力系统中的极端异常跳跃、突发性峰值突变或离群剧烈波动施加二次方级别的强烈结构化惩罚,防止模型陷入局域过拟合;所述主训练损失函数与辅助视察监视指标的数值计算以及对应的误差梯度回传,均在通过严格的通道级反归一化处理重构到实际物理尺度后执行,以确保计算获得的优化梯度具备明确的工业可解释性。
11、本发明的有益效果在于:1. 宏观显式变量解耦:本发明打破了传统多元预测网络全变量混合训练的黑盒。通过物理切分,将目标演化历史和外部多变量扰动完全分离在不共享权重的独立并行算子空间中,极大杜绝了深度网络由于贪婪拟合平滑低方差趋势而主动牺牲、抹平高频高价值扰动信息的宿命缺陷,从根本上根除了“滞后预测”问题。2. 微观流体液态自适应:通过级联二阶多项式非线性交互对流项,使得本发明模型能够实时计算并感知时间隐藏特征矩阵的流动梯度。由此生成的 poly-b 液态渗透阀可以让原本在时间上静态的结构化状态空间模型卷积核随输入信号的激荡强度在运行期实时发生形变。当遇到突发异常脉冲时,网络能够主动调整其液体阻尼状态,极快地调节其有效的流体时间常数,优先捕获近期极高频特征。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com