基于自适应先验动态图混合专家的时序预测方法及系统

本发明属于人工智能、计算机数据处理及实体系统状态预测，具体涉及基于自适应先验动态图混合专家的时序预测方法及系统。

背景技术：

1、在工业设备运行监测、生产过程控制、环境状态分析和其他实体系统的数字化管理过程中，通常需要根据连续采集的多变量时间序列预测未来状态。此类数据不仅具有趋势、周期、突变和噪声等复杂时间特性，不同变量之间的关联强度还会随着运行工况、外部条件以及预测时段发生变化。因此，准确建模时间依赖与变量关联，是提高多步预测稳定性和泛化能力的关键。

2、现有时序预测方法通常采用循环神经网络、卷积神经网络、注意力网络或其组合结构直接从历史序列生成未来结果。直接预测方式虽然结构简单，但在预测区间较长、样本数量有限或系统具有明显周期规律时，容易忽略历史同期信息；当近期状态发生快速变化时，仅依赖固定周期基线又难以及时修正偏差。现有方法一般未能在同一预测框架中兼顾周期先验的稳定性与数据驱动残差校正的灵活性。

3、另一方面，多变量序列中的变量关系通常由固定邻接矩阵或全连接注意力表示。固定拓扑难以反映不同样本和不同运行状态下的关系变化，全连接注意力则会引入大量弱相关边和计算冗余，易使关键变量关系被噪声干扰。虽然混合专家模型能够针对不同数据模式分配计算路径，但若直接由多个专家输出完整预测值，容易产生专家职责重叠、路由退化或输出幅值不稳定等问题。

4、此外，未来可用外部协变量、周期对齐历史片段和近期目标变量具有不同的数据组织方式和语义。若将其简单拼接后交由单一编码器处理，会削弱各类信息的结构差异；若完全独立建模又难以形成统一的预测上下文。因此，需要一种能够对多源时序信息分别编码、利用上下文动态构图、从候选周期先验中自适应选择基准并通过受限混合专家完成校正的技术方案。

技术实现思路

1、为克服现有技术中周期信息利用不足、变量关系固定、不同预测模式难以分工以及直接预测结果波动较大的问题，本发明提出一种基于自适应先验动态图混合专家的时序预测方法及系统。该方法把各观测变量视为图节点，利用因果扩张卷积与时间注意力获得节点状态；利用周期对齐历史记忆提取逐步周期特征并构造多个候选先验；利用未来外部协变量编码器提取逐步未来条件；再由周期摘要和未来摘要共同调制多头动态图，从而得到与当前样本匹配的变量关系。最后，通过先验路由器形成自适应基准，通过专家路由器融合多个残差专家，并与直接预测分支进行门控融合。

2、本发明采用的技术方案如下：

3、基于自适应先验动态图混合专家的时序预测方法，包括以下步骤：

4、1）获取来自实体系统的多变量历史序列、与待预测区间相对应的周期对齐历史片段、未来可用外部协变量以及时间位置特征；对数值变量按照训练数据统计量进行标准化，并按预测起点构造多步预测样本。其中，所述未来可用外部协变量是指在预测起点之前已经确定或能够获得、并与预测区间各时间位置对应的外部条件变量，不包括待预测目标变量的未来值，也不包括来源于目标侧未来观测数据的其他非目标变量。

5、2）从多变量历史序列中截取近期窗口，将每一数值变量作为一个节点，把节点在各时间步的数值与共享时间位置特征拼接，经共享线性投影、因果残差时序卷积和时间注意力池化，获得各变量的节点状态。

6、3）对周期对齐历史片段进行双路径编码：沿周期维使用双向循环单元获得周期全局摘要；按预测步重排后沿周期维进行非线性映射，获得各预测步对应的周期特征；同时从所述周期对齐历史片段计算多个候选周期先验。

7、4）将未来可用外部协变量与未来时间位置特征输入未来外部协变量编码器，经因果时序卷积、循环单元和层归一化得到逐预测步未来特征，并通过时间平均得到未来全局摘要。

8、5）将周期全局摘要和未来全局摘要投影为上下文向量并注入节点状态，通过多头查询、键和值映射计算节点相关性，将相关性与可学习静态偏置及自连接增强项相加，在每个节点的候选邻居中执行top-k稀疏化和softmax归一化，形成当前样本对应的动态图邻接矩阵，并完成图注意力聚合。

9、6）针对目标变量的近期序列设置独立的因果扩张卷积编码器，得到近期目标摘要；将逐步周期特征、逐步未来特征、图增强目标节点特征和近期目标摘要按预测步拼接，形成逐预测步上下文。

10、7）将逐预测步上下文、候选周期先验以及最近观测状态输入先验路由器，获得候选周期先验的逐步权重并计算自适应基准；将逐预测步上下文输入多个专家头获得候选残差，通过专家路由器形成加权残差，并利用有界激活函数限制残差幅值。

11、8）将自适应基准与受限残差相加得到先验残差预测；利用直接预测分支从逐预测步上下文生成直接预测；通过融合门控在先验残差预测和直接预测之间进行逐步加权，经过数值范围约束得到最终多步预测结果。

12、9）以加权稳健误差、先验偏离正则项和融合门控正则项构成联合目标函数，根据训练样本优化模型参数，得到训练完成的时序预测模型。

13、优选地，输入样本与周期对齐历史记忆的构建如下：

14、设多变量历史序列为，其中r表示实数集，t为历史时间步数量，n为数值变量数量；时间位置特征为；预测步数量为h；未来可用外部协变量与未来时间位置特征组合为。将x与e在特征维拼接形成历史输入。对于目标变量，从预测起点之前的d个历史周期中分别截取与待预测区间位置对应、长度为h的片段，形成周期对齐历史记忆。

15、由周期对齐历史记忆构造k个候选周期先验。候选周期先验至少包括最近一个周期片段、最近若干周期的逐步均值、较长周期窗口的逐步均值以及全部周期片段的逐步中位数。候选周期先验共享同一量纲和预测步索引，使路由器能够针对每个预测步独立选择或融合。

16、；

17、优选地，变量节点时序编码器如下：

18、从历史输入中截取长度为l的近期窗口。对第n个变量，将其数值序列与每个时间步对应的共享时间位置特征拼接，得到节点输入。利用共享线性层将投影至c维隐空间，并将批次维和节点维合并后输入因果残差时序卷积网络。因果残差时序卷积网络包括若干扩张率递增的残差卷积块，每一残差卷积块依次执行一维卷积、因果裁剪、非线性激活和随机失活，并通过恒等映射或一维投影保持残差维度一致。

19、；

20、对节点n在各时间步的编码结果计算注意力得分，沿时间维进行softmax归一化后加权求和，得到节点状态。所有节点状态组合为。所述编码器对各节点共享时序参数，使不同变量在统一表示空间内可比较，并由后续动态图模块学习变量特定的连接关系。

21、；

22、优选地，周期模式编码器如下：

23、将周期对齐历史记忆m按照周期先后次序输入双向门控循环单元，记双向门控循环单元的输出序列为周期隐藏序列，取其最后一个位置的输出表示，经线性映射、非线性激活、随机失活和层归一化，得到周期全局摘要。与此同时，将m转置为，使每个预测步对应一个跨周期向量；将所述跨周期向量输入共享线性映射、非线性激活、随机失活和层归一化，得到逐预测步周期特征。周期全局摘要用于调制动态图，逐预测步周期特征用于构造最终预测上下文。

24、；

25、优选地，未来外部协变量编码器如下：

26、未来输入u先经过具有不同扩张率的因果残差时序卷积网络提取局部演变模式，再输入单向门控循环单元累积预测区间内由前至后的条件信息，并经层归一化得到逐预测步未来特征。对沿预测步维求平均，得到未来全局摘要。由于采用因果卷积和单向循环结构，第h个预测步的编码不依赖其后的外部协变量位置。

27、；

28、优选地，上下文动态图模块如下：

29、将周期全局摘要与未来全局摘要拼接后经线性映射得到上下文向量c，并将c广播到各节点后与节点状态v相加。对上下文增强节点状态分别执行多头查询、键和值映射，计算缩放点积相关性。相关性矩阵与按节点索引学习的静态偏置矩阵b以及用于增强节点自身信息的单位矩阵项相加。

30、；

31、；

32、对于每个节点，仅保留相关性最大的k个节点位置，将其他位置设为负无穷，经softmax归一化得到第r个注意力头的动态图邻接矩阵。利用对值向量进行邻域聚合，拼接各注意力头并经输出映射后，与原始节点状态执行残差相加和层归一化；再经前馈网络、第二残差连接和层归一化，得到图增强节点状态。

33、；

34、；

35、所述静态偏置矩阵用于保留跨样本稳定的变量关系，周期摘要和未来摘要用于使查询、键和值随当前样本变化，自连接增强项用于提高节点自身状态的保留概率，top-k稀疏化用于抑制弱相关边并降低图聚合噪声。

36、优选地，近期目标编码器与逐预测步上下文如下：

37、从近期历史窗口中提取目标变量数值并与对应时间位置特征拼接，输入包含更多扩张层级的因果残差时序卷积网络，取末端编码状态经线性映射、非线性激活和层归一化得到近期目标摘要。由图增强节点状态中选取目标变量节点，并将和分别复制h次，与逐预测步周期特征和逐预测步未来特征拼接，得到逐预测步上下文。

38、；

39、优选地，自适应先验路由模块如下：

40、将第h个预测步的上下文、该预测步对应的k个候选先验值以及最近观测状态拼接后输入先验路由器。先验路由器由至少两层线性层、非线性激活和随机失活构成，其输出经softmax归一化得到候选先验权重。根据所述权重对候选先验逐步加权求和，得到自适应基准。

41、；

42、；

43、由于针对每个样本和每个预测步单独计算，当近期周期片段与当前上下文一致时可提高近期先验权重，当近期片段异常或长期周期模式更加稳定时，可提高均值或中位数先验权重，从而避免采用固定历史基线。

44、优选地，混合专家残差模块如下：

45、设置e个结构相同但参数独立的专家头。每个专家头以为输入，经多层感知机输出候选残差。专家路由器以逐预测步上下文、候选先验值和最近观测状态为输入，输出经softmax归一化得到专家权重。将候选残差加权求和后输入双曲正切函数，并乘以预设或可训练的残差幅值上限ρ，得到受限残差。

46、；

47、；

48、；

49、通过使专家输出残差而非完整预测值，各专家围绕稳定的自适应基准分别学习不同校正模式；双曲正切幅值约束能够限制异常样本导致的过度修正，提高多步预测曲线的稳定性。

50、优选地，直接预测分支与融合门控如下：

51、直接预测分支以为输入，经多层感知机和有界激活函数得到直接预测。融合门控以逐预测步上下文、候选先验值和最近观测状态为输入，通过sigmoid函数得到门控系数。将先验残差预测与直接预测按门控系数进行加权，并将结果限制在预设有效范围内：

52、；

53、；

54、优选地，对融合门控输出层设置偏向先验残差分支的初始偏置，使模型训练初期优先依赖周期先验和受限残差，随着训练进行再根据数据学习是否提高直接预测分支的占比。

55、优选地，联合训练目标如下：

56、将归一化预测结果和真实结果恢复至原始量纲后计算缩放huber损失，即平滑l1损失。对于误差绝对值不超过阈值δ的样本采用二次误差，对于超过δ的样本采用线性误差，以降低异常值对训练过程的影响。根据真实目标是否处于有效状态以及真实目标相对参考基线的偏离程度生成样本权重，使模型更加关注有效状态和基线难以预测的样本。

57、；

58、；

59、在加权稳健误差基础上加入预测结果偏离自适应基准的正则项，以及抑制直接预测分支过早占主导的融合门控正则项，联合损失为：

60、；

61、其中，参考基线为数据构造阶段预先得到且不参与先验路由的基线，自适应基准为先验路由器生成的加权基准，mean表示对批次及全部预测步求平均。

62、本发明具有以下有益效果。

63、第一，本发明利用周期对齐历史记忆构造多个候选先验，并由逐预测步先验路由器根据当前上下文动态分配权重，相比固定历史均值或完全直接预测，能够同时利用周期规律的稳定性和数据驱动模型的适应性。

64、第二，本发明把每个数值变量作为图节点，以周期摘要和未来摘要调制多头相关性，并融合静态节点偏置、自连接增强和top-k稀疏化，能够针对不同样本形成差异化的变量依赖图，同时抑制大量弱相关连接。

65、第三，本发明通过多个独立专家学习围绕自适应基准的不同残差校正模式，并利用专家路由器逐预测步选择专家，通过有界激活限制残差幅值，降低专家输出不稳定和极端校正对预测结果的影响。

66、第四，本发明同时设置先验残差分支和直接预测分支，由融合门控根据上下文进行逐步切换；当周期规律可靠时优先利用先验残差分支，当系统状态偏离历史周期模式时提高直接预测分支占比，从而增强对多种运行模式的适应能力。

67、第五，本发明分别编码节点历史、周期记忆、未来可用外部协变量和近期目标状态，再在逐预测步上下文中统一融合，避免不同来源的时序信息被简单拼接所造成的结构混淆，适合部署于需要连续多步预测的实体系统。