一种基于混合深度学习模型和Stacking的时序数据预测方法及系统

一种基于混合深度学习模型和stacking的时序数据预测方法及系统
技术领域
1.本发明属于机器学习领域，具体涉及一种基于混合深度学习模型和stacking的时序数据预测方法及系统。


背景技术：

2.近年来，随着中国互联网及信息技术的高速发展，大数据已经到来。在日益增长的数据中，时间序列数据在工业，金融，商业等领域扮演着重要的角色，因为时间序列数据隐藏着许多潜在的有价值的信息，它为行业的重要决策提供了有力的支撑。在pm2.5浓度预测，太阳能发电预测，股票价格预测，工业设备故障预测的背后，都是依赖学者们从时间序列数据中挖掘的潜在信息。因此学界一直尝试使用各种机器学习，计量经济模型方法探索挖掘时间序列数据中的潜在信息，但随着数据量的增加，以及数据维度的增加，传统模型表达能力有限，无法从大量数据中提取有用特征，并且无法充分挖掘大量信息中的潜在信息。随着深度学习的发展，在人工智能，图像识别，自然语言处理等领域展现出了较好的效果，为挖掘时间序列数据中的潜在信息提供了有力的工具。
3.现有的技术方案一般采用标准卷积提取特征，而标准卷积在提取特征的时候如果做了池化可以提高感受野，但是会丢失大量信息，如果不做池化，感受野会比较小，在扩大感受野和保证信息不大量丢失两者之间没有得到较好的平衡；现有的技术方案一般采用单独lstm模型或者gru模型挖掘时间序列之间的依赖关系，且未使用双向结构，模型对特征表达形式有限。


技术实现要素：

4.为解决以上现有技术存在的问题，本发明提出了一种基于混合深度学习模型和stacking的时序数据预测方法，该方法包括：获取待预测的时序数据，对时序数据进行预处理；构建混合深度学习模型，该模型包括迭代膨胀卷积神经网络和双向长短期记忆神经网络；采用自适应惯性权重粒子群算法对混合深度学习模型的超参数进行寻优，根据最优的超参数构建最优的混合深度学习模型；将预处理后的时序数据输入到训练好的混合深度学习模型中，得到时序数据的依赖关系；采用stacking分层模型对时序数据的依赖关系进行修正，得到修正后的时序数据预测结果；根据时序数据预测结果客户执行对应的操作。
5.优选的，对时序数据进行预处理的过程包括：采用上下采样线性插值法对时序数据的缺失数据进行填充处理；采用标签编码的方法对填充后的数据进行编码处理；对编码后的数据进行归一化处理；对归一化后的数据进行特征选择，得到预处理后的时序数据。
6.进一步的，对归一化后的数据进行特征选择包括采用皮尔逊相关系数对数据进行筛选；皮尔逊相关系数的表达式为：
7.8.其中，cov(x,y)表示变量x与y的协方差，x表示特征x的向量，y表示特征y的向量，σ
x
表示向量x的标准差，σy表示向量y的标准差，e[(x-μ
x
)(y-μy)]表示变量x与y的协方差，μ
x
表示特征x的均值，μy表示特征y的均值。
[0009]
优选的，构建混合深度学习模型包括：迭代膨胀卷积神经网络由三层膨胀卷积层组成，各个膨胀卷积层的膨胀半径分别为1、1、2，且每层包含64个卷积核，每个卷积核的大小为2；每个膨胀卷积层的最后一层卷积层输出作为下一层膨胀卷积层的输出，构成迭代膨胀卷积神经网络；双向长短期记忆神经网络包括双向长短期记忆网络和双向门循环单元，双向长短期记忆网络的输出作为双向门循环单元的输入，构成双向长短期记忆神经网络。
[0010]
优选的，采用自适应惯性权重粒子群算法寻找混合深度学习模型最优超参数包括：
[0011]
步骤1：将混合深度学习模型中卷积网络的卷积核大小、循环网络隐藏层单元数以及批处理大小作为优化对象，初始化各粒子在种群中的速度及位置，将每个粒子目前所搜索到的最优位置pbest设为初始位置，取粒子全局搜索到的最优位置为gbest；
[0012]
步骤2：计算每个粒子的适应度值；适应度值的计算公式为混合深度学习模型预测结果的平均绝对误差计算公式；
[0013]
步骤3：根据粒子适应度值确认全局最优粒子位置pbest和局部最优位置gbest；
[0014]
步骤4：根据最优粒子位置pbest和局部最优位置gbest采用速度和位置更新公式对粒子的速度和位置进行更新；
[0015][0016][0017][0018]
其中，ω
id
表示惯性系数，表示粒子更新前的速度，c1和c2均表示加速因子为非负常数，ξ和η表示分布在[0，1]区间上的随机数，表示粒子更新前最优位置，表示第i个粒子更新前的位置，表示粒子更新前局部最优位置，r表示约束因子，一般为1，k表示更新轮次，d表示维度，d表示粒子总维度，即优化对象的总数，sigmoid表示sigmoid函数，α为线性变化系数，ν
id
为速度的标量大小，δh为粒子从某一刻到另一刻的函数值变化量；
[0019]
步骤5：设置粒子搜索的终止条件，设置的粒子搜索终止条件包括算法的最大迭代次数或者相邻两代之间的偏差阈值；判断该粒子是否满足搜索终止条件，若满足粒子搜索终止条件，则输出最优超参数，并通过最优超参数对深度学习模型进行重新构建；若不满足粒子搜索的终止条件，则返回步骤2。
[0020]
优选的，对混合深度学习模型进行训练的过程包括：
[0021]
步骤1：获取历史时序数据，根据历史数据构建二维矩阵输入特征和一维矩阵标签；将二维矩阵输入特征和一维矩阵标签进行对应，得到训练数据集；
[0022]
步骤2：对训练数据集中的数据进行预处理；
[0023]
步骤3：将经过预处理后的数据输入到迭代膨胀卷积神经网络中，经过各个膨胀卷积层的特征提取，得到时序数据的局部趋势特征；其中迭代膨胀卷积神经网络中的每个膨胀卷积层提取的初始特征作为下一层膨胀卷积层的输入，共迭代三次；
[0024]
步骤4：将局部趋势特征输入到双向门循环长短期记忆神经网络中进行时序数据的依赖关系预测；即将局部趋势特征输入到双向长短期记忆网络中，并将双向长短期记忆网络的输出作为双向门循环单元的输入，得到依赖关系预测值；
[0025]
步骤5：根据预测值和真实值计算平均绝对误差，并将平均绝对误差作为混合深度学习模型的损失函数；
[0026]
步骤6：采用adam优化器优化损失函数，并更新混合深度学习模型的参数，当损失最小时，完成混合深度学习模型的训练。
[0027]
进一步的，平均绝对误差的计算公式为：
[0028][0029]
其中，mae表示平均绝对误差，n表示样本个数，表示预测值，yi表示真实值。
[0030]
优选的，采用stacking分层模型对时序数据的依赖关系进行修正的过程包括：stacking分层模型为两层结构，将随机森林rf、梯度提升树gbdt以及xgboost模型作为初学习器设置在第一层，将线性回归模型lr作为次学习器设置在第二层；
[0031]
初学习器对时序数据的依赖关系进行处理的过程包括：将混合深度学习模型输出的时序数据依赖关系作为输入，时序数据的真实值作为标签分别输入到随机森林rf、梯度提升树gbdt以及xgboost模型中，得到三个初始矫正结果；
[0032]
次学习器对初始矫正结果进行处理的过程包括：将三个初始矫正结果进行特征合并，将合并后的数据作为输入数据、真实值作为标签对线性回归模型lr进行训练，得到随机森林rf、梯度提升树gbdt以及xgboost模型分配权重，根据分配权重将三个初始矫正结果进行融合，得到修正后的时序数据预测结果。
[0033]
一种基于混合深度学习模型和stacking的时序数据预测系统，该系统包括：数据获取模块、数据预处理模块、迭代膨胀卷积神经网络模块、双向长短期记忆神经网络模块、自适应惯性权重粒子群模块、数据修正模块以及数据输出模块；
[0034]
所述数据获取模块用于获取时序数据，并将时序数据输入到数据预处理模块中；
[0035]
所述数据预处理模块用于对时序数据进行预处理，该预处理包括对时序数据进行缺失数据填充、对填充后的数据进行编码、对编码后的数据进行归一化处理以及对归一化后的数据进行特征选择处理；
[0036]
所述迭代膨胀卷积神经网络模块用于对预处理后的数据进行预测处理，得到时序数据的局部趋势特征；
[0037]
所述双向长短期记忆神经网络模块用于对提取的局部趋势特征进行处理，得到时序数据的依赖关系；
[0038]
所述自适应惯性权重粒子群模块用于对混合深度学习模型超参数寻优，得到最优混合深度学习模型超参数；
[0039]
所述数据修正模块用于对时序数据的依赖关系进行修正，得到修正后的时序数据
预测结果；
[0040]
所述数据输出模块用于输出修正后的时序数据预测结果。
[0041]
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述基于混合深度学习模型和stacking的时序数据预测方法。
[0042]
为实现上述目的，本发明还提供一种基于混合深度学习模型和stacking的时序数据预测装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于混合深度学习模型和stacking的时序数据预测装置执行任一上述基于混合深度学习模型和stacking的时序数据预测方法。
[0043]
本发明的有益效果：
[0044]
本发明通过迭代膨胀卷积神经网络(id-cnn)提取时序数据的局部趋势特征，扩大感受野，较少信息丢失，然后构建双向门循环长短期记忆网络(bi-grlstm)，堆叠双向长短期记忆网络和双向门循环单元来挖掘时序数据依赖关系以丰富模型的表现形式，并使用自适应惯性权重粒子群算法对混合深度学习模型超参数进行寻优，利用寻优后的超参数训练模型并进行预测，得到最终时序数据的预测结果。本发明提出一种基于stacking的时序数据预测结果修正方法，通过stacking分层模型集成框架集成随机森林(rf)、梯度提升树(gbdt)、xgboost模型对时间序列预测结果进行修正，使得模型预测精度更高。
附图说明
[0045]
图1为本发明的迭代膨胀卷积神经网络结构图；
[0046]
图2为本发明的循环神经网络结构图；
[0047]
图3为本发明的长短期记忆网络的结构图；
[0048]
图4为本发明的门循环单元结构图；
[0049]
图5为本发明的stacking模型结构图；
[0050]
图6为本发明的双向门循环长短期记忆网络结构图；
[0051]
图7为本发明的混合深度学习模型的结构图；
[0052]
图8为本发明的自适应惯性粒子群算法的流程图；
[0053]
图9为本发明的stacking模型对预测结果修正的流程路；
[0054]
图10为本发明的基于混合深度学习和stacking的时序数据预测模型结构图。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
一种基于混合深度学习模型和stacking的时序数据预测方法，该方法包括：首先通过迭代膨胀卷积神经网络提取时间序列数据之间的局部趋势特征，在不做池化丢失大量信息的情况下扩大感受野，接着使用长短期记忆网络，门循环单元，提取时间序列数据之间
的依赖关系，并以双向结构提供更多的信息。最后，将循环神经网络的预测结果作为特征，使用stacking分层模型集成框架集成随机森林(rf)、梯度提升树(gbdt)、xgboost模型对时间序列预测结果进行修正，提高预测的精度。
[0057]
一种基于混合深度学习模型和stacking的时序数据预测方法，该方法包括获取待预测的时序数据，对时序数据进行预处理；构建混合深度学习模型，该模型包括迭代膨胀卷积神经网络和双向长短期记忆神经网络；将预处理后的时序数据输入到训练好的混合深度学习模型中，得到时序数据的依赖关系；采用stacking分层模型对时序数据的依赖关系进行修正，得到修正后的时序数据预测结果；根据时序数据预测结果客户执行对应的操作。
[0058]
标准卷积中，对时间的建模长度受限于卷积核大小的，如果要想抓去更长的依赖关系，就需要线性的堆叠很多的层。为了解决这个问题，研究人员提出了膨胀卷积。膨胀卷积是在标准卷积的卷积map的基础上注入空洞，以此来增加感受野。因此，膨胀卷积在标准卷积的基础上又多了一个超参数，称之为膨胀率，该超参数指的是卷积核的间隔数量。和标准卷积不同的是膨胀卷积允许卷积时的输入存在间隔采样，这个间隔就是通过膨胀率来控制。膨胀卷积使得有效窗口的大小随着层数呈指数型增长。这样卷积网络用比较少的层，就可以获得很大的感受野。然而，简单地增加堆叠扩张卷积的深度将导致模型过拟合。为此，使用了iterated dilated cnn(id-cnn)来提取局部趋势特征。id-cnn的架构及其内部膨胀块的具体结构如图1所示。id-cnn多次重复应用相同结构的cnn块，每次迭代都以最后一次应用的结果作为输入。在每个扩张块内部是扩张宽度递增的多个膨胀卷积层。以迭代的方式重复使用膨胀卷积层与递增的膨胀宽度提供了较宽的局部趋势特征提取范围。迭代膨胀卷积的结构如图1所示。
[0059]
循环神经网络(rnn)是一类以序列数据为输入，在序列的演进方向进行递归且所有循环单元节点按链式连接的递归神经网络。循环神经网络具有记忆性、参数共享并且图灵完备，因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理，例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络构筑的循环神经网络可以处理包含序列输入的计算机问题。rnn的内部结构图如图2所示。
[0060]
长短期记忆网络(lstm)是一种特殊的循环神经网络(rnn)，是为了解决一般的循环神经网络存在的长期依赖问题而专门设计出来的，主要解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的rnn，lstm能够在更长的序列中有更好的表现。lstm通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息；而不像普通的rnn那样仅有一种记忆叠加方式。lstm内部结构如图3所示。
[0061]
门循环单元(gru)是长短期记忆网络(lstm)的一种效果很好的变体，它较lstm网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。gru既然是lstm的变体，因此也是可以解决rnn网络中的长依赖问题。在lstm中引入了三个门函数，分别为输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在gru模型中只有两个门，分别是更新门和重置门。gru相对于lstm少了一个门函数，因此在参数的数量上也是要少于lstm的，所以整体上gru的训练速度要快于lstm的。gru内部结构如图4所示。
[0062]
粒子群优化算法是一种进化计算技术，源于对鸟群捕食的行为研究。粒子群优化算法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解，通过设计一种无
质量的粒子来模拟鸟群中的鸟，粒子仅具有两个属性，速度和位置，速度代表移动的快慢，位置代表移动的方向。每个粒子在搜索空间中单独的搜寻最优解，并将其记为当前个体极值，并将个体极值与整个粒子群里的其他粒子共享，找到最优的个体极值作为整个粒子群的当前全局最优解，粒子群中的所有粒子根据自己找到的当前个体极值和整个粒子群共享的当前全局最优解来调整自己的速度和位置。stacking是一种分层模型集成框架。以两层为例，第一层由多个基学习器组成，其输入为原始训练集，第二层的模型则是以第一层基学习器的输出作为特征加入训练集进行再训练，从而得到完整的stacking模型。stacking可以将多个模型的预测结果集成在一起，模型融合之后能够小幅度的提高模型的预测准确度。stacking结构如图5所示。
[0063]
本发明的一种实施方式，该时序数据为pm2.5时间序列数据；气象数据包括pm2.5浓度、露点、温度、压力、组合风向、累积风速、累积降雪小时数。在使用混合深度学习初步预测时，选择其中60％数据作为训练集，20％数据作为验证集，20％数据作为测试集。
[0064]
对时序数据进行预处理的过程包括：采用上下采样线性插值法对时序数据的缺失数据进行填充处理；采用标签编码的方法对填充后的数据进行编码处理；对编码后的数据进行归一化处理；对归一化后的数据进行特征选择，得到预处理后的时序数据。
[0065]
缺失值处理：使用的数据集中pm2.5数值存在大量的空缺值，需要对空缺值进行填充，采用上下采样线性插值法根据空缺值前后数据的值对空缺值进行填充，具体公式：
[0066][0067]
其中，yi表示填充后的值，c表示等分值，i表示距离前面第一个非空缺值的距离，yb表示空缺值后第一个非空缺值，ya表示空缺值前第一个非空缺值，b表示空缺值后第一个非空缺值的位置，a表示空缺值前第一个非空缺值的位置。
[0068]
非数值数据处理：使用的数据中，组合风向特征的数值为字符表述，无法输入模型，因此采用标签编码对组合风向进行离散化，把字符转换为整型的数值。例如，所有风向编码有“se”、“cv”、“nw”、“ne”四个值，则使用整数1、2、3、4分别替代这四个风向值。
[0069]
数据归一化处理：不同属性值的范围差别较大，如果直接输入模型会导致数值范围较大的特征对预测结果影响较大，影响最后的预测效果，因此对所有特征进行归一化的处理，将所有特征规约到0到1之间。归一化公式为：
[0070][0071]
其中，x
norm
表示归一化后的数据，x表示原始数据，x
min
表示原始数据集的最小值，x
max
表示原始数据集的最大值。
[0072]
特征选择：影响pm2.5浓度的特征维度较多，且数据量较大，为了减少数据量，且去除对pm2.5浓度影响较小的特征的噪声干扰对预测结果的影响，需要对特征进行选择，这里首先对特征计算皮尔逊相关系数，根据皮尔逊相关系数选择影响较大的特征。皮尔逊相关系数计算公式为：
[0073][0074]
其中，cov(x,y)表示变量x与y的协方差，x表示特征x的向量，y表示特征y的向量，σ
x
表示向量x的标准差，σy表示向量y的标准差，e[(x-μ
x
)(y-μy)]表示变量x与y的协方差，μ
x
表示特征x的均值，μy表示特征y的均值。
[0075]
构建混合深度学习模型包括：迭代膨胀卷积神经网络由三层膨胀卷积层组成，各个膨胀卷积层的膨胀半径分别为1、1、2，且每层包含64个卷积核，每个卷积核的大小为2；每个膨胀卷积层的最后一层卷积层输出作为下一层膨胀卷积层的输出，构成迭代膨胀卷积神经网络；双向长短期记忆神经网络包括双向长短期记忆网络和双向门循环单元，双向长短期记忆网络的输出作为双向门循环单元的输入，构成双向长短期记忆神经网络。
[0076]
采用混合深度学习模型初步预测时间序列数据过程中，输入历史pm2.5数据，首先通过迭代膨胀卷积提取局部趋势特征，为了使膨胀卷积的感受野更大，获取更广阔的特征信息，采用迭代结构提取特征。迭代结构为3个dilated block，每个block里为dilation rate分别是1、1、2的卷积层，每层卷积核大小为2，filters为64。
[0077]
在提取特征之后将迭代膨胀卷积提取的局部趋势特征输入到双向长短期记忆神经网络中，然后再在模型后堆叠上双向门循环单元，units个数设置为50，激活函数均选择为sigmoid函数，通过双向门循环长短期记忆网络挖掘特诊之间的时序依赖关系，双向结构从两个方向查看数据，可以使得模型获得更丰富的表示形式，并捕捉单向结构可能忽略的模式。双向门循环长短期记忆网络结构如图6所示。
[0078]
对混合深度学习模型进行训练的过程包括：
[0079]
步骤1：获取历史时序数据，根据历史数据构建二维矩阵输入特征和一维矩阵标签；将二维矩阵输入特征和一维矩阵标签进行对应，得到训练数据集；
[0080]
步骤2：对训练数据集中的数据进行预处理；
[0081]
步骤3：将经过预处理后的数据输入到迭代膨胀卷积神经网络中，经过各个膨胀卷积层的特征提取，得到时序数据的局部趋势特征；其中迭代膨胀卷积神经网络中的每个膨胀卷积层提取的初始特征作为下一层膨胀卷积层的输入，共迭代三次；
[0082]
步骤4：将局部趋势特征输入到双向门循环长短期记忆神经网络中进行时序数据的依赖关系预测；即将局部趋势特征输入到双向长短期记忆网络中，并将双向长短期记忆网络的输出作为双向门循环单元的输入，得到依赖关系预测值；
[0083]
步骤5：根据预测值和真实值计算平均绝对误差，并将平均绝对误差作为混合深度学习模型的损失函数；
[0084]
步骤6：采用adam优化器优化损失函数，并更新混合深度学习模型的参数，当损失最小时，完成混合深度学习模型的训练。
[0085]
混合深度模型结构如图7所示，在模型最后一层叠加一个全连接层，全连接层神经元个数对应需要预测的未来时间点数，训练过程以平均绝对误差(mae)评估模型，优化器选择adam优化器，batch size为128，epoches为100，最后得到初步预测结果。平均绝对误差计算公式为：
[0086][0087]
其中，mae表示平均绝对误差，n表示样本个数，表示预测值，yi表示真实值。
[0088]
如图8所示，采用自适应惯性权重粒子群算法的过程包括：
[0089]
步骤1：将混合深度学习模型中卷积网络的卷积核大小，循环网络隐藏层单元数，批处理大小作为优化对象，初始化各粒子在种群中的速度及位置，把每个粒子目前所搜索到的最优位置pbest设为初始位置,取粒子全局搜索到的最优位置为gbest；
[0090]
步骤2：根据下式计算每个粒子的适应度值。以各粒子对应参数构建lstm模型，通过训练数据进行训练，验证数据进行预测，将预测结果的平均绝对误差作为各粒子的适应度值。
[0091][0092]
其中，mae表示平均绝对误差，n表示样本个数，表示预测值，yi表示真实值。
[0093]
步骤3：根据粒子适应度值确认全局最优粒子位置pbest和局部最优位置gbest；
[0094]
步骤4：根据下列公式，调整粒子的速度和位置；
[0095][0096][0097][0098]
其中，其中，ω
id
表示惯性系数，表示粒子更新前的速度，c1和c2均表示加速因子为非负常数，ξ和η表示分布在[0，1]区间上的随机数，表示粒子更新前最优位置，表示第i个粒子更新前的位置，表示粒子更新前局部最优位置，r表示约束因子，一般为1，k表示更新轮次，d表示维度，d表示粒子总维度，即优化对象的总数，sigmoid表示sigmoid函数，α为线性变化系数，v
id
为速度的标量大小，δh为粒子从某一刻到另一刻的函数值变化量。
[0099]
步骤5：设置粒子搜索的终止条件，设置的粒子搜索终止条件包括算法的最大迭代次数或者相邻两代之间的偏差阈值；判断该粒子是否满足搜索终止条件，若满足粒子搜索终止条件，则输出最优超参数，并通过最优超参数对深度学习模型进行重新构建；若不满足粒子搜索的终止条件，则返回步骤2。
[0100]
判断粒子是否满足搜索终止条件包括判断粒子的迭代次数是否达到最大的迭代次数，若达到该次数，则该粒子满足搜索终止条件，否则不满足搜索终止条件；计算相邻两代之间的偏差，并将偏差与设置的偏差阈值进行对比，若小于设置的偏差阈值，则满足搜索终止条件，否则不满足搜索终止条件。
[0101]
采用stacking分层模型对时序数据的依赖关系进行修正的过程包括：将混合深度模型预测的输出作为新特征，实际值作为预测值，分别输入到随机森林(rf)，梯度提升树(gbdt)、xgboost模型，采用5折交叉验证的方式，划分训练数据为5折，每次80％的数据作为训练集，20％的数据作为测试集，以平均绝对误差(mae)作为模型评估标准，分别训练5次，每次的模型预测后得到1份预测记过，最后将这5份预测结果取均值，带入下一层。
[0102]
为了将初学习器的预测结果以最优的形式结合在一起，需要对其分配权重。将随机森林(rf)，梯度提升树(gbdt)、xgboost模型作为初学习器放在第一层，第二层的模型一般为了防止过拟合会采用较为简单的模型，因此第二层采用线性回归模型(lr)作为次学习器。将初学习器的输出作为特征合并在一起，初始数据的真实pm2.5浓度作为样例标记拟合线性回归模型，构建stacking模型，最后通过stacking模型预测得到最终由混合深度学习模型预测修正过后得到的最终预测结果，如图9所示和图10所示。
[0103]
一种基于混合深度学习模型和stacking的时序数据预测系统，该系统包括：数据获取模块、数据预处理模块、迭代膨胀卷积神经网络模块、双向长短期记忆神经网络模块、自适应惯性权重粒子群模块、数据修正模块以及数据输出模块；
[0104]
所述数据获取模块用于获取时序数据，并将时序数据输入到数据预处理模块中；
[0105]
所述数据预处理模块用于对时序数据进行预处理，该预处理包括对时序数据进行缺失数据填充、对填充后的数据进行编码、对编码后的数据进行归一化处理以及对归一化后的数据进行特征选择处理；
[0106]
所述迭代膨胀卷积神经网络模块用于对预处理后的数据进行预测处理，得到时序数据的局部趋势特征；
[0107]
所述双向长短期记忆神经网络模块用于对提取的局部趋势特征进行处理，得到时序数据的依赖关系；
[0108]
所述自适应惯性权重粒子群模块用于对混合深度学习模型超参数寻优，得到最优混合深度学习模型超参数；
[0109]
所述数据修正模块用于对时序数据的依赖关系进行修正，得到修正后的时序数据预测结果；
[0110]
所述数据输出模块用于输出修正后的时序数据预测结果。
[0111]
本发明的系统实施例与方法实施例相同。
[0112]
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述基于混合深度学习模型和stacking的时序数据预测方法。
[0113]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0114]
一种基于混合深度学习模型和stacking的时序数据预测装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于混合深度学习模型和stacking的时序数据预测装置执行任一上述基于混合深度学习模型和stacking的时序数据预测方法。
[0115]
具体地，所述存储器包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0116]
优选地，所述处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0117]
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。