基于BP神经网络非线性组合的SARIMA-GRU时序预测模型的制作方法

基于bp神经网络非线性组合的sarima-gru时序预测模型
技术领域
1.本发明提供了一种基于bp神经网络非线性组合的sarima-gru时序预测模型，属于 计算机技术的时间序列预测技术领域。


背景技术：

2.时间序列是指某一类统计指标的数值按照发生时间的先后顺序排列形成的序列，时间序 列预测是根据已有历史数据来预测未来可能的变化趋势，从而为理论研究和工程应用等提供 科学的决策支持。常用的时序预测方法有：统计学中的arma、arima、sarima模型以 及深度学习中的rnn、lstm、gru等。由于时间序列受到多方面因素的影响，通常同时 包含线性成分和非线性成分，并且具有非平稳性和快速变换等特点，因此在实际预测工作 中，单个模型在某些特定的时间或状态下有很好的预测效果，但面对复杂的环境变化时单项 预测模型的准确性可能会降低。例如sarima模型在应对平稳且线性的时间序列预测问题 中已经很好效果，但在应对非线性数据时预测精度较低；gru网络在学习数据长期依赖关 系并挖掘其中隐藏的关联信息方面具有独特优势，但在分析时间序列时会忽略线性因素造成 的影响，对线性成分的挖掘效果欠佳。
3.对于同一预测问题往往可以采用多种方法进行求解，这些方法表现出不同的特点，适用 于具有不同特征的时间序列。因此，可以按照一定规则将多个模型进行组合，综合利用这些 方法所提供的有效信息，从多个角度分析数据，突出各个方法的优点，避免各个方法的缺 点，从而提高模型的预测精度及稳定性，取得更好的预测结果。作为统计学和深度学习中经 典的时序预测模型，sarima和gru的组合模型已被广泛使用，但当前学者对于sarima 和gru的组合方式都是通过最小二乘估计法或误差倒数法来实现的，这些方法只是通过简 单线性相加的方式求解单项模型的预测值在组合中的最优权重，无法及时反应复杂环境的动 态变化从而影响到犯罪预测模型的鲁棒性以及预测结果的准确率。
4.为解决上述问题，本发明提出一种基于bp神经网络非线性组合的sarima-gru时序 预测模型，综合利用了gru网络在非线性特征挖掘上的优势和sarima模型在线性时序预 测中的优势，可以很好的捕捉时序数据的复合特征并及时反应环境的动态变化，从而获得更 好的预测结果。


技术实现要素：

5.本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种结构的改 进。
6.为了解决上述技术问题，本发明采用的技术方案为：基于bp神经网络非线性组合的sarima-gru时序预测模型，包括如下步骤：
7.步骤1：数据预处理：对原始时序数据进行预处理，并划分训练集和测试集；
8.步骤2：搭建sarima时序预测模型：对训练集数据进行平稳性检测，确定sarima 模型的参数，得到sarima时序预测模型；
9.步骤3：搭建gru时序预测模型：通过智能优化算法搜索gru网络超参数，通过梯度 下降算法训练gru网络，得到gru时序预测模型；
10.步骤4：搭建bp-sarima-gru时序预测模型：构造bp神经网络的训练集，拟合bp 神经网络，得到bp-sarima-gru时序预测模型；
11.步骤5：评估bp-sarima-gru模型：将sarima和gru模型在测试集上的预测结果 作为输入，得到bp-sarima-gru模型的组合预测结果，计算组合预测结果与真实值间的 误差从而评估组合模型的效果。
12.所述步骤2中搭建sarima时序预测模型的具体步骤如下：
13.首先对原始的时序数据进行平稳化处理，然后进行模型定阶和参数估计操作，找到最佳 的(p,d,q)
×
(p,d,q)s参数组合，其中p表示自回归阶数，d表示差分次数，q表示移动平均 阶数，p表示季节性自回归阶数，d表示季节性差分阶数，q表示季节性移动平均阶数，s 表示季节周期数，具体计算公式为：
14.φ
p
(b)u
p
(bs)(1-b)d(1-bs)dy
t
＝θq(b)vq(bc)ε
t
；
15.上式中：φ(b)表示p阶自回归多项式，θ(b)表示q阶移动平均多项式；u(bs)表示p 阶季节性自回归多项式，v(bs)表示q阶季节性移动平均多项式；b为滞后算子，bs表示季 节滞后算子，(1-b)d表示经过d次逐期差分，(1-bs)d表示经过d次季节差分；y
t
为时间序 列；ε
t
为随机项。
16.找到最佳参数(p,d,q)s的计算公式如下：
[0017][0018]
上式中：δd表示经过d次差分，δds表示经过d次季节差分；γ1…
p
为待评估的季节 性自回归参数，h
1...q
为待评估的季节性移动平均参数，为待评估的自回归参数，θ
1...q
为待评估的移动平均参数。
[0019]
所述步骤3中搭建gru时序预测模型的具体步骤如下：
[0020]
通过智能优化算法搜索gru网络的最佳隐藏层结构和时间步长超参数，并基于梯度下 降算法来模型的权重参数，gru主要由更新门z
t
、重置门r
t
和隐藏层构成，向前传播的计 算公式如下：
[0021]zt
＝σ(wz·
[h
t-1
，x
t
])：
[0022]rt
＝σ(wr·
[h
t-1
，x
t
])；
[0023][0024][0025]
上式中：h
t-1
表示前一时刻的隐藏单元值，x
t
表示当前时刻的输入数据，wz、wr和wh分别表 示更新门、重置门、隐藏层神经元的参数，σ表示sigmoid激活函数，表示上一隐藏
层 状态h
t-1
和当前输入x
t
复合运算后得到的候选状态，h
t
表示隐藏层的输出数据。
[0026]
所述步骤4中bp—sarima-gru时序预测模型中的bp神经网络的输入数据为 sarima和gru模型在训练集上的预测结果，输出为真实值，隐藏层节点数j，bp神经网 络的结构为2-j-1，采用mae作为损失函数，relu为激活函数，采用adam算法进行训练 拟合，将各层神经元所确定的权重矩阵作为两种方法组合预测中的比重。
[0027]
本发明相对于现有技术具备的有益效果为：本发明提出的bp—sarima-gru模型可以 从多个角度分析数据，获取全面的动态信息从而提高模型的预测精度及稳定性。具体而言， 该模型通过bp神经网络将gru和sarima模型的预测结果进行非线性组合，综合利用了 gru网络在非线性特征挖掘上的优势和sarima模型在线性时序预测中的优势，可以很好 的捕捉时序数据的复合特征并及时反应环境的动态变化，从而获得更好的预测结果。
附图说明
[0028]
下面结合附图对本发明做进一步说明：
[0029]
图1为本发明的bp-sarima-gru时序预测模型构建的流程图；
[0030]
图2为本发明gru的内部结构示意图。
具体实施方式
[0031]
如图1-2所示，本发明要解决的问题：在时间序列预测中，“如何综合利用多种预测方 法所提供的有效信息，通过多个角度分析数据从而获得更好的预测结果”。当前的时序预测 模型都是基于单一算法或简单线性组合的方式来实现，此类模型无法捕捉到数据中的复合特 征或无法及时反应环境的动态变化，在预测结果的准确率和稳定性方面都存在缺陷。因此本 发明通过bp神经网络非线性组合的sarima-gru模型重新执行时序预测问题，该模型将 gru和sarima模型的预测结果通过bp网络非线性组合，采用反向传播算法进行权重学 习，将各层神经元所确定的权重矩阵作为两种方法在组合预测中的比重，综合利用gru网 络在非线性特征挖掘上的优势和sarima模型在线性时序预测中的优势，突出各个方法的 优点，避免各个方法的缺点，从而获得更好的预测结果。
[0032]
本发明解决其技术问题所采用的技术方案包括以下步骤：
[0033]
步骤1：数据预处理。对原始数据进行预处理操作，以保证模型的拟合效果。
[0034]
步骤2：搭建sarima模型。首先对原始的时序数据进行平稳化处理，然后进行模型定 阶和参数估计等操作，找到最佳的(p,d,q)
×
(p,d,q)s参数组合。其中p和p分别是自回归阶 数和季节性自回归阶数；d和d分别是差分次数和季节性差分阶数；q和q分别是移动平均 阶数和季节性移动平均阶数；s为季节周期数，具体计算公式如式(1)所示。其中φ(b)和 θ(b)分别表示p阶自回归多项式和q阶移动平均多项式；u(bs)和v(bs)分别表示p阶季节性 自回归多项式和q阶季节性移动平均多项式；b为滞后算子，bs表示季节滞后算子，(1-b)d表示经过d次逐期差分，(1-bs)d表示经过d次季节差分；y
t
为时间序列；ε
t
为随机项。
[0035]
φ
p
(b)u
p
(bs)(1-b)d(1-bs)dy
t
＝θq(b)vq(bs)ε
t
ꢀꢀꢀ
(1)。
[0036]
参数p、d、q分别表示季节性自回归阶数、季节性差分阶数和季节性移动平均阶数，s 为季节周期数。具体计算公式如式(2)所示。其中b为滞后算子，bs表示季节滞后算子， δd表示经过d次差分，δ
ds
表示经过d次季节差分；y
t
为时间序列；ε
t
为白噪声序列；u(bs) 和v
(bs)分别表示p阶季节性自回归多项式和q阶季节性移动平均多项式；φ(b)和θ(b)分别 表示p阶自回归多项式和q阶移动平均多项式；γ1…
p
、h1…q、θ1…q为相应的待评估参 数：
[0037][0038]
步骤3：搭建gru模型。通过智能优化算法搜索gru网络的最佳隐藏层结构和时间步 长等超参数，并基于梯度下降算法来模型的权重参数。gru是改进版的lstm，具有结构 简单、参数少、训练速度快等优点，gru主要由更新门z
t
、重置门r
t
和记忆体h
t
构成，向 前传播的计算公式如(3～6)所示，其中z
t
表示更新门，r
t
为重置门，h
t-1
表示前一时刻的隐 藏单元值，x
t
表示当前时刻的输入数据，是上一隐藏层状态h
t-1
和当前输入x
t
复合运算后 得到的候选状态。gru网络的计算过程如式(3-6)所示，其中σ表示sigmoid激活函数， wz，wr和wh分别表示各个门神经元的参数，即需要训练的权重参数，h
t
表示隐藏层的输出 数据。
[0039]zt
＝σ(wz·
[h
t-1
，x
t
])
ꢀꢀꢀ
(3)
[0040]rt
＝σ(wr·
[h
t-1
，x
t
])
ꢀꢀꢀ
(4)
[0041][0042][0043]
步骤4：搭建bp-sarima-gru模型。本发明中bp神经网络的输入数据为sarima 和gru模型在训练集上的预测结果，输出为真实值，通过实验测试最佳的隐藏层节点数j， 即bp神经网络的结构为2-j-1，选用mae作为损失函数，relu为激活函数，采用adam 算法进行训练拟合，将各层神经元所确定的权重矩阵作为两种方法在组合预测中的比重。
[0044]
步骤5：评估bp-sarima-gru模型。将sarima和gru模型在测试集上的预测结果 作为输入，得到bp-sarima-gru模型的预测值计算预测结果与真实值yi间的误差从 而评估组合模型的效果。
[0045]
下面结合附图和实施例对本发明进一步说明。
[0046]
1.数据预处理。本发明使用某市的真实案件数据进行验证，首先将案发记录中的离群值 和无效数据进行剔除，然后对案件类型和时空信息都相同的重复记录进行去重，最后对案件 时空信息不完整不精确的记录进行修补，得到完整且格式统一的案件时序数据以保证模型的 训练效果。取75％的数据作为训练集，剩余25％用于测试。
[0047]
2.搭建sarima模型。首先通过单位根检验案件时序数据中是否存在单位根，由adf 的检测结果可知d＝1，d＝1；然后通过bic准则评估性能最优的模型，遍历参数p、q、p、 q所有可能的组合情况，选取bic值最小的sarima(0,1,1)
×
(0,1,1)
12
作为最优模型。最后 采用白噪声检验该模型的残差，由于检测结果中所有的数都大于0.05，即当前残差是一个白 噪声序列，可以用该模型进行预测。
[0048]
3.搭建gru模型。本实验搭建含两个隐藏层和一个全连接层的gru模型，通过智能
优 化算法来搜索模型的最佳隐藏层单元数和时间步长，选用mae作为损失函数，relu为激 活函数，以adam为优化器对每个候选结构训练1000次。两个隐藏层的神经元个数最终稳 定在35和22，时间步长的最终取值为7，即根据之前7天的数据来预测未来一天的案件数 量可以取得最好的效果，最终得到性能最优的gru案件预测模型。
[0049]
4.搭建bp-sarima-gru模型。本发明中bp神经网络的输入数据为sarima和gru 模型在训练集上的预测结果，输出为案件数量的真实值，选用mae作为损失函数，relu 为激活函数，采用adam算法进行训练拟合，将各层神经元所确定的权重矩阵作为两种方法 在组合预测中的比重。通过消融实验可知，当bp神经网络的最佳隐藏层节点数j＝8时可以 得到最好的案件预测效果，即bp神经网络的拓扑结构为2-8-1。
[0050]
5.评估bp-sarima-gru模型。本实验采用rmse作为评估标准，将sarima和gru 模型在测试集上的预测结果作为输入，得到bp-sarima-gru模型对案件数量的预测值 然后将预测结果与案件数量真实值yi进行比较，最终的rmse值为1.364，而 sarima和gru模型的均方根误差值分别为2.191和1.680。该结果表明，本发明提出的 bp-sarima-gru模型可以捕捉到时序数据的复合特征，与其他模型相比具有更高的准确 率。
[0051]
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确 定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效 果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现 的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在 申请日前可以获取到的已公开发明、已公开的期刊论文、或公知常识等现有技术，无需赘 述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相 应的实体产品。
[0052]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参 照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以 对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替 换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范 围。