一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于深层过渡网络的空气质量预测方法与流程

2021-12-07 23:57:00 来源:中国专利 TAG:


1.本发明涉及数据处理技术领域,具体涉及一种基于深层过渡网络 的空气质量预测方法。


背景技术:

2.影响空气质量有很多因素,比如no、co等污染物、汽车尾气、 工业排放以及风速、风向、降雨量等气象信息,统称这些信息为辅助 信息。但是在利用这些辅助信息进行空气质量预测时存在一定困难。 第一,这些信息很难精准地被全部获取到,对于污染信息,也很难得 到所有实时汽车尾气的排放量和工业的排放信息,对于气象信息,因 为预报信息存在一定偏差,所以也不能利用预报信息,这样会造成误 差累积。因此,现在的空气质量预测多利用no、co等污染物信息以 及过去的气象信息。第二,污染物之间、污染物和气象信息之间会发 生复杂的变化,没有办法完全建模覆盖所有的变化。所以如何利用好 可获得的辅助信息,找到各个辅助信息对于pm2.5预测的不同作用具 有重要的意义。
3.现在大多数空气质量预测模型对于各个特征之间的空间特征抽 取多利用cnn,时间特征的抽取利用rnn,或者直接利用注意力机制 提取空间特征,然后利用循环rnn网络或lstm网络提取时间特征。 但是这些方法在给定辅助信息的情况下提取潜在特征的能力是不够 的。


技术实现要素:

4.针对现有技术的不足,本发明旨在提供一种基于深层过渡网络的 空气质量预测方法,以提高空气质量预测的准确率。
5.为了实现上述目的,本发明采用如下技术方案:
6.一种基于深层过渡网络的空气质量预测方法,具体过程为:
7.s1、获取空气质量时序数据并进行预处理;
8.s2、采用基于辅助信息和深层过渡网络的空气质量预测模型ai
‑ꢀ
dtn进行空气质量预测:
9.所述空气质量预测模型ai

dtn由正反两个深层过渡网络和一个 全连接层组成,首先将利用正反两个深层过渡网络进行空间特征和时 间特征提取,然后将两个过渡网络的结果拼接在一起,最后由全连接 层进行输出;
10.每个深层过渡网络的深度均为l;深层过渡网络的第一层是门控 循环单元ai

gru,所述ai

gru用于提取输入的空间特征;深层过渡 网络的第二层到第l层由过渡门控循环单元t

gru组成,t时刻中第 l层t

gru的输出是t 1时刻中第一层ai

gru的输入;
11.空气质量预测模型ai

dtn的详细计算过程如下:
12.模型的输入分为两部分,第一部分是代表着历史时间窗口大小为 q的pm2.5时间序列,表示为x
t
={x
t

q 1
,...,x
t
},x
t
是一个维度为1*q 的矩阵,第二部分是代表着历史时间窗口大小为q的辅助信息时间序 列,表示为a
t
={a
t

q 1


,a
t
},a
t
是一个维度为n*q的矩阵,
a
t
中每 一个a
t

q 1
,...,a
t
都是一个n*1的矩阵,其中n代表辅助信息中特征的 个数;
13.在正向深层过渡网络中,首先将x
t
和a
t
输入到ai

gru中,得到 了深度过渡网络的第一层的隐藏状态
[0014][0015]
其中l代表深度过渡网络的层数,这个隐藏状态已经加权融合了 pm2.5信息和辅助信息,代表了t时刻的空间特征信息;然后将该隐 藏状态传入该时间步的下一层的t

gru,其隐藏状态如下式:
[0016][0017]
其中i代表当前网络深度,t

gru仅将上一层的ai

gru的隐藏 状态作为输入,最后一层的t

gru的隐藏状态将会作为输入传递给下 一个时间步的ai

gru;
[0018]
同样地,利用反向深层过渡网络,对x
t
和a
t
两个时间序列进行反 向的特征提取,可以得到代表着逆序时间序列信息的隐藏状态
[0019]
然后,将正反向两个深层过渡网络的隐藏状态按照时间顺序拼接 到一起:
[0020][0021]
其中,;代表拼接操作;此时,e
t
中包含了正向时间序列和反向时 间序列的经过深层过渡网络提取过的空间特征信息和时间特征信息; 最后,将e
t
输入到全连接层进行最后的预测,得到最后的输出:
[0022]
y
t
=w*e
t
b;
[0023]
其中*代表矩阵乘法,w是参数矩阵,b是偏置项。
[0024]
进一步地,步骤s1中,预处理的具体过程为:
[0025]
s1.1、缺失值处理:基于拉格朗日插值法对原始空气质量时序数 据进行缺失值处理;
[0026]
s1.2、归一化:采用min

max标准化的归一化方法,对完成缺失 值处理后的数据的线性变换,使结果值映射到[0

1]之间。
[0027]
进一步地,步骤s2中,对于时间步t,ai

gru网络的隐藏状态 h
t
的计算公式如下式所示:
[0028][0029]
其中

代表元素相乘,h
t
通过当前时间步的更新门控z
t
来对上一 个时间步的隐藏状态h
t
‑1和当前时间步的隐藏状态的候选值进行信 息选择和组合;
[0030]
z
t
是更新门控,其取值范围为(0,1),取值越接近0,代表丢弃 的历史信息越多,当前时间步新增加的信息越少,取值越接近1,代 表丢弃的过去时间步的信息越少,当前时间步新增加的信息越多;更 新门控z
t
的计算公式如下式所示:
[0031]
z
t
=σ(w
xz
x
t
w
hz
h
t
‑1 w
az
a
t
);
[0032]
w
xz
、w
az
、w
hz
分别表示权重,是当前时间步的隐藏状态的候选值;通过门控机制有选择地将当前时间步的pm2.5信息x
t
、辅助信息a
t
以及上一个时间步的隐藏状态h
t
‑1添加进ai

gru中;隐藏状态的候选值的计算公式如下式所示:
[0033][0034]
r
t
代表重置门,l
t
代表线性变换的门控,g
t
代表辅助信息的门控,p
t
代表辅助信息和pm2.5信息融合程度的门控,h(x)代表的是pm2.5的线性变换,;通过tanh激活函数将数据缩放到[

1,1],最后与经过线性变换后的信息相加得到的结果;r
t
、l
t
、g
t
、p
t
、h(x)的计算公式如下所示:
[0035]
r
t
=σ(w
xr
x
t
w
hr
h
t
‑1)(7);
[0036]
l
t
=σ(w
xl
x
t
w
hl
h
t
‑1)(8);
[0037]
g
t
=σ(w
ag
a
t
w
hg
h
t
‑1)(9);
[0038]
p
t
=σ(w
ap
a
t
w
hp
h
t
‑1)(10);
[0039]
h(x
t
)=w
x
x
t
(11);
[0040]
在上述公式中,w
xr
、w
hr
、w
xl
、w
hl
、w
ag
、w
hg
、w
ap
、w
hp
、w
x
分别表示权重,r
t
代表重置门控,代表了对历史信息的控制;在的计算中,r
t
与h
t
‑1进行元素相乘运算,h
t
‑1包含了截止到上一个时间步的所有历史信息,而r
t
的取值范围为(0,1),这表示取值越接近0,代表流入ai

gru的历史信息越少,取值越接近1,代表流入ai

gru的历史信息越多,这样可以及时丢弃与预测无关的历史信息;
[0041]
g
t
和p
t
是对a
t
和h
t
‑1进行的非线性变换;其中,g
t
的作用是提取对pm2.5有用的辅助信息,它控制着辅助信息流入ai

gru程度的大小,其取值范围为(0,1),取值越接近0,代表流入ai

gru的辅助信息越少,取值越接近1,代表流入ai

gru的辅助信息越多;p
t
的作用是融合辅助信息和pm2.5信息的门控,它控制着辅助信息和pm2.5信息融合程度的大小,其取值范围为(0,1),取值越接近0,代表流入辅助信息和pm2.5信息融合程度越小,取值越接近1,代表辅助信息和pm2.5信息融合程度越大;
[0042]
l
t
是线性变换h(x)的门控,控制着pm2.5信息通过线性变换后流入ai

gru的程度,其取值范围为(0,1),取值越接近0,代表流入ai

gru的pm2.5信息越少,取值越接近1,代表流入ai

gru的pm2.5信息越多;h(x)是关于pm2.5信息的线性变换,其作用是让ai

gru只关注pm2.5,使其注意力更多地放在pm2.5信息上;
[0043]
ai

gru通过重置门控r
t
、辅助信息的门控g
t
、代表辅助信息和pm2.5信息融合程度的门控p
t
以及线性变换门控l
t
,有效地控制了各种辅助信息对空气质量预测的影响程度;同时,这种门控机制也将预测起到正向效果的辅助信息、pm2.5信息以及历史信息选择性地添加到ai

gru中,并及时丢弃了预测无关的各类信息。
[0044]
进一步地,t

gru的隐藏状态的计算公式如下式所示:
[0045][0046]
其中,

代表元素相乘,i代表当前过渡网络的深度;z
t
是更新门控,其取值范围
为(0,1),取值越接近0,代表丢弃的历史信息越 多,由当前网络层新增加的信息越少,取值越接近1,代表丢弃的之 前网络层的信息越少,当前网络层新增加的信息越多,其计算公式如 下式所示:
[0047][0048]
是t

gru隐藏状态的候选值,通过重置门r
t
来对上一网络层的 隐藏状态进行数据处理,其计算公式如下式所示:
[0049][0050]
r
t
代表重置门,代表了对历史信息的控制;r
t
的取值范围为(0, 1),这表示取值越接近0,代表流入t

gru的历史信息越少,取值越 接近1,代表流入t

gru的历史信息越多,这样可以将那些与预测无 关的历史信息及时清除,其计算公式如下式所示:
[0051][0052]
t

gru只接受相同时间步内上一层传递过来的隐藏状态,这样可 以学习到连续的隐藏状态之间的特殊的非线性关系,进而可以获得更 加深层的状态表示。
[0053]
本发明的有益效果在于:本发明为了提取空气质量数据的深层次 空间特征与时间特征,提出了基于辅助信息和深层过渡网络的空气质 量预测模型(ai

dtn),它包含正反不同方向的两个过渡网络,分别 从正反两种时间序列方向上提取特征信息,以增强特征提取的程度。 ai

dtn中的每个过渡网络提取空间特征的融合辅助信息的门控循环 单元ai

gru和现有的提取时间特征的过渡门控循环单元t

gru所组 成。ai

gru的两种门控中,一个控制辅助信息流入门控循环单元的程 度,另一个控制pm2.5与辅助信息的融合程度,这种门控机制可以避 免信息融合过程中的相互干扰。
附图说明
[0054]
图1为本发明实施例中方法的技术路线示意图;
[0055]
图2为本发明实施例中空气质量预测模型ai

dtn的结构示意图;图3为本发明实施例中ai

gru的结构图;图4为本发明实施例中t

gru的结构图。
具体实施方式
[0056]
以下将结合附图对本发明作进一步的描述,需要说明的是,本实 施例以本技术方案为前提,给出了详细的实施方式和具体的操作过 程,但本发明的保护范围并不限于本实施例。
[0057]
本实施例提供一种基于深层过渡网络的空气质量预测方法,如图 1所示,具体过程为:
[0058]
s1、获取空气质量时序数据并进行预处理,预处理的过程为:
[0059]
s1.1、缺失值处理:
[0060]
原始的空气质量时序数据中存在着大量不完整、不一致、有异常、 偏离点的数据,这些问题数据会影响空气质量预测的精度。因此数据 预处理工作必不可少,而其中常见工
作的就是数据集的缺失值处理。
[0061]
数据缺失值处理可分两类。一类是删除缺失数据,一类是进行数 据插补。前者最大的局限就是它是以减少历史数据来换取数据的完备, 会造成资源的大量浪费,尤其在数据集本身就少的情况下,删除记录 可能会直接影响分析结果的客观性和准确性。因此本实施例基于拉格 朗日插值法进行缺失值处理。
[0062]
拉格朗日插值法的定义如下:
[0063]
对某个多项式函数,已知有给定的k 1个取值点,(x0,u0),...(x
k
,y
k
), 其中x
j
对应着自变量的位置,而y
i
对应着函数在这个位置的取值。
[0064]
假设任意两个不同的x
j
都互不相同,那么应用拉格朗日插值公式 所得到的拉格朗日插值多项式为:
[0065][0066]
其中l
j
(x)是拉格朗日基本多项式(或称插值基函数),其表达式为:
[0067][0068]
拉格朗日基本多项式l
j
(x)的特点是在x
j
上取值为1,在其它的点 x
i
,i≠j上取值为0。
[0069]
s1.2、归一化
[0070]
数据归一化处理是建立空气质量模型前的一项基础工作,不同特 征往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的 结果,为了消除特征之间的量纲影响,需要进行数据标准化处理,以 解决数据指标之间的可比性。原始数据经过数据标准化处理后,各特 征处于同一数量级,适合进行综合对比评价。本实施例方法采用的归 一化方法为min

max标准化,是对完成缺失值处理后的数据的线性变 换,使结果值映射到[0

1]之间。转换函数如下:
[0071][0072]
其中x
*
为归一化后的数据,x表示完成缺失值处理后的数据,max 为完成缺失值处理后的数据的最大值,min为完成缺失值处理后的数 据的最小值。
[0073]
s2、空气质量预测:
[0074]
针对如何区分不同辅助信息对pm2.5的预测程度的问题,本实施 例提出基于辅助信息和深层过渡网络的空气质量预测模型——ai
‑ꢀ
dtn(auxiliary information

deep transition network)。
[0075]
空气质量预测模型ai

dtn由正反两个深层过渡网络和一个全连 接层组成,首先将利用正反两个深层过渡网络进行空间特征和时间特 征提取,然后将两个过渡网络的结果拼接在一起,最后由全连接层进 行输出,其模型结构如图2所示。
[0076]
空气质量预测模型ai

dtn的构造重点在于正反两个深层过渡网 络,每个深层过渡网络的深度均为l。对于前馈神经网络,网络深度 指的是输入和输出之间非线性层的层数,而对于循环rnn网络来说, 网络的深度指的是一个时间步内非线性层的层数。
[0077]
深层过渡网络的第一层是门控循环单元ai

gru,所述ai

gru用 于提取输入的空
间特征。深层过渡网络的第二层到第l层由过渡门控 循环单元(transition gru,t

gru)组成,t

gru是深层过渡网络中 的重要组成部分,可以提取循环神经网络中隐藏状态更加深层的信息。 t时刻中第l层t

gru的输出是t 1时刻中第一层ai

gru的输入。
[0078]
下面将对ai

gru和t

gru作进一步的详细说明:
[0079]
1、融合辅助信息的门控循环单元ai

gru
[0080]
为了能够提取到更深层次的空间特征,以达到区分不同辅助信息 对pm2.5预测的重要程度的目的,本实施例提出了一种融合了辅助信 息的门控循环单元——ai

gru(auxiliary information

gru)。ai
‑ꢀ
gru受agdt(参考文献:liang y,meng f,zhang j,et al.a novelaspect

guided deep transition model for aspect basedsentiment analysis[j].arxiv preprint arxiv:1909.00324,2019.)启发,是一个利用gru的门控特点并在其基础上增加了对辅 助信息门控的循环神经网络单元。ai

gru不仅输入了pm2.5信息, 还利用辅助信息对空气质量预测进行辅助预测,同时还对这两种信息 进行了融合,并控制了辅助信息的输入程度以及pm2.5信息和辅助信 息融合的程度。ai

gru通过门控机制可以动态调整各个辅助信息的 权重,从而找到不同辅助信息对于pm2.5预测的重要程度。
[0081]
ai

gru的输出结构与gru是相同的,而输入结构不同,ai

gru 增加了辅助信息的输入。ai

gru结合来自当前时间步的x
t
、a
t
和上一 个时间的隐藏状态h
t
‑1得到当前时间步的隐藏状态h
t
,这个隐藏状态 包含了之前所有时间步的相关信息。ai

gru的隐藏状态h
t
即是ai

gru 的输出。ai

gru的结构图如图3所示。
[0082]
对于时间步t,ai

gru网络的隐藏状态h
t
的计算公式如式(4)所 示。
[0083][0084]
其中

代表元素相乘,h
t
通过当前时间步的更新门控z
t
来对上一 个时间步的隐藏状态h
t
‑1和当前时间步的隐藏状态的候选值进行信 息选择和组合。
[0085]
z
t
是更新门控,其取值范围为(0,1),取值越接近0,代表丢弃 的历史信息越多,当前时间步新增加的信息越少,取值越接近1,代 表丢弃的过去时间步的信息越少,当前时间步新增加的信息越多。更 新门控z
t
的计算公式如式(5)所示:
[0086]
z
t
=σ(w
xz
x
t
w
hz
h
t
‑1 w
az
a
t
) (5);
[0087]
w
xz
、w
az
、w
hz
分别表示权重,在训练过程中,通过深度学习中的梯 度下降法自动求得新权重;是当前时间步的隐藏状态的候选值,它 只是为了更新新的隐藏状态。通过门控机制有选择地将当前时间步 的pm2.5信息x
t
、辅助信息a
t
以及上一个时间步的隐藏状态h
t
‑1添加 进ai

gru中;
[0088]
隐藏状态的候选值的计算公式如式(6)所示:
[0089][0090]
r
t
代表重置门,其计算公式如式(7)所示。l
t
代表线性变换的门 控,其计算公式如式(8)所示。g
t
代表辅助信息的门控,其计算公式 如式(9)所示。p
t
代表辅助信息和pm2.5信息融合程度的门控,其 计算公式如式(10)所示。h(x)代表的是pm2.5的线性变换,计算公 式如式(11)所示。通过tanh激活函数将数据缩放到[

1,1],最 后与经过线性变换后的信
息相加得到的结果。
[0091]
r
t
=σ(w
xr
x
t
w
hr
h
t
‑1)(7);
[0092]
l
t
=σ(w
xl
x
t
w
hl
h
t
‑1)(8);
[0093]
g
t
=σ(w
ag
a
t
w
hg
h
t
‑1)(9);
[0094]
p
t
=σ(w
ap
a
t
w
hp
h
t
‑1)(10);
[0095]
h(x
t
)=w
x
x
t
(11);
[0096]
在上述公式中,w
xr
、w
hr
、w
x1
、w
h1
、w
ag
、w
hg
、w
ap
、w
hp
、w
x
分别表示权重,在训练过程中,通过深度学习中的梯度下降法自动求得新权重;r
t
代表重置门控,代表了对历史信息的控制。在的计算中,r
t
与h
t
‑1进行元素相乘运算,h
t
‑1包含了截止到上一个时间步的所有历史信息,而r
t
的取值范围为(0,1),这表示取值越接近0,代表流入ai

gru的历史信息越少,取值越接近1,代表流入ai

gru的历史信息越多,这样可以及时丢弃与预测无关的历史信息。
[0097]
g
t
和p
t
是对a
t
和h
t
‑1进行的非线性变换。其中,g
t
的作用是提取对pm2.5有用的辅助信息,它控制着辅助信息流入ai

gru程度的大小,其取值范围为(0,1),取值越接近0,代表流入ai

gru的辅助信息越少,取值越接近1,代表流入ai

gru的辅助信息越多。p
t
的作用是融合辅助信息和pm2.5信息的门控,它控制着辅助信息和pm2.5信息融合程度的大小,其取值范围为(0,1),取值越接近0,代表流入辅助信息和pm2.5信息融合程度越小,取值越接近1,代表辅助信息和pm2.5信息融合程度越大。
[0098]
l
t
是线性变换h(x)的门控,控制着pm2.5信息通过线性变换后流入ai

gru的程度,其取值范围为(0,1),取值越接近0,代表流入ai

gru的pm2.5信息越少,取值越接近1,代表流入ai

gru的pm2.5信息越多。h(x)是关于pm2.5信息的线性变换,其作用是让ai

gru只关注pm2.5,使其注意力更多地放在pm2.5信息上。
[0099]
ai

gru通过重置门控r
t
、辅助信息的门控g
t
、代表辅助信息和pm2.5信息融合程度的门控p
t
以及线性变换门控l
t
,有效地控制了各种辅助信息对空气质量预测的影响程度。同时,这种门控机制也将预测起到正向效果的辅助信息、pm2.5信息以及历史信息选择性地添加到ai

gru中,并及时丢弃了预测无关的各类信息。
[0100]
2、过渡门控循环单元
[0101]
过渡门控循环单元(transitiongru,t

gru)(参考文献:pascanur,gulcehrec,chok,etal.howtoconstructdeeprecurrentneuralnetworks[j].arxivpreprintarxiv:1312.6026,2013.)是深层过渡网络的重要组成部分,一般当过渡网络深度大于2时,开始使用t

gru。t

gru的输入仅是同一个时间步的上一层的隐藏状态输出的是同一个时间步的当前网络层的隐藏状态t

gru的结构如图4所示。
[0102]
t

gru的隐藏状态的计算公式如式(12)所示。
[0103][0104]
其中,

代表元素相乘,i代表当前过渡网络的深度。z
t
是更新门控,其取值范围为(0,1),取值越接近0,代表丢弃的历史信息越多,由当前网络层新增加的信息越少,取值越接近1,代表丢弃的之前网络层的信息越少,当前网络层新增加的信息越多,其计算公式如式(13)所示。
[0105][0106]
是t

gru隐藏状态的候选值,通过重置门r
t
来对上一网络层的隐藏状态进行数据处理,其计算公式如式(14)所示。
[0107][0108]
r
t
代表重置门,代表了对历史信息的控制。r
t
的取值范围为(0,1),这表示取值越接近0,代表流入t

gru的历史信息越少,取值越接近1,代表流入t

gru的历史信息越多,这样可以将那些与预测无关的历史信息及时清除。其计算公式如式(15)所示。
[0109][0110]
t

gru只接受相同时间步内上一层传递过来的隐藏状态,这样可以学习到连续的隐藏状态之间的特殊的非线性关系,进而可以获得更加深层的状态表示。
[0111]
进一步地,空气质量预测模型ai

dtn的详细计算过程如下:
[0112]
模型的输入分为两部分,第一部分是代表着历史时间窗口大小为q的pm2.5时间序列,表示为x
t
={x
t

q 1
,...,x
t
},x
t
是一个维度为1*q的矩阵,第二部分是代表着历史时间窗口大小为q的辅助信息时间序列,表示为a
t
={a
t

q 1


,a
t
},a
t
是一个维度为n*q的矩阵,a
t
中每一个a
t

q 1
,...,a
t
都是一个n*1的矩阵,其中n代表辅助信息中特征的个数。
[0113]
由于深层过渡网络的原理相同,下面以正向深层过渡网络为例说明计算过程。首先将x
t
和a
t
输入到ai

gru中,得到了深度过渡网络的第一层的隐藏状态
[0114][0115]
其中l代表深度过渡网络的层数,这个隐藏状态已经加权融合了pm2.5信息和辅助信息,代表了t时刻的空间特征信息;然后将该隐藏状态传入该时间步的下一层的t

gru,其隐藏状态如公式:
[0116][0117]
其中i代表当前网络深度,t

gru仅将上一层的ai

gru的隐藏状态作为输入,最后一层的t

gru的隐藏状态将会作为输入传递给下一个时间步的ai

gru。
[0118]
同样地,反向深层过渡网络和正向深层过渡网络的原理相同,利用反向深层过渡网络,对x
t
和a
t
两个时间序列进行反向的特征提取,可以得到代表着逆序时间序列信息的隐藏状态然后,将正反向两个深层过渡网络的隐藏状态按照时间顺序拼接到一起:
[0119][0120]
其中,;代表拼接操作。此时,e
t
中包含了正向时间序列和反向时间序列的经过深层过渡网络提取过的空间特征信息和时间特征信息。最后,将e
t
输入到全连接层进行最后的预测,得到最后的输出:
[0121]
y
t
=w*e
t
b(19);
[0122]
其中*代表矩阵乘法,w是参数矩阵,b是偏置项。
[0123]
对于本领域的技术人员来说,可以根据以上的技术方案和构思, 给出各种相应的改变和变形,而所有的这些改变和变形,都应该包括 在本发明权利要求的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献