基于注意力机制LSTM模型实现NO的制作方法

基于注意力机制lstm模型实现no
x
排放量预测方法
技术领域
1.本发明涉及一种基于注意力机制lstm模型实现no
x
排放量预测方法。


背景技术：

2.目前，我国对燃煤电厂产生的no
x
的控制主要有三种方式：燃烧前脱硝、燃烧中脱硝和燃烧后脱硝。燃烧前脱硝是指使用低氮燃料，但该方法成本很高，技术上难以实现，因此工程应用较少。燃烧中脱硝是指通过改进生产工艺和燃烧方式，采用低氮燃烧技术，从而降低锅炉氮氧化物生成量。燃烧后脱硝也叫做烟气脱硝，是指在锅炉尾部烟道安装脱硝装置。后两种脱硝方式在工程中有较为广泛的使用，其中机组no
x
排放量的预测都作为反馈数据，显著影响着的脱硝效果。
3.随着新能源发电大批量接入电网，锅炉需要频繁接受电网调度，因此锅炉数据的维度呈现出一种爆发式增长的态势，经典算法根本无法处理如此高维的数据。此外，科研人员进行特征筛选时也需要考虑更多的限制因素和特征之间的相互关系，需要耗费大量的时间和精力。深度学习算法依靠自身的自动化特征提取能力，在处理高维数据时具有极强的优势。
4.长短期记忆(long short-term memory，lstm)是一种为了解决经典rnn结构在训练过程中梯度消失问题而提出的一种特殊的循环神经网络结构。经典的rnn模型训练过程中，需要使用反向传播算法来优化和更新网络参数，随着训练时间的正增长，模型反向传播的梯度逐渐消失，导致模型无法收敛。为了解决这一问题lstm结构被发现和提出，lstm在经典的rnn基础上添加了多个记忆单元和控制门，其中记忆单元负责存储每一步所产生的状态信息，控制门负责跟新记忆单元的状态，解决了经典的rnn结构无法有效的对长时间序列进行建模，当所分析的数据存在长期依赖时，经典的lstm网络结构对数据进行建模和预测十分有效。
5.注意力机制是一种根据人类认知技术所提出的一种视觉分析方法，用来调整不同特征在处理过程中的权重，实现信息的高效处理。一般来说，时间序列在建模过程中，不同特征层面的信息对结果的重要程度也不完全相同，重要的特征通常包含有更多的有用信息；反之其他特征则包含的有用信息较少，甚至会引入噪声等。
6.lstm结果虽然缓解了经典rnn结果中“梯度消失”的问题，但是当输入高维锅炉数据的时间周期过长时，仍然会有“梯度弥散”的情况出现，此时模型反向传播的梯度接近于零，致使模型参数无法更新和优化，导致模型训练失败。此外，高维的锅炉数据中存在大量无关信息，如果将这些特征全部直接使引入大量的噪声数据，导致模型无法收敛。为了解决这一问题，算法使用注意力机制来自动化地调节特征之间的权重，使模型能够着重使用数据中的有效信息，提高机组nox排放的预测精度。


技术实现要素：

7.本发明的目的是提供一种基于注意力机制lstm模型实现no
x
排放量预测方法，用
于解决使用高维数据建立lstm模型时，由于输入时间周期过长导致模型收敛困难的问题，减少建模过程中模型对于重要信息的遗忘现象，提高预测机组no
x
排放的精度。
8.本发明采用如下技术方案：
9.一种基于注意力机制lstm模型实现no
x
排放量预测方法，其包括如下步骤：
10.(1)从电站锅炉系统运行数据库中获取数据；
11.(2)对获取数据进行预处理；
12.(3)根据lstm模型的数据格式要求进行数据排序；
13.(4)使用attention-lstm模型来输出no
x
排放量；
14.(5)将注意力模块所输出的特征进行解码，输出预测值。
15.进一步的，步骤(1)中获得数据的方法为，从电站锅炉系统运行数据库中，选择时间跨度为36个月的运行数据，采样频率为每分钟1个数据样本，且这个采集数据时间跨度范围内锅炉燃烧系统无故障或停机过程，采集的参数涉及锅炉燃烧运行的操作参数与检测到的机组运行参数。
16.进一步的，步骤(1)中采集到的参数包括：机组负荷、scr入口no
x
浓度、喷氨量、总风量以及scr入口烟气温度。
17.进一步的，步骤(2)的预处理包括对原始数据进行补充与清洗以及对数据进行归一化处理。
18.进一步的，步骤(2)中，原始数据进行补充与清洗过程包括：将样本数据偏离平均值超过3倍的标准差则认为该样本为离群点，对之进行删除操作；删除离群点后，为了保持数据的趋势性和不减少深度网络训练样本的数量，对其进行线性插值补充，如下式，
[0019][0020]
进一步的，步骤(2)中，将补充与清洗后的数据利用下式进行归一化计算，
[0021][0022]
其中，代表锅炉参数归一化后的锅炉运行数据，为锅炉运行数据的均值，为锅炉运行数据的方差，ε为非零常数。
[0023]
进一步的，步骤(3)为，根据数据的采集时间，对锅炉运行数据进行排序，得到锅炉参数矩阵的同时，根据lstm模型的数据格式要求，对锅炉参数矩阵进行数据重组，得到模型参数矩阵如下，
[0024][0025]
其中，t为lstm锅炉排放量初始预测模型的超参数中的时间步数，代表在t-(t-α)时刻得到的锅炉参数矩阵，其中参数α的取值范围为1≤α≤t。
[0026]
进一步的，步骤(4)具体包括如下步骤：
[0027]
(1)初始化lstm模型的超参数；
[0028]
(2)使用样本数据与模型的预测值的均方差来作为误差函数，表示公式为如下，
[0029][0030]
其中，x表示m个时刻的面板数据，h(x(i))表示每个时刻的模型对于机组nox排放量的预测值，y表示每一个时刻的机组nox排放量的实际值；
[0031]
(3)确定激活函数，采用tahn激活函数，用以将输出控制在[0,1]的范围内；
[0032]
(4)对lstm预测模型进行训练，对于每一个时刻tn的数据，模型采用tn时刻之前包括tn时刻的数据作为训练集训练网络，预测(tn,tn tn)时间段内的机组no
x
排放预测值；预测完成之后，滑动时间窗口，采用t
n 1
＝tn tn时刻之前的数据训练网络；重复上述过程，不断滑动时间窗口，直至tn时刻，完成对lstm模型的训练；
[0033]
(5)构建注意力模块，注意力模块的输入是lstm结构的输出，注意力模块可以自动化的学习和判断不同特征的重要程度，并根据重要性关系来分配权重。
[0034]
进一步的，注意力模块直接嵌入到lstm学习模型中，进行端到端的训练；该模块中的权重系数如下式所示，
[0035][0036]
其中，a
t
可以使用下式进行计算，
[0037]st
＝μtanh(ω*h
t
b)
[0038][0039]
式中，e
t
表示t时刻有lstm所输出的特征，μ和ω是常数项。
[0040]
进一步的，步骤(5)中，使用下式对注意力模块所输出的特征进行解码，
[0041]yt
＝sigmoid(ω*s
t
b)
[0042]
其中，y
t
表示模型对于t时刻结果的预测，ω和b分别表示权重和偏置。
[0043]
本发明的有益效果在于：本发明以提高机组no
x
排放预测精度提升作为目标，将注意力机制应用于基于lstm模型的no
x
排放预测过程中，可以有效地减少使用高维数据建模的困难，减少建模过程中模型对于重要信息的遗忘现象，提高在机组no
x
排放预测问题上的精度。
附图说明
[0044]
图1为本发明的流程示意图。
[0045]
图2为本发明的系统结构示意图。
[0046]
图3为利用本发明和未加注意力模块的lstm模型对锅炉烟气中nox排放进行建模得到的预测结果对比图。
具体实施方式
[0047]
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通
技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0048]
一种基于注意力机制lstm模型实现no
x
排放量预测方法。具体方案如下：
[0049]
步骤1：从电站锅炉系统运行数据库中，选择时间跨度为36个月的运行数据，采样频率为每分钟1个数据样本，且这个采集数据时间跨度范围内锅炉燃烧系统无故障或停机过程，采集的参数涉及锅炉燃烧运行的操作参数与检测到的机组运行参数，包含机组负荷、scr入口no
x
浓度、喷氨量、总风量、scr入口烟气温度。
[0050]
步骤2：对获取的数据进行预处理针对原始数据进行补充与清洗，为了加快损失函数的收敛，还需对处理后的数据进行归一化处理。
[0051]
步骤2-1：根据统计学中的正态分布的假设之上，将样本数据偏离平均值超过3倍的标准差则认为该样本为离群点，对之进行删除操作。
[0052]
步骤2-2：删除离群点后，为了保持数据的趋势性和不减少深度网络训练样本的数量，对其进行线性插值补充，如下式，
[0053][0054]
步骤2-3：对数据进行归一化计算，其中归一化计算的计算公式为：
[0055][0056]
其中，代表锅炉参数归一化后的锅炉运行数据，为锅炉运行数据的均值，为锅炉运行数据的方差，ε为非零常数。
[0057]
步骤3：根据数据的采集时间，对锅炉运行数据进行排序，得到锅炉参数矩阵的同时，根据lstm模型的数据格式要求，对锅炉参数矩阵进行数据重组，得到模型参数矩阵如下，
[0058][0059]
其中，t为lstm锅炉排放量初始预测模型的超参数中的时间步数，代表在t-(t-α)时刻得到的锅炉参数矩阵，其中参数α的取值范围为1≤α≤t。
[0060]
步骤4：针对机组no
x
排放预测相关的数据存在时间序列上的依赖，使用lstm来输出no
x
排放的预测值。
[0061]
步骤4-1：初始化lstm模型的超参数。
[0062]
步骤4-2：本文使用样本数据与模型的预测值的均方差来作为误差函数，表示公式为如下，
[0063][0064]
其中，x表示m个时刻的面板数据，h(x(i))表示每个时刻的模型对于机组no
x
排放量的预测值，y表示每一个时刻的机组no
x
排放量的实际值。
[0065]
步骤4-3：确定激活函数，采用tahn激活函数，用以将输出控制在[0,1]的范围内；
[0066]
步骤4-4：对lstm预测模型进行训练，对于每一个时刻tn的数据，模型采用tn时刻之前包括tn时刻的数据作为训练集训练网络，预测(tn,tn tn)时间段内的机组no
x
排放预测值。预测完成之后，滑动时间窗口，采用t
n 1
＝tn tn时刻之前的数据训练网络。重复上述过程，不断滑动时间窗口，直至tn时刻，完成对lstm模型的训练。
[0067]
步骤4-5：构建注意力模块，注意力模块的输入是lstm结构的输出，注意力模块可以自动化的学习和判断不同特征的重要程度，并根据重要性关系来分配权重。注意力模块将会直接嵌入到lstm学习模型中，进行端到端的训练。该模块中的权重系数如下式所示，
[0068][0069]
其中，a
t
可以使用下面两个式子进行计算，
[0070]st
＝μtanh(ω*h
t
b)
[0071][0072]
式中e
t
表示t时刻有lstm所输出的特征，μ和ω是常数项。
[0073]
步骤5：预测输出，该部分需要将注意力模块所输出的特征进行解码。具体如下式所示，
[0074]yt
＝sigmoid(ω*s
t
b)
[0075]
其中y
t
表示模型对于t时刻结果的预测，ω和b分别表示权重和偏置。
[0076]
本发明实施例提供了一种基于注意力机制lstm锅炉no
x
排放预测模型的建模方法，用于解决现有预测锅炉no
x
排放的机器学习建模方法中输入时间周期过长时模型收敛困难，输入时间周期降低后模型对于重要信息的遗忘现象增加，导致锅炉no
x
排放的预测精度大幅下降的技术问题。
[0077]
计算例
[0078]
本实施例对某1000mw机组锅炉出口no
x
排放量进行预测。该机组采用scr系统处理炉膛出口烟气，氨气经过稀释后通过导流装置与炉膛出口烟气充分混合进入反应器，采用的催化剂为v2o5/tio2基催化剂。喷氨量是影响脱硝效率的主要因素，氨过量不仅造成还原剂浪费增加运行成本，更是直接影响着锅炉安全稳定运行，高精度的锅炉no
x
排放预测可以帮助控制系统更加精准地控制喷氨量。
[0079]
根据相关机理分析，选择影响锅炉no
x
排放的以下参数作为模型的输入变量：机组负荷、scr入口no
x
浓度、喷氨量、总风量、scr入口烟气温度。以上所有参数的运行值通过传感器测量并存入dcs历史数据库中。
[0080]
从历史数据库中选取机组负荷跨度较大的连续一周的以上各参数的运行数据，采样周期为60s。对数据进行预处理后，得到2956组数据，将其分为两组：其中2406组作为初始训练样本，另外550组未参加训练的工况段作为测试样本。
[0081]
请参考图1，本发明提出的基于注意力机制lstm模型预测锅炉no
x
排放量方法的步骤图，该方法步骤为：
[0082]
步骤1：将初始的2406组数据作为训练样本，记作其中
为输入样本，其各个维度对应机组负荷、scr入口nox浓度、喷氨量、总风量、scr入口烟气温度，y＝{y1,y2…yn
,}为输出样本，对应锅炉出口no
x
浓度，其中n＝2406。利用该样本构建lssvm模型，实现对烟气no
x
浓度的预测。
[0083]
步骤2：根据数据的采集时间，对锅炉运行数据进行排序，得到锅炉参数矩阵的，根据lstm模型的数据格式要求，对锅炉参数矩阵进行数据重组，得到模型参数矩阵如下，
[0084][0085]
其中，t为lstm锅炉排放量初始预测模型的超参数中的时间步数，这里取20，代表在t-(t-α)时刻得到的锅炉参数矩阵，其中参数α的取值范围为1≤α≤t。
[0086]
步骤3：针对机组no
x
排放预测相关的数据存在时间序列上的依赖，使用lstm来输出no
x
排放的预测值。
[0087]
初始化lstm模型的超参数，确定激活函数，采用tahn激活函数，用以将输出控制在[0,1]的范围内；采用样本数据与模型的预测值的均方差来作为误差函数，表示公式为如下，
[0088][0089]
其中，x表示m时刻的面板数据，h(x(i))表示每个时刻的模型对于机组no
x
排放量的预测值，y表示每一个时刻的机组no
x
排放量的实际值。
[0090]
对lstm预测模型进行训练，模型采用tn时刻之前包括tn时刻的共20组数据作为训练集训练网络，预测tn 1时间段内的机组no
x
排放预测值。预测完成之后，滑动时间窗口，采用t
n 1
时刻之前包括tn时刻的共20组数据训练网络。重复上述过程，不断滑动时间窗口，直至完成对lstm模型的训练。
[0091]
步骤4：构建注意力模块，注意力模块的输入是lstm结构隐含层的输出，注意力模块可以自动化的学习和判断不同特征的重要程度，并根据重要性关系来分配权重。注意力模块将会直接嵌入到lstm学习模型中，进行端到端的训练。该模块中的权重系数如下式所示，
[0092][0093]
其中，a
t
可以使用下面两个式子进行计算，
[0094]st
＝μtanh(ω*h
t
b)
[0095][0096]
式中e
t
表示t时刻有lstm所输出的特征，μ和ω是常数项。
[0097]
步骤5：预测输出，该部分需要将注意力模块所输出的特征连接到全连接层后使用sigmoid函数进行解码。具体如下式所示，
[0098]yt
＝sigmoid(ω*s
t
b)
[0099]
其中y
t
表示模型对于t时刻结果的预测，ω和b分别表示全连接层权重和偏置。
[0100]
为了验证基于注意力机制lstm模型的预测效果，同时还建立了未添加注意力模块的lstm模型进行对比，为了更加准确地评价模型的预测精度，引入平均相对误差(average relative error，are)与均一化相对均方根误差(normalized root mean square error，nrmse)来衡量模型预测效果，其表达式如下：
[0101][0102][0103]
二者对测试样本的预测结果对比见表1。
[0104]
表1 lstm模型预测精度
[0105][0106]
如表1所示，采用基于注意力机制lstm模型的预测模型的性能与未添加注意力模块的lstm模型相比有很大的改善，预测精度得到了提高。图3是利用本发明和未加注意力模块的lstm模型对锅炉烟气中no
x
排放进行建模得到的预测结果对比图。其中，测试样本为550组，由图可以看出，当排放特性改变时，未加注意力模块的lstm模型对no
x
的预测误差较大，而由于本发明施加了注意力模块捕捉到了输出特征中的重要信息，能一直保持较高的预测精度。
[0107]
上述实例用来说明本发明，而不是对其进行限制。在本发明的权利要求保护范围内，任何对本发明的修改都落入本发明的保护范围内。