一种通过灰狼算法优化LSTM神经网络模型的方法与系统

一种通过灰狼算法优化lstm神经网络模型的方法与系统
技术领域
1.本发明涉及lstm神经网络模型领域，尤其涉及一种通过灰狼算法优化 lstm神经网络模型的方法与系统。


背景技术：

2.近些年以来，随着我国经济的不断发展和提高，城市化的进程不断加快，各地的城市也在不断扩张。随之而来的就是日益增长的能源消耗和环境污染的问题，所以为了应对未来可能出现的空气污染状况，对空气排污气体采取监控措施，随时掌握污染物的排放情况极为重要。
3.在空气质量预测技术发展的早期，主要通过统计学的理论与方法研究空气质量的变化规律，从而提出了以统计学为基础的空气质量预测技术；接着有的学者将多元线性和分类回归树结合，并应用到空气质量预测，也取得了一定的成果。近些年，随着机器学习的发展，大量学者提出以深度学习为基础的空气质量预测技术，运用最广泛的是构建神经网络的空气质量预测模型，将多通道数据输入网络训练，挖掘非线性数据的规律，提高预测精准度和泛化能力。
4.在空气质量预测领域现阶段最受欢迎的神经网络是长短时长记忆神经网络(lstm),因为lstm神经网络可以解决长时序列记忆丢失问题，并且lstm神经网络比传统神经网络对精准间隔时间的空气质量预测精准度更高，另外 lstm神经网络每个序列输出都可以对应一个时间点的空气质量预测结果；但同时也因为多个序列的存在，致使lstm神经网络存在计算费时，收敛速度延迟，进而导致模型预测精度下降的问题。所以对lstm网络拓扑结构优化尤为重要，目前对lstm神经网络预测模型参数的选取研究大多采取网格搜索算法，控制变量精细调，本质都是暴力搜索最优参数，该计算方式耗时耗力，而且始终得不到最优解。


技术实现要素：

5.本发明为了解决上述技术问题，提高lstm神经网络模型的预测精度，提出了一种通过灰狼算法优化lstm神经网络模型的方法，其通过改进的灰狼算法优化lstm神经网络模型，以预测空气质量值，包括步骤：
6.s1：获取预设时段内预设区域中各时刻t下，各类污染气体的浓度值与空气质量值，并构建数据集；
7.s2：初始化灰狼算法的输入参数，包括初始化a、a、c参数，以及设定狼群中灰狼的个数、最大迭代次数、灰狼个体维度即lstm神经网络模型的超参数、超参数的取值范围，并根据超参数取值范围随机初始化狼群位置，所述狼群位置中灰狼的个体位置即超参数；
8.s3：获取每个灰狼所在位置对应的适应度目标函数值，所述适应度目标函数值即通过数据集训练灰狼个体位置即超参数对应的lstm神经网络模型得到的结果值与实际空气质量值的差值；
9.s4：初始化迭代次数,并开始进行迭代次数的计数；
10.s5：获取适应度目标函数值中的最小值，并以最小值对应灰狼个体位置的狼为α狼；
11.s6：通过莱维飞行指导α狼更新其个体位置；
12.s7：更新a、a、c参数的值，并根据α狼的个体位置更新狼群位置；
13.s8：迭代次数加1，并判断迭代次数是否大于等于最大迭代次数，若否，则返回步骤s5，若是，则输出α狼的所在位置，即超参数；
14.s9:通过数据集与步骤s8获取的超参数训练lstm神经网络模型，并通过训练后的lstm神经网络模型预测空气质量值。
15.进一步地，所述超参数具体为lstm神经网络模型的隐藏层神经元数量和时间步长。
16.进一步地，所述数据集中包括若干条条目数据，所述条目数据中包括t 时刻对应的各类污染气体的浓度值与空气质量值，一个值对应一个项，所述步骤s1还包括对数据集进行预处理，具体包括：
17.s11:获取条目数据中数据缺失的项数，并判断项数是否大于等于预设超缺项数，若是，则删除该条目数据；若否，则获取缺失项对应t时刻上下预设时长内的数据均值，并通过均值填充该缺失项；
18.s12：对步骤s11处理后的数据集中各类污染气体的浓度值与空气质量值进行相关性分析，以获取相关性从大到小的排列顺序中，排列在前的预设个相关性对应的污染气体种类，并对该污染气体种类对应的浓度值进行平滑和归一化处理，以得到最终的数据集。
19.进一步地，所述步骤s6中通过莱维飞行指导α狼更新其个体位置，其公式表达式为：
[0020][0021][0022]
式中分别表示u、v符合正态分布，其中，σv＝1，式中，β为预设常数；
[0023]
t表示时刻，a为灰狼个体位置的随机数，为点对点的乘法符号，levy(β) 为随机搜索路径，x
worst
表示狼群位置中最差的灰狼个体位置，xa(t)为t时刻α狼的个体位置，xa(t)
′
表示通过莱维飞行指导后α狼的个体位置。
[0024]
进一步地，所述步骤s7中根据α狼的个体位置更新狼群位置的公式表达式为：
[0025]
da＝|c1·
xa(t)-x(t)|；
[0026]
x(t 1)＝xa(t)
′‑a·
da；
[0027]
式中，a为控制收敛因子，c1为协同系数，xa(t)为t时刻α狼的个体位置，x(t)为t时
刻灰狼的个体位置，da为α狼与其他灰狼之间的距离，xa(t)
′
表示通过莱维飞行指导后α狼的个体位置，x(t 1)为t 1时刻即更新后的灰狼个体位置。
[0028]
本发明还提出了一种通过灰狼算法优化lstm神经网络模型的系统，其通过改进的灰狼算法优化lstm神经网络模型，以预测空气质量值，包括：
[0029]
数据集构建模块，用于获取预设时段内预设区域中各时刻t下，各类污染气体的浓度值与空气质量值，并构建数据集；
[0030]
初始化模块，用于初始化灰狼算法的输入参数，包括初始化a、a、c参数，以及设定狼群中灰狼的个数、最大迭代次数、灰狼个体维度即lstm神经网络模型的超参数、超参数的取值范围，并根据超参数取值范围随机初始化狼群位置，所述狼群位置中灰狼的个体位置即超参数；
[0031]
适应度目标函数模块，用于获取每个灰狼所在位置对应的适应度目标函数值，所述适应度目标函数值即通过数据集训练灰狼个体位置即超参数对应的 lstm神经网络模型得到的结果值与实际空气质量值的差值；
[0032]
迭代模块，用于初始化迭代次数,并开始进行迭代次数的计数；
[0033]
头狼获取模块，用于获取适应度目标函数值中的最小值，并以最小值对应灰狼个体位置的狼为α狼；
[0034]
莱维指导模块，用于通过莱维飞行指导α狼更新其个体位置；
[0035]
更新模块，用于更新a、a、c参数的值，并根据α狼的个体位置更新狼群位置；
[0036]
判断模块，用于将迭代次数加1，并在迭代次数大于等于最大迭代次数时，输出α狼的所在位置，即超参数；在迭代次数小于最大迭代次数时，则通过头狼获取模块重新进入迭代；
[0037]
预测模块，用于通过数据集与步骤s8获取的超参数训练lstm神经网络模型，并通过训练后的lstm神经网络模型预测空气质量值。
[0038]
进一步地，所述超参数具体为lstm神经网络模型的隐藏层神经元数量和时间步长。
[0039]
进一步地，所述数据集中包括若干条条目数据，所述条目数据中包括t 时刻对应的各类污染气体的浓度值与空气质量值，一个值对应一个项，所述数据集构建模块还包括对数据集进行预处理，具体包括：
[0040]
均值填充单元，用于获取条目数据中数据缺失的项数，并在项数大于等于预设超缺项数时，删除该条目数据；在项数小于预设超缺项数时，获取缺失项对应t时刻上下预设时长内的数据均值，并通过均值填充该缺失项；
[0041]
相关性分析单元，用于对均值填充单元处理后的数据集中各类污染气体的浓度值与空气质量值进行相关性分析，以获取相关性从大到小的排列顺序中，排列在前的预设个相关性对应的污染气体种类，并对该污染气体种类对应的浓度值进行平滑和归一化处理，以得到最终的数据集。
[0042]
与现有技术相比，本发明至少含有以下有益效果：
[0043]
(1)本发明通过将超参数映射为灰狼个体位置，以通过数据集训练灰狼个体位置即超参数对应的lstm神经网络模型得到的结果值与实际空气质量值的差值为适应度目标函数值，并通过适应度目标函数值划分出α狼，同时为了避免传统灰狼算法中β狼和δ狼(第
二和第三最佳位置)对灰狼个体位置的误导，取消了β狼和δ狼的指导作用，只采用α狼(最佳位置)对种群位置进行引导，并且采用莱维飞行策略引领α狼进行全局搜索，通过改进后的灰狼算法对灰狼的位置进行迭代更新；在满足迭代次数后通过α狼的个体位置即最优的超参数与数据集训练lstm神经网络模型，以通过训练后的模型预测空气质量值，其极大的提高了网络的收敛速度与模型预测的准确性；
[0044]
(2)通过改进的灰狼算法获取lstm神经网络模型的最优超参数，解决了 lstm关于长时序列收敛速度慢和模型预测精准度低的问题；
[0045]
(3)通过莱维飞行(levy)策略指导α狼寻找更优的位置，可以避免狼群陷入局部最优，实现在优化过程中的全局搜索，有效地解决标准灰狼算法鲁棒性差的问题，从而进一步提高lstm神经网络的预测精准度；
[0046]
(4)本发明通过步骤s11对大量缺失数据的数据条目进行删除，少量缺失数据的数据条目进行均值填充,通过步骤s12对各类污染气体的浓度值与空气质量值进行相关性分析，以筛选出和空气质量值高度相关的污染气体种类 (以避免无用的数据影响lstm神经网络模型的性能)，并对筛选出来的数据进行平滑和归一化处理，以得到最终的数据集，其极大的提高了模型的预测精度。
附图说明
[0047]
图1为一种通过灰狼算法优化lstm神经网络模型的方法流程图；
[0048]
图2为一种通过灰狼算法优化lstm神经网络模型的系统模块图；
[0049]
图3为传统灰狼算法中的灰狼层级图。
具体实施方式
[0050]
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
[0051]
实施例一
[0052]
为了解决lstm神经网络存在计算费时，收敛速度延迟，进而导致模型预测精度下降的问题，如图1所示，本发明提出了一种通过灰狼算法优化lstm 神经网络模型的方法，其通过改进的灰狼算法优化lstm神经网络模型，以预测空气质量值，包括步骤：
[0053]
s1：获取预设时段内预设区域中各时刻t下，各类污染气体的浓度值与空气质量值，并构建数据集；
[0054]
所述数据集中包括若干条条目数据，所述条目数据中包括t时刻对应的各类污染气体的浓度值与空气质量值，一个值对应一个项，所述步骤s1还包括对数据集进行预处理，具体包括：
[0055]
s11:获取条目数据中数据缺失的项数，并判断项数是否大于等于预设超缺项数(表示大量缺失数据)，若是，则删除该条目数据；若否(表示少量缺失数据)，则获取缺失项对应t时刻上下预设时长内的数据均值，并通过均值填充该缺失项(即均值填充法)；
[0056]
本实施例中，具体获取的是缺失项对应t时刻上下10个小时内的数据均值。
[0057]
s12：对步骤s11处理后的数据集中各类污染气体的浓度值与空气质量值进行相关性分析，以获取相关性从大到小的排列顺序中，排列在前的预设个相关性对应的污染气体
种类(即高度相关的污染气体种类)，并对该污染气体种类对应的浓度值进行平滑和归一化处理，以得到最终的数据集。
[0058]
本发明通过步骤s11对大量缺失数据的数据条目进行删除，少量缺失数据的数据条目进行均值填充,通过步骤s12对各类污染气体的浓度值与空气质量值进行相关性分析，以筛选出和空气质量值高度相关的污染气体种类(以避免无用的数据影响lstm神经网络模型的性能)，并对筛选出来的数据进行平滑和归一化处理，以得到最终的数据集，其极大的提高了模型的预测精度。
[0059]
本实施例中，对该污染气体种类对应的浓度值进行归一化处理的公式为：
[0060]
式中，x为污染气体的浓度值，x
min
为进行相关性分析后筛选出的数据中最小的污染气体浓度值；x
max
为进行相关性分析后筛选出的数据中最大的污染气体浓度值；x为归一化后输出的污染气体浓度值，归一化后污染气体浓度值的数据范围为[0，1]。
[0061]
如图3所示，针对传统灰狼算法gwo，需要说明的是：
[0062]
灰狼属于犬科动物，被认为是顶级的掠食者，它们处于生物圈食物链的顶端。灰狼大多喜欢群居，一般每个群体中平均有5-12只狼。特别令人感兴趣的是，它们具有非常严格的社会等级层次制度，如图3所示。金字塔第一层为种群中的领导者，称为α。在狼群中α是具有管理能力的个体，主要负责关于狩猎、睡觉的时间和地方、食物分配等群体中各项决策的事务。金字塔第二层是α的智囊团队，称为β，β主要负责协助α进行决策。当整个狼群的α出现空缺时，β将接替α的位置。β在狼群中的支配权仅次于α，它将α的命令下达给其他成员，并将其他成员的执行情况反馈给α起着桥梁的作用。金字塔第三层是δ，δ听从α和β的决策命令，主要负责侦查、放哨、看护等事务。适应度不好的α和β也会降为δ。金字塔最底层是ω，主要负责种群内部关系的平衡。
[0063]
s2：初始化灰狼算法的输入参数，包括初始化a、a、c参数，以及设定狼群中灰狼的个数、最大迭代次数、灰狼个体维度即lstm神经网络模型的超参数、超参数的取值范围，并根据超参数取值范围随机初始化狼群位置，所述狼群位置中灰狼的个体位置即超参数；所述超参数具体为lstm神经网络模型的隐藏层神经元数量和时间步长。
[0064]
本实施例中，设置灰狼的个数为15，最大迭代次数为200。
[0065]
其中，a＝2a
·r1-a；c＝2
·
r2；式中，a是随着迭代次数的增加从 2衰减至0的常数，a为控制收敛因子，c为协同系数，r1,r2为(0,1)的随机数。
[0066]
s3：获取每个灰狼所在位置对应的适应度目标函数值，所述适应度目标函数值即通过数据集训练灰狼个体位置即超参数对应的lstm神经网络模型得到的结果值与实际空气质量值的差值；
[0067]
s4：初始化迭代次数,并开始进行迭代次数的计数；
[0068]
s5：获取适应度目标函数值中的最小值，并以最小值对应灰狼个体位置的狼为α狼；
[0069]
s6：通过莱维飞行指导α狼更新其个体位置；
[0070]
在灰狼算法位置更新的过程中，灰狼个体均向(α狼)的个体位置(最佳位置)靠近，
导致种群散失多样性，会陷入局部收敛，出现早熟早收敛弊端，所以采用莱维飞行(levy)指导α狼进行全局搜索，扩大搜索范围。
[0071]
所述步骤s6中通过莱维飞行指导α狼更新其个体位置，其公式表达式为：
[0072][0073][0074]
式中分别表示u、v符合正态分布，其中，σv＝1，式中，β为预设常数；
[0075]
t表示时刻，a为灰狼个体位置的随机数，为点对点的乘法符号，levy(β) 为随机搜索路径，x
worst
表示狼群位置中最差的灰狼个体位置，xa(t)为t时刻α狼的个体位置，xa(t)
′
表示通过莱维飞行指导后α狼的个体位置。
[0076]
s7：更新a、a、c参数的值，并根据α狼的个体位置更新狼群位置；
[0077]
步骤s7中，采用α狼(最佳位置)引导灰狼个体位置更新，取消β狼和δ狼(第二和第三最佳位置)对种群位置更新的指挥作用，因为β狼和δ狼在指挥狼群个体更新时，会出现误导个体灰狼远离最优解位置，累积的误差会导致寻优陷入局部收敛。
[0078]
所述步骤s7中根据α狼的个体位置更新狼群位置的公式表达式为：
[0079]
da＝|c1·
xa(t)-x(t)|；
[0080]
x(t 1)＝xa(t)
′‑a·
da；
[0081]
式中，a为控制收敛因子，c1(即c)为协同系数，xa(t)为t时刻α狼的个体位置，x(t)为t时刻灰狼的个体位置，da为α狼与其他灰狼之间的距离， xa(t)
′
表示通过莱维飞行指导后α狼的个体位置，x(t 1)为t 1时刻即更新后的灰狼个体位置。
[0082]
s8：迭代次数加1，并判断迭代次数是否大于等于最大迭代次数，若否，则返回步骤s5，若是，则输出α狼的所在位置，即超参数；
[0083]
s9:通过数据集与步骤s8获取的超参数训练lstm神经网络模型，并通过训练后的lstm神经网络模型预测空气质量值。
[0084]
本发明通过将超参数映射为灰狼个体位置，以通过数据集训练灰狼个体位置即超参数对应的lstm神经网络模型得到的结果值与实际空气质量值的差值为适应度目标函数值，并通过适应度目标函数值划分出α狼，同时为了避免传统灰狼算法中β狼和δ狼(第二和第三最佳位置)对灰狼个体位置的误导，取消了β狼和δ狼的指导作用，只采用α狼(最佳位置)对种群位置进行引导，并且采用莱维飞行策略引领α狼进行全局搜索，通过改进后的灰狼算法对灰狼的位置进行迭代更新；在满足迭代次数后通过α狼的个体位置即最优的超参数与数据集训练lstm神经网络模型，以通过训练后的模型预测空气质量值，其极大的提高了网络的收敛速度与模型预测的准确性。
[0085]
实施例二
[0086]
本实施例以具体的实验数据来展示不同网络的预测效果，我们可以将根均方误差(rmse)、平均方差(mape)、准确率(accuracy)作为网络模型性能的评价指标。见下表：
[0087][0088]
由表中的数据可知，比较了四种不同预测模型对空气质量预测的结果。bp 神经网络虽然能够跟踪预测趋势，但是具有长时序记忆的lstm神经网络对空气质量预测效果更好；本发明中利用levy改进gwo，并通过改进后的gwo获取lstm神经网络的最优超参数，可以让该模型精度有明显提高，预测值与实际值基本吻合，实验结果表明，本发明提出的通过灰狼算法优化lstm神经网络模型的方法具有可行性，可以有效提高网络的预测能力，在模型预测精度与模型预测稳定性方面都比传统方式更具有优势，为空气质量预测提供了一种更有效的方法和途径。
[0089]
实施例三
[0090]
如图2所示，本发明还提出了一种通过灰狼算法优化lstm神经网络模型的系统，其通过改进的灰狼算法优化lstm神经网络模型，以预测空气质量值，包括：
[0091]
数据集构建模块，用于获取预设时段内预设区域中各时刻t下，各类污染气体的浓度值与空气质量值，并构建数据集；
[0092]
所述数据集中包括若干条条目数据，所述条目数据中包括t时刻对应的各类污染气体的浓度值与空气质量值，一个值对应一个项，所述数据集构建模块还包括对数据集进行预处理，具体包括：
[0093]
均值填充单元，用于获取条目数据中数据缺失的项数，并在项数大于等于预设超缺项数时，删除该条目数据；在项数小于预设超缺项数时，获取缺失项对应t时刻上下预设时长内的数据均值，并通过均值填充该缺失项；
[0094]
相关性分析单元，用于对均值填充单元处理后的数据集中各类污染气体的浓度值与空气质量值进行相关性分析，以获取相关性从大到小的排列顺序中，排列在前的预设个相关性对应的污染气体种类，并对该污染气体种类对应的浓度值进行平滑和归一化处理，以得到最终的数据集。
[0095]
初始化模块，用于初始化灰狼算法的输入参数，包括初始化a、a、c参数，以及设定狼群中灰狼的个数、最大迭代次数、灰狼个体维度即lstm神经网络模型的超参数、超参数的取值范围，并根据超参数取值范围随机初始化狼群位置，所述狼群位置中灰狼的个体位置即超参数；
[0096]
适应度目标函数模块，用于获取每个灰狼所在位置对应的适应度目标函数值，所
述适应度目标函数值即通过数据集训练灰狼个体位置即超参数对应的 lstm神经网络模型得到的结果值与实际空气质量值的差值；
[0097]
迭代模块，用于初始化迭代次数,并开始进行迭代次数的计数；
[0098]
头狼获取模块，用于获取适应度目标函数值中的最小值，并以最小值对应灰狼个体位置的狼为α狼；
[0099]
莱维指导模块，用于通过莱维飞行指导α狼更新其个体位置；
[0100]
更新模块，用于更新a、a、c参数的值，并根据α狼的个体位置更新狼群位置；
[0101]
判断模块，用于将迭代次数加1，并在迭代次数大于等于最大迭代次数时，输出α狼的所在位置，即超参数；在迭代次数小于最大迭代次数时，则通过头狼获取模块重新进入迭代；
[0102]
预测模块，用于通过数据集与步骤s8获取的超参数训练lstm神经网络模型，并通过训练后的lstm神经网络模型预测空气质量值。
[0103]
所述超参数具体为lstm神经网络模型的隐藏层神经元数量和时间步长。
[0104]
通过莱维飞行(levy)策略指导α狼寻找更优的位置，可以避免狼群陷入局部最优，实现在优化过程中的全局搜索，有效地解决标准灰狼算法鲁棒性差的问题，从而进一步提高lstm神经网络的预测精准度。
[0105]
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0106]
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0107]
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0108]
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。