基于混合注意力机制的单监测断面时序多要素水质预测方法

1.本发明涉及一种基于混合注意力机制的单监测断面时序多要素预测方法，特别是涉及一种基于稀疏注意力机制和多头注意力机制的水质指标预测方法。


背景技术：

2.水质预测指基于过去的水质情况预测未来一段时间内水质的变化，对实现水质的实时评价和污染源的动态管控等水质目标综合管理具有十分重要的意义。水质指标可以作为判断水污染程度的具体衡量尺度。单个水质断面的水质监测设备每四个小时会获取该断面的各类水质指标，由于水环境监测设备易受自身和外部环境的影响，如传感器探头受河水的腐蚀以及恶劣天气的影响导致的设备故障等，使得收集到的水环境水质指标随时间动态地变化，没有特定的规律性和稳定性，这就导致水环境指标可能呈非线性分布。传统的水环境质量模型往往只使用线性模型进行建模，并且参数选择上往往会忽略其他复杂的要素对水质的影响，所以如何在考虑水质断面中水质指标的时序特性基础上，有效地结合水文、气象等多要素信息，研究构建单监测断面时序多要素水质预测方法，从而准确的预测未来该水质断面的水质变化情况，是亟待解决的一个关键问题。
3.近年来随着数据量的增多，深度学习越来越成为时间序列预测的主流算法，广泛应用于水环境中。本研究综合考虑水文、气象等多要素数据，针对河流断面水质预测等问题提出一种基于psam和mham的单监测断面时序多要素水质预测方法，通过对各类影响水质指标的时间序列要素进行特征提筛选，并基于多种注意力机制对水质时序特征进行预测，最后通过gsd进行一次正向预测，建立一种较为精确的时序水质预测模型，从而有效地预测未来的水质时间序列变化趋势。通过对水质预测方法开展的系列研究工作，一方面可以通过对水环境多要素特征的分析，找到导致水质变化的主要原因，从而提升水质指标的预测精度；另一方面可以通过大数据分析的手段，使大量的水环境数据得到充分应用，对水环境管理提供信息辅助决策。


技术实现要素：

4.针对以上现有技术的不足，本发明提供一种基于sg滤波技术与psam和mham的单监测断面时序多要素水质预测模型。包括：基于sg滤波对数据进行平滑降噪处理；基于psam-mham模型实现水质指标多步预测。本发明的目的通过以下技术方案来实现。
5.一种基于psam和mham的单监测断面时序多要素水质预测模型方法，该方法包括如下的步骤：
6.1)获取一条单监测断面河流历史监测的多要素时间序列数据。
7.2)通过ppmcc选择和预测目标数据相关性较大的特征指标。
8.3)在2)的基础上，筛选特征指标后，通过sg滤波对数据进行平滑降噪处理。
9.4)在3)的基础上，将处理后的数据进行归一化处理，再按照滑动窗口宽度将数据划分为多个子序列。
10.5)在4)的基础上，将处理好的数据输入基于psam和mham的单监测断面时序多要素水质预测模型中，对水质指标进行多步预测，再对预测值进行反归一化，从而获得水质指标未来的预测值。
附图说明
11.图1一种基于psam和mham单监测断面多要素时序预测方法的流程示意图。
12.图2sg滤波平滑处理数据的方法流程图。
13.图3一种基于psam和mham单监测断面多要素时序预测方法的模型结构图。
具体实施方式
14.下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。
15.下面将参照附图1来描述根据本发明实施例的一种基于sg滤波与psam-mham的单监测断面时序多要素水质预测方法的具体步骤如下：
16.第一步，获取一条单监测断面河流历史监测的多要素时间序列数据单个水质断面的水质监测设备每四个小时会获取该断面的各类水质指标，对于缺失数据，用插值方法补齐。
17.第二步，通过ppmcc选择和预测目标数据相关性较大的特征指标
18.在多要素水环境时间序列数据中，不同的要素指标对水质预测的结果影响不同。为了更好地提升水环境时间序列数据模型的预测精度，本文使用ppmcc方法来判断不同要素指标与预测目标要素之间的相关性。
19.ppmcc方法主要用来描述变量间的线性相关程度，其相关系数的计算方式主要是x和y两个变量的协方差除以两者标准差之积。公式如下所示。
[0020][0021]
ρ表示为变量x和变量y之间的相关系数，其绝对值等于1。相关系数为1，说明两个变量正相关性较强，并且y随着x增加而增加；系数为-1说明两个变量负相关性较强，并且y随x的增加而减少；系数为0说明两个变量之间没有相关性。
[0022]
第三步，通过sg滤波对数据进行平滑降噪处理
[0023]
图2为sg滤波平滑处理数据的方法流程图。sg滤波的原理如下：水质数据中可能存在一些噪声点，为了更好地对未来水质指标进行预测，本文使用sg滤波器对水质数据进行平滑，并降低噪音的干扰。这种滤波器最大的特点在于滤除噪声的同时可以保留数据的有效信息，然后通过线性最小二乘法对每个数据子序列进行拟合，公式如下所示。
[0024][0025]
其中m为滤波器窗口大小，t水环境时间序列数据的长度，x
r ∈
为窗口中的数据点，卷积系数c
∈
＝{c
(1-m)/2
,...,cr,...,c
(m-1)/2
}在每个窗口中给x
r ∈
数据点平滑数据，代表预测值，用最小二乘法估计窗口大小为m和x
r ∈
{∈＝1,2，...t}，该方法有m个卷积系数。sg滤波器对数据平滑的影响随所选窗口的大小而变化。
[0026]
卷积系数ci的推导：多项式将通过线型最小二乘拟合到一组m相邻数据点，设滤波窗口宽度为m，多项式被线性最小二乘法拟合成一组相邻的数据点xr＝{x
(1-m)/2
,...,0,...x
(m-1)/2
}，采用k-1次多项式对窗口的数据点进行拟合。
[0027][0028]
通过最小二乘法拟合参数a，用矩阵表示，公式如下所示。
[0029]
xm×1＝jm×k·ak
×1[0030]
a的最小二乘解如下公式所示。
[0031][0032]
得到卷积系数c
∈
，是一个矩阵，公式如下所示。
[0033]c∈
＝(j
t
·
j)-1
·jt
[0034]
第四步，归一化处理，并通过滑动窗口划分特征序列数据
[0035]
滤波后的数据要做以下滑动窗口处理，以便模型输入。每一段子序列的长度即为滑动窗口的宽度，是输入时序长度和预测时序长度之和。
[0036]
1)针对上一步处理的多要素特征数据，进行多特性时间序列滑窗操作。公式如下所示。
[0037][0038]
其中，x'代表目标值，x代表要归一化的数据，x
min
代表数据中的最小值，x
max
代表数据中的最大值。
[0039]
2)滑动窗口宽度设定为输入时序长度和预测时序长度之和，使用滑动窗口截取输入值和预测值。
[0040]
第五步，psam-mham模型预测
[0041]
本发明使用一种基于psam和mham的网络结构来分析水环境相关指标，数据经过上一步处理后，设定编码器输入序列为编码器可接收任意长度的时序数据；解码器从输入历史数据中动态采样部分序列，且为避免解码器中的注意力机制关注到未来信息进行了0掩码操作，输入序列为(x
token
,x0)。
[0042]
1)psam
[0043]
首先，传统的自注意机制输入形式是(q,k,v)，然后进行点积操作，公式如下所示。
[0044]
[0045]
第i个query的注意系数的概率形式如下所示。
[0046][0047]
自注意机制需要二次时间复杂度的点积运算来计算上面的概率p，计算需要o(lqlk)的空间复杂度。因此这是提高预测能力的主要障碍。另外，之前的研究发现，自注意机制的概率分布具有潜在的稀疏性，稀疏性自注意的分布呈现长尾分布，即少数点积对主要注意有贡献，其他点积可以忽略。因此模型采用kl(kullback-leibler divergence)散度度量query的稀疏性，其中第i个query的稀疏性的评价公式如下所示。
[0048][0049]
其中，q是和q具有相同尺寸的稀疏矩阵，并且只包含在稀疏评估m(q,k)下top-u的查询。其中，u的大小由一个恒定的采样因子c控制，u＝c
·
ln lq，这使得稀疏自注意机制对于每个query-key只需要计算o(lnlq)点击操作，降低了模型网络的复杂度。
[0050]
2)编码器
[0051]
编码器的设计目的是提取序列输入的远期依赖性。作为稀疏自注意机制的结果，编码器的特征映射存在冗余组合，因此，模型利用蒸馏操作对具有主导特征的优势特征进行赋予更高权重，在下一层生成特征映射，并对输入的时间维度进行裁剪，如图3中的裁剪操作。j到j 1层的蒸馏操作的过程公式如下所示。
[0052]
x
j 1
＝maxpool(elu(conv1d([xj]
ab
)))
[0053]
其中[
·
]
ab
包含了mham以及在注意力块中的关键操作，conv1d表示时间序列上的一维卷积操作，并通过elu作为激活函数。
[0054]
3)解码器
[0055]
解码器部分中使用一个标准的解码器结构，由两个相同的多头注意层组成，如图3。另外，生成式解码器被用来缓解长期预测的速度下降问题。公式如下所示。
[0056]
x
de
＝concat(x
token
,x0)
[0057]
其中，x
token
＝{xw,x
w 1
…
x
t
}且1＜w＜t，x0＝{0,0
…
0}。此外，将掩码应用于psam的计算中，这种操作规避了模型关注未来值。最后，使用一个全连接层获得最终的输出，它的输出维度取决于我们是进行单要素预测还是多要素预测。
[0058]
该基于psam和mham结构的单监测断面时序多要素水质预测模型可应用于河流水质断面不同河流的ph值、溶解氧(do)等水质指标的预测，为实现相关水环境数据指标的精准预测提供了技术支撑。
[0059]
本发明对上面提出的一种基于psam和mham的单监测断面时序多要素水质预测方法。应当理解，以上借助优选实施例对本发明的技术方案进行的详细说明是示意性的而非限制性。本领域的普通技术人员在阅读本发明说明书的基础上可以对各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，然而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。