一种基于LSTM的多潜在子空间信息融合地震短临预测方法与流程

一种基于lstm的多潜在子空间信息融合地震短临预测方法
技术领域
1.本发明属于地震多视图数据融合与地震预测技术领域，尤其涉及一种基于lstm的多潜在子空间信息融合地震短临预测方法。


背景技术：

2.地震短临预测一般指未来几天或者一个月内对是否可能发生地震进行预测，目前地震短临预测的主流方法是寻找地震相关的前兆异常信号，但是大量事实表明并没有一种可靠、明显的地震前兆异常信号预示着未来可能发生地震，电磁信号被认为是和地震密切相关的信号之一，有较多的地震相关电磁信号研究，随着人工智能方法的发展，有学者尝试将神经网络应用到地震预测任务中，目的是挖掘地震相关数据和地震发生之间存在的内在关联，但是因为地震相关数据集存在比较大的噪声，且数据中相关的地震异常信号可能被庞大的背景信号所覆盖；或者因为地震发生的时地质活动往往是异常复杂的难以被有效解释。而机器学习方法的发展使得各种数据挖掘技术被提出，多视图的数据融合是一种数据挖掘的有效手段，核典型相关分析能够分析两组数据之间的共同潜在子空间，挖掘共有的特征，但是提取的特征往往失去了其本身含有的物理意义，不能确定地震异常信号存在于哪一个潜在子空间，如何将多视图数据融合领域恰当地应用到地震短临预测领域来提高地震短临的准确率和可靠性值得深入研究。
3.对电磁信号可以从时域和频域两个不同的视图进行观测，分析这两个视图的潜在共有特征可以从更深层次挖掘电磁信息；同时神经网络的非线性数据分析能力对于地震数据的分析有着重大的优势，利用神经网络方法对多视图融合的数据进行地震短临预测有着重要的研究意义，基于此本发明提出一种基于lstm的多潜在子空间信息融合地震短临预测方法。


技术实现要素：

4.针对现有技术存在的以上问题，本发明旨在提供一种基于lstm的多潜在子空间信息融合地震短临预测方法，该方法对电磁信号可以从时域和频域两个不同的视图进行观测，分析这两个视图的潜在共有特征可以从更深层次挖掘电磁信息，并利用神经网络的非线性数据处理能力提高地震短临预测的准确率和可靠性，该方法可以根据15天的电磁数据预测未来4天发生地震的可能性。
5.为实现本发明的目的，本发明所采用的技术方案如下：
6.一种基于lstm的多潜在子空间信息融合地震短临预测方法，所述方法包括以下步骤：
7.步骤1：对数据进行归一化和重采样预处理；
8.步骤2：使用核典型相关分析算法提取潜在子空间和对应的典型相关变量；
9.步骤3：在多组典型相关变量数据上使用滑动窗口制作多组训练集和测试集；
10.步骤4：使用多组训练集训练多个lstm地震短临预测分类器，借鉴stacking框架，
分别保留分类器在测试集上的测试结果，作为第二层分类器的训练数据；
11.步骤5：训练lr回归模型对步骤4中的分类器进行决策融合；
12.步骤6：输入电磁时序数据，模型输出结果。
13.作为本发明的一种改进，所述步骤1中，对数据进行归一化和重采样预处理的方法为：
14.对原始数据进行归一化处理，首先对数据的时间序列求均值和标准差，然后将数据的每一个元素减均值并除标准差，在地震预测任务中处理的数据是时序数据，经过归一化处理之后的时序数据能够有更强的平稳性，归一化过程的具体公式为：
[0015][0016]
式中y
mean
是数据的均值，y
std
是数据的标准差，y
i
表示数据向量中的第i个元素。
[0017]
对原始数据进行重采样，地震数据的规模一般比较大，且特点是采样频率高，且地震电磁数据的收集事件跨度比较大，往往以年为单位，可能会出现前期和后期的采样频率不一致的情况，所以对数据进行降采样非常有必要，因为电磁数据一般有着比较明显的日周期特性，本方法将重采样周期设置为1天，具体公式为：
[0018][0019]
式中其中t为一天的时长，t
s
为原始数据的采样周期。
[0020]
作为本发明的一种改进，所述步骤2中，使用核典型相关分析算法提取潜在子空间和对应的典型相关变量，为了解决实际采集数据的非线性限制，首先将预处理的数据首先通过一个非线性映射从低维空间映射到高维空间：
[0021][0022]
式中x
i
是数据集x的第i个样本，共有m维；φ是映射函数，具体的映射方法不做限制，为了简化计算，使用核技巧直接求取高维空间数据向量之间的点积，从而隐藏映射过程，本发明使用的核函数是rbf径向基核函数，计算公式为：
[0023][0024]
式中，x和z分别是高维空间的向量；σ是一个自由参数通常使用默认值1；|
·
|2是两个向量欧几里得距离的平方。对于映射到高维空间的数据求取投影向量，经过投影保留更有益的信息而忽略更无用的信息，使用两组数据的相关系数作为目标求取的优化函数，为了使用核技巧简化计算过程，可以使用下式作为优化函数：
[0025][0026]
式中k是rbf径向基核函数的简写，其中(k
x
)
ij
＝k
x
(x
i
,x
j
)，(k
y
)
ij
＝k
y
(y
i
,y
j
)分别是二维的矩阵，矩阵的维度等于数据集样本的数量，r1、r2是正则项防止过拟合，α和β是需要求解的量，对上式优化函数进行最优化求解，可以使用拉格朗日乘数法进行求解，也可以通过svd奇异值分解进行求解，两种方法互通，但是仅从求解过程的简便性考虑本发明推荐使
用svd奇异值分解方法求解，求解的结果最终会转化成对矩阵特征分解：
[0027]
(k
x
r1i)
‑1k
y
(k
y
r2i)
‑1k
x
α＝λ2α
[0028]
(k
y
r2i)
‑1k
x
(k
x
r1i)
‑1k
y
β＝λ2β
[0029]
其中，将上式中的(k
x
r1i)
‑1k
y
(k
y
r2i)
‑1k
x
记作矩阵a，可以写为aα＝λ2α，将问题转化成矩阵特征值分解，分解得出的特征向量即为要求解的向量α，同理将(k
y
r2i)
‑1k
x
(k
x
r1i)
‑1k
y
β记作矩阵b并对其进行矩阵分解得到解向量β。
[0030]
本发明选择保留前3组特征向量作为解，通过下式可以由解向量求出对应的典型性相关变量：
[0031][0032]
式中，α
i
和β
i
是标量，分别是向量α和β的元素；x
i
和y
i
分别是数据集x、y的第i个样本。
[0033]
作为本发明的一种改进，所述步骤3中，使用滑动窗口的方法制作训练集和测试集，考虑到地震数据的样本不均衡现象和短临预测的要求，本发明中使用长度为15天的窗口制作样本，1个地震震例可以生成4个正样本，时间窗口分别为前16天到前1天、前17天到前2天、前18天到前3天和前19天到前4天，对于负样本则将窗口进行步长为1天的滑动，在滑动的过程中保证正负样本的数据没有交叉，具体的，有地震的正样本的前19天到之后的2天范围内的数据不能出现在负样本数据中，这样的样本生成方法在一定程度上缓解了正负样本不均衡的现象，并且在制作样本的过程中就体现了短临预测：通过15天的电磁数据预测未来4天发生地震的可能性。
[0034]
作为本发明的一种改进，所述步骤4中，基于lstm网络对样本的时间序列数据进行分类，整个分类神经网络由时间序列输入、lstm单元、全连接层和softmax层组成，输入的序列是2*15的二维数据，即2个时频域对应的典型变量和时间窗口步长15，全连接层的输出维度是2，因为本发明预测的是有地震和无地震的2分类问题。该网络能够在利用历史信息的基础上对一个时序数据进行分类，在本发明中使用的是单层的lstm网络，每个隐藏单元的维度是200，该维度的设置应在一个合理的范围，过高会导致网络过拟合而过低则无法有效筛选和传递信息，通过下式进行信息的传递：
[0035]
f
t
＝σ(w
f
·
[h
t
‑1,x
t
] b
f
)
[0036]
i
t
＝σ(w
i
·
[h
t
‑1,x
t
] b
i
)
[0037]
g
t
＝tanh(w
c
·
[h
t
‑1，x
t
] b
c
)
[0038]
o
t
＝σ(w
o
[h
t
‑1，x
t
] b
o
)
[0039]
式中，f
t
是遗忘门决定要丢弃的信息，i
t
是输入们决定当前的输入信息的保留，g
t
门根据当前的输入和上一次的输出计算当前的单元状态，o
t
决定了当前单元的输出值，式中σ是sigmoid激活函数，w、b分别是权重系数和偏置，h
t
‑1是上一个时间步的输出，x
t
是数据输入。
[0040]
作为本发明的一种改进，所述步骤5中，借鉴stacking框架对不同潜在子空间对应
的lstm分类器进行决策层融合，在stacking框架中lstm分类器的softmax输出的概率被保存并作为lr回归模型的训练数据，在训练lstm分类器时首先对训练集平均分成3份分别称为fold1、fold2和fold3，若数据集过大也可以考虑分成4份或者5份，然后进行如下操作：
[0041]
1)使用fold1和fold2数据集训练分类器并预测fold3，保存预测结果；
[0042]
2)使用fold1和fold3数据集训练分类器并预测fold2，保存预测结果；
[0043]
3)使用fold2和fold3数据集训练分类器并预测fold1，保存预测结果；
[0044]
这样做的优点是进行了交叉验证，增强了模型的鲁棒性。在本发明中因为有3个子分类器所以lr模型共有3个神经元，因为3个潜在子空间对应3组数据集和3个分类器，将上述步骤在每个数据集和分类器上进行一次，总共可以得到9组预测结果，将其进行拼接并添加正确的标签后作为lr回归模型的训练集，最终训练得到的lr回归模型本质上是对3个子分类器的决策融合，对于输入数据，首先由3个lstm分类器得出预测的概率，并将结果作为lr回归模型的输入得到最终的预测结果。
[0045]
与现有技术相比，本发明的技术方案具有以下的有益技术效果：将多视图信息融合应用到地震数据分析中，并应用到地震短临预测，对电磁信号可以从时域和频域两个不同的视图进行观测，利用核典型相关分析求出两视图的潜在子空间从更深层次挖掘电磁信息，对多个潜在子空间分别训练lstm分类器，可以从一定程度解决潜在子空间中物理意义丢失的问题，并且使用stacking框架将多个潜在子空间对应的分类器进行决策融合可以进一步提高地震短临预测的准确性和可靠性。
附图说明
[0046]
图1是本发明一种基于lstm的多潜在子空间信息融合地震短临预测方法流程图；
[0047]
图2是本发明中单个lstm分类器的结构图。
具体实施方式
[0048]
下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0049]
实施例1：如图1所示，本发明提出了一种基于lstm的多潜在子空间信息融合地震短临预测方法，该方法的详细步骤为：
[0050]
(1)对数据进行归一化和重采样预处理；
[0051]
使用公式对原始数据进行归一化处理，式中y
mean
是数据的均值，y
std
是数据的标准差，y
i
表示数据向量中的第i个元素。
[0052]
对原始数据进行重采样，地震数据的规模一般比较大，且特点是采样频率高，且地震电磁数据的收集事件跨度比较大，往往以年为单位，可能会出现前期和后期的采样频率不一致的情况，所以对数据进行降采样非常有必要，因为电磁数据一般有着比较明显的日周期特性，本方法将重采样周期设置为1天，具体公式为：
[0053][0054]
式中其中t为一天的时长，t
s
为原始数据的采样周期
[0055]
(2)使用核典型相关分析算法提取潜在子空间和对应的典型相关变量；
[0056]
使用核电向相关分析求电磁时域和电磁频域两个视图的潜在子空间，首先根据下式计算高维空间点积结果：
[0057]
(k
x
)
ij
＝k
x
(x
i
，x
j
)
[0058]
(k
y
)
ij
＝k
y
(y
i
，y
j
)
[0059]
x
i
，y
i
分别是电磁时域数据集和电磁频域数据集的样本，其中分别是电磁时域数据集和电磁频域数据集的样本，其中k
x
、k
y
均是二维矩阵。然后对下列优化函数进行求解：
[0060][0061]
式中k是rbf径向基核函数的简写，其中(k
x
)
ij
＝k
x
(x
i
，x
j
)，(k
y
)
ij
＝k
y
(y
i
，y
j
)分别是二维的矩阵，矩阵的维度等于数据集样本的数量，r1、r2是正则项防止过拟合，α和β是需要求解的量，求解的结果得到下式：
[0062]
(k
x
r1i)
‑1k
y
(k
y
r2i)
‑1k
x
α＝λ2α
[0063]
(k
y
r2i)
‑1k
x
(k
x
r1i)
‑1k
y
β＝λ2β
[0064]
将上式中的(k
x
r1i)
‑1k
y
(k
y
r2i)
‑1k
x
记作矩阵a，第一个式子可以写为aα＝λ2α，将问题转化成矩阵特征值分解，分解得出的特征向量即为要求解的向量α，同理将(k
y
r2i
‑
1kxkx r1i
‑
1kyβ记作矩阵b并对其进行矩阵分解得到解向量β。
[0065]
本发明选择保留前3组特征向量作为解，通过下式可以由解向量求出对应的典型性相关变量：
[0066][0067]
式中，α
i
和β
i
是标量，分别是向量α和β的元素；x
i
和y
i
分别是数据集x、y的第i个样本。
[0068]
(3)使用滑动窗口的方法制作训练集和测试集；
[0069]
首先制作含地震的正样本，获取历史地震列表，然后对于地震列表中地震所对应的日期，将长度为15的窗口从地震发生的日期开始以1天的步长向前滑动4次得到4个正样本；然后制作不含地震的负样本，将长度为15的窗口从数据开始时间向后以1天的步长滑动，如果窗口内包含了地震前19天到地震后2天的数据，则跳过该段数据。
[0070]
(4)基于lstm网络对样本的时间序列数据进行分类；
[0071]
图2所示为单个lstm网络分类器的拓扑图及训练过程，首先输入的数据是2*15的二维矩阵，训练的batch大小为120；然后将数据输入到lstm层，其中lstm层内的每个门含有200的神经元，因为数据的时序长度为15，所以lstm层会循环15次；然后将数据输入到全连接层，因为是二分类问题，所以全连接层共有2个神经元；然后全连接层的输出结果输入到
softmax层，这能够保证两个类别的输出值相加为1，所以可以将输出值作为两个类别的概率，通过概率得出分类结果，每一次根据梯度优化损失函数和更新网络的权重。
[0072]
(5)对不同潜在子空间对应的lstm分类器进行决策层融合；
[0073]
在stacking框架中lstm分类器的softmax输出概率被保存并作为lr回归模型的训练数据，在训练lstm分类器时首先将训练集平均分成3份分别称为fold1、fold2和fold3，然后进行如下操作：
[0074]
1)使用fold1和fold2数据集训练分类器并预测fold3，保存预测结果；
[0075]
2)使用fold1和fold3数据集训练分类器并预测fold2，保存预测结果；
[0076]
3)使用fold2和fold3数据集训练分类器并预测fold1，保存预测结果；
[0077]
对三个潜在子空间对应的数据集分别进行上述过程，总共可以得到9组预测结果，将其进行拼接并添加正确的标签后作为lr回归模型的训练集，最终训练得到的lr回归模型本质上是对3个子分类器的决策融合，对于输入数据，首先由3个lstm分类器得出预测的概率，并将结果作为lr回归模型的输入得到最终的预测结果。
[0078]
(6)输入电磁时序数据，模型输出结果。
[0079]
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。