一种多源异构滑坡数据监测融合方法

1.本发明涉及数据融合技术领域，更具体的涉及一种多源异构滑坡数据监测融合方法。


背景技术：

2.多源数据融合技术作为一门新兴的、多领域的交叉学科，经过十多年的探索发展已经在滑坡变形监测上有了广泛的应用。伴随着众多传感器的出现，如何将多源异构传感器信息进行综合信息提取并进行有效的融合处理是目前的研究难点。由于在滑坡监测中，单一的传感器信息无法全面的反映出滑坡的形变特点，且得到的预测预报结果可靠性不高，需要结合多源异构传感器信息进行有效特征提取与综合分析处理，以消除数据间的冗余性及互斥性，进而可得到更加可靠、准确的预测预报结果。
3.目前源异构传感器信息进行有效特征提取与综合分析处理存在单一滑坡监测信息片面性和不可靠性使得预测不准确的问题。


技术实现要素：

4.本发明实施例提供一种多源异构滑坡数据监测融合方法，包括：
5.获取多源异构监测变量数据；
6.将多源异构监测变量划分为因变量和特征变量；
7.计算每两个多源异构滑坡监测变量的最大互信息系数mic、并筛选出影响滑坡变形最大的特征变量；
8.确定反应滑坡变形特征的单点位移序列为参考列，影响滑坡变形的因子组成的数据序列为比较列；
9.计算参考数列与比较数列的灰色关联系数及灰色关联度；
10.根据最大互信息系数mic与灰色关联度，计算加权关联度；
11.根据加权关联度大小进行特征优选、并筛选出最终特征变量；
12.构建基于加权关联度的特征优选-逐步回归特征级数据融合模型；
13.利用基于加权关联度的特征优选-逐步回归特征级数据融合模型进行多源异构信息融合，为滑坡预测预报提供有效的辅助信息。
14.近一步，还包括对多源异构监测变量数据预处理：
15.异常值剔除、缺失值补全及数据平滑去噪。
16.近一步，计算每两个多源异构滑坡监测变量的最大互信息系数mic的步骤，包括：
17.给定变量i、j，对两变量构成的散点图进行i列j行网格化，并求出最大的互信息值；
18.对最大的互信息值进行归一化处理；
19.选择不同尺度下互信息的最大值作为mic值；
20.得到与因变量关联程度最高的特征变量。
21.近一步，灰色关联系数，计算公式包括：
[0022][0023]
其中，ρ为分辨系数，0《ρ《1，若ρ越小，关联系数间差异越大，区分能力越强，通常ρ取0.5，|x0(k)-xi(k)|表示每个比较序列与参考序列对应元素的绝对差值，与分别表示两级最小差和两级最大差。
[0024]
近一步，加权关联度，计算公式包括：
[0025]
式中n为待选择特征变量的总数，mic(a，bi)表示特征变量a和特征变量bi的最大互信息系数mic。
[0026]
近一步，特征优选的步骤，包括：
[0027]
对计算得到的加权关联度按照从大到小进行排序；
[0028]
特征变量按照加权关联度大小进行排序筛选；
[0029]
计算排序后的各优选特征权重；
[0030]
当优选特征权重时，筛选停止，得到最终的特征变量；
[0031]
其中，js为各特征变量的加权关联度之和，jj为第j个待筛选特征变量的加权关联度，ωj为第j个优选特征权重，α为给定的阈值。
[0032]
近一步，还包括：对基于加权关联度的特征优化-逐步回归融合结果与bp神经网络融合结果进行分析对比；
[0033]
建立bp神经网络融合模型，以自变量作为系统输入变量，因变量为系统输出变量；
[0034]
建立含有两个隐藏层的多输入单输出bp神经网络融合模型；
[0035]
采用改进切线角及变形速率两个指标对基于加权关联度的特征优选-逐步回归融合与bp神经网络数据融合模型进行阶段评价；
[0036]
采用长短期记忆网络人工神经网络lstm分别基于加权关联度的特征优选-逐步回归融合数据和bp神经网络融合数据，进行预测比较分析。
[0037]
本发明实施例提供一种多源异构滑坡数据监测融合方法，与现有技术相比，其有益效果如下：
[0038]
1、mic用来衡量两个变量之间的关联程度，且mic相对于其他关联分析方法而言，mic既适用于线性和非线性数据，又具有普适性、公平性和对称性，具有很高的准确度。
[0039]
2、将互信息权重与灰色关联度结合起来，采用加权关联度来衡量特征因子对滑坡变形的重要程度，并计算优选特征权重，根据阈值筛选出特征因子，结合互信息与灰色关联的特点来进行特征优选，使得特征优选结果更加可靠。
附图说明
[0040]
图1为本发明融合方法中基于加权关联度的特征优选的流程图；
[0041]
图2为本发明评价分析中rnn模型图；
[0042]
图3为本发明评价分析中rnn模型隐藏层细胞结构；
[0043]
图4为本发明评价分析中lstm模型隐藏层细胞结构；
[0044]
图5为本发明实验研究区域监测点分布图；
[0045]
图6为本发明实验部分基于加权关联度的特征优选-逐步回归融合结果；
[0046]
图7为本发明实验部分bp神经网络模型融合结果。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
参见图1～7，本发明实施例提供一种多源异构滑坡数据监测融合方法，该方法包括：
[0049]
s1、最大互信息计算。本专利采用python程序软件中的minepy类库来实现mic算法。主要分为三个步骤：1)给定i、j，对两变量构成的散点图进行i列j行网格化，并求出最大的互信息值；2)对最大的互信息值进行归一化处理；3)选择不同尺度下互信息的最大值作为mic值；4)即得到与因变量关联程度最高的特征变量用于后续回归预测。mic用来衡量两个变量之间的关联程度，且mic相对于其他关联分析方法而言，mic既适用于线性和非线性数据，又具有普适性、公平性和对称性，具有很高的准确度。
[0050]
s2、灰色关联度计算。确定能够反应滑坡变形特征的单点位移序列为参考列，影响滑坡变形的因子组成的数据序列为比较列，并对参考列和比较列进行无量纲化处理，然后求得参考数列与比较数列的灰色关联系数及灰色关联度。
[0051]
s3、加权关联特征优选。互信息值度量了特征对滑坡变形的影响作用，其权重反映了特征的有效性，而灰色关联度则量化了特征与滑坡变形之间的一致程度。将互信息权重与灰色关联度结合起来，采用加权关联度来衡量特征因子对滑坡变形的重要程度，并计算优选特征权重，根据阈值筛选出特征因子。结合互信息与灰色关联的特点来进行特征优选，使得特征优选结果更加可靠。
[0052]
s4、逐步回归分析。将特征因子逐个引入模型，每引入一个解释变量后都要进行f检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量的引入变得不再显著时，则将其删除。以确保每次引入的新的变量之前的回归方程只包含显著性变量。反复执行直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。
[0053]
s5、评价分析。第一步、融合结果阶段比较。为了评价基于加权关联度的特征优选-逐步回归特征级数据融合的可靠性，采用基于加权关联度的特征优化-逐步回归融合结果与bp神经网络融合结果进行阶段判别分析对比。首先，建立bp神经网络融合模型，以自变量作为系统输入变量，因变量为系统输出变量，建立含有两个隐藏层的多输入单输出bp神经网络融合模型。并采用改进切线角及变形速率两个指标对基于加权关联度的特征优选-逐步回归融合与bp神经网络数据融合模型进行阶段评价，以证明本发明融合结果的有效性。第二步、融合结果预测比较。采用lstm(长短期记忆网络人工神经网络)分别对gnss监测点
因变量单点数据、基于加权关联度的特征优选-逐步回归融合数据和bp神经网络融合数据，进行预测比较分析。采用python程序中的keras进行lstm模型的搭建，对预测结果采用mre(平均相对误差)及mae(平均绝对误差)两个指标进行预测精度评定，以证明本发明融合结果的可靠性。
[0054]
具体地：
[0055]
s1、最大互信息计算。滑坡体上的多源异构传感器间是具有关联性的，一个传感器会受到多个其他传感器的综合影响，故需要对多源异构滑坡监测变量进行关联度计算，筛选出影响滑坡变形最大的特征因子用于后续融合预测。在进行mic(最大互信息系数)计算之前，首先需要对信息熵和互信息进行了解。互信息是指两个随机变量之间的关联程度，且将信息中排除了冗余后的平均信息量称为“信息熵”，那么采用mi(互信息)的方式即可筛选出影响滑坡变形的特征因子，且具有更少的冗余信息。而mic相较于mi而言有更高的准确度，且不限定于特定的函数类型，就可以获得变量之间的关联程度。如果两个变量之间存在关联，它们对应的数据点的集合分布在二维空间中，使用m乘以n的网格划分数据空间，使落在第(x,y)格子中的数据点频率作为p(x,y)的估计，(其中n
x,y
为落在第(x,y)格子中的数据点数，n为总的数据点数)，同理获得p(x)、p(y)的估计。然后计算随机变量间的互信息，因为m乘以n的网格划分数据点的方式不止一种，所以要获得使互信息最大的网格划分，并使用归一化因子，将互信息的值转化到(0,1)区间内。最后，找到能使归一化互信息最大的网格分辨率，作为mic的度量值。其中网格的分辨率限制为m
×
n《b,b＝f(data_size)＝n
0.6
，mic计算公式为，mic计算公式为
[0056]
具体计算步骤如下：1)计算最大互信息值。给定i、j，对两变量x、y构成的散点图进行i列j行网格化，并求出最大的互信息值。但给定i、j后，可以得到多个不同的网格化方案，则需要计算每个方案对应的互信息值，找出使得互信息最大的网格化方案。2)对最大的互信息值进行归一化。将得到的最大互信息除以log(min(x,y))，即为归一化。3)选择不同尺度下的互信息的最大值作为mic值。进而挑选出对滑坡变形影响较大的特征，剔除信息量较少的特征，使得用于建模的变量更具有代表性。
[0057]
s2、灰色关联度计算。只采取mic结果进行特征选取不具有说服力，可将表示影响程度的mic分析与表示一致程度的灰色关联分析结合起来综合分析，来得到更适合数据融合的特征因子。通过将多源异构滑坡监测特征序列进行无量纲化处理，计算关联系数、关联度，具体过程为：1)确定参考列序列及比较列序列。设参考列序列为y＝{y(k)|k＝1,2,
…
n}；比较列序列为xi＝{xi(k)|k＝1,2,
…
,n},i＝1,2,
…
,m。2)变量的无量纲化。由于特征因子量纲不同不便于比较，故需要进行无量纲化处理。子量纲不同不便于比较，故需要进行无量纲化处理。无量纲化后的数据序列形成如下矩阵：无量纲化后的数据序列形成如下矩阵：3)逐个计算每个被评价对象指标序列(比较序列)与参考序列对应元素的绝对差值，即|x0(k)-xi(k)|(k＝1,
…
,m；i＝1,
…
,n,)n为被评价对象的个数。4)确
定与5)计算关联系数。关联系数计算公式为：关联系数计算公式为：其中ρ为分辨系数，0《ρ《1，若ρ越小，关联系数间差异越大，区分能力越强，通常ρ取0.5。6)计算关联度。对各评价对象(比较序列)分别计算其个指标与参考序列对应元素的关联系数的均值，以反映各评价对象与参考序列的关联关系，并称为关联度，记为：序列的关联关系，并称为关联度，记为：
[0058]
s3、加权关联度计算。将最大互信息权重与灰色关联度相结合，得到相应特征的加权关联度来反应特征。加权关联度越大，表示该特征越重要，计算公式为：式中n为待选择特征的总数。
[0059]
s4、特征优选。对计算得到的加权关联度按照从大到小进行排序，选取加权关联度最大的特征加入到优选集合中，并从待优选集合中剔除。依次从大到小进行筛选，计算优选特征权重：式中js为优选集合中各特征的加权关联度之和，jj为第j个待筛选特征的加权关联度，ωj为第j个优选特征权重，该值小于α时，认为特征筛选完毕。
[0060]
s5、逐步回归分析。逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后都要进行f检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量的引入变得不再显著时，则将其删除。以确保每次引入的新的变量之前的回归方程只包含显著性变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。逐步回归具体步骤如下：
[0061]
第一步：建立增广矩阵
[0062]
计算l
ij
，l
iy
，l
yy
以及r
ij
，r
iy
，公式分别为：，公式分别为：其中其中即可得到扩充了的增广矩阵其中r＝(r
ij
)m×m，r
yy
＝1，ry＝(r
1y
,r
2y
,
…
,r
my
)'。
[0063]
第二步：对第s步进行消去变换，结果为第二步：对第s步进行消去变换，结果为其中
[0064][0065][0066]
第三步：因子剔除。
[0067]
①
选择j0，使得
②
计算
③
若f》f
出
，则执行第四步；反之，则进行s 1次消去变换，然后转入二、三两步进行计算。
[0068]
第四步：引入回归因子。设s，{j}，f仍有步骤二定义。
[0069]
①
选择k0，使得
②
计算其中其中
③
若f《f
进
，则执行第五步；反之，则进行s 1次消去变换，引入第k0个回归因子，然后转入二、三、四步进行计算。
[0070]
第五步，这时既不能引进变量，也不能剔除变量。最后得到的回归方程为^y＝^b0 ∑
j∈{j}
^bjxj,其中,其中
[0071]
s6、评价分析。
[0072]
第一步、融合结果阶段比较。为了评价基于加权关联度的特征优选-逐步回归特征级数据融合的可靠性，采用该模型融合结果与bp神经网络融合结果进行阶段判别分析对比。首先，建立bp神经网络融合模型，以自变量作为系统输入变量，因变量为系统输出变量，
建立含有两个隐藏层的多输入单输出bp神经网络融合模型。bp神经网络拓扑结构包括输入层、隐藏层及输出层三个部分，同时也包含正向多层前馈阶段和反向误差修正阶段两个过程。正向多层前馈阶段是一个正向的过程从输入层开始依次计算各层各节点的实际输入输出，数学模型为式中为第l层第i个节点的输出值；第l层第i个节点的激活值；为第l-1层第j个节点到第l层第i个节点的连接权值；为第l层第i个节点的阈值；n
l
为第l层节点数。为了提高输出层神经元的误差精度，采用梯度递降算法进行反向误差传播。通过梯度递降算法对每一层神经元之间的连接权重进行调整，使最终的总体误差会沿减少方向改变。其算法公式为：(η为学习率)，权值调整公式为
[0073]
并采用改进切线角(参考自许强，一种改进的切线角及对应的滑坡预警判据)及变形速率两个指标对基于加权联合度的特征优选-逐步回归融合模型与bp神经网络数据融合模型进行阶段评价，如表为基于变形速率阈值和变形过程综合预警依据。
[0074]
表2基于变形速率阈值和变形过程综合预警判据
[0075][0076]
第二步、融合结果预测比较。特征级融合是将滑坡监测得到的多源异构信息进行有效的分析处理。进而提高预测预报的精确度。为讨论特征级融合在提高滑坡预测预报准确度方面的有效性，采用lstm(长短期记忆网络人工神经网络)分别对gnss监测点因变量单点数据、基于加权联合度的特征优选-逐步回归融合数据和bp神经网络融合数据，进行预测比较分析。采用python程序中的keras进行lstm模型的搭建，lstm神经网络模型是基于普通的循环神经网络改进的一种新型神经网络算法，lstm模型中将隐藏层的rnn细胞替换为lstm细胞，能有效的克服梯度在反向传播的过程中可能会快速消失这一问题，使其具有长期记忆能力，能够处理长时间序列数据。相比rnn模型，lstm单元的内部设置了3个门控开关，如图3所示，其中，i为输入门，f为遗忘门，c为细胞状态，o为输出，σ和tanh分别为sigmoid和双曲正切激活函数。
[0077]
遗忘门通过查看h
t-1
和x
t
的信息，利用sigmoid单元输出一个0～1之间的向量，该向量里面的0～1值表示细胞状态c
t-1
中的哪些信息保留或丢弃多少。0表示不保留，1表示都保留。f
t
＝σ(wf·
[h
t-1
,x
t
] bf)。输入门用来更新单元状态。先将先前隐藏状态的信息和当前输入的信息输入到sigmoid函数，在0和1之间调整输出值来决定更新哪些信息，0表示不
重要，1表示重要。同时将隐藏状态和当前输入传输给tanh函数，并在-1和1之间压缩数值以调节网络，然后把tanh输出和sigmoid输出相乘，sigmoid输出将决定在tanh输出中哪些信息时重要的且需要进行保留的。i
t
＝σ[wf·
[h
t-1
,x
t
] bi],～c＝tanh(wc·
[h
t-1
,x
t
] bc)。输出门控制着下个隐藏状态的值，隐藏状态可用于预测。首先把先前的隐藏状态和当前输入传递给sigmoid函数，同时把新得到的单元状态传递给tanh函数，然后把tanh输出和sigmoid输出相乘，得出隐藏状态新的信息，作为当前单元的输出值输出；最后将新的单元状态和隐藏状态同步至下一个时间步。o
t
＝σ[wo·
[h
t-1
,x
t
] bo],h
t
＝o
t
*tanh(c
t
)。lstm模型训练过程采用经典的反向传播算法，分为4个步骤：(1)按照前向计算方法计算lstm细胞的输出值，分别为损失函数l()的一阶导数和二阶导数，最终得到的目标函数为：导数和二阶导数，最终得到的目标函数为：w和b分别对应的权重系数矩阵和偏置项。(2)反向计算每个lstm细胞的误差项，包括按时间和网络层级2个反向传播方向。(3)根据相应的误差项，计算每个权重的梯度。(4)应用基于梯度的优化算法更新权重。
[0078]
采用mre(平均相对误差)及mae(平均绝对误差)两个指标进行预测精度评定。检测期望值与实际值之间的距离大小，对预测精度进行衡量。
[0079]
实施例：
[0080]
本发明的实验数据采用了甘肃省永靖县黑方台党川7#滑坡体2019年3月28日至10月4日滑坡监测数据，以天为采样率，共191d，其中包含两组gnss监测数据(hf06、hf07)，三组位移计监测数据(dcf11、dcf14、dcf15)和湿度、温度、降雨量3种气象数据。该滑坡体在2019年10月5日4时发生滑坡，5组监测设备均监测到这次滑坡变形的位移变化数据，即可采用多源异构传感器进行数据融合及精度判定。实验区监测点分布情况如图5所示。
[0081]
本发明首先将多传感器变量及环境因子进行数据预处理，预处理包括异常值剔除、缺失值补全及数据平滑去噪，对预处理后的数据首先进行mic(最大互信息)计算，并确定互信息权重，获得对滑坡变形影响最大的特征因子。然后进行灰色关联度计算，以获得灰色关联度值，最后采用加权关联度公式来得到加权关联度值，通过计算特征优选权重来确定最终的特征因子。表3为gnss监测点hf06与其他gnss监测数据、位移计监测数据、降雨量、温度、湿度的mic权值、灰色关联度及加权关联度结果。加权关联度越大则表示该特征对滑坡变形影响及切近程度更高。
[0082]
表3加权关联计算表
[0083][0084]
对结合了mic及灰色关联的加权关联方法所得到的结果进行排序：gnss监测点hf07》位移计dcf11数据》位移计dcf14数据》位移计dcf15数据》前48小时累计降雨量》湿度》温度》降雨量，即位移传感器监测数据、gnss监测数据、前48小时累计降雨量数据、温度、湿度数据对滑坡的影响较大。表4为根据加权关联度计算的特征优选权重大小，并通过该值进行特征优选。
[0085]
表4特征优选结果
[0086][0087]
对加权关联度进行排序并计算优选特征权重，选取阈值α为0.1，即当特征权重小于0.1时，认为该特征对滑坡变形影响可以忽略，特征因子选择完毕。将加权关联度优选得到的影响滑坡形变的因素进行逐步回归拟合分析，根据分析结果以gnss监测点hf07数据、位移计监测数据、前48小时累计降雨量数据、温度、湿度作为自变量，以gnss监测点hf06数据作为因变量，进行逐步回归分析，得到相应的回归系数进而计算得到最终的特征及融合结果。且在逐步回归分析中，通过对不同模型进行相关系数、残差的方差、f值、显著性等比较分析得到模型的最优结果。得到的回归系数如表5所示。
[0088]
表5回归系数表
[0089][0090]
得到该处滑坡体表面位移逐步回归模型表达式为：滑坡体表面位移＝(gnss监测点hf07数据
×
0.587) (位移计dcf11数据
×
0.036) (位移计dcf14数据
×
0.519)-(位移计dcf15数据
×
0.159) (温度
×
0.028) (湿度
×
0.026)-(前48小时累计降雨量
×
0.010)，进而得到基于加权关联度的特征优选-逐步回归特征级融合结果，如图6所示。
[0091]
将基于加权关联度的特征优选-逐步回归融合结果与bp神经网络融合结果进行阶段判别分析对比。首先对bp神经网络融合模型进行建立，将gnss监测点hf07数据、位移计监测数据、前48小时累计降雨量、温度、湿度等作为bp神经网络模型的输入数据，以gnss监测点hf06数据作为期望输出数据，参考mic分析结果搭建含有两个隐藏层的多输入单一输出的bp神经网络融合模型。经过实验分析得到bp神经网络特征级融合结果，如图7所示。由文献资料可知，当切线角大于80
°
时，滑坡已处于中加速阶段，本实验中我们只针对临滑前的切线角进行两种融合结果的比较，切线角分析对比结果如表6所示，变形速率分析对比结果如表7所示。
[0092]
表6两种融合结果改进切线角分析结果
[0093][0094]
表7两种融合结果变形速率分析结果
[0095][0096]
由两个阶段指标对比可知，基于加权关联度的特征优选-逐步回归所得的改进切线角更加靠近滑坡失稳时刻，用于滑坡阶段判别更加贴合滑坡真实发展状态。据此可以说明，基于加权关联度的特征优选-逐步回归融合结果在用于滑坡阶段判别分析中具有较好的可靠性和准确性，融合结果较佳。
[0097]
然后采用lstm网络算法分别对gnss监测点hf06数据、基于加权关联度的特征优选-逐步回归融合数据和bp神经网络融合数据，进行滑坡趋势预测对比分析，并采用mre、mae两个精度评定指标进行预测结果精度比较。
[0098]
表8两种融合结果预测精度比较
[0099][0100]
由表8可以得出，基于加权关联度的特征优选-逐步回归融合结果预测的mae和mre分别为9.9mm和3.46％，bp神经网络融合结果预测的mae和mre分别为15.1mm和4.33％，gnss监测点hf06数据预测的mae和mre分别为19.9mm和4.51％。即基于加权关联度的特征优选-逐步回归融合结果的预测精度更高，也证明该特征级融合结果更加准确、可靠。
[0101]
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。