基于灰色系统的含异常值航磁数据处理方法及电子设备

1.本发明涉及航磁数据处理技术领域，尤其涉及一种基于灰色系统的含异常值航磁数据处理方法及电子设备。


背景技术：

2.航空磁异常探测技术具有高效、安全、机动灵活的特点，广泛应用于矿产勘探、残骸定位等领域。在进行磁异常探测时，总场磁力仪(使用最广泛的是光泵磁力仪)会受到因飞机运动产生的动态噪声以及地磁场背景噪声的影响。动态噪声的主要来源是飞行平台机动飞行时飞机铁磁性部件所产生的磁干扰，因此，如何补偿平台造成的磁干扰是高精度磁异常探测的关键。
3.磁补偿技术已逐渐由早期的硬补偿转换为软补偿。目前主流的软补偿通常以基于物理模型的磁补偿方法为主。常用的物理模型为t-l模型，补偿原理为：首先，对飞行平台机动所产生的磁干扰进行物理建模；然后，通过补偿飞行得到因磁干扰数据(光泵磁力仪获取地磁总场数据，三轴磁通门磁力仪获取飞机姿态数据)，进而求解出磁干扰系数；最后，在测量飞行中根据磁干扰系数实时求解出磁干扰，进而在测量数据中补偿掉干扰，从而提高航空磁异探测的精度。虽然t-l模型为应用最广泛的磁补偿模型，但其在实际应用中仍存在许多不可忽视的问题(如多重共线性，地磁时变等)，国内外学者也针对这些问题提出了优化方法，如岭回归估计法、主成分分析法、遗传算法及神经网络法等。然而，在特殊航磁测量中(如残骸探测等)，无法选择满意的航向和气象，导致飞行平台的非正常机动频繁出现，从而有可能导致光泵传感器进入或接近死区并产生无法避免的大幅度异常值。虽然，在磁补偿飞行的系数求解前，一般会对磁数据进行预滤波，但其主要目的是降低地球背景磁场对系数估计的负面影响，并不能完全消除较大的异常值，进而导致系数估计产生偏差。此外，在测量飞行中，大量的异常数据也会直接影响实时探测数据质量，无法实现实时高精度探测。
4.在航空磁测中，较差的航向和气象会导致光泵总场传感器频繁进入或接近死区，使含异常值的总场数据中不可避免存在异常值，严重降低了航磁补偿效果。


技术实现要素：

5.针对此问题，本发明提出了一种基于灰色系统的含异常值航磁数据处理方法及电子设备，可以实现磁异常值快速判别、预剔除，从而降低异常值对系数估计和目标探测稳健性的影响。通过构建磁数据灰色区域图，并检验区域端点处数据是否正常，来实现磁异常值的预剔除。
6.根据本发明的一个方面，一种基于灰色系统的含异常值航磁数据处理方法，包括以下步骤：
7.s1：获取原始磁测数据的序列，表示为b0＝(b
01
,b
02
,
…
,b
0i
,
…
,b
0n
)，n表示序列中磁测数据的个数，i表示磁测数据的序号，i＝1,2,...,n；
8.s2：将序列b0从小到大进行排序得到新的序列b
asc
；
9.s3：对序列b
asc
进行逐位累加处理得到数据累加曲线b
acc
；
10.s4：计算磁测数据的平均值其平均值累加曲线为
11.s5：构建磁测数据的灰色区域图：将平均值累加曲线b
ava
作为灰色区域图的上界函数，将平均值累加曲线与数据累加曲线的差值曲线b
inf
作为灰色区域图的下界函数，并且磁测数据的中间点i
p
为差值曲线b
inf
的转折点其中h为灰色识别系数，δb
max
为数据平均值累加序列与数据累加序列的差值δb的最大值；
12.s6：基于所述灰色区域图进行磁测数据异常值剔除，具体流程为：
13.s6.1：当b
inf
(i)≤b
acc
(i)≤b
ava
(i)时，磁测数据全部包含在灰色区域图的内部，即不存在异常值，其中b
inf
(i)、b
acc
(i)、b
ava
(i)分别表示差值序列、数据累加序列和平均值累加序列；
14.s6.2：当b
acc
(i)≤b
inf
(i)或b
ava
(i)≤b
acc
(i)时，存在灰色区域图以外的数据，即存在异常值，灰色区域图两端会产生数据累加序列与差值序列的交叉点，通过分析交叉点两端的数据信息，在原始磁测数据中将两端数据进行剔除处理；
15.s7：将异常值的数据剔除后，返回重复步骤s2-s6，直到所有磁测数据均满足b
inf
(i)≤b
acc
(i)≤b
ava
(i)，即实现了磁测数据中的全部异常值剔除。
16.进一步地，步骤s6.2包括：
17.s6.2.1：若b
acc
(i)≤b
inf
(i)，i＜i
p
，说明b
acc
前i个数据小于正常磁测值的最小界限，且b
asc
(1)数值最小，将b
asc
(1)判定为异常值；
18.s6.2.2：若b
ava
(i)≤b
acc
(i)，i≥i
p
，说明b
acc
后n-i个数据大于正常磁测值的最大界限，因下界函数b
inf
与数据累加曲线b
acc
汇于最后一个测量点，b
ava
(n)＝b
acc
(n)，无法判断是否存在异常值，所以除b
acc
(n)外，b
ava
(n-1)值最大，将b
asc
(n-1)判定为异常值。
19.进一步地，当磁测数据中不存在异常值时，认为序列b
asc
是等差序列，并且表示为b
asc
(i)＝b
asc
(1) r0·
i；
20.其中，b
asc
(1)为序列中的第一个数，则b
asc
(i)写为：
[0021][0022]
此时，则b
ava
(i)表示为：
[0023][0024]
数据平均值累加序列与数据累加序列的差值δb为：
[0025][0026]
所以，当中间点时，δb达到最大δb
max
。
[0027]
进一步地，所述下界函数b
inf
表示为：
[0028][0029]
式中，代入上式得
[0030][0031]
优选地，所述灰色识别系数h的取值为5。
[0032]
进一步地，在步骤s7之后，还包括以下步骤：
[0033]
基于异常值剔除后的磁测数据，利用最小二乘法获取磁干扰系数，进行航磁补偿。
[0034]
根据本发明的另一方面，本发明提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行任一项所述的含异常值航磁数据处理方法。
[0035]
本发明提供的技术方案具有以下有益效果：本发明利用灰色系统定义一个磁测数据的灰色区域图，将平均值累加曲线b
ava
作为灰色区域图的上界函数，将平均值累加曲线与数据累加曲线的差值曲线b
inf
作为灰色区域图的下界函数，将灰色区域图的上下界作为异常值判断的依据，当数据位于此区域内则为正常数据，位于区域外则为异常数据，可以实现磁异常值快速判别、预剔除，从而降低异常值对系数估计和目标探测稳健性的影响。
附图说明
[0036]
下面将结合附图及实施例对本发明的具体效果作进一步说明，附图中：
[0037]
图1是本发明实施例中一种基于灰色系统的含异常值航磁数据处理方法的执行流程图；
[0038]
图2是本发明实施例中磁测数据灰色区域图；其中图2(a)没有异常数据，图2(b)存在异常数据；
[0039]
图3是本发明实施例中模拟数据的组成；
[0040]
图4是本发明实施例中h与剔除效果的关系；其中图4(a)包含10％的异常值的模拟数据，图4(b)是最优剔除率的评价结果；
[0041]
图5是本发明实施例中异常点剔除效果；其中图5(a)是灰色区域图，图5(b)是剔除
后异常值后的正常数据；
[0042]
图6是本发明实施例中不同异常率下的剔除正确率。
具体实施方式
[0043]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0044]
在本实施例中，首先对基于物理模型的航磁补偿的原理做简要介绍分析：
[0045]
航磁补偿原理：
[0046]
在本发明所提方法中，小信号法被用来进行磁补偿。补偿飞行通常选定在地磁场变化较小的空域，飞机从北向开始沿正方形轨迹做闭合飞行。在每边飞行中需完成三个姿态的机动：摇摆(
±
10
°
)、偏航(
±5°
)、俯仰飞行(
±5°
)。
[0047]
当飞机在做机动飞行时，光泵传感器测得的总场值h
t
t为
[0048]ht
(t)＝h0(t) h
int
(t)
ꢀꢀꢀ
(1)
[0049]
式中，h
int
(t)为t时刻的飞机磁干扰，用h
int
表示飞机的磁干扰，通过对测量数据进行带通滤波预处理，以去除缓慢变化的地磁背景场h0(t)，得到仅由飞机机动产生的磁干扰，利然后用最小二乘方法求解出磁干扰系数
[0050]
c＝(a
t
a)-1 a
thint
ꢀꢀꢀ
(2)
[0051]
进而在后续测量飞行中，利用求解出的磁干扰系数c计算和补偿磁干扰，从而获取高信噪比的磁数据。
[0052]
由于航磁数据的分布及样本大小均未知，使得磁测数据中的异常点难以处理。灰色系统方法适用于样本容量小，无法通过统计的方法得知分布特征的数据。其理论依据为处理数据样本的几何特征，即通过分析数据的灰色区域图，来判别异常数据。在航空磁测中，相对于完全未知的大幅度异常数据，小幅变化的正常磁测数据可被认为是已知量，所以可将含异常值的航磁数据视为灰色系统，并且基于灰色系统理论的异常值判别法适用于航磁异常值判别。
[0053]
因此，本实施例提供了一种基于灰度系统的含异常值航磁数据处理方法，总体流程如图1所示：
[0054]
s1：获取原始磁测数据的序列，表示为b0＝(b
01
,b
02
,
…
,b
0i
,
…
,b
0n
)，n表示序列中磁测数据的个数，i表示磁测数据的序号，i＝1,2,...,n；
[0055]
s2：将序列b0从小到大进行排序得到新的序列b
asc
；
[0056]
需要说明的是，步骤s2的目的是分析数据的几何特征；
[0057]
s3：对序列b
asc
进行逐位累加处理得到数据累加曲线b
acc
；
[0058]
s4：计算磁测数据的平均值其平均值累加曲线为正常航磁数据的灰色区域图如图2(a)所示。
[0059]
当磁测数据中不存在异常值时，近似认为序列b
asc
是等差序列，并且表示为b
asc
(i)＝b
asc
(1) r0·
i，其中则b
asc
(i)写为：
[0060][0061]
此时，则b
ava
(i)可表示为
[0062][0063]
数据平均值累加序列与数据累加序列的差值δb为：
[0064][0065]
所以，当中间点时，δb达到最大δb
max
。
[0066]
s5：构建磁测数据的灰色区域图：将平均值累加曲线b
ava
作为灰色区域图的上界函数，将平均值累加曲线与数据累加曲线的差值曲线b
inf
作为灰色区域图的下界函数，并且磁测数据的中间点i
p
为差值曲线b
inf
的转折点其中h为灰色识别系数；
[0067]
下界函数b
inf
表示为：
[0068][0069]
式中，代入上式得
[0070][0071]
s6：基于所述灰色区域图进行磁测数据异常值剔除，具体流程为：
[0072]
s6.1：当b
inf
(i)≤b
acc
(i)≤b
ava
(i)时，磁测数据全部包含在灰色区域图的内部，即不存在异常值，其中b
inf
(i)、b
acc
(i)、b
ava
(i)分别表示差值序列、数据累加序列和平均值累加序列；
[0073]
s6.2：当b
acc
(i)≤b
inf
(i)或b
ava
(i)≤b
acc
(i)时，存在灰色区域图以外的数据，即存在异常值，灰色区域图两端会产生数据累加序列与差值序列的交叉点(如图2(b))，通过分析交叉点两端的数据信息，在原始磁测数据中将两端数据进行剔除处理；
[0074]
进一步地，步骤s6.2包括：
[0075]
s6.2.1：若b
acc
(i)≤b
inf
(i)，i＜i
p
，说明b
acc
前i个数据小于正常磁测值的最小界
限，且b
asc
(1)数值最小，将b
asc
(1)判定为异常值；
[0076]
s6.2.2：若b
ava
(i)≤b
acc
(i)，i≥i
p
，说明b
acc
后n-i个数据大于正常磁测值的最大界限，因下界函数b
inf
与数据累加曲线b
acc
汇于最后一个测量点，b
ava
(n)＝b
acc
(n)，无法判断是否存在异常值，所以除b
acc
(n)外，b
ava
(n-1)值最大，将b
asc
(n-1)判定为异常值。
[0077]
s7：将异常值的数据剔除后，返回重复步骤s2-s6，直到所有磁测数据均满足b
inf
(i)≤b
acc
(i)≤b
ava
(i)，即实现了磁测数据中的全部异常值剔除。
[0078]
在步骤s7之后，还包括：
[0079]
基于异常值剔除后的磁测数据，利用最小二乘法获取磁干扰系数，进行航磁补偿。具体如下：
[0080]
对剔除异常值后的磁测数据进行带通滤波，并计算地磁场和飞机坐标三轴形成的方向余弦常量和方向余弦变化量；
[0081]
根据地磁场和飞机坐标三轴形成的方向余弦常量和方向余弦变化量计算得到校正飞行的姿态矩阵；
[0082]
基于姿态矩阵，通过最小二乘法求解磁干扰系数，利用磁干扰系数进行航磁补偿。
[0083]
本发明实施方案中的关键点在于以下两点
[0084]
(1)在本发明实施例中，h为灰色识别系数，影响磁测数据是否为异常值的判定和异常点剔除的正确率，h值的选取决定了剔除效果。当h较高时，剔除正确率为1，说明异常数据均被剔除；但剔除率和误剔率较高，说明有较多的正常数据被剔除了；随着h的增加，误剔率会随之下降，进而剔除率也下降；当h增加到5以后，误剔率显著降低，但正确剔除率也下降了，说明有异常数据被遗漏了。因此，本实施例中，优选h为5。
[0085]
(2)为了对的异常值剔除效果进行评价，对正确剔除率、剔除率、误剔率进行定义。如图3所示，正确剔除率是已剔除异常值数量d1与异常数据的总数m1之比；剔除率是被剔除数据总数d0与异常数据的总数m1之比；误剔率是为被错误剔除的正常数据的数量d2与整个测量数据的总数m0之比。
[0086]
为了综合评价剔除效果，将最优剔除率定义为已剔除异常值数量d1与异常数据的总数m1、误剔除正常数据的数量d2总数和之比，当最优剔除率最高时，m1和d0的重叠度最高。图4(b)的结果表明，当h值取5左右时，最优剔除率最高即剔除效果最好。
[0087]
此外，h对补偿效果的影响也被分析(表1)。由于异常值具有随机性和不确定性，所以对于每一个h值，进行了10次补偿然后取改善比的平均值。结果表明，当h为5，改善比(补偿前后数据的标准差之比)最佳。
[0088]
表1 h值的测试结果
[0089]
h值4.54.64.74.84.95.05.15.25.35.4改善4.194.2534.2854.3034.3544.3644.3024.2684.2574.14
[0090]
由于数据量较大，数据累加后数值大，使三角灰色区域图不能清晰显示(近似呈多线重合的直线)，因此抽取部分数据作灰色区域图(图5(a))。结果表明，包含异常值的航磁模拟数据的灰色区域图与理论原理图(图2(b))基本一致，验证了算法的可行性。经提出方法处理后，异常数据得到有效剔除从而获取了正常航磁数据(图5(b))。
[0091]
此外，通过剔除效果和改善比的理论对比分析，确定了最优参数h。此外，仿真结果表明，当磁异常率增大至20％时，改进方法的正确剔除率均值仍可达99.67％且补偿效果稳
定；当异常率继续增加达30％时，虽然剔除正确率不稳定性小幅增加，但其平均值仍可达到90.04％。
[0092]
参考图6，图6为本发明实施例中不同异常率下的剔除效果。由于在实际航空磁测中，异常值具有随机性，因此每组实验也重复进行10次。结果表明：在异常率为10％时，剔除正确率的平均值为99.89％，且较为稳定；当异常率为20％时，剔除正确率出现小幅波动，但正确率平均值仍可达99.67％；当异常率继续增加达30％时，正确率不稳定性增加，平均值为90.04％，最少也能达到84.90％。虽然，在特殊磁测中，异常值不可避免，但通过飞行姿态控制，一般可以将异常率控制到25％以下，因此所提出的方法在航磁测量中有实际应用价值。
[0093]
在本发明的其他实施例中，还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行任一项所述的含异常值航磁数据处理方法，且能实现与本实施例相同的技术效果，在此就不再赘述。
[0094]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0095]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0096]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。