电磁环境数据压缩方法及装置与流程

1.本技术涉及数据处理领域，具体地涉及一种电磁环境数据压缩方法以及一种电磁环境数据压缩装置。


背景技术：

2.数据压缩是指在保证有效信息得到传递的前提下，通过缩减数据量以减少存储空间，提高数据的传输、存储和处理效率，或按照一定的规律对数据进行重新组织，减少数据冗余和存储空间的一种技术方法。
3.现有的电磁环境数据的保存方案为时间点与数据点一一对应的文本格式，通常一次瞬态过程持续的时间为几毫秒到几秒，且瞬态过程变化较快，采样时间间隔为几十到几百皮秒，往往一次测量数据需占据几十mb内存。
4.例如，特高压直流输电线路的电磁环境指标主要包括直流电场、离子流、直流磁场、可听噪声和无线电干扰。线路的电磁环境与导线结构密切相关，导线结构形式、导线对地高度的确定直接以电磁环境限值为依据。变电站中隔离开关、断路器等开关操作时产生的暂态过程具有变化快、持续时间长的特点，开关操作在空间激发的瞬态电场上升沿时间为纳秒级，持续时间可达几毫秒，为捕捉这样的信号通常选择采样频率为几ghz的采样精度，导致一次开关操作产生的瞬态干扰信号存储容量可达几十mb。现有的电磁环境数据存储方案中，存储的数据为在暂态过程中某一采样频率下不同时间点的采样数据，存储数据量大，且数据特征不易获取。


技术实现要素：

5.为了解决上述技术缺陷之一，本技术实施例中提供了一种电磁环境数据压缩方法及装置。
6.根据本技术实施例的第一方面，提供了一种电磁环境数据压缩方法，包括：对电磁环境数据中的突变信号数据进行截取；对截取的突变信号数据进行滤波处理；对滤波处理后的数据进行特征点选取；对选取的特征点连接形成的包络线进行数据拟合，提取描述包络线波形的特征参数，将描述包络线波形的特征参数作为电磁环境数据的特征值。
7.本技术实施例中，所述对截取的突变信号数据进行滤波处理，包括：采用对称的数据移动平均方法将所述突变信号数据分为周期性波动数据和趋势要素数据，求得周期性波动数据的周期变动要素。
8.本技术实施例中，所述对滤波处理后的数据进行特征点选取，包括：基于滤波处理后的数据构造分布数列，求取置信区间；针对置信区间的数据逐段选取特征点。
9.本技术实施例中，所述基于滤波处理后的数据构造分布数列，求取置信区间，包括：将滤波处理后的数据进行排列，计算周期性波动数据的周期变动要素的中位数，将周期变动要素减去中位数并取绝对值得到变动变量，根据变动变量构造分布数列，根据分布数
列求得置信区间范围。
10.本技术实施例中，所述针对置信区间的数据逐段选取特征点，包括：针对大于置信区间范围所对应的数据，采用walk forward方法逐段选取特征点。
11.本技术实施例中，所述采用walk forward方法逐段选取特征点，包括：以预设的特定步长对大于置信区间范围所对应的数据进行分段，针对分段的数据进行逐段选取特征点。
12.本技术实施例中，所述对选取的特征点连接形成的包络线进行数据拟合，提取描述包络线波形的特征参数，包括：连接特征点形成包络线，根据包络线的形状选取拟合函数，通过拟合函数对包络线对应的电场强度进行拟合；根据拟合函数的最大值选取拟合函数的上升沿和半宽，根据拟合函数的上升沿和半宽提取描述包络线波形的特征参数。
13.本技术实施例中，所述根据拟合函数的最大值选取拟合函数的上升沿和半宽，包括：将拟合函数的最大值作为峰值，将0.9倍峰值与0.1倍峰值之间的时间作为拟合函数的上升沿，将上升沿0.5倍峰值与下降沿0.5倍峰值作为拟合函数的半宽。
14.根据本技术实施例的第二方面，提供了一种电磁环境数据压缩装置，包括：数据截取模块，用于对电磁环境数据中的突变信号进行截取；滤波模块，用于对截取的突变信号数据进行滤波处理；特征点选取模块，用于对滤波处理后的数据进行特征点选取；数据拟合模块，用于对选取的特征点连接形成的包络线进行数据拟合，提取描述包络线波形的特征参数，将描述包络线波形的特征参数作为电磁环境数据的特征值。
15.本技术实施例中，所述滤波模块采用对称的数据移动平均方法将所述突变信号数据分为周期性波动数据和趋势要素数据，求得周期性波动数据的周期变动要素。
16.本技术实施例中，所述特征点选取模块基于滤波处理后的数据构造分布数列，求取置信区间，针对置信区间的数据逐段选取特征点。
17.本技术实施例中，所述特征点选取模块将滤波处理后的数据进行排列，计算周期性波动数据的周期变动要素的中位数，将周期变动要素减去中位数并取绝对值得到变动变量，根据变动变量构造分布数列，根据分布数列求得置信区间范围；针对大于置信区间范围所对应的数据进行逐段选取特征点。
18.本技术实施例中，所述数据拟合模块连接特征点形成包络线，根据包络线的形状选取拟合函数，通过拟合函数对包络线对应的电场强度进行拟合，根据拟合函数的最大值选取拟合函数的上升沿和半宽，根据拟合函数的上升沿和半宽提取描述包络线波形的特征参数。
19.本技术实施例通过选取电磁环境数据的特征点，将特征点连接形成的包络线进行数据拟合，进而求得该数据的特征参数，该特征参数即可作为电磁环境数据的特征值，以此实现对电磁环境数据的压缩。在对电磁环境数据进行存储时，仅需存储其特征值，大大降低了数据存储容量，由于直接存储了电磁环境数据的特征值，因此可以从存储的数据中直接获取特征数据。
附图说明
20.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本申
请的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本技术实施例提供的电磁环境数据压缩方法的流程图；图2为本技术实施例提供的数据拟合示意图；图3为本技术实施例提供的电磁环境数据压缩装置的框图。
具体实施方式
21.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
22.如背景技术中所介绍的，现有的电磁环境数据存储方案中，存储的数据为在暂态过程中某一采样频率下不同时间点的采样数据，存储数据量大，且数据特征不易获取。
23.针对上述问题，本技术实施例中提供了一种电磁环境数据压缩方法，包括：对电磁环境数据中的突变信号数据进行截取；对截取的突变信号数据进行滤波处理；对滤波处理后的数据进行特征点选取；对选取的特征点连接形成的包络线进行数据拟合，提取描述包络线波形的特征参数，将描述包络线波形的特征参数作为电磁环境数据的特征值。本技术通过选取电磁环境数据的特征点，将特征点连接形成的包络线进行数据拟合，进而求得该数据的特征参数，该特征参数即可作为电磁环境数据的特征值，以此实现对电磁环境数据的压缩。在对电磁环境数据进行存储时，仅需存储其特征值，大大降低了数据存储容量，由于直接存储了电磁环境数据的特征值，因此可以从存储的数据中直接获取特征数据。
24.图1为本技术实施例提供的电磁环境数据压缩方法的流程图。如图1所示，本技术实施方式提供一种电磁环境数据压缩方法，包括以下步骤：s1、对电磁环境数据中的突变信号数据进行截取。
25.在高压输电线路环境中对变电站中隔离开关、断路器等开关进行一次开关操作会产生多个突变信号，突变信号代表干扰信号是电磁环境数据中的特征数据。由于突变信号发生前和发生后的电磁环境数据是在一固定区间内上下波动的，因此对获取的电磁环境数据中的超出该固定区间的数据进行截取即可得到突变信号数据。
26.s2、对截取的突变信号数据进行滤波处理。
27.突变信号数据属于时间序列数据，是变化不定的，需要对突变信号数据进行滤波处理。根据对称的数据移动平均方法原理设计一个滤波器，通过滤波器将变化不定的时间序列数据中具有一定趋势变化的平滑序列数据分离出来，将突变信号数据（时间序列数据）分为周期性波动数据和趋势要素数据，进而求得周期性波动数据的周期变动要素和趋势要素数据的趋势要素。
28.设序列y={y1，y2，y3……yt
}，趋势要素g={g1，g2……gt
}，周期变动要素c={c1，c2……ct
}，y=g c，t=1，2，3，4........t。
29.记损失函数为m，趋势要素g被定义为m最小化时的解（即当一系列g的取值使得损失函数m的值最小时g的值），损失函数m的公式为：；
其中，λ为平滑参数，λ越大则g越平滑。当λ=0时，滤波方法退化为最小二乘法，此时m取最小值时，只有y
t
= g
t
，即g
t
序列是序列y本身；当λ趋于无穷时，估计的趋势将接近线性函数。
30.为求极值，则需对m分别求g1，g2……
gt的一阶导数，得到公式（1）：y=[i λf] g；其中,，根据公式（1）推导求得序列y中的趋势要素g，根据y=g c求得周期变动要素c，即得到突变信号数据中周期性波动数据的周期变动要素c。
[0031]
s3、对滤波处理后的数据进行特征点选取。
[0032]
基于滤波处理后的数据构造分布数列，求取置信区间，针对置信区间的数据逐段选取特征点。具体而言，将滤波处理后的时间序列数据进行排列，计算周期性波动数据的周期变动要素c的中位数ma，将周期变动要素c减去中位数ma并取绝对值得到变动变量cb，变动变量cb的中位数为mma，根据变动变量的中位数构造分布数列，确定分布数列数据服从指数分布，求得90%置信度（也可以预设其它的置信度值）的置信区间范围[a，b]。大于置信区间范围[a，b]对应的数据被认为是特征数据。
[0033]
针对大于置信区间范围所对应的数据，采用walk forward方法逐段选取特征点。举例而言，以1为步长，以预设的特定步长i对大于置信区间范围所对应的数据n进行分段，针对分段的数据进行逐段选取特征点。
[0034]
s4、对选取的特征点连接形成的包络线进行数据拟合，提取描述包络线波形的特征参数，将描述包络线波形的特征参数作为电磁环境数据的特征值。
[0035]
具体的，连接特征点形成包络线，根据包络线的形状选取拟合函数，通过拟合函数对包络线对应的电场强度进行拟合。根据拟合函数的最大值选取拟合函数的上升沿和半宽，根据拟合函数的上升沿和半宽提取描述包络线波形的特征参数。
[0036]
图2为本技术实施例提供的数据拟合示意图，图2中横轴表示特征点数据对应的时间，时间单位为10-6
s，纵轴表示特征点数据对应的电场强度（场强），e0表示包络线的峰值场强。
[0037]
参照图2，在一实施例中，将步骤s3选取的特征点连接起来，其连线为包络线，根据包络线的形状选取双指数函数作为拟合函数，拟合电场信号的上包络线。双指数函数的公式（2）如下：；其中，e0为峰值场强，α为电场波头时间常数，β为电场波尾时间常数。
[0038]
使用最小二乘法求解双指数函数的参数：峰值场强e0、电场波头时间常数α、电场波尾时间常数β，从而进行数据拟合。
[0039]
最小二乘法的公式（3）如下：
；其中，y表示特征点的电场值。
[0040]
选取拟合函数的最大值作为峰值；选取0.9倍峰值与0.1倍峰值之间的时间作为拟合函数的上升沿；选取上升沿0.5倍峰值与下降沿0.5倍峰值作为拟合函数的半宽，从而提取拟合函数的特征参数，将特征参数作为电磁环境数据的特征值。
[0041]
本实施例通过对电磁环境数据中的突变信号数据进行滤波处理，再选取电磁环境数据的特征点，将特征点连接形成的包络线进行数据拟合，进而求得该数据的特征参数，该特征参数即可作为电磁环境数据的特征值，以此实现对电磁环境数据的压缩。在对电磁环境数据进行存储时，仅需存储其特征值，大大降低了数据存储所占用的空间，由于直接存储了电磁环境数据的特征值，因此可以从存储的数据中直接获取到特征数据，有利于电磁环境数据的应用。
[0042]
图3为本技术实施例提供的电磁环境数据压缩装置的框图。如图3所示，本实施例提供一种电磁环境数据压缩装置，包括：数据截取模块、滤波模块、特征点选取模块以及数据拟合模块。数据截取模块用于对电磁环境数据中的突变信号进行截取。滤波模块用于对截取的突变信号数据进行滤波处理。特征点选取模块用于对滤波处理后的数据进行特征点选取。数据拟合模块用于对选取的特征点连接形成的包络线进行数据拟合，提取描述包络线波形的特征参数，将描述包络线波形的特征参数作为电磁环境数据的特征值。
[0043]
在可选实施例中，所述滤波模块采用对称的数据移动平均方法将所述突变信号数据分为周期性波动数据和趋势要素数据，求得周期性波动数据的周期变动要素。所述特征点选取模块基于滤波处理后的数据构造分布数列，求取置信区间，针对置信区间的数据逐段选取特征点。具体而言，所述特征点选取模块将滤波处理后的数据进行排列，计算周期性波动数据的周期变动要素的中位数，将周期变动要素减去中位数并取绝对值得到变动变量，根据变动变量构造分布数列，根据分布数列求得置信区间范围；针对大于置信区间范围所对应的数据，采用walk forward方法逐段选取特征点。所述数据拟合模块连接特征点形成包络线，根据包络线的形状选取拟合函数，通过拟合函数对包络线对应的电场强度进行拟合，根据拟合函数的最大值选取拟合函数的上升沿和半宽，根据拟合函数的上升沿和半宽提取描述包络线波形的特征参数。例如，将拟合函数的最大值作为峰值，将0.9倍峰值与0.1倍峰值之间的时间作为拟合函数的上升沿，将上升沿0.5倍峰值与下降沿0.5倍峰值作为拟合函数的半宽。
[0044]
本实施例的电磁环境数据压缩装置的具体细节，可以对应参阅前述的电磁环境数据压缩方法的相关描述和效果进行理解，此处不再赘述。
[0045]
本技术实施方式还提供一种机器可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被执行时实现上述的电磁环境数据压缩方法。
[0046]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0047]
本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0048]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0049]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0050]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0051]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。