物探类数据有损压缩方法、分析方法及压缩分析系统与流程

1.本发明涉及物探类数据处理分析技术，具体是一种通过筛选和分段操作提取物探类数据中的有效数据和背景场数据，并根据特定时间信息和采样率压缩数据，还原和分析有效数据和背景场数据的一种物探类数据有损压缩方法、分析方法及压缩分析系统。


背景技术：

2.目前多物理场同步监测物探设备应用越来越多，可对目标区域三维空间的电磁辐射信号、微震信号和自然电场电位信号进行观测。目前物探仪器基本采用24位a/d转换器，高达1mhz的采样频率采集数据，随着采集通道数的增加采集数据的量很庞大，若有16个通道每秒钟产生的数据多达48mb，故有必要采用更大压缩比的数据压缩方法，减小数据量。特别是监测类物探工程全天侯采集，若将全部数据都保存，需要的存储空间太大，且对后续的数据处理也不利。
3.期刊物探与化探2014年10月第38卷第5期的文章《微地震监测数据压缩技术》，针对微地震监测数据海量的问题，提出先采用自适应阈值的sta/lta算法，选取合适的特征函数，识别出微地震有效信号，然后确定有效信号的起止时间，完整截取有效信号的波形数据，去除大量冗余数据，将数据减少为原来的20％以下，最后对截取后的有效信号进行压缩，使监测数据的压缩比达到10:1。该文献数据采集设备采样率最高仅达10khz，以地面部署20个三分量检波器，采样频率为4khz，数字信号精度24bit，那么每秒钟产生的数据为7.32mb。此文献只对微震有效信号进行无损压缩，且压缩比有限；另对于背景信号直接丢弃，不能有效利用所有信号，因为背景信号中仍包含可利用的信息，故也需要保留，一并进行压缩。如自然电场中的电位信息、电磁幅射信息，经常包含了目标体特征，也可提取有用的物理场信息进行处理从而获得目标体信息，因此对每个通道的背景信号与有效信号进行分别压缩有实际的需求与必要。


技术实现要素：

4.本发明所要解决的技术问题在于针对采用高采样率采集物探监测类数据存在的数据量庞大、现有技术在压缩数据时直接丢弃背景场数据而忽略背景场数据中包含的可利用信息的问题，提供一种物探类数据的有损压缩和还原方法。
5.本发明通过以下技术手段实现解决上述技术问题的：一种物探类数据有损压缩方法，包括：
6.s1、对单通道的数据流分段，区别出背景场数据和有效信号数据，并将背景场数据及有效信号数据进行排序；
7.s2、分别对各所述背景场数据序列以相同长度时间窗口t为单位，以所述相同长度时间窗口t内的所述背景场数据的代表值作为背景压缩数据组，据以压缩背景场数据；
8.s3、降低原始的有效信号采样频率，据以对当前有效信号数据序列中的有效信号数据进行采样，以得到有效信号数据样本，计算所述有效信号数据样本的代表值作为压缩
后的有效数据，按顺序对所述有效信号数据样本进行处理，据以压缩有效数据。
9.本发明不但对有效信号进行压缩，还对于背景信号进行大比例压缩，对单通道的数据按指定的规则进行分段，所述背景场数据的代表值作为背景压缩数据组，据以压缩背景场数据，降低原始的有效信号采样频率，既能对背景场数据进行压缩处理，也能对有效信号数据进行压缩处理，能够保留背景场数据，有效减小存储所需的空间，还能保证信号有效性。
10.在更具体的技术方案中，所述步骤s1中，对单通道的数据流分段，以指定的脉宽和预设范围的幅值，区别出背景场数据和有效信号数据，并将数据流分段为交替排列的背景场数据序列及有效信号数据序列。
11.在更具体的技术方案中，所述步骤s2包括：
12.s21、顺次取每一所述背景场数据序列中所述相同长度时间窗口t内的背景场数据；
13.s22、分别记录所述相同长度时间窗口t内的所述背景场数据的起始值、终止值、最小值、最大值作为当前所述相同长度时间窗口t的所述背景压缩数据组；
14.s23、按照前述相同长度时间窗口t内的背景场数据压缩步骤顺次处理其他所述相同长度时间窗口t内的背景场数据，直至处理完当前背景场数据序列以形成压缩后的所述背景场数据序列；
15.s24、以前述背景场数据序列压缩步骤处理所有所述背景场数据序列，直到处理完当前数据流中的所有所述背景场数据。
16.本发明通过获取背景场数据多个时间窗口t的起始值、终止值、最小值、最大值作为压缩后的背景场数据，保留了背景场数据中可利用的信息，能在很大程度上，保证压缩后的数据仍具有代表性和有效性。
17.在更具体的技术方案中，所述步骤s3还包括：
18.s31、降低原始的有效信号采样频率，将降低后的采样频率指定为所述有效信号新采样频率；
19.s32、以所述有效信号新采样频率对当前有效信号数据序列有效信号数据进行采样，把所述有效信号新采样频率对应的一段等长有效信号采样时间段内的有效信号数据取出作为一个有效信号数据样本，计算所述有效信号数据样本中数据的有效信号数据样本代表值，其中，所述有效信号数据样本代表值包括：平均值、中值、众数、样本期望；
20.s33、按照所述步骤s32中的样本代表值计算方法顺次计算其他所述等长有效信号采样时间段的有效信号数据代表值，直至该所述有效信号数据序列压缩完成，以所有所述有效信号数据代表值组成压缩后的当前所述有效信号数据序列，对所有所述有效信号数据序列循环执行前述压缩步骤，直至所有所述有效信号数据序列压缩完成；
21.s34、以所有压缩后的所述有效信号数据序列组成压缩后的有效信号。
22.在更具体的技术方案中，所述物探类数据包括微震信号、自然电场信号及电磁辐射信号。
23.在更具体的技术方案中，一种背景场k线图形分析方法，包括：
24.s1’、选定背景分析时间段，据以对该所述背景分析时间段内每一背景场数据序列中按照权利要求1至5中任一项压缩后的背景场数据作所述k线，所述步骤s1’包括：
25.s11’、取压缩后的背景场数据中的一组数据作k线，根据预置时间的宽度作矩形，取起始值为一边，终止值为另一边，从下沿宽度的中点位置做垂线到最小值，从上沿宽度的中点位置做垂线到最大值；
26.s12’、当所述k线的起始值小于终止值时，采用第一充填标记以表示阳线，所述阳线代表所述预置时间内的数值上升，否则采用第二充填标记以表示阴线，用以代表所述预置时间内的数值下降，其中，所述k线的宽度表达时间长度，所述时间长度可变；
27.s2’、将所述背景分析时间段内相邻组的所述k线排列在一起，结合所有所述相同长度时间窗口t对应的所述k线，以获取所述背景分析时间段内的所述背景场数据的背景趋势分析k线图，据以直观分析背景场的波动情况，其中，所述波动情况包括：上升、下降、振荡。
28.本发明的k线的宽度表达时间的长度(例如5秒)。本发明不但对有效信号进行压缩，对于背景信号进行大比例压缩，还保留各种分析手段，如进行趋势分析，能从整体上把握背景场数据的情况。
29.在更具体的技术方案中，所述步骤s2’还包括:
30.s21’、获取并比较压缩后的背景场数据中每组最大值、最小值，据以确定再压缩最大值、再压缩最小值、再压缩起始值及再压缩终止值；
31.s22’、以每组所述再压缩最大值、所述再压缩最小值、所述再压缩起始值及所述再压缩终止值构成再压缩背景场数据组；
32.s23’、对所述再压缩背景场数据组作所述k线及所述k线图，据以分析所述再压缩背景场数据。
33.本发明中背景场数据二次压缩是为看清一段时间内大趋势只针对背景场数据，利于对背景场数据的趋势进行整体分析和把握。二次压缩后的数据也适用于上述k线以及k线图形分析方法。
34.在更具体的技术方案中，有效数据再压缩方法的步骤包括：
35.s201’、获取有效再压缩采样频率；
36.s202’、根据所述有效再压缩采样频率，对所述压缩后的有效数据获取再压缩代表值数据；
37.s203’、将所述再压缩代表值数据作为再压缩有效数据。
38.本发明中有效数据的二次压缩是因为分析需要的采样频率小于现在的压缩频率，可以进行二次压缩。
39.在更具体的技术方案中，背景场信号及有效信号综合分析方法包括：
40.s211’、当分析时需要综合分析背景场信号及有效信号时，以所述有效数据的应用采样频率作为背景场信号及有效信号的统一采样频率；
41.s212’、截取所述有效信号的相应分析时间段中的背景场信号，找到所述背景场信号与所述有效信号的连接处时间窗位置，从所述背景还原时间窗中的背景场数据中获取所述背景场数据的最大值、最小值，根据所述统一采样频率，从所述背景场信号的起始时间到终止时间，通过不断取随机值[最小值,最大值]作为当前时刻的数据，近似还原所述压缩后的背景场数据，在所述连接处时间窗位置以所述背景信号的还原结果与所述有效信号连接用以综合分析所述背景信号及所述有效信号；
[0042]
s213’、当分析时要求更高的有效信号采样频率时，插值处理所述压缩后的有效数据用以有损还原所述有效数据，用以对所述有效数据进行高频分析。
[0043]
本发明对压缩的数据进行还原，一方面表明压缩方法不影响数据的后期处理和分析，另一方面，数据还原得到基本完整的数据，用于数据分析。解压有效数据有两个原因：第一、一般有效数据压缩后可以直接用来分析，不需要还原，在1m采样频率的前提下压缩的目的一个是减少有效数据的体积；第二个是对有效信号数据样本的处理可以压制干扰和噪声；只有在需要更高的分析频率时，才插值处理还原有效数据，如果要把背景场信号和有效信号放在一起连着分析，才需要统一使用有效信号采样频率对背景场信号进行解压缩，且背景信号需要多少就解压缩多少，不需要还原全部背景场信号。
[0044]
在更具体的技术方案中，物探类数据有损压缩及背景场图形分析系统包括：
[0045]
数据流分段模块(1)，用于区别出背景场数据和有效信号数据，并将背景场数据及有效信号数据进行排序；
[0046]
背景场压缩模块(2)，用以对单通道的数据流分段，区别出背景场数据和有效信号数据，分别对各所述背景场数据序列以相同长度时间窗口t为单位，以所述相同长度时间窗口t内的所述背景场数据的代表值作为背景压缩数据组，据以压缩背景场数据，所述背景场压缩模块(2)连接所述数据流分段模块(1)；
[0047]
有效数据压缩模块(3)，用以降低原始的有效信号采样频率，据以对当前有效信号数据序列中的有效信号数据进行采样，以得到有效信号数据样本，计算所述有效信号数据样本的代表值作为压缩后的有效数据，按顺序对所述有效信号数据样本进行处理，据以压缩有效数据，所述有效数据压缩模块(3)与所述数据流分段模块(1)连接；
[0048]
背景场k线分析模块(4)，用以选定背景分析时间段，据以对该背景分析时间段内每一背景场数据序列中按照权利要求1至5中任一项压缩后的背景场数据作所述k线，所述背景场k线分析模块(4)连接所述背景场压缩模块(2)，所述背景场k线分析模块(4)包括：
[0049]
k线图形模块(41)，用以取压缩后的背景场数据中的一组数据作k线，根据预置时间宽度作矩形，取起始值为一边，终止值为另一边，从下沿宽度的中点位置做垂线到最小值，从上沿宽度的中点位置做垂线到最大值；
[0050]
k线填充模块(42)，用以当所述k线的起始值小于终止值时，采用第一充填标记以表示阳线，所述阳线代表所述预置时间内的数值上升，否则采用第二充填标记以表示阴线，用以代表所述预置时间内的数值下降，其中，所述k线的宽度表达时间长度，所述时间长度可变，所述k线填充模块(42)与所述k线图形模块(41)连接；
[0051]
背景场k线图分析趋势模块(5)，用以将所述背景分析时间段内相邻组的所述k线排列在一起，结合所有所述相同长度时间窗口t对应的所述k线，以获取所述背景分析时间段内的所述背景场数据的背景趋势分析k线图，据以直观分析背景场的波动情况，其中，所述波动情况包括：上升、下降、振荡，所述背景场k线图分析趋势模块(5)连接所述背景场k线分析模块(4)。
[0052]
本发明相比现有技术具有以下优点：
[0053]
1、本发明不但对有效信号进行压缩，还对于背景信号进行大比例压缩，对单通道的数据按指定的规则进行分段，所述背景场数据的代表值作为背景压缩数据组，据以压缩背景场数据，降低原始的有效信号采样频率，既能对背景场数据进行压缩处理，也能对有效
信号数据进行压缩处理，能够保留背景场数据，有效减小存储所需的空间，还能保证信号有效性。
[0054]
2、本发明通过获取背景场数据多个时间窗口t的起始值、终止值、最小值、最大值作为压缩后的背景场数据，保留了背景场数据中可利用的信息，能在很大程度上，保证压缩后的数据仍具有代表性和有效性。
[0055]
3、本发明不但对有效信号进行压缩，对于背景信号进行大比例压缩，还保留各种分析手段，如进行趋势分析，对压缩的数据进行还原，一方面表明压缩方法不影响数据的后期处理和分析，另一方面，数据还原得到基本完整的数据，用于数据分析，能从整体上把握背景场数据的情况。
[0056]
4、本发明中背景场数据二次压缩是为看清一段时间内大趋势只针对背景场数据，利于对背景场数据的趋势进行整体分析和把握。二次压缩后的数据也适用于上述k线以及k线图形分析方法。
[0057]
5、本发明对压缩的数据进行还原，一方面表明压缩方法不影响数据的后期处理和分析，另一方面，数据还原得到基本完整的数据，用于数据分析。解压有效数据有两个原因：第一、一般有效数据压缩后可以直接用来分析，不需要还原，在1m采样频率的前提下压缩的目的一个是减少有效数据的体积；第二个是对有效信号数据样本的处理可以压制干扰和噪声；只有在需要更高的分析频率时，才插值处理还原有效数据，如果要把背景场信号和有效信号放在一起连着分析，才需要统一使用有效信号采样频率对背景场信号进行解压缩，且背景信号需要多少就解压缩多少，不需要还原全部背景场信号。
[0058]
综上，本发明解决了现有技术存在的采用高采样率采集物探监测类数据存在的数据量庞大、现有技术在压缩数据时直接丢弃背景场数据而忽略背景场数据中包含的可利用信息的技术问题。
附图说明
[0059]
图1是物探类数据有损压缩分析方法的流程示意图；
[0060]
图2是背景场信号压缩具体流程示意图；
[0061]
图3是有效信号压缩流程示意图；
[0062]
图4是k线分析背景场数据流程示意图；
[0063]
图5是单个k线制作流程示意图；
[0064]
图6是k线值阴线阳线结构示意图；
[0065]
图7是背景场数据再压缩及分析流程示意图；
[0066]
图8是实施例一的背景场数据k线趋势示意图；
[0067]
图9是有效数据再压缩流程示意图；
[0068]
图10是有效信号及背景信号综合分析流程示意图；
[0069]
图11是有效信号判断流程示意图；
[0070]
图12是有效信号高频分析还原流程示意图；
[0071]
图13是实施例三的背景场数据k线趋势示意图。
[0072]
图14是物探类数据有损压缩及背景场图形分析系统模块连接示意图。
具体实施方式
[0073]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0074]
实施例1：
[0075]
本实施例以电磁辐射信号为例，在本实施例中，数据处理方法包括以下步骤：
[0076]
一、判断电磁辐射有效信号。
[0077]
在本实施例中，电磁辐射信号电磁辐射有效信号判别方法：以信号能量的幅值是前后能量幅值的10倍(倍数可实际据现场进行调整)且保持指定的频宽，则认为电磁辐射信号开始了，持续一段时间之后又恢复为很小的背景能量幅值，则判定该连续时间段内的信号为有效的电磁辐射信号。
[0078]
二、数据流分段
[0079]
如图1所示，s1、对单通道的数据流分段，区别出背景场数据和有效信号数据，并将背景场数据及有效信号数据进行排序；
[0080]
在本实施例中，将单通道数据流分段为背景场数据序列1、电磁辐射有效信号数据序列1、背景场数据序列2、电磁辐射有效信号数据序列2、背景场数据序列3、
…
；
[0081]
在本实施例中，对每个单独的通道进行信号识别，即从数据流中判断电磁辐射有效信号。
[0082]
判断出数据流中的电磁辐射有效信号之后，可对数据流进行分段，分段形式是背景场信号数据序列1、电磁辐射有效信号数据序列1、背景场信号数据序列2、电磁辐射有效信号数据序列2、背景场信号数据序列3、
…
。
[0083]
三、背景场数据压缩方法
[0084]
s2、分别对各所述背景场数据序列以相同长度时间窗口t为单位，以所述相同长度时间窗口t内的所述背景场数据的代表值作为背景压缩数据组，据以压缩背景场数据，在本实施例中，所述步骤s2包括：分别对背景场数据序列1、背景场数据序列2、背景场数据序列3、
…
，以相同长度时间窗口t为单位压缩每一所述背景场数据序列中的每一背景场数据，所述背景场数据压缩的步骤还包括：
[0085]
如图2所示，s21、顺次取每一所述背景场数据序列中所述相同长度时间窗口t内的背景场数据；
[0086]
在本实施例中，首先选定相同长度时间段窗口t例如10秒，采集的背景场数据以t为一组数据(起始时间t1，终止时间t1 10秒)；
[0087]
s22、分别记录所述背景场数据在所述相同长度时间窗口t内的起始值、终止值、最小值、最大值作为当前所述相同长度时间窗口t的压缩数据组；
[0088]
在本实施例中，取每组数据中的4个数据，即起始值、终止值、最小值、最大值，作为压缩后的数据，代表相同长度时间段窗口t内数据样本代表；依次按时间段t内的所有背景场数据进行压缩。若t为10s，则通过压缩后，10s的数据量也被减少到4个；当然，也可进一步保留平均值或中值；
[0089]
s23、按照前述相同长度时间窗口t内的背景场数据压缩步骤顺次处理其他所述相
同长度时间窗口t内的背景场数据，直至处理完当前背景场数据序列以形成压缩后的背景场数据组序列；
[0090]
在本实施例中，每个数据组与一个相同长度时间段窗口t对应，每组数据可代表对应相同长度时间段窗口t内的波动情况(和下面的k线表示类似，反应t时间段的波动特征)，在本实施例中，例如背景场数据序列1长十五分钟，可10秒压一次，可获得90组数据；背景场数据序列2长三十分钟，10秒压一次，可获得180组数据；
[0091]
s24、以前述背景场数据序列压缩步骤处理所有所述背景场数据序列，直到处理完当前数据流中的所有所述背景场数据；
[0092]
在本实施例中，根据前述处理数据序列的方法处理完所有所述背景场数据序列，以所有所述压缩后的背景场数据序列组成当前单通道内的背景场压缩数据，以完成对当前单通道内的背景场数据的压缩，再对多通道中的背景场信号循环执行前述背景场数据压缩步骤s21至s24，以对所有通道中的背景场数据进行压缩。
[0093]
在本实施例中，若背景场序列以t为时窗长度将序列内的背景场数据分组，最后一组背景场数据的时间长度不足一个t的长度时，例如最后一段时间长度为例如4秒，则可以对该段背景场数据进行例如舍弃的操作。
[0094]
电磁辐射信号数据的压缩方法
[0095]
s3、降低原始的有效信号采样频率，据以对当前有效信号数据序列中的有效信号数据进行采样，以得到有效信号数据样本，计算所述有效信号数据样本的代表值作为压缩后的有效数据，按顺序对所述有效信号数据样本进行处理，据以压缩有效数据，在本实施例中，将电磁辐射有效信号分成若干组，每组数据用代表值替代，完成对当前电磁辐射信号数据进行压缩，如图3所示，所述步骤s3还包括：
[0096]
s31、降低原始的有效信号采样频率，将降低后的采样频率指定为所述有效信号新采样频率，在本实施例中，将原始的电磁辐射有效信号高采样频率降低为低采样频率例如1m降低为例如1k，将降低后的采样频率指定为电磁辐射有效信号新采样频率；
[0097]
s32、以所述电磁辐射有效信号新采样频率对当前电磁辐射有效信号数据序列电磁辐射有效信号数据进行采样，把其中电磁辐射有效信号新采样频率对应的一段等长电磁辐射有效信号采样时间段内的电磁辐射有效信号数据取出作为一个电磁辐射有效信号数据样本，计算所述电磁辐射有效信号1000个数据样本中数据的电磁辐射有效信号数据样本代表值，其中，所述电磁辐射有效信号数据样本代表值可采用包括：平均值、中值、众数、样本期望；
[0098]
s33、按照所述步骤s32中的样本代表值计算方法顺次计算其他等长电磁辐射有效信号采样时间段的电磁辐射有效信号数据代表值，直至该所述电磁辐射有效信号数据序列压缩完成，以所有所述电磁辐射有效信号数据代表值组成压缩后的当前所述电磁辐射有效信号数据序列，对所有所述电磁辐射有效信号数据序列循环执行前述压缩步骤，直至所有所述电磁辐射有效信号数据序列压缩完成；
[0099]
s34、以所有所述压缩后的所述电磁辐射有效信号数据序列组成压缩后的电磁辐射有效信号。在本实施例中，对多通道内的有效信号数据循环执行前述的有效信号压缩步骤s31至s34，以压缩所有通道内的有效信号。
[0100]
进一步，可选择标准的数据压缩方法对有效数据进一步压缩。
[0101]
一种背景场k线图形分析方法，包括：
[0102]
如图4所示，s1’、选定背景分析时间段，据以对该背景分析时间段内每一背景场数据序列中按照相同长度时间窗口t分组对应的每组所述压缩后的背景场数据作所述k线；
[0103]
s2’、将所述背景分析时间段内相邻组的所述k线排列在一起，结合所有所述相同长度时间窗口t对应的所述k线，以获取所述背景分析时间段内的所述背景场数据的背景趋势分析k线图，据以直观分析背景场的波动情况：上升、下降、振荡；
[0104]
本发明的k线的宽度表达时间的长度(例如5秒)。本发明不但对电磁辐射有效信号进行压缩，对于背景信号进行大比例压缩，还保留各种分析手段，如进行趋势分析，能从整体上把握背景场数据的情况。
[0105]
如图5及图6所示，所述步骤s1’还包括：
[0106]
s11’、取压缩后的背景场数据中的一组数据作k线，根据预置时间的宽度作矩形，取起始值为一边，终止值为另一边，从下沿宽度的中点位置做垂线到最小值，从上沿宽度的中点位置做垂线到最大值；
[0107]
在本实施例中，以上影线的上端点为最大值对应点，用以表示该k线的最大值，以下影线的下端点为最小值对应点，用以表示该k线的最小值，从上沿宽度的中点位置向最大值对应点做上影线，从下沿宽度的中点位置向最小值对应点做下影线，上影线和下影线的高度与k线的矩形高度呈等比例关系。
[0108]
s12’如果起始值小于终止值充填标记1(例如空白填充)，表示阳线，所述阳线代表所述预置时间内的数值上升，否则充填标记2(例如斜线填充)，表示阴线，代表所述预置时间内的数值下降。其中所述k线的宽度表达时间长度，该时间长度可变，在本实施例中，所述时间长度包括例如5秒。
[0109]
在本实施例中，k线的宽度可以是显示屏像素的点数，可采用5个像素点表达一个k线，这5个像素点根据具体时间窗口长度t的不同，可以代表包括但不限于：5秒、5分钟、1小时等。
[0110]
如图7及图8所示，步骤s2’还包括:
[0111]
s21’、获取并比较压缩后的背景场数据中每组最大值、最小值，据以确定再压缩最大值、再压缩最小值、再压缩起始值及再压缩终止值；
[0112]
s22’、以每组所述再压缩最大值、所述再压缩最小值、所述再压缩起始值及所述再压缩终止值构成再压缩背景场数据组；
[0113]
s23’、对所述再压缩背景场数据组作所述k线及所述k线图，据以分析所述再压缩背景场数据。
[0114]
本发明中背景场数据二次压缩是为看清一段时间内大趋势只针对背景场数据，利于对背景场数据的趋势进行整体分析和把握。二次压缩后的数据也适用于上述k线以及k线图形分析方法。
[0115]
如图9所示，压缩后的有效数据的再压缩有效数据的步骤包括：
[0116]
s201’、获取有效再压缩采样频率；
[0117]
s202’、根据所述有效再压缩采样频率，对所述压缩后的有效数据获取再压缩代表值数据；
[0118]
s203’、将所述再压缩代表值数据作为再压缩有效数据。
[0119]
本发明中有效数据的二次压缩是因为分析需要的采样频率小于现在的压缩频率，可以进行二次压缩。
[0120]
在本实施例中，对于电磁辐射信号的分析，一般压缩后的电磁辐射信号数据是满足常规分析的要求的，对于电磁辐射信号的分析一般是不用还原压缩后的电磁辐射信号数据的。
[0121]
如图10所示，综合分析背景场信号及电磁辐射有效信号的步骤包括：
[0122]
s211’、当分析时需要综合分析背景场信号及电磁辐射有效信号时，以所述有效数据的应用采样频率作为背景场信号及电磁辐射有效信号的统一采样频率；
[0123]
s212’、截取所述电磁辐射有效信号的相应分析时间段中的背景场信号，找到所述背景场信号与所述有效信号的连接处时间窗位置，从所述背景还原时间窗中的背景场数据中获取所述背景场数据的最大值、最小值，根据所述统一采样频率，从所述背景场信号的起始时间到终止时间，通过不断取随机值[最小值,最大值]作为当前时刻的数据，近似还原所述压缩后的背景场数据，在所述连接处时间窗位置以所述背景信号的还原结果与所述有效信号连接用以综合分析所述背景信号及所述有效信号；
[0124]
s213’、当分析时要求更高的电磁辐射有效信号采样频率时，插值处理所述压缩后的有效数据用以有损还原所述有效数据，用以对所述有效数据进行高频分析。
[0125]
在本实施例中，电磁辐射信号数据的还原方法：
[0126]
如果使用了常规压缩，则先解压缩，如果分析时要求更高的采样频率，可对解压后的数据进行插值，插值的方法可选择包括：5点三次、抛物线插值、线性插值等，对于电磁辐射信号的分析，一般来说压缩后的电磁辐射信号数据是满足常规分析的要求的，对于电磁辐射信号的分析一般是不用还原压缩后的电磁辐射信号数据的，如果分析电磁辐射信号需要更高的采样频率采用插值的方法进行有损还原，以满足更高的分析需要。如果需要把电磁辐射信号和背景场信号结合起来分析，就需要把相应时段的背景场信号截取过来，电磁辐射信号和背景场信号都采取电磁辐射信号的采样频率进行采样，以还原背景场信号数据。在本实施例中，背景场压缩数据的还原方法：保持和分析时的电磁辐射有效信号同采样频率，找到对应时间窗，获得其最大值、最小值，从起始时间到终止时间通过不断取随机值[最小值,最大值]作为当前时刻的数据，近似还原背景信号。如果分析电磁辐射信号需要更高的采样频率，对电磁辐射数据采用插值的方法进行有损还原，以满足更高的分析需要。
[0127]
进一步，对其他数据通道按上述方法进行处理。
[0128]
如图14所示，物探类数据有损压缩及背景场图形分析系统包括：
[0129]
数据流分段模块(1)，用于区别出背景场数据和有效信号数据，并将背景场数据及有效信号数据进行排序；
[0130]
背景场压缩模块(2)，用以对单通道的数据流分段，区别出背景场数据和有效信号数据，分别对各所述背景场数据序列以相同长度时间窗口t为单位，以所述相同长度时间窗口t内的所述背景场数据的代表值作为背景压缩数据组，据以压缩背景场数据，所述背景场压缩模块(2)连接所述数据流分段模块(1)；
[0131]
有效数据压缩模块(3)，用以降低原始的有效信号采样频率，据以对当前有效信号数据序列中的有效信号数据进行采样，以得到有效信号数据样本，计算所述有效信号数据样本的代表值作为压缩后的有效数据，按顺序对所述有效信号数据样本进行处理，据以压
缩有效数据，所述有效数据压缩模块(3)与所述数据流分段模块(1)连接；
[0132]
背景场k线分析模块(4)，用以选定背景分析时间段，据以对该背景分析时间段内每一背景场数据序列中按照权利要求1至5中任一项压缩后的背景场数据作所述k线，所述背景场k线分析模块(4)连接所述背景场压缩模块(2)，所述背景场k线分析模块(4)包括：
[0133]
k线图形模块(41)，用以取压缩后的背景场数据中的一组数据作k线，根据预置时间宽度作矩形，取起始值为一边，终止值为另一边，从下沿宽度的中点位置做垂线到最小值，从上沿宽度的中点位置做垂线到最大值；
[0134]
k线填充模块(42)，用以在所述k线的起始值小于终止值时，采用第一充填标记以表示阳线，所述阳线代表所述预置时间内的数值上升，否则采用第二充填标记以表示阴线，用以代表所述预置时间内的数值下降，其中，所述k线的宽度表达时间长度，所述时间长度可变，所述k线填充模块(42)与所述k线图形模块(41)连接；
[0135]
背景场k线图分析趋势模块(5)，用以将所述背景分析时间段内相邻组的所述k线排列在一起，结合所有所述相同长度时间窗口t对应的所述k线，以获取所述背景分析时间段内的所述背景场数据的背景趋势分析k线图，据以直观分析背景场的波动情况，其中，所述波动情况包括：上升、下降、振荡，所述背景场k线图分析趋势模块(5)连接所述背景场k线分析模块(4)。
[0136]
实施例2：
[0137]
以微震信号为例：技术人员通过布设在野外监测区域的传感器，采集微震信号，不仅能实时监测目标体的物理场情况，同时收集了大量丰富的能用于分析目标体信息的监测数据。目前物探领域所采用的设备大多以24位高精度1mhz高采样频率采集野外现场信号数据，并且微震信号数据的监测一般需要24小时进行，采集的信息很全面但数据量庞大，给数据存储及传输带来不便，有必要对采集的信号数据压缩，减小数据量。
[0138]
微震信号隐蔽性强不易捕捉，且在野外采集过程中又受周围环境因素等干扰，微震信号能量反映的幅值相较于电磁辐射信号和自然电场电位信号，更易隐藏在所谓的“背景场信号”中，所以不能为了降低数据量而忽视“背景场信号”中的有用的隐含信息，需对“背景场信号”和“有效信号”加以判断，分别采用不同方法不同压缩比实现数据的压缩，最大程度保留有用信号的信息，使得后期处理数据时得到的结果更具有说服性和合理性，如通过分析微震信号，确定异常微震信号的信号源位置及微震发生的时间，判断可能存在的潜在突水风险等。
[0139]
在本实施例中，与实施例1的区别在于有效信号判断方法不同。微震数据处理方法包括以下步骤：
[0140]
s1、判断有效信号；
[0141]
如图11所示，本实施例主要以sta/lta方法识别微震有效信号。判断微震有效信号的步骤包括：
[0142]
s101、根据多年的工程实践经验和相关专业知识，选取合适阈值；
[0143]
s102、当sta与lta的比值r连续超过阈值t的数量超过w时，判断为微震事件发生。阈值的选取采用自适应动态阈值h(n)，提高微震有效信号的识别率。r的计算公式如下(1)所示，h(n)计算公式如下(2)所示：
[0144]
h(n)＝α
×em
(n-m) β
×
ev(n-m)(2)。
[0145]
公式(1)中x(i)，(i＝1，
···
，n)表示短时间窗内数据，y(j)，(j＝1，
···
，m)表示长时间窗内的数据，m和n分别表示长、短时间窗内的样本数。公式(2)中em(n)为振幅的期望值，ev(n)为振幅的标准差，用来消除信号波动的影响，α用来调整期望值系数，β用来调整标准差系数，m为延迟样点数，用来将时窗向前推几个样点以避免因初至引起阈值的过早变化。进一步的，bta-ata、神经网络方法作为可选的判断微震有效信号的方法。
[0146]
在本实施例中，背景场信号数据的压缩、微震有效信号的压缩及对背景场及微震有效信号的分析与实施例1方法相同。
[0147]
对于微震有效信号的分析，一般来说压缩后的微震有效信号数据是满足常规分析的要求的，对于微震有效信号的分析一般是不用还原压缩后的微震有效信号数据的。
[0148]
如果分析微震有效信号需要更高的采样频率采用插值的方法进行有损还原，以满足更高的分析需要。
[0149]
如图12所示，如果需要把微震有效信号和背景场信号结合起来分析，就需要以下述步骤进行背景场信号和有效信号的结合分析：
[0150]
s201、把相应时段的背景场信号截取过来；
[0151]
s202、微震有效信号和背景场信号都采取微震有效信号的采样频率进行采样，以还原背景场信号数据，在本实施例中，该频率不是原始的采样频率1m；
[0152]
s203、如果分析微震有效信号需要更高的采样频率，则采用插值的方法进行有损还原，以满足更高的分析需要。若需要按有效信号的应用采样频率，找到对应时间窗，获得其最大值、最小值，从起始时间到终止时间，通过不断取随机值[最小值,最大值]作为当前时刻的数据，只能近似还原。
[0153]
实施例3：
[0154]
本实施例以自然电场电位信号为例，与实施例1的区别在于有效信号判断方法和背景场数据分析方法的不同。
[0155]
在本实施例中，物探监测类数据处理方法包括以下步骤：
[0156]
一、判断有效信号。
[0157]
在本实施例中，自然电场电位信号有效信号判别方法：以信号能量的幅值是前后能量幅值的5倍(倍数可实际据现场进行调整)且保持指定的频宽，则认为自然电场电位信号开始了，持续一段时间之后又恢复为很小的背景能量幅值，则判定该连续时间段内的信号为有效的自然电场电位信号。
[0158]
二、数据流分段
[0159]
该实施例中的数据流分段与实施例1相同。
[0160]
三、背景场数据压缩方法
[0161]
在本实施例中，背景场数据压缩方法与实施例1相同。
[0162]
四、自然电场电位信号数据的压缩方法
[0163]
按照自然电场电位数据时间间隔t1将自然电场电位信号序列分组为自然电场电
位数据分组，对每一自然电场电位信号数据分组，提取自然电场电位代表值，据以作为压缩后的自然电场电位数据。在本实施例中，原始采样频率采用例如1mhz，可压缩到采样频率为例如0.1khz。压缩方法：采用例如10000个自然电场电位信号数据为一组样本数据，通过数学方法，取一个自然电场电位数据时间间隔对应的自然电场电位信号数据分组中的10000个样本数据的1个作为有效值，代表该组的10000个信号数据，实现该自然电场电位数据时间间隔内数据量的压缩。本实施例选取有效值的数学方法包括但不限于：中值，即以一段自然电场电位数据时间间隔内所采集所有自然电场电位数据中的中间的数据，作为一个数据来代表该自然电场电位数据时间间隔内的所有自然电场电位数据时间间隔数据。
[0164]
本实例背景场数据的趋势分析：
[0165]
本实施例中的背景场数据的趋势分析方法与实施例1相同。
[0166]
本实施例中的技术方案还包括对压缩后的数据进行二次压缩，二次压缩方法：即在分析后，还可进一步压缩，如1s进一步可压缩到1分钟，之后再使用相同方法，将数据进一步压缩到10分钟；处理方法也是类似的，比较各个子时段的数据，找到最大值、最小值，并记录起始值与终止值；对背景场可按照不同的时间窗进行数据分析。
[0167]
背景场数据的二次压缩，当需要针对更长时间例如：一天、一个月、一年等等时间长度内的背景场数据的趋势利用k线图进行分析时，这时就需要二次压缩，可选的，在特定需求的分析应用场景下，甚至需要挖去多个有效数据序列，以跨序列的方式对每一单通道中的背景场信号数据进行进行二次压缩。
[0168]
如图13所示，是某段连续的时间周期内自然电场电位信号压缩后的数据用k线图的形式表现出来的趋势变化，从图中可以看出，自然电场电位信号前期随机波动，后面连续上升。如果自然电场电位连续变化，即连续抬升或下降，说明产生一次电场异常，进一步分析如果相邻位置的传感器观测值同步变化，则说明在裂隙扩张过程中伴有水渗流。进一步的，以某段时间周期内的自然电场电位信号压缩及二次压缩后的数据的趋势进行分析。
[0169]
综上所述，本发明不但对有效信号进行压缩，还对于背景信号进行大比例压缩，对单通道的数据按指定的规则进行分段，所述背景场数据的代表值作为背景压缩数据组，据以压缩背景场数据，降低原始的有效信号采样频率，既能对背景场数据进行压缩处理，也能对有效信号数据进行压缩处理，能够保留背景场数据，有效减小存储所需的空间，还能保证信号有效性。
[0170]
本发明通过获取背景场数据多个时间窗口t的起始值、终止值、最小值、最大值作为压缩后的背景场数据，保留了背景场数据中可利用的信息，能在很大程度上，保证压缩后的数据仍具有代表性和有效性。
[0171]
本发明不但对有效信号进行压缩，对于背景信号进行大比例压缩，还保留各种分析手段，如进行趋势分析，对压缩的数据进行还原，一方面表明压缩方法不影响数据的后期处理和分析，另一方面，数据还原得到基本完整的数据，用于数据分析，能从整体上把握背景场数据的情况。
[0172]
本发明中背景场数据二次压缩是为看清一段时间内大趋势只针对背景场数据，利于对背景场数据的趋势进行整体分析和把握。二次压缩后的数据也适用于上述k线以及k线图形分析方法。
[0173]
本发明对压缩的数据进行还原，一方面表明压缩方法不影响数据的后期处理和分
析，另一方面，数据还原得到基本完整的数据，用于数据分析。解压有效数据有两个原因：第一、一般有效数据压缩后可以直接用来分析，不需要还原，在1m采样频率的前提下压缩的目的一个是减少有效数据的体积；第二个是对有效信号数据样本的处理可以压制干扰和噪声；只有在需要更高的采样频率时，才插值处理才还原有效数据，如果分析需要有效信号和背景场信号，那就要以相同的采样频率(有效信号采样频率)如果要把背景场信号和有效信号放在一起连着分析，(只有在需要背景信号时)才需要统一使用有效信号采样频率对背景场信号进行解压缩，且背景信号需要多少就解压缩多少，不需要还原全部背景场信号。
[0174]
综上，本发明解决了现有技术存在的采用高采样率采集物探监测类数据存在的数据量庞大、现有技术在压缩数据时直接丢弃背景场数据而忽略背景场数据中包含的可利用信息的技术问题。
[0175]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。