一种基于卷积神经网络的AMT数据降噪方法及系统与流程

一种基于卷积神经网络的amt数据降噪方法及系统
技术领域
1.本发明涉及地球物理电磁法勘探技术领域，特别是涉及一种基于卷积神经网络的amt数据降噪方法及系统。


背景技术：

2.音频大地电磁测深法(amt)已在油气远景区推断、地热勘查、寻找水源和良导性矿体、探测沉积盆地构造等领域取得了广泛的应用。但由于amt法以微弱的天然大地电磁场为场源来探测地下电性结构，并且随着国家工业的发展，采集数据的工作区受多种噪声干扰的情况愈发严重，导致采集到的信号被淹没在噪声中，数据质量差。


技术实现要素：

3.针对上述问题，本发明的目的是提供一种基于卷积神经网络的amt数据降噪方法及系统。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于卷积神经网络的amt数据降噪方法，包括：
6.获取包括amt数据的多个文件；多个所述文件分别为ts2文件、ts3文件以及ts4文件；
7.将所述amt数据划分为训练集和待降噪amt数据；
8.构建卷积神经网络模型；
9.通过所述训练集对所述卷积神经网络模型进行训练；
10.通过训练好的卷积神经网络模型对所述待降噪的amt数据进行降噪处理。
11.可选地，所述ts2文件以0.1s采集2400个电磁场分量数据的方式记录和存储，所述ts3文件以1s采集2400个电磁场分量数据的方式记录和存储，所述ts4文件以1s采集150个电磁场分量数据的方式记录和存储。
12.可选地，所述卷积神经网络模型包括依次连接的输入层、卷积核、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层、第三全连接层以及输出层。
13.可选地，通过训练好的卷积神经网络模型对所述待降噪的amt数据进行降噪处理，具体包括：
14.将所述待降噪amt数据输入至训练好的卷积神经网络模型中，得到噪声序列；
15.将所述待降噪amt数据减去所述噪声序列，得到降噪后的amt数据。
16.本发明还提供了一种基于卷积神经网络的amt数据降噪系统，包括：
17.文件获取模块，用于获取包括amt数据的多个文件；多个所述文件分别为ts2文件、ts3文件以及ts4文件；
18.划分模块，用于将所述amt数据划分为训练集和待降噪amt数据；
19.模型构建模块，用于构建卷积神经网络模型；
20.训练模块，用于通过所述训练集对所述卷积神经网络模型进行训练；
21.降噪模块，用于通过训练好的卷积神经网络模型对所述待降噪的amt数据进行降噪处。
22.可选地，所述降噪模块具体包括：
23.输入单元，用于将所述待降噪amt数据输入至训练好的卷积神经网络模型中，得到噪声序列；
24.降噪单元，用于将所述待降噪amt数据减去所述噪声序列，得到降噪后的amt数据。
25.根据本发明提供的具体实施例，本发明公开了以下技术效果：
26.本发明提供的一种基于卷积神经网络的amt数据降噪方法，包括：获取包括amt数据的多个文件；多个所述文件分别为ts2文件、ts3文件以及ts4文件；将所述amt数据划分为训练集和待降噪amt数据；构建卷积神经网络模型；通过所述训练集对所述卷积神经网络模型进行训练；通过训练好的卷积神经网络模型对所述待降噪的amt数据进行降噪处理。通过本发明提供的方法能够对amt数据进行有效的降噪处理。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明提供的基于卷积神经网络的amt数据降噪方法的流程图；
29.图2为本发明提供的一种卷积神经网络示意图；
30.图3为一种卷积神经网络的全连接层示意图；
31.图4为本发明提供的另一种卷积神经网络示意图；
32.图5为另一种卷积神经网络的全连接层示意图；
33.图6为本发明提供的a-1类卷积神经网络示意图；
34.图7为本发明提供的a-2类卷积神经网络示意图；
35.图8为本发明提供的b-1类卷积神经网络示意图；
36.图9为本发明提供的b-2类卷积神经网络示意图；
37.图10为训练集和待降噪amt数据的示意图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
40.如图1所示，本发明提供的基于卷积神经网络的amt数据降噪方法，包括以下步骤：
41.步骤101：获取包括amt数据的多个文件；多个所述文件分别为ts2文件、ts3文件以
及ts4文件。
42.所述ts2文件是24000hz高频采集的电磁场数据文件，它包含随采集时长而变化的大量电磁场数据(以0.1s采集2400个电磁场分量数据的方式记录和存储)；
43.所述ts3文件是2400hz中频采集的电磁场数据文件，它包含随采集时长而变化的大量电磁场数据(以1s采集2400个电磁场分量数据的方式记录和存储)；
44.所述ts4文件是150hz低频采集的电磁场数据文件，它包含随采集时长而变化的大量电磁场数据(以1s采集150个电磁场分量数据的方式记录和存储。
45.步骤102：将所述amt数据划分为训练集和待降噪amt数据。所述训练集由两个部分组成，即图10中黑色部分的含噪时间序列、以及从含噪时间序列中得到的噪声序列(该部分数据可通过多种方法获取)。
46.步骤103：构建卷积神经网络模型。
47.所述卷积神经网络模型包括依次连接的输入层、卷积核、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层、第三全连接层以及输出层。
48.步骤104：通过所述训练集对所述卷积神经网络模型进行训练。
49.如图2-图3所示，针对ts2、ts3文件做如下设计：
50.(1)设计3*800*3的时间序列作为一组输入，3*81*3的矩阵作为卷积核1、卷积核2、卷积核3，然后将时间序列与卷积核通过卷积层1(即第一卷积层)分别对应做卷积，卷积之后得到3*720的output1。
51.(2)将output1做激活处理，激活函数为sigmoid函数，处理之后得到jihuo1。
52.(3)得到jihuo1后通过池化层1(即第一池化层)对其做池化处理，池化过程也被叫做降采样过程，本方法的本步骤中选择最大值采样，池化处理后得到3*144的pool1。
53.(4)通过卷积层2(即第二卷积层)再次对pool1做卷积处理，卷积核设定为3*5，卷积之后得到1*140的output2。
54.(5)对output2做激活处理，激活函数为sigmoid函数，处理之后得到jihuo2。
55.(6)得到jihuo2后通过池化层2(即第二池化层)对其做池化处理，池化处理后得到1*35的pool2。
56.(7)设定全连接层1(即第一全连接层)，建立7200*35的w1，将pool2和w1做全连接，生成1*7200的lianjie1，并将lianjie1做激活处理。
57.(8)设定全连接层2(即第二全连接层)，建立7200*1的w2，将激活后的lianjie1和w2做全连接，生成1*7200的lianjie2，并将lianjie2做激活处理。
58.(9)设定全连接层3(即第三全连接层)，建立7200*1的w3，将激活后的lianjie2和w3做全连接，生成1*7200的lianjie3。
59.(10)把1*7200的lianjie3和训练集1*7200的noise做差，其差值的平均值作为损失函数loss。
60.(11)通过误差反向传播的梯度下降法，训练卷积神经网络，使w1、w2、w3得到更新学习，并让损失函数收敛。
61.(12)卷积神经网络训练结束，将所有由训练集得到的pool2和w1、w2、w3对应存储起来。
62.(13)该步骤可根据不同方法(差值最小法、参数循环使用法)做不同修改，如果选
择差值最小法，则：当需要做降噪处理的数据输入到本系统后，将其生成的pool2与系统中存储的pool2做差值比较，找到与pool2差值最小最相似的pool2所对应的w1、w2、w3；把pool2与w1、w2、w3做全连接处理，生成噪声序列。
63.(14)用需要做降噪处理的序列减去输出的噪声序列，获得降噪后的序列。
64.其中，图3是对图2中三个全连接层的进一步展示，图2中的b1＝1,b2＝0,b3＝1,b4＝1。图3中1*35为池化层2(pool2)特征值，w1为7200*35的矩阵，其初始值设定为0-1之间的随机数；w2为7200*1的矩阵，其初始值设定为0-1之间的随机数；w3为7200*1的矩阵，其初始值设定为0-1之间的随机数。
65.如图4-图5所示，针对ts4文件做如下设计：
66.(1)设计3*150*3的时间序列作为一组输入，3*5*3的矩阵作为卷积核1、卷积核2、卷积核3，然后将时间序列与卷积核通过卷积层1(即第一卷积层)分别对应做卷积，卷积之后得到3*146的output1。
67.(2)将output1做激活处理，激活函数为sigmoid函数，处理之后得到jihuo1。
68.(3)得到jihuo1后通过池化层1(即第一池化层)对其做池化处理，池化过程也被叫做降采样过程，本方法的本步骤中选择最大值采样，池化处理后得到3*73的pool1。
69.(4)通过卷积层2(即第二卷积层)再次对pool1做卷积处理，卷积核设定为3*4，卷积之后得到1*70的output2。
70.(5)对output2做激活处理，激活函数为sigmoid函数，处理之后得到jihuo2。
71.(6)得到jihuo2后通过池化层2(即第二池化层)对其做池化处理，池化处理后得到1*35的pool2。
72.(7)设定全连接层1(即第一全连接层)，建立1350*35的w1，将pool2和w1做全连接，生成1*1350的lianjie1，并将lianjie1做激活处理。
73.(8)设定全连接层2(即第二全连接层)，建立1350*1的w2，将激活后的lianjie1和w2做全连接，生成1*1350的lianjie2，并将lianjie2做激活处理。
74.(9)设定全连接层3(即第三全连接层)，建立1350*1的w3，将激活后的lianjie2和w3做全连接，生成1*1350的lianjie3。
75.(10)把1*1350的lianjie3和训练集1*1350的noise做差，其差值的平均值作为损失函数loss。
76.(11)通过误差反向传播的梯度下降法，训练卷积神经网络，使w1、w2、w3得到更新学习，并让损失函数收敛。
77.(12)卷积神经网络训练结束，将所有由训练集得到的pool2和w1、w2、w3对应存储起来。
78.(13)该步骤可根据不同方法(差值最小法、参数循环使用法)做不同修改，如果选择循环使用参数法，则：当需要做降噪处理的数据输入到本系统后，依次循环使用训练卷积神经网络时得到的pool2及其对应的w1、w2、w3和pool2做全连接处理，生成噪声序列。(如：使用40组数据训练卷积神经网络，得到40组pool2及其对应的w1、w2、w3，则后续对数据做去噪处理时，依次循环使用1、2、3
……
、40组的w1、w2、w3做全连接处理，最后得到噪声序列。)
79.(14)用需要做降噪处理的序列减去噪声序列，获得降噪后的序列。
80.其中，图5是对图4中三个全连接层的进一步展示，图4中的b1＝1,b2＝0,b3＝1,b4
＝0。图5中1*35为池化层2(pool2)特征值，w1为1350*35的矩阵，其初始值设定为0-1之间的随机数；w2为1350*1的矩阵，其初始值设定为0-1之间的随机数；w3为1350*1的矩阵，其初始值设定为0-1之间的随机数。
81.本发明共设计了4种卷积神经网络算法，第一种是对ts2、ts3文件采用图2、图3的数据模式，对ts4采用图4、图5的数据模式，并且在做去噪处理时，对ts2、ts3、ts4均选择与pool2差值最小的pool2对应的参数来处理，在本发明中将其称为a-1类卷积神经网络，如图6所示。
82.第二种是对ts2、ts3文件采用图2、图3的数据模式，对ts4采用图4、图5的数据模式，但在做去噪处理时，对ts2、ts3选择与pool2差值最小的pool2对应的参数来进行运算，对ts4文件则是循环使用训练卷积神经网络时得到的pool2对应的参数，将其称为a-2类卷积神经网络，如图7所示。
83.第三种则是对ts2、ts3、ts4文件均采用2、图3的数据模式，做去噪处理时，均选择与pool2差值最小的pool2对应的参数来处理，将其称为b-1类卷积神经网络，如图8所示。
84.第四种是对ts2、ts3、ts4文件均采用图2、图3的数据模式，但在做去噪处理时，对ts2、ts3选择与pool2差值最小的pool2对应的参数来进行运算，对ts4文件则是循环使用训练卷积神经网络时得到的pool2对应的参数，将其称为b-2类卷积神经网络，如图9所示。
85.上述4种算法对于测线上不同测点的amt数据具有不同的去噪效果，在做卷积神经网络去噪处理时，可同时使用上述的4种处理方法，并挑选去噪效果最好的一种情况最为最终结果。
86.步骤105：通过训练好的卷积神经网络模型对所述待降噪的amt数据进行降噪处理。
87.下面以ts2文件为例对本发明提供的方法的操作过程进行介绍：
88.(1)运行程序，根据提示输入ts2文件的文件路径和文件名，该步骤的目的是为了获得ts2文件中的所有tag信息。
89.(2)使用tbl-edit软件将ts2文件转为txt2文件，并按提示输入txt2文件的文件路径和文件名。
90.(3)选择txt2文件中的部分数据做去噪处理(在该过程中，最好选择临近待处理时间序列段的数据，以ts2文件为例，其示意图如图10所示)，使用者可自行选择组合广义形态滤波、小波变换、希尔伯特-黄变换、傅里叶逆变换等方法做去噪处理，并生成去噪后的数据(在该部分中，本发明采取了自主设计的4种结构元素的组合广义形态滤波方法来获得训练数据集)，将这部分数据作为卷积神经网络的训练集，按提示输入训练集的文件路径和文件名。
91.(4)等待卷积神经网络完成训练，该过程会花费较多时间，如果训练集的数据量越大，则卷积神经网络的训练时间就越长。
92.(5)再次输入txt2文件的文件路径和文件名，训练后的卷积神经网络对txt2文件中剩余的数据做降噪处理。
93.(6)最后等待程序运行，卷积神经网络对ex、ey、hx、hy这4个电磁场分量序列做完降噪处理后，合成新的ts2文件。
94.(7)ts3、ts4文件的降噪处理过程和ts2文件的处理过程相同。
95.本发明还提供了一种基于卷积神经网络的amt数据降噪系统，包括：
96.文件获取模块，用于获取包括amt数据的多个文件；多个所述文件分别为ts2文件、ts3文件以及ts4文件；
97.划分模块，用于将所述amt数据划分为训练集和待降噪amt数据；
98.模型构建模块，用于构建卷积神经网络模型；
99.训练模块，用于通过所述训练集对所述卷积神经网络模型进行训练；
100.降噪模块，用于通过训练好的卷积神经网络模型对所述待降噪的amt数据进行降噪处。
101.所述降噪模块具体包括：
102.输入单元，用于将所述待降噪amt数据输入至训练好的卷积神经网络模型中，得到噪声序列；
103.降噪单元，用于将所述待降噪amt数据减去所述噪声序列，得到降噪后的amt数据。
104.本发明为amt数据的降噪处理提供了一种新的方法，基于该方法可用python编程构建一套卷积神经网络，用训练数据集对其进行训练，训练后的卷积神经网络能够对amt数据做智能降噪处理。
105.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
106.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。