一种融合多层空洞卷积与注意力机制的三维断层识别方法

1.本发明属于计算机数据处理技术领域，涉及地震勘探数据解释以及计算机深度学习技术，具体为一种融合多层空洞卷积与注意力机制的三维断层识别方法。


背景技术：

2.断层是地壳上部因脆性变形而形成的突出地质特征。断层识别对油气勘探有着十分重要的意义，因此断层识别是地震数据解释的重要内容。传统的地震反射数据的断层解释是一个依赖于地震反射数据质量和解释者经验的手动过程。这一过程十分费时又需要大量的手动重复工作，对单个数据集的解释通常需要花费数周到数月的时间来完成。研究人员试图使用地震属性来辅助解释，但是由于需要手动选择特征结果具有不确定性，解释结果难以量化。深度卷积神经网络在断层识别的应用的主要优点是它们可以自动识别和描述地质特征，从而将断层识别这一工作流程自动化。由于计算机性能的飞速发展，深度卷积神经网络将断层生成以及断层解释生命周期从数月缩短到数小时或者数分钟。利用dcnn进行断层识别的方法主要有两种，一种是把断层识别问题转化为二值分类问题，如di等人
1.使用31\times31的窗口进行滑动，借助于滑动窗口识别中心像素是否属于断层。这一方法引入了冗余参数，且需要对处理结果重构化。另一种是将断层识别问题视作图像分割问题，例如wu等人
2.使用合成数据训练3d u-net，然后在合成和实际现场数据上进行测试，但该方法断层细化程度不够高，断层边缘模糊，且出现了孤立小连通断层区域的情况，所以该方法仍存在改进的空间。
3.对于三维地震数据断层识别，现有技术基于u-net网络也研究了各种改进，如下列改进的方案。
4.1、double unet
3.中输入图像依次通过两个unet的编解码结构，基于在imagenet上预训练的vgg-19网络，在医学图像分割上取得了不错的效果。该框架利用了预训练的vgg，两个网络的decoder部分则和原始unet没有过多改动，但由于该网络对应的imagenet与地震图像数据集识别特征的差异性较大，该方法无法在地震数据集上取得较好的结果。
5.2、multiresunet
4.中的模块为三个3x3的卷积结果拼接起来作为一个组合的特征图，再与输入特征图经过1x1卷积得到的结果相加。对于断层识别问题，该unet存在感受野不够大的局限性。
6.参考文献
7.[1]di h,wang z,alregib g.seismic fault detection from post-stack amplitude by conv olutional neural networks[c]//80th eage conference and exhibition 2018:vol 2018.2018:1
–
5.
[0008]
[2]wu x,liang l,shi y,et al.faultseg3d:using synthetic data sets to train an end-to-end convolutional neural network for 3d seismic fault segmentation[j].geophysics,2019,84(3):im35
–
im45.
[0009]
[3]d.jha,m.a.riegler,d.johansen,p.halvorsen and h.d.johansen,"
doubleu-net:adeep convolutional neural network for medical image segmentation,"2020ieee 33rd inte rnational symposium on computer-based medical systems(cbms),2020,pp.558-564,doi:10.1109/cbms49503.2020.00111.
[0010]
[4]ibtehaz n,rahman m s.multiresunet:rethinking the u-net architecture for multimodal biomedical image segmentation[j].neural networks,2020,121:74-87.


技术实现要素：

[0011]
本发明要解决的问题是：现有技术在三维断层识别中存在的问题，首先断层识别需重点关注局部断层信息，不需要考虑无关噪声信息，如地震反射信号处理中的伪造影区，目前的识别结果中经常出现孤立小联通区域。其次，存在识别结果中，断层不连续的问题。
[0012]
本发明的技术方案为：一种融合多层空洞卷积与注意力机制的三维断层识别方法，通过识别网络对输入的待预测图像输出断层识别结果，识别网络包括基于多层空洞卷积的h-unet网络和基于注意力机制的ra-unet网络，以三维合成地震数据体和其标签作为输入分别训练h-unet网络和ra-unet网络，将两个网络的预测结果相融合，对两个网络在每个像素点上的预测结果进行加权求平均，输出最后的预测图像作为识别结果，
[0013]
h-unet网络基于unet网络改进其收缩路径，在收缩路径以hd模块替换unet编码器中的卷积块，所述hd模块由3
×3×
3的卷积层和空洞率为3、5的空洞卷积层组合而成，同时使用混合扩张卷积和正常卷积来提取地震图像的多尺度特征，
[0014]
ra-unet网络基于unet网络改进其扩展路径，扩展路径包括三级残差模块和注意门模块，在u-net网络中的跳跃连接中加入注意门模块，低层特征图经上采样及残差模块输出，同时作为门控信号向量与跳跃连接来的特征图经过注意门模块输出，两个输出拼接后输入下一级，最终得到网络输出，
[0015]
训练分别输入两个模型，进行联合训练，损失函数为：
[0016][0017]
其中n是标签的总数，gi为真实值，即标签值，pi为网络输出的预测值，w为非断层点占比，λ为调节参数，通过损失函数计算网络中各网络层的参数梯度，使用adam优化器对其进行监督训练。
[0018]
进一步的，注意门模块接收左上层特征图x
l
和右下层特征图g
l
，左上层指由跳跃连接过来的编码器端的特征图，右下层指解码器的上一级输出的特征图，右下层特征图g
l
作为门控信号向量，得到注意门模块的输出αx
l
，α为注意系数：
[0019][0020]
其中σ是sigmoid激活函数，σ
l
是relu激活函数，w
x
、wg和ψ是线性变换，bg和b
ψ
是偏移项。
[0021]
进一步的，是针对调节参数λ设置衰减策略，设置λ随当前的epoch的大小而改变，
[0022]
[0023]
j为当前epoch数，n为总epoch数量。
[0024]
本发明的基于注意力机制的断层识别方法相比于现有方法优点在于：
[0025]
1、相较于在二维的地震剖面上对断层进行标注，本发明识别网络在三维空间中能保持断层的空间形态特征进行识别。
[0026]
2、本发明设计了基于多层空洞卷积的h-unet网络和基于注意力机制的ra-unet网络。h-unet网络具有不同视场尺度的混合空洞卷积，能在不丢失分辨率的情况下更广泛地查看地震图像中的上下文信息，从而增强断层识别的连续性。ra-unet网络对局部特征的强调使其能够聚焦于地质特征，抑制地质噪声和地震处理中的伪造影区的特征表达，以解决u-net分割断层边界精度不足的问题。而且，断层在图像上表现为地震信号的突变，断层识别要求断层解释的折线尽可能清晰，本发明设计的注意力机制带来的强抑制性能够帮助达成这一目标。
[0027]
3、本发明利用了模型融合的思想，充分利用网络之间的差异性，将本发明改进设计的h-unet和ra-unet模型预测结果相融合。模型融合所得到的集成网络拥有更好的学习能力，能够更好的抽取地震数据中的泛化特征，有效提高模型分类准确率；同时避免单一模型在计算的时候容易陷入局部最小值的问题。
[0028]
4、由于地震数据正负样本在断层识别任务中的严重不平衡，本发明还提出了一种新的动态组合损失函数。损失函数中的前半部分表达式真实断层标签值与预测断层像素值被训练为逐渐重叠，分母考虑全局范围内断层像素的总数，而分子考虑局部范围内真实断层标签值与预测断层像素值之间的重叠，所以本发明损失函数考虑了局部和全局的损失信息，对像素点比重的考虑的能够解决类不平衡的问题。
附图说明
[0029]
图1为本发明设计的hd模块。
[0030]
图2为本发明的ra-unet模型中涉及到的注意力门模块。
[0031]
图3为本发明ra-unet模型注意力门模块的注意系数示意图。
[0032]
图4为本发明的ra-unet模型中涉及到的残差模块。
[0033]
图5为本发明ra-unet模型的注意力机制示意图。
[0034]
图6为本发明的ra-unet网络。
[0035]
图7为本发明的训练过程示意图。
[0036]
图8为本发明的三个识别实施例，(a)(b)(c)分别显示了三个地震三维数据体及其断层识别结果。
具体实施方式
[0037]
本发明以三维合成地震数据体和其标签作为输入，以本发明设计的新动态损失函数作为损失函数，训练本发明提出的h-unet和ra-unet网络。在训练好的模型中输入待预测的图像，将两个模型的预测结果相融合，对两个模型的在每个像素点上预测结果进行加权求平均，输出最后的预测图像。
[0038]
传统u-net网络包括编码器和解码器，对应也称为收缩路径和扩展路径，本发明设计的两个网络分别针对收缩路径和扩展路径做了改进。
[0039]
由于将断层识别处理成图像分割问题为像素点的二分类问题，所以会出现断层线不连续有断点的情况，为了解决该问题，本发明设计了一种基于空洞卷积和残差连接的新的hd模块，替换unet编码器中的卷积块，改进收缩路径，形成新的h-unet网络。本发明提出的hd模块同时使用混合扩张卷积和正常卷积来提取地震图像的多尺度特征。本发明设计的hd模块由3
×3×
3的卷积层和空洞率为3，5的空洞卷积层组合而成，具体的设计如图1所示。本发明中具有不同视场尺度的混合空洞卷积能在不丢失分辨率的情况下更广泛地查看地震图像中的上下文信息，从而增强断层识别的连续性。
[0040]
因为地质断层的分割结果是线性的，断层识别中应尽量将识别断层线变窄，以及减少孤立小联通区域的存在。地震图像中存在噪声和伪造影区，需要区分这些无关特征与断层特征。基于以上考虑。本发明设计了ra-unet网络，ra-unet网络改进了unet网络扩展路径，扩展路径由三个残差块和三个注意门模块组成。传统u-net网络使用跳跃连接，将上采样结果与编码器中具有相同分辨率的子模块的输出进行连接，作为解码器中下一个子模块的输入。本发明在跳跃连接中加入注意门模块，如图2所示，注意门模块接收左上层特征图x
l
和右下层特征图g
l
，左上层指由跳跃连接过来的编码器端的特征图，右下层指解码器的上一级输出的特征图，右下层特征图g
l
作为门控信号向量，得到注意门模块的输出αx
l
，α为注意系数。如图3所示，注意力模块使用1
×1×
1卷积w
x
、wg和ψ对门控信号向量g
l
和特征图x
l
进行线性变换，然后应用relu和sigmoid激活函数，对结果进行上采样，得到多维注意系数α：
[0041][0042]
其中σ是sigmoid激活函数，σ
l
是relu激活函数，w
x
、wg和ψ是线性变换，bg和b
ψ
是偏移项。
[0043]
图4为ra-unet网络的残差块，本发明的三个残差块和三个注意门模块构成三级解码，如图5所示，每一级中，注意门模块接收左上层跳跃连接来的特征图和右下层特征图，即低层特征图，得到注意力输出，同时右下层特征图通过上采样和残差模块得到右上层特征图，右上层特征图与注意力输出进行拼接，得到本级解码输出。如图6所示，本发明ra-unet网络通过注意力机制突出显著特征并消除不相关和有噪声的特征，最后用一个softmax激活函数将特征图映射到两类。
[0044]
由于地震断层识别任务严重类不平衡，断层点占总点数的比例为0.077。本发明考虑结合骰子损失和加权交叉熵损失函数设计一个新的损失函数以解决上述问题。
[0045][0046]
其中n是标签(样本)的总数，gi为真实值即为标签值，pi为网络输出的预测值，w为非断层点占比，为训练样本的已知参数，λ为调节参数。通过该损失函数计算模型中各网络层的参数梯度，使用adam优化器对其进行监督训练。在深度学习中训练过程中，通常将遍历一遍训练集称为一个epoch。
[0047]
本发明提出了针对λ的衰减策略，设置λ随当前的epoch的大小而改变:
[0048][0049]
j为当前epoch数，n为总epoch数量。
[0050]
下面通过一个具体实施例进一步说明本发明的实施。本实施例使用wu提供的公共数据集，该数据集是使用hale等人开发的工具包随机生成的。该数据集包含220对三维地震数据体，其中200个用作训练集，20个用作测试集。每对包含一个128
×
128
×
128的地震数据体和一个标注为128
×
128
×
128的地震断层数据体。该三维地震数据体有三个维度:xline、inline、time。
[0051]
本发明设计了h-unet网络和ra-unet网络，使用合成数据与本发明提出的损失函数训练两个网络。并利用了模型融合的思想，对两个模型的在每个像素点上预测结果进行加权求平均。由于设计的基模型具有多样性和差异性，融合后的模型能够提升最终的准确率。
[0052]
步骤1：以三维合成地震数据体和其标签作为输入，并进行数据预处理。图像增强方法可以保持图像特征不变，并从原始数据生成派生数据来增加样本量，改善样本量有限的问题，有效防止模型过拟合。本发明采用水平翻转和垂直翻转的数据增强方法。
[0053]
步骤2：构建模型和训练。hd模块利用多层空洞卷积与残差连接以锯齿波形的感受野覆盖地震图像，hd模块取代原unet中的卷积块形成新的h-unet。ra-unet网络将残差块和注意力机制与三维u-net架构相结合，其中添加了一系列注意力门单元来替代跳转连接，以突出重要的特征信息，并消除不相关和有噪声的特征响应的冗余信息。结合本发明设计的动态损失函数，通过该损失函数计算模型中各网络层的参数梯度，使用adam优化器对其进行监督训练。在深度学习中训练过程中，通常将遍历一遍训练集称为一个epoch。本实施例将训练时的初始学习率设置为0.001，两个网络都经过50个epoch的训练，训练集损失值均收敛在0.03左右，得到两个预训练模型。
[0054]
步骤3：将待预测的图像输入到两个训练好的模型中，得到两个预测概率三维体。将两个三维体每个像素点进行求和平均，得到新的概率三维体，如图7所示。
[0055]
本发明在unet的模型的基础上，提出了利用模型融合的思想的三维断层识别方法。该方法将断层识别问题处理为二值图像分割问题，利用多层空洞卷积、残差连接的思想和注意力机制，提出了新的动态损失函数完成对三维体的断层识别。图8(a)(b)(c)为三组地震三维断层的识别结果，可见本发明能够有效识别出断层的位置和分布，在断层的连续性和背景抗噪性方面都有明显的优势，断层周边几乎没有毛刺，边缘清晰，背景也具有良好的抗噪性，几乎没有噪点。