对抗神经网络去噪模型的建立方法及超声图像去噪方法与流程

1.本发明涉及计算机视觉技术领域，更具体地说，涉及一种对抗神经网络去噪模型的建立方法及超声图像去噪方法。


背景技术：

2.超声成像在医学领域中已得到广泛应用，其相干性会导致超声图像中存在斑点噪声，影响成像区域信息的准确度，通常需要对超声图像进行去噪处理。
3.现有技术中，超声图像的去噪方法基于unet模型，经过成对的下采样和上采样结构实现图像去噪，对噪声的去除能力有限，模型的去噪效果仍有改进空间。而且，模型的算法结构较为复杂、运行过程的计算量较大，对运行设备的硬件要求较高，目前只应用于pc端，算法所需的计算性能不能被移动端设备满足，如手机、平板电脑等。
4.因此，如何解决现有技术中超声图像去噪模型的去噪能力有限、算法结构复杂、运行过程计算量大的问题，成为本领域技术人员所要解决的重要技术问题。


技术实现要素：

5.本发明的目的在于提供一种对抗神经网络去噪模型的建立方法及超声图像去噪方法，以解决现有技术中超声图像去噪模型的去噪能力有限、算法结构复杂、运行过程计算量大的问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
6.为实现上述目的，本发明提供了以下技术方案：
7.本发明提供了一种对抗神经网络去噪模型的建立方法，包括以下步骤：
8.超声图像数据集处理：采集多组含噪声和不含噪声的超声图像对，并将所述超声图像对划分为训练集和测试集；
9.构建初始去噪模型：所述初始去噪模型包括生成器模型和判别器模型，所述生成器模型基于深度可分离卷积层和残差块结构建立，所述判别器模型基于patchgan网络建立；
10.对所述初始去噪模型训练：将所述训练集作为所述初始去噪模型的输入数据进行模型训练，模型训练完成后得到对抗神经网络去噪模型，所述对抗神经网络去噪模型对所述测试集中的含噪声超声图像进行去噪处理以进行模型测试。
11.优选地，所述生成器模型包括两个普通卷积神经网络模块和设置在两个所述普通卷积神经网络模块之间的多个改进残差网络模块，所述改进残差网络模块基于所述深度可分离卷积层和所述残差块结构建立。
12.优选地，所述判别器模型包括依次设置的多个特征采样层，各个所述特征采样层均包括卷积层、池化层、归一化层以及激活函数层。
13.优选地，计所述特征采样层设有n个，对于第n个所述特征采样层，当n为奇数时，该所述特征采样层的所述池化层工作、以进行下采样，当n为偶数时，该所述特征采样层的所
述池化层不工作，其中n＝1，2
……
(n-1)。
14.优选地，所述模型训练包括以下步骤：
15.将所述训练集的含噪声超声图像作为所述生成器模型的输入数据，得到去噪超声图像；
16.将所述去噪超声图像和所述训练集的不含噪声超声图像分别作为所述判别器模型的输入数据、得到两组特征数据，所述特征数据经过损失函数计算得到优化模型参数，将所述优化模型参数代入所述初始去噪模型进行模型优化，得到所述对抗神经网络去噪模型。
17.优选地，所述改进残差网络模块的计算过程包括以下步骤：
18.输入数据经过卷积核尺寸为3*3的深度可分离卷积层计算，然后依次经过归一化层计算和leakyrelu激活函数运算，再依次进行卷积核尺寸为1*1的卷积运算和归一化层计算，再与输入数据相加后进行leakyrelu激活函数运算，得到输出结果。
19.优选地，所述生成器模型的损失函数lossg为：
20.lossg＝λ1l
gan
λ2l
psnr-1
λ3l
ssim (1)
21.其中，λ1、λ2、λ3是一组平衡各个损失的权重，取值为0.5、-1.0、-0.1；
22.l
gan
是对抗损失函数，表达式为：
[0023][0024]
其中，d、g分别是所述生成器模型和所述判别器模型，e为数学期望函数，～表示服从关系，p
data
为超声图像数据的分布，x是所述超声图像对中的含噪声超声图像，y是与x对应的不含噪声超声图像，z是一个随机向量；
[0025]
l
psnr
是峰值信噪比损失函数，表达式为：
[0026][0027]
其中，m1和n1分别为超声图像的长度、宽度，max
x
是x的最大像素值；
[0028]
l
ssim
是结构相似性损失函数:
[0029]
l
ssim
(x,y)＝l(x,y)*c(x,y)*s(x,y) (4)
[0030][0031]
其中l(x,y)是图像亮度比较，c(x,y)是图像对比度比较，s(x,y)是结构比较，μ
x
和μy分别是图像像素均值，σ
x
和σy分别是图像像素值的标准差，σ
xy
表示x,y的协方差，c1＝(k1*k3)^2，c2＝(k2*k3)^2，c3＝c2/2，取k1＝0.01，k2＝0.03，k3＝255。
[0032]
优选地，所述判别器模型的损失函数lossd为：
[0033]
[0034]
其中，m2和n2是超声图像经所述判别器模型计算后得到的特征图的长度、宽度。
[0035]
本发明还提供一种超声图像去噪方法，包括以下步骤：
[0036]
将含噪声超声图像作为对抗神经网络去噪模型的输入数据、得到去噪超声图像，所述对抗神经网络去噪模型为上述的对抗神经网络去噪模型。
[0037]
本发明再提供一种计算机可读存储介质，包括存储的计算机程序，所述计算机程序被处理器执行以实现上述的对抗神经网络去噪模型的建立方法，和/或，上述的超声图像去噪方法。
[0038]
本发明提供的技术方案中，对抗神经网络去噪模型的建立方法通过构建初始去噪模型再对初始去噪模型进行模型训练，得到对抗神经网络去噪模型，即可对含噪声超声图像进行去噪处理。初始去噪模型包括生成器模型和判别器模型，生成器模型基于深度可分离卷积层和残差块结构搭建，判别器模型基于patchgan网络搭建。本方案中引入了深度可分离卷积层和残差块结构，能够有效地对超声图像去噪，所搭建的结构属于轻量化网络模型结构，能够减少运行的参数量，减少算法的运算时间。
附图说明
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1是本发明实施例中对抗神经网络去噪模型的建立方法的流程图；
[0041]
图2是本发明实施例中生成器模型的神经网络结构示意图；
[0042]
图3是本发明实施例中普通卷积神经网络模块的结构示意图；
[0043]
图4是本发明实施例中改进残差网络模块的结构示意图；
[0044]
图5是本发明实施例中现有技术中的resnet模块的结构示意图；
[0045]
图6是本发明实施例中判别器模型的神经网络结构示意图；
[0046]
图7是本发明实施例中对初始去噪模型进行模型训练的示意图
[0047]
图8是本发明实施例中对抗神经网络去噪模型去噪处理前后的超声图像。
具体实施方式
[0048]
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
[0049]
本具体实施方式的目的在于提供一种对抗神经网络去噪模型的建立方法，得到对超声图像的去噪效果好且算法结构较为简单、运行过程计算量较小的去噪模型。
[0050]
以下，参照附图对实施例进行说明。此外，下面所示的实施例不对权利要求所记载的发明内容起任何限定作用。另外，下面实施例所表示的构成的全部内容不限于作为权利要求所记载的发明的解决方案所必需的。
[0051]
下面结合附图1-图8，对本发明提供的对抗神经网络去噪模型的建立方法进行具
体说明。在本实施例中，对抗神经网络去噪模型的建立方法包括以下步骤：
[0052]
s01：超声图像数据集处理：采集多组含噪声和不含噪声的超声图像对，并将超声图像对划分为训练集和测试集。在具体的实施例中，训练集和测试集按照7:3的比例划分。每一个超声图像对均包括一个含噪声超声图像和一个不含噪声超声图像。
[0053]
s02：构建初始去噪模型：初始去噪模型包括生成器模型和判别器模型，生成器模型基于深度可分离卷积层和残差块结构建立，判别器模型基于patchgan网络建立。
[0054]
具体地，生成器模型包括两个普通卷积神经网络模块(commom convolution block)和设置在两个普通卷积神经网络模块之间的多个改进残差网络模块(res-mobilenetblock)，改进残差网络模块基于深度可分离卷积层和残差块结构建立。在具体的实施例中，请参考图2，生成器模型共由12层神经网络结构组成，其中改进残差网络模块设置为10个。含噪声超声图像先经过一个普通卷积神经网络模块、然后经过10个改进残差网络模块、再经过一个普通卷积神经网络模块处理后得到去噪超声图像。
[0055]
需要说明的是，普通卷积神经网络模块的作用是改变超声图像的通道数，生成器模型输入的含噪声超声图像的大小为506*256*3，输出的去噪超声图像的大小为506*256*3。普通卷积神经网络模块的结构如图3所示，包括依次设置的卷积核尺寸为1*1的卷积层、归一化层(bn)和激活函数层，设置在各个改进残差网络模块前端的普通卷积神经网络模块采用leakyrelu激活函数层，设置在各个激活函数层后端的普通卷积神经网络模块采用sigmoig激活函数层。其中leakyrelu＝max(0,x) a*min(0,x)，斜率a∈(0,1)，sigmoig＝1/(1 e-x)。
[0056]
普通卷积神经网络模块的计算过程为：输入数据先进行卷积核尺寸为1*1的卷积运算、然后经过归一化层、再经过激活函数层后输出数据。
[0057]
进一步地，改进残差网络模块基于深度可分离卷积层和残差块结构对超声图像进行特征提取，在多个改进残差网络模块的串联中，不断的学习超声图像中有用的图像信息并保留，去除噪声干扰。
[0058]
改进残差网络模块的结构如图4所示，包括依次设置的卷积核尺寸为3*3的深度可分离卷积层、归一化层(bn)、leakyrelu激活函数层、卷积核尺寸为1*1的卷积层、归一化层(bn)、逐点相加以及leakyrelu激活函数层组成。
[0059]
改进残差网络模块的计算过程为：输入数据经过卷积核尺寸为3*3的深度可分离卷积层计算，然后依次经过归一化层计算和leakyrelu激活函数运算，再依次进行卷积核尺寸为1*1的卷积运算和归一化层计算，再与输入数据相加，然后进行leakyrelu激活函数运算，得到输出结果。
[0060]
本方案中的生成器模型依然采用了残差神经网络中的残差连接方式，这种残差跳跃式的结构，在叠加多层网络模块中有着良好的表现性能。为了提高去噪模型的运算速度，将残差神经网络中的普通神经网络模块换成了更适合实时运算的mobilenet层，得到改进残差网络模块(res-mobilenet block)，res-mobilenet block作为一种轻量化网络使用，更符合超声图像实时去噪的要求；经实验，改进的模型参数量为4.88m，与原模型7.11m的参数量相比，更少的参数量降低了模型复杂度，提高了模型的运算速度。
[0061]
改进残差网络模块以现有技术中的resnet模块为基础改进而来，原resnet模块的具体结构如图5所示，包括依次设置的卷积核尺寸为1*1的卷积层、relu激活函数层、卷积核
尺寸为3*3的卷积层、relu激活函数层、卷积核尺寸为1*1的卷积层、逐点相加以及relu激活函数层。
[0062]
通过比较分析得出：将原resnet模块的relu激活函数改为了leakyrelu激活函数，leakyrelu激活函数具有relu激活函数的优点的同时也解决了relu的神经元死亡问题，在负区域具有小的正斜率，因此即使对于负输入值，它也可以进行反向传播。
[0063]
另外，深度可分离卷积层代替了普通卷积层，深度可分离卷积的核心思想就是将普通n个通道为m的卷积拆分成1个通道为m的卷积(这个卷积进行单通道滤波操作，区别于普通卷积滤波后通道相加)和n个1
×1×
m的卷积，其作用在于减少运行的参数量。对于3*3的卷积，采用深度可分离卷积后，参数将变成原来的1/8～1/9。这种卷积方式普遍被用于轻量级深度学习网络模型中，与普通卷积操作相比，其能够减少模型的参数量，运算速度快。
[0064]
生成器模型进行的卷积操作中，卷积核的数量等于该卷积层输出的特征图的通道数；生成器模型的各层神经网络对应的卷积核个数从输入数据到输出数据分别是8、16、16、32、32、64、64、32、32、16、16、8。
[0065]
在具体的实施例中，判别器模型基于马尔可夫判别器(patchgan)建立，其结构主要是由多组含卷积层和下采样层的特征提取模块组成。判别器模型的神经网络结构包括依次设置的多个特征采样层，各个特征采样层均包括卷积层、池化层、归一化层以及激活函数层。进一步地，计特征采样层设有n个，对于第n个特征采样层，当n为奇数时，该特征采样层的池化层工作、以进行下采样，当n为偶数时，该特征采样层的池化层不工作，其中n＝1，2
……
(n-1)。其中，卷积层的卷积核尺寸为3*3，采样步长为1；池化层为采样窗口尺寸为2*2的平局池化层；激活函数层是一个斜率为0.2的leakyrelu激活函数层。
[0066]
在具体的实施例中，请参考图6，特征采样层设置7个，除第七个特征采样层以外，前六个特征采样层中第奇数个的池化层工作，第偶数个的池化层不工作。这与现有技术中的patchgan通过改变卷积层采样步长实现下采样不同，本方案中使用池化层作为下采样的方式可以减少模型的参数量，避免模型训练时由于模型的参数量过多而产生模型训练欠拟合的情况。
[0067]
s03：对初始去噪模型训练：将训练集作为初始去噪模型的输入数据进行模型训练，模型训练完成后得到对抗神经网络去噪模型。对抗神经网络去噪模型即可对含噪声超声图像进行去噪处理，测试集用于对对抗神经网络去噪模型进行模型测试。
[0068]
进一步地，请参考图7，模型训练的具体步骤包括：将训练集的含噪声超声图像作为生成器模型的输入数据，得到去噪超声图像；将去噪超声图像和训练集的不含噪声超声图像分别作为判别器模型的输入数据、得到两组特征数据，特征数据经过损失函数计算得到优化模型参数，并将优化模型参数代入初始去噪模型进行模型优化，得到对抗神经网络去噪模型。
[0069]
需要说明的是，判别器模型主要用于计算生成器模型生成的去噪超声图像和超声图像对中的不含噪声超声图像在图像信息内容和纹理结构上的相似性。将去噪超声图像和不含噪声超声图像分别作为判别器模型的输入，通过输出的特征数据计算得到两图像的相似性，作为去噪模型性能的评价指标。训练中计算生成器模型和判别器模型的损失函数，并将值反向传播以对初始去噪模型进行优化。
[0070]
判别器模型从第一个特征采集层到最后一个特征采集层，特征图的通道数分别是
16，32，32，64，64，128，128和1，相当于将原patchgan中每个特征提取结构的通道数减半，能够避免训练数据有限的情况下出现模型参数训练不充分的情况，且不影响模型性能。判别器模型输出506*256*3大小的特征图，并输出60*32*1的特征数组。
[0071]
进一步地，在对初始去噪模型进行模型训练时，需要选用合适的损失函数来对模型的参数进行优化。
[0072]
在具体的实施例中，生成器模型的损失函数lossg为：
[0073]
lossg＝λ1l
gan
λ2l
psnr-1
λ3l
ssim (1)
[0074]
其中，λ1、λ2、λ3是一组平衡各个损失的权重，取值为0.5、-1.0、-0.1；
[0075]
l
gan
是对抗损失函数，表达式为：
[0076][0077]
其中，d、g分别是生成器模型和判别器模型，e为数学期望函数，～表示服从关系，p
data
为超声图像数据的分布，x是超声图像对中的含噪声超声图像，y是与x对应的不含噪声超声图像，z是一个随机向量；
[0078]
l
psnr
是峰值信噪比损失函数，表达式为：
[0079][0080]
其中，m1和n1分别为超声图像的长度、宽度，max
x
是x的最大像素值；
[0081]
l
ssim
是结构相似性损失函数:
[0082]
l
ssim
(x,y)＝l(x,y)*c(x,y)*s(x,y) (4)
[0083][0084]
其中l(x,y)是图像亮度比较，c(x,y)是图像对比度比较，s(x,y)是结构比较，μ
x
和μy分别是图像像素均值，σ
x
和σy分别是图像像素值的标准差，σ
xy
表示x,y的协方差，c1、c2、c3为常数，避免分母为0，c1＝(k1*k3)^2,c2＝(k2*k3)^2,c3＝c2/2，一般地，取k1＝0.01，k2＝0.03，k3＝255。
[0085]
在具体的时实施例中，判别器模型的损失函数lossd为：
[0086][0087]
其中，m2和n2是超声图像经所述判别器模型计算后得到的特征图的长度、宽度。
[0088]
模型训练过程中的超参数采用以下方法设置：将批尺寸(batch size)设置为4，一共训练100个时期(epoch)，生成器模型和判别器模型的参数优化算法为adam，训练的epoch小于80时，学习率设置为2
×
e-4
，当epoch大于等于80时，学习率设置为2
×
e-5
，随着迭代轮次的增加而减小学习率，会使得收敛时，在最优值附近一个更小的区域内摆动，更易得到一组最佳的优化模型参数；当模型训练的次数达到100时，停止训练，得到优化模型参数。
[0089]
模型训练完成后，将含噪声超声图像作为对抗神经网络去噪模型中生成器模型的输入数据，即可输出去噪超声图像。图8所示，即为对抗神经网络去噪模型去噪处理前后的超声图像，其中，左侧为处理前的超声图像，右侧为处理后的超声图像。
[0090]
本发明还提供一种超声图像去噪方法，包括以下步骤：将含噪声超声图像作为对抗神经网络去噪模型的输入数据、得到去噪超声图像，对抗神经网络去噪模型即为以上实施例中的对抗神经网络去噪模型。如此设置，超声图像的去噪效果更好，去噪过程的计算量减小。该有益效果的推导过程与对抗神经网络去噪模型的建立方法所带来的有益效果的推导过程大体类似，故本文不再赘述。
[0091]
本发明还提供一种计算机可读存储介质，包括存储的计算机程序，处理器执行该计算机程序即可实现以上实施例中的对抗神经网络去噪模型的建立方法、得到对抗神经网络去噪模型，和/或，超声图像去噪方法、得到去噪超声图像。该有益效果的推导过程与对抗神经网络去噪模型的建立方法以及超声图像去噪方法所带来的有益效果的推导过程大体类似，故本文不再赘述。
[0092]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。本发明提供的多个方案包含本身的基本方案，相互独立，并不互相制约，但是其也可以在不冲突的情况下相互结合，达到多个效果共同实现。
[0093]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。