一种基于生成对抗网络的超声图像超分辨率重建方法及系统与流程

1.本发明属于成像增强领域，涉及一种基于生成对抗网络的超声图像超分辨率重建方法及系统。


背景技术：

2.超声成像是当前最常用的医学成像方法之一，具有实时性和便携性，在医学成像技术中占据了主要地位。b型超声显像技术在用于辅助医疗诊断中起到了重要的作用，传统的b型超声诊断设备体积庞大、价格昂贵，并且被限制于临床医疗，不利于事故现场诊断与家庭医疗场景。随着嵌入式硬件设备的发展，使得便携式、手持式b型超声诊断设备成为可能。但由于设备的体积被大大缩小，使得设备显示的超声图像质量相对传统设备较差，存在着较多的背景噪音，因此提高超声图像的质量是一项重要的任务。
3.目前，超分辨率重建是提高图像质量的重要手段。通过对低分辨率图像进行超分辨率重建，可以达到去模糊、去除斑点、边缘增强等效果。图像超分辨率是指从低分辨率图像中恢复出自然、清晰的纹理，最终得到一张高分辨率图像，是图像增强领域中一个非常重要的问题。低分辨率图像一般通过一系列的退化操作得到，在损失了大量图像细节的同时，也引入了一系列的噪声。基于深度学习的超分辨率重建过程本质上就是通过网络模型，采用成对的训练数据进行基于学习的训练，进而拟合出上述退化操作的逆操作，得到重建后的高分辨率图像。
4.目前的图像重建方法大多是应用于自然图像，对医学图像的研究较少。医学图像由于其独特的成像方式，与自然图像存在较大的区别。自然图像色彩鲜艳，内容丰富，图像边缘等细节繁多。由于其像素级水平的变化非常丰富，人眼以及算法都易于对其相应结构进行定位和检测，对其进行分割、识别等处理也相对容易，得出的结果往往可信度高。而医学图像是灰度图像，图像纹理单一、信息简单、种类少，且人体器官大多数构造相似。仪器扫描得到的医学图像在灰度变化、像素值变化、边缘信息等存在类似的情况。超声图像rgb通道每层矩阵的像素值相同，相比自然图像而言非常简单，这不仅使人工标注产生一定困难，也让计算机算法无法正确判断。所以能够成功应用在自然图像的算法，不一定能适用于医学图像。基于这个背景，本发明对低质量的超声图像展开了基于生成对抗网络的超分辨率重建研究。


技术实现要素：

5.本发明要解决的技术问题在于，手持式超声成像设备虽然可以便携的采集到超声图像，但是由于便携式设备的体积被大大缩小，使得设备显示的图像质量较差，存在着较多背景噪音与电磁干扰噪声等问题，影响了超声图像的成像质量。
6.本发明解决上述问题的技术方案是提供了一种基于生成对抗网络的超声图像超分辨率重建的方法，其特征在于，该方法包括以下步骤：
7.步骤s1：通过超声成像设备获得超声图像；
8.步骤s2：对已有的高分辨率超声图像进行图像下采样得到相匹配的低分辨率超声图像；
9.步骤s3：低分辨率超声图像经过生成网络重建出超分辨率超声图像；
10.步骤s4：判别网络对超分辨率超声图像与高分辨率超声图像分别进行判断，输出概率用于真假判断；
11.步骤s5：生成网络和判别网络经过互相学习和对抗，相互之间进行一个最大最小值的博弈，直到网络达到稳定状态；
12.步骤s6：利用数学模型给出量化指标以对超分辨率超声图像和高分辨率超声图像的相似度进行评估。
13.步骤s1包括以下步骤：
14.在此步骤中，医护人员或者超声成像设备的操作者根据自身的经验来通过超声成像设备扫查获取合适的超声图像，而超声成像设备已经公开，在此不再赘述。
15.步骤s2包括以下步骤：
16.本发明需要将高分辨率超声图像进行下采样，保留尽可能多的源图像信息，做到图像信息丢失的最小化。因此，考虑到基于学习的超分辨率处理方法均是使用双三次插值法下采样由高分辨率图像得到相应的低分辨率图像，本发明选取了双三次插值法进行下采样。
17.双三次插值根据源图像周围的16个点的灰度值，由相关公式，计算目标点的像素。此方法将周围16个点都考虑在内，这种算法扩大了其感受野，包含了直接相邻点以及周围一圈内的相邻点，使周围信息利用的更完善。经过运算，重建结果的每个像素包含的邻域信息更多，但是计算量较大。双三次插值算法需要选取合适的插值基函数进行拟合，其中最常见的插值基函数为：
[0018][0019]
双三次插值函数为：
[0020]
f(i u,j v)＝a
·
b
·
c
[0021]
式中，w表示图像像素点到p点的距离，p点是经过双三次插值下采样处理后的图像对应于源图像中的位置；i,j分别表示图像像素点坐标的整数部分；u,v分别表示图像像素点坐标的小数部分。
[0022]
其中a、b、c表示矩阵，形式如以下公式所示：
[0023]
a＝[s(1 u)s(u)s(1
‑
u)s(2
‑
u)]
[0024][0025]
c＝[s(1 v)s(v)s(1
‑
v)s(2
‑
v)]
t
[0026]
其中，f(i,j)表示源图像(i,j)坐标点的像素值。
[0027]
步骤s3包括以下步骤：
[0028]
低分辨率超声图像经过生成网络重建出超分辨率超声图像，其中生成网络有10层，低分辨率超声图像先经过卷积层的特征提取，包括一层卷积处理，再经过5层叠加的残差块，每一层的结果与上一层的输出相叠加，再经过一层卷积，其结果与第一层卷积的结果叠加，防止特征丢失，输出通过两层两倍放大处理，重建出四倍大的超分辨率超声图像。
[0029]
步骤s4包括以下步骤：
[0030]
判别网络先将生成网络生成的图像进行特征提取，包括8个卷积层，再经过两层全连接层，最终得出判别结果，判别网络对超分辨率超声图像与高分辨率超声图像分别进行判断，输出概率用于真假判断，直到得到的数值趋于0.5，训练逐渐稳定。
[0031]
判别网络先对高分辨率超声图像或由生成网络生成的超分辨率超声图像进行特征提取，包括卷积、lrelu激活层和批归一化，再通过两层全连接层处理和sigmoid函数激活，最终得到判别结果。
[0032]
步骤s5包括以下步骤：
[0033]
生成网络和判别网络经过互相学习和对抗，相互之间进行一个最大最小值的博弈，直到判别网络得到的数值趋于0.5，网络训练逐渐稳定。
[0034]
步骤s6包括以下步骤：
[0035]
对低分辨率超声图像进行超分辨率重建的目的就是生成与高分辨率超声图像尽可能相同的图像，所以进行图像质量评估是一个很关键的问题。客观评估使用数学模型给出量化指标，比较常用的量化指标有峰值信噪比(psnr)、结构相似性(ssim)。
[0036]
第一，峰值信噪比，即峰值信号的能量与噪声的平均能量之比，是使用最为广泛的图像质量客观评价指标之一。由于均方误差(mse)是真实图像与含噪图像之差的能量均值，两者的差即为噪声，因此psnr指标是峰值信号能量与mse之比，公式如下：
[0037][0038][0039]
式中，x、y表示当前图像和参考图像，h、w分别为图像的高度和宽度。
[0040]
峰值信噪比的单位是db，数值越大表示失真越小。
[0041]
第二，结构相似性。在空间相似的情况下，图像的像素之间存在极高的结构相关性。结构相关性指标从图像结构的相似性触发，由三个对比模块组成，分别是亮度、对比度和结构。ssim的取值范围在0到1之间，越接近1，表示两幅图像越相似。相比psnr，该评价方法更能反映图像的视觉质量，同样也在图像超分辨率领域使用广泛。
[0042]
基于以上方法，本发明还提出了一种基于生成对抗网络的超声图像超分辨率重建系统，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述的方法。
[0043]
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的方法。
[0044]
本发明的有益效果在于：实施本发明的基于生成对抗网络的超声图像超分辨率重建方法，可以有效的提高手持式超声成像设备的超声图像成像质量，有助于医护人员或者
超声成像设备的操作者通过手持式超声成像设备获取到更为清晰的超声图像。
附图说明
[0045]
图1是本发明的基于生成对抗网络的超声图像超分辨率重建方法的流程图。
[0046]
图2是实施例的经过图像下采样的低分辨率超声图像例一。
[0047]
图3是实施例的经过基于生成对抗网络的超声图像超分辨率重建出的超分辨率超声图像例一。
[0048]
图4是实施例的经过图像下采样的低分辨率超声图像例二。
[0049]
图5是实施例的经过基于生成对抗网络的超声图像超分辨率重建出的超分辨率超声图像例二。
[0050]
图6是实施例的经过图像下采样的低分辨率超声图像例三。
[0051]
图7是实施例的经过基于生成对抗网络的超声图像超分辨率重建出的超分辨率超声图像例三。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0053]
以下为本发明的基于生成对抗网络的超声图像超分辨率重建方法的具体实施例：
[0054]
如图1所示，是本发明实施例的基于生成对抗网络的超声图像超分辨率重建方法的流程图，在本实施例中，该方法包括以下步骤：
[0055]
步骤s1：通过超声成像设备获得超声图像；
[0056]
在此步骤中，医护人员或者超声成像设备的操作者根据自身的经验来通过超声成像设备扫查获取合适的超声图像，而超声成像设备已经公开，在此不再赘述。
[0057]
步骤s2：对已有的高分辨率超声图像进行图像下采样得到相匹配的低分辨率超声图像；
[0058]
在此步骤中，由于低分辨率超声图像不同的先验知识，得到的结果往往不同。我们的任务就是学习这些先验知识，使模型得到一个完备的映射系统，但是由于不存在高低分辨率相匹配且完全相同的图像对，我们需要讲高分辨率图像进行下采样，保留尽可能多的源图像信息，做到图像信息丢失的最小化。因此，考虑到基于学习的超分辨率处理方法均是使用双三次插值法下采样由高分辨率图像得到相应的低分辨率图像，本发明选取了双三次插值法进行下采样。
[0059]
目前效果较好的超分辨率网络均使用双三次插值下采样方法，但不同的超声图像下采样往往会得到不同的结果，以至于网络生成的超声图像结果不同。将一副大小为m
×
n的超声图像进行s倍下采样，产生大小为(m/s)
×
(n/s)的低分辨率超声图像，通过不同的计算方法，由源图像中尺寸为s
×
s窗口内的像素值计算得到一个像素，例如，若使用中值下采样方法，则这个点的像素值就是窗口内所有像素的中值。
[0060]
步骤s3：低分辨率超声图像经过生成网络重建出超分辨率超声图像。
[0061]
生成对抗网络由生成网络和判别网络组成，低分辨率超声图像经过生成网络重建
出超分辨率超声图像。生成网络有10层，低分辨率超声图像先经过卷积层的特征提取，其中包括一层卷积处理，再经过5层叠加的残差块处理，每一层的结果再与上一层的输出结果相叠加，再经过一层卷积，其结果与第一层卷积的结果相叠加，以防止特征丢失。最后输出结果通过两层两倍的放大处理，以重建出四倍大的超分辨率超声图像。
[0062]
步骤s4：判别网络对超分辨率超声图像与高分辨率超声图像分别进行判断，输出概率用于真假判断。
[0063]
生成对抗网络由生成网络和判别网络组成，判别网络先将生成网络生成的图像进行特征提取，其中包括8个卷积层，再经过两层全连接层，最终得出判别结果，判别网络对超分辨率超声图像与高分辨率超声图像分别进行判断，输出概率用于真假判断，直到得到的数值趋于0.5，训练逐渐稳定。
[0064]
判别网络先对高分辨率超声图像或由生成网络生成的超分辨率超声图像进行特征提取，包括卷积、lrelu激活层和批归一化，再通过两层全连接层处理和sigmoid函数激活，最终得到判别结果。
[0065]
判别网络的作用是学习低分辩率超声图像与超分辨率超声图像之间的特征，反馈给生成网络，以促使生成网络进一步生成更加清晰的细节。
[0066]
步骤s5：生成网络和判别网络经过互相学习和对抗，相互之间进行一个最大最小值的博弈，直到网络达到稳定状态；
[0067]
生成网络和判别网络需要经过不断地学习和对抗。生成网络的目的是要尽可能地欺骗判别网络，判别网络的目的是将生成网络的输出从真实样本中尽可能分辨出来，两个网络相互对抗，不断调整参数，最终目的是使判别网络无法判断出生成网络的输出结果是否真实，直到判别网络输出的数值趋近于0.5，整个生成对抗网络的训练逐渐稳定。
[0068]
步骤s6：利用数学模型给出量化指标以对超分辨率超声图像和高分辨率超声图像的相似度进行评估。
[0069]
对低分辨率超声图像进行超分辨率重建的目的就是生成与高分辨率超声图像尽可能相同的图像，所以进行图像质量评估是一个很关键的问题。客观评估使用数学模型给出量化指标，比较常用的量化指标有峰值信噪比(psnr)、结构相似性(ssim)。
[0070]
图2、图4、图6所示是对高分辨率超声图像进行图像下采样获得的低分辨率超声图像，图3、图5、图7所示是经过基于生成对抗网络的超声图像超分辨率重建方法重建出的超分辨率超声图像，结果可以显示经过超分辨率重建出来的超分辨率超声图像亮暗边界分明、亮度均匀、结构清晰、边界明显、细节真实，整体视觉效果明显优于低分辨率超声图像。
[0071]
综述，本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。本发明的基于生成对抗网络的超声图像超分辨率重建方法使得通过低质量超声图像生成高质量超声图像成为可能。
[0072]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。