一种基于GAN的融合NDCT噪声的低剂量CT双域联合降噪方法与流程

一种基于gan的融合ndct噪声的低剂量ct双域联合降噪方法
技术领域
1.本发明涉及医学图像处理技术领域，具体而言，特别涉及一种基于gan的融合ndct噪声的低剂量ct双域联合降噪方法。


背景技术：

2.计算机断层成像技术（ct）在医学领域具有广泛应用，该方法的成像清晰度对临床诊断结果的准确性至关重要，辐射剂量越高，得到的成像结果的清晰度越高，然而高辐射剂量会诱发癌变，对人体有一定的损害，为了避免或者减少病人在检查时受到的二次伤害，会考虑使用低剂量ct（ldct），然而在降低了ct剂量的同时也产生了新的问题，即低剂量的ct会比普通剂量的ct（ndct）存在更多的噪声，进而影响结果判断。因此采用低剂量的同时对低剂量ct成像结果降噪引起大量关注。
3.陆续有针对低剂量ct降噪的优秀方法被提出，降噪方法主要分为三大类：1）重构前的正弦滤波：2）迭代重建；3）重建后的图像处理，这些方法都一定程度的提高了图像的质量，但也有一些缺点，比如容易造成边缘模糊、引入伪影、过度平滑等。随着深度学习的发展，人们开始将网络模型应用到ct图像降噪上。jelmer m. wolterink等人提出了一种基于生成对抗网络的方法，其中生成器对ldct进行了降噪处理，通过训练后生成器能够生成接近ndct的图像，从而得到降噪的效果。裴颂文等人提出了一种面向低剂量ct图像的多生成器对抗网络降噪模型，用三个不同的生成器来分别拟合不同的噪声分布，最后通过一个判别器进行优化。但是这两个方法都有两个缺点：1）只考虑了ldct中的噪声，没有考虑到ndct中也存在的噪声；2）图像降噪后会导致边缘信息部分丢失，细节模糊，从而降低了ct图像的质量，不利于后期临床使用，而方法中没有进行边缘信息及细节信息的强化。这些缺点限制了方法的效果。而频域变化可以分离图像的细节信息和结构信息，因此频域图像更能体现原图像的边缘信息和细节信息。


技术实现要素：

4.综上所述，将ndct的噪声提取并除去后再参与到后续gan的训练中，同时在时域和频域上对gan进行训练可以表现出更好的性能。总体使用coarse-to-fine的去噪方式，先进行粗粒度处理，得到初步的降噪效果，并为进一步降噪减轻负担，之后进行细粒度处理，提升降噪效果。为了弥补现有技术的不足，本发明提供了一种基于gan的融合ndct噪声的低剂量ct双域联合降噪方法。
5.本发明是通过如下技术方案实现的：一种基于gan的融合ndct噪声的低剂量ct双域联合降噪方法，包括粗粒度处理和细粒度处理，其特征在于,具体步骤如下:一、粗粒度处理s1：构建用于训练ct图像降噪网络的样本集
ꢀꢀ
，其中
ꢀꢀ
为低剂量ct图像，为正常剂量ct图像；s2：训练预测ct图像噪声的网络：引用一种公开的深度残差卷积神经网络模型
（dr-cnn）作为预测噪声的网络，该网络输入为 ，输出为预测的残差图像（即噪声图像），残差图像由 得到；通过数据集
ꢀꢀ
来对dr-cnn进行监督学习，从而得到训练好的dr-cnn；s3：使用训练好的dr-cnn对ldct图像进行初步降噪，将
ꢀꢀ
输入训练好的dr-cnn中得到预测的噪声图像：（2）其中，为
ꢀꢀ
通过网络预测到的噪声图像，为dr-cnn；s4：对ldct进行初步降噪，为之后的细粒度降噪处理减轻负担：
ꢀꢀ
（3）其中，为ldct初步降噪后的结果；二、细粒度处理s5：由于ndct作为ground truth时，其中的噪声依然会影响降噪结果，所以该方法将降噪后的ndct作为ground truth；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，为
ꢀꢀ
通过网络预测到的噪声图像，为ndct初步降噪后的结果，作为细粒度处理的ground truth。
6.s6：因为频域图像更能体现原图像的边缘信息和细节信息，所以该方法通过两个生成对抗网络分别对时域和频域上的ct图像进行训练，即双域联合降噪；该方法使用公开网络模型wgan，每个wgan包含一个生成器和一个判别器；s7:总体的损失函数为（16）作为优选方案，步骤s1具备包括以下步骤：s1-1:使用mayo数据集。该数据集具有2378副成对的ct图像，即每个正常剂量的ct图像都有对应的低剂量ct图像。
7.s1-2：将数据集分为两部分，其中1902副ct图像作为训练集，476副ct图像作为测试集。
8.作为优选方案，步骤s2具备包括以下步骤：s2-1：引用一种公开的深度残差卷积神经网络模型（dr-cnn）作为预测噪声的网络，该网络输入为
ꢀꢀ
，输出为预测的残差图像（即噪声图像），残差图像由 得到；该网络全部使用小卷积核，即卷积核，增强了网络的非线性。第一层使用conv relu，第二层使用conv bn relu，之后连续使用四个旁路连接模块，为了避免随着网络深度的增加，信息丢失现象严重，所以每个模块中都添加了旁路连接，最后一个卷积层中设置了1组卷积核，将通道转为1通道，输出预测的残差图像；s2-2：通过数据集
ꢀꢀ
来对dr-cnn进行原网络相同的监督学习的训练方式，由构建的样本集 中保留
ꢀꢀ
，并采用原方法得到残差图像的方式得到对应
的残差图像 ，从而得到一一对应的样本集。
9.s2-3：作为输入图像，作为groundtruth，对网络进行监督学习，得到训练好的dr-cnn。
10.该网络的损失函数为，（1）其中n为bn层的批量大小，为一个批量中第个输入图像，为与 对应的一个批量中第个ndct图像，y为预测的残差图像，为groundtruth。
11.作为优选方案，步骤s5具备包括以下步骤：s5-1：首先使用初步预测噪声的网络dr-cnn来预测ndct中的噪声：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）s5-2：之后将噪声从ndct图像中除去：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，为
ꢀꢀ
通过网络预测到的噪声图像，为ndct初步降噪后的结果，作为细粒度处理的ground truth。
12.作为优选方案，步骤s6具备包括以下步骤：s6-1：首先处理时域上初步降噪后的ct图像，将
ꢀꢀ
输入到生成器
ꢀꢀ
中：（6）其中
ꢀꢀ
为生成器
ꢀꢀ
，为生成器
ꢀꢀ
的生成图像；s6-2：将作为ground truth与一起输入判别器
ꢀꢀ
，由判别器判断
ꢀꢀ
是否是真的 ：（7）其中
ꢀꢀ
为生成器
ꢀꢀ
，判别的结果
ꢀꢀ
有1（true）和0（false）；定义该生成对抗网络的损失函数为：：（8）（9）其中 和分别为生成器
ꢀꢀ
、判别器
ꢀꢀ
的输出结果，是个加权超参数，该方法中设为10，为从生成器
ꢀꢀ
和groundtruth图像的输出集合中随机采样的结果，y为ground truth；s6-3: 使用numpy包中的 .fft.fft2（）函数将时域上的
ꢀꢀ
和
ꢀꢀ
都转到频域上：
（10）（11）其中为快速傅里叶变换（fft），为
ꢀꢀ
初步降噪后转到频域上的图像，为
ꢀꢀ
初步降噪后转到频域上的图像；s6-4：用生成对抗网络（gan）对频域上的ct图像进行处理，将
ꢀꢀ
输入到生成器
ꢀꢀ
中：（12）其中
ꢀꢀ
为生成器
ꢀꢀ
，为生成器
ꢀꢀ
的生成图像；s6-5：将
ꢀꢀ
作为ground truth与一起输入判别器
ꢀꢀ
，由判别器判断
ꢀꢀ
是否是真的 ：
ꢀꢀꢀꢀꢀ
（13）其中
ꢀꢀ
为生成器
ꢀꢀ
，判别的结果
ꢀꢀ
有1（true）和0（false）；定义该生成对抗网络的损失函数为：：（14）（15）其中 和分别为生成器
ꢀꢀ
、判别器
ꢀꢀ
的输出结果，为从生成器
ꢀꢀ
和groundtruth图像的输出集合中随机采样的结果。
13.本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本公开在细粒度降噪部分首先预测ndct的噪声，并将噪声从ndct中除去，得到降噪后的ndct图像，同时在判别阶段向判别器中输入的是降噪后的ndct，目的是使生成器生成的ct图像更好地拟合降噪后的ndct，具有更好的降噪结果；对于低剂量ct降噪任务，一般是使用时域上的图像进行训练，该发明使用了时域和频域上的图像同时参与降噪，这样在降噪的同时频域图像在训练的过程中能够弥补边缘模糊、部分细节丢失的不足。
14.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
15.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为细粒度降噪训练流程图。
具体实施方式
16.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
17.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
18.下面结合图1对本发明的实施例的基于gan的融合ndct噪声的低剂量ct双域联合降噪方法进行具体说明。
19.本发明提出了一种基于gan的融合ndct噪声的低剂量ct双域联合降噪方法，包括粗粒度处理和细粒度处理，其特征在于,具体步骤如下:一、粗粒度处理s1：构建用于训练ct图像降噪网络的样本集
ꢀꢀ
，其中
ꢀꢀ
为低剂量ct图像，为正常剂量ct图像；s1-1:使用mayo数据集。该数据集具有2378副成对的ct图像，即每个正常剂量的ct图像都有对应的低剂量ct图像。
20.s1-2：将数据集分为两部分，其中1902副ct图像作为训练集，476副ct图像作为测试集。
21.s2：训练预测ct图像噪声的网络：引用一种公开的深度残差卷积神经网络模型（dr-cnn）作为预测噪声的网络，该网络输入为 ，输出为预测的残差图像（即噪声图像），残差图像由 得到；通过数据集
ꢀꢀ
来对dr-cnn进行监督学习，从而得到训练好的dr-cnn；s2-1：引用一种公开的深度残差卷积神经网络模型（dr-cnn）作为预测噪声的网络，该网络输入为
ꢀꢀ
，输出为预测的残差图像（即噪声图像），残差图像由 得到；该网络全部使用小卷积核，即卷积核，增强了网络的非线性。第一层使用conv relu，第二层使用conv bn relu，之后连续使用四个旁路连接模块，为了避免随着网络深度的增加，信息丢失现象严重，所以每个模块中都添加了旁路连接，最后一个卷积层中设置了1组卷积核，将通道转为1通道，输出预测的残差图像；s2-2：通过数据集
ꢀꢀ
来对dr-cnn进行原网络相同的监督学习的训练方式，由构建的样本集 中保留
ꢀꢀ
，并采用原方法得到残差图像的方式得到对应的残差图像 ，从而得到一一对应的样本集。
22.s2-3：作为输入图像，作为groundtruth，对网络进行监督学习，得到训练好的dr-cnn。
23.该网络的损失函数为，（1）
其中n为bn层的批量大小，为一个批量中第个输入图像，为与 对应的一个批量中第个ndct图像，y为预测的残差图像，为groundtruth。
24.s3：使用训练好的dr-cnn对ldct图像进行初步降噪，将
ꢀꢀ
输入训练好的dr-cnn中得到预测的噪声图像：（2）其中，为
ꢀꢀ
通过网络预测到的噪声图像，为dr-cnn；s4：对ldct进行初步降噪，为之后的细粒度降噪处理减轻负担：
ꢀꢀ
（3）其中，为ldct初步降噪后的结果；二、细粒度处理对ldct进行初步降噪后并不能得到满意的降噪效果，需要对其进行细粒度降噪处理。
25.s5：由于ndct作为ground truth时，其中的噪声依然会影响降噪结果，所以该方法将降噪后的ndct作为ground truth；s5-1：首先使用初步预测噪声的网络dr-cnn来预测ndct中的噪声：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）s5-2：之后将噪声从ndct图像中除去：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，为
ꢀꢀ
通过网络预测到的噪声图像，为ndct初步降噪后的结果，作为细粒度处理的ground truth。
26.s6：因为频域图像更能体现原图像的边缘信息和细节信息，所以该方法通过两个生成对抗网络分别对时域和频域上的ct图像进行训练，即双域联合降噪；该方法使用公开网络模型wgan，每个wgan包含一个生成器和一个判别器；如图1所示。
27.s6-1：首先处理时域上初步降噪后的ct图像，将
ꢀꢀ
输入到生成器
ꢀꢀ
中：（6）其中
ꢀꢀ
为生成器
ꢀꢀ
，为生成器
ꢀꢀ
的生成图像；s6-2：将作为ground truth与一起输入判别器
ꢀꢀ
，由判别器判断
ꢀꢀ
是否是真的 ：（7）其中
ꢀꢀ
为生成器
ꢀꢀ
，判别的结果
ꢀꢀ
有1（true）和0（false）；定义该生成对抗网络的损失函数为：：（8）
（9）其中 和分别为生成器
ꢀꢀ
、判别器
ꢀꢀ
的输出结果，是个加权超参数，该方法中设为10，为从生成器
ꢀꢀ
和groundtruth图像的输出集合中随机采样的结果，y为ground truth；s6-3: 使用numpy包中的 .fft.fft2（）函数将时域上的
ꢀꢀ
和
ꢀꢀ
都转到频域上：（10）（11）其中为快速傅里叶变换（fft），为
ꢀꢀ
初步降噪后转到频域上的图像，为
ꢀꢀ
初步降噪后转到频域上的图像；s6-4：用生成对抗网络（gan）对频域上的ct图像进行处理，将
ꢀꢀ
输入到生成器
ꢀꢀ
中：（12）其中
ꢀꢀ
为生成器
ꢀꢀ
，为生成器
ꢀꢀ
的生成图像；s6-5：将
ꢀꢀ
作为ground truth与一起输入判别器
ꢀꢀ
，由判别器判断
ꢀꢀ
是否是真的 ：
ꢀꢀꢀꢀꢀ
（13）其中
ꢀꢀ
为生成器
ꢀꢀ
，判别的结果
ꢀꢀ
有1（true）和0（false）；定义该生成对抗网络的损失函数为：：（14）（15）其中 和分别为生成器
ꢀꢀ
、判别器
ꢀꢀ
的输出结果，为从生成器
ꢀꢀ
和groundtruth图像的输出集合中随机采样的结果。
28.s7:总体的损失函数为（16）通过训练进行不断优化，从而得到高质量ct图像，达到好的降噪效果。
29.在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应
做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
30.在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
31.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。