一种基于对抗性域自适应的无监督MRI图像复原方法与流程

一种基于对抗性域自适应的无监督mri图像复原方法
技术领域
1.本发明涉及一种mri图像复原方法，尤其是一种基于对抗性域自适应的无监督mri图像复原方法。


背景技术：

2.目前，常见的医学图像包括心脏血管造影(ca)图像、计算机断层扫描(ct)图像、磁共振成像(mri)图像及超声图像等，它们能以图像的形式显示人体内部组织器官的结构和密度，已成为医学诊疗系统的重要组成部分。但是，医学图像在实际拍摄过程中，会受到各种因素影响而出现图像噪声、伪影或模糊等。图像噪声是由于异常干扰信号而降低图像的信噪比，影响图像的密度分辨率，使图像呈现斑驳、颗粒状、纹理状或雪花状等各种视觉现象；伪影或模糊是由于医疗设备与人体之间的相对运动而产生的，包括扫描时患者身体的运动，或因患者屏气失败引起的胸腔或腹腔的运动，或因心跳和胃肠蠕动引起的自发运动。图像噪声、伪影或模糊现象会大大降低图像质量，使一些组织边界或精细结构难以识别，从而影响医学诊断，故需要对此类图像进行复原。传统医学图像复原方法包括维纳滤波法、小波变换等，大多基于先验知识建立图像退化模型，并采用各种逆退化处理方法进行恢复。而后，随着深度学习的迅猛发展，许多基于神经网络的方法也都在各种医学图像恢复任务中都取得了良好的效果。比如使用卷积神经网络(cnn)进行ct图像超分辨率重建，使用改进的u
‑
net学习低分辨率和高分辨率图像之间的端到端映射，在超分辨率和去噪任务中都是有效的。或是基于残差学习来构造mri超分辨率算法，将多尺度信息与基于浅网络块的局部残差学习相结合，同样也取得了良好的性能。然而，以上方法却依赖于大量的结构化和标记数据且只能恢复一种退化类型，并且很难同时获得退化图像和标签对，对于往往不止一种退化类型的mri图像复原效果欠佳。


技术实现要素：

3.本发明是为了解决现有技术所存在的上述技术问题，提供一种基于对抗性域自适应的无监督mri图像复原方法。
4.本发明的技术解决方案是：一种基于对抗性域自适应的无监督mri图像复原方法，是将待复原的mri图像输入网络模型中完成图像复原，所述网络模型依次按照如下步骤建立：
5.步骤1：制作训练集
6.取m张cap数据集图像作为清晰图像，每张图像记为clear_image1，clear_image2，...，clear_image m；取m张amrg心脏mri图谱的图像，每张图像记为preprocess_image 1，preprocess_image2，...，preprocess_imagem；
7.步骤1.2：将图像preprocess_image1，preprocess_image2，...，preprocess_imagem分别加入角度θ为5，长度l为3的运动模糊，记为blur_image1，blur_image2，...，blur_imagem；
8.步骤1.3：将图像blur_image1，blur_image2，...，blur_imagem分别加入sigma值为25的高斯噪声，记为退化图像lowquality_image1，lowquality_image2，...，lowquality_imagem；
9.步骤1.4：选取m张清晰图像和m张退化图像并按顺序对应为清晰图像和退化图像对，记为作为训练集；
10.步骤2：训练网络
11.步骤2.1：将训练集输进网络；
12.步骤2.2：约定清晰图像是来自干净域clear_domain的干净样本退化图像是来自于退化域degraded_domain的退化样本
13.步骤2.3：将干净样本送入一个清晰图像编码器e
clear
提取出一个干净图的内容表示r
clear
；将退化样本送入一个退化图像编码器e
degraded
，提取出一个退化图的内容表示r
degraded
，再将退化图的内容表示r
degraded
送入一个退化特征编码器提取出一个退化图的退化特征表示
14.步骤2.4：将退化样本及所提取出的干净图的内容表示r
clear
同时送入一个干净图像生成器g
clear
，生成干净样本将干净样本退化图的内容表示r
degraded
以及退化图的退化特征表示同时送入一个退化图像生成器g
degraded
，生成退化样本
15.步骤2.5将干净样本送入一个清晰图像编码器e
clear
提取出一个干净图的内容表示r
clear
'，再将退化样本同时送入一个退化图像编码器e
degraded
和一个退化特征编码器分别提取出一个退化图的内容表示r
degraded
'以及一个退化图的退化特征表示然后将退化样本及所提取出的干净图的内容表示r
clear
'一起送入一个干净图像生成器g
clear
，重构清晰图像同时，将干净样本退化图像的内容表示r
degraded
'以及退化图像的退化特征表示一起送入一个退化图像生成器g
degraded
，重构退化图像
16.步骤3：求取损失函数值并确定网络模型
17.步骤3.1：为干净域clear_domain和退化域degraded_domain添加跨周期一致性损失l
cc
，vgg的模型损失l
vgg
，添加清晰图像和退化图像生成的对抗损失l
d
以及背景一致性损失l
bc
和l
sc
，加入拉普拉斯边缘算子对生成图像进行约束，并加入自重构损失l
rec
及添加kl loss，所述约束通过kl散度实现；
18.步骤3.2：计算总损失函数值loss；若迭代次数达到规定的次数，则网络停止训练，
保存最后一次迭代后得到的训练模型为网络模型；否则再一次进入步骤2，循环重复训练。
19.本发明是针对现有mri图像复原效果差的问题，提出一种基于对抗性域自适应的无监督mri图像复原方法，通过对抗性域自适应的框架，从退化的输入图像中学习模糊及噪声的中间表示，然后使用额外的自我监督模块进一步提高表示的鲁棒性，并通过多种约束来辅助模型的训练，同时在编码器中嵌入拉普拉斯算子提取边缘，形成额外的边缘恢复约束。即在去除图像噪声的同时，尽可能精细地恢复图像中模糊部分原本的边缘纹理，从而更好地对低质量mri图像进行复原。
附图说明
20.图1是本发明实施例用于真实mri图像的复原结果示意图。
21.图2是本发明实施例用于合成mri退化图像的复原结果示意图。
具体实施方式
22.本发明的一种基于对抗性域自适应的无监督mri图像复原方法，是将待复原的mri图像输入网络模型中完成图像复原，所述网络模型依次按照如下步骤建立：
23.步骤1：制作训练集
24.取283张cap数据集图像作为清晰图像，每张图像记为clear_image1，clear_image2，...，clear_image 263；取283张amrg心脏mri图谱的图像，每张图像记为preprocess_image 1，preprocess_image2，...，preprocess_image283；
25.步骤1.2：将图像preprocess_image1，preprocess_image2，...，preprocess_image283分别加入角度θ为5，长度l为3的运动模糊，此时记为blur_image1，blur_image2，...，blur_image283；
26.步骤1.3：将图像blur_image1，blur_image2，...，blur_imagem分别加入sigma值为25的高斯噪声，记为退化图像lowquality_image1，lowquality_image2，...，lowquality_image283；
27.步骤1.4：选取283张清晰图像和283张退化图像并按顺序对应为清晰图像和退化图像对，记为作为训练集；
28.步骤2：训练网络
29.步骤2.1：将训练集输进网络；
30.步骤2.2：约定清晰图像是来自干净域clear_domain的干净样本退化图像是来自于退化域degraded_domain的退化样本
31.步骤2.3：将干净样本送入一个清晰图像编码器e
clear
提取出一个干净图的内容表示r
clear
；将退化样本送入一个退化图像编码器e
degraded
，提取出一个退化图的内容表示r
degraded
，再将退化图的内容表示r
degraded
送入一个退化特征编码器提取出一个退化图的退化特征表示
32.步骤2.4：将退化样本及所提取出的干净图的内容表示r
clear
同时送入一个干净图像生成器g
clear
，生成干净样本将干净样本退化图的内容表示r
degraded
以及退化图的退化特征表示同时送入一个退化图像生成器g
degraded
，生成退化样本
33.步骤2.5将干净样本送入一个清晰图像编码器e
clear
提取出一个干净图的内容表示r
clear
'，再将退化样本同时送入一个退化图像编码器e
degraded
和一个退化特征编码器分别提取出一个退化图的内容表示r
degraded
'以及一个退化图的退化特征表示然后将退化样本及所提取出的干净图的内容表示r
clear
'一起送入一个干净图像生成器g
clear
，重构清晰图像同时，将干净样本退化图像的内容表示r
degraded
'以及退化图像的退化特征表示一起送入一个退化图像生成器g
degraded
，重构退化图像
34.步骤3：求取损失函数值
35.步骤3.1：为干净域clear_domain和退化域degraded_domain添加跨周期一致性损失l
cc
，vgg的模型损失l
vgg
，添加清晰图像和退化图像生成的对抗损失l
d
以及背景一致性损失l
bc
和l
sc
，加入拉普拉斯边缘算子对生成图像进行约束，并加入自重构损失l
rec
及添加kl loss，所述约束通过kl散度实现；
36.步骤3.2：计算总损失函数值loss；若迭代次数达到规定的300000次，则网络停止训练，保存最后一次迭代后得到的训练模型generator300000.pt为网络模型；否则再一次进入步骤2，循环重复训练。
37.按照本发明实施例建立的网络模型对来自大连市第五人民医院的168张真实低质mri图像进行复原，其中一幅mri图像的复原结果如图1所示。
38.取117张amrg心脏mri图谱的图像为参考图像，按照本发明实施例的步骤1.2、步骤1.3的方法制成117张合成mri退化图像并按照本发明实施例建立的网络模型进行复原，结果如图2所示。
39.计算合成mri退化图像的psnr&ssim值并与其他方法的复原结果进行对比，结果下表所示。
40.methodpsnrssimffdnet27.180.6998dncnn26.830.6592vdnet25.320.5220srn22.610.3458lir26.970.7030
本发明实施例27.190.7201
41.结果表明：本发明对于真实mri图像以及合成mri退化图像的复原都有着显著的效果，能够同时去除图像中的噪声并恢复原本模糊的细节。