一种基于频域和图像域退化感知的深度学习稀疏角度CT重建方法与流程

一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法
技术领域
1.本发明属于图像处理技术领域，更为具体地讲，涉及一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法。


背景技术：

2.ct重建是将通过ct扫描得到的投影数据通过算法重建为ct图像的过程。在过去的五十年里，ct图像由于具有高分辨率和高灵敏度的特点，被广泛应用于临床诊断、无损检测和生物学研究。随着医学ct技术的不断发展，人们对更快、更安全、更高精度的ct技术提出了要求。然而，高剂量的辐射会导致头痛，严重的情况下甚至会导致癌症和白血病。此外，长扫描时间和高扫描频率会进一步增加危害。稀疏角度ct和有限角度ct分别通过稀疏投影和控制投影角度范围来减少测量次数。然而，由于数据采集不足，重建的ct图像不可避免地出现严重的条纹伪影和方向伪影。因此低剂量ct重建的研究受到了研究者的广泛关注。
3.ct重建方法可分为三大类:投影域重建、迭代重建和图像域重建。在投影域重建方法中，传统的滤波算法具有计算量小、重构速度快的优点，但在原始数据严重缺失的情况下，无法达到令人满意的性能。基于字典和深度学习的方法又常常导致重建结果出现不期望的伪影或过度平滑。在先验知识的帮助下，迭代方法能够取得更好的重建效果，但同时牺牲了大量的计算资源。
4.近年来，深度学习方法在图像域ct重建中尤为重要。许多基于卷积神经网络的模型在一个特定的损伤程度上的性能大大优于迭代算法。然而，目前的深度学习重建方法往往在单一退化程度的数据(例如120个角度的稀疏投影数据)上应用有监督学习，因此在其他退化程度的数据(例如60个角度的稀疏投影数据)上无法获得良好的重构性能。解决这个问题的一种直接方法是针对每个退化级别训练一组参数，但由于训练计算量和参数存储的增长，在实践中部署是一个巨大的挑战。此外，随着退化程度级别的扩大，训练成本和参数存储量呈线性增加，在实际应用中不具有可拓展性。另一种方法是通过混合多个退化级别的数据来构建训练数据集来缓解这一问题，但这会导致模型预测出折中的重建结果，性能仍然存在提升空间。


技术实现要素：

5.本发明目的在于克服现有基于深度学习的ct重建方法存在的不足，提供一种基于退化感知的深度学习ct重建算法。通过分别在频域和图像域设计退化感知模块，来学习不同退化级别数据的特征，并据此来对不同退化级别的数据执行不同的操作。除此之外，结合含有多个退化级别的ct数据集和有监督训练，使得模型的预测效果和预测稳定性得到提升。
6.为实现上述发明的目的，本文发明一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法，包括以下步骤：
7.(1)、构建包含多种退化级别的数据集
8.采集患者不同部位的完全角度ct图像，对ct图像正向投影获得充足的投影数据，然后对投影数据做不同级别的稀疏采样(例如60个角度，120个角度，240个角度等)并添加噪声，对稀疏的投影数据使用迭代算法重建为稀疏角度ct图像，每一个稀疏角度ct图像和完全角度ct图像构成一个训练对；
9.(2)、构建频域重建模型
10.(2.1)、构建离散余弦变换模块，将分块离散余弦变换转换为一个卷积层。其中分块大小为n
×
n，卷积层由n2个大小为n
×
n的卷积核组成，初始化权重参数为离散余弦基函数，离散余弦变换模块的输入是稀疏角度ct图像，输出是频率特征；
11.(2.2)、构建频域注意力模块。频域注意力模块的输入是频率特征，输出是加权频率特征。其中的输入层和输出层之间的网络结构如下：
12.第一层为全局平局池化层；
13.第二层由全连接层、线性整流函数(relu)组成；
14.第三层由全连接层、罗杰斯特函数(sigmoid)组成；
15.第四层为逐像素相乘操作：对第一层的输入和第三层的输出逐像素相乘；
16.(2.3)、构建频域重建模块。频域重建模块可以设计为任意神经网络模型，频域重建模块的输入是加权频率特征，输出是频率预测结果；
17.(2.4)、构建反离散余弦变换模块，将分块反离散余弦变换转换为一个转置卷积层。其中分块大小为n
×
n，卷积层由n2个大小为n
×
n的卷积核组成，初始化权重参数为离散余弦基函数，离散余弦变换模块的输入是频率预测结果，输出是频域重建图像；
18.(3)、构建图像域重建模型
19.(3.1)、构建图像域注意力模块。图像域注意力模块可以设计为任意神经网络模型，图像域注意力模块的输入是稀疏角度ct图像和频域重建图像的拼接(通道拼接)，输出是图像域注意力预测图像；
20.(3.2)、构建图像域重建模块。图像域重建模块可以设计为任意神经网络模型，图像域重建模块的输入是频域重建图像和图像域注意力预测图像的拼接，输出是最终的重建结果；
21.(4)、训练频域模型
22.使用训练对(稀疏角度ct图像，完全角度ct图像)训练频域模型的权重参数；
23.(5)、构建图像域注意力模块的训练数据集
24.(5.1)、使用边缘检测算法提取完全角度ct图像的边缘，得到边缘检测图像；
25.(5.2)、利用(4)中训练好的权重参数，对稀疏角度ct图像使用频域模型重建为频域重建图像，计算频域重建图像与完全角度ct图像的差值然后取绝对值，将差值大于等于r的像素点置为1，小于r的像素点置为0，得到重建差异图像；
26.(5.3)、取边缘检测图像与重建差异图像的交集，得到图像域注意力理想图像，每一个(稀疏角度ct图像和频域重建图像的拼接，图像域注意力理想图像)构成图像域注意力模块训练样本；
27.(6)、训练图像域注意力模块
28.使用训练对(稀疏角度ct图像和频域重建图像的拼接，图像域注意力理想图像)训
练图像域注意力模块的权重参数，损失函数使用二分类交叉熵损失函数；
29.(7)、训练图像域重建模块
30.使用训练对(频域重建图像和图像域注意力预测图像的拼接，完全角度ct图像)训练图像域重建模块的权重参数；
31.(8)、整体训练
32.冻结图像域注意力模块的权重参数，使用训练对(稀疏角度ct图像，完全角度ct图像)整体训练频域模型和图像域重建模块的权重参数。
附图说明
33.图1是网络结构总示意图；
34.图2是本发明方法一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法步骤流程图；
35.图3是实施例中离散余弦变换模块与频域注意力模块网络结构示意图；
36.图4是实施例中频域重建模块网络结构图示意图；
37.图5是实施例中图像域注意力模块网络结构示意图；
38.图6是实施例中图像域重建模块网络结构示意图；
39.图7是实施例中图像域注意力模块的训练数据集示意图；
40.图8是实施例中不同处理方法图像对比结果。
具体实施方式
41.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
42.实施例：
43.在本实施例中，本发明一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法，包括以下步骤：
44.(1)、构建包含多种退化级别的数据集
45.采集患者不同部位的完全角度ct图像，下采样到512
×
512，模拟扇形束投影对每张ct图像正向投影获得360个投影角度的完全角度投影数据。对投影数据添加高斯和泊松噪声，然后随机均匀稀疏采样到60、120、240个投影角度。最后使用滤波反投影重建算法，将稀疏投影数据重建为稀疏角度ct图像。训练集、验证集、测试集分别包含9203、300、1000个训练对；
46.(2)、构建频域重建模型
47.(2.1)、构建离散余弦变换模块，如图3所示，采用分块大小为8
×
8离散余弦变换，卷积层由64个大小为8
×
8的卷积核组成，初始化权重参数为离散余弦基函数，卷积运算的步长为8以保证图像块之间不重叠；
48.(2.2)、构建频域注意力模块。如图3所示，其中的输入层和输出层之间的网络结构如下：
49.第一层为全局平局池化层；
50.第二层由全连接层(包含32个神经元)、线性整流函数(relu)组成；
51.第三层由全连接层(包含64个神经元)、罗杰斯特函数(sigmoid)组成；
52.第四层为逐像素相乘操作：对第一层的输入和第三层的输出逐像素相乘；
53.(2.3)、构建频域重建模块。如图4所示，频域重建模块设计为u-net结构，包含卷积、最大池化、最大反池化等操作；
54.(2.4)、构建反离散余弦变换模块，将分块反离散余弦变换转换为一个转置卷积层。其中分块大小为8
×
8，卷积层由64个大小为8
×
8的卷积核组成，初始化权重参数为离散余弦基函数；
55.(3)、构建图像域重建模型，
56.(3.1)、构建图像域注意力模块。如图5所示，图像域注意力模块设计为u-net结构，包含卷积、下采样、上采样等操作；
57.(3.2)、构建图像域重建模块。如图6所示，图像域重建模块设计为残差网络模型，包含6个残差模块，网络包含卷积、relu等操作；
58.(4)、训练频域模型
59.使用训练对(稀疏角度ct图像，完全角度ct图像)训练频域模型的权重参数，使用均方误差作为损失函数，批大小(batch size)为32，采用adam优化器进行梯度更新，初始学习率为10-4
，每105个迭代学习率降低一半，当验证集损失不再下降时停止训练，训练过程在一张gpu(geforce gtx 1080ti)上完成；
60.(5)、构建图像域注意力模块的训练数据集
61.(5.1)、如图7所示，使用canny边缘检测算子提取完全角度ct图像的边缘，得到边缘检测图像；
62.(5.2)、利用(4)中训练好的权重参数，对稀疏角度ct图像使用频域模型重建为频域重建图像，计算频域重建图像与完全角度ct图像的差值然后取绝对值(归一化到0～1之间)，将差值大于等于0.01的像素点置为1，小于r的像素点置为0，得到重建差异图像；
63.(5.3)、取边缘检测图像与重建差异图像的交集，得到图像域注意力理想图像；
64.(6)、训练图像域注意力模块
65.使用训练对(稀疏角度ct图像和频域重建图像的拼接，图像域注意力理想图像)训练图像域注意力模块的权重参数，损失函数使用二分类交叉熵损失函数，批大小(batch size)为4，采用adam优化器进行梯度更新，初始学习率为10-4
，每105个迭代学习率降低一半，当验证集损失不再下降时停止训练，训练过程在一张gpu(geforce gtx 1080ti)上完成；
66.(7)、训练图像域重建模块
67.使用训练对(频域重建图像和图像域注意力预测图像的拼接，完全角度ct图像)训练图像域重建模块的权重参数；损失函数使用l1损失函数，批大小(batch size)为8，采用adam优化器进行梯度更新，初始学习率为10-4
，每105个迭代学习率降低一半，当验证集损失不再下降时停止训练，训练过程在一张gpu(geforce gtx 1080ti)上完成；
68.(8)、整体训练
69.冻结图像域注意力模块的权重参数，使用训练对(稀疏角度ct图像，完全角度ct图像)整体训练频域模型和图像域重建模块的权重参数。损失函数使用l1损失函数，批大小(batch size)为1，采用adam优化器进行梯度更新，初始学习率为10-4
，每105个迭代学习率
降低一半，当验证集损失不再下降时停止训练，训练过程在一张gpu(geforce gtx 1080ti)上完成。
70.在测试集上测试实施例，选取psnr和ssim作为评价标准，计算方式如下：
[0071][0072][0073][0074]
其中i(i,j)，k(i,j)分别表示大小为m
×
n的最终重建结果和完全角度ct图像，max为图像的最大像素值，μ
x
，μy分别表示i(i,j)和k(i,j)的平均值，σ
x
，σy，σ
xy
分别表示i(i,j)的方差，k(i,j)的方差和它们的协方差，c1＝(0.01*l)2，c2＝(0.03*l)2，l是像素值的范围。
[0075]
为了方便描述，对出现的相关专业术语进行说明：
[0076]
fbp：滤波反投影重建算法
[0077]
t-u-net：一种基于深度学习的重建算法：han y，ye j c.framing u-net via deep convolutional framelets:application to sparse-view ct[j].ieee transactions on medical imaging，2018，37(6):1418-1429.
[0078]
重建效果如表1所示：
[0079]
表1重建效果对比表
[0080][0081][0082]
图8展示了在120个投影角度下，不同方法的重建结果图，结果显示实施例的方法能够有效地抑制噪声和伪影，重建细节结构和纹理，取得更好的重建效果。