基于双重注意力和多尺度特征的CNN医学CT图像去噪方法与流程

基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
技术领域
1.本发明涉及医学图像去噪领域，具体涉及一种cnn医学ct图像去噪方法。
技术背景
2.在医学领域中,医学图像处理技术越来越多的被用于治疗规划和疾病诊断中。目前被广泛应用于临床和诊断的医学影像技术主要有核磁共振(mri)、计算机断层扫描(ct)等技术。虽然医学影像设备和图像采集设备非常先进,但是有时也会受到一些客观因素的影响,医学图像中不可避免的会产生噪声,这些噪声有可能会直接影响到医学图像的质量,从而影响医务人员的判断。因此,非常有必要对医学图像预处理中的去噪技术进行分析和研究。去噪是图像处理的基础和前提,也是图像预处理中不可缺少的步骤。目前用于自然图像预处理的去噪技术取得了明显的效果,但是对于医学图像预处理中的去噪技术的研究还存在一些问题。
3.许多早期的基于模型的方法先找到图像的先验信息然后再应用优化算法迭代求解模型，这样的方法十分耗时而且效果不佳。随着深度学习的兴起，cnn被广泛应用于去噪而且取得了不错的效果。如今已有多种方法能够在awgn图像的去噪上取得很好的效果，但是却难以胜任真实世界图像的去噪工作，因为在相机系统中，噪声的来源是多样的(比如暗电流噪声(dark current noise)、short noise、thermal noise等)，还要进一步经过isp过程(包括demosaicing、gamma correction、compression等)，这样一来，真实世界图像的噪声就要比高斯噪声复杂得多了。此外，真实世界噪声图像的噪声水平是未知的，如果直接使用非盲awgn的去噪方法就很容易消除细节或导致图像过于光滑，泛化能力较差。


技术实现要素：

4.本发明要克服现有技术弊端，提供一种基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
5.本发明的目的在于提高医学ct图像的去噪效果，在以往采用的基于噪声先验医学图像去噪方法中，往往是直接将单一噪声级图像或者多噪声级图像混合作为训练数据，使用常规的cnn网络提取噪声信息，使得到的去噪模型仅仅可以处理有限范围内的噪声图片，这会导致神经网络模型不能充分泛化到有更加宽泛噪声级的图像中，并且在模型训练时神经网络不能充分获取图片信息。为了提高网络的去噪能力，本发明在噪声提取网络中加入基于双重注意力即并联的空间注意力机制和通道注意力机制，实现提取噪声能力更强的噪声先验网络。将提取出来的数据与噪声图像串行连接作为去噪网络的输入，使用提取的信息和噪声图像来优化神经网络中的参数。
6.本发明的创新和优点在于：本发明在原有的噪声先验网络基础之上融合了新的双重注意力单元，在先验噪声提取方面达到了更好的效果。增强了对于真实世界噪声图像去噪的泛化能力。
7.为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案进行
详细的描述，基于双重注意力和多尺度特征的的cnn医学ct图像去噪方法，具体步骤如下：
8.步骤1)创建医学ct图像模型：
9.创建医学ct图像模型：
10.采用高斯噪声模型，其数学表达式为：
11.y＝x v
ꢀꢀꢀ
(1)
12.其中x是为不含噪声的干净图像，y为实际含噪声图像，v为噪声；v的噪声分布服从高斯分布，高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声，即为高斯随机变量z概率密度函数，其数学表达式为：
[0013][0014]
其中μ表示为数学期望，σ表示为标准差；
[0015]
步骤2)构建噪声先验信息提取网络：
[0016]
这个阶段关注从噪声图像中提取特征，使用了简单的五层全卷积子网络，不进行pooling和batch normalization，每一个conv层后进行relu激活。在每个卷积层，特征通道被设置为32(最后一层设置为1)，卷积核大小为3
×
3。
[0017]
在最后一层之前，插入一个dual attention module来有效抓取特征的全局依赖关系。dual attention module由并联的空间注意力模块和通道注意力模块组成。
[0018]
空间注意力模块旨在利用任意两点特征之间的关联，来相互增强各自特征的表达。具体来说，首先计算出任意两点特征之间关联强度矩阵，即原始特征a经过卷积降维获得特征b和特征c，然后改变特征维度b为((hxw)xc')和c为(c'x(hxw))然后矩阵乘积获得任意两点特征之间的关联强度矩((hxw)x(hxw))。然后经过softmax操作归一化获得每个位置对其他位置的attention图s,其中越相似的两点特征之间，其响应值越大。接着将attention图中响应值作为加权对特征d进行加权融合，这样对于各个位置的点，其通过attention图在全局空间中的融合相似特征。
[0019]
通道注意力模块旨在通过建模通道之间的关联，增强通道下特定语义响应能力。具体过程与位置注意力模块相似，不同的是在获得特征注意力图x时，是将任意两个通道特征进行维度变换和矩阵乘积，获得任意两个通道的关联强度，然后同样经过softmax操作获得的通道间的attention图。最后通过通道之间的attention图加权进行融合，使得各个通道之间能产生全局的关联，获得更强的语义响应的特征。
[0020]
步骤3)构建去噪网络：
[0021]
去噪网络主体为带有跳跃连接的unet结构，分为encoder—decoder左右两部分，中间使用带有4个不同扩张率的空洞卷积的context block模块连接：
[0022]
encoder部分：左半部分为下采样层，由4个结构相同的卷积层组成。每个卷积层由两个conv relu层构成，卷积核设置为3
×
3，步长为1，padding为1；第一层卷积通道数为128，第二层为256，第三层为512，第四层为1024；每次下采样中使用2
×
2大小的maxpool层连接，每经过一次下采样，通道数翻倍。
[0023]
context block模块:移除了bn层，仅使用了设置为1、2、3、4的dilation rates，为了进一步简化操作缩短时间，首先使用1
×
1conv来压缩特征通道。
[0024]
compression ratio设置为4，在融合(fusion)部分使用1
×
1卷积，类似地，在输入
和输出特征之间使用local skip connection来防止信息阻塞。
[0025]
decoder部分：右半部分为上采样层，与encoder部分对称，由4个结构相同的上采样层组成。每个上采样卷积层与左半部分相同，由两个conv relu层构成，卷积核设置为3
×
3，步长为1，padding为1；每层之间通过2
×
2大小up-conv层连接进行特征的上采样，每上采样一次通道数减半。
[0026]
在网络的encoder-decoder之间使用跳跃连接，每一个encoder层的输出的feature map与对应的decoder层的上采样结果相加，加强网络对图像细节纹理的还原保证网络训练的收敛。
[0027]
步骤4)数据集预处理：
[0028]
在数据集预处理阶段将数据集划分为训练集，验证集与测试集。对于训练集和验证集的图片进行裁剪使图片尺寸统一，并使用高斯加性白噪声替代医学ct图像中的噪声，对原始干净图像分别添加均值为0，标准差为5、10、15、20、25、30、35、40、45、50的高斯白噪声，得到去噪网络训练数据。
[0029]
步骤5)训练去噪网络并更新参数：
[0030]
噪声先验网络首先随机初始化权重，然后将输入的噪声图像数据x经过特征提取德到噪声估计数据noise_est，最后将原始输入x与noise_est进行拼接，作为去噪网络的输入。去噪网络随即初始化权重，根据噪声先验网络的输入训练网络得到输出。损失函数中将原始图片，加噪图片，噪声估计以及真实噪声等级作为输入，使用均值方差来计算总体损失，最后使用adam优化器来更新网络权重参数。
[0031]
进一步，步骤(2)中，为了进一步获得全局依赖关系的特征，将两个模块的输出结果进行相加融合，获得最终的特征用于像素点的分类。
[0032]
本发明的网络模型实现了盲去噪处理噪声图片，不需要专门针对某一个噪声级图片进行训练。
[0033]
本发明具有以下优点：
[0034]
1.提出了使用双重注意力机制融入噪声先验网络对医学ct图像去噪，增强了对于噪声的提取效果。
[0035]
2.在去噪网络中使用多尺度的上下文模块，增强了网络对于图像的细节纹理保留效果。
附图说明
[0036]
图1是含有高斯噪声的医学ct图像示意图；
[0037]
图2是本发明的整体网络结构示意图；
[0038]
图3是本发明的双重注意力dual attention模块示意图；
[0039]
图4是本发明的上下文context block模块示意图；
[0040]
图5是本发明的医学ct图像去噪示意图
具体实施方式：
[0041]
以下结合附图对本发明做具体的解释说明
[0042]
本发明的基于双重注意力和多尺度特征的cnn医学ct图像去噪算法具体步骤如
下：
[0043]
步骤1)创建医学ct图像模型：
[0044]
创建医学ct图像模型：
[0045]
采用高斯噪声模型，其数学表达式为：
[0046]
y＝x v
ꢀꢀꢀ
(1)
[0047]
其中x是为不含噪声的干净图像，y为实际含噪声图像，v为噪声；v的噪声分布服从高斯分布，高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声，即为高斯随机变量z概率密度函数，其数学表达式为：
[0048][0049]
其中μ表示为数学期望，σ表示为标准差；
[0050]
步骤2)构建噪声先验信息提取网络：
[0051]
这个阶段关注从噪声图像中提取特征，使用了简单的五层全卷积子网络，不进行pooling和batch normalization，每一个conv层后进行relu激活。在每个卷积层，特征通道被设置为32(最后一层设置为1)，卷积核大小为3
×
3。
[0052]
在最后一层之前，插入一个dual attention module来有效抓取特征的全局依赖关系。dual attention module由并联的空间注意力模块和通道注意力模块组成。
[0053]
空间注意力模块旨在利用任意两点特征之间的关联，来相互增强各自特征的表达。具体来说，首先计算出任意两点特征之间关联强度矩阵，即原始特征a经过卷积降维获得特征b和特征c，然后改变特征维度b为((hxw)xc')和c为(c'x(hxw))然后矩阵乘积获得任意两点特征之间的关联强度矩((hxw)x(hxw))。然后经过softmax操作归一化获得每个位置对其他位置的attention图s,其中越相似的两点特征之间，其响应值越大。接着将attention图中响应值作为加权对特征d进行加权融合，这样对于各个位置的点，其通过attention图在全局空间中的融合相似特征。
[0054]
通道注意力模块旨在通过建模通道之间的关联，增强通道下特定语义响应能力。具体过程与位置注意力模块相似，不同的是在获得特征注意力图x时，是将任意两个通道特征进行维度变换和矩阵乘积，获得任意两个通道的关联强度，然后同样经过softmax操作获得的通道间的attention图。最后通过通道之间的attention图加权进行融合，使得各个通道之间能产生全局的关联，获得更强的语义响应的特征。
[0055]
为了进一步获得全局依赖关系的特征，将两个模块的输出结果进行相加融合，获得最终的特征用于像素点的分类。
[0056]
步骤3)构建去噪网络：
[0057]
去噪网络主体为带有跳跃连接的unet结构，分为encoder—decoder左右两部分，中间使用带有4个不同扩张率的空洞卷积的context block模块连接：
[0058]
encoder部分：左半部分为下采样层，由4个结构相同的卷积层组成。每个卷积层由两个conv relu层构成，卷积核设置为3
×
3，步长为1，padding为1；第一层卷积通道数为128，第二层为256，第三层为512，第四层为1024；每次下采样中使用2
×
2大小的maxpool层连接，每经过一次下采样，通道数翻倍。
[0059]
context block模块:移除了bn层，仅使用了设置为1、2、3、4的dilation rates，为
了进一步简化操作缩短时间，首先使用1
×
1conv来压缩特征通道。
[0060]
compression ratio设置为4，在融合(fusion)部分使用1
×
1卷积，类似地，在输入和输出特征之间使用local skip connection来防止信息阻塞。
[0061]
decoder部分：右半部分为上采样层，与encoder部分对称，由4个结构相同的上采样层组成。每个上采样卷积层与左半部分相同，由两个conv relu层构成，卷积核设置为3
×
3，步长为1，padding为1；每层之间通过2
×
2大小up-conv层连接进行特征的上采样，每上采样一次通道数减半。
[0062]
在网络的encoder-decoder之间使用跳跃连接，每一个encoder层的输出的feature map与对应的decoder层的上采样结果相加，加强网络对图像细节纹理的还原保证网络训练的收敛。
[0063]
步骤4)数据集预处理：
[0064]
在数据集预处理阶段将数据集划分为训练集，验证集与测试集。对于训练集和验证集的图片进行裁剪使图片尺寸统一，并使用高斯加性白噪声替代医学ct图像中的噪声，对原始干净图像分别添加均值为0，标准差为5、10、15、20、25、30、35、40、45、50的高斯白噪声，得到去噪网络训练数据。
[0065]
步骤5)训练去噪网络并更新参数：
[0066]
噪声先验网络首先随机初始化权重，然后将输入的噪声图像数据x经过特征提取德到噪声估计数据noise_est，最后将原始输入x与noise_est进行拼接，作为去噪网络的输入。去噪网络随即初始化权重，根据噪声先验网络的输入训练网络得到输出。损失函数中将原始图片，加噪图片，噪声估计以及真实噪声等级作为输入，使用均值方差来计算总体损失，最后使用adam优化器来更新网络权重参数。
[0067]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。