一种基于图像增强和扩散模型的低剂量CT图像降噪方法与流程

一种基于图像增强和扩散模型的低剂量ct图像降噪方法
技术领域
1.本发明涉及医学图像重建技术领域，具体而言，特别涉及一种基于图像增强和扩散模型的低剂量ct图像降噪方法。


背景技术：

2.现代医疗诊断的方法近年来发展迅速，其中最重要的工具是计算机断层扫描ct，其通常用于帮助诊断复杂的骨折、肿瘤、心脏病、肺气肿等，但由于患者暴露于不同时间的放射性波，ct会增加人类从医疗器械中接收的辐射，甚至导致其成为继背景辐射之后影响人类的第二大辐射源。减少ct扫描中射线的剂量已成为一种趋势，但这会导致诸如噪声增加、边缘、角落和锐利特征的对比度降低以及图像过度平滑等负面效果。
3.为了解决这个固有的物理问题，已经涌现出很多深度卷积网络方法来提高低剂量ct图像的质量，但现有的卷积网络方法会面临诸如过度平滑、边缘丢失和纹理细节破坏等问题，而卷积神经网络本质上是隐含地将降噪与全局范围内的操作联系起来，而忽略了利用局部视觉信息。视觉transformer中的局部注意力机制对局部乃至全局的特征增强和扩散模型的高质量图像生成在许多计算机视觉任务中取得了巨大成功，包括图像恢复和重建领域，而在医学图像数据集上的利用目前还处于起步阶段；扩散概率模型应用在核磁共振影像的分割和检测中已经取得了初步的成效，但在ct图像的应用场景中仍有待开发。因此，采用先进技术提高降噪后的低剂量ct图像质量仍然是研究人员需要解决的关键问题。


技术实现要素：

4.为了弥补现有技术的不足，本发明提供了一种基于图像增强和扩散模型的低剂量ct图像降噪方法。
5.本发明是通过如下技术方案实现的：一种基于图像增强和扩散模型的低剂量ct图像降噪方法，具体包括以下步骤： s1：构建低剂量ct图像样本集，其中为低剂量ct图像，为普通剂量ct图像，对进行多步处理以达到的成像水平；s2：将通过滤波器，得到输出；s3：对进行ct图像特征增强，通过局部注意力模块，在图像空间域应用滑动窗口计算注意力，在特征空间域应用聚类计算注意力，最终得到输出；s4：通过残差卷积模块对图像进行降噪重建，输出图像；对经过纹理增强后的图像进行降噪可以在获得降噪效果的同时不丢失纹理细节；s5：将输入到公开的深度生成模型扩散去噪模型（ddpm）中，模型分为扩散过程和逆扩散过程两个阶段，在扩散阶段，通过不断对添加高斯噪声，将原始数据分布变为正态分布；在逆扩散阶段，使用参数化的u-net神经网络将从正态分布恢复到原始数据分
布。
6.作为优选方案，步骤s2具体包括以下步骤：s2-1：将两种类型包括垂直、水平方向的算子定义为一组，与进行卷积运算，获得一组特征图，以提取边缘信息；s2-2：将上一步输出的特征图与在通道维度上叠加，得到该模块的最终输出；(1)其中，表示利用算子进行卷积运算。
7.作为优选方案，步骤s3具体包括以下步骤：s3-1：利用公开的预训练模型vit中线性嵌入层的操作,对进行变换得到该模块的输入；(2)其中，为线性嵌入层操作，该操作将每个二维图像块展平为一维向量嵌入然后将其线性投影到所需的输入维度中；s3-2：通过局部注意力机制模块，：(3)其中，表示第一阶段局部注意力机制模块；s3-3：依次输入到，，中，共计4阶段，并在相邻局部注意力机制模块中间插入一次卷积层作为特征融合，共计3次，最终得到输出；(7)(8)(9)其中，表示开源的python机器学习库torch.nn中的conv2d函数，卷积核为3
×
3大小，步长为2。
8.进一步地，步骤s3-2具体包括以下步骤：s3-2-1：通过正则化层与公开的预训练模型swin transformer中图像空间局部注意力模块后在图像空间域进行特征增强得到；(4)其中是图像空间局部注意力模块，是正则化层，过程采用了开源的python机器学习库torch.nn中的layernorm函数，后续提及的正则化层均为当前正则化层的相同操作；s3-2-2：先后通过正则化层和公开的预训练模型boat中图像特征空间局部注
意力模块中，得到；(5)其中，表示图像特征空间局部注意力模块；s3-2-3：通过正则化层和全连接层后得到第一阶段局部注意力模块的输出，此过程包含残差快速链接；(6)其中，表示全连接层。
9.作为优选方案，步骤s4具体包括以下步骤：s4-1：对变形为特征图，输送到包含两个卷积层和一个激活层的resnet模块中得到输出；(10)s4-2：类似地，通过另一个相同的模块后得到输出； (11)其中，表示torch.nn中的conv2d函数，卷积核为3
×
3大小，步长为1,表示torch.nn中的relu函数，变形操作采用了开源的数值计算扩展库numpy中的reshape函数。
10.作为优选方案，步骤s5具体包括以下步骤：s5-1：执行扩散过程，在扩散过程方差设置为从到线性增加的常数，设置为1000，直到图像信号被完全破坏，通过马尔可夫过程的特性可以推导出任意时间步的解析式：(12)其中，，，为某一时刻t的加噪声图像，是和等维度的隐变量；s5-2：执行逆扩散过程，该过程使用参数化的神经网络来建模, 公式表达如下：(13)其中，表示为到过程的噪声分布预测，遵从 的分布，表示u-net神经网络中的可训练参数。
11.本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：一是将ct图像边缘增强和特征增强联合增强以提升降噪效果，同时边缘增强又可辅助特征增强，在降噪前对低剂量ct图像进行增强旨在对降噪后的ct图像依然能够比肩和普通剂量ct图像中真实的纹理和易丢失的细节；边缘检测器sobel滤波可以提取图像的纹理边缘，同时
与原图像加和能够实现边缘细节增强；利用公开的swintransformer和boat中的局部注意力机制实现在空间域和特征域进行增强，不同于卷积神经网络框架，局部注意力机制能够完成对图像全局信息的捕获，从而提取细微的图像语义信息；其次，在降噪阶段引入公开的扩散概率模型（ddpm），作为当今前沿的深度生成模型，可以生成质量更高的降噪ct图像。另外，本发明整体上采用了端到端的训练方式，减少了工程学习的复杂度。
12.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
13.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为基于局部注意力机制和扩散概率模型的低剂量ct图像降噪流程图；图2为图1的详细流程图；图3为改进后的sobel滤波器示例；图4为局部注意力机制流程图。
具体实施方式
14.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
15.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
16.本发明面向低剂量ct图像，为解决目前低剂量ct图像质量较差，噪点明显的问题，采用基于视觉transformer和扩散概率模型的低剂量ct图像联合降噪技术来实现降低ct图像噪点以达到提升图像质量的目标。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。下面结合图1至图4对本发明的实施例的基于图像增强和扩散模型的低剂量ct图像降噪方法进行具体说明。
17.如图1至图4所示，本发明提出了一种基于图像增强和扩散模型的低剂量ct图像降噪方法，s1：构建低剂量ct图像样本集，其中为低剂量ct图像，为普通剂量ct图像，对进行多步处理以达到的成像水平；将以7/2/1的比例随机分离分别用于训练，验证和测试，样本集采用了2016年nih aapm-mayo clinic low-dose ct grand challenge数据集；作为当前低剂量ct图像降噪领域的主流方法所采用的数据集，它包含从患者收集的百余组普通剂量ct图像集和合成的低剂量ct图像集，每张图像大小为像素；其中，是通过将泊松噪声插入投影数据中生成的合成ct图像，在插入泊松噪声以达到普通剂量成像水平1/4的效果，每张ct图像都以dicom（医学数字成像和通信）文件
格式给出；将作为模型的输入，目标为达到成像水平；s2：将通过滤波器，得到输出，过程中采用了开源的计算机视觉库opencv中的函数，以提取出不同强度的边缘信息来增强纹理表现，s3过程的ct图像特征增强操作可以从中受益；s2-1：将两种类型包括垂直、水平方向的算子定义为一组，与进行卷积运算，获得一组特征图，以提取边缘信息；s2-2：将上一步输出的特征图与在通道维度上叠加，得到该模块的最终输出；滤波器的目标是丰富模型的输入信息，加强边缘信息对模型的作用以获得较强的纹理细节表现，从而在接下来的ct图像特征增强操作中起到辅助作用；(1)其中，表示利用算子进行卷积运算；s3：对进行ct图像特征增强，通过局部注意力模块，在图像空间域应用滑动窗口计算注意力，在特征空间域应用聚类计算注意力，最终得到输出；s3-1：利用公开的预训练模型vit中线性嵌入层的操作,对进行变换得到该模块的输入；对中的一张图像进行等切分成1024个图像块，切分后的每张图像块大小为1616像素，随后进行线性映射和位置编码组成的嵌入层（embedding）得到变换后的图像块，，其中，是通道数；(2)其中，为线性嵌入层操作，该操作将每个二维图像块展平为一维向量嵌入然后将其线性投影到所需的输入维度中；s3-2：通过局部注意力机制模块，,以为例：(3)其中，表示第一阶段局部注意力机制模块；s3-2-1：通过正则化层与公开的预训练模型swin transformer中图像空间局部注意力模块后在图像空间域进行特征增强得到，此过程包含残差快速链接；swin transformer中的图像空间局部注意力机制是包含滑窗操作，具有层级设计的transformer，其中滑窗操作包括不重叠的local window和重叠的cross-window，将注意力计算限制在一个窗口中，可以加强相邻图像块之间的联系，层级设计通过合并图像块可以将全局的信息捕获，增强特征的表现；(4)其中是图像空间局部注意力模块，是正则化层，过程采用了开源的
python机器学习库torch.nn中的layernorm函数，后续提及的正则化层均为当前正则化层的相同操作；s3-2-2：先后通过正则化层和公开的预训练模型boat中图像特征空间局部注意力模块中，得到，此过程包含残差快速链接；boat的特征空间局部自注意力机制认为在图像空间距离较远但在特征空间距离较近的图像块会对彼此有很大的影响，在特征空间对图像块进行聚类，将ct图像中不相邻但相似的图像块集群在图像特征域计算注意力，以此来作为s3-2-1的补充，进一步实现特征增强；(5)其中，表示图像特征空间局部注意力模块；s3-2-3：通过正则化层和全连接层后得到第一阶段局部注意力模块的输出，此过程包含残差快速链接；(6)其中，表示全连接层；s3-3：依次输入到，，中，共计4阶段，并在相邻局部注意力机制模块中间插入一次卷积层作为特征融合，共计3次，最终得到输出；(7)(8)(9)其中，表示开源的python机器学习库torch.nn中的conv2d函数，卷积核为3
×
3大小，步长为2；s4：通过残差卷积模块对图像进行降噪重建，输出图像；对经过纹理增强后的图像进行降噪可以在获得降噪效果的同时不丢失纹理细节；s4-1：对变形为特征图，输送到包含两个卷积层和一个激活层的resnet模块中得到输出；(10)s4-2：类似地，通过另一个相同的模块后得到输出； (11)
其中，表示torch.nn中的conv2d函数，卷积核为3
×
3大小，步长为1,表示torch.nn中的relu函数，变形操作采用了开源的数值计算扩展库numpy中的reshape函数；s5：将输入到公开的深度生成模型扩散去噪模型（ddpm）中，模型分为扩散过程和逆扩散过程两个阶段，在扩散阶段，通过不断对添加高斯噪声，将原始数据分布变为正态分布；在逆扩散阶段，使用参数化的u-net神经网络将从正态分布恢复到原始数据分布；s5-1：执行扩散过程，扩散过程是一个马尔可夫链，它逐渐向与采样相反方向的ctrl图像添加均值为0，方差为的高斯噪声，在扩散过程方差设置为从到线性增加的常数，设置为1000，直到图像信号被完全破坏，通过马尔可夫过程的特性可以推导出任意时间步的解析式：(12)其中，，，为某一时刻t的加噪声图像，是和等维度的隐变量；s5-2：执行逆扩散过程，逆扩散过程也称去噪过程，学习这条链的转换来逆转一个扩散过程，该过程使用参数化的神经网络来建模,假定逆扩散过程仍然是一个马尔可夫链的过程，公式表达如下(13)其中，表示为到过程的噪声分布预测，遵从 的分布，表示u-net神经网络中的可训练参数。
18.在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
19.在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
20.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、
等同替换、改进等，均应包含在本发明的保护范围之内。