一种基于同形适应学习的头部CT金属伪影校正方法与流程

一种基于同形适应学习的头部ct金属伪影校正方法
技术领域
1.本发明涉及医学类图像处理的技术领域，具体来说是一种基于深度学习卷积神经网络的头部ct金属伪影校正方法。


背景技术：

2.在牙科治疗中，越来越多的患者选择金属植入手术来改善口腔问题。这些患者的计算机断层扫描(ct)图像受到高密度金属的影响而产生伪影，严重情况下甚至会造成误诊，对后续的治疗构成极大的威胁。
3.计算机成像技术(computed tomography，ct)是一种先进的医学成像技术，它利用x射线束扫描人体的特定区域重建病灶，为诊断提供重要信息。在牙科治疗中，经常会有在牙齿中种植金属体的情况，然而由于这些金属体本身是一种高密度物质，它的存在会导致x射线在扫描成像时发生强烈的衰减，在ct图像中表现为亮暗条纹或放射状区域的伪影。这些金属伪影会影响临床疾病治疗的效果，给病理诊断带来极大的困难。
4.通常金属伪影的发生主要是两个原因。一是x射线束硬化。当x射线束在透射人体时，能量较低的光子很容易被吸收，能量较高的光子则更容易穿透人体。因而在射线传播期间，平均能量上升，射线逐渐硬化。其二是非线性部分容积效应。当ct扫描区域包含多种不同密度的材料时，ct值不能完全表示任何一种材料，导致在人体组织和金属植入物之间的交界处容易产生模糊区域，并产生条纹伪影。因此，金属伪影校正技术仍是临床头部ct的重要问题之一。
5.由于人体结构(本发明中为牙齿、下颚部分)彼此都有细微的差异，我们不能使用一套完美的通用标准去衡量。所以，在医学图像处理中，获得成对对应的清晰与模糊数据一直都是一个难点，如何解决医学图像处理中数据失准的问题也变得十分重要。


技术实现要素：

6.有鉴于此，本发明提供了一种基于同形适应学习的头部ct金属伪影校正方法。不仅可以有效的去除头部ct中下颌骨区域的金属伪影，还能够很好的保留原始疾病信息。
7.为了实现上述目的，本发明采用如下技术方案：
8.ct数据集预处理部分，分别使用真实的临床数据和由物理模型生成的模拟数据进行学习训练。临床数据部分充分利用连续ct切片间的先验信息和ct结构的相似性，对患者的ct图像进行匹配；使用模拟数据进行模型验证。获取的数据集不仅质量较高，并且数据的数量也得以扩充。
9.模型搭建，通过使用17层卷积神经网络构建深度学习的生成框架，结合使用vgg19模型提取ct图像的特征，将平面图像转换为特征点集；叠加抗噪损失函数对数据失准进行校正。
10.特征提取部分，使用多个连续的小卷积核替代alexnet中较大的卷积核，保证在相同条件下，网络的深度更深。特征提取网络接收三类图像的输入并相应输出三类特征图。
11.抗噪损失函数部分，将图像视为一组高维特征点的集合，根据相应的点集来衡量图像之间的相似性。该抗噪损失函数基于内容和语义，可以忽略图像的空间位置，通过测量特征之间的相似度并在迭代过程中逐步缩小来计算损失值。抗噪损失由风格损失和内容损失两部分构成，针对不同的任务目标调整二者的比重以获得不同的结果，提高了损失函数的可塑性。
12.结果评价，与其他金属伪影校正模型对比，对测试结果进行数值计算评价和分析，评价内容包括峰值信噪比(psnr)、结构相似性度量(ssim)、dice系数比较，伪影是否去除以及原始疾病信息是否保留。
13.经由上述技术方案可知，本发明公开了一种基于深度学习的头部ct金属伪影校正技术，通过使用17层卷积神经网络，构建深度学习的生成框架；结合使用vgg19模型对ct图像进行特征提取；利用ct连续切片的先验信息和ct结构的相似性，对数据集进行扩充；为了解决医学类数据失准的问题，将改进的抗噪损失用于网络，通过平衡风格损失和内容损失的比重，在逐步迭代的过程中，达到去除金属伪影且保留原始疾病信息的目的；结果评价，在临床数据集和模拟数据集上进行训练和测试，综合评价方法，对模型进行评估。本发明实现了对头部ct伪影的校正，在保留图像细节信息的同时，没有新伪影产生，也没有造成模糊，提高了临床诊断的准确性，具有良好的实用价值。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
15.图1附图为本发明提供的结构示意图。
16.图2附图为卷积神经生成网络原理图。
17.图3附图为特征提取网络原理图。
18.图4附图为所选数据集中原始图像与参考图像之间的细节差异举例。
19.图5附图为损失函数比重为10:1和2:1时伪影校正前后的比较。
20.图6附图(a)对2:1的结果进行阈值分割，(b)对模拟结果进行阈值分割。
21.图7附图为不同窗口范围下的结果比较。
22.图8附图为使用模拟数据训练和测试的结果。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.本发明实施例公开了一种基于同形适应学习的头部ct金属伪影校正方法，包括：
25.ct数据集预处理部分，分别使用真实的临床数据和由物理模型生成的模拟数据进行学习训练。临床数据部分充分利用连续ct切片间的先验信息和ct结构的相似性，对患者
的ct图像进行匹配；使用模拟数据进行模型验证。获取的数据集不仅质量较高，并且数据的数量也得以扩充。所选原始图像与参考图像之间存在细微的差异，如图4所示。
26.模型搭建，通过使用17层卷积神经网络构建深度学习的生成框架，结合使用vgg19模型提取ct图像的特征，将平面图像转换为特征点集；叠加抗噪损失函数对数据失准进行校正。
27.特征提取部分，使用多个连续的小卷积核替代alexnet中较大的卷积核，保证在相同条件下，网络的深度更深。特征提取网络接收三类图像的输入并相应输出三类特征图。
28.抗噪损失函数部分，将图像视为一组高维特征点的集合，根据相应的点集来衡量图像之间的相似性。该抗噪损失函数基于内容和语义，可以忽略图像的空间位置，通过测量特征之间的相似度并在迭代过程中逐步缩小来计算损失值。抗噪损失由风格损失和内容损失两部分构成，针对不同的任务目标调整二者的比重以获得不同的结果，提高了损失函数的可塑性。
29.本发明基于深度学习对医学类ct图像进行去伪影处理，通过特征提取网络获得特征集后判断原始图像与参考图像的相似度，计算抗噪损失值，在迭代中逐步优化。
30.所述优化的抗噪损失函数如下：该函数将图像视为一组高维特征点的集合，并根据相应的点集来衡量图像之间的相似性。如果一幅图像的大多数特征在另一幅图像中具有相似的特征，我们认为这两幅图像是相似的。由于该抗噪损失函数是基于内容和语义的，因此可以忽略图像的空间位置，通过测量图像之间的相似度并逐步缩小来计算损失值。同时，我们的网络不会盲目地模仿和学习参考图像来产生与之相同的效果。相反，网络在保持自身轮廓信息的同时逐渐接近参考图像，以解决数据失准的问题。
31.假设原始图像s和参考图像t，生成网络模型定义为g(
·
)，g(s)是由s经过g(
·
)生成的重构图像。经过特征提取后，可以获得图像的特征集：s＝{s
i
},t＝{t
j
}，g(s)＝{g
k
}。网络g(
·
)的损失函数定义如下：
32.l(g)＝l
cx
(g(s),t,l
t
) l
cx
(g(s),s,l
s
)
ꢀꢀꢀꢀꢀꢀꢀ
(1)
33.上式中第一项表示生成图像g(s)与参考图像t之间的损失值，表示t的风格信息是否可以用于g(s)，即网络是否能够学习参考图像的外观特征并消除伪影。第二项表示生成图像g(s)与原始图像s之间的损失值，表示g(s)是否包含s的内容信息，即是否能够学习原始图像的内容特征和细节。此外，l指网络中的层，其中l
s
＝{conv4_2,conv5_2}，l
t
＝{conv2_2,conv3_2,conv4_2}，l
cx
(
·
)是通过余弦距离计算得出的。
34.我们用x和y来说明l
cx
(x,y,l)的计算方法，x和y表示两幅ct图像，x＝{x
i
},y＝{y
j
}代表特征的集合。l层的损失函数表示如下，假设|x|＝|y|＝n(当时|x|≠|y|，取最大值)：
35.l
cx
(x,y,l)＝-log(cx(φ
l
(x),φ
l
(y)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
36.如果x中的大多数点x
i
与y中大多数点y
j
能对应匹配，那么我们认为它们是相似的，否则，它们不相似。φ(
·
)是vgg19特征提取网络的映射函数，φ
l
(
·
)是l层的特征图。cx(x,y)计算如下：
37.(a)d
ij
是x
i
和y
j
之间的余弦距离，当满足d
ij
d
ik
,时，我们认为它们相似。是对d
ij
的归一化，ε＝10-5
：
[0038][0039]
(b)通过求幂运算将距离转换为相似性(h＞0)：
[0040][0041]
(c)对相似度进行求和平均，得到cx
ij
和cx(x,y)，cx(x,y)是两幅ct图像之间的相似度，cx(x,y)∈[0,1]。
[0042][0043][0044]
目前抗噪损失函数已经应用于图像语义风格转换、非成对图像区域转换和超分辨率重建，取得了显著的效果。因此，本发明尝试将该抗噪损失函数应用到mar中以改进算法。
[0045]
所述的特征提取部分如下：本发明选取vgg19模型作为特征提取网络。完整的vgg19模型包括19个隐藏层(16个卷积层和3个全连接层)。与alexnet相比，vgg19的一个改进是用多个连续的3
×
3卷积核代替alexnet中较大的卷积核，从而保证在相同条件下，加深了网络的深度，提高了神经网络的效果。
[0046]
选取16个卷积层(5个大卷积层)用作特征提取层。vgg模型接收三类输入(原始图像、参考图像和cnn递归生成的图像)，并对应地输出三类特征图。vgg19网络结构非常一致，每层都是3
×
3卷积和2
×
2池化层叠加。
[0047]
本发明中使用的网络结构图如图1所示。将原始图像输入到卷积神经生成网络，并将反馈的结果、原始图像和参考图像一同传入特征提取网络，分别提取这三幅图像的特征。然后利用改进的抗噪损失函数对网络模型参数进行优化，并对训练网络中的每一步参数进行更新，生成新的结果，重建图像。
[0048]
本发明中的数据预处理部分描述如下：使用临床实际数据作为训练集。当病人接受ct头部扫描时，一次生成一个大约包含100-200个切片的文件。我们收集了216例患者的头颅ct数据。网络模型训练使用一对有无伪影的图像作为输入。然而，在医学成像中，当扫描区域含有金属时，很难获得真值图像，因此考虑以下解决方案。
[0049]
(a)观察数据表明，由于金属植入物的存在，ct图像被条纹阴影污染，而在ct切片数据中，条纹状伪影并不是一直存在的。在连续切片中，伪影从某一张开始出现并污染后续切片。因此，考虑利用先验信息将污染前的清晰切片作为真实值。但是，这就存在数据不一致的问题，即所选参考图像和原始图像之间在细节上存在显著差异。因为我们选择的参考图像是来自同一患者同一区域的不同切片，所以可以认为它们具有相同的结构特征。本发明通过学习数据间的特征，可以解决数据失准的问题。
[0050]
(b)由于数据集中有清晰的无金属伪影数据，因此尝试将形状相似的图像配对，组成对应的清晰和模糊的数据，即使它们来自不同的患者，从而获得了高质量的数据切达到了扩展数据集的目的。
[0051]
利用上述方法，研究得到了由400对清晰和模糊的ct图像(训练集)和36幅有伪影
的图像(测试集)组成的最终数据集。每个图像的大小都是512
×
512pixels。
[0052]
本发明使用adam优化器进行训练优化，学习率设为10-3
～10-5
；迭代400次；patch大小为10，步长为2，最大池化值为60。该网络是在tensorflow环境中实现的，使用gtx1080ti图形处理器和i7-6850k cpu(3.60hz)。
[0053]
所述的本发明中的参数选择描述如下：为了选择合适的参数，研究了很多因素，如最大池化值大小、迭代次数、卷积网络层数、网络维度、数据像素大小和损失函数权重等因素。
[0054]
池化可以减少由卷积层参数误差引起的估计平均偏差，从而保留更多的图像细节。探究了40、60和80pixels的池化值大小，实验发现在相同的条件下，60时性能更佳。用512维的两层cnn网络开始实验，获得了不错的结果。然后，卷积层数增加到5层，训练发现效果明显改善，但训练时间增加了一倍。增加层数以改善实验结果显然是以计算和训练时间为代价的。
[0055]
对于网络中损失函数的权重选择，尝试了不同比重的风格损失和内容损失对实验的影响。实验发现，增加内容的权重将保留几乎所有的原始信息，包括大量的金属伪影。当二者的比重相同时，在相同的训练时间下效果很差。而增加风格权重不仅可以有效地去除金属伪影，而且可以保留原始信息。
[0056]
如前所述，当网络结构为17层64维时，得到的实验结果与2层128维的结果几乎相同。然而，当层数增加到5层，维数变为128时，性能得到显著提高，牙齿结构更清晰，图像保留的细节更多，但所需的训练时间翻倍。
[0057]
为了达到快速去除金属伪影的目的，实验中采用了10style_loss content_loss(10:1)的损失比重。这个比重可能会导致原始疾病信息的丢失，实验结果与参考图像更为相似。因此，为了平衡权重差异，我们选取了2style_loss content_loss(2:1)进行实验和分析。结果展示见图5。对10:1的结果在不同窗口下的比较见图7。
[0058]
图7展示了伪影抑制前后的软组织窗口图像以及在不同窗口下的比较结果。处理后的ct图像仍能显示清晰的软组织信息，校正后的图像基本上去除了金属伪影，保留了原始图像的信息。
[0059]
随着风格损失比重的降低，伪影去除速度较慢，需要增加大量的训练时间来换取相似的去除效果，但此时的结果保留了原始图像的大部分疾病信息，psnr和ssim表现较好。对结果进行阈值分割并使用dice系数分析，发现性能大大提高。以训练时间换取实验性能。
[0060]
表1：所选三个例子的psnr和ssim的数值分析
[0061][0062]
表2：2:1实验的dice系数分析
[0063][0064]
本发明在模拟数据集上也做了尝试，描述如下：使用sakamoto的模型来合成训练和测试的模拟数据，尝试在参考图像上生成伪影，然后使用原本的参考图像作为参考。这样生成的数据是对应的，没有失准问题，证明了该发明能够很好地去除伪影。实验结果如图8，每一列表示一个例子。第一行是模拟的有伪影图像，第二行是result的实验结果，第三行是参考图像。实验结果表明，该方法具有良好的抗伪影能力和可塑性。模拟数据的结果数值分析和按阈值分割，计算dice系数，见表3和4。
[0065]
表3：模拟数据的psnr和ssim比较
[0066][0067]
表4：模拟数据的dice系数比较
[0068][0069]
表2中实验结果与原始图像之间的dice系数值较大，表4中结果与参考图像之间的dice系数值较大。这是因为表4使用的是模拟数据，原始图像与参考图像一一对应，没有失准问题，证明了该方法能够很好地去除伪影。表2中的参考图像与原始图像略有不同，但是dice系数的比值证明了该方法可以保留原始图像的大部分疾病信息。
[0070]
基于改进的抗噪损失函数的hacnn框架性能良好，它可以消除ct图像中的金属伪影，而且不会导致图像模糊。psnr和ssim值也表明本发明具有不错的实验效果。处理后的图像质量与原始图像的质量相当，因此，该方法在临床病理学和诊断中具有很高的实用价值。
[0071]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0072]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。