一种基于流模型的PET系统衰减校正方法

一种基于流模型的pet系统衰减校正方法
技术领域
1.本发明属于生物医学图像分析技术领域，具体涉及一种基于流模型的pet系统衰减校正方法。


背景技术：

2.衰减校正是定量正电子发射断层扫描(pet)分析的重要步骤，它可以提高图像的对比度，为医生诊断提供有价值的信息。在临床实践中，需要额外的计算机断层扫描(ct)或磁共振(mr)扫描来对pet图像进行衰减校正，这增加了患者检查的成本和时间。此外，ct成像具有放射性，对人体有害，对儿童患者的伤害更大，虽然mr成像没有放射性，但它不包含衰减信息；所以主要使用mr图像的解剖结构，但是这往往会导致衰减校正结果不准确，尤其是肺部。
3.最近，一些基于深度学习的方法被用于在没有ct的情况下，解决衰减校正问题。一些研究者先从mr图像或非衰减校正(nac)的pet图像中获得合成ct图像(sct)，然后使用sct进行衰减校正，然而这种方法获得的sct图像与真实的ct图像存在一些差异，当有误差的sct图像用于衰减校正时，误差会进一步传递到衰减校正的pet图像上。
4.其他研究人员直接从nac图像中获取衰减校正图像，取得了不错的结果，如yang等人的文献[sinogram-based attenuation correction in pet/ct]以及shiri等人的文献[direct attenuation correction of brain pet images using only emission data via a deep convolutional encoder-decoder(deep-dac)]只是让神经网络从数据中学习nac图像到ac图像的转换，并没有考虑一致性约束，即从ac图像反向获取nac图像。添加一致性约束可以使神经网络收敛到更可靠的解决方案，减少深度学习常见的过拟合问题；dong等人在文献[deep learning-based attenuation correction in the absence of structural information for whole-body positron emission tomography imaging]中使用cyclegan添加了一致性约束，但是正向和反向生成器具有独立的参数，并不是精确地互为逆函数；此外其采用了分块操作，这种操作会减慢运行速度，而且在拼接图像块的时候会出现棋盘格子。
[0005]
流模型是一种完全可逆的模型，它的正向和反向映射共享相同的参数，结构本身就是一致性约束。一旦前向映射被训练好，逆向映射就随之确定，具有解决pet衰减校正问题的优势。


技术实现要素：

[0006]
鉴于上述，本发明提供了一种基于流模型的pet系统衰减校正方法，能够避免额外的ct或mr扫描，为病人节省了扫描成本，并且减少了ct辐射对病人的伤害，能够获得质量更高的衰减校正后的pet图像。
[0007]
一种基于流模型的pet系统衰减校正方法，包括如下步骤：
[0008]
(1)采集扫描对象的ct数据，然后给扫描对象注射示踪剂，利用pet系统扫描采集
pet的sinogram数据；
[0009]
(2)将ct图像转化为511kev能量下的衰减图像；
[0010]
(3)基于sinogram数据重建未衰减校正的pet图像，进而利用该pet图像计算未衰减校正的suv图像；
[0011]
(4)基于sinogram数据以及ct的衰减图像，重建获得衰减校正后的pet图像，并利用该pet图像计算出衰减校正后的suv图像；
[0012]
(5)建立用于衰减校正的流模型，以未衰减校正的suv图像作为输入，衰减校正后的suv图像作为真值标签，对流模型进行训练；
[0013]
(6)利用训练完成的流模型便可对sinogram数据重建得到未衰减校正的pet图像进行衰减校正。
[0014]
进一步地，所述步骤(1)中pet系统的扫描方式既可以是静态扫描，也可以是动态扫描。
[0015]
进一步地，所述步骤(2)中将ct图像转化为衰减图像可采用基于拉伸的方法、基于分割的方法或基于拉伸-分割混合的方法。
[0016]
进一步地，所述步骤(3)中利用sinogram数据重建未衰减校正的pet图像可采用类似滤波反投影的解析重建方法，也可采用迭代重建方法。
[0017]
进一步地，所述步骤(3)中通过以下公式计算未衰减校正的suv图像；
[0018][0019]
其中：suvi为未衰减校正suv图像中第i个体素的suv值，c
pet,i
为未衰减校正pet图像中第i个体素的放射性浓度值，weight为扫描对象的体重，dose为注射剂量。
[0020]
进一步地，所述步骤(4)基于sinogram数据以及ct的衰减图像重建衰减校正后的pet图像过程中，ct的衰减图像需与pet图像进行配准。
[0021]
进一步地，所述流模型由多个可逆模块级联组成，所述可逆模块由一个可逆的1
×
1卷积层和一个提升的仿射耦合层连接组成。
[0022]
进一步地，所述1
×
1卷积层用于实现置换操作即打乱输入图像的通道顺序，其采用矩阵w乘以输入图像后输出提供给仿射耦合层，所述矩阵w的表达式如下：
[0023]
w＝pl(u diag(v))
[0024]
其中：p为置换矩阵，l为对角线元素均为1的下三角矩阵，u为对角线元素均为0的上三角矩阵，v为一组数值可学习的向量。
[0025]
进一步地，所述仿射耦合层将输入图像按通道对半拆分成两部分m1和m2，进而通过以下公式进行计算得到n1和n2，最后将n1和n2按通道拼接后输出；
[0026]
n1＝m1 r(m2)
[0027]
n2＝m2
⊙
exp(s(m1)) t(m1)
[0028]
其中：
⊙
表示哈达玛乘积，r()、s()和t()为具有独立参数的函数，可采用神经网络实现。
[0029]
进一步地，所述步骤(5)中对流模型进行训练的具体过程如下：
[0030]
5.1初始化模型参数，包括随机初始化1
×
1卷积层中的矩阵w，使用xavier正态分布对仿射耦合层中的参数进行初始化；
[0031]
5.2将相邻3个切片的未衰减校正suv图像输入模型，正向传播获得3帧衰减校正后的suv图像，选择中间帧即对应中间切片衰减校正后的suv图像作为最终输出；
[0032]
5.3计算模型输出的suv图像与衰减校正后的suv图像之间的损失函数；
[0033]
5.4根据损失函数利用梯度下降法对模型参数不断迭代更新，直至损失函数收敛，训练完成。
[0034]
进一步地，所述损失函数的表达式如下：
[0035][0036]
其中：loss为损失函数，为模型输出对应中间切片衰减校正后的suv图像，y1为中间切片对应的真值标签，y0和y2分别为前一切片和后一切片对应的真值标签，λ为正则化系数，‖‖1和‖‖2分别表示1范数和2范数。
[0037]
进一步地，所述步骤5.2即采用多帧输入，单帧输出的训练模式。
[0038]
本发明提出了一种可逆的流模型，由nac pet suv图像直接获得ac pet suv图像，该模型利用了相邻切片的空间相关性，采用多切片的输入形式；模型由8个可逆模块组成，每个可逆模块由一个增强的仿射耦合层和一个可逆的1
×
1卷积层组成。本发明利用了流模型的结构可逆性，给提出的衰减校正框架加入一致性约束，可在一定程度上缓解深度学习的过拟合问题，提高结果的准确度。此外，本发明不需要扫描额外的ct或者mr图像用于pet图像的衰减校正，不仅可以减少病人的扫描成本和时间，减少ct对病人的放射性伤害，还可以增加医院的病人吞吐量，提高诊断效率。
附图说明
[0039]
图1为本发明方法的实施流程示意图。
[0040]
图2为本发明流模型的总体结构示意图。
[0041]
图3为本发明仿射耦合层的结构示意图。
[0042]
图4为small u-net的详细结构示意图。
[0043]
图5为针对
13
n-ammonia的nac pet suv图像在不同方法下得到6个时间帧的ac pet suv图像；其中第1～5行依次为nac pet suv图像、ac pet suv图像的标签、ac-flow获得的ac pet suv图像、deep-dae获得的ac pet suv图像、dcnn获得的ac pet suv图像；第1～6列依次为第1帧、第4帧、第7帧、第10帧、第13帧、第16帧。
具体实施方式
[0044]
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
[0045]
如图1所示，本发明基于流模型的pet系统的衰减校正方法，整体分为两个阶段：
[0046]
训练阶段
[0047]
(1)采集扫描对象的ct数据。
[0048]
(2)给扫描对象注射示踪剂，采集pet的原始数据，即pet的sinogram；pet系统的扫
描方式既可以是静态扫描，又可以是动态扫描；根据光子的泊松分布，建立成像模型：
[0049][0050]
其中：表示衰减因子的sinogram的期望，而是估计的衰减系数，即衰减图像；η
ij
是第j个体素发射的一对光子被sinogram的第i个bin探测到的概率；l
ij
表示投影线i和第j个体素的相交长度；代表估计的放射性浓度分布；s表示探测效率；σ表示散射的sinogram；ρ表示平滑的随机sinogram；j表示体素点的总数。
[0051]
(3)将ct图像转化为511kev能量下的衰减图像；方法可以有很多种，包括但不限于基于拉伸的方法、基于分割的方法以及拉伸-分割混合的方法。
[0052]
(4)不使用衰减图像，直接重建未衰减校正的pet图像(nac pet)；重建方法既可以是类似于滤波反投影的解析重建方法，也可以是迭代重建方法。根据扫描对象的体重和注射剂量，计算标准摄取值(suv)，获得nac pet suv图像，suv的计算公式如下：
[0053][0054]
其中：c
pet
表示pet图像的放射性浓度，weight表示病人的体重，dose表示注射剂量。
[0055]
(5)将衰减图和pet图像进行配准，使用基于ct的衰减图像，重建衰减校正后的pet图像(ac pet)；重建方法既可以是类似于滤波反投影的解析重建方法，也可以是迭代重建方法。根据扫描对象的体重和注射剂量，计算suv的数值，获得ac pet suv图像。
[0056]
(6)确定用于衰减校正的流模型的详细结构，采用多帧输入，单帧输出的模式，如图2所示。模型的输入为相邻的三个切片的nac pet suv图像，输出中间帧的ac pet suv图像，该模型被称之为ac-flow，由若干个可逆模块组成，而每个可逆模块由一个提升的仿射耦合层和可逆的1
×
1卷积层组成。
[0057]
仿射耦合层的结构如图3所示，对仿射耦合层来说，给定输入图像仿射耦合层的结构如图3所示，对仿射耦合层来说，给定输入图像其中c、h、w分别表示通道的总个数、图像的高和图像宽，则输出图像可以由以下两个公式获得：
[0058]n1:c
＝m
1:c
r(m
c 1:c
)
[0059]nc 1:c
＝m
c 1:c
⊙
exp(s(m
1:c
)) t(m
1:c
)
[0060]
其中：c《c，
⊙
表示哈达玛乘积，r(
·
),s(
·
),t(
·
)表示具有独立参数的任意函数，它们可以使用神经网络来表示，本实施方式使用3个small u-net来独立学习函数r(
·
)、s(
·
)、t(
·
)，图4展示了small u-net的详细结构。仿射耦合层的逆变换可以表示为以下公式：
[0061]mc 1:c
＝(n
c 1:c-t(n
1:c
))
⊙
exp(-s(n
1:c
))
[0062]m1:c
＝n
1:c-r(m
c 1:c
)
[0063]
由该公式，可以从仿射耦合层的输出无损地反推出输入。
[0064]
可逆1
×
1卷积层用于实现置换操作，即打乱输入图像的通道顺序；给定输入
和权重矩阵则输出可以表示为：
[0065]ni,j
＝wm
i,j
[0066]
对应的逆变换为：
[0067]mi,j
＝w-1ni,j
[0068]
为了减少计算量，使用lu矩阵分解，对w进行参数化：
[0069]
w＝pl(u diag(v))
[0070]
其中：p是一个置换矩阵，l是一个对角线全部为1的下三角矩阵，u是一个对角线全部为0的上三角矩阵，v是一个向量。
[0071]
(7)以nac pet suv图像为输入，以基于ct进行衰减校正的ac pet suv图像为标签，训练用于衰减校正的流模型。
[0072]
初始化流模型。对可逆1
×
1卷积层，先采样一个随机旋转矩阵w来初始化参数，然后计算p的对应值(训练过程中保持不变)和l,u,v的对应的初始值，使用xavier正态分布对其他模块进行初始化。在训练过程中，l一直被约束为对角线全部为1的下三角矩阵，除了对角线以外的其他下三角元素是可学习的；u一直被约束为对角线全为0的上三角矩阵，除对角线以外的其他上三角元素是可学习的；v向量的元素符号保持不变(和初始化时的符号保持一致)，而v向量的元素绝对值是可学习的。
[0073]
将相邻的3个切片的nac pet suv图像输入流模型，正向传播，获得3帧图像，选择中间帧作为最终输出，即中间切片的ac pet suv图像。计算输出的中间切片的ac pet suv图像和ct衰减校正的ac pet suv图像之间的损失函数：
[0074][0075]
其中：表示输出的中间切片的ac pet suv图像，y1表示中间切片对应的标签，是核心损失函数，用于约束输出的中间切片的ac pet suv图像和标签尽可能接近；y0和y2分别表示前一个切片和后一个切片的标签，和是一致性损失函数，用于约束中间切片图像和相邻图像尽可能接近；λ是正则参数，用于调整核心损失函数和一致性损失函数之间的比例。
[0076]
计算损失函数对各个变量的梯度，利用adam优化器更新流模型中的可学习参数，直到损失函数的数值足够小，或者epoch数目达到上限。
[0077]
推断阶段
[0078]
(1)给扫描对象注射示踪剂，采集pet的原始数据。
[0079]
(2)不使用衰减图像，直接重建nac pet图像。
[0080]
(3)根据扫描对象的体重和注射剂量，计算suv数值，获得nac pet suv图像。
[0081]
(4)以nac pet suv图像为输入，直接输出ac pet suv图像。
[0082]
以下我们基于病人的心脏门控数据进行实验，以验证本实施方式的有效性。
[0083]
使用的病人数据集包含36名患者，注射的示踪剂是
13
n-ammonia，采集方式是心脏门控成像，扫描设备是siemens biography 16pet/ct，扫描时间为20min；丢弃前3分钟的数据，剩余的17分钟被构建成nac pet图像和ct-ac pet图像。重建的图像包含16个门控时间帧，每帧由65个切片组成，大小为168
×
168，计算每个患者的标准化摄取值(suv)图像，nac pet suv图像和ct-ac pet suv图像直接用作输入和标签，无需归一化操作。
[0084]
将数据集随机分为训练集(25名患者)、验证集(6名患者)和测试集(6名患者)，本发明提出的ac-flow使用pytorch 1.2.0实现，并在带有titan rtx的ubuntu18.04lts服务器上进行训练，adam被用作优化器，初始学习率为0.0005，指数衰减因子为0.9，批量大小为16，通过旋转、缩放和翻转对训练集进行在线数据增强，一共训练了50个epoch，用验证集上结果最好的epoch来评估测试集。
[0085]
我们从两个方面评估实验结果：整个图像和心脏区域。对于整个图像，我们采用了ssim和psnr两个指标；对于心脏区域，使用carimas 2.10对3d左心室心肌进行分割，并为测试集中的患者生成3d掩模以评估所提出方法的性能；对心脏区域，使用的评价指标为相对误差(re)和绝对误差(ae)。
[0086]
本发明ac-flow中c1、c2、c3的大小分别为32、64、96，loss中正则参数λ的大小为0.1，将ac-flow与当前最先进的deep-dac和dcnn的结果进行比较。这两种方法都是编码-解码卷积神经网络，实现从nac pet图像到ac pet图像的转换；dcnn采用多切片输入，而deep-dac采用单切片输入。为了公平比较，对两种方法进行在线数据增强，batch size的大小设为16，选择在验证集上表现最好的模型来评估在测试集上的表现。
[0087]
表1给出了不同方法的评价指标，本发明提出的ac-flow获得的图像的ssim和psnr在三种方法中最高，在心脏区域的re和ae最低。从指标上看，dcnn比deep-dac有优势，这表明多切片输入优于单切片输入；虽然采用相同的多切片输入，但ac-flow仍然优于dcnn，这可能受益于ac-flow的可逆结构；ac-flow的可逆性构成了其自身的约束，这使得模型能够收敛到更可靠的解，缓解了过拟合的问题。图5展示了某个患者在不同帧左心室区域的ac pet suv图像，对于左心室心肌，dcnn和ac-flow的ac图像比deep-dac更接近标签，与表1中的指标一致。实验结果表明，本发明方法在解决pet衰减校正图像方面具有优势。
[0088]
表1
[0089][0090]
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。