一种对伪影不敏感的医学图像的形变场提取方法和配准方法和装置与流程

1.本发明属于医学图像配准领域，具体涉及一种对伪影不敏感的图像形变场提取方法和配准方法。


背景技术：

2.四维医学成像技术是一种新兴的医学成像方式，可以获得病人随时间变化的医学影像信息。一般地，四维医学成像对扫描速度有要求，需要快速的扫描，以精准获得不同运动状态的图像，如四维扇束ct。当一种医学成像方式的扫描时间较长时，需要通过多次扫描或者先进的重建算法才能获取四维图像。典型的代表为磁共振成像技术和锥束ct成像技术，这两种成像方式都有扫描时间长的特点。多次扫描会造成等待时间过长，或辐射剂量的上升(ct成像)。因此，先进的四维重建方法具有更好的使用价值。
3.现有四维重建方法中，基于运动形变场补偿方法是一种重要的实现方式。该类运动形变场补偿方法通过估计不同运动状态的图像之间的形变场来辅助重建过程，从而可以将不同运动状态下获取的原始数据应用于其中一个运动状态，并以此循环，最终获得不同运动状态的高质量图像。
4.但是在运动形变场补偿方法中，由于扫描速度慢，单一运动状态的原始数据常常是稀疏的。此时，运动形变场需要从带有稀疏伪影的图像中估计出来，现有的方法常使用迭代重建方法对稀疏数据进行重建，随后再估计出初始形变场，再通过迭代的方法对形变场进行优化。该迭代重建方法具有运算时间长的问题，当临床场景中对重建时间有要求时，该迭代重建方法常常难以满足。
5.除了稀疏伪影之外，医学图像中还面临许多种伪影，比如散射伪影、金属伪影和噪声等。这些伪影的存在使得图像在配准时，难以单纯依据图像的强度进行配准，因此伪影会使得图像的强度值偏离真实的强度值。因此开发对伪影不敏感的图像配准技术在临床中具有很高的应用价值。
6.深度学习网络通过大量数据训练构建的模型有着更高的适用性，对不同情况的处理适用能力更高，将有助于突破现有技术在使用时的限制。但是如何构建并训练深度学习网络模型来进行伪影去除以进行图像质量增强、运动形变场提取，并提升运动形变场的准确度以及普适性，是亟需要解决的技术问题。


技术实现要素：

7.鉴于上述，本发明目的是提供一种对伪影不敏感的图像形变场提取方法和配准方法和装置，利用基于resnet和u-net构建的深度神经网络模型通过对图像对进行伪影去除后来计算形变场，提高了图像形变场的提取准确性，依据提取的形变场进行配准，提升配准准确性。
8.第一方面，实施例提供了一种对伪影不敏感的图像形变场提取方法，包括以下步
骤：
9.构建每个采样时刻的伪影图像和无伪影图像，任意两个时刻的两张伪影图像组成伪影图像对，两张无伪影图像组成无伪影图像对，任意两个时刻对应的伪影图像对和无伪影图像对作为1个训练样本；
10.基于深度神经网络构建提取模型，所述提取模型包括伪影去除模块和形变场提取模块；
11.以依据伪影图像对提取的形变场和依据无伪影图像对提取的形变场一致为学习目标，同时以提取的形变场作用于前一时刻图像得到的图像与后一时刻图像一致为学习目标，利用训练样本对提取模型进行学习以优化模型参数；
12.参数优化的提取模型用于图像对的形变场的提取。
13.在一个实施例中，所述伪影去除模块包括resnet网络，所述形变场提取模块包括unet网络。
14.在一个实施例中，利用训练样本对提取模型进行学习以优化模型参数时，采用的损失函数li为：
[0015][0016]
lf＝l(f1,g(m1,dvf2)) δ
×
smmoth(dvf2) ω
×
(l(f1,g(m1,dvf1)) δ
×
smooth(dvf1))
[0017]
其中，im1和if1表示先后两个时刻的无伪影图像m1和f1经过伪影去除模块去除伪影后的图像，im2和if2表示先后两个时刻的伪影图像m2和f2经过伪影去除模块去除伪影后的图像，l(
·
)表示均方根误差函数，dvf1表示对m1和f1形成的无伪影图像对提取的形变场，dvf2表示对m2和f2形成的伪影图像对提取的形变场，α、β、δ、ω表示权重系数，smmoth(
·
)表示平滑操作，g(
·
)表示将形变场作用于前一时刻图像得到的图像。
[0018]
在一个实施例中，采用transformer模型将形变场作用于前一时刻图像得到图像。
[0019]
在一个实施例中，所述伪影为锥束ct稀疏伪影时，构建伪影图像和无伪影图像的过程包括：
[0020]
对每个时刻的锥束ct图像进行虚拟正向投影，并将所有虚拟正向投影图进行滤波反投影重建得到无伪影图像，对所有虚拟正向投影图进行稀疏采样后经过滤波反投影重建得到伪影图像。
[0021]
在一个实施例中，所述伪影为锥束ct散射伪影时，构建伪影图像和无伪影图像的过程包括：
[0022]
对获得的锥束ct投影数据进行滤波反投影得到锥束ct图像作为伪影图像，对锥束ct图像进行分割得到模板图像，采用蒙特卡洛方法基于模板图像构建结构模型，基于结构模型进行扫描模拟，估计散射信号分布，将散射信号加权补偿到锥束ct投影数据后，经过滤波反投影得到无伪影图像。
[0023]
在一个实施例中，所述伪影为低剂量伪影时，构建伪影图像和无伪影图像的过程包括：
[0024]
将获得常规剂量ct图像作为无伪影图像，采用泊松噪声对常规剂量ct图像进行处理以模拟正常剂量ct图像的降质过程，得到的虚拟低剂量ct图像作为伪影图像。
[0025]
第二方面，实施例提供了一种医学图像的配准方法，包括以下步骤：
[0026]
对于获得的图像对，利用第一方面所述的对伪影不敏感的图像形变场提取方法得到形变场；
[0027]
利用形变场对图像对进行配准。
[0028]
第三方面，实施例提供了一种医学图像的配准装置，包括：
[0029]
形变场计算模块，用于对于获得的图像对，利用第一方面所述的对伪影不敏感的图像形变场提取方法得到形变场；
[0030]
配准模块，用于利用形变场对图像对进行配准。
[0031]
第四方面，实施例提供了一种医学图像的配准装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的医学图像的配准方法。
[0032]
与现有技术相比，本发明具有的有益效果至少包括：
[0033]
实施例提供的对伪影不敏感的图像形变场提取方法，在构建包括但不限于锥束ct稀疏伪影、锥束ct散射伪影、低剂量伪影的伪影图像基础上，利用伪影图像对和无伪影图像对对包括伪影去除模块和形变场提取模块的提取模型进行参数优化，这样得到的提取模型能够快速准确提取无伪影图像对和伪影图像对的运行形变场。
[0034]
实施例提供的医学图像的配准方法和装置，采用上述的对伪影不敏感的图像形变场提取方法提取准确的运动形变场，在此基础上，应用该运动形变场进行图像配准，提升了配准速度，同时对于图像中的伪影有着更高的稳定性。
附图说明
[0035]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0036]
图1是实施例提供的对伪影不敏感的图像形变场提取方法的流程图；
[0037]
图2是实施例提供的伪影类型为锥束ct稀疏伪影时构建伪影图像和无伪影图像的流程图；
[0038]
图3是实施例提供的伪影类型为锥束ct散射伪影时构建伪影图像和无伪影图像的流程图；
[0039]
图4是实施例提供的伪影类型为低剂量伪影时构建伪影图像和无伪影图像的流程图；
[0040]
图5是实施例提供的无伪影图像对输入提取模型的计算流程图；
[0041]
图6是实施例提供的利用无伪影图像对和伪影图像对组成的训练样本对提取模型的训练过程图；
[0042]
图7是实施例提供的医学图像的配准方法的流程图；
[0043]
图8是实施例提供的医学图像的配准装置的流程图。
具体实施方式
[0044]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0045]
为了克服现有技术中图像之间的运动形变场提取不准确的问题，实施例提供了一种对伪影不敏感的图像形变场提取方法。
[0046]
图1是实施例提供的对伪影不敏感的图像形变场提取方法的流程图。如图1所示，实施例提供的图像形变场提取方法，包括以下步骤：
[0047]
步骤1，构建每个采样时刻的伪影图像和无伪影图像，并构建训练样本。
[0048]
实施例中，获取每个采样时刻的伪影图像和无伪影图像，每个采样时刻对应不同的呼吸时相，任意两个时刻的两张伪影图像组成伪影图像对，两张无伪影图像组成无伪影图像对，任意两个时刻对应的伪影图像对和无伪影图像对作为1个训练样本。
[0049]
实施例中，为了提升形变场提取模型能够针对任何类型的伪影图像和无伪影图像均能够准确地提取运动形变场，构建的训练样本包含多种类型的伪影图形。
[0050]
第一种，伪影为锥束ct稀疏伪影时，如图2所示，构建伪影图像和无伪影图像的过程包括：
[0051]
以常规扫描下获得的四维(4d)锥束ct图像作为基础，对于每个呼吸时相的ct图像，通过旋转、平移、镜像等图像增强方式扩增图像的数量，得到增强图像组，然后采用虚拟正向投影技术对增强图像组进行虚拟正向投影，如采用半扇扫描模式，获得360度下的n张虚拟投影图。一般地，在做虚拟正向投影时采用临床上常用的锥束ct的几何参数，如瓦里安公司的trilogy加速器机载锥束ct的几何参数。一般的采用360度，均匀分布的n(举例n＝600)张虚拟投影图，然后对n张虚拟投影图进行滤波反投影重建，得到无伪影ct图像。
[0052]
在获得对n张虚拟投影图的基础上，对n张虚拟投影图进行稀疏采样，如采样间隔为s，则可以得到s(举例s＝10)组稀疏投影，每组稀疏投影包括m(举例m＝60)张稀疏投影。对每组稀疏投影和相应的角度分别使用经典的滤波反投影重建算法进行重建，获得s组带稀疏伪影ct图像。针对四维ct数据中，每个呼吸时相的ct图像都可以获得成对的无伪影ct图像和带稀疏伪影ct图像，不同呼吸时相的无伪影ct图像moving 1和fixed 1组成无伪影ct图像对，不同呼吸时相的带稀疏伪影ct图像moving 2和fixed 2组成带稀疏伪影ct图像对，该无伪影ct图像对和带稀疏伪影ct图像对组成1个训练样本，以用于提取模型的参数学习。
[0053]
第二种，伪影为锥束ct散射伪影时，如图3所示，构建伪影图像和无伪影图像的过程包括：
[0054]
首先需要收集受试者在不同时间点下扫描的锥束ct投影数据，比如做放射治疗试验的受试者在不同的分次治疗试验中所扫描的锥束ct图像。获得同一个受试者不同时间点扫描的锥束ct投影数据之后，进行散射伪影修正，具体地，针对每个采样时间点下采集的原始锥束ct投影数据，由于原始锥束ct投影数据即含有散射伪影，所以直接对原始锥束ct投影数据进行滤波反射投影，得到原始锥束ct图像作为含散射伪影图像。然后对原始锥束ct图像进行分割得到模板图像，例如分割出肺、骨骼、肌肉等，基于分割结果生成病人的模板图像。随后采用通过蒙特卡洛方法基于模板图像构建结构模型，采用基于真实扫描时的电
压电流设置光子数及能量对结构模型进行散射信号估计，随后将估计的散射信号加权补偿到原始锥束ct投影数据得到无散射投影，并对无散射投影进行滤波反投影重建，得到无散射伪影图像。针对四维ct投影数据中，每个采样时间点的ct投影数据都可以获得成对的含散射伪影图像和无散射伪影图像，不同采样时间点的无散射伪影图像moving 1和fixed 1组成无散射伪影图像对，不同采样时间点的含散射伪影图像moving 2和fixed 2组成含散射伪影图像对，该含散射伪影图像对和无散射伪影图像对组成1个训练样本，以用于提取模型的参数学习。
[0055]
第三种，伪影为低剂量伪影时，如图4所示，构建伪影图像和无伪影图像的过程包括：
[0056]
低剂量伪影(或者低剂量噪声)是由于扫描设置的电流较少，相应的辐射剂量也比较少，导致的图像的噪声水平会上升。实施例中，将获得常规剂量条件下扫描的四维ct图像经过旋转、平移、翻转等图像增强操作扩增图像的数量后，作为真值，即作为常规剂量ct图像作为无伪影图像。采用泊松噪声模型来模拟的使正常剂量ct图像发生降质的过程，即利用泊松噪声对常规剂量ct图像进行处理，得到虚拟低剂量ct图像作为伪影图像。每个呼吸时相的ct投影数据都可以获得成对的常规剂量ct图像和虚拟低剂量ct图像，不同呼吸时相的常规剂量ct图像moving 1和fixed 1组成无伪影图像对，不同呼吸时相的虚拟低剂量ct图像moving 2和fixed 2组成伪影图像对，该无伪影图像对和伪影图像对组成1个训练样本，以用于提取模型的参数学习。
[0057]
步骤2，基于深度神经网络构建包括伪影去除模块和形变场提取模块的提取模型。
[0058]
实施例中，伪影不敏感的提取模型包括伪影去除模块、形变场提取模块，其中，伪影去除模块可以采用resnet结构，主要作用是抑制图像中的伪影信号，即去除伪影，resent模块采用卷积层 归一化层 线性整流函数(relu) 卷积层 归一化层的结构。模块的个数可以根据具体的数据集进行调整。形变场提取模块可以采用unet结构，主要用于从去除伪影图像中估计形变场，unet采用标准的框架，但网络的层数和大小根据数据集进行调整。在训练时，还增加了变形模块，可以采用变形器transformer，该变形模块实现应用估计的形变场(dvf)对图像进行变形，这样形成的训练框架，即可以实现形变场提取，又可以进行图像变形。
[0059]
步骤3，依据学习目标构建损失函数，采用损失函数和训练样本对提取模型进行学习以优化模型参数。
[0060]
实施例中，学习目标为：(1)依据伪影图像对提取的形变场和依据无伪影图像对提取的形变场一致：(2)以提取的形变场作用于前一时刻图像得到的图像与后一时刻图像一致。
[0061]
基于以上的学习目标构建的损失函数为：
[0062][0063]
其中，li为resnet结构的损失函数，im1和if1表示先后两个时刻的无伪影图像m1和f1经过伪影去除模块去除伪影后的图像，im2和if2表示先后两个时刻的伪影图像m2和f2经过伪影去除模块去除伪影后的图像，l(
·
)表示均方根误差函数，损失函数li中第一项约束的是经过resnet处理后的图像应与无伪影图像接近。第二项目的是使得更新resnet图像
时，同时考虑到配准的精度，第三项为保证输入无伪影图像时，不会对无伪影图像产生变化。
[0064]
lf＝l(f1,g(m1,dvf2)) δ
×
smmoth(dvf2) ω
×
(l(f1,g(m1,dvf1)) δ
×
smooth(dvf1))
[0066]
其中，lf为unet结构的损失函数，dvf1表示对m1和f1形成的无伪影图像对提取的形变场，dvf2表示对m2和f2形成的伪影图像对提取的形变场，α、β、δ、ω表示权重系数，smmoth(
·
)表示平滑操作，g(
·
)表示将形变场作用于前一时刻图像得到的图像，l(f1,g(m1,dvf2))表示为为计算使用含有伪影的图像配准获得的形变场dvf2，应用在无伪影图像moving1后，应与相应的fixed图像一致，即约束配准的精度。smmoth(dvf2)和smooth(dvf1)表示平滑项，即基于图像变形时应是连续变化的。l(f1,g(m1,dvf1))为保证输入无伪影图像时，模型也应有较高的配准精度。
[0067]
实施例中，提取模型的输入和输出均为图像，所以可以采用非监督的训练方式。即不用事先获取moving和fixed图像之间的形变场，直接将moving图像作为网络的输入，fixed图像作为网络的输出，实现网络的训练。这种训练方式可以极大的减少对训练样本的要求。训练时，伪影图像对与相应的无伪影图像对均被用于更新网络参数。
[0068]
训练时，包含任意两个时刻对应的伪影图像对和无伪影图像对的训练样本输入至训练框架中，如图5所示，由无伪影图像moving1(m1)和fixed1(f1)形成的无伪影图像对输入至resnet结构，经过resnet模块的处理，获得中间过程图像im1和if1，随后该组图像im1和if1被送入unet结构进行形变场估计，得到形变场dvf1。最后在将dvf1通过transformer应用到moving1上，获得生成的图像g(m1，dvf1)，训练时，仅需要使得生成图g(m1，dvf1)与fixed1保持一致即可。如图6所示，由伪影图像moving2(m2)和fixed2(f2)形成的伪影图像对输入至resnet结构，经过resnet模块的处理，获得中间过程图像im2和if2，随后该组图像im2和if2被送入unet结构进行形变场估计，得到形变场dvf2。最后在将dvf2通过transformer应用到moving1上，获得生成的图像g(m1，dvf2)。然后采样上述两个损失函数，更新模型参数，更新结束后，得到训练好的提取模型。
[0069]
步骤4，参数优化的提取模型用于图像对的形变场的提取。
[0070]
应用时，将两个时刻的图像形成的图像对输入至提取模型，经过伪影去除模块去除伪影后再经过形变场提取模块估计形变场并输出。
[0071]
实施例提供的对伪影不敏感的图像形变场提取方法，在构建包括但不限于锥束ct稀疏伪影、锥束ct散射伪影、低剂量伪影的伪影图像基础上，利用伪影图像对和无伪影图像对对包括伪影去除模块和形变场提取模块的提取模型进行参数优化，这样得到的提取模型能够快速准确提取无伪影图像对和伪影图像对的运行形变场。
[0072]
图7是实施例提供的医学图像的配准方法的流程图。如图7所示，实施例提供的医学图像的配准方法，包括以下步骤：
[0073]
步骤1，获取两个时刻形成的图像对，利用上述对伪影不敏感的图像形变场提取方法中的提取模型进行计算，得到形变场；
[0074]
步骤2，利用形变场对图像对进行配准。
[0075]
图8是实施例提供的医学图像的配准装置的流程图。如图8所示，实施例提供的医学图像的配准装置，包括：
[0076]
形变场计算模块801，对获得的图像对，利用上述对伪影不敏感的图像形变场提取方法中提取模型进行计算，得到形变场；
[0077]
配准模块802，利用形变场对图像对进行配准。
[0078]
需要说明的是，实施例提供的医学图像的配准装置在进行医学图像配准时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，实施例提供的医学图像的配准装置与医学图像的配准方法实施例属于同一构思，其具体实现过程详见医学图像的配准方法实施例，这里不再赘述。
[0079]
实施例还提供了一种医学图像的配准装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，处理器执行计算机程序时实现上述医学图像的配准方法。
[0080]
实施例提供的医学图像的配准方法和装置，采用上述的对伪影不敏感的图像形变场提取方法提取准确的运动形变场，在此基础上，应用该运动形变场进行图像配准，提升了配准速度，同时对于图像中的伪影有着更高的稳定性。
[0081]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。