一种基于多模态影像的图像分割方法及装置与流程

1.本发明属于医学影像技术领域，具体涉及一种基于多模态影像的图像分割方法及装置。


背景技术：

2.基于卷积神经网络(cnn)的深度学习算法，可以有效提取图像特征，在图像的识别、分割和检测方面均有广泛的应用。基于深度学习算法，可以有效地进行图像的语义分割，即对于输入图像的每一个像素，均关联到一个类别标签。在医学图像方面，基于深度学习的语义分割已经被广泛用于感兴趣器官、病灶等的分割。随着医学成像技术的发展，可以采集同一部位的多种不同模态的图像，如ct、mri、超声、pet等。不同的模态可以提供互补的信息，有助于医生进行精确的诊断和评估。对于医学图像分割问题，充分利用不同模态的互补信息，有助于提高分割的效能。例如，对于前列腺全腺体或肿瘤的分割多模态影像学检查不仅能提供精准的前列腺内部解剖信息、显示与周围组织器官的关系，并且能反映病灶的代谢、血流动力学等相关信息，能有效提高病变检出效能并实现风险分层。然而，不同模态的图像的分辨率、扫描位置和像素值分布有较大的差异，需要进行有效的配准，对齐不同模态的图像。
3.目前，基于多模态的分割算法在配准后图像的基础上进行，先采用配准算法进行多模态配准，然后采用多模态融合方式对配准后的图像进行分割模型的构造。然而，所采用的配准算法往往并非针对当前任务所设计，不一定适用于当前任务的数据，带来配准误差，影响分割效能。现有研究表明，分割结果的引入可以提高配准算法的效能。然而，在有分割辅助的配准算法(如voxelmorph)中，仅仅把分割结果通过变形场后计算损失函数，没有充分利用分割和图像的关系，配准效能仍有待提高。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种基于多模态影像的图像分割方法及装置。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种基于多模态影像的图像分割方法，包括以下步骤：
7.获取多模态医学影像，以一种模态的医学影像为固定图像xf，以其余模态的医学影像为移动图像x
mi
，i＝1,2,
…
,n-1，n为医学影像模态的数量；
8.分别对xf与每一x
mi
进行仿射变换，得到图像x
ai
，将xf与每一x
ai
拼接后分别输入到一个变形场网络gi，得到变形场фi；将x
ai
分别通过变形场фi后得到变形图像x
фi
；
9.将xf与所有x
фi
拼接后输入到分割网络f，得到预测的分割结果；分割网络f和变形场网络gi的结构相同。
10.进一步地，所述多模态医学影像包括ct图像、mri图像、超声图像、pet图像。
11.更进一步地，以mri图像为固定图像xf，以ct图像、超声图像、pet图像为移动图像
x
mi
，i＝1,2,3。
12.进一步地，所述方法还包括图像预处理步骤：将所有模态的图像归一化至目标分辨率和目标尺寸。
13.进一步地，所述分割网络为卷积网络unet或fcn或vnet或unet 。
14.进一步地，基于损失函数ls优化变形场网络：
15.ls＝l
cc
λl
smooth
[0016][0017][0018][0019]
式中，l
cc
为互相关损失，l
smooth
为平滑正则项，λ为两项损失的平衡系数，xf(pi)为xf中第i个像素点的灰度值，x
φ
(pi)为x
ф
中第i个像素点的灰度值，n为第i个像素点附近局部区域内像素点的数量。
[0020]
更进一步地，基于损失函数ld对变形场网络进行优化：
[0021][0022]
式中，gf为固定图像分割金标准的所有像素点集合，g'm为移动图像分割金标准gm经变形场后的图像的所有像素点集合，|
·
|表示计算像素点数量。
[0023]
更进一步地，在进行模型训练时，引入移动图像分割网络fm，先利用损失函数lm对移动图像分割网络fm进行预训练，用预训练的移动图像分割网络fm对移动图像xm和变形后的图像x
φ
进行分割，利用损失函数lm、l'm优化变形场和移动图像分割网络fm：
[0024][0025][0026]
式中，fm(xm)、fm(x
φ
)分别为xm、x
φ
经移动图像分割网络fm输出图像的所有像素点集合。
[0027]
更进一步地，利用损失函数lf优化分割网络f：
[0028][0029]
式中，f(xf)表示输入固定图像xf时分割网络f输出图像的所有像素点集合。
[0030]
第二方面，本发明提供一种基于多模态影像的图像分割装置，包括：
[0031]
图像获取模块，用于获取多模态医学影像，以一种模态的医学影像为固定图像xf，以其余模态的医学影像为移动图像x
mi
，i＝1,2,
…
,n-1，n为医学影像模态的数量；
[0032]
图像变形模块，用于分别对xf与每一x
mi
进行仿射变换，得到图像x
ai
，将xf与每一x
ai
拼接后分别输入到一个变形场网络gi，得到变形场фi；将x
ai
分别通过变形场фi后得到变形图像x
фi
；
[0033]
分割预测模块，用于将xf与所有x
фi
拼接后输入到分割网络f，得到预测的分割结果；分割网络f和变形场网络gi的结构相同。
[0034]
与现有技术相比，本发明具有以下有益效果。
[0035]
本发明通过获取多模态医学影像，以一种模态的医学影像为固定图像，以其余模态的医学影像为移动图像，分别对固定图像与每一移动图像进行仿射变换，并将固定图像与每一仿射变换结果拼接后分别输入到一个变形场网络得到变形场，从而得到与固定图像相似的变形图像，将固定图像与所有变形图像拼接后输入到分割网络得到预测的分割结果，实现了基于多模态医学影像的图像分割。本发明将图像配准和分割统一成一个端到端的模型，使两者能互相协调补充，提高了配准的效能及图像分割的精度；本发明将移动图像分割模型纳入训练过程，控制了配准后移动图像的预测结果和固定图像的分割一致，使配准后图像特征更加稳定。
附图说明
[0036]
图1为本发明实施例一种基于多模态影像的图像分割方法的流程图。
[0037]
图2为本发明实施例图像分割预测模型的示意图。
[0038]
图3为本发明实施例图像分割模型训练的示意图。
[0039]
图4为本发明实施例一种基于多模态影像的图像分割装置的方框图。
具体实施方式
[0040]
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
图1为本发明实施例一种基于多模态影像的图像分割方法的流程图，包括以下步骤：
[0042]
步骤101，获取多模态医学影像，以一种模态的医学影像为固定图像xf，以其余模态的医学影像为移动图像x
mi
，i＝1,2,
…
,n-1，n为医学影像模态的数量；
[0043]
步骤102，分别对xf与每一x
mi
进行仿射变换，得到图像x
ai
，将xf与每一x
ai
拼接后分别输入到一个变形场网络gi，得到变形场фi；将x
ai
分别通过变形场фi后得到变形图像x
фi
；
[0044]
步骤103，将xf与所有x
фi
拼接后输入到分割网络f，得到预测的分割结果；分割网络f和变形场网络gi的结构相同。
[0045]
本实施例中，步骤101主要用于获取多模态医学影像。随着医学成像技术的发展，可以采集人体同一部位(人体器官)的多种不同模态的图像，如ct、mri等。不同模态的图像
可以提供互补的信息，有助于医生进行精确的诊断和评估，因此为了提高诊断精度，经常同时对多模态的图像进行图像分割、特征提取、多模态数据融合等处理。然而，不同模态的图像的分辨率、扫描位置和像素值分布有较大的差异，需要进行有效的配准，对齐不同模态的图像。本实施例在对不同模态的图像进行配准时，对不同模态的图像并非“一视同仁”，而是将其中一种模态的医学影像作为固定图像(也可称为基准图像)，将其它模态的医学影像作为移动图像(也可称为辅助图像)。一般将分辨率高、信息含量大的模态的医学影像选为固定图像，比如mri。
[0046]
本实施例中，步骤102主要用于获得变形图像。本实施例首先将固定图像xf分别与每一移动图像x
mi
进行仿射变换，得到图像x
ai
，如图2所示。为了使图简洁，图2中只画出了一种移动图像的情形。和大多数配准问题一样，本实施例也使用仿射变换作为图像的处理，通过仿射变换对由分辨率、扫描位置不同带来的偏差进行校准。相比于刚性变换，仿射变换除了描述旋转和平移的6个自由度参数，还包括6个描述缩放和修剪的自由度参数。具体地，采用advancednormalization tools(ants)工具进行仿射变换参数的计算和优化，得到仿射矩阵。然后分别将每一经仿射变换后得到图像x
ai
与固定图像xf拼接，并分别输入到一个变形场网络gi，得到变形场фi。x
ai
与xf拼接得到双通道图像，如果x
ai
、xf的形状为(d,h,w)，拼接后为4维张量，形状为(2,d,h,w)。输入变形场网络后，输出的变形场фi是4维张量，形状为(3,d,h,w)，其中3是通道数，表示从输入中采样的位置信息(即原始图像中的x、y、z坐标)。换句话说，变形后坐标为(d,h,w)的点的像素值对应变形前的原始图像上坐标为(φ
2dhw
,φ
1dhw
,φ
0dhw
)的点的像素值。最后将x
ai
分别通过变形场фi变形后插值得到变形图像x
фi
。由于(φ
2dhw
,φ
1dhw
,φ
0dhw
)不一定是整数，而原始图像点坐标都是整数，因此，具体的像素值需要通过插值得到。插值方法很多，比如可以使用双三次插值算法。
[0047]
本实施例中，步骤103主要用于利用分割网络得到预测的分割结果。如图2所示，将固定图像xf与上一步得到的所有变形图像x
фi
(图2中只画出了一个x
ф
)拼接，然后送入分割网络f，分割网络f的输出即为预测的分割结果。本实施例中，分割网络f和变形场网络g采取相同的结构。为了避免由于模型参数过多带来的gpu显存不足的问题，本实施例在预测阶段，把分割网络f的输入按一定的步长划分成若干96像素*96像素*48像素大小的、有重合区域的块，然后对这些块逐块预测，并将重合的区域预测结果取均值。步长大小可以按需求的精度而定，作为一个示例，可以取块大小的1/2为步长。为了进一步提高模型的预测效能，还可将图像进行翻转后重复预测，取所有预测的结果取均值，作为最终的输出。当然，在模型训练阶段，同样需将图像分块后输入网络，按块计算损失函数。
[0048]
作为一可选实施例，所述多模态医学影像包括ct图像、mri图像、超声图像、pet图像。
[0049]
本实施例给出了多模态医学影像的几种常见图像形式。医学影像是指为了医疗或医学研究，对人体或人体某部分以非侵入方式取得的内部组织的图像。根据成像机理和成像设备的不同，可以获得不同模态的图像。本实施例的多模态医学影像包括ct图像、mri图像、超声图像、pet图像。
[0050]
作为一可选实施例，以mri图像为固定图像xf，以ct图像、超声图像、pet图像为移动图像x
mi
，i＝1,2,3。
[0051]
本实施例给出固定图像和移动图像的一种具体的选取方案。如前述，固定图像一
般为分辨率比较高、信息含量较高的图像。本实施例以mri图像为固定图像，将ct图像、超声图像、pet图像作为移动图像。mri(magnetic resonance imaging)也就是磁共振成像，磁共振成像是断层成像的一种，它利用磁共振现象从人体中获得电磁信号,并重建出人体信息。与其它模态图像相比，mri具有以下特点：分辨率高，mri相对于ct对于软组织的分辨率要高很多，能早期发现更加细小微小的病变组织；mri图像上的黑白灰反映的是弛豫时间，多参数、任一层面成像也是mri的独特的图像特点。
[0052]
作为一可选实施例，所述方法还包括图像预处理步骤：将所有模态的图像归一化至目标分辨率和目标尺寸。
[0053]
本实施例给出图像预处理的一种技术方案。为了提高模型预测的效率，一般并不是将获得的原始多模态图像直接输入模型，而是要先进行一些预处理后再输入模型。预处理一般包括：对于获得的每个模态图像序列，分别逐层进行勾画(如前列腺体区域)，勾画由3年以上年资的影像科医生完成，并由10年年资的影像科医生进行审核。为了避免图像序列不同图像分辨率、不同大小对模型性能产生不利影响，对于每个模态的图像序列，分别进行空间分辨率归一化：首先，对于每个模态，统计该模态所有序列的分辨率和图像尺寸信息，选取中位数作为目标分辨率和目标大小；然后采用插值算法(如双三次插值算法)将所有图像归一化到目标分辨率，并裁剪至目标大小。同时，将医生的勾画结果进行同样的处理，即归一化到目标分辨率，并裁剪至目标大小。将所有的数据按病人划分为训练集、验证集和测试集，比例为6:2:2。具体的划分比例可以根据数据量进行调整。
[0054]
作为一可选实施例，所述分割网络为卷积网络unet或fcn或vnet或unet 。
[0055]
本实施例给出了分割网络结构的一种技术方案。本实施例中，分割网络采用卷积神经网络，可以是常用的unet，也可以是fcn、vnet或unet 。如前述，变形场网络采用与分割网络相同的结构，因此，变形场网络同样可以采用unet或fcn或vnet或unet 。
[0056]
作为一可选实施例，基于损失函数ls优化变形场网络：
[0057]
ls＝l
cc
λl
smooth
[0058][0059][0060][0061]
式中，l
cc
为互相关损失，l
smooth
为平滑正则项，λ为两项损失的平衡系数，xf(pi)为xf中第i个像素点的灰度值，x
φ
(pi)为x
ф
中第i个像素点的灰度值，n为第i个像素点附近局部区域内像素点的数量。
[0062]
从本实施例起，依次给出各部分网络模型训练的技术方案。为了便于理解，图3给出了配准分割协同模型训练的示意图，并在图中相应位置用虚线标出了模型训练中涉及的各个损失函数的名称。
[0063]
本实施例使用损失函数ls优化x
ф
和xf的相似性，也就是通过优化训练使变形图像x
ф
最大程度地相似于固定图像xf。损失函数ls包括两部分：第一部分是互相关损失l
cc
，用于度量两个不同模态图像序列的相关性；第二部分是平滑正则项l
smooth
，用于限制变形场的变化幅度，使图像平滑变形。两部分损失的具体表达式如上面的公式所示。
[0064]
作为一可选实施例，基于损失函数ld对变形场网络进行优化：
[0065][0066]
式中，gf为固定图像分割金标准的所有像素点集合，g'm为移动图像分割金标准gm经变形场后的图像的所有像素点集合，|
·
|表示计算像素点数量。
[0067]
本实施例是基于损失函数ld对变形场网络进行优化。本实施例使用分割结果对变形场进行进一步优化。使用分割金标准gm和变形场，得到变形后的g'm，利用损失函数ld优化g'm和gf之间的相关性。损失函数ld采用dice系数，具体表达式如上面公式所示。
[0068]
作为一可选实施例，在进行模型训练时，引入移动图像分割网络fm，先利用损失函数lm对移动图像分割网络fm进行预训练，用预训练的移动图像分割网络fm对移动图像xm和变形后的图像x
φ
进行分割，利用损失函数lm、l'm优化变形场和移动图像分割网络fm：
[0069][0070][0071]
式中，fm(xm)、fm(x
φ
)分别为xm、x
φ
经移动图像分割网络fm输出图像的所有像素点集合。
[0072]
本实施例将移动图像分割网络fm纳入训练过程，如图3所示(预测网络图2中不包含fm)。在模型正式训练之前，要先对fm进行预训练：利用移动图像xm和对应的分割结果gm构造分割模型，基于损失函数lm对fm进行预训练。进行预训练时，使用优化器(如adam或sgd)最小化lm，并设置初始学习率(如0.01)，训练模型直至收敛。选取验证集上损失函数最小的模型作为fm最终的预训练结果。fm预训练完成后，利用fm分别对移动图像xm和变形后的移动图像x
φ
进行分割。由于我们希望通过变形场后，依然保持原有的图像特征分布，因此利用一致性损失函数lm、l'm优化变形场和fm。lm、l'm均采用dice损失函数，具体表达式如上面公式所示。
[0073]
作为一可选实施例，利用损失函数lf优化分割网络f：
[0074][0075]
式中，f(xf)表示输入固定图像xf时分割网络f输出图像的所有像素点集合。
[0076]
本实施例是利用损失函数lf对分割网络f进行优化。如图3所示，变形后的图像x
φ
与固定图像xf进行拼接，假设x
φ
、xf的形状为(d,h,w)，拼接后为4维张量，形状为(2,d,h,w)，拼接后的图像输入分割网络f。本实施例通过损失函数lf对分割网络模型进行优化，lf仍然
采用dice损失函数，具体表达式如上面公式所示。
[0077]
综合前述各部分损失函数，总体损失函数l为各部分损失函数之和：
[0078]
l＝ld lm l'm lf ls[0079]
进行训练时，使用优化器(如adam或sgd)最小化l，并设置初始学习率(如0.01)，训练模型直至收敛。选取验证集上损失函数最小的模型作为训练好的配准分割协同模型。
[0080]
图4为本发明实施例一种基于多模态影像的图像分割装置的组成示意图，所述装置包括：
[0081]
图像获取模块11，用于获取多模态医学影像，以一种模态的医学影像为固定图像xf，以其余模态的医学影像为移动图像x
mi
，i＝1,2,
…
,n-1，n为医学影像模态的数量；
[0082]
图像变形模块12，用于分别对xf与每一x
mi
进行仿射变换，得到图像x
ai
，将xf与每一x
ai
拼接后分别输入到一个变形场网络gi，得到变形场фi；将x
ai
分别通过变形场фi后得到变形图像x
фi
；
[0083]
分割预测模块13，用于将xf与所有x
фi
拼接后输入到分割网络f，得到预测的分割结果；分割网络f和变形场网络gi的结构相同。
[0084]
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0085]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。