一种弱监督医学图像分割配准协同处理方法

1.本发明涉及图像分割、图像配准研究技术领域，尤其是一种弱监督医学图像分割配准协同处理方法。


背景技术：

2.图像分割与图像配准是生物医学领域中的基本任务，广泛应用于病灶识别、影像三维重建、疾病预测以及生物学的研究。生物医学领域中，既可以基于配准实现分割，也可以基于分割实现配准；配准可以为分割提供数据增广，分割可以为配准提供区域约束。这充分体现了两任务间的高度相关性和互补性。
3.近年来，随着深度学习技术的兴起，图像分割与图像配准技术再次得到了快速发展。然而，不同于其他计算机视觉领域动辄上万的数据量，生物医学领域的数据难以获取，同时数据的标注耗时耗力且需要专家知识，数据量通常以百为量级。因此，深度学习技术在生物医学领域往往需要在小样本和少量标注数据的场景下实施。在此场景下，如何充分利用现有数据，同时挖掘多任务间的相关性和互补性，提高模型泛化能力，最终提高两任务的表现，是一项具有挑战性和现实意义的课题。


技术实现要素：

4.本发明的目的在于提供一种大大提高小样本场景下的图像分割任务与图像配准任务的表现，既提高图像的分割精度，也提高图像的配准精度，为小样本场景下的医学图像分割与配准任务提供新方案的弱监督医学图像分割配准协同处理方法。
5.为实现上述目的，本发明采用了以下技术方案：一种弱监督医学图像分割配准协同处理方法，该方法包括下列顺序的步骤：
6.(1)获取医学图像数据及标注，并将医学图像分为浮动图像和固定图像；
7.(2)由医学图像数据构建配准模型，基于配准模型更新弱监督分割数据；
8.(3)由弱监督分割数据构建分割模型，基于分割模型更新弱监督配准数据；
9.(4)由弱监督配准数据训练配准模型，基于配准模型更新弱监督分割数据；
10.(5)重复步骤(3)至步骤(4)，直至分割模型和配准模型收敛；
11.(6)基于收敛后的分割模型和配准模型分别完成图像分割与配准任务：调用训练好的分割模型，独立完成分割任务；调用训练好的配准模型，独立完成配准任务。
12.所述步骤(1)具体是指：设医学图像数据集中图像数量为n，其中，仅有1张图像包含标注，称其为浮动图像，其余n-1张图像无标注，称其为固定图像。
13.所述步骤(2)具体包括以下步骤：
14.(2a)所述配准模型采用voxel-morph网络架构，基于医学图像数据，训练将浮动图像配准至固定图像的配准模型；
15.(2b)基于训练好的配准模型获得浮动图像配准至固定图像的形变场及逆形变场,如下式所示：
[0016][0017]
其中，atlas表示浮动图像，fix表示固定图像，φ表示形变场，表示逆形变场，运算符表示对图像施加形变场进行变换；
[0018]
(2c)施加逆形变场于浮动图像，得到解剖结构接近浮动图像、亮度分布接近固定图像的逆形变图像，如下式所示：
[0019][0020]
其中，aug表示逆形变图像；
[0021]
(2d)基于逆形变图像和浮动图像拟合真实数据的亮度场，并通过采样得到亮度采样图像,如下式所示：
[0022][0023]
其中，表示亮度采样图像，λ表示对浮动图像的采样系数，λ通过0-1均匀采样得到；
[0024]
(2e)基于配准模型生成的形变场拟合真实数据的形变场，并通过将采样后形变场分别施加于逆形变图像和浮动图像对应的标注上，得到双采样增广图像和对应伪标注,如下式所示：
[0025][0026]
其中，表示双采样增广图像，manual表示浮动图像对应的人工标注，表示双采样增广图像对应的伪标注，为采样后形变场，由形变场φ通过0-1均匀采样得来；
[0027]
(2f)将形变场施加于浮动图像对应的人工标注上，得到固定图像对应的伪标注，如下式所示：
[0028][0029]
其中，label表示固定图像对应的伪标注；
[0030]
(2g)将固定图像和其对应的伪标注作为一组新的弱监督数据，将双采样增广图像和其对应的伪标注作为一组新的弱监督数据，由两组新的弱监督数据作为新的弱监督分割数据，所述弱监督分割数据是指用于作为分割模型的输入的弱监督数据。
[0031]
所述步骤(3)具体包括以下步骤：
[0032]
(3a)所述分割模型采用u-net网络架构，将弱监督分割数据送入分割模型进行训练；
[0033]
(3b)由训练后的分割模型对浮动图像进行预测，得到浮动图像的预测标签；
[0034]
(3c)将浮动图像和其对应的预测标签作为新的弱监督数据，由新的弱监督数据作为新的弱监督配准数据，所述弱监督配准数据是指用于作为配准模型的输入的弱监督数据。
[0035]
所述步骤(4)具体包括以下步骤：
[0036]
(4a)将弱监督配准数据送入配准模型，再次进行训练；
[0037]
(4b)基于训练好的配准模型获得浮动图像配准至固定图像的形变场及逆形变场,如下式所示：
[0038][0039]
其中，atlas表示浮动图像，fix表示固定图像，φ表示形变场，表示逆形变场，运算符表示对图像施加形变场进行变换；
[0040]
(4c)施加逆形变场于浮动图像，得到解剖结构接近浮动图像、亮度分布接近固定图像的逆形变图像，如下式所示：
[0041][0042]
其中，aug表示逆形变图像；
[0043]
(4d)基于逆形变图像和浮动图像拟合真实数据的亮度场，并通过采样得到亮度采样图像,如下式所示：
[0044][0045]
其中，表示亮度采样图像，λ表示对浮动图像的采样系数，λ通过0-1均匀采样得到；
[0046]
(4e)基于配准模型生成的形变场拟合真实数据的形变场，并通过将采样后形变场分别施加于逆形变图像和浮动图像对应的标注上，得到双采样增广图像和对应伪标注,如下式所示：
[0047][0048]
其中，表示双采样增广图像，manual表示浮动图像对应的人工标注，表示双采样增广图像对应的伪标注，由形变场φ通过0-1均匀采样得来；
[0049]
(4f)将形变场施加于浮动图像对应的人工标注上，得到固定图像对应的伪标注，如下式所示：
[0050][0051]
其中，label表示固定图像对应的伪标注；
[0052]
(4g)将固定图像和其对应的伪标注作为一组新的弱监督数据，将双采样增广图像和其对应的伪标注作为一组新的弱监督数据，由两组新的弱监督数据作为新的弱监督分割数据。
[0053]
由上述技术方案可知，本发明的有益效果为：本发明与现有技术相比，将基于形变场和亮度场双采样的数据增广技术与图像分割-配准协同技术紧密结合，从而大大提高小样本场景下的图像分割任务与图像配准任务的表现，既提高了脑图像的分割精度，也提高了脑图像的配准精度，为小样本场景下的医学图像分割与配准任务提供新方案。
附图说明
[0054]
图1为基于配准模型更新弱监督分割数据的示意图；
[0055]
图2为基于分割模型更新弱监督配准数据的示意图。
具体实施方式
[0056]
如图1、2所示，一种弱监督医学图像分割配准协同处理方法，该方法包括下列顺序
的步骤：
[0057]
(1)获取医学图像数据及标注，并将医学图像分为浮动图像和固定图像；
[0058]
(2)由医学图像数据构建配准模型，基于配准模型更新弱监督分割数据；
[0059]
(3)由弱监督分割数据构建分割模型，基于分割模型更新弱监督配准数据；
[0060]
(4)由弱监督配准数据训练配准模型，基于配准模型更新弱监督分割数据；
[0061]
(5)重复步骤(3)至步骤(4)，直至分割模型和配准模型收敛；
[0062]
(6)基于收敛后的分割模型和配准模型分别完成图像分割与配准任务：调用训练好的分割模型，独立完成分割任务；调用训练好的配准模型，独立完成配准任务。
[0063]
所述步骤(1)具体是指：设医学图像数据集中图像数量为n，其中，仅有1张图像包含标注，称其为浮动图像，其余n-1张图像无标注，称其为固定图像。
[0064]
如图1所示，所述步骤(2)具体包括以下步骤：
[0065]
(2a)所述配准模型采用voxel-morph网络架构，基于医学图像数据，训练将浮动图像配准至固定图像的配准模型；
[0066]
(2b)基于训练好的配准模型获得浮动图像配准至固定图像的形变场及逆形变场,如下式所示：
[0067][0068]
其中，atlas表示浮动图像，fix表示固定图像，φ表示形变场，表示逆形变场，运算符表示对图像施加形变场进行变换；
[0069]
(2c)施加逆形变场于浮动图像，得到解剖结构接近浮动图像、亮度分布接近固定图像的逆形变图像，如下式所示：
[0070][0071]
其中，aug表示逆形变图像；
[0072]
(2d)基于逆形变图像和浮动图像拟合真实数据的亮度场，并通过采样得到亮度采样图像,如下式所示：
[0073][0074]
其中，表示亮度采样图像，λ表示对浮动图像的采样系数，λ通过0-1均匀采样得到；
[0075]
(2e)基于配准模型生成的形变场拟合真实数据的形变场，并通过将采样后形变场分别施加于逆形变图像和浮动图像对应的标注上，得到双采样增广图像和对应伪标注,如下式所示：
[0076][0077]
其中，表示双采样增广图像，manual表示浮动图像对应的人工标注，表示双采样增广图像对应的伪标注，为采样后形变场，由形变场φ通过0-1均匀采样得来；
[0078]
(2f)将形变场施加于浮动图像对应的人工标注上，得到固定图像对应的伪标注，如下式所示：
[0079]
[0080]
其中，label表示固定图像对应的伪标注；
[0081]
(2g)将固定图像和其对应的伪标注作为一组新的弱监督数据，将双采样增广图像和其对应的伪标注作为一组新的弱监督数据，由两组新的弱监督数据作为新的弱监督分割数据，所述弱监督分割数据是指用于作为分割模型的输入的弱监督数据。
[0082]
如图2所示，所述步骤(3)具体包括以下步骤：
[0083]
(3a)所述分割模型采用u-net网络架构，将弱监督分割数据送入分割模型进行训练；
[0084]
(3b)由训练后的分割模型对浮动图像进行预测，得到浮动图像的预测标签；
[0085]
(3c)将浮动图像和其对应的预测标签作为新的弱监督数据，由新的弱监督数据作为新的弱监督配准数据，所述弱监督配准数据是指用于作为配准模型的输入的弱监督数据。
[0086]
所述步骤(4)具体包括以下步骤：
[0087]
(4a)将弱监督配准数据送入配准模型，再次进行训练；
[0088]
(4b)基于训练好的配准模型获得浮动图像配准至固定图像的形变场及逆形变场,如下式所示：
[0089][0090]
其中，atlas表示浮动图像，fix表示固定图像，φ表示形变场，表示逆形变场，运算符表示对图像施加形变场进行变换；
[0091]
(4c)施加逆形变场于浮动图像，得到解剖结构接近浮动图像、亮度分布接近固定图像的逆形变图像，如下式所示：
[0092][0093]
其中，aug表示逆形变图像；
[0094]
(4d)基于逆形变图像和浮动图像拟合真实数据的亮度场，并通过采样得到亮度采样图像,如下式所示：
[0095][0096]
其中，表示亮度采样图像，λ表示对浮动图像的采样系数，λ通过0-1均匀采样得到；
[0097]
(4e)基于配准模型生成的形变场拟合真实数据的形变场，并通过将采样后形变场分别施加于逆形变图像和浮动图像对应的标注上，得到双采样增广图像和对应伪标注,如下式所示：
[0098][0099]
其中，表示双采样增广图像，manual表示浮动图像对应的人工标注，表示双采样增广图像对应的伪标注，由形变场φ通过0-1均匀采样得来；
[0100]
(4f)将形变场施加于浮动图像对应的人工标注上，得到固定图像对应的伪标注，如下式所示：
[0101]
[0102]
其中，label表示固定图像对应的伪标注；
[0103]
(4g)将固定图像和其对应的伪标注作为一组新的弱监督数据，将双采样增广图像和其对应的伪标注作为一组新的弱监督数据，由两组新的弱监督数据作为新的弱监督分割数据。
[0104]
为了验证上述方法的效果，本实施例分别使用本方法生成增广数据和不使用本方法生成增广数据，在两种条件下训练配准网络和分割网络，具体如下表1所示：
[0105]
表1分割-配准协同模型是否采用本方法的结果比较
[0106][0107]
可见，使用本方法后，配准模型dice得分由74.82％上升至76.02％，分割模型dice得分由72.69％上升至78.80％，说明了本方法提高了少量人工标注场景下配准-分割协同方法的表现。
[0108]
为了验证双采样增广策略的有效性，本实施例将增广方法分别变为仅形变场采样和仅亮度场采样，并与双采样策略对比，在三种条件下训练分割网络，具体如下表2所示：
[0109]
表2分割模型不同增广策略的结果比较
[0110][0111]
可见，基于双采样的数据增广策略，分割模型dice得分最高，达到了78.80，明显优于单独采样策略，说明了本方法采用双采样的必要性和优越性。
[0112]
综上所述，本发明与现有技术相比，将基于形变场和亮度场双采样的数据增广技术与图像分割-配准协同技术紧密结合，从而大大提高小样本场景下的图像分割任务与图像配准任务的表现，既提高了脑图像的分割精度，也提高了脑图像的配准精度，为小样本场景下的医学图像分割与配准任务提供新方案。