基于主动轮廓模型的无监督医学图像分割方法和系统与流程

1.本发明涉及一种计算机视觉和图像处理领域的方法，具体地，涉及一种基于主动轮廓模型的无监督医学图像分割方法和系统。


背景技术：

2.语义分割任务是计算机视觉中关键任务，具有非常重要的意义同时也极具挑战性。传统方法例如主动轮廓模型、graphcut模型等在不依赖大量的数据和人工标注条件下，可以通过图像的底层信息以及人为设定的先验信息等能够给出目标区域的精确轮廓，被广泛的应用于医学影像检测等实际场景中。但由于其难以提取高层次的语义信息，许多场景下仍需要人工辅助，增添了额外的工作量。
3.近年来，随着深度学习技术的迅速发展，使用深度神经网络进行语义分割的方法逐渐被提出，相较于传统方法，深度学习方法能够通过卷积神经网络等方式提取高层次语义，具有更高的准确率以及更好的泛化性。但使用深度神经网络实现语义分割任务往往需要人工标注作为监督，而图像数据的人工标注往往极为耗费人力物力财力，尤其涉及到医学背景时，需要大量专业人员来得到准确的人工标注。为了解决这一问题，无监督分割技术近年来被广泛研究。目前，很多无监督分割方法主要通过领域适应等迁移学习的方式，在已有标注的数据集上进行训练再进一步迁移到目标数据集上。但是迁移学习不可避免地存在对源数据以及目标数据之间差异的敏感性，当数据差异较大时很难保证性能。
4.经检索，中国发明专利公开号为202110344122.2，发明名称为：一种基于对抗网络的无监督医学图像分割方法，其中：首先根据形状先验信息随机生成或者利用第三方数据集得到一组辅助掩码，将辅助掩码与未标注的训练图像送入循环一致性对抗网络中生成二元掩码，并利用基于变分自编码的判别器和基于判别器反馈的生成器校正模块提高二元掩码质量。得到训练图像的二元掩码后，利用噪声加权dice损失函数进行迭代式训练，得到最终的高精度分割模型。该发明能解决卷积神经网络在医学图像分割的训练过程中需要大量人工标注的问题，克服无监督分割方法性能低、鲁棒性差等问题，有效地提高了无监督医学图像分割算法的性能。
5.但是上述的无监督医学图像分割算法依赖于边缘检测、阈值分割等特征相对单一的传统方法，在针对皮肤癌、视网膜病变等目标区域与周围组织存在明显差异的场景下能够取得准确的结果，但遇到目标区域与周围组织比较接近或者交界模糊时，例如心室分割等场景，准确度会严重下降。基于小样本学习的监督分割算法通常能够保证结果比较准确，但不可避免的要求提供一定数量的人工标注，人工标注的数量对最终结果的准确度具有很大影响。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种基于主动轮廓模型的无监督医学图像分割方法和系统，结合传统方法提取底层信息与深度学习方法提取高层语义信息的
优势，在不依赖人工标注的条件下，通过传统方法生成伪标签用于逐步训练神经网络的同时根据神经网络的输出结果不断调整主动轮廓模型的参数，在不断循环迭代的过程中使网络得到精细化训练，同时也引入了质量评价网络避免误差累积，保证了迭代过程最终收敛。
7.根据本发明的第一方面，提供一种基于主动轮廓模型的无监督医学图像分割方法，包括：
8.s1,根据少量的实际数据对主动轮廓模型的初始化参数进行人工调整，得到该部分数据的目标区域轮廓；
9.s2,根据s1得到的所述目标区域轮廓生成伪标签，对分割网络进行初始训练，使分割网络能对实际数据进行粗糙的预测；
10.s3,对人工设定的初始化参数进行随机调整，实现对主动轮廓模型进行不同的初始化，生成质量不同的轮廓；
11.s4,根据与s3人工调整得到的轮廓之间差异大小，将s3随机得到的质量不同的轮廓分成正负样本，用于训练二分类网络；
12.s5,对于剩余大量的实际数据，使用上述s2经过初始训练的分割网络进行预测，得到目标区域的大致概率分布；
13.s6,根据s5得到的目标区域的大致概率分布，针对不同数据结合预定义的规则进行主动轮廓模型不同程度的参数调整和更新；
14.s7,针对不同数据使用s6更新后参数对主动轮廓模型进行初始化，生成该数据的目标区域轮廓，得到该数据的伪标签；
15.s8,通过s4预先训练的二分类网络对得到的伪标签进行质量评价，只保留高质量的伪标签；
16.s9,使用s8保留的高质量的伪标签对分割网络进一步训练，逐渐增强分割网络预测结果的准确率；
17.s10,依次序循环上述s5
‑
s10，直至分割网络收敛，从而使分割网络在经过不断迭代训练后得到更高的准确率，实现医学图像的准确分割。
18.可选地，所述s2中，对s1得到的目标区域轮廓使用翻转、剪切、旋转和弹性形变的方式进行数据增强，利用增强过后的数据和对应的标注对分割网络进行初始训练，使分割网络能够给出目标区域的粗糙预测。
19.可选地，所述s3，包括：
20.在s1人工调整主动轮廓模型的参数基础上，对各个参数值进行随机增减；
21.所述主动轮廓模型基于这些随机增减改变后的参数，随机组合来生成新的轮廓，得到质量不同的轮廓。
22.可选地，所述s4，包括：
23.计算s3得到的质量不同的轮廓与s1得到的原有轮廓之间的dice值；
24.设置第一阈值和第二阈值，将所述dice值大于第一阈值的轮廓即与原有轮廓相差较小的轮廓定义为正样本，将dice值小于第二阈值的轮廓即与原有轮廓相差较大的轮廓定义为负样本；
25.采用所述正负样本训练二分类网络，用于判断一个轮廓是否是质量较差的轮廓。
26.可选地，所述s6中，在原有人工设置的主动轮廓模型经验参数上根据s5得到的预
测结果进行更新，通过设计自动更新策略来避免人工调整带来的工作量。
27.进一步的，当所述主动轮廓模型为morphsnakes主动轮廓模型时，参数更新涉及初始轮廓、光滑度、扩张力以及图像预处理中方差和均值五个参数，其中：
28.方差和均值针对某一类图像人工设置经验值，在使用时直接采用经验值，过程中不需要更新；
29.初始轮廓根据s2预训练网络粗糙的预测结果来进行更新；
30.光滑度与目标区域本身是否光滑有关，根据目标区域特性提前人工设置；
31.扩张力代表了扩张趋势的强弱，根据s2预训练网络的输出结果估算目标区域面积的大小，选取符合设定置信度范围的预测结果的部分估算面积，与先前人工设定的标准情况进行比较，根据估算面积与标准情况面积的比值缩放设定的扩张力，从而得到更新后的扩张力参数。
32.可选地，所述s7中，生成该数据的目标区域轮廓，其中，轮廓内部区域设置为1，外部区域设置为0，即得到该图像的伪标签。
33.根据本发明的第二方面，提供一种基于主动轮廓模型的无监督医学图像分割系统，包括：
34.主动轮廓模型初始化模块：根据少量的实际数据对主动轮廓模型的初始化参数进行人工调整，得到该部分数据的目标区域轮廓；
35.分割网络初始训练模块：对所述主动轮廓模型初始化模块得到的目标区域轮廓生成伪标签，对分割网络进行初始训练，使网络能对实际数据进行粗糙的预测；
36.随机标签生成模块：对所述主动轮廓模型初始化模块中人工设定的初始化参数进行随机调整来对主动轮廓模型进行不同的初始化，生成质量不同的轮廓；
37.质量评价网络训练模块：对所述随机标签生成模块中根据与人工调整得到的轮廓之间差异大小将随机得到的轮廓分成正负样本，用所述正负样本训练二分类网络；
38.分割网络预输出模块：对所述分割网络初始训练模块中经过初始训练的分割网络对其他剩余大量的实际数据进行预测，得到目标区域的大致概率分布；
39.主动轮廓模型参数更新模块：根据所述分割网络预输出模块得到的目标区域的大致概率分布，针对不同数据结合预定义的规则进行主动轮廓模型不同程度的参数调整和更新；
40.伪标签生成模块：对所述主动轮廓模型参数更新模块中得到的不同数据使用更新后参数来对主动轮廓模型进行初始化，生成该数据的目标区域轮廓，得到该数据的伪标签；
41.标签筛选模块：对所述伪标签生成模块中得到的伪标签，通过预先训练的所述二分类网络进行质量评价，保留高质量的伪标签；
42.分割网络精细化训练模块：采用所述标签筛选模块筛选保留的伪标签对分割网络进一步训练，逐渐增强分割网络预测结果的准确率；
43.可选地，所述系统还包括循环迭代模块，所述循环迭代模块对所述分割网络预输出模块、主动轮廓模型该参数更新模块、伪标签生成模块、标签筛选模块以及分割网络精细化训练模块进行循环迭代，直至分割网络收敛，从而使分割网络在经过不断迭代训练后得到更高的准确率。
44.根据本发明的第三方面，提供一种医学图像分割终端，包括存储器、处理器及存储
在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够用于执行所述的基于主动轮廓模型的无监督医学图像分割方法。
45.与现有技术相比，本发明实施例具有如下至少一种有益效果：
46.本发明通过利用结合传统方法与深度学习方法，通过传统方法主动轮廓模型来充分利用图像的底层信息，通过深度学习方法分割网络来提取图像的高层语义信息。本发明通过设计一个循环迭代过程，利用主动轮廓模型来生成分割网络训练所需的伪标签，利用分割网络的粗糙预测结果来对主动轮廓模型进行更新调整，实现了在仅需要人工设置少量参数的情况下，完成对医学图像的无监督分割，大大避免了像素级人工标注带来的高昂成本。
附图说明
47.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
48.图1为本发明一实施例中方法流程图；
49.图2为本发明一实施例中系统原理图；
50.图3为本发明一实施例的实施效果示意图。
具体实施方式
51.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
52.如图1所示，为本发明一种基于主动轮廓模型的无监督医学图像分割方法实施例的流程图，该方法通过基于人工设置参数的主动轮廓模型生成部分数据的标注用于分割网络的预训练。在分割网络得到预训练后，针对大量不含有标注的新图像，首先使用分割网络进行预测，得到粗糙的预测结果。根据该粗糙的预测结果按照设定策略对主动轮廓模型的参数进行自动调整，利用图像底层信息得到更加精确的目标区域轮廓。在经过质量评价网络对生成轮廓进行筛选后，使用较高质量的轮廓作为伪标签进一步对分割网络进行训练。不断循环迭代该过程，分割网络得到不断的训练，即可实现不依赖人工标注的情况下对图像进行分割。本发明通过引入医学中常用的主动轮廓模型，考虑到了图像灰度变化、表面光滑度以及边缘等多个角度出发，并且结合初始位置等初始化参数区分组织相近的不同区域，从而在目标区域与周围组织比较接近或者交界模糊时也能具有很好的鲁棒性，训练得到的网络在心室分割等较为复杂的场景也能保证准确度。
53.具体的，参照图1，本优选实施例中的基于主动轮廓模型的无监督医学图像分割方法，包括如下步骤：
54.s1,主动轮廓模型初始化步骤：根据少量的实际数据对主动轮廓模型的初始化参数进行人工调整，得到该部分数据的目标区域轮廓；
55.本实施例中，主动轮廓模型采用常见的主动轮廓模型例如morphsnakes模型等，需要给定位置、初始轮廓和光滑度等参数进行初始化，从而对具有模糊边界的目标区域给出
精确的轮廓。在经验参数设置的基础上，结合实际情况可以针对少量实际数据进行人工调整，设置更加合适的初始参数，从而得到这些数据上相对精确的目标区域的轮廓。
56.s2,分割网络初始训练步骤：通过主动轮廓模型得到的少量轮廓生成伪标签，结合数据增强等方式对分割网络进行初始训练，使网络能对实际数据进行粗糙的预测；
57.本实施例中，分割网络采用常见的医学图像分割网络如u
‑
net网络等，需要已经标注的数据进行训练。利用主动轮廓模型初始化步骤中得到的轮廓，使用翻转、剪切、旋转和弹性形变的方式进行数据增强，利用增强过后的数据和对应的标注对分割网络进行初始训练，使分割网络能够给出目标区域的粗糙预测。
58.s3,随机标签生成步骤：通过对s1人工设定的初始化参数进行随机调整来对主动轮廓模型进行不同的初始化，生成质量不同的轮廓；
59.本实施例中，主动轮廓模型的参数基于主动轮廓模型初始化步骤中人工调整的参数，基于该参数得到的轮廓为原有轮廓。在这些参数的基础上对各个参数值进行随机增减，然后主动轮廓模型基于这些改变后的参数随机组合来生成新的轮廓，计算这些轮廓与原有轮廓之间的dice值，将dice值大于0.8(第一阈值)即与原有轮廓相差较小的轮廓定义为正样本，将dice值小于0.5(第二阈值)即与原有轮廓相差较大的轮廓定义为负样本。当然，在其他实施例中也可以设置其他的阈值大小。
60.s4,质量评价网络训练步骤：根据s3与人工调整得到的轮廓之间差异大小将随机得到的轮廓分成正负样本，用这些样本训练二分类网络用于后续步骤对生成轮廓的质量评价；
61.本实施例中，质量评价网络采用常见的二分类网络如mobilenet网络等，需要通过已标注的正负样本进行训练。通过生成的轮廓正负样本可以训练一个二分类网络用于判断一个轮廓是否是质量较差的轮廓。
62.s5,分割网络预输出步骤：对于其他大量的实际数据，使用上述s2经过初始训练的分割网络进行预测，得到目标区域的大致概率分布；
63.本实施例中，为了能够利用主动轮廓模型产生更多的伪标签用于训练分割网络，同时避免高昂的人工成本，这里利用经过初步训练的分割网络对数据进行目标区域的预测，通过粗糙的预测结果来帮助主动轮廓模型自动进行针对该数据的参数调整。
64.s6,主动轮廓模型参数更新步骤：根据s5得到的目标区域概率分布，针对不同数据结合预定义的规则进行不同程度的参数调整和更新；
65.本实施例中，主动轮廓模型需要初始轮廓等参数来进行初始化，为了保证在新图像上也能获得较为准确的结果，需要在原有人工设置的经验参数上根据上述得到的预测结果进行更新，通过设计自动更新策略来避免人工调整带来的工作量。
66.s7,伪标签生成步骤：针对s6不同数据使用更新后参数对主动轮廓模型进行初始化，生成该数据的目标区域轮廓，得到该数据的伪标签；
67.本实施例中，根据更新后的参数对主动轮廓模型进行初始化，得到图像目标区域的轮廓，轮廓内部区域设置为1，外部区域设置为0，即得到该图像的伪标签。
68.s8,标签筛选步骤：通过s4预先训练的二分类网络对得到的为标签进行质量评价，只保留高质量的伪标签用于后续步骤；
69.本实施例中，使用预先训练的质量评价二分类网络对得到的伪标签进行分类，将
置信度大于0.5(阈值可以设置)的保留作为下一步训练的伪标签，将其他质量较差的伪标签筛除。
70.s9,分割网络精细化训练步骤：使用s8筛选过后的伪标签对分割网络进一步训练，逐渐增强网络预测结果的准确率；
71.s10,循环迭代步骤：依次序循环上述s5
‑
s10，即：分割网络预输出步骤、主动轮廓模型该参数更新步骤、伪标签生成步骤、标签筛选步骤以及分割网络精细化训练步骤，直至分割网络收敛，从而使分割网络在经过不断迭代训练后得到更高的准确率。
72.本实施例中，通过s10的循环迭代步骤，分割网络在进一步训练后可以得到更加准确的结果，针对新图像可以给出更加精确地预测结果，利用该预测结果可以得到更好的参数更新从而得到更多的高质量伪标签，不断迭代该过程直到网络的输出稳定或者在验证集上的性能不再提升。
73.对应于上述方法，本发明还提供一种基于主动轮廓模型的无监督医学图像分割系统的较优实施例，包括：
74.主动轮廓模型初始化模块：根据少量的实际数据对主动轮廓模型的初始化参数进行人工调整，得到该部分数据的目标区域轮廓；
75.分割网络初始训练模块：对主动轮廓模型初始化模块得到的少量轮廓生成伪标签，结合数据增强等方式对分割网络进行初始训练，使网络能对实际数据进行粗糙的预测；
76.随机标签生成模块：对的主动轮廓模型初始化模块中人工设定的初始化参数进行随机调整来对主动轮廓模型进行不同的初始化，生成质量不同的轮廓；
77.质量评价网络训练模块：对随机标签生成模块中根据与人工调整得到的轮廓之间差异大小将随机得到的轮廓分成正负样本，用这些样本训练二分类网络用于后续模块对生成轮廓的质量评价；
78.分割网络预输出模块：对分割网络初始训练模块中经过初始训练的分割网络对其他大量的实际数据进行预测，得到目标区域的大致概率分布；
79.主动轮廓模型参数更新模块：根据得到的目标区域概率分布，针对不同数据结合预定义的规则进行不同程度的参数调整和更新；
80.伪标签生成模块：对分割网络预输出模块中得到的不同数据使用更新后参数来对主动轮廓模型进行初始化，生成该数据的目标区域轮廓，得到该数据的伪标签；
81.标签筛选模块：对伪标签生成模块中得到的伪标签，通过预先训练的二分类网络对得到的为标签进行质量评价，只保留高质量的伪标签用于后续步骤；
82.分割网络精细化训练模块：对标签筛选模块中的到的筛选过后的伪标签对分割网络进一步训练，逐渐增强网络预测结果的准确率；
83.循环迭代模块：对的分割网络预输出模块、主动轮廓模型该参数更新模块、伪标签生成模块、标签筛选模块以及分割网络精细化训练模块进行循环迭代，直至分割网络收敛，从而使网络在经过不断迭代训练后得到更高的准确率。
84.上述基于主动轮廓模型的无监督医学图像分割系统各个模块实现的技术特征可以与上述基于主动轮廓模型的无监督医学图像分割方法中对应步骤实现的技术特征相同。
85.具体地，主动轮廓模型初始化模块,分割网络初始训练模块,随机标签生成模块,质量评价网络训练模块,分割网络预输出模块,主动轮廓模型参数更新模块,伪标签生成模
块,标签筛选模块,分割网络精细化训练模块,循环迭代模块组成的无监督分割系统框架如图2所示。
86.为了实现主动轮廓模型参数更新，需要在原有人工设置的经验参数上根据上述得到的预测结果进行更新，通过设计自动更新策略来避免人工调整带来的工作量。针对morphsnakes模型的更新操作具体如下：
87.其中方差和均值可以针对ct或者mri等某一类图像人工设置经验值，在使用时直接采用经验值，过程中不需要更新。
88.初始轮廓根据预训练网络粗糙的预测结果来进行更新。由于网络输出结果往往不够精确，所以只取最终输出结果置信度在20％且大于0.5的区域，用椭圆拟合该区域得到该图像的初始轮廓。
89.光滑度与目标区域本身是否光滑有关，心室区域边缘往往光滑而大脑区域边缘往往较曲折，因此可以根据目标区域特性提前人工设置。
90.扩张力(气球力)代表了扩张趋势的强弱，较大的区域面积往往需要更强的扩张。因此可以根据预训练网络的输出结果估算目标区域面积的大小，选取预测结果置信度大于0.5的部分计算面积，与先前人工设定的标准情况进行比较，根据估算面积与标准情况面积的比值缩放设定的扩张力，从而得到更新后的扩张力参数。
91.在本发明另一实施例中，还提供一种医学图像分割终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够用于执行以上任一项实施例中的基于主动轮廓模型的无监督医学图像分割方法。
92.综上，本发明上述实施例通过基于人工设置参数的主动轮廓模型生成部分数据的标注用于分割网络的预训练。在分割网络得到预训练后，针对大量不含有标注的新图像，首先使用分割网络进行预测，得到粗糙的预测结果。根据该粗糙的预测结果按照设定策略对主动轮廓模型的参数进行自动调整，利用图像底层信息得到更加精确的目标区域轮廓。在经过质量评价网络对生成轮廓进行筛选后，使用较高质量的轮廓作为伪标签进一步对分割网络进行训练。不断循环迭代该过程，分割网络得到不断的训练，即可实现不依赖人工标注的情况下对图像进行分割。
93.图3为分割结果比较。其中(a)列为mri图像，(b),(c),(d)列为现有方法在无标注或者极少量标注情况下的分割结果，(e)列为无标注情况下本发明实施例的分割结果，(f)列为ground truth结果。得益于主动轮廓模型产生的伪标签往往具有更光滑的边界，可以看到本发明实施例分割结果的边界更加光滑清晰，更加接近准确的结果。
94.综上，本发明实施例实现了无监督情况下的医学图像分割，在保证准确率的情况下极大地避免对成本高昂的数据标注依赖，具有很好的泛化性。
95.本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
96.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
97.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
98.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
99.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
100.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
101.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。