基于双分割模型的医学图像分割方法

1.本发明属于医学图像处理技术领域，涉及一种噪声标注下的图像分割方法，具体是基于双分割模型的医学图像分割方法，可以用于含有噪声标签的图像分割等领域。


背景技术：

2.图像分割是指根据一定的相似性准则将图像划分成不同区域的过程，是后续图像处理的基础。传统的图像分割方法主要包括阈值法、边界检测法、区域法等；医学图像分割是将医学图像中具有特殊含义的部分单独分割出来。获取可靠医学图像的数据十分困难：首先，医学成像的大多数情况下，由于病人隐私的原因，禁止数据获取；第二，数据的精准标注成本高，标记的数据通常很稀缺；第三，由于患者病灶的位置、大小、形状和解剖结构的差异，即使是经验丰富的专家也很难在mris中准确识别多发性硬化症病灶。在这种情况下，如何利用少量标注数据、大量未标注数据或者粗标注的数据来开发模型进行快速迭代变得尤为重要。
3.由于在特征表示方面的优势，许多基于cnn的模型已经被开发出来用于处理医学图像分割任务。全卷积神经网络fcn最初被提出用于自然图像的语义分割，然后广泛应用于医学图像，如前列腺分割。u-net是最普遍的医学图像分割框架之一，它利用编码器提取的多尺度中间特征，通过跳跃连接将其输入到解码器中。大量的工作都致力于改进u-net的体系结构，从而产生了u-net的许多变体。上述工作都是基于训练图像是精确注释的。由于cnn通常有很多参数，并且很容易对训练数据进行过拟合，因此需要准确标记的数据来提高泛化的性能。与其他计算机视觉场景相比，为医学图像收集精细注释的像素级标签的成本更高。在模型训练时使用粗标注的数据有助于减轻收集精细标签的负担。另一方面，由于医学图像的视觉质量有限，目标区域与背景之间的边界模糊，专家对此类图像进行标注也存在很大的挑战。在上述情况下，只能使用粗标注的数据来学习分割模型。因此，在优化网络参数时，解决这些注释中噪声的副作用是必要的。
4.由于cnn能够记忆具有错误标记的样本，在使用粗标注的数据时，错误标记的像素样本会影响基于cnn的分割模型的学习。记忆错误标记的目标前景像素可能会导致背景区域的误判，而记忆错误标记的背景像素会削弱识别前景像素的辨别能力。因此，尽早排除那些错误标记的样本至关重要。
5.cnn倾向于在早期训练阶段学习干净样本，在相对较晚的训练阶段拟合噪声样本。受此启发，一些方法将损失相对较小的样本视为干净的数据，根据损失分析重新加权像素的重要性。然而，这些方法并没有充分探索所有训练数据的价值。粗略的标注通常会导致边界偏移的现象，即边界周围的一些像素存在错误的标签。在医学图像分割的许多应用中，例如超声图像中的黑色素细胞病变分割和ct中的肿瘤分割，目标和背景之间的对比度并不明显。直接忽略不正确的像素样本会损害分割模型的边界定位能力。申请公布号为cn112330561a，名称为“基于交互式前景提取与信息熵分水岭的医学图像分割方法”的专利申请，一种基于交互式前景提取与信息熵分水岭的医学图像分割方法，先消除图像中存在
的噪声及边缘，再通过分水岭算法对图像提取分割。该方法通过交互式前景提取法滤除图像边缘，结合信息熵与分水岭算法，能够将图像进行有效的分割，获得的肝脏ct图像完整，克服了因像素值分布不均、前景子图相互连接与个体间肝脏器官形状各异带来的干扰。但该模型对图像边界的处理过于粗糙，直接忽略边界信息会损害模型的边界定位能力，因此在实际应用中会严重存在目标与背景分割不完全的情况。
6.zhang等人于2020年在miccai上发表论文《characterizing label errors:confident learning for noisy-labeled image segmentation》公开了一种依赖于指数移动平均模型来识别错误标记的像素的医学图像分割方法，并为它们分配平滑的标签来完成医学图像的分割任务。但是，该方法无法防止学习错误标签记忆的积累，因此在实际应用中仍会严重存在目标与背景分割不完全的情况。


技术实现要素：

7.本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于双分割模型的医学图像分割方法，用于解决现有技术中存在的对含有噪声标签的图像分割精度低的问题。
8.为实现上述目的，本发明采取的技术方案包括如下步骤：
9.(1)获取训练样本集和测试样本集：
10.对从医学图像数据集中随机选取的m幅带有真实标签的医学图像进行数据预处理，并将预处理后的m1幅医学图像作为训练数据集，然后将剩余预处理后医学图像中m2幅的真实标签进行边界偏移后进行形状扭曲，生成噪声标签，再将训练数据集以及标注有噪声标签的m2幅医学图像组成包含d个像素的训练样本集x，将m3幅带有真实标签的医学图像作为测试样本集，其中，m≥500，m3＝m-m
1-m2；
11.(2)构建基于双分割模型的医学图像分割网络模型：
12.(2a)构建基于双分割模型的医学图像分割网络模型的结构：
13.构建包括两个并行排布的第一分割网络和第二分割网络的医学图像分割网络，其中第一分割网络包括u-net1网络以及与其连接且并行排布的第一噪声数据清理模块和第一可靠知识相互蒸馏模块，第二分割网络包括u-net2网络以及与其连接且并行排布的第二噪声数据清理模块和第二可靠知识相互蒸馏模块；u-net1网络和u-net2网络均包括顺次连接的由多个串联下采样模块组成的编码器和由多个串联上采样模块组成的解码器；第一可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的u-net1网络和可靠数据筛选模块，第二可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的u-net2网络和可靠数据筛选模块；改进的u-net1网络、改进的u-net2网络是在u-net1网络、u-net2网络的每个下采样模块中插入一个dropout层；第一噪声数据清理模块的输出和第二噪声数据清理模块的输出连接，第一可靠知识相互蒸馏模块的输出和第二可靠知识相互蒸馏模块的输出连接；
14.(2b)定义基于双分割模型的医学图像分割网络模型的损失函数：
15.定义第一分割网络、第二分割网络的损失函数分别为l1、l2：
16.[0017][0018]
λ(t)＝exp[-5(1-t/t
max
)2]
[0019][0020][0021][0022][0023]
其中，分别表示第一监督损失函数、第一一致性损失函数，分别表示第二监督损失函数、第二一致性损失函数，λ(t)是一致性损失lu的权重系数，exp(
·
)是以自然常数e为底的指数函数，t为迭代次数，t
max
为最大迭代次数；v1、v2分别是u-net1网络、u-net2网络分割预测的结果p1、p2与p1、p2对应的由m1个真实标签和m2个噪声标签组成的标签集的交叉熵损失值，集的交叉熵损失值，分别是第一噪声数据清理模块、第二噪声数据清理模块筛选出的干净像素的样本集；d
kl
(
·
)表示kullback-leibler散度，分别是第一可靠知识相互蒸馏模块、第二可靠知识相互蒸馏模块选择的可靠像素的样本集；q1是通过第一可靠知识相互蒸馏模块中的数据增强模块对p1的增强结果，q2是通过第二可靠知识相互蒸馏模块中的数据增强模块对p2的增强结果，是第一可靠知识相互蒸馏模块中的改进的u-net1网络分割预测的结果，是第二可靠知识相互蒸馏模块中的改进的u-net2网络分割预测的结果；
[0024]
(3)对基于双分割模型的医学图像分割网络模型进行迭代训练：
[0025]
(3a)初始化迭代次数为t，最大迭代次数为t
max
，t
max
≥50，第t次迭代u-net1网络、u-net2网络的参数分别为和并令t＝0；
[0026]
(3b)将训练样本集作为医学图像分割网络模型的输入，第一分割网络中的u-net1网络、第二分割网络中的u-net2网络分别对每个训练样本进行分割预测，得到u-net1对训练样本集的分割预测结果p1、u-net2对训练样本集的分割预测结果p2；
[0027]
(3c)第一分割网络、第二分割网络采用损失函数l1、l2，并通过p1、p2计算第一分割网络、第二分割网络的损失函数值l1、l2；然后计算l1对的偏导l2对的偏导最后采用adam优化器，通过分别对进行更新，得到本次迭代的医学图像分割网络模型；
[0028]
(3d)判断t≥t
max
是否成立，若是，得到训练好的的医学图像分割网络模型，否则，
令t＝t 1，并执行步骤(3b)；
[0029]
(4)获取医学图像的分割结果：
[0030]
选择训练好的的医学图像分割网络模型中第一分割网络、第二分割网络的分割预测结果中精度较高的分割网络作为最终的医学图像分割网络模型，并将测试样本集作为该网络模型输入进行前向传播，其中包含的u-net1网络或u-net2网络的输出结果即为所有测试样本的分割结果。
[0031]
本发明与现有技术相比，具有如下优点：
[0032]
1.本发明在对医学图像分割网络模型进行迭代训练的过程中，第一、第二可靠知识相互蒸馏模块从含有噪声标签的训练样本集中各自筛选出可靠像素的样本集，第一分割网络在第二可靠知识相互蒸馏模块筛选的可靠像素的样本集联合第二分割网络跨模型学习，第二分割网络在第一可靠知识相互蒸馏模块筛选的可靠像素的样本集联合第一分割网络跨模型学习，该策略能够更充分地探索训练样本集，使在不断优化网络的过程中对噪声标签具有更强的鲁棒性，更好的学习前景与背景分割边界的像素，加强模型的边界定位能力。
[0033]
2.本发明在对医学图像分割网络模型进行迭代训练的过程中，第一、第二噪声数据清理模块从含有噪声标签的训练样本集中各自筛选出干净像素的样本集，第一分割网络在第二噪声数据清理模块筛选的干净像素的样本集上学习，第二分割网络在第一噪声数据清理模块筛选的干净像素的样本上学习，经过多轮这种协同处理，能够逐步过滤出带有错误标签的样本，避免了现有技术因学习错误标签记忆的积累对图像分割精度的影响。
附图说明
[0034]
图1为本发明的实现流程图。
具体实施方式
[0035]
下面结合附图和具体实施例，对本发明作进一步详细描述。
[0036]
参照图1，本发明包括如下步骤。
[0037]
步骤1.构建基础数据集及测试数据集：
[0038]
对从医学图像数据集中随机选取的m幅带有真实标签的医学图像进行数据预处理，具体为：对每幅带有真实标签的医学图像进行零均值归一化，对归一化后的每幅医学图像进行以分割区域为中心对图像裁剪，得到m幅预处理的医学图像，并将预处理后的m1幅医学图像作为训练数据集，然后将剩余预处理后医学图像中m2幅的真实标签进行边界偏移后进行形状扭曲，生成噪声标签，再将训练数据集以及标注有噪声标签的m2幅医学图像组成包含d个像素的训练样本集x，将m3幅带有真实标签的医学图像作为测试样本集，其中，m＝13000，m1＝2298，m2＝9192，m3＝1510；
[0039]
步骤2.构建基于双分割模型的医学图像分割网络模型：
[0040]
构建包括两个并行排布的第一分割网络和第二分割网络的医学图像分割网络，其中第一分割网络包括u-net1网络以及与其连接且并行排布的第一噪声数据清理模块和第一可靠知识相互蒸馏模块，第二分割网络包括u-net2网络以及与其连接且并行排布的第二噪声数据清理模块和第二可靠知识相互蒸馏模块；第一可靠知识相互蒸馏模块包括顺次连
接的数据增强模块、改进的u-net1网络和可靠数据筛选模块，第二可靠知识相互蒸馏模块包括顺次连接的数据增强模块、改进的u-net2网络和可靠数据筛选模块；改进的u-net1网络、改进的u-net2网络是在u-net1网络、u-net2网络的每个下采样模块中插入一个dropout层，dropout层可以使分割网络产生的中间特征发生畸变，保证预测结果的局部平滑性，同时还可以帮助识别可靠的知识；第一噪声数据清理模块的输出和第二噪声数据清理模块的输出连接，第一可靠知识相互蒸馏模块的输出和第二可靠知识相互蒸馏模块的输出连接。
[0041]
在本实施例中，u-net1网络和u-net2网络，均包括输入层、四个顺次连接的下采样模块、四个顺次连接的上采样模块、输出层，其结构关系为：输入层
→
第一下采样模块
→
第二下采样模块
→
第三下采样模块
→
第四下采样模块
→
第一上采样模块
→
第二上采样模块
→
第三上采样模块
→
第四上采样模块
→
输出层；其中，输入层具体结构为：第一卷积
→
bn层
→
relu激活函数
→
第二卷积
→
bn层
→
relu激活函数；下采样模块具体结构：最大池化层
→
第一卷积
→
bn层
→
relu激活函数
→
第二卷积
→
bn层
→
relu激活函数；上采样模块具体结构：线性插值
→
计算与contracting path相对应特征图相差距离
→
padding
→
拼接
→
第一卷积
→
bn层
→
relu激活函数
→
第二卷积
→
bn层
→
relu激活函数；
[0042]
在本实施例中，u-net1网络和u-net2网络的具体参数均为：
[0043]
输入层、下采样模块以及上采样模块中各包含两个卷积，卷积核大小均为3
×
3，输入层卷积核数量为64和64，四个下采样模块卷积核数量分别为128、128、256、256、512、512、512和512，四个上采样模块卷积核数量分别为256、256、128、128、64、64、64和64，输出层的卷积核大小为1
×
1，卷积核数量为分割的类别个数。
[0044]
在本实施例中，改进的u-net网络包括输入层、四个顺次连接的下采样模块、四个顺次连接的上采样模块、输出层；输入层具体结构为：第一卷积
→
bn层
→
relu激活函数
→
第二卷积
→
bn层
→
relu激活函数；下采样模块具体结构：最大池化层
→
第一卷积
→
bn层
→
relu激活函数
→
第二卷积
→
bn层
→
relu激活函数
→
dropout层；上采样模块具体结构：线性插值
→
计算与contracting path相对应特征图相差距离
→
padding
→
拼接
→
第一卷积
→
bn层
→
relu激活函数
→
第二卷积
→
bn层
→
relu激活函数；
[0045]
步骤3.对基于双分割模型的医学图像分割网络模型进行迭代训练：
[0046]
(3a)初始化迭代次数为t，最大迭代次数为t
max
，第t次迭代u-net1网络、u-net2网络的参数分别为和并令t＝0，t
max
＝50；
[0047]
(3b)将训练样本集作为医学图像分割网络模型的输入，第一分割网络中的u-net1网络、第二分割网络中的u-net2网络分别对每个训练样本进行分割预测，得到u-net1对训练样本集的分割预测结果p1、u-net2对训练样本集的分割预测结果p2；
[0048]
(3c)计算第一分割网络的损失函数l1的值l1和第二分割网络的损失函数l2的值l2：
[0049]
(3c1)第一分割网络中的第一噪声数据清理模块采用交叉熵损失函数，并通过u-net1网络输出的分割预测结果p1与和p1对应的由m1个真实标签和m2个噪声标签组成的标签集计算交叉熵损失v1：
[0050][0051]
其中，y(i,k)∈{0,1}表示第i个像素是否为第k个类，k表示类总数，p1(i,k)为第i
个像素属于第k类的概率，然后通过v1对训练样本集进行筛选，得到一组具有干净像素的样本集
[0052][0053][0054]
其中，ρ(t)表示筛选干净样本的比例，在训练初期，ρ(t)接近于1，以防遗漏干净的像素样本，随着训练迭代次数的增加，ρ(t)逐渐减小，目的是在网络记住噪声标签前排除这些样本，τ是常数；由于空间变化、亮度变化可以模拟由于成像协议差异而引起的噪声和外观偏差，因此通过数据增强模块来扩展训练的样本集，第一可靠知识相互蒸馏模块中的数据增强模块对u-net1网络输出的分割预测结果p1以及训练样本集包含的医学图像x进行数据增强，考虑到随着训练的进行，网络对推理结果越来越有信心，第二阶段在数据增强模块中加入deform操作，以扩大可靠知识的使用，具体实现方法为：当t＜10时，对u-net1网络输出的分割预测结果p1和训练样本集包含的医学图像x进行随机翻转后添加高斯噪声，实现对p1和x的数据增强，否则，对u-net1网络输出的分割预测结果p1和训练样本集包含的医学图像x进行随机翻转后添加高斯噪声，再进行deform操作，实现对p1和x的数据增强；改进的u-net1网络对x的增强结果进行分割预测；由于可靠样本的模型预测对适度扰动具有不变性，第一可靠知识相互蒸馏模块中的可靠数据筛选模块根据p1的增强结果q1和的分割预测结果之间的一致性，筛选出一组可靠的像素集
[0055][0056]
ξ(t)＝min(μexp[-5(1-t/t
max
)2],1)
[0057]
其中，ξ(t)表示可靠样本的比例，μ是一个常数；
[0058]
(3c2)第二分割网络中的第二噪声数据清理模块采用交叉熵损失函数，并通过u-net2网络输出的分割预测结果p2与和p2对应的由m1个真实标签和m2个噪声标签组成的标签集计算交叉熵损失v2，然后通过v2对训练样本集进行筛选，得到一组具有干净像素的样本集同时第二可靠知识相互蒸馏模块中的数据增强模块对u-net2网络输出的分割预测结果p2以及训练样本集包含的医学图像x进行数据增强；改进的u-net2网络对x的增强结果进行分割预测；第二可靠知识相互蒸馏模块中的可靠数据筛选模块根据p2的增强结果q2和的分割预测结果之间的一致性，筛选出一组可靠的像素集
[0059]
(3c3)采用一致性损失函数，并通过和q2在可靠的像素集上计算第一一致性损失函数的值，通过和q1在可靠的像素集上计算第二一致性损失函数的值：
[0060]
[0061][0062]
其中，d
kl
(
·
)表示kullback-leibler散度，第一、第二分割网络分别在对方推断筛选的可靠的像素集上跨模型计算一致性损失，这有助于消除错误标签带来的影响；同时采用监督损失函数，并通过v1在干净像素的样本集上计算第一监督损失函数的值，通过v2在干净像素的样本集上计算第二监督损失函数的值：
[0063][0064][0065]
第一、第二分割网络相互配合，逐步过滤出标签不正确的样本；
[0066]
(3c4)通过和计算第一分割网络的损失函数l1的值l1，通过和计算第二分割网络的损失函数l2的值l2：
[0067][0068][0069]
λ(t)＝exp[-5(1-t/t
max
)2]
[0070]
其中，λ(t)是一致性损失lu的权重系数，exp(
·
)是以自然常数e为底的指数函数；
[0071]
(3d)计算l1对的偏导l2对的偏导最后采用adam优化器，通过分别对进行更新，得到本次迭代的医学图像分割网络模型；
[0072]
(3e)判断t≥t
max
是否成立，若是，得到训练好的的医学图像分割网络模型，否则，令t＝t 1，并执行步骤(3b)；
[0073]
步骤4.获取医学图像的分割结果：
[0074]
选择训练好的的医学图像分割网络模型中第一分割网络、第二分割网络的分割预测结果中精度较高的分割网络作为最终的医学图像分割网络模型，并将测试样本集作为该网络模型输入进行前向传播，其中包含的u-net1网络或u-net2网络的输出结果即为所有测试样本的分割结果。
[0075]
下面结合仿真实验，对本发明的技术效果作进一步的描述。
[0076]
1.仿真条件和内容：
[0077]
仿真实验是基于pytorch在nvidia tesla v100 gpu上进行，用adam对网络参数进行优化，学习率的初始值为0.001，μ＝0.8，τ＝0.005，仿真实验中用到的医学图像数据集为lidc-idr数据集，由1010个肺部患者的1018个肺部ct扫描组成，ct分辨率在0.4609mm～0.9766mm之间，由四位专家手工标注病灶注释，随机选择一个非空注释作为每个图像的标签，以病变区域为中心将图像裁剪为128
×
128像素，分别使用11490张和1510张图像进行训
练和测试，对整个数据集80％的标签进行边界偏移后进行形状扭曲。
[0078]
采用三个指标评价分割算法：1)骰子相似系数dsc衡量分割后的掩码与各类地面真实值的重叠率，越大越好；2)平均表面距离asd用于评估分割结果轮廓与地面真实值之间的偏差，越小越好；3)平均表面重叠aso测量分割结果轮廓与地面真实值的重叠率，越大越好。
[0079]
本发明与现有的cle方法：“characterizing label errors:confident learning for noisy-labeled image segmentation”进行对比仿真，其结果如表1所示。
[0080]
表1
[0081]
方法dscasdasocle方法60.042.28977.98本发明方法71.891.87484.35
[0082]
结合表1可以看出，本发明的dsc比cle方法高11.85％，这个指标高于现有技术方法，证明本发明可以有效提高存在噪声标签的图像分割的精度，是一种性能优异的基于双分割模型的医学图像分割方法。