基于区域增强的细胞核分割方法与流程

1.本发明涉及智能病理诊断的技术领域，尤其是涉及一种基于区域增强的细胞核分割方法。


背景技术：

2.宫颈癌正对全世界女性的健康造成巨大威胁，世界上有不少人因为患上宫颈癌而死亡。为了研究宫颈癌，细胞病理学家需要筛查异常细胞，但是从宫颈细胞学标本中筛查异常细胞是一项繁琐而费力的工作，因此，有必要开发自动筛查技术来协助细胞病理学家对宫颈涂片进行诊断。其中，细胞核分割是自动筛查诊断的一项关键任务，因为细胞核提供了染色质的丰富程度和细胞核的形态信息。
3.基于深度学习的图像分割技术广泛应用于医学图像的各个领域中，比如ct、mri、病理图像等；在医疗图像分割领域中，最著名的语义分割网络方法是u-net，u-net受到fcn的启发，通过连接中间的下采样和上采样路径来保存上下文信息，但u-net中的kip-connection直接融合了低级特征和高级特征，容易造成语义鸿沟；因此在unet 和unet 3 中，重新设计了skip connection，从而将低级特征与来自不同尺度特征图的高级特征结合起来；为了增强u-net的特征学习能力，一些新的模块被提出，从而代替原来的块；有人提出了deep residual u-net(resunet)，该网络由残差单元构建，具有与u-net相似的架构；有人提出ce-net模型，将u-net的编码模块替换为预训练的resnet，并在该模型中添加了a context extractor模块以增强模型特征提取能力；有人在u-net的架构中添加多尺度输入和深度监督，提出了一种改进的u-net框架，称为m-net，用于联合视盘和杯分割；有人提出了resunet 模型，它是标准resunet的增强版本，将附加层集成到网络中；有人提出了由两层u形结构嵌套组成的u
2-net，并且结合了residual u-blocks，从而能够从不同的尺度捕获更多的上下文信息；但是由于领域的差异，不能直接将这些方法应用于细胞核的分割任务上；而目前有关于细胞核的分割方法包括了基于手工特征的方法。大多数现有的基于手工特征的细胞核分割方法结合了阈值、形态学操作、区域积累、带标记分水岭。
4.在实现本技术过程中，发明人发现该技术中至少存在如下问题：传统的细胞核分割方法依赖细胞核和背景之间的差异或者依赖细胞核的预定义几何形状来生成标记；若依赖细胞核和背景之间的差异，会产生不可靠的结果，不适用于细胞核拥挤、重叠、遮挡等具有挑战性场景的图像，从而难以准确分割细胞核的边界；若依赖细胞核的预定义几何形状来生成标记，由于不同细胞类型或者不同疾病类型的细胞核在形状、大小和染色质模式方面均存在较大的差异，使得标记的准确性较低，从而导致准确分割细胞核边界的难度较大。对此，有待进一步改进。


技术实现要素：

5.为了准确分割细胞核的边界，本技术提供一种基于区域增强的细胞核分割方法。
6.本技术提供的一种基于区域增强的细胞核分割方法采用如下的技术方案：
一种基于区域增强的细胞核分割方法，所述方法包括以下步骤：制备训练数据集，获得细胞核图像；搭建细胞核分割网络模型，加载细胞核图像，获得突出显示的显著特征，其中，所述细胞核分割网络模型包括用于检测细胞核边缘并生成轮廓特征的轮廓分支、用于完成核的语义分割任务并结合轮廓分支预测得到细胞核提议区域的粗分割分支，以及用于处理区域增强后的图片的精细分割分支；基于所述细胞核分割网络模型的显著特征进行自动识别操作；训练并测试所述细胞核分割的网络模型，分割细胞核。
7.通过采用上述技术方案，能够检测细胞核边缘并生成轮廓特征，完成语义分割任务并结合预测得到细胞核提议区域，并且利用该细胞核提议区域对细胞核图像进行相关区域增强，从而准确分割细胞核的边界，达到获取精细的分割结果的目的。
8.可选的，所述制备训练数据集，获得细胞核图像，具体包括：生成细胞核图像：选取细胞核图像，所述细胞核图像来自于包括脱落细胞的细胞图片，所述脱落细胞采集自不同年龄、不同病情的人群，其中包含tbs诊断标准的所有病变级别；创建标注文件，标记细胞核，圈画细胞核轮廓，获得用于表示细胞核轮廓位置的轮廓像素位置信息，保存轮廓像素位置信息至标注文件中；生成标记图：创建一张灰度值为0的单通道图像；读取所述标注文件中的轮廓像素位置信息；将每个细胞核区域的灰度值设置为255；裁切所述细胞核图像和标记图，直至细胞核图像和标记图的像素相一致。
9.通过采用上述技术方案，能够生成细胞核图像和标记图，并确保细胞核图像和标记图的像素相一致，便于实现细胞核边界的准确分割。
10.可选的，所述粗分割分支包括编码器e1、解码器d1，所述轮廓分支包括编码器e2、解码器d2，所述精细分割分支包括编码器e3、解码器d3，所述搭建细胞核分割网络模型，加载细胞核图像，获得突出显示的显著特征，具体包括：搭建包括轮廓分支、粗分割分支以及精细分割分支的atu-net模型，在粗分割分支、轮廓分支以及精细分割分支中均添加aspp模块，所述aspp包括一个1
×
1卷积和三个3
×
3空洞卷积，三个所述3
×
3空洞卷积的间隔跨度分别是4、8、12；加载细胞核图像到atu-net模型，通过解码器d1输出细胞核的预测结果，通过解码器d2输出细胞核轮廓的预测结果；把解码器d1的输出、解码器d2的输出分别与细胞核图像做元素乘操作操作，获得增强后的细胞核图像；将所述增强后的细胞核图像与原来的细胞核图像均输入到精细分割分支；通过编码器e1、编码器e2以及编码器e3的输入特征x对输出进行拼接操作，获得拼接操作后的特征，并通过1
×
1卷积将特征通道数下降为原来的特征通道数的通过注意力门过滤所述拼接操作后的特征，获得突出显示的显著特征，并通过跳跃连接操作与解码器d3连接，获得边缘轮廓特征和分割语义特征。
11.通过采用上述技术方案，能够获取丰富的边缘轮廓特征和分割语义特征，并且隐式抑制输入特征x中的不相关区域，同时，突出显示显著特征，从而提高分割细胞核的准确性。
12.可选的，所述基于所述细胞核分割网络模型的显著特征进行自动识别操作，具体包括：通过aspp模块替换atu-net模型中编码器与解码器之间的普通卷积操作，获得空间信息；通过门控信号g获得上下文信息，通过分析门控信号g提供的上下文信息来选择空间区域；通过注意力门计算获得注意力系数α，所述注意力系数α用于识别图像区域并修剪特征响应从而保留与分割细胞核任务相关的激活；通过注意力系数α对输入特征x
l
进行缩放，其中，α∈[0,1]，x
l
表示x的第l层的输入特征；通过采用aspp在不同尺度上重新采样特征来分类任意尺度的区域，从而实现自动识别操作。
[0013]
通过采用上述技术方案，能够对任意尺度的区域实现准确有效的分类，从而进一步提高分割细胞核的准确性。
[0014]
可选的，所述aspp还包括全局平均池化，所述通过采用aspp在不同尺度上重新采样特征来分类任意尺度的区域，具体包括：获取图像级特征，通过1
×
1卷积和批量正则化处理所述图像级特征；通过特征双线性将所述图像级特征上采样到所需的空间维度；连接所述aspp所有分支的结果特征，并通过1
×
1卷积生成输出特征。
[0015]
通过采用上述技术方案，能够防止特征之间拟合，从而进一步提高细胞核边界分割的准确性。
[0016]
可选的，在通过1
×
1卷积生成输出特征中，具体通过以下公式计算获得注意力门的输出参数的输出参数其中，表示注意力门的输出特征，表示第l层i位置的输入特征，f
l
表示对应于第l层中的特征图数量，表示注意力系数α的第l层i位置的值；具体通过以下公式计算获得注意力系数具体通过以下公式计算获得注意力系数具体通过以下公式计算获得注意力系数其中，σ1与σ2表示两个相同的sigmoid激活函数，θ
att
表示注意力门的特征，线性变换偏置项b
ψ
∈r，
[0017]
通过采用上述技术方案，能够计算获得注意力门的输出特征从而便于实现细胞核边界的准确分割。
[0018]
可选的，所述训练并测试所述细胞核分割的网络模型，分割细胞核，具体包括：通过diceloss和交叉熵损失并结合如下公式计算获得l
fine
、l
rough
以及l
contour
，实现训练并测
试所述细胞核分割的网络模型：其中，l
fine
表示精细分割分支的损失函数，l
rough
表示粗分割分支的损失函数，l
contour
表示轮廓分支的损失函数，gi表示标记图片，pi表示预测概率，i表示像素值大小，n表示类别的数量，ε表示用于过滤异常数据的正则化项；通过如下公式计算获得细胞核分割网络模型的总目标函数，并结合所述总目标函数，分割细胞核：l
total
＝λ1l
fine
λ2l
rough
λ3l
contour
，其中，l
total
表示总目标函数，λi表示对应的损失函数赋予权重的标量。
[0019]
通过采用上述技术方案，能够计算获得细胞核分割网络模型的总目标函数，从而有利于实现细胞核边界的准确分割。
[0020]
综上所述，本技术包括以下至少一种有益技术效果：1.能够检测细胞核边缘并生成轮廓特征，完成语义分割任务并结合预测得到细胞核提议区域，并且利用该细胞核提议区域对细胞核图像进行相关区域增强，从而准确分割细胞核的边界，达到获取精细的分割结果的目的；2.能够获取丰富的边缘轮廓特征和分割语义特征，并且隐式抑制输入特征x中的不相关区域，同时，突出显示显著特征，从而提高分割细胞核的准确性。
附图说明
[0021]
图1是本技术中一种实施例的方法流程示意图。
[0022]
图2是本技术中一种实施例的s1的子流程图。
[0023]
图3是本技术中一种实施例的s13的子流程图。
[0024]
图4是本技术中一种实施例的s2的子流程图。
[0025]
图5是本技术中一种实施例的atu-net模型的总体示意图。
[0026]
图6是本技术中一种实施例的分支的示意图。
[0027]
图7是本技术中一种实施例的分支的示意图。
[0028]
图8是本技术中一种实施例的s3的子流程图。
[0029]
图9是本技术中一种实施例的s35的子流程图。
[0030]
图10是本技术中一种实施例的注意力门的示意图。
[0031]
图11是本技术中一种实施例的元素乘积的示意图。
[0032]
图12是本技术中一种实施例的s4的子流程图。
具体实施方式
[0033]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图1-12以及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0034]
本技术实施例公开一种基于区域增强的细胞核分割方法。
[0035]
如图1所示，该方法包括以下步骤：
s1，制备训练数据集，获得细胞核图；如图1和图2所示，s1包括s11、s12、s13以及s14这三个子步骤，具体包括：s11，生成细胞核图像；具体来说，从100个来自于宫颈细胞染色玻片且包含有脱落细胞的细胞图片中，选取细胞核图像；脱落细胞采集自不同年龄、不同病情的人群，在本实施例中，不同年龄表示二十五岁至六十五岁之间，在其他实施例中，还可以表示大于六十五岁的年龄段；不同病情表示正常无病、轻度病情、中度病情以及重度病情，其中包含tbs诊断标准的所有病变级别，tns诊断表示阴道细胞学的分类及报告细则。
[0036]
s12，创建标注文件，标记细胞核，圈画细胞核轮廓，获得轮廓像素位置信息，保存轮廓像素位置信息至标注文件中；具体来说，手动圈画细胞核的轮廓，获得的轮廓像素位置信息能够表示细胞核的轮廓位置。
[0037]
s13，生成标记图；如图2和图3所示，s13包括s131、s132以及s133这三个子步骤，具体包括：s131，创建一张单通道图像；具体来说，创建一张灰度值为0的单通道图像，灰度值为0的单通道图像呈黑色。
[0038]
s132,读取轮廓像素位置信息；具体来说，读取在标注文件中保存的轮廓像素位置信息。
[0039]
s133,将细胞核区域的灰度值设置为255；具体来说，将每个细胞核区域的灰度值均设置为255，灰度值为255的细胞核区域呈白色。
[0040]
s14，裁切细胞核图像和标记图；具体来说，同时裁切细胞核图像和标记图，直至细胞核图像和标记图的尺寸大小均为256
×
256像素，细胞核图像和标记图的像素相一致。
[0041]
s2，搭建细胞核分割网络模型；具体来说，细胞核分割网络模型包括三个结构相似的分支，三个分支分别是轮廓分支、粗分割分支以及精细分割分支，轮廓分支能够检测细胞核边缘并生成轮廓特征，轮廓分支包括编码器e2、解码器d2；而粗分割分支能够完成核的语义分割任务并结合轮廓分支预测得到细胞核提议区域，粗分割分支包括编码器e1、解码器d1；同时，精细分割分支能够处理区域增强后的图片，精细分割分支包括编码器e3、解码器d3。
[0042]
如图1和图4所示，s2包括s21、s22、s23、s24、s25以及s26这六个子步骤，具体包括：s21，搭建atu-net模型，在粗分割分支、轮廓分支以及精细分割分支中均添加aspp模块；具体来说，如图5所示，atu-net模型包括轮廓分支、粗分割分支以及精细分割分支，在粗分割分支、轮廓分支以及精细分割分支中均添加aspp模块后，粗分割分支包括编码器e1、解码器d1和aspp，轮廓分支包括编码器e2、解码器d2和aspp，精细分割分支包括编码器e3、解码器d3和aspp，atu-net模型在分支内部和不同的分支之间使用聚合特征；在图5中，multiply表示元素乘，concatenation表示特征的拼接操作，实线表示数据的流动，而虚线表示模块内部数据的流动；如图6和图7所示，rate表示空洞卷积的间隔跨度，contact表示拼接操作，aspp包括一个1
×
1卷积和三个3
×
3空洞卷积，其中，三个3
×
3空洞卷积均使用空
洞卷积，三个3
×
3空洞卷积的间隔跨度分别是4、8、12，空洞卷积的数量逐渐增加，从而实现每个分支的感受野不断增大。
[0043]
s22，加载细胞核图像到atu-net模型，获得细胞核的预测结果和细胞核轮廓的预测结果；具体来说，加载细胞核图像，把细胞核图像输入到atu-net模型中；然后，粗分割分支的解码器d1会输出细胞核的预测结果，轮廓分支的解码器d2会输出细胞核轮廓的预测结果。
[0044]
s23，把解码器d1的输出、解码器d2的输出分别与细胞核图像做元素乘操作，获得增强后的细胞核图像；具体来说，在增强后的细胞核图像中，细胞核与细胞核区域的轮廓边缘更加突出。
[0045]
s24，将增强后的细胞核图像与原来的细胞核图像均输入到精细分割分支；具体来说，将增强后的细胞核图像和原来的细胞核图像输入到精细分割分支，能够便于后续的分割操作。
[0046]
s25，对输出进行拼接处理，获得拼接操作后的特征，并下降特征通道数；具体来说，通过粗分割分支的编码器e1、轮廓分支的编码器e2以及精细分割分支的编码器e3的输入特征x对输出进行拼接操作，然后通过1
×
1卷积将特征通道数下降为原来的特征通道数的
[0047]
s26，过滤拼接操作后的特征，并通过跳跃连接操作与解码器d3连接；具体来说，注意力门又称为attention gate，拼接操作后的特征首先会通过注意力门过滤，注意力门能够隐式抑制输入特征x中的不相关区域，同时，突出显示对特定任务有用的显著特征，在本实施例中，特定任务表示分割细胞核任务；然后通过跳跃连接操作与解码器d3连接，使精细分割分支获得边缘轮廓特征和分割语义特征。
[0048]
s3，基于细胞核分割网络模型的显著特征进行自动识别操作；如图1和图8所示，s3包括s31、s32、s33、s34以及s35这五个子步骤，具体包括：s31，通过aspp模块替换atu-net模型中编码器与解码器之间的普通卷积操作，获得空间信息；具体来说，将atu-net模型中编码器与解码器之间的普通卷积操作替换为aspp模块，从而获得更加丰富的空间信息。
[0049]
s32，通过门控信号g获得上下文信息，选择空间区域；具体来说，通过门控信号g获得上下文信息，并且通过分析门控信号g提供的上下文信息来选择空间区域。
[0050]
s33，计算获得注意力系数α；具体来说，通过注意力门计算获得注意力系数α，注意力系数α能够识别图像区域，并且修剪特征响应，从而保留与分割细胞核任务相关的激活，激活表示注意力门对特征进行强化过滤这一操作。
[0051]
s34，通过注意力系数α对输入特征x
l
进行缩放；具体来说，通过注意力系数α对输入特征x
l
进行缩放，其中，α∈[0,1]，当α为i位置的α时，ai∈[0,1]；x
l
表示x的第l层的输入特征。
[0052]
s35，通过采用aspp在不同尺度上重新采样特征，分类任意尺度的区域；具体来说，如图6和图7所示，aspp还包括一个全局平均池化，即aspp包含5个级联分支；通过采用aspp在不同尺度上重新采样特征来准确有效地分类任意尺度的区域，实现自动识别操作。
[0053]
如图8、图9所示，s35包括s351、s352以及s353这三个子步骤，具体包括：s351，获取图像级特征，处理图像级特征；具体来说，由于aspp还包括一个全局平均池化，全局平均池化能够将得到的图像级特征，通过1
×
1卷积和批量正则化处理进行处理。
[0054]
s352，将图像级特征上采样到所需的空间维度；具体来说，如图10所示，通过特征双线性将图像级特征上采样到所需的空间维度，在图10中，含有a标号的三角型箭头表示经过最大池化后特征大小变为原本含有a标号的三角型箭头表示经过最大池化后特征大小变为原本的倍；含有b标号的三角型箭头表示上采样后特征大小变为原本2倍；含有c标号的三角型箭头表示门控信号；含有d标号的三角型箭头表示跳跃连接。
[0055]
s353，连接aspp所有分支的结果特征，生成输出特征；具体来说，如图7和图11所示，将aspp所有分支的结果特征均连接起来，并且通过1
×
1卷积生成输出特征，在图11中，带有“ ”的圆圈表示元素加法，带有交叉的圆圈表示元素乘积，rel u表示深度学习中的rel u激活函数，sigmoid表示sigmoid函数，resampler表示重采样器。
[0056]
在s353步骤中，具体通过以下公式计算获得注意力门的输出参数53步骤中，具体通过以下公式计算获得注意力门的输出参数其中，表示注意力门的输出特征；表示第l层i位置的输入特征，f
l
表示对应于第l层中的特征图数量；表示注意力系数α的第l层i位置的值；具体通过以下公式计算获得具体通过以下公式计算获得其中，σ1与σ2表示两个相同的sigmoid激活函数；θ
att
表示注意力门的特征；线性变换偏置项
[0057]
s4，训练并测试细胞核分割的网络模型，分割细胞核；如图1、图12所示，s4包括s41和s42这两个子步骤，具体包括：s41，计算获得l
fine
、l
rough
以及l
contour
；具体来说，l
fine
表示精细分割分支的损失函数，l
rough
表示粗分割分支的损失函数，l
contour
表示轮廓分支的损失函数；为了提高网络识别细胞核的能力，对l
fine
、l
rough
以及l
contour
使用diceloss和交叉熵损失，结合如下公式计算获得l
fine
、l
rough
以及l
contour
，训练并
测试细胞核分割的网络模型，实现准确分割细胞核：其中，gi表示标记图片；pi表示预测概率；i表示像素值大小；n表示类别的数量；ε表示用于过滤异常数据的正则化项，在本实施例中，ε设置为1.0e-5
；s42，计算获得总目标函数，分割细胞核；具体来说，通过如下公式计算获得细胞核分割网络模型的总目标函数，并结合总目标函数，分割细胞核：l
total
＝λ1l
fine
λ2l
rough
λ3l
contour
，细胞核分割网络模型的总目标函数来自粗分割分支、轮廓分支以及精细分割分支的损失的加权总和，其中，l
total
表示总目标函数，λi表示对应的损失函数赋予权重的标量；在本实施例中，λ1设置为2，λ2设置为1，λ3设置为1。
[0058]
本技术实施例一种基于区域增强的细胞核分割方法的实施原理为：制备训练数据集，获得细胞核图像；搭建细胞核分割网络模型，加载细胞核图像，获得突出显示的显著特征；基于细胞核分割网络模型的显著特征进行自动识别操作；训练并测试所述细胞核分割的网络模型，分割细胞核。
[0059]
发明人对申请中的分割方法进行了一系列测试，首先结合三个公共数据集进行对比实验，三个公共数据集分别是monuseg、consep以及cpm-17，选择的对比模型是近年来在细胞核分割领域较为突出的模型，包括：cnn3(kumar)、u-net、mask r-cnn、dist、dcan、hover-net、cia-net、bending loss、pdam、pffnet、micro-net。
[0060]
从表1可知，本技术提出的atu-net的优势，并且进一步验证了本技术提出的atu-net在其他公开数据拥有相同的优势。
[0061]
表1方法测试数据：
以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。