基于UNet网络与分水岭算法的电镜红细胞分割与定位方法

基于unet网络与分水岭算法的电镜红细胞分割与定位方法
技术领域
1.本发明涉及电镜细胞诊断技术领域，尤其涉及一种基于unet网络与分水岭算法的电镜红细胞分割与定位方法。


背景技术：

2.电镜图像作为检测人体疾病的重要手段，近年来越来越被广泛应用。传统的电镜图像病理诊断主要通过病理医师对电镜图像中细胞的形态、大小进行判定和计数，这无疑大大降低了医生的工作效率，并且诊断结果具备较强的主观性。因此，利用计算机技术辅助医生进行电镜图像分析具有重要意义。
3.另一方面，随着深度学习和计算机硬件的发展，越来越多的深度学习方法被用于医学图像处理中。有研究者运用weighted res-unet，通过加权背景和前景不同的损失计算，以及基于残差网络的unet模型，很好地解决了眼底血管分割问题。有研究者用unet模型进行t细胞的斑点检测，并与基于区域生长的传统分割方法相比，分割精度有较大提升，验证了深度学习模型在医学影像领域的可行性。近年来，深度学习模型在医学影响的应用方兴未艾，有研究者提出基于多模态特征融合图像分割网络进行脑瘤图像的分割，验证了级间融合和层间跳跃连接的加入对多模态医学图像的分割效果有提升作用；提出基于注意力与金字塔融合的医学图像分割网络，有效地改善了分割图像边缘模糊问题；提出融合边缘增强的注意力机制模块，捕获具有位置感知的跨通道信息及更加明确的边缘轮廓信息，从而提高了分割的准确性。以上工作都给本文用深度学习模型解决医疗数据中的问题提供了实际参考意义。
4.而在异常红细胞的分割计数研究中，现存文献大多以血红涂片数据集为研究对象。但是上述工作基于血红图片细胞数据集对比度高、数据量丰富的特点，而对于电镜图像数据图像对比度低、数据量稀少的特点，如何准确、快速分割定位血细胞成为关键难点。


技术实现要素：

5.本发明提供一种基于unet网络与分水岭算法的电镜红细胞分割与定位方法，解决的技术问题在于：如何准确、快速分割定位血细胞。
6.为解决以上技术问题，本发明提供一种基于unet网络与分水岭算法的电镜红细胞分割与定位方法，包括步骤：
7.s1、构建基于unet网络的多注意力分割模型对电镜红细胞进行细胞前后景的分割；
8.s2、基于分水岭算法对分割好的图形进行细胞的定位与分割。
9.进一步地，在所述步骤s1中，所述多注意力分割模型包括仿照unet网络设计的编码器网络、解码器网络，所述编码器网络包括第一层至第五层的第一残差块、第二残差块、第三残差块、第一自注意力机制块、第二自注意力机制块，所述解码器网络包括第四层至第一层的第一深度可分离卷积块、第二深度可分离卷积块、第一解码器块和第二解码器块，所
述多注意力分割模型还包括设置在对应层的跳跃连接阶段的4个特征选择模块；
10.所述第一自注意力机制块、第二自注意力机制块用卷积操作提取图像的低维特征，同时仿照transformer对图像高维特征进行远距离建模；
11.所述第一深度可分离卷积块、所述第二深度可分离卷积块在整个网络中保持相同的大小和分辨率的情况下，借助深度可分离卷积和point wise卷积分离混合空间维度和通道维度；
12.所述特征选择模块进行特征融合时的特征选取。
13.进一步地，所述特征选择模块包括通道注意力机制模块和空间注意力机制模块；
14.在所述通道注意力机制模块中，图像在经过cnn特征提取后，特征层首先通过自适应平均池化层得到大小为c*1*1的特征图，其中c为特征通道数，接着通过卷积核大小为k的1维卷积核进行卷积加权，实现不同通道之间的信息交互，再经过sigmoid函数得到每个特征通道的权重，对整体特征图进行加权得到通道加权图，最后将通道加权后的特征图输入所述空间注意力机制模块；
15.在所述空间注意力机制模块中，对输入的特征图的特征维度分别进行最大池化和平均池化操作，将特征维度转换成1*h*w，h、w分别为原始图像的高和宽，将这两个特征图进行拼接后，送入卷积核大小可调的卷积核中进行信息交互与特征重构，最终得到空间特征权重，将其与经通道注意力处理过的特征图加权后得到最终的特征图。
16.进一步地，在所述第一自注意力机制块或所述第二自注意力机制块中，首先对特征图进行特征编码，编码后的每个词向量大小为p*p，个数为h*w/(p*p)，随后采用深度可分离卷积操作编码位置信息。
17.进一步地，在所述步骤s1中，在训练所述多注意力分割模型的过程中采用的损失函数为：
[0018][0019]
其中，表示bce损失，表示dice损失，且有：
[0020][0021][0022]
其中，p和q分别代表预测的像素值和它的实际像素值，w1、w2分别表示前景与背景计算损失时的权重，k表示第k个像素点，n为像素点总数，x、y分别表示预测元素与真实元素，|x∩y|表示预测元素与真实元素的交集，|x|,|y|表示各自的元素个数。
[0023]
优选的，w1:w2＝2:1。
[0024]
优选的，训练及测试所述多注意力分割模型所采用的数据集包括48张密集细胞图和42张高倍放大图以及对这些图像进行数据扩增后的图像，而对应的标签图是利用图像工具对原图进行目标区域填充再进行二值化去噪处理得到的二值化图像。
[0025]
进一步地，所述步骤s2具体包括步骤：
[0026]
s21、通过深度学习模型对步骤s1得到的电镜图像前后景进行粗分割，分割结果为0或者1的二值化图像，进行灰度化后显示为黑白图像，其中黑色为与电镜细胞无关的背景
区域或非细胞物体，白色为目标细胞区域；
[0027]
s22、将原始粗分割图像进行膨胀后得到的背景区域作为图像的背景，将筛选合适距离值进行距离变换后得到的前景区域作为图像的前景；
[0028]
s23、将图像前景和背景之间的区域标记为未知区域，采用分水岭算法对未知区域的前景、后景进行划分；
[0029]
s24、将划分好的图像进行连通区域判定，分割出单独的细胞区域并且得到位置信息。
[0030]
本发明提供的一种基于unet网络与分水岭算法的电镜红细胞分割与定位方法，其首先采用数据增强等方法扩充数据集丰富度，接着采用设计的多注意力分割模型aca-unet进行细胞前后景的分割。最后将分割好的图形进行距离变换、分水岭修正后，寻找单个细胞区域，完成细胞的定位与分割。本方法第一次将计算机辅助算法应用到电镜数据集上，实验中，密集细胞分割的dice系数达到88.94％，高倍放大细胞分割的dice系数达到93.10％。
附图说明
[0031]
图1是本发明实施例提供的两类电镜图像数据集示例图；
[0032]
图2是本发明实施例提供的图像预处理效果图；
[0033]
图3是本发明实施例提供的aca-unet网络结构图；
[0034]
图4是本发明实施例提供的unet骨架网络图；
[0035]
图5是本发明实施例提供的特征选择模块的结构图；
[0036]
图6是本发明实施例提供的自注意力机制块的结构图；
[0037]
图7是本发明实施例提供的深度可分离卷积模块的结构图；
[0038]
图8是本发明实施例提供的基于分水岭算法进行细胞分割计数的步骤图；
[0039]
图9是本发明实施例提供的密集细胞分割计数示例图；
[0040]
图10是本发明实施例提供的高倍放大细胞分割计数图；
[0041]
图11是本发明实施例提供的不同模型测试集效果的比对图。
具体实施方式
[0042]
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
[0043]
针对电镜红细胞图像对比度低、数据量少的特点，本发明实施例提供一种基于unet网络与分水岭算法的电镜红细胞分割与定位方法，包括步骤：
[0044]
s1、构建基于unet网络的多注意力分割模型(本例称之为aca-unet网络)对电镜红细胞进行细胞前后景的分割；
[0045]
s2、基于分水岭算法对分割好的图形进行细胞的定位与分割。
[0046]
本文所用数据集来源于重庆医科大学附属第一医院，与传统的血液图片不同，电镜图像对比度低，分辨率高，图像呈现为灰度，前景与背景杂糅严重。因此不适用于传统的分割方法如大津阈值(otsu)等进行分割。本文设计适用的深度学习模型进行细胞的定位分割与计数。在本文中，所用的电镜图像数据集可以分为密集细胞数据集和高倍放大数据集，
其中部分图像数据示例如图1所示，其中图1的(a)为高倍放大图，(b)为密集细胞图。
[0047]
对于图2(a)示例的原图，还需要生成对应的标签图。为了保证尽可能的保留更多的边界信息，本文并未采用传统的锚点划定选区的方式，而是利用photoshop等图像工具进行目标区域填充(兴趣区域即红细胞区域填充为白色)，但是最终填充后的图像并非是单纯的二值化图像，如图2(b)，其中有着许多明暗度不明显的噪点，所以还需要对人工填充完毕的图像进行二值化去噪处理，得到的标签图如图2(c)所示。
[0048]
由于电镜图像的特殊性，合作机构所提供的数据有限，仅包括48张密集细胞图(dense image)和42张高倍放大图(high image)，因此本文用翻转、旋转等空间变换扩大数据集的语义丰富性，同时为了保证电镜图像原图的相关信息，本文避免使用色彩变换等相关操作。在进行数据扩增的操作后，本文选取其中的20％的数据作为测试集，其他为训练集，进行电镜图像的数据特征学习与模型验证。
[0049]
本文所提出的aca-unet网络是基于unet网络的编码器与解码器结构，主要包扩4个部分：(1)unet基本骨架；(2)特征选取模块；(3)高层语义特征的自注意力机制模块(包括自注意力机制块1、自注意力机制块2)；(4)深度可分离卷积模块(包括深度可分离卷积块1、深度可分离卷积块2)。该模型总体简易结构如图3所示。具体而言，多注意力分割模型包括仿照unet网络设计的编码器网络、解码器网络，编码器网络包括第一层至第五层的第一残差块(即残差块1)、第二残差块(即残差块2)、第三残差块(即残差块3)、第一自注意力机制块(即自注意力机制块1)、第二自注意力机制块(即自注意力机制块2)，解码器网络包括第四层至第一层的第一深度可分离卷积块(即深度可分离卷积块1)、第二深度可分离卷积块(即深度可分离卷积块2)、第一解码器块(即解码器块1)和第二解码器块(即解码器块2)，多注意力分割模型还包括设置在对应层的跳跃连接阶段的4个特征选择模块(用fs代指)。
[0050]
其中，unet基本骨架为aca-unet网络的骨干架构，核心为提取图像特征的下采样模块和恢复图像分辨率的上采样模块。特征选择模块为充分融合图像通道和空间特征信息而设计的模块。自注意力机制模块为图像在高层语义信息中进行全局建模。深度可分离卷积模块可以在降低模型参数量的情况下，适当提升模型的性能。
[0051]
具体的，unet基本骨架作为医学图像分割领域中的经典网络，近年来也衍生了许多变种。但是其核心思想始终未变，其结构主要由捕获全局信息的下采样路径(编码器网络)和逐步恢复像素尺度的上采样路径(解码器网络)组成，近些年来其在众多分割任务中表现良好。在本文中，本文遵循unet网络的基本架构，在此基础上做出一些调整。并且，由于本文分割细胞图像任务的特殊性和专一性，本文调整网络的相关特征通道数以减少模型开销。本文采用的unet网络骨架结构如图4所示。结合图3和图4可以看到，本文aca-unet网络的输入图像为3
×
512
×
512的图像，经残差块1进行下采样后，图像的通道数变为32，再经残差块2进行下采样后，图像的通道数变为64，高和宽分别变为原图像的1/2，再经残差块3进行下采样后，图像的通道数变为128，高和宽分别变为原图像的1/4，再经自注意力机制块1进行下采样后，图像的通道数变为256，高和宽分别变为原图像的1/8，再经自注意力机制块2进行下采样后，图像的通道数变为512，高和宽分别变为原图像的1/16。残差块的具体结构如图3右半部分所示。
[0052]
为解决unet模块下采样时信息丢失问题，本文在unet跳跃连接阶段设计特征选择模块进行特征融合时的特征选取。特征选择模块如图5所示，包括通道注意力机制模块和空
间注意力机制模块。首先，图像在经过cnn特征提取后，特征层首先通过自适应平均池化层得到大小为c*1*1的特征图，其中c为特征通道数，接着通过卷积核大小为k的1维卷积核进行卷积加权，实现不同通道之间的信息交互。再经过sigmoid函数得到每个特征通道的权重，对整体特征图进行加权得到通道加权图。然后，将通道加权后的特征图输入空间注意力机制模块，首先对特征图的特征维度进行最大池化和平均池化(取均值)操作，将特征维度转换成1*h*w(h、w分别为原始图像的高和宽)，将这两个特征图进行拼接后，送入卷积核大小可调的卷积核中进行信息交互与特征重构，最终得到空间特征权重。将其与经通道注意力处理过的特征图加权后得到最终的特征图。
[0053]
为了建模特征图的长距离语义依赖，更好地提取图像的语义特征，本文用卷积操作提取图像的低维特征，同时仿照transformer构建自注意力机制模块对图像高维特征进行远距离建模。该模块整体如图6所示。特征图首先进行特征编码，编码后的每个词向量大小为p*p，个数为h*w/p*p，在位置信息编码方式，本文采用深度可分离卷积操作(dw)编码位置信息，该模块能够有效的对位置进行编码，且参数量较少。在具体实现上，首先，图像经过unet网络相应的卷积块进行特征提取后形成特征图，将该特征图送入卷积核大小为k，步距为s的卷积模块进行卷积和词嵌入操作。接着，将词嵌入化的特征图进行维度变换，即将大小为c*h*w的特征图变换为p*c的词块，其中p为h与w的乘积。随后，将词向量化后的词块归一化后，为充分探究每个词块之间的相互关系，采用多头注意力机制进行长距离建模。核心思想为对每个词块形成q、k、v矩阵，用每个词块的q对其余词块的k进行相似性计算，随后与其对应的v值相乘得到最终结果。接下来依次通过残差连接和归一化，全连接层学习潜在特征，深度可分离卷积进行卷积位置编码，再次通过全连接层学习隐藏特征，对词块进行维度还原为c*h*w的图像特征块，得到最终结果。
[0054]
为缓解分割模型参数过大不易部署的问题，本文采用了深度可分离卷积模块对特征图进行建模，该模块可以在整个网络中保持相同的大小和分辨率的情况下，借助depthwise卷积(dw卷积)和pointwise卷积分离混合空间维度和通道维度，但是该模块在减少模型参数量的同时，也会降低模型的推理速度和训练速度，因此本文仅在模型上采样时采用dw卷积。深度可分离卷积模块的具体结构如图7所示。具体实现为，采用积核大小为k，步距为s的卷积模块对输入的图像特征进行卷积操作，卷积后图像特征大小变为原来的1/s。将卷积操作后的图经过depthwise卷积进行卷积操作，其中若输入的图像特征通道数为c，则进行depthwise卷积的卷积核个数为c，且每个卷积核分别与输入特征的一个通道进行卷积运算，学习相关特征。在经过gelu激活函数和批归一化操作后，图像特征再由pointwise卷积进行卷积操作，其中，pointwise卷积为核大小为1的卷积核，其个数决定输出图像的特征通道数。最后，再次经过gelu激活函数和批归一化操作后得到最终图像特征。
[0055]
本文采用混合损失函数，用dice loss损失和bce loss的数值总和来衡量预测特征图与真实特征图的差距，整体损失函数公式如公式(3)所示。本文将bce loss和dice loss的和作为总损失。其中dice loss如公式(1)所示，p和q分别代表预测的像素值和它的实际像素值。w1、w2分别表示前景与背景计算损失时的权重。本文为二分类前后景问题，为更好地区分单个细胞，本文提高模型分割背景的权重，以使本文的模型更多地关注图像背景和每个细胞间的边界。bce loss如公式(2)所示，其中|x∩y|表示预测元素与真实元素的交集，|x|,|y|表示各自的元素个数。
size为4，训练轮数设置为40，采用adam优化器进行梯度更新，在完成所有轮数训练后本文得到最终的训练模型。本文将所提出模型的性能同最近广泛流行的分割模型进行比较，密集细胞数据集即放大细胞数据集的比较结果分别如表1和表2所示。其中，本发明提出的模型在高倍放大训练数据集上表现较差，推测是因为高倍放大数据集单个细胞区域过大，且单个细胞间距离过小，自注意力机制不能很好通过编码词块之间的联系构建全局上下文信息。故本发明用dw卷积提取图像特征，对比结果如表2所示。
[0075]
表1密集细胞训练效果对比图
[0076][0077][0078]
表2放大细胞训练效果对比图
[0079][0080]
在图11，本文比较了不同模型测试集效果的比对，可以看出本文的模型在过分割、欠分割以及细节处理上有着较强的表现力，也更接近真实标签。
[0081]
(2)分水岭分割后处理及计数
[0082]
在衡量分割及计数精度上，本文用tp、tn、fp、fn衡量算法的性能。其中tp表示把细胞分割正确的个数(即将单个细胞分割成单个细胞)，tn表示将细胞分割错误的个数(即将单个细胞分割成多个细胞或不分割的个数)，ft表示将不是细胞的分割正确的个数，fn表示将不是细胞的物体分割成细胞的个数。因为不是细胞的物体主要在初分割时过滤，因此fn与ft数值由本文提出的模型性能决定。本文用分割正确的细胞数占全部细胞的比例(acc)衡量整体分割效果。本文随机选择若干图像进行测试，部分测试图像如图11所示，测试指标如表3所示(编号1～3对应图11中的密集细胞图1～3，编号4、5分别对应图11中的高倍放大图1、2)。
[0083]
表3
[0084][0085]
从表3及图11可以看出，密集细胞分割效果完美，高倍放大细胞图像因为细胞重叠程度较高，分割效果较差，但整体分割效果都较好，符合本文的分割要求。
[0086]
(3)注意力机制的消融实验
[0087]
本文对所提出的模型进行消融实验，以验证模型的有效性。整体模型如图3所示，本文依次去除自注意力机制模块(aca-unet_mini1)和特征选择模块(aca-unet_mini2)，观察模型性能的变换，整体效果如表4所示。
[0088]
表4注意力机制的消融实验
[0089][0090]
可以看到，本发明提出的aca-unet在各个方面均为最优，自注意力机制模块和特征选择模块对本发明的效果有实质性的贡献。
[0091]
(4)损失函数权重的消融实验
[0092]
为了探究损失函数对本文模型性能的影响，本文对损失函数做了相关消融实验。分别设置背景与前景的比重为1:1，1:2，2:1，用本文提出的模型进行数据集训练。分别用loss 1，loss 2，loss 3表示训练效果如下表5所示。
[0093]
表5损失函数消融实验
[0094][0095]
如表5所示，当前景与背景权重比值为2:1(即w1:w2＝2:1)时，训练效果为最好，验证了本文为分割出单个细胞而更多关注背景区域的合理性。
[0096]
综上，本文针对电镜细胞自动分割计数问题提出了自己的解决方案，解决了这一领域的空白。其中对于密集电镜细胞图像，本文采用特征通道选择融合及自注意力机制远距离建模的方式提升图像语义特征提取的有效性。高倍放大图因为自身语义特征的局限性，即单个细胞区域过大，细胞间隔小的特征。本文采用通道选择融合和深度可分离卷积提取语义特征，随后结合分水岭算法进行细胞的分割与计数。其中，密集细胞分割的dice系数达到88.94％，高倍放大细胞的分割dice系数达到93.10％，计数与分水岭处理指标都符合
预期。
[0097]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。