一种基于卷积神经网络的视盘分割方法

1.本发明涉及计算机视觉领域及图像处理领域，具体是一种基于卷积神经网络的视盘分割方法。


背景技术：

2.视网膜图像特征复杂，且彩色眼底图像往往存在光照不均匀和血管中心反射问题，这使得视盘界限与背景的对比度低，现有的方法往往会受到外界噪声影响，导致分割视盘不准确，所以研究一种精确、高效的视盘分割方法是十分重要的。
3.2010年以来，深度学习在计算机视觉领域的巨大成功，以卷积神经网络(cnn)为基础的图像语义分割方法取得了突破性的进展。相比于人眼观测，cnn能自动从图像中提取出更深的特征，因此cnn在图像分割方面有着明显优势。基于深度学习的图像分割算法中，u-net在医学图像分割领域内具有重要的意义。许多研究人员基于u-net网络提出了大量u-net变体结构。文献ieee transactions on medical imaging,2019.38(10):p.2281-2292提出了ce-net：使用多分支卷积来提取不同感受域的特征，并且在编码器中迁移resnet，加快了训练速度；zhuang,j.提出了laddernet：在每对相邻的解码器和每一级的解码器分支之间都加入了跳跃连接，并使用权值共享来减少参数量，但是计算成本并没有减少；li,h.,et al.提出了一种金字塔注意力网络：结合注意力机制和空间金字塔用于提取精确特征；al-bander,b.,et al提出了一种结合全卷积网络和densenet网络的视盘和视杯联合分割方法，该方法可以很好的分割出视盘区域，但是有训练时间较长的缺点。


技术实现要素：

4.本发明的目的是针对现有技术得不足，而提供一种基于卷积神经网络的视盘分割方法。这种方法实现简单，普适性强，可以减少眼底图像噪声影响。
5.实现本发明目的的技术方案是：
6.一种基于卷积神经网络的视盘分割方法，包括如下步骤：
7.1)定义tu-net网络：tu-net网络由u-net网络和au-net组成；
8.2)搭建u-net网络：网络模型结构呈现u型对称设有编码路径和解码路径，编码路径由四个down-conv模块组成，每个down-conv模块设有两个由3
×
3卷积和relu线性激活函数组成的卷积层conv和一个用于下采样的2
×
2最大池化层，解码路径由4个up-conv模块组成，每个up-conv模块由一个用于上采样的反卷积层和两个卷积层组成，每个down-conv模块和up-conv模块由跳转连接层进行连接，跳转连接层令u-net网络能够融合底层特征和高层特征，使得在最终输出的特征图中包含了图片的不同层次的特征，从而提高了模型的分割准确性；u-net网络的作用：u-net网络可以大致定位视盘位置，采用u-net网络可以得到一张与原图大小相同的分割图；
9.3)依据输出的标注图像对视盘进行定位：通过u-net网络可以得到一幅特征图像，该特征图像大致确定了视盘区域，对该特征图像进行边缘检测处理，依据得到的边界信息
求出区域中心坐标，中心坐标即为视盘在原始视网膜图像中的大致位置；
10.4)依据步骤3)得到的坐标信息对原始的视网膜图像进行裁剪并对图像进行预处理，包括：
11.4-1)裁剪：依据步骤3)得到的的视盘定位信息，裁剪出一幅大小为200x200的图像、该图像的中心为视盘区域；
12.4-2)图像预处理：如图4所示，首先采用限制对比度自适应直方图均衡化clahe算法对提取b通道的彩色眼底图像进行图像增强处理，为了更好的消除彩色眼底图像中心血管和背景噪音的影响，再采用形态学闭运算对增强后的图像进行处理，最后对输出图像和与经过步骤4-1)裁剪得到的与输入图像对应的标注图像进行极坐标变换；
13.5)构建au-net网络：au-net网络由4个res-conv卷积块构成解码路径，由4个up-conv模块构成编码路径，up-conv模块与步骤1)中u-net网络中解码模块一致，相较于经典的u-net网络，au-net在编码路径采用res-conv卷积模块代替传统的编码模块，res-conv模块采用resnet网络思想，使得网络可以更加充分利用学习到的特征，每个res-conv模块和up-conv模块由跳转连接层进行连接，跳转连接层可以使网络能够融合底层特征和高层特征，使得在最终输出的特征图中包含了图片的不同层次的特征，从而提高了模型的分割准确性，au-net在跳转连接上采用注意门ags，ags最早由oktay,o.,et al.提出，采用ags可以在保留位置信息的同时抑制不相关背景区域中的特征响应，使得视盘特征更为突出，进而使得au-net在保持计算效率的同时可以提高模型的灵敏度和预测精度；
14.6)设置训练策略：采用sgd优化算法，设置批量处理大小batchsize为4、训练周期epoch为200、初始学习率为0.001，通过au-net网络可以实现对输入的图像进行像素级别分割，能够精确得分割出视盘区域；
15.7)设置损失函数：采用结合交叉熵和dice损失的损失函数作为本文的损失函数来进行网络训练，视盘分割问题可以被视为像素点的二分类问题，所以本文采用交叉熵损失函数，dice损失函数常用于计算两个样本的相似性，为了在整体上提高分割精度，引入dice损失函数作为损失函数的一部分，交叉熵函数如公式(1)所示：
[0016][0017]
其中yi是第i个像素的标签，视盘为1，背景为0，pi表示第i个像素预测为视盘的概率，
[0018]
dice损失函数如公式(2)所示：
[0019][0020]
其中|a|和|b|分别表示ground truth和predict mask的数量，本技术方案采用的损失函数如公式(3)所示：
[0021]
l
loss
＝l
cross-entropy
l
dice
[0022]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，
[0023]
8)训练网络和更新参数：根据步骤6)设置好的训练策略训练au-net网络，au-net
网络采用反向传播算法对au-net网络中的权重和偏置进行更新，在训练过程中用损失函数动态维护；
[0024]
9)将输出的图像进行图像后处理：首先需要对输出的预测图像进行逆极坐标变换得到笛卡尔坐标系下的预测图像，再根据定位信息，将输出的预测图像尺寸还原成原始图像大小；
[0025]
10)设置评价标准：为了评价网络模型分割效果，本技术方案选用准确性acc、特异性spe、敏感性se和f1-score来评价，它们的计算公式分别如公式(4)、公式(5)、公式(6)、公式(7)和公式(8)所示：
[0026][0027][0028][0029][0030][0031]
tp、tn、fp、fn分别表示真阳性、真阴性、假阳性和假阴性，其中tp表示预测是视盘且真实也是视盘的像素点个数；tn表示预测是背景且真实也是背景的像素点个数；fp表示预测是视盘且真实是背景的像素点个数；fn表示预测是背景且真实是视盘的像素点个数；
[0032]
11)评估网络模型：将采用本技术方案预测出的视盘分割图像与步骤1)中的数据集中的标注图像进行对比，依据评价标准评价模型的性能。
[0033]
本技术方案建立在u-net神经网络框架上，提供了新型图像分割网络tu-net，tu-net由前端的u-net网络和后端的au-net网络组成，其中u-net网络为预训练好的网络，可以大致分割出视盘位置，通过u-net网络，可以得到一幅200x200大小、中心区域为视盘的图像，再通过图像预处理后进入au-net网络，au-net网络可以精确分割出视盘区域，输出一幅200x200大小的分割图像，最后利用之前的定位信息还原出最终的视盘分割图像，au-net采用本技术方案提供的res-conv模块代替下采样过程中原有的两次卷积模块：具体而言，本技术方案提供的res-conv模块首先会对输入的特征图a进行2次1x1卷积和批量归一化、1次3x3卷积、批量归一化和relu操作，再将得到的特征图与a相加后进行1次relu操作得到特征图b；特征图b进行1次3x3卷积和批量归一化后与特征图b相加，进行1次relu操作后得到特征图c；特征图c通过1次2x2下采样后进入下一层，相较于其它模块，res-conv模块在输入和输出之间加入了跳转连接，原始特征图与经过卷积后的特征图结合，可以有效的减少特征
损失，解决了随着网络的加深，出现的网络退化现象；在原始的u-net网络的跳转连接部分本技术方案提供采用注意门ags,采用ags可以在保留位置信息的同时抑制不相关背景区域中的特征响应，使得视盘特征更为突出，进而使得au-net在保持计算效率的同时可以提高模型的灵敏度和预测精度。
[0034]
本技术方案优点为：
[0035]
1.本技术方案采用u-net定位视盘区域的方式可以有效的消除非视盘区域的噪声影响；
[0036]
2.本技术方案采用au-net网络：au-net在编码路径采用res-conv卷积模块代替传统的编码模块，res-conv模块在设计时利用了resnet网络思想，使得网络可以更加充分利用学习到的特征，每个res-conv模块和up-conv模块由跳转连接层进行连接，跳转连接层可以使网络能够融合底层特征和高层特征，使得在最终输出的特征图中包含了图片的不同层次的特征，从而提高了模型的分割准确性，au-net在跳转连接上引入了注意门ags，使用ags可以在保留位置信息的同时抑制不相关背景区域中的特征响应，使得视盘特征更为突出，进而使得au-net在保持计算效率的同时可以提高模型的灵敏度和预测精度；
[0037]
3.本技术方案采用提取单通道、极坐标变换和clahe图像预处理方式，可以有效的提高视盘区域与背景的对比度，从而提高视盘分割准确性。
[0038]
这种方法实现简单，普适性强，可以减少眼底图像噪声影响。
附图说明
[0039]
图1为实施例中的tu-net网络结构示意图；
[0040]
图2为实施例中的au-net网络结构示意图；
[0041]
图3为实施例中的res-conv模块结构示意图；
[0042]
图4为实施例中的图像预处理结果示意图；
具体实施方式：
[0043]
下面结合附图和实施例对本发明的内容做进一步的阐述，但不是对本发明的限定。
[0044]
实施例：
[0045]
一种基于卷积神经网络的视盘分割方法，包括如下步骤：
[0046]
1)定义tu-net网络：如图1所示，tu-net网络由u-net网络和au-net组成；
[0047]
2)搭建u-net网络：网络模型结构呈现u型对称设有编码路径和解码路径，，编码路径由四个down-conv模块组成，每个down-conv模块设有两个由3
×
3卷积和relu线性激活函数组成的卷积层conv和一个用于下采样的2
×
2最大池化层，解码路径由4个up-conv模块组成，每个up-conv模块由一个用于上采样的反卷积层和两个卷积层组成，每个down-conv模块和up-conv模块由跳转连接层进行连接，跳转连接层令u-net网络能够融合底层特征和高层特征，使得在最终输出的特征图中包含了图片的不同层次的特征，从而提高了模型的分割准确性；u-net网络的作用：u-net网络可以大致定位视盘位置，采用u-net网络可以得到一张与原图大小相同的分割图；
[0048]
3)依据输出的标注图像对视盘进行定位：通过u-net网络可以得到一幅特征图像，
该特征图像大致确定了视盘区域，对该特征图像进行边缘检测处理，通过得到的边界信息求出区域中心坐标，该坐标即为视盘在原始视网膜图像中的大致位置；
[0049]
4)依据步骤3)得到的坐标信息对原始的视网膜图像进行裁剪并对图像进行预处理，包括：
[0050]
4-1)裁剪：依据步骤3)得到的的视盘定位信息，裁剪出一幅大小为200x200的图像、该图像的中心为视盘区域；
[0051]
4-2)图像预处理：首先采用限制对比度自适应直方图均衡化clahe算法对提取b通道的彩色眼底图像进行图像增强处理，为了更好的消除彩色眼底图像中心血管和背景噪音的影响，再采用形态学闭运算对增强后的图像进行处理，最后对输出图像和与经过步骤4-1)裁剪得到的与输入图像对应的标注图像进行极坐标变换；
[0052]
5)构建au-net网络：如图2所示，au-net网络由4个res-conv卷积块构成解码路径，由4个up-conv模块构成编码路径，up-conv模块与步骤1)中u-net网络中解码模块一致，相较于经典的u-net网络，au-net在编码路径采用res-conv卷积模块代替传统的编码模块，res-conv模块如图3所示，res-conv模块采用resnet网络思想，使得网络可以更加充分利用学习到的特征，每个res-conv模块和up-conv模块由跳转连接层进行连接，跳转连接层可以使网络能够融合底层特征和高层特征，使得在最终输出的特征图中包含了图片的不同层次的特征，从而提高了模型的分割准确性，au-net在跳转连接上采用注意门ags，ags最早由oktay,o.,et al.提出，采用ags可以在保留位置信息的同时抑制不相关背景区域中的特征响应，使得视盘特征更为突出，进而使得au-net在保持计算效率的同时可以提高模型的灵敏度和预测精度；
[0053]
6)设置训练策略：采用sgd优化算法，设置批量处理大小batchsize为4、训练周期epoch为200、初始学习率为0.001，通过au-net网络可以实现对输入的图像进行像素级别分割，能够精确得分割出视盘区域；
[0054]
7)设置损失函数：采用结合交叉熵和dice损失的损失函数作为本文的损失函数来进行网络训练，视盘分割问题可以被视为像素点的二分类问题，所以本文采用交叉熵损失函数，dice损失函数常用于计算两个样本的相似性，为了在整体上提高分割精度，引入dice损失函数作为损失函数的一部分，交叉熵函数如公式(1)所示：
[0055][0056]
其中yi是第i个像素的标签，视盘为1，背景为0，pi表示第i个像素预测为视盘的概率，
[0057]
dice损失函数如公式(2)所示：
[0058][0059]
其中|a|和|b|分别表示ground truth和predict mask的数量，本例采用的损失函数如公式(3)所示：
[0060]
l
loss
＝l
cross-entropy
l
dice
[0061]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，
[0062]
8)训练网络和更新参数：根据步骤6)设置好的训练策略训练au-net网络，au-net网络采用反向传播算法对au-net网络中的权重和偏置进行更新，在训练过程中用损失函数动态维护；
[0063]
9)将输出的图像进行图像后处理：首先需要对输出的预测图像进行逆极坐标变换得到笛卡尔坐标系下的预测图像，再根据定位信息，将输出的预测图像尺寸还原成原始图像大小；
[0064]
10)设置评价标准：为了评价网络模型分割效果，本例选用准确性acc、特异性spe、敏感性se和f1-score来评价，它们的计算公式分别如公式(4)、公式(5)、公式(6)、公式(7)和公式(8)所示：
[0065][0066][0067][0068][0069][0070]
tp、tn、fp、fn分别表示真阳性、真阴性、假阳性和假阴性，其中tp表示预测是视盘且真实也是视盘的像素点个数；tn表示预测是背景且真实也是背景的像素点个数；fp表示预测是视盘且真实是背景的像素点个数；fn表示预测是背景且真实是视盘的像素点个数；
[0071]
11)评估网络模型：将采用本例方法预测出的视盘分割图像与步骤1)中的数据集中的标注图像进行对比，依据评价标准评价模型的性能。