血管类型信息协助下的超广角眼底图像血管分割方法

1.本发明涉及超广角眼底成像技术领域，具体涉及一种血管类型信息协助下的超广角眼底图像血管分割方法。


背景技术：

2.视网膜血管结构信息有助于眼科医生检测和诊断多种眼底病变，如糖尿病性视网膜病变，高血压视网膜病变等。如文献[1]li tao,bo wang,hu chunyu,et al.applications of deep learning in fundus images:a review.medical image analysis,2021,69:101971.中记载。人工手动分割视网膜血管效率低、成本高，而利用ai技术实现的眼底血管自动分割技术，则能够省时省力且准确度不会受主观因素影响，近年来得到了众多研究者的关注。
[0003]
文献[2]中国专利“基于自注意力机制和卷积神经网络混合模型的血管分割方法”(cn113902757a)使用基于连续残差结构，通道注意力，空间注意力机制的卷积神经网络充分提取眼底血管图像的低级特征，然后使用自注意力机制关联由卷积神经网络提取出来的高级特征，帮助混合模型识别血管。
[0004]
文献[3]任子晖,蔡蔓利,缪小波等.基于全尺度跳跃连接的视网膜血管分割算法.科学技术与工程,2022,22(07):2776-2783.使用可变性卷积代替u-net3 模型中的普通卷积，来捕获薄细血管特征，同时引入具有通道注意力机制的尺度特征融合模块提升u-net3 模型的特征融合能力。
[0005]
文献[4]中国专利“一种多低级特征融合的视网膜血管分割方法”(cn113781514a)从眼底图像提取若干低级特征图像，如灰度、颜色、强度、边缘、形态、纹理和多尺度线性特征等，低级特征能反映血管的细节特征，然后将这些低级特征图像与彩色眼底图像一同输入视网膜血管分割模型进行血管分割训练。由于眼底图像中粗血管与细血管的样本不均衡以及细血管与背景的低对比度问题，基于深度学习技术的语义分割方法在仅由几个像素组成的微小血管的分割上仍然存在困难，导致整体血管分割精度低。
[0006]
相对于传统眼底图像成像，超广角眼底成像技术具有视野大、成像快、免散瞳等优点，正逐渐得到研究们者的广泛关注。目前，超广角眼底图像血管分割方面的研究工作还较少，文献[5]wei feng,lie ju,lin wang,et al.unsupervised domain adaptation for retinal vessel segmentation with adversarial learning and transfer normalization[j].arxiv preprint arxiv:2108.01821,2021.提出了一种基于熵的对抗训练策略，用于跨域的视网膜血管分割，在常规眼底数据集和超广角眼底数据集之间的迁移任务上展现了一定优势。文献[6]li ding,ajay e kuriyan,rajeev s ramchandran,et al.weakly-supervised vessel detection in ultra-widefield fundus photography via iterative multi-modal registration and learning[j].ieee transactions on medical imaging,2020,40(10):2748-2758.分割视网膜血管时利用了同时采集的超广角眼底图像与超广角荧光素血管造影图像，并在多模态配准步骤和u-net模型的弱监督学习
步骤之间进行迭代，得到较高准确度的超广角眼底血管分割结果，但荧光素血管造影图像由于荧光剂需要一段时间才能进入眼底血管，所以难以快速获取，且有些患者对其过敏，不适于眼底血管疾病的快速筛查。


技术实现要素：

[0007]
针对眼底图像中粗血管与细血管的样本不均衡以及细血管与背景的低对比度导致细血管分割精度低的问题，本发明提供一种血管类型信息协助下的超广角眼底图像血管分割方法，该方法通过引入血管类型信息对超广角眼底图像的粗血管与细血管分别进行提取、分割，再融合两者结果，得到完整的超广角眼底血管分割图像。
[0008]
本发明采取的技术方案为：
[0009]
血管类型信息协助下的超广角眼底图像血管分割方法，包括以下步骤：
[0010]
步骤1：提取血管感兴趣区域；
[0011]
步骤2：将超广角眼底图像进行图像增广与图像对比度增强处理，并进行图像分块；
[0012]
步骤3：将血管划分为粗血管与细血管，用于血管分割；
[0013]
步骤4：使用两个u-net模型分别进行粗血管分割与细血管分割，最后融合两个u-net模型的分割结果，得到完整的超广角眼底血管分割图像。
[0014]
所述步骤1包括以下步骤：
[0015]
s1.1：首先在超广角眼底图像数据集中以视盘为中心，标注一个2～3倍大小的区域作为标注框，得到训练集；
[0016]
s1.2：然后训练目标检测网络yolov4，实现视盘区域的定位；
[0017]
s1.3：基于获取的视盘区域的定位信息，以视盘为中心提取了12幅圆形区域，组合成1120
×
1120大小的感兴趣区域。
[0018]
所述步骤2包括以下步骤：
[0019]
s2.1：选择超广角眼底图像的绿色通道图像，进行clahe处理，凸显血管，削弱噪声；
[0020]
s2.2：通过图像分块增加模型训练所需的数据量，其中，用于训练分割粗血管的u-net模型的图像块大小设为48
×
48，用于训练分割细血管的u-net模型的图像块大小设为96
×
96。
[0021]
所述步骤3包括以下步骤：
[0022]
s3.1：首先从超广角眼底血管标签中提取血管骨架，并在8
×
8大小的滑动窗口内计算血管骨架与原血管面积比值，将其作为衡量血管粗细的指标；
[0023]
s3.2：然后使用阈值将血管骨架分类为粗血管骨架与细血管骨架两类；
[0024]
s3.3：接着在比较其他血管骨架像素的8邻域内粗细血管像素的大小，若粗血管像素数量大于细血管，则该血管像素为粗血管像素；反之则为细血管像素，这样迭代40次；
[0025]
s3.3：最后，针对粗细血管交叉断裂区域的粗细血管斑块问题，使用形态学方法，将粗血管中连通域小于50的部分归为细血管，将细血管中连通域小于50的部分归为粗血管，这样迭代5次，得到最终粗细血管分类结果。
[0026]
所述步骤4中，粗血管分割与细血管分割之前，采用模型迁移的方法，先使用传统
眼底图像对粗血管分割模型与细血管分割模型进行预训练，然后将模型迁移至超广角眼底图像域，微调模型参数并学习血管特征。
[0027]
本发明一种血管类型信息协助下的超广角眼底图像血管分割方法，技术效果如下：
[0028]
1)相比于文献[7]徐光柱，林文杰，陈莎等.u-net与自适应阈值脉冲耦合神经网络相结合的眼底血管分割方法.计算机应用,2022,42(3):825-832的u-net模型，本发明的不同之处在于：
[0029]
①
：对于分割粗血管的u-net模型，由于粗血管像素与背景像素数量上的不均衡，本发明基于二元交叉熵损失函数，提高了损失函数中粗血管像素的权重，平衡粗血管与背景对u-net模型待影响；
[0030]
②
：对于分割细血管的u-net模型，本发明将u-net模型中普通卷积操作更换为dilation rate为1的空洞卷积，并且将训练时的图块大小由48
×
48增加到了96
×
96。这样做是为了增大感受野，获取更多的血管结构信息，辅助细血管的分割。同时也由于细血管像素与背景像素数量上的不均衡，本发明同样提高了损失函数中细血管像素的权重。
[0031]
2)本发明针对眼底图像中粗血管与细血管的样本不均衡以及细血管与背景的低对比度导致细血管分割精度低的问题，提供了一种血管类型信息协助下的超广角眼底图像血管分割方法。该方法使用粗细血管分类算法将血管类型分类为粗血管与细血管，然后使用两个经过预训练的u-net模型分别进行粗血管分割与细血管分割，最后融合两者的结果，得到超广角眼底血管分割图像。与被广泛应用于血管分割的：
[0032]
文献[8]：ronneberger olaf,fischer philipp,brox thomas.u-net:convolutional networks for biomedical image segmentation.international conference on medical image computing and computer-assisted intervention,2015:234-241.记载的u-net；
[0033]
文献[9]：chen liang-chieh,papandreou george,schroff florian,et al.rethinking atrous convolution for semantic image segmentation.arxiv preprint arxiv:1706.05587,2017.记载的deeplabv3，以及
[0034]
文献[10]：badrinarayanan vijay,kendall alex,cipolla roberto.segnet:a deep convolutional encoder-decoder architecture for image segmentation.ieee transactions on pattern analysis and machine intelligence,2017,39(12):2481-2495.记载的segnet模型相比，本发明的血管分割算法具有明显优势，能够获取更多的血管信息，尤其在细血管上，具有较好的应用价值。
附图说明
[0035]
图1(a)为传统眼底图像图；
[0036]
图1(b)为超广角眼底图像。
[0037]
图2为超广角眼底图像血管分割流程图。
[0038]
图3为血管感兴趣区域提取流程图。
[0039]
图4为图像对比度增强与图像增广示意图。
[0040]
图5为超广角眼底图像粗细血管分类流程示意图。
[0041]
图6为模型迁移学习方法示意图。
[0042]
图7为用于眼底血管分割的u-net网络结构图。
[0043]
图8为超广角眼底血管分割流程图。
[0044]
图9为超广角眼底粗、细血管分割结果图，其中：
[0045]
a纵列包含的单元图表示原图；
[0046]
b纵列包含的单元图表示粗血管标签；
[0047]
c纵列包含的单元图表示粗血管分割结果图；
[0048]
d纵列包含的单元图表示细血管标签图；
[0049]
e纵列包含的单元图表示细血管分割结果图；
[0050]
f纵列包含的单元图表示血管标签图。
[0051]
g纵列包含的单元图表示融合结果图。
[0052]
图10为超广角眼底图像血管分割方法的结果对比图，其中：
[0053]
h纵列包含的单元图表示原图；
[0054]
i纵列包含的单元图表示标签图；
[0055]
j纵列包含的单元图表示u-net模型血管分割结果图；
[0056]
k纵列包含的单元图表示deeplabv3模型血管分割结果图；
[0057]
l纵列包含的单元图表示segnet模型血管分割结果图；
[0058]
m纵列包含的单元图表示本发明方法血管分割结果图。
[0059]
图11为本发明所提方法与其他方法视盘区域提取结果量化对比图。
[0060]
图12为视盘区域的定位图。
具体实施方式
[0061]
本发明面向基于超广角眼底图像的快速眼底血管健康状态筛查应用，针对超广角眼底图像中粗血管与细血管的样本不均衡以及细血管与背景的低对比度导致细血管分割精度低的问题，通过引入血管类型信息对超广角眼底图像的粗血管与细血管进行分别处理，减少相互间的影响。其主要流程是：首先，在获取的视盘位置信息基础上，以视盘为中心提取涵盖标准7视野范围的感兴趣区域；然后将血管分为粗血管与细血管，同时使用传统眼底图像数据集对粗血管分割模型与细血管分割模型进行预训练，接着将模型迁移至超广角眼底图像域进行血管分割训练；最后融合两个模型的血管分割结果，得到超广角眼底图像血管分割图像。如图2所示，具体包括如下步骤：
[0062]
步骤一：为了能够更加鲁棒检测到较小的视盘区域，本发明首先在超广角眼底图像中，以视盘为中心标注一个2-3倍大小的区域作为标注框，得到训练集。然后训练目标检测网络yolov4，实现视盘区域的精准定位，如图12所示。yolov4模型将cspdarknet53模块作为主干网络用于提取超广角眼底图像中视盘的深层语义特征，再使用空间金字塔池化和路径聚合网络融合视盘的多尺度特征，最后利用多尺度输出模块获得视盘位置信息。
[0063]
接着，为了充分挖掘超广角眼底图像自身拍摄范围广大优势，同时又兼顾后续基于传统眼底图像的血管分割模型迁移问题，本发明基于获取的视盘位置信息，以视盘为中心提取了12幅圆形区域，组合成1120
×
1120大小的感兴趣区域，组合过程可以视为平滑滤波过程，滤除部分图像噪声，组合得到的图像是以视盘为中心的、范围远超标准7视野眼底
图像的大区域，如图3所示。
[0064]
步骤二：针对超广角眼底图像数据量较为匮乏以及质量差的问题，本发明使用图像增广与图像对比度增强。本发明选择超广角眼底图像的绿色通道图像，进行clahe处理，凸显血管，削弱噪声。同时，发明通过图像分块增加模型训练所需的数据量，如图4所示。其中，用于训练分割粗血管的u-net模型的图像块大小设为48
×
48，而用于训练分割细血管的u-net模型的图像块大小设为96
×
96。
[0065]
步骤三：针对眼底图像中粗血管与细血管的样本不均衡，以及细血管与背景的低对比度导致细血管分割精度低的问题。本发明将血管划分为粗血管与细血管，辅助后续环节的血管分割。如图5所示，具体如下：
[0066]
首先，从超广角眼底血管标签中提取胸骨骨架，并在8
×
8大小的滑动窗口内计算血管骨架与原血管面积比值，将其作为衡量血管粗细的指标；
[0067]
然后，使用阈值将血管骨架分类为粗血管骨架与细血管骨架两类；
[0068]
接着，在比较其他血管骨架像素的8邻域内粗细血管像素的大小，若粗血管像素数量大于细血管，则该血管像素为粗血管像素，反之则为细血管像素，这样迭代40次；
[0069]
最后，针对粗细血管交叉断裂区域的粗细血管斑块问题，使用形态学方法，将粗血管中连通域小于50的部分归为细血管，将细血管中连通域小于50的部分归为粗血管，这样迭代5次，得到最终粗细血管分类结果。
[0070]
步骤四：针对超广角眼底图像数据匮乏的问题，本发明使用模型迁移的方法，如图6所示，先使用传统眼底图像对粗血管分割模型与细血管分割模型进行预训练，然后将模型迁移至超广角眼底图像域，微调模型参数并学习血管特征。
[0071]
预训练指的是将传统眼底图像直接输入到粗血管分割模型与细血管分割模型之中，两个模型的编码器模块提取不同层次的血管特征，通过跳连接在解码器模块融合，最后使用一个3
×
3大小卷积核得到血管概率图。然后，模型使用交叉熵损失函数计算预测结果与血管标签之间的误差，然后使用随机梯度下降的方式来最小化代价，然后反向传播更新权重和偏置。
[0072]
微调模型参数并学习血管特征指的是:在超广角眼底图像域，调整模型训练时使用的优化函数adam函数的参数，将其学习率参数从预训练的0.001缩小到0.00001，用于计算梯度平均值及其平方的参数分别设置为0.9和0.999。
[0073]
步骤五：本发明针对眼底图像中粗血管与细血管的样本不均衡以及细血管与背景的低对比度导致细血管分割精度低的问题。将血管划分为粗血管与细血管两种类型，然后使用两个u-net模型分别进行粗血管分割与细血管分割，最后，融合两个模型的分割结果，得到完整的超广角眼底血管分割图像。
[0074]
使用两个u-net模型分别进行粗血管分割与细血管分割，具体如下：
[0075]
在模型的训练过程中，90％的图块用于模型的学习血管特征，10％的数据用于验证模型的参数。将48
×
48大小的图像块直接输入到粗血管分割模型中，96
×
96大小的图像块输入到细血管分割模型中，分别得到粗血管概率图像与细血管概率图像。然后，模型使用交叉熵损失函数计算预测结果与血管标签之间的误差，然后使用随机梯度下降的方式来最小化代价，然后反向传播更新权重和偏置。
[0076]
融合两个模型的分割结果，得到完整的超广角眼底血管分割图像，具体如下：
[0077]
将粗血管概率图像使用0.35的硬阈值直接二值化得到粗血管二值图像，而对细血管概率图像使用0.15的硬阈值进行二值化得到细血管二值图像。接着再对两幅图像进行或运算，即只要两幅图像中有一幅图像在同一位置的像素为血管像素，就判定该像素为血管像素，得到最终超广角眼底血管分割图像。
[0078]
本发明针对超广角眼底图像中粗血管与细血管的样本不均衡以及细血管与背景的低对比度导致细血管分割精度低的问题，将血管划分为粗血管与细血管两种类型，然后使用两个u-net模型分别进行粗血管分割与细血管分割，对于粗血管分割模型，提高损失函数中粗血管像素的权重，对于细血管分割模型，训练时的图块增大到96
×
96，并使用dilation rate为1的空洞卷积，同时提高损失函数中细血管像素的权重。最后，融合两者的分割结果，得到完整的超广角眼底图像血管分割结果，如图9所示。利用粗细血管类型信息辅助眼底血管分割比不利于粗细血管类型信息既够保留微小型血管的信息，也能减少错误分类的像素数量。
[0079]
如图10所示，从超广角眼底图像的血管分割结果来看，相比于被广泛应用于血管分割的u-net、deeplabv3以及segnet模型而言，本发明的超广角眼底血管分割算法表现最佳，分割出绝大多数血管，尤其只有极少数在原图中肉眼不可辨识度细血管上唇在困难。
[0080]
如图11所示,本发明方法比直接使用u-net模型、deeplabv3模型、segnet模型进行超广角眼底图像血管分割的结果更为优异，除了灵敏度，特异性、精准度、准确率和dice系数四个量化指标都比u-net、deeplabv3、segnet模型的血管分割结果高，尤其是精准度和dice系数具有明显优势。