一种面向高精度血管分割模型训练应用的粗细血管分类方法

1.本发明涉及视网膜血管分割技术领域，具体涉及一种面向高精度血管分割模型训练应用的粗细血管分类方法。


背景技术：

2.视网膜血管结构涉及重要信息，有助于眼科医生检测和诊断各种视网膜病变，如糖尿病视网膜病变，年龄相关的黄斑变性，高血压视网膜病变等。见文献[1]mohamed q,gillies mc,wong ty.management of diabetic retinopathy:a systematic review.jama,2007,298(8):902
–
916.记载。血管形态结构的变化，如形状、曲折度和宽度，为许多疾病提供了准确的早期检测，见文献[2]srinidhi cl,aparna p,rajan j.recent advancements in retinal vessel segmentation.journal of medical systems,2017,41(4):70.记载。所以，视网膜血管的分割对于视网膜疾病的诊断辅助、治疗和手术计划尤为重要，见文献[3]cheung cy,zheng y,hsu w,et al.retinal vascular tortuosity,blood pressure,and cardiovascular risk factors.ophthalmology,2011,118(5):812
–
818.记载。
[0003]
目前主要的眼底血管分割方法是基于监督学习的方式，即利有手动标注的标签辅助模型进行训练、学习参数。文献[4]zhun fan,zhun fan,jiahong wei,et al.evolutionary neural architecture search for retinal vessel segmentation.arxiv preprint arxiv:2001.06678,2020.中将u-net模型视为基于编码器-解码器框架的搜索空间，并将神经结构搜索应用于视网膜血管分割。但是其在眼底血管分割时与粗血管同等对待，这会导致分割结果偏向于粗血管，使得分割结果的准确率降低。因为眼底血管中粗血管与细血管的样本不均衡，而且细血管与背景对比度低于粗血管，使得细血管的分割难度远大于粗血管。
[0004]
解决这一问题的有效途径是区别对待粗血管与细血管。文献[5]khan bahadar khan,amir a khaliq,muhammad shahid.a morphological hessian based approach for retinal blood vessels segmentation and denoising using region based otsu thresholding.plos one,2016,11(7):e0158996.使用hessian矩阵以两种不同的尺度分别提取并增强粗和细血管图像，再使用基于区域的otsu阈值分割血管。但实际得到的细血管图像就已经包含了粗血管，实际上只增强了粗血管。
[0005]
文献[6]zengqiang yan，xin yang，kwang-ting cheng.a three-stage deep learning model for accurate retinal vessel segmentation.ieee journal of biomedical and health informatics,2019,23(4):1427-1436.意识到粗细血管的分割难度相差巨大的问题，先从血管标签图在提取血管骨架，计算以血管骨架像素为中心、血管壁为边界的最小内切圆，将其直径作为血管厚度。对于血管厚度低于固定阈值的骨架像素，被以其为中心的最小内切圆覆盖的所有像素都表示为细血管像素，其余血管像素被分类为厚血管像素。该方法分类后的粗细血管图像出现较多断点，破坏了血管的整体结构，不利于后
续眼底血管的分割。
[0006]
针对眼底血管数据集因不具有粗、细血管类型的标签信息使得基于深度学习的神经网络在训练时，因无血管类型信息的引导，造成对粗细血管像素带来的误差同等看待，致使细血管分割精度无法有效提升的问题；以及基于深度学习的神经网络在训练时因无血管类型信息的引导，造成对粗细血管像素带来的误差同等看待，致使细血管分割精度无法有效提升的问题。亟待需要一种快速分类粗细血管的方法，既要保证粗细血管正确分类，又要保证粗细血管的整体结构完整，不能出现粗细血管交叉断裂区域。


技术实现要素：

[0007]
本发明提出一种面向高精度血管分割模型训练应用的粗细血管分类方法，首先从血管标签中提取血管骨架，并计算在8
×
8大小圆形窗口内标签的血管面积与血管骨架面积的比值，根据阈值将血管像素分类为粗血管像素与细血管像素；最后，使用连通域的方法除去位于粗细血管交叉断裂区域的粗血管斑点与细血管斑点，从而得到最佳的粗细血管分类结果，便于后续血管分割模型学习粗血管与细血管特征，实现高精度分割眼底血管。该发明不仅适用于基于深度学习的神经网络眼底血管分割模型的训练，同样也适用于提升其他监督式眼底血管分割算法的分割性能。
[0008]
本发明采取的技术方案为：
[0009]
一种面向高精度血管分割模型训练应用的粗细血管分类方法，包括以下步骤：
[0010]
步骤1：从眼底血管标签中提取血管骨架；
[0011]
步骤2：在每个血管骨架像素所在的窗口内，计算血管骨架与血管面积的比值；
[0012]
步骤3：使用阈值将血管骨架分为粗血管骨架与细血管骨架；
[0013]
步骤4：根据血管骨架的分类结果，使用8邻域投票的方法确认其他血管像素的分类；
[0014]
步骤5：使用形态学方法将位于粗细血管断裂交叉区域的血管重新分类，保证整体的血管结构。
[0015]
所述步骤1中，使用形态学方法，腐蚀血管边界像素，但是不允许血管断裂，保留下来的像素组合成血管骨架。
[0016]
所述步骤2中，在每个血管骨架像素所在的8
×
8大小圆形窗口内，计算计算血管骨架与血管面积的比值，如公式(1)所示：
[0017][0018]
式(1)中：代表血管缩小比例值，代表血管骨架像素，代表原血管像素，代表8
×
8圆形窗口内血管骨架像素数量，代表8
×
8圆形窗口内血管像素数量。
[0019]
所述步骤4中，8邻域投票的方法包括以下步骤：
[0020]
s4.1：输入已分类的血管骨架图像，迭代次数t及血管像素总素s；
[0021]
s4.2：比较当前迭代数t与t大小，若小，进行s4.3，反之，跳转到s4.8；
[0022]
s4.3：比较已投票像素数量s与s大小，若小，进行s4.4，反之，跳转到s4.7；
[0023]
s4.4：计算血管像素i的8邻域内粗血管像素数量x与细血管像素数量y；
[0024]
s4.5：比较x与y大小，若x》y，则i为粗血管像素，若x《y，则i为细血管像素，若x＝y
＝4，则i为粗血管像素；
[0025]
s4.6：s加1，跳转到步骤s4.3；
[0026]
s4.7：t加1，跳转到步骤s4.2；
[0027]
s4.8：得到已分类完好的出现血管图像。
[0028]
所述步骤4中，将其他血管像素分类为粗血管像素与细血管像素，得到初步分类结果。
[0029]
所述步骤5中，具体包括以下步骤：
[0030]
s5.1：输入初步粗细血管分类图像，迭代次数t；
[0031]
s5.2：比较当前迭代数t与t大小，若小，进行s5.3，反之，跳转到s5.7；
[0032]
s5.3：从初步粗细血管分类图像提取粗血管图像i
thick
与细血管图像i
thin
；
[0033]
s5.4：在i
thick
中找出连通区域小于35的小型区域将其归为细血管；
[0034]
s5.5：在i
thin
中找出连通区域小于35的斑点将其归为粗血管。
[0035]
s5.6：更新粗细血管分类图像中粗细血管分类情况；
[0036]
s5.7：得到最终出现血管分类结果。
[0037]
所述步骤5中，使用连通域方法除去斑点，在粗血管图像中找出连通区域小于35的斑点将其归为细血管，在细血管图像中找出连通区域小于35的斑点将其归为粗血管，迭代5次，得到最终分类结果。
[0038]
本发明一种面向高精度血管分割模型训练应用的粗细血管分类方法，技术效果如下：
[0039]
1)相比于其他粗细血管分类方法，本发明的粗细血管分类方法既将血管正确分类为粗血管与细血管，又保证了粗细血管相对完整的结构，对有效提升基于深度学习的神经网络眼底血管分割模型的训练效率及推理精度具有重要的促进作用，同时对非神经网络的其他眼底血管分割算法的训练也同样适用。
[0040]
2)该发明不仅适用于基于深度学习的神经网络眼底血管分割模型的训练，同样也适用于提升其他监督式眼底血管分割算法的分割性能。
附图说明
[0041]
图1(a)为drive数据集原图；
[0042]
图1(b)为drive数据集标签图；
[0043]
图2为粗细血管分类流程示意图；
[0044]
图2中，红色像素代表粗血管，蓝色像素代表细血管。
[0045]
图3(a)为血管骨架提取结果图(血管标签)；
[0046]
图3(b)为血管骨架提取结果图(血管骨架)。
[0047]
图4(a)为原血管与血管骨架面积比值计算示意图；
[0048]
图4(b)为图4(a)的的c处放大视图。
[0049]
图5为血管骨架与原血管比例直方图。
[0050]
图6为粗细血管骨架图。
[0051]
图7为粗细血管分类流程图。
[0052]
图8(a)为初步分类结果图；
[0053]
图8(b)为图8(a)的a处放大视图。
[0054]
图8(c)为形态学处理结果图。
[0055]
图8(d)为图8(c)的b处放大视图。
[0056]
图9为形态学处理流程图。
[0057]
图10为粗细血管分类流程图。
具体实施方式
[0058]
针对眼底血管数据集因不具有粗、细血管类型的标签信息使得基于深度学习的神经网络在训练时因无血管类型信息的引导，造成对粗细血管像素带来的误差同等看待，致使细血管分割精度无法有效提升的问题。本发明提出一种面向高精度血管分割模型训练应用的粗细血管分类方法。该方法首先从血管标签中提取血管骨架，并计算在8
×
8大小圆形区域内标签的血管面积与骨架的血管面积的比值，再根据阈值将血管骨架划分为粗血管骨架与细血管骨架，然后使用8邻域投票的方法迭代40次，将其他血管像素分类为粗血管像素与细血管像素，得到初步分类结果。针对初步分类结果中存在夹杂在长段粗血管的细血管斑点以及夹杂在长段细血管的粗血管斑点的情况，使用连通域方法除去斑点，在粗血管图像中找出连通区域小于35的斑点将其归为细血管，在细血管图像中找出连通区域小于35的斑点将其归为粗血管，迭代5次，得到最终分类结果。
[0059]
具体包括以下步骤：
[0060]
步骤一、从眼底血管标签中提取血管骨架：
[0061]
使用形态学方法，腐蚀血管边界像素，但是不允许血管断裂，保留下来的像素组合成了血管骨架；
[0062]
步骤二：在每个血管骨架像素所在的8
×
8大小圆形窗口内，计算标签血管与血管骨架面积的比值，如公式(1)所示，
[0063][0064]
其中：代表血管缩小比例值，代表血管骨架像素，代表原血管像素，代表8
×
8圆形窗口内血管骨架像素数量，代表8
×
8圆形窗口内血管像素数量。如图4(a)、图4(b)所示，图4(a)、图4(b)中，红色为血管骨架，白色为其他血管像素，蓝色圆圈代表8
×
8大小圆形区域。
[0065]
步骤三：根据血管骨架与原血管比例直方图，如图5所示。可以大致确定分类阈值在0.3-0.7之间，在drive数据集上经过多次实验，在阈值t＝0.363时分类效果最佳。使用阈值t＝0.363，将血管骨架分为粗血管骨架与细血管骨架。如图6所示，红色为粗血管骨架，蓝色为细血管骨架，白色为其他血管像素。
[0066]
步骤四：根据血管骨架的粗细分类结果，使用8邻域投票的方法，并迭代40次确认其他血管像素的分类，对于一个像素点的8邻域中粗细血管像素各占一半的情况，本方法倾向认为该像素点为粗血管像素，具体流程如图7所示。图8(a)、图8(b)为初步分类结果图，其中红色像素代表粗血管，蓝色像素代表细血管。
[0067]
步骤五：初步分类结果虽然将大部分粗细血管分类正确，但是分类结果中存在一些杂质点，例如：在一长段粗血管中间的一小块区域出现代表细血管的蓝色斑点，如图8(a)
中的浅蓝色方框内地图像所示，这种情况破坏了血管的整体结构，不利于后续血管的分割。
[0068]
针对这一问题，本发明在保证粗细血管分类基本正确前提下，使用形态学方法除去这些杂质点，具体流程如图9所示。首先，在粗血管中找出连通区域小于35的斑点将其归为细血管；然后，在细血管图像中找出连通区域小于35的斑点将其归为粗血管。就这样进行5次迭代，得到最终分类结果，如图8(c)、图8(d)所示。原本存在的粗血管斑点与细血管斑点基本消失。这样既将血管分类为粗血管与细血管，又保证了粗细血管相对完整的结构。