一种视网膜图像分类方法及装置与流程

1.本发明图像处理技术领域，尤其涉及一种视网膜图像分类方法及装置。


背景技术：

2.在利用视网膜图像进行分类预测的研究中，例如利用视网膜图像对心血管手术指标的风险分类和心脏病严重性分类预测等，由于视网膜图像中有效的特征区域仅为血管，而其他视网膜图像中血管以外如视盘、色素、微动脉瘤等无效生物标记无疑加大模型的学习难度，因此通过单个模型对视网膜图像进行分类后所得到的分类结果的精度和准确度都不高。


技术实现要素：

3.本发明实施例提供一种视网膜图像分类方法及装置，避免了无关生物特征的影响，提高了视网膜图像的分类准确度和精度。
4.本技术实施例的第一方面提供了一种视网膜图像分类方法，包括：
5.根据视网膜图像得到视网膜灰度图；
6.将视网膜灰度图输入至血管分割模型中，以使血管分割模型从视网膜灰度图中提取中间层特征图，并将中间层特征图进行池化操作后得到血管特征向量；
7.将血管特征向量输入到逻辑回归分类器模型中，输出得到视网膜图像的分类结果。
8.在第一方面的一种可能的实现方式中，血管分割模型的训练方法，具体为：
9.从训练数据集中获取第一图片，将第一图片上的黑边进行掩膜处理以提取最大矩形的感兴趣区域后，进行灰度化处理得到第二图片；其中，训练数据集为视网膜图像的集合；
10.将第二图片的分辨率设置为预设分辨率后，进行数据增强处理得到第三图片；
11.将第三图片作为样本图片输入神经网络模型中进行训练，以得到血管分割模型。
12.在第一方面的一种可能的实现方式中，根据视网膜图像得到视网膜灰度图，具体为：
13.将视网膜图像进行灰度处理，得到第一灰度图；
14.将第一灰度图分割成多个子图像，并对多个子图像进行直方图均衡化处理后，进行拼接得到视网膜灰度图。
15.在第一方面的一种可能的实现方式中，还包括：
16.根据中间层特征图，得到血管灰度图；
17.根据逻辑回归分类器模型的特征系数得到类别激活映射图；
18.将类别激活映射图的尺寸设置为预设尺寸后得到第一热度图；
19.将血管灰度图作为掩膜叠加在所述第一热度图上，得到第二热度图。
20.在第一方面的一种可能的实现方式中，根据中间层特征图，得到血管灰度图，具体
为：
21.根据中间层特征图，得到第二灰度图；
22.将第二灰度图进行二值化处理，得到血管二值图；
23.根据血管二值图获取血管连通域的不合格像素点，将不合格像素点进行过滤后得到血管灰度图。
24.本技术实施例的第二方面提供了一种视网膜图像分类装置，包括：第一获取模块、第二获取模块和分类模块；
25.其中，第一获取模块用于根据视网膜图像得到视网膜灰度图；
26.第二获取模块用于将视网膜灰度图输入至血管分割模型中，以使血管分割模型从视网膜灰度图中提取中间层特征图，并将中间层特征图进行池化操作后得到血管特征向量；
27.分类模块用于将血管特征向量输入到逻辑回归分类器模型中，输出得到视网膜图像的分类结果。
28.在第二方面的一种可能的实现方式中，血管分割模型的训练方法，具体为：
29.从训练数据集中获取第一图片，将第一图片上的黑边进行掩膜处理以提取最大矩形的感兴趣区域后，进行灰度化处理得到第二图片；其中，训练数据集为视网膜图像的集合；
30.将第二图片的分辨率设置为预设分辨率后，进行数据增强处理得到第三图片；
31.将第三图片作为样本图片输入神经网络模型中进行训练，以得到血管分割模型。
32.在第二方面的一种可能的实现方式中，根据视网膜图像得到视网膜灰度图，具体为：
33.将视网膜图像进行灰度处理，得到第一灰度图；
34.将第一灰度图分割成多个子图像，并对多个子图像进行直方图均衡化处理后，进行拼接得到视网膜灰度图。
35.在第二方面的一种可能的实现方式中，还包括：热度生成模块；
36.热度生产模块用于根据中间层特征图，得到血管灰度图；根据逻辑回归分类器模型的特征系数得到类别激活映射图；将类别激活映射图的尺寸设置为预设尺寸后得到第一热度图；将血管灰度图作为掩膜叠加在所述第一热度图上，得到第二热度图。
37.在第二方面的一种可能的实现方式中，根据中间层特征图，得到血管灰度图，具体为：
38.根据中间层特征图，得到第二灰度图；
39.将第二灰度图进行二值化处理，得到血管二值图；
40.根据血管二值图获取血管连通域的不合格像素点，将不合格像素点进行过滤后得到血管灰度图。
41.相比于现有技术，本发明实施例提供的一种视网膜图像分类方法及装置，本发明实施例的分类方法，先根据视网膜图像得到视网膜灰度图；再将所述视网膜灰度图输入至血管分割模型中，以使所述血管分割模型从所述视网膜灰度图中提取中间层特征图，并将所述中间层特征图进行池化操作后得到血管特征向量；最后将所述血管特征向量输入到逻辑回归分类器模型中，输出得到所述视网膜图像的分类结果。上述方法通过两个模型的结
合使用来进行对视网膜图像的分类，具体为：在根据视网膜图像得到视网膜灰度图后、通过血管分割模型提取了视网膜灰度图中的血管特征向量，由于血管特征向量中仅包括血管特征、而不包括其他无关生物特征，于是将血管特征向量输入至逻辑回归分类器模型中，能够有效地使逻辑回归分类器模型只关注视网膜图像中的有效特征区域——血管特征，从而在分类过程中避免了无关生物特征的影响，提高了视网膜图像的分类准确度和精度。
42.其次，由于视网膜灰度图是通过直方图均衡化处理后生成的，能够增强血管的清晰度且能够减小不同图像之间的曝光度的差异性，有利于分割模型根据视网膜灰度图提取血管特征向量。
43.再者，血管分割模型不仅能够提取视网膜灰度图中的特征向量后进行视网膜图像的分类，还能用于在提取视网膜灰度图中的血管灰度图后，结合逻辑回归分类器模型的特征系数生成具有像素级别细粒度的热度图，极大提高算法的可解释性。其中，所述具有像素级别细粒度的热度图能够使医务人员直接得到视网膜图像中血管特征的重要性。医生通过观察血管分割模型生成的血管灰度图则能了解系统学习到的特征的好坏情况，极大地增强血管分割模型的可解释性。
44.最后，血管分割模型是使用公开的血管分割数据集进行训练后形成的，通过使用公开的血管分割数据集能够节约大量人工标注的人力成本。
附图说明
45.图1是本发明一实施例提供的一种视网膜图像分类方法的流程示意图；
46.图2是本发明一实施例提供的血管分割模型的训练方法的流程示意图；
47.图3是本发明一实施例提供的一种视网膜热度图生成方法的流程示意图；
48.图4是本发明一实施例提供的第一视网膜热度图效果示意图；
49.图5是本发明一实施例提供的第二视网膜热度图效果示意图；
50.图6是本发明一实施例提供的第三视网膜热度图效果示意图；
51.图7是本发明一实施例提供的第四视网膜热度图效果示意图；
52.图8是本发明一实施例提供的第五视网膜热度图效果示意图；
53.图9是本发明一实施例提供的第六视网膜热度图效果示意图；
54.图10是本发明一实施例提供的第七视网膜热度图效果示意图；
55.图11是本发明一实施例提供的第八视网膜热度图效果示意图；
56.图12是本发明一实施例提供的血管灰度图的效果示意图；
57.图13是本发明一实施例提供的一种视网膜图像分类装置的结构示意图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.参照图1，图1是本发明一实施例提供的一种视网膜图像分类方法的流程示意图，包括：
60.s101：根据视网膜图像得到视网膜灰度图。
61.其中，所述视网膜图像为rgb图像。
62.s102：将视网膜灰度图输入至血管分割模型中，以使血管分割模型从视网膜灰度图中提取中间层特征图，并将中间层特征图进行池化操作后得到血管特征向量。
63.在本实施例中，所述中间层特征图是通过血管分割模型前面多层卷积层和激活层所计算得到的，所述中间层特征图包含了血管的特征信息，不仅能够用于生成血管特征向量，还能够用于生成血管灰度图。其中，所述血管特征向量仅包括血管特征。
64.在本实施例中，所述将中间层特征图进行池化操作后得到血管特征向量，可由以下公式表示：
[0065][0066]
其中，f
k
(x，y)表示第k个中间层特征图，n为中间层特征图的像素总数，f
k
为第k个中间层特征图经过全局平均池化后的全局特征表示，即所述血管特征向量。
[0067]
其中，所述血管分割模型为具有编码器
‑
解码器的u型网络结构的血管分割模型。
[0068]
s103：将血管特征向量输入到逻辑回归分类器模型中，输出得到视网膜图像的分类结果。
[0069]
在本实施例中，所述根据视网膜图像得到视网膜灰度图，具体为：将所述视网膜图像进行灰度处理，得到第一灰度图；将所述第一灰度图分割成多个子图像，并对多个所述子图像进行直方图均衡化处理后，进行拼接得到所述视网膜灰度图。
[0070]
在一具体实施例中，用预设尺寸的窗口对第一灰度图进行分割，得到多个子图像后，对每个所述子图像进行直方图均衡化处理，得到多个灰度直方图，可由下述公式进行表示：
[0071][0072][0073]
h(k)＝n
k k＝0，1，
…
，l
‑1[0074]
其中，s
k
表示原灰度值k归一化后的灰度级，其值在0到1之间；n
i
是子图像中灰度级为i的像素的个数；n表示子图像中像素的总数；n
k
是子图像中灰度级为k的像素个数；p
r
(k)为灰度级为k的像素的出现频率；h(k)为各灰度级子图像的个数的集合。
[0075]
将归一化后的灰度图与原灰度级范围相乘，得到直方图均衡化后的子图像后，将直方图均衡化后的子图像按照原位置进行拼接得到视网膜灰度图。
[0076]
上述处理能够使第一灰度图的对比度增强，解决了视网膜图像中的血管不清晰以及图像之间曝光度不一致等问题，有利于分割模型提取中间层特征图。
[0077]
为了进一步说明血管分割模型的训练过程，请参照图2，图2为本发明一实施例提供的血管分割模型的训练方法，包括：
[0078]
s201：从训练数据集中获取第一图片，将第一图片上的黑边进行掩膜处理以提取最大矩形的感兴趣区域后，进行灰度化处理得到第二图片。
[0079]
其中，所述训练数据集为视网膜图像的集合。
[0080]
s202：将第二图片的分辨率设置为预设分辨率后，进行数据增强处理得到第三图片。
[0081]
s203：将第三图片作为样本图片输入神经网络模型中进行训练，以得到血管分割模型。
[0082]
在本实施例中，所述训练数据集包括：hrf数据集，drive数据集和stare数据集。由于hrf数据集，drive数据集和stare数据集这三个公开的血管分割数据集只用于模型的训练，因此重新对训练数据集进行整理与划分，优选地，分别从stare数据集随机选出18张视网膜图像、从drive数据集中选出36张视网膜图、从hrf数据集随机选出40张视网膜图像后，组合作为训练数据集。
[0083]
由于训练数据集中的视网膜图像存在黑边，所以从训练数据集中获取第一图片后需要对其黑边进行掩膜处理以提取最大矩形的感兴趣区域。然后对第一图片进行灰度化处理后，得到第二图片。由于第二图片都是经过灰度化处理而生成的，所以能够降低由于第一图片来自不同数据集而产生的差异性。
[0084]
将第二图片的分辨率设置为预设分辨率，具体可以为：将第二图片统一缩放为256*256个像素的分辨率。通过统一第二图片的的分辨率，能够进一步降低不同数据集的图片之间的差异性。
[0085]
对设置好分辨率的第二图片进行数据增强处理得到第三图片，具体为：对设置好分辨率的第二图片进行旋转、平移等数据增强处理得到第三图片，以增加训练样本的多样性。
[0086]
最后将所述第三图片输入神经网络模型中进行训练，便得到所述血管分割模型。其中，所述神经网络模型为u型结构和残差结构的神经网络模型(resunet神经网络模型)。
[0087]
为了进一步介绍血管分割模型的作用，请参照图3，图3是本发明一实施例提供的一种视网膜热度图生成方法的流程示意图，包括：
[0088]
s301：将视网膜灰度图输入至血管分割模型中，以使血管分割模型从视网膜灰度图中提取中间层特征图。
[0089]
s302：根据中间层特征图，得到血管灰度图。
[0090]
在一具体实施例中，所述根据中间层特征图，得到血管灰度图，具体为：
[0091]
根据所述中间层特征图，得到第二灰度图；将所述第二灰度图进行二值化处理，得到血管二值图；根据所述血管二值图获取血管连通域的不合格像素点，将所述不合格像素点进行过滤后得到所述血管灰度图。
[0092]
在一具体实施例中，由于血管二值图有很好的血管完整性，先寻找血管上所有的连通域并对所在同一连通域的像素点进行标注，然后遍历每个连通域并记录连通域的总像素点数量，最后设置阈值记录下连通域过小的像素位置，通过上述方法能够在血管二值图上把标记为连通域过小的像素点过滤掉，从而生成精度高的血管灰度图。
[0093]
s303：根据逻辑回归分类器模型的特征系数得到类别激活映射图。
[0094]
在一具体实施例中，所述逻辑回归分类器模型的特征系数得到类别激活映射图，
可由下述公式表示：
[0095][0096]
其中，f
k
(x，y)表示第k个中间层特征图；表示第k个中间层特征图对于类别c的贡献程度，即所述逻辑回归分类器模型的特征系数；m
c
(x，y)表示通过多个中间层特征图加权叠加后生成的类别激活映射图。
[0097]
所述逻辑回归分类器模型的特征系数可表示为对应特征的权重值，而每个特征可映射到视网膜图像中对应的子区域，为后续生成热度图提供更直观的依据。
[0098]
s304：将类别激活映射图的尺寸设置为预设尺寸后得到第一热度图。
[0099]
在本实施例中，所述第一热度图为区域级别的注意力热度图。所述第一热度图能反馈视网膜图像中对分类有作用的位置区域，但未能具体定位到像素级别的精度。
[0100]
s305：将血管灰度图作为掩膜叠加在第一热度图上，得到第二热度图。
[0101]
在本实施例中，由于将血管灰度图作为掩膜叠加在区域级别的注意力热度图上，得到第二热度图，并使所述第二热度图只关注视网膜图像中的血管像素信息，于是所述第二热度图为具有像素级别细粒度的注意力热度图。
[0102]
由上述可得，血管分割模型不仅能够提取视网膜灰度图中的特征向量后进行视网膜图像的分类，还能用于在提取视网膜灰度图中的血管灰度图后，结合逻辑回归分类器模型的特征系数生成具有像素级别细粒度的热度图。
[0103]
为了进一步说明具有像素级别细粒度的注意力热度图的效果，请参照图4至图11，图4至图11分别是本发明一实施例提供的第一视网膜热度图效果示意图至第八视网膜热度图效果示意图。
[0104]
其中，图4至图11的左半边图片均是视网膜灰度图、右半边图片均是所述视网膜灰度图相应的具有像素级别细粒度的视网膜热度图。由图4至图11的左半边图片可得，所述视网膜灰度图的血管分布各异、血管姿态具备多样性，而且血管特征不清晰、具有大量的无效生物标记；由图4至图11的右半边图片可得，视网膜热度图的血管特征清晰、具不存在除了血管之外的无效生物标记。
[0105]
由此可得，本发明实施例提供的视网膜热度图生成方法所生成的视网膜热度图，是具备像素级别细粒度的，以使医生在查看视网膜热度图时能够直观地关注到血管特征以及血管特征的重要性，而避免了无关标记对医生观察血管特征的干扰。就比如在图4至图11的右半边图片中，当视网膜热度图为灰度图时，医生可以根据血管区域内的亮度分布判断血管特征的重要性：亮度越高代表注意力越高、重要性就越大；当视网膜热度图为彩色图时，医生可以根据血管区域内的不同颜色的分布情况判断血管特征的重要性，该判断流程为本领域常用技术手段，在此便不再赘述。
[0106]
此外，由图4至图11的左半边图片可得，作为输入的视网膜灰度图的血管分布各异、血管姿态具备多样性；但由图4至图11的右半边图片可得，作为输出的视网膜热度图均为具有像素级别细粒度的热度图，即均具备同一水准的质量和效果，证明了本发明实施例提供的视网膜热度图生成方法具备很高的稳定性和准确性，无论输入的视网膜灰度图中血
管的分布和姿态如何，都能排除无关生物标记的干扰，输出像素级别细粒度的热度图。
[0107]
为了进一步说明血管灰度图的效果，请参照图12，图12是本发明一实施例提供的血管灰度图的效果示意图。
[0108]
图12中，从左到右分别是视网膜图像、第二灰度图和血管灰度图。由图12可得，对第二灰度图进行二值化处理后，再将不合格像素点进行过滤后才得到所述血管灰度图，所以血管灰度图的精度很高，血管分布清晰，没有其他无关的生物标记。
[0109]
为了进一步说明视网膜图像分类装置，请参照图13，图13是本发明一实施例提供的一种视网膜图像分类装置的结构示意图，包括：第一获取模块501、第二获取模块502和分类模块503。
[0110]
其中，所述第一获取模块501根据视网膜图像得到视网膜灰度图。
[0111]
在本实施例中，所述根据视网膜图像得到视网膜灰度图，具体为：将所述视网膜图像进行灰度处理，得到第一灰度图；将所述第一灰度图分割成多个子图像，并对多个所述子图像进行直方图均衡化处理后，进行拼接得到所述视网膜灰度图。
[0112]
所述第二获取模块502用于将所述视网膜灰度图输入至血管分割模型中，以使所述血管分割模型从所述视网膜灰度图中提取中间层特征图，并将所述中间层特征图进行池化操作后得到血管特征向量。
[0113]
所述分类模块503用于将所述血管特征向量输入到逻辑回归分类器模型中，输出得到所述视网膜图像的分类结果。
[0114]
具体地，所述血管分割模型的训练方法，具体为：
[0115]
从训练数据集中获取第一图片，将所述第一图片上的黑边进行掩膜处理以提取最大矩形的感兴趣区域后，进行灰度化处理得到第二图片；其中，所述训练数据集为视网膜图像的集合；
[0116]
将所述第二图片的分辨率设置为预设分辨率后，进行数据增强处理得到第三图片；
[0117]
将所述第三图片作为样本图片输入神经网络模型中进行训练，以得到所述血管分割模型。
[0118]
在一具体实施例中，所述视网膜图像分类装置还包括热度图生成模块，所述热度图生成模块用于根据所述中间层特征图，得到血管灰度图；根据所述逻辑回归分类器模型的特征系数得到类别激活映射图；将所述类别激活映射图的尺寸设置为预设尺寸后得到第一热度图；将所述血管灰度图作为掩膜叠加在所述第一热度图上，得到第二热度图。
[0119]
在一具体实施例中，所述根据所述中间层特征图，得到血管灰度图，具体为：根据所述中间层特征图，得到第二灰度图；将所述第二灰度图进行二值化处理，得到血管二值图；根据所述血管二值图获取血管连通域的不合格像素点，将所述不合格像素点进行过滤后得到所述血管灰度图。
[0120]
本发明实施例先通过第一获取模块501根据视网膜图像得到视网膜灰度图；再通过第二获取模块502将所述视网膜灰度图输入至血管分割模型中，以使所述血管分割模型从所述视网膜灰度图中提取中间层特征图，并将所述中间层特征图进行池化操作后得到血管特征向量；最后通过分类模块503将所述血管特征向量输入到逻辑回归分类器模型中，输出得到所述视网膜图像的分类结果。
[0121]
本发明实施例通过两个模型的结合使用来进行对视网膜图像的分类，具体为：在根据视网膜图像得到视网膜灰度图后、通过血管分割模型提取了视网膜灰度图中的血管特征向量，由于血管特征向量中仅包括血管特征、而不包括其他无关生物特征，于是将血管特征向量输入至逻辑回归分类器模型中，能够有效地使逻辑回归分类器模型只关注视网膜图像中的有效特征区域——血管特征，从而在分类过程中避免了无关生物特征的影响，提高了视网膜图像的分类准确度和精度。
[0122]
其次，由于视网膜灰度图是通过直方图均衡化处理后生成的，能够增强血管的清晰度且能够减小不同图像之间的曝光度的差异性，有利于分割模型根据视网膜灰度图提取血管特征向量。
[0123]
再者，血管分割模型不仅能够提取视网膜灰度图中的特征向量后进行视网膜图像的分类，还能用于在提取视网膜灰度图中的血管灰度图后，结合逻辑回归分类器模型的特征系数生成具有像素级别细粒度的热度图，极大提高算法的可解释性。其中，所述具有像素级别细粒度的热度图能够使医务人员直接得到视网膜图像中血管特征的重要性。医生通过观察血管分割模型生成的血管灰度图则能了解系统学习到的特征的好坏情况，极大地增强血管分割模型的可解释性。
[0124]
最后，通过公开的血管分割数据集对血管分割模型进行训练，能够节约大量人工标注的人力成本。
[0125]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。