一种眼底图像分析系统、方法以及电子设备与流程

1.本发明涉及针对近视的眼底分析方法，具体来说涉及利用神经网络模型进行眼底图像分析的技术领域，更具体地说，涉及一种眼底图像分析系统、方法以及电子设备。


背景技术：

2.近年来，我国青少年群体发生近视的年龄越来越低，青少年视力问题逐渐成为困扰许多家长学校，老师的主要问题，青少年视力防控也上升到国家战略层面。
3.近视的发生往往是由于不良的用眼习惯再加上沉重的学业负担，青少年群体大多用眼过度，导致眼轴拉伸变长，同时在眼底照片上也会有对应的图像特征存在的，比如说常见的豹纹状眼底就是眼轴拉伸导致视网膜变薄，脉络膜显示在眼底图像上。在发生近视的早前期，眼底图像上也是有轻微的改变的，眼球的轻微变形，导致视盘周边区域的牵拉，会将不同的视网膜组织层裸露出来，形成眼底弧形斑，且不同组织层在眼底图像上的颜色形态特征有轻微不同的表现。高度近视眼底往往也会带来更严重的眼底结构的改变，比如弥漫性萎缩、斑片状萎缩眼底。这些都是近视度数较高时的眼底表现。限于我国专业眼科医生的匮乏，绝大部分眼视光检测机构都没有配备眼底照相机，在验光配镜的同时进行眼底检查，导致一些近视眼底病变没有被及时地发现，从而不能被正确地引导。因此，除了常规的视力表测试、眼轴长度测量之外，还可以对视网膜眼底照片进行检测。而对不同近视情况下的眼底图像特征精确监测，也应该作为青少年视力防控的重要一环。
4.但是，当前近视眼底往往仅限于识别当前眼底是否异常，不能针对近视眼底所特有的情况给出更细节的分析，使得相关人员难以根据具体情况针对性地为近视患者提供更好的诊疗或者日常用眼建议。


技术实现要素：

5.因此，本发明的目的在于克服上述现有技术的缺陷，提供一种眼底图像分析系统、方法以及电子设备。
6.本发明的目的是通过以下技术方案实现的：
7.根据本发明的第一方面，提供一种眼底图像分析系统，该系统包括特征提取模块、眼底预测模块和分割预测模块，其中，特征提取模块对待分析的眼底图像进行采样以提取眼底特征图；眼底预测模块根据眼底特征图分析眼底图像对应的眼底类别，眼底类别包括正常眼底和多种近视关联眼底；分割预测模块对眼底特征图进行采样以分析眼底图像对应的分割预测图，其指示眼底图像中每个像素的类别，像素的类别包括背景像素类别、视盘像素类别、多种弧形斑像素类别和多种萎缩斑像素类别。
8.在本发明的一些实施例中，特征提取模块对眼底图像进行多次下采样，得到眼底特征图；眼底预测模块对眼底特征图进行多次上采样，到多通道分割图，并且基于多通道分割图进行分析得到分割预测图。
9.在本发明的一些实施例中，该系统是按照以下方式训练得到的：获取训练数据，其
包括多张眼底图片、眼底类别标签和像素类别标签；利用训练数据训练系统，其中，根据眼底预测模块的输出和眼底类别标签计算眼底分类子损失，根据分割预测模块的输出和像素类别标签计算眼底分割子损失，根据眼底分类子损失和眼底分割子损失计算总损失，基于总损失对特征提取模块、眼底预测模块和分割预测模块执行梯度计算与参数更新。
10.在本发明的一些实施例中，该系统还包括眼别分类模块和量化分析模块，其中，眼别分类模块根据眼底特征图确定眼底图像对应的眼别，眼别为左眼或者右眼；量化分析模块根据眼底图像对应的眼底类别和分割预测图进行量化分析，或者根据眼底图像对应的眼底类别、眼别和分割预测图进行量化分析，得到多种量化指标。
11.在本发明的一些实施例中，该系统是按照以下方式训练得到的：获取训练数据，其包括多张眼底图片(训练数据中的眼底图片也是眼底图像，此处名称不同仅为了区分)、眼底类别标签、眼别标签和像素类别标签；利用训练数据训练系统，其中，根据眼底预测模块的输出和眼底类别标签计算眼底分类子损失，根据眼别分类模块的输出和眼别标签计算眼别分类子损失，根据分割预测模块的输出和像素类别标签计算眼底分割子损失，根据眼底分类子损失、眼别分类子损失和眼底分割子损失计算总损失，基于总损失对特征提取模块、眼底预测模块、分割预测模块、眼别分类模块执行梯度计算与参数更新。
12.在本发明的一些实施例中，总损失是按以下方式计算的：
13.l
all
＝α*l
seg
β*l
clf
‑1 γ*l
clf
‑2；
14.其中，l
all
表示总损失，l
seg
表示眼底分割子损失，l
clf
‑1表示眼底分类子损失，l
clf
‑2表示眼别分类子损失，α表示眼底分割子损失的权重，β表示眼底分类子损失的权重，γ表示眼别分类子损失对应的权重。
15.在本发明的一些实施例中，多种量化指标包括病灶的数量指标和面积指标，量化分析模块用于：
16.在眼底图像对应的眼底类别为任意近视关联眼底时，根据病灶的数量指标和面积指标中的至少一种量化指标对该眼底图像对应的眼底病变的程度进行分级，得到分级指标。
17.在本发明的一些实施例中，在眼底图像对应的眼底类别为任意近视关联眼底时，根据病灶的数量指标和面积指标中的至少一种量化指标对该眼底图像对应的眼底病变的程度进行分级，得到分级指标包括：
18.根据病灶的数量指标和面积指标中的至少一种量化指标确定眼底病变的病变值，根据该病变值所处的分级阈值区间确定该眼底病变的级别，其中，用于构建分级阈值区间的分级阈值是按照以下方式得到的：
19.从采集到的包含多种年龄段、多个地域、多种近视程度的样本集合中随机采样部分样本；根据分级的粒度和采样的所有样本的数量确定取样间隔；将采样的所有样本对应的病变值按大小顺序排列，按照该取样间隔从中间隔取样确定用于分级的多个分级阈值。
20.在本发明的一些实施例中，面积指标包括：病灶的最小面积、病灶的最大面积、病灶总面积以及病灶总面积与视盘总面积的比值。
21.在本发明的一些实施例中，在眼底图像对应的眼底类别为弧形斑眼底时，根据弧形斑的病灶总面积与视盘总面积的比值对该眼底图像对应的弧形斑病变的程度进行分级。
22.在本发明的一些实施例中，弧形斑的病灶总面积是加权面积，其中，根据眼别确定
分割预测图上视盘的颞侧和鼻侧以及根据颞侧和鼻侧将分割预测图分为多个子区域，根据各子区域的区域权重和多种弧形斑像素类别的类别权重对分割预测图中弧形斑的面积进行加权求和，得到加权面积。
23.优选的，离鼻侧相对较近的子区域的区域权重大于离鼻侧相对较远的子区域的区域权重。
24.优选的，多种弧形斑像素类别包括：色素弧形斑、脉络膜弧形斑、混合弧形斑和巩膜弧形斑，其中，多种弧形斑像素类别的类别权重由小到大依次为色素弧形斑、脉络膜弧形斑、混合弧形斑、巩膜弧形斑对应的类别权重。
25.在本发明的一些实施例中，多种近视关联眼底是弧形斑眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底、豹纹眼底中类别的组合；多种弧形斑像素类别是色素弧形斑、脉络膜弧形斑、混合弧形斑、巩膜弧形斑中类别的组合；多种萎缩斑像素类别包括弥漫性萎缩和斑片状萎缩。
26.根据本发明的第二方面，提供一种基于第一方面的系统实现的眼底图像分析方法，方法包括：获取待分析的眼底图像；由特征提取模块对眼底图像进行采样以提取眼底特征图；由眼底预测模块根据眼底特征图分析眼底图像对应的眼底类别；由分割预测模块对眼底特征图进行采样以分析眼底图像对应的分割预测图，其指示眼底图像中每个像素的类别；输出经分析得到的眼底类别和分割预测图。
27.在本发明的一些实施例中，该系统还包括眼别分类模块和量化分析模块，方法进一步包括：由眼别分类模块根据眼底特征图分析眼底图像对应的眼别，眼别为左眼或者右眼；由量化分析模块根据眼底图像对应的眼底类别和分割预测图进行量化分析，或者根据眼底图像对应的眼底类别、眼别和分割预测图进行量化分析；输出多种量化指标。
28.该方法的一些细节实施方式可参照前述系统的实施例，此处不再赘述。
29.根据本发明的第三方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储可执行指令；所述一个或多个处理器被配置为执行所述可执行指实现第二方面所述的方法。
30.与现有技术相比，本发明的优点在于：
31.1、本发明提出了利用机器学习技术解决传统近视眼底的分类只有病理性近视相关的粗糙类别问题；
32.2、本发明将近视眼底分类、眼别分类、像素级的分割整合进一个统一的端到端训练框架中，充分发挥每类模型的优势；
33.3、针对早期近视、高度近视、病理性近视等不同阶段的近视眼底，本发明利用分割预测模型，在全人群随机抽样分析选取阈值后，对萎缩状眼底(对应于高度近视、病理性近视)、弧形斑状眼底(对应于早期近视眼底)进行更细粒度的量化分级；
34.4、本发明根据视盘区域中心及眼别类型，将眼底图像划分为不同的区域，给每一区域的不同弧形斑类型赋予不同的权重，从而得到能更精确、直观地反应弧形斑病情的量化指标。
附图说明
35.以下参照附图对本发明实施例作进一步说明，其中：
36.图1为多种眼底病变表现所对应的示意性的眼底图像；
37.图2为根据本发明实施例的眼底图像分析系统的模块示意图；
38.图3为根据本发明实施例的特征提取模块的一个示意性的实施方式；
39.图4为根据本发明实施例的特征提取模块的另一个示意性的实施方式；
40.图5为根据本发明实施例的图3所示实施方式的特征提取模块的第二层的结构示意图；
41.图6为根据本发明实施例的特征提取模块和分割预测模块所构成的u型网络结构的示意图；
42.图7为根据本发明另一个实施例的眼底图像分析系统的模块示意图；
43.图8为根据本发明实施例的眼底图像分析系统的训练损失的示意图；
44.图9为根据本发明实施例的眼底的区域划分的示意图。
具体实施方式
45.为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
46.如在背景技术部分提到的，当前近视眼底往往仅限于识别当前眼底是否异常，不能针对近视眼底所特有的情况给出更细节的分析，使得相关人员难以根据具体情况针对性地为近视患者提供更好的诊疗或者日常用眼建议。为了改进，本发明对针对原始的眼底图像提取相应的眼底特征图，根据眼底特征图预测该眼底图像是正常眼底或者某种近视关联眼底，并对眼底特征图进行多通道分割，从而基于多通道分割图进行预测得到分割预测图，其中分割预测图的每个像素的预测值对应于背景像素类别、视盘像素类别、多种弧形斑像素类别和多种萎缩斑像素类别中的一种类别；由此，以便医生或者配镜师知晓被检测人员的眼底的近视情况以及有关的多种弧形斑像素类别和多种萎缩斑像素类别在眼底图像中的分布情况，从而为被检测人员提供更好的诊疗或者日常用眼建议。
47.在对本发明的实施例进行具体介绍之前，先对其中使用到的部分术语作如下解释：
48.眼底是指眼球内后部的区域，包括视网膜、视乳头、黄斑和视网膜中央动脉等解剖结构。
49.视盘(optic disc)，是指视神经盘，也叫视神经乳头。视网膜由黄斑向鼻侧约3mm处有一直径约1.5mm，境界清楚的淡红色圆盘状结构，称为视神经盘，简称视盘。
50.色素弧形斑，是指在眼底形成的黑色月牙形态的弧形斑类型。早期近视阶段眼轴轻微牵拉颞侧视盘边沿色素上皮层细胞聚集，形成黑色月牙弧形状；相关症状对应的眼底图像可参照图1a。
51.脉络膜弧形斑，是指在眼底上由于脉络膜暴露所形成的弧形斑类型。高度近视及病理性近视眼时，由于眼球向后伸长，巩膜发生扩张牵扯，视网膜色素上皮细胞和脉络膜(branch膜)与颞侧视盘脱开，中止于离开视盘一定距离处；脱开的区域内视网膜色素上皮层缺失，暴露了下方的脉络膜，在眼底图像下表现为灰色的新月形区域；相关症状对应的眼底图像可参照图1b。
52.混合弧形斑，是指在眼底上出现脉络膜和巩膜的交叉暴露的弧形斑类型。牵扯区域伴随着脉络膜和巩膜的交叉暴露，在眼底图像上表现为灰白相间的特征；相关症状对应的眼底图像可参照图1c。
53.巩膜弧形斑，是指在眼底上因严重的巩膜暴露所形成的弧形斑类型。混合弧形斑中牵扯相对较弱，如果牵扯更重，脉络膜也被扯离视盘，则脱开区域内视网膜色素上皮层与脉络膜均缺失，相应处巩膜暴露，眼底图像上表现为特有的白色弧形斑；相关症状对应的眼底图像可参照图1d。
54.弥漫性萎缩，是指眼底上出现视盘颞侧区域视网膜色素上皮和脉络膜色素紊乱所对应萎缩斑类型。视盘颞侧区域视网膜色素上皮和脉络膜色素紊乱，会形成孤立或多发的黄白色区域，形状不规则，小而广泛；相关症状对应的眼底图像可参照图1e。
55.斑片状萎缩，是指在眼底出现一些斑片状萎缩区的萎缩斑类型。眼底呈现小而局限的孤立萎缩灶(萎缩区)，圆形、白色或黄白色，在其边缘可见色素性团块；相关症状对应的眼底图像可参照图1f。
56.豹纹眼底，是指出现豹皮样纹理的眼底类型。近视眼底由于眼球向后伸长，视网膜血管离开视盘后即变细变直，脉络膜血管亦相应变细变直或明显减少。同时由于色素上皮层营养障碍，浅层色素消失，脉络膜橘红色大血管更加暴露而呈现豹皮样纹理；相关症状对应的眼底图像可参照图1g。
57.黄斑区萎缩，是指在黄斑区出现萎缩区的萎缩斑类型。黄斑区萎缩是在黄斑区出现斑片状萎缩区的萎缩斑类型。某些病理性近视的晚期黄斑区域可出现脉络膜血管闭塞，出现单个或多个局灶性色素上皮和脉络膜毛细血管萎缩变性，伴随色素迁移。眼底表现为在黄斑部及周围布以大小不等形态各异的萎缩区；相关症状对应的眼底图像可参照图1h。
58.环形弧形斑，弧形斑一般从颞侧区域开始向颞上颞下以及鼻侧延伸。有少部分会出现延伸到鼻侧区域则呈现出环状区域弧形斑改变；相关症状对应的眼底图像可参照图1i。
59.根据本发明的一个实施例，参见图2，提供一种眼底图像分析系统，包括特征提取模块1、分割预测模块2、眼底预测模块3。该系统可安装在计算机或者服务器等电子设备中。
60.其中，特征提取模块1也可以称为编码模块(encoder)，是一个多层的神经网络模型，用于对待分析的眼底图像进行采样以提取眼底特征图。优选的，特征提取模块对眼底图像进行多次下采样以提取眼底特征图。输入的眼底图像每经过此模块的一次下采样后分辨率降低为原来的1/2，特征通道数逐渐增加，得到相应的眼底特征图。由此，可以采样到高级抽象的语义空间，提高模型的表达能力。
61.特征提取模块1的实施方式1可参见图3，其中，特征提取模块1包括五层子网络，眼底图像经过第一层、第二层、第三层、第四层和第五层的子网络进行多次下采样，图像的分辨率逐渐减少，特征通道数逐渐增大。原始的600*600*3(长*宽*特征通道数，后续数据含义相同，不作赘述)的眼底图像经过第一层的处理得到300*300*20的特征图1，再经第二层的处理，得到150*150*40的特征图2，再经第三层的处理，得到75*75*80的特征图3，再经第四层的处理，得到38*38*160的特征图4，再经第五层的处理，得到19*19*320的特征图5。
62.特征提取模块1的子网络层数、输入的眼底图像的尺寸特征、特征图的尺寸均可以根据实施者的需要设置。提取模块1的实施方式2可参见图4，其中，特征提取模块1包括四层
子网络，眼底图像经过第一层、第二层、第三层和第四层子网络进行多次下采样，图像的分辨率逐渐减少，特征通道数逐渐增大。原始的400*400*3的眼底图像经过第一层的处理得150*150*40的特征图1，再经第二层的处理，得到75*75*80的特征图2，再经第三层的处理，得到38*38*160的特征图3，再经第四层的处理，得到19*19*320的特征图4。
63.根据本发明的其他实施例，特征提取模块1有多种可选择的网络结构，比如：包括卷积神经网络的cnn卷积块、基于自注意力机制的transformer块、u
‑
net等网络中的特征提取部分的结构或者其组合。
64.在一个实施例中，特征提取模块1的每层子网络可以为基于卷积神经网络的cnn卷积块，例如包含批归一化层(bn)、卷积层、池化层、激活层等任意组合形式。参见图5，以图3所示实施方式1的第二层子网络为例，其可以包括卷积块1和卷积块2，其中，特征图1输入卷积块1，依次经过卷积块1的批归一化层、卷积层和激活层的处理后，输入卷积块2，依次经过卷积块2的批归一化层、卷积层、激活层和平均池化层的处理，得到特征图2。其中，300*300*20的特征图1经卷积块1的批归一化层的处理，得到300*300*20的特征图1.1，再经卷积层的处理，得到300*300*40的特征图1.2，再经激活层的处理，得到300*300*40的特征图1.3；将特征图1.3输入卷积块2，经卷积块2的批归一化层的处理，得到300*300*40的特征图1.4，再经卷积层的处理，得到300*300*40的特征图1.5，再经激活层的处理，得到300*300*40的特征图1.6，再经平均池化层的处理，得到150*150*40的特征图2。可以看到，卷积块1的卷积处理过程被配置为将特征通道数调整为原来的两倍，即从20调整为40；卷积块2的卷积处理过程被配置为保持特征通道数不变；两个激活层采用的激活函数为relu。
65.在另一个实施例中，特征提取模块1包括卷积神经网络的cnn卷积块、基于自注意力机制的transformer块。例如，将图5所示的结构中，卷积块1替换为transformer块，其中，transformer块不采用卷积层，而采用多头注意力层transformer，其他不变。
66.但应当理解，以上实施例中的网络层数、每一层的卷积块数、每一个卷积块包含的批归一化层、卷积层、激活层、池化层等都可以根据实际情况调整。换言之，以上对特征提取模块的神经网络的具体实施结构仅作为示例，以便于理解本发明的技术方案。在本发明的保护范围之内，本领域技术人员可以根据需要对神经网络的具体实施结构进行设置或者调整。将卷积块2的卷积处理配置为用于增加特征通道数，卷积块1的卷积处理不调整特征通道数；又或者，将卷积块1的卷积处理配置为将特征通道数由20调整为30，将卷积块2的卷积处理配置为将特征通道数由30调整为40。同样地，激活层所采用的激活函数也可以根据需要设置和调整，如采用mish激活函数等。此外，输入、输出的图像或者中间层的特征图的尺寸和特征通道数也可以根据需要设置和调整。
67.根据本发明的一个实施例，特征提取模块1也可以采用一些现有的结构。例如，unet 、upper net或者没有t跳转链接的全卷积神经网络fcn的编码部分(下采样部分)。
68.图2中的分割预测模块2也可以称为解码模块(decoder)，是一个多层的神经网络模型，用于对所述眼底特征图进行采样以分析眼底图像对应的分割预测图。优选的，眼底预测模块对所述眼底特征图进行多次上采样，到多通道分割图，并且基于所述多通道分割图进行分析得到分割预测图。可选的，在第二次及以后的上采样前，将上采样的特征图与特征提取模块1中对应层输出的分辨率相同的特征图进行叠加，将最后一次下采样得到的眼底特征图的分辨率逐层增大2倍，最终得到和原始输入图像分辨率相同，通道数等于背景像素
类别、视盘像素类别、多种弧形斑像素类别和多种萎缩斑像素类别对应的类别总数(例如8)的多通道分割图，经过取最大值(argmax)操作之后得到每一个像素位置对应的像素类别，所有像素对应的像素类别构成分割预测图。
69.特征提取模块1和分割预测模块2的组成的网络结构为u型网络结构，一个示意性的实施方式可参照图6所示的网络结构。眼底图像为600*600*3的尺寸，经过特征提取模块1的5层子网络的处理(下采样)，每经过一层的处理，分辨率缩小为输入的一半，通道数逐渐增加，依次得到特征图1(300*300*20)、特征图2(150*150*40)、特征图3(75*75*80)、特征图4(38*38*160)、特征图5(19*19*320)，特征图5即为最后一次下采样得到的眼底特征图。然后，经过分割预测模块2的5层子网络的处理(上采样)，每经过一层的处理，最后一次下采样得到的眼底特征图的分辨率增大为输入的2倍，通道数逐渐减少，依次得到特征图6(38*38*160)、特征图7(75*75*80)、特征图8(150*150*40)、特征图9(300*300*20)、特征图10(600*600*20)，然后经过1x1卷积得到特征图11(600*600*8)；特征图11即为多通道分割图。可以看到，在分割预测模块2的第一层以外的其他层，还会通过跳转链接获取将来自特征提取模块1的相应层的同分辨率的特征图，将其与分割预测模块2的前一层的输出进行叠加后，再进行上采样。
70.图2中的眼底预测模块3是一个用于预测眼底类别任务的神经网络模型，其包括全连接层或者transformer层，根据眼底特征图对眼底图像进行眼底类别预测，输出正常眼底和多种近视关联眼底中的一种或者多种类别。眼底预测模块3预测的眼底类别是对近视眼底的进展进行初步的分类。
71.根据本发明的一个实施例，多种近视关联眼底是弧形斑眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底中类别的组合。在此之外，豹纹眼底也是近视眼底常见表现，可以额外加入豹纹眼底以学习相应的眼底语义信息，提高系统性能。优选的，多种近视关联眼底是弧形斑眼底、豹纹眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底中类别的组合。举例来说，多种近视关联眼底是弧形斑眼底、豹纹眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底。或者，去掉一个或者多个类别，比如，去掉豹纹眼底，多种近视关联眼底是弧形斑眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底。应当理解，根据需要，实施者还可以在上述近视关联眼底类别之外增加一个或者多个相应的类别。由于近视眼底的弧形斑眼底、豹纹眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底有可能同时存在，眼底预测模块3的激活函数为适用于多标签分类任务的sigmoid激活函数，每一类标签通过各自单独的阈值划分阳性和阴性，最后再对所有预测分类进行汇总。但是，正常眼底和多种近视关联眼底之间是互斥的，若输出正常眼底，则不会输出任何一种近视关联眼底对应的类别。根据申请人对训练时的数据结果的研究表明，因为基于眼底整体来观测色素弧形斑、脉络膜弧形斑、混合弧形斑、巩膜弧形斑较为相似，训练眼底预测模块来对细分的色素弧形斑、脉络膜弧形斑、混合弧形斑、巩膜弧形斑对应的眼底进行区分难度较大，而弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底在眼底整体上也可以较为明显地区分。因此，为了更精确地分类，本发明将多种弧形斑对应的眼底统一为弧形斑眼底，减少对模型参数的影响，而弥漫性萎缩、斑片状萎缩、黄斑区萎缩则分别各自对应一种眼底，提供更丰富的高效语义信息，通过该设置方式，可以提高系统的性能。
72.以下介绍对特征提取模块1、分割预测模块2、眼底预测模块3的训练。在一个示例
中，使用的所有眼底图片共3814张，均来自于真实世界，通过随机采样获得，涵盖各个年龄段及相机品牌分布及不同近视程度。每一张图片均通过专业眼科医生进行标注。标注内容包括：
73.眼底类别标签：正常眼底、弧形斑眼底、豹纹眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底；
74.像素类别标签(像素级分割标签)：背景、视盘、色素弧形斑、脉络膜弧形斑、巩膜弧形斑、混合弧形斑、弥漫性萎缩、斑片状萎缩。
75.训练集、测试集可以按照8:2的原则来划分。训练集数据从3814例图片随机抽取3000例，剩余814例作为测试集。
76.训练时计算的总损失等于眼底分类子损失与眼底分割子损失的加权和：
77.l
all
＝α*l
seg
β*l
clf
‑1；
78.其中，l
seg
表示眼底分割子损失，l
clf
‑1表示眼底分类子损失，α表示眼底分割子损失的权重，β表示眼底分类子损失的权重。眼底分割子损失通常为dics loss或者像素级交叉熵等。眼底分类子损失可以为交叉熵分类或任意分类的loss。应当理解，α、β可以视情况调节。该实施例中，训练系统时既基于图像整体提供了关于眼底类型和眼别的高级的语义监督信息，也基于图像的各个像素提供了像素级的语义监督信息，让系统能够更充分地学习到不同方面和不同层面的知识，进而更好地提升模型的性能。
79.以上眼底图像分析主要是对眼底整体的可能病灶进行分析，以及对眼底各个像素所属类别的分析，可以为医生或者配镜师知晓被检测人员的眼底的近视情况以及有关的多种弧形斑像素类别和多种萎缩斑像素类别在眼底图像中的分布情况提供参考。但是，由于没有针对近视眼底的主要病灶类型进行细粒度的量化分析，使得近视眼底的相应病症的严重程度以及预测依据不够明确，不便于医生或者配镜师更好地为近视患者给出诊疗或者预防建议。因此，可以进一步改进上述系统。
80.根据本发明的一个实施例，参见图7，眼底图像分析系统还包括眼别分类模块4和量化分析模块5。
81.其中，眼别分类模块4是一个用于预测眼底图像所属眼睛类别(眼别，即左眼或者右眼)任务的神经网络，其包括全连接层或者transformer层，根据眼底特征图对眼底图像进行眼别预测，输出左眼或者右眼。眼别的分类将会用于量化分析模块5，根据视盘中心位置对眼底进行区域划分。左右眼类别不可能同时出现，此模块属于多类别分类任务，采用softmax激活函数，最终取概率最大(argmax)的类别作为输出。
82.由于增加的眼别分类模块4也是神经网络模型，需要训练。参见图8，系统的输入包括眼底图像以及三种标签(眼底类别标签、眼别标签和像素类别标签)，模型输出为眼底类别、眼别、像素类别。此时，训练时计算的总损失等于眼底分类子损失、眼底分割子损失以及眼别分类子损失的加权和：
83.l
all
＝α*l
seg
β*l
clf
‑1 γ*l
clf
‑2；
84.其中，l
all
表示总损失，l
seg
表示眼底分割子损失，l
clf
‑1表示眼底分类子损失，α表示眼底分割子损失的权重，β表示眼底分类子损失的权重，l
clf
‑2表示眼别分类子损失，γ表示眼别分类子损失对应的权重。训练时，也可以在系统中设置相应的损失计算模块用于计算损失。眼别分类子损失可以为交叉熵损失或任意分类的损失。α、β、γ可以视情况调节。举例
来说，α、β、γ可以分别设为0.2、1、0.4。本发明将眼底分类、眼别分类、像素级的背景、视盘、多种病灶(色素弧形斑、脉络膜弧形斑、巩膜弧形斑、混合弧形斑、弥漫性萎缩、斑片状萎缩)分割整合进一个统一的端到端训练框架中，充分发挥每类模型的优势，可提高系统的预测精度。
85.量化分析模块5可以根据分割预测图、眼底类别和眼别给出综合性的评估。量化分析模块5用于对分割预测模块2输出的分割预测图、眼底预测模块3输出的眼底类别、眼别分类模块4输出的眼别进行后处理分析，包括数量指标、面积指标、分级指标及其组合。针对早期近视、高度近视、病理性近视等不同阶段的近视眼底，本发明利用分割预测模块进行预测，在全人群随机抽样分析选取阈值后，对萎缩状眼底(对应于高度近视、病理性近视)、弧形斑状眼底(对应于早期近视眼底)进行更细粒度的量化分级，从而进行更精准的病情分析，以便更好地为近视患者提供诊疗建议。
86.若眼底预测模块3预测的分类结果为正常眼底，则此量化分析模块5不需要进行量化分析。
87.若眼底预测模块3预测的分类结果包含萎缩斑类别(弥漫性萎缩、斑片状萎缩、黄斑区萎缩)，则本模块会对分割类别(弥漫性萎缩、斑片状萎缩)进行量化分析，分析内容包含每一类病灶的总数量、总面积、最大面积、最小面积、病灶的总面积与视盘总面积的比值，以及细粒度的量化分级。其中，面积指标为相对于原始图像分辨率的像素点个数，也可以根据不同相机品牌对应的眼底真实物理直径，将像素面积转换为真实物理面积(实际面积)。
88.举例来说，如果眼底预测模块3预测为弥漫性萎缩眼底，则会根据预定的一种或者多种量化指标(例如，总数量、总面积、最大面积、最小面积、弥漫性萎缩的总面积与视盘总面积的比值及其组合)来确定该类病灶(弥漫性萎缩)的病变值。例如，实施者可以选择用弥漫性萎缩对应的总面积与视盘总面积的比值作为对弥漫性萎缩病变进行分级的病变值(应当理解，根据需要，也可将多个量化指标进行加权求和的结果作为病变值)。对于黄斑区萎缩，实际上是在黄斑区存在斑片状萎缩的情形，属于斑片状萎缩的一种，严重程度较高，因此，本发明对此单独设置一个眼底类别，如果存在黄斑区萎缩，则会输出相应的眼底类别，以提醒医生注意，从而更精准地为近视患者提供诊疗建议。但是，在量化分级时，出现斑片状萎缩眼底和黄斑区萎缩眼底时，可以合并为对斑片状萎缩(斑片状萎缩斑)进行分级，根据该级别的大小可以更细粒度的区分斑片状萎缩的严重程度。
89.根据本发明的一个实施例，对于萎缩斑的细粒度分级，需要确定相应的萎缩斑对应的分级阈值区间，萎缩斑对应的分级阈值区间所需的分级阈值是按照以下方式获得的：从采集到的包含多种年龄段、多个地域、多种近视程度的样本集合中随机采样部分样本；根据萎缩斑分级的粒度和采样的所有样本的数量确定取样间隔；将采样的所有样本根据用于萎缩斑分级的量化指标的大小顺序排列，按照该取样间隔从中间隔取样确定用于划分萎缩斑对应的分级阈值区间的多个分级阈值。对于分割类别(弥漫性萎缩、斑片状萎缩)的细粒度量化分级，以斑片状萎缩类别分十级为例，采用如下方式实施：
90.在全人群分布(例如，数据涵盖了各种年龄段、各个地区、不同近视程度等)中随机采样10万例图，计算各图像中病灶总面积与视盘总面积的比值(这两个面积可以是像素面积或者基于像素面积计算出的实际面积，比如斑片状萎缩病灶的总像素面积与视盘总像素面积的比值)，并按照从小到大排序；
91.以每1万例为间隔，依次截取9个斑片状萎缩的病灶总面积与视盘总面积的比值，以此作为划分十个级别的阈值(9个分级阈值，构建10个萎缩斑对应的分级阈值区间)后续系统推理预测阶段，均以此阈值作为确定斑片状萎缩所处的细粒度分级；例如，9个分级阈值分别为0.05318、0.11904、0.18408、0.258、0.32726、0.40234、0.50363、0.6608、0.97272，对应的，10个萎缩斑对应的分级阈值区间分别为1级对应的区间(0,0.05318)、2级对应的区间[0.05318,0.11904)、3级对应的区间[0.11904,0.18408)、4级对应的区间[0.18408,0.258)、5级对应的区间[0.258,0.32726)、6级对应的区间[0.32726,0.40234)、7级对应的区间[0.40234,0.50363)、8级对应的区间[0.50363,0.6608)、9级对应的区间[0.6608,0.97272)、10级对应的区间[0.97272, ∞)；
[0092]
可以根据需要再次进行随机采样截取阈值。
[0093]
在近视患者的眼底中，随着近视程度加深，视盘牵拉逐渐加重，一般会先在视盘的颞侧区域出现弧形斑，然后逐渐发展到颞侧上和颞侧下区域，再发展到鼻侧上、鼻侧下区域，最后发展到鼻侧区域，甚至形成环形弧形斑。即眼底视盘周边不同区域弧形斑的严重程度由低到高为：颞侧区域，颞侧上颞侧下区域、鼻侧上鼻侧下区域、鼻侧区域。随着近视程度加深，视盘牵拉逐渐加重，最先可能出现色素弧形斑，然后是脉络膜弧形斑、混合弧形斑、最后为巩膜弧形斑。即弧形斑严重程度由低到高分别为：色素弧形斑、脉络膜弧形斑、混合弧形斑、巩膜弧形斑。
[0094]
在一个实施例中，若眼底预测模块3的分类结果包含弧形斑类别(色素弧形斑、脉络膜弧形斑、巩膜弧形斑、混合弧形斑中至少一项)，则量化分析模块4会根据预测的分割预测图对相关弧形斑类别进行更精确的量化分析，例如包括以下分析内容：
[0095]
以分割预测图中的视盘区域形态中心为基准，根据左右眼类别分类结果将眼底区域划分为鼻侧、颞侧。若眼别为左眼，则视盘中心左侧为鼻侧，视盘中心右侧为颞侧；若眼别为右眼，则视盘中心右侧为鼻侧，左侧为颞侧。应当理解，实施者也可以视盘中心为基准，作一条过视盘中心的垂直线，绕视盘中心旋转不同角度，从而将眼底区域划分为相应的子区域。一个示意性的划分结果如图9所示，以左眼为例分别顺时针和逆时针旋转45度，将整个眼底划分为颞侧、颞上、颞下、鼻上、鼻下、鼻侧六个区域。也可以旋转更多角度，划分更细粒度的区域，此处以45度进行说明；
[0096]
在一个实施例中，按照弧形斑的类别以及所处的子区域两个维度，对多种弧形斑的面积求加权和，计算公式如下：
[0097][0098]
其中，α表示弧形斑所处的区域权重(也可称区域位置权重)，共有颞侧、颞上、颞下、鼻上、鼻下、鼻侧六个子区域，根据弧形斑发病机理，位置权重由小到大以此为：颞侧<颞上＝颞下<鼻上＝鼻下<鼻侧；β表示弧形斑的类别权重，共有色素弧形斑、脉络膜弧形斑、混合弧形斑、巩膜弧形斑四种。根据弧形斑发病机理，类别权重由小到大以此为：色素弧形斑<脉络膜弧形斑<混合弧形斑<巩膜弧形斑；s
ij
表示某一区域内，某种类别的弧形斑相对于原始图像分辨率的像素面积。比如α
i
取颞侧区域，β
j
取脉络膜弧形斑，则s
ij
表示颞侧区域的脉络膜弧形斑的像素面积；可选的，本发明中α1、α2、α3、α4、α5、α6分别对应颞侧、颞上、颞下、鼻上、鼻下、鼻侧六个区域的权重(例如，取值分别为：1、1.2、1.2、1.5、1.5、2)；β1、β2、β3、β4分别对应色素弧形斑、脉络膜弧形斑，混合弧形斑、巩膜弧形斑的权重(例如，取值分别为：
0.5、1、1.5、2)；
[0099]
基于以上公式计算弧形斑的病灶总面积与视盘总面积的比值；
[0100]
进行弧形斑的细粒度量化分级。本发明根据弧形斑的类别特点和区域分布特点对眼部病变程度影响的差异，设置相应的区域权重和类别权重用于对弧形斑总面积求加权和，使得弧形斑分级量化结果更精准。
[0101]
在一个实施例中，将弧形斑的病灶总面积与视盘总面积的比值作为病变值，弧形斑对应的分级阈值区间所需的分级阈值是按照以下方式获得的：
[0102]
从采集到的包含多种年龄段、多个地域、多种近视程度的样本集合中随机采样部分样本；
[0103]
根据弧形斑分级的粒度和采样的所有样本的数量确定取样间隔；
[0104]
将采样的所有样本根据弧形斑的病灶总面积与视盘总面积的比值的大小顺序排列，按照该取样间隔从中间隔取样确定用于划分弧形斑对应的分级阈值区间的多个弧形斑阈值。
[0105]
举例来说，以分十级为例，采取如下方式实施：
[0106]
在全人群分布中随机采样10万例图，计算所有图像的弧形斑总加权面积与视盘总面积的比值，并按照从小到大排序；
[0107]
以每1万例为间隔，依次截取9个比值，以此作为划分十个级别的分级阈值；
[0108]
系统推理预测阶段，均以此阈值作为确定弧形斑的细粒度分级；
[0109]
可以根据需要再次进行随机采样截取阈值。
[0110]
关于弧形斑的细粒度量化分析，在一个实施例中，该模块最终会输出弧形斑的数量指标、面积指标、细粒度的分级指标。例如，弧形斑病灶的最小面积、病灶的最大面积、病灶总面积以及病灶总面积与视盘总面积的比值。进一步地，还可以输出眼底每一个子区域的每一类弧形斑的总个数、总像素面积、最大像素面积。
[0111]
可见，本发明提出的系统利用机器学习技术解决了传统近视眼底的分类只有病理性近视相关的粗糙类别问题，通过分割预测模块预测多种与近视相关的病灶，通过量化分析模块提供病灶的数量指标、面积指标和/或分级指标，以为医生或者配镜师提供细节参数，便于发现潜在的眼部疾病，从而为近视患者提供诊疗或者护眼建议。
[0112]
根据本发明的一个实施例，本发明提供一种眼底图像分析方法，该方法可以由计算机或者服务器等电子设备执行。本方法借助前述包含神经网络的眼底图像分析系统对眼底图像进行分析。以上系统实施例可以作为该方法实施例的补充。
[0113]
为了验证本发明的效果，申请人还进行相应的实验，以下是实验说明：
[0114]
1、数据集说明
[0115]
本发明使用的所有眼底图共3814张，均来自于真实世界，通过随机采样获得，涵盖各个年龄段及相机品牌分布及不同近视程度
[0116]
原始的眼底图像，分辨为600*600，为包含rgb三个通道的jpg,png,tif等格式的彩色图。每一张图片均通过专业眼科医生进行标注。标注内容包括：
[0117]
眼底类别标签：正常眼底、弧形斑眼底、豹纹眼底、弥漫性萎缩眼底、斑片状萎缩眼底、黄斑区萎缩眼底；输入格式为0～5的数字列表。比如[0]表示正常眼底，[1,2,3]表示有弧形斑眼底、豹纹眼底、弥漫性萎缩眼底存在。除正常眼底，其他类别标签可以同时存在。
[0118]
眼别标签：左眼、右眼；输入格式为0或1的数字列表，只有两种可能，[0],[1]分别表示左眼，右眼。
[0119]
像素类别标签(像素级分割标签)：背景、视盘、色素弧形斑、脉络膜弧形斑、巩膜弧形斑、混合弧形斑、弥漫性萎缩、斑片状萎缩；有以下分割类别：背景、视盘、色素弧形斑、脉络膜弧形斑、巩膜弧形斑、混合弧形斑、弥漫性萎缩、斑片状萎缩。输入格式为600*600的单通道数组。每一个像素位置上可能为0～7的整数，指示该像素点所属的分割类别。其中0、1、2、3、4、5、6、7分别表示背景、视盘、色素弧形斑、脉络膜弧形斑、巩膜弧形斑、混合弧形斑、弥漫性萎缩、斑片状萎缩。
[0120]
训练集、测试集大概按照8:2原则来划分。训练集数据从3814例图片随机抽取3000例，剩余814例作为测试集。
[0121]
2、系统对应的模型架构
[0122]
实验时，眼底图像分析系统中，特征提取模块和分割预测模块采用图6所示的结构，眼底预测模块采用全连接层(全连接网络)，眼别分类模块采用全连接(全连接网络)。
[0123]
3、训练过程摘要
[0124]
如下表1，最终采用第97epoch的模型作为对近视眼底分割识别最优模型。其中，分割损失指的是通过分割预测结果计算的损失l
seg
，分类损失指的是通过眼底类别预测和眼别预测对应的l
clf
‑1和l
clf
‑2计算的加权和，总损失指的l
all
。
[0125]
对于分类预测，用每一个类别的auc(敏感性
‑
特异性/roc曲线下的面积)进行评估，数值越大越好；
[0126]
对于分割预测，用每一个类别的iou(模型预测病灶区域与真实标注病灶区域的交集和并集之比)进行评估，数值越大越好；
[0127]
模型在第97个训练轮次(epoch)时总损失最小，每一个分割分类的对应指标也相对最优。因此，选第97个轮次训练得到的各个模块组成眼底图像分析系统，并部署到相应的眼底图像分析设备中。
[0128]
表1
[0129][0130]
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
[0131]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0132]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
[0133]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。