基于自监督学习的OCTA图像分类结构训练方法

基于自监督学习的octa图像分类结构训练方法
技术领域
1.本技术属于图像处理技术领域，具体涉及一种基于自监督学习的octa图像分类结构训练方法。


背景技术：

2.当前，光学相干断层成像血管造影术(optical coherence tomography angiography，octa)是近些年来较为新兴的一种非侵入式成像方法，可以有效展示人体视网膜神经丛中毛细血管网络的细微变化。业内人士发现可以从octa图像分析出多种医学临床视网膜疾病，因此octa已被用于一系列视网膜血管疾病的评估，包括糖尿病视网膜病变、糖尿病肾病等。然而常见的octa图像分析方法只能获取到一张浅层en-face octa图像和一张深层en-face octa图像，忽视了视网膜血管三维结构中其他分层的大量有用信息。除此之外还有大量的octa图像数据中包含着疾病的潜在特征但是却因为没有疾病分类的标注信息而无法利用。这都导致了常规方法在疾病分析上的局限性。
3.故，需要一种基于自监督学习的octa图像分类结构训练方法。


技术实现要素：

4.(一)要解决的技术问题
5.鉴于现有技术的上述缺点、不足，本技术提供一种基于自监督学习的octa图像分类结构训练方法。
6.(二)技术方案
7.为达到上述目的，本技术采用如下技术方案：
8.第一方面，本发明实施例还提供一种基于自监督学习的octa图像分类结构训练方法，该方法包括：
9.a10、基于预先给定的无标签信息的b-scan octa图像序列对预先建立的模型进行自监督学习，直至重建的b-scan octa图像序列与给定的b-scan octa图像序列之间的重构误差、重建octa特征图像与融合octa特征图像的重构误差满足预设条件；
10.其中，针对每一用户的b-scan octa图像序列，预先建立的模型对输入的预处理的b-scan octa图像序列处理，生成二维的融合octa特征图像，以及将二维的融合octa特征图像用于重建三维图像序列，得到重建的b-scan octa图像序列；对二维的融合octa特征图像进行缩放、采样并提取特征后再重建，得到重建octa特征图像；
11.a20、将给定的带标签信息的en-face octa图像对自监督学习后的模型中的二维随机掩码特征组合处理单元进行微调式训练，获得用于对任一用户的octa图像进行分类的二维随机掩码特征组合处理单元，该二维随机掩码特征组合处理单元作为训练的octa图像分类结构。
12.可选地，针对每一用户的b-scan octa图像序列，a10包括：
13.a11、对预先给定的无标签信息的b-scan octa图像序列中每一张图像进行预处
理，得到预处理后的b-scan octa图像序列；
14.a12、基于建立的模型中的三维随机掩码特征编码器提取预处理后的b-scan octa图像序列中的血管特征信息，生成二维的融合octa特征图像；
15.其中，三维随机掩码特征编码器包括：第一随机掩码单元、三维自编码器；
16.第一随机掩码单元，用于将预处理后的b-scan octa图像序列的整体按照长度75像素，宽度75像素，高度160像素的大小划分为64个立体图像块，并以服从均匀分布的采样策略以0.5的概率进行采样，得到非掩码部分和掩码部分，将非掩码部分输入到三维自编码器；
17.三维自编码器，用于对输入的非掩码部分提取血管特征，输出二维的融合octa特征图像。
18.可选地，三维自编码器包括：多个自注意力编码块，每一自注意力编码块，为基于自注意力机制的编码块，
19.自注意力机制的计算公式为：
[0020][0021]
上式中q，k，v分别表示非掩码部分与随机初始化的矩阵wq，wk，wv相乘得到的结果，k
t
是k转置的结果，dk表示向量k的长度，softmax表示柔性最大值函数。
[0022]
可选地，a10还包括：
[0023]
a13、二维的融合octa特征图像输入到所述模型的三维解码器进行重建，所述三维解码器输出重建的b-scan octa图像序列；
[0024]
a14、获取重建b-scan octa图像序列与原b-scan octa图像序列之间的重构误差；
[0025][0026]
公式(1)中，l
mse
表示重构误差，l表示原b-scan octa图像序列的长度，h表示原b-scan octa图像序列的高度，w表示原b-scan octa图像序列的宽度，y
lhw,true
为原b-scan octa图像序列中每个像素点的真实值，y
lhw,pre
为三维解码器输出的重建b-scan octa图像序列中每个点的像素值；
[0027]
原b-scan octa图像序列为重建b-scan octa图像序列所属的预处理后的b-scan octa图像序列。
[0028]
可选地，a10还包括：
[0029]
二维随机掩码特征组合处理单元包括：依次连接的二维随机掩码特征编码模块、全连接层、softmax层；
[0030]
a15、将二维的融合octa特征图像缩放处理，并将缩放后的图像输入建立的模型中的二维随机掩码特征编码模块，以提取融合octa特征块；
[0031]
二维随机掩码特征编码模块包括：第二随机掩码单元和二维自编码器；
[0032]
第二随机掩码单元，用于将缩放后的图像按照指定尺寸划分为q’个平面图像块，并以服从均匀分布的采样策略以0.3～0.5的概率进行采样，得到新的非掩码部分和新的掩码部分，将新的非掩码部分，输入到二维自编码器；
[0033]
二维自编码器对输入的新的非掩码部分进行特征提取，输出融合octa特征块；
[0034]
a16、将融合octa特征块与新的掩码部分输入二维解码器，二维解码器的输出作为重建octa特征图像。
[0035]
可选地，获取重建octa特征图像与融合octa特征图像之间的重构误差；
[0036][0037]
上式中，l
tmse
表示重构误差的大小，h
t
表示融合octa特征图像的高度，w
t
表示融合octa特征图像的宽度，y
hw,true
表示融合octa特征图像中的像素值，y
hw,pre
表示重建octa特征图像中的像素值；
[0038]
在公式(1)和公式(2)中的重构误差满足预设条件时，结束自监督学习。
[0039]
可选地，二维随机掩码特征组合处理单元包括：依次连接的二维随机掩码特征编码模块、全连接层、softmax层；
[0040]
a20包括：将给定的带标签信息的en-face octa图像直接输入到二维随机掩码特征编码模块；
[0041]
二维随机掩码特征编码模块提取en-face octa图像的特征，将提取的特征输入到依次连接的全连接层、softmax层，得到分类结果；
[0042]
其中，以交叉熵函数作为损失函数来计算分类误差，当分类误差满足预设的结束条件即预设条件时，微调式训练结束；
[0043][0044]
公式(3)中，l
ce
表示分类结果的误差大小，c表示类别数目，y
i,true
表示根据标签信息得到的图像真实类别，y
i,pre
表示softmax层输出的分类结果。
[0045]
可选地，a15中将二维的融合octa特征图像缩放处理，包括：
[0046]
采用随机裁剪的方式将二维的融合octa特征图像缩放到长224像素，宽224像素。
[0047]
第二方面，本发明实施例还提供一种基于自监督学习的octa图像分类方法，其方法包括：
[0048]
针对待分类的octa图像，将待分类的octa图像输入训练后的二维随机掩码特征组合处理单元，获得分类结果；
[0049]
所述二维随机掩码特征组合处理单元为经由上述第一方面任一所述的基于自监督学习的octa图像分类结构训练方法进行训练得到的。
[0050]
第三方面，本技术提供一种电子设备，其包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于自监督学习的octa图像分类结构训练方法的步骤；或者，执行上述第二方面任一所述的基于自监督学习的octa图像分类方法的步骤。
[0051]
第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面任一项所述的基于自监督学习的octa图像分类结构训练方法的步骤；或者，执行上述第二方面任一所述的基于自监督学习的octa图像分类方法的步骤。
[0052]
(三)有益效果
[0053]
本技术提供的技术方案可以包括以下有益效果：
[0054]
1)在已有研究表明人体视网膜病变与肾病病变可能具有相关性的基础上，本发明
实施例的方法为基于人体视网膜en-face octa图像的疾病分析提供依据，使分类结果更准确，分类准确率更高。
[0055]
2)本发明实施例的方法中考虑到由同一只眼睛拍摄多次得到多张b-scan octa图像构成的三维图像序列和单张en-face octa图像之间的关系，用自监督学习技术对b-scan octa图像序列进行处理，由此，设计三维随机掩码特征编码器，能够充分利用无标签的三维形式b-scan octa图像序列信息，并获得更准确的二维形式的融合octa特征图像。
[0056]
3)本发明实施例中以融合octa特征图像为基础，使用自监督学习技术提取视网膜区域的病变特征，并在提取到的特征基础上使用有标签的en-face octa图像对模型的权重参数进行微调并分类。上述方法可辅助于临床诊断。实现可以在只使用en-face octa图像的情况下极大提高肾病分类的准确度。
附图说明
[0057]
图1(a)为本发明的无标签b-scan octa图像示例的示意图；
[0058]
图1(b)为多张无标签b-scan octa图像构成的图像序列示例的示意图；
[0059]
图1(c)为本发明的有标签en-face octa图像示例的示意图；
[0060]
图2为本发明所描述的三维随机掩码特征编码模块的示意图；
[0061]
图3(a)为本发明所描述的自注意力编码块的示意图；
[0062]
图3(b)为本发明所描述的自注意力机制的计算流程的示意图；
[0063]
图3(c)为本发明所描述的自注意力编码块中的多层感知机块结构示意图；
[0064]
图4为本发明所描述的三维解码器结构示意图；
[0065]
图5(a)为本发明所描述的二维随机掩码特征编码模块示意图；
[0066]
图5(b)为本发明所描述的二维解码器结构示意图；
[0067]
图6为本发明的所描述的基于自监督学习的octa图像分类结构训练过程的示意图；
[0068]
图7为本发明的基于自监督学习的octa图像分类结构训练方法的流程示意图。
具体实施方式
[0069]
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
[0070]
本发明实施例的核心方案在于：将不含有患者肾病标签信息的b-scan(即结构截面)octa图像序列输入模型，采用自监督的方式进行预训练并提取出包含en-face(即平面图像)octa图像特征的结果；然后将带有肾病标签的en-face octa图像输入至模型中微调该模型的权重参数并进行分类，进而获得训练的模型。
[0071]
实施例一
[0072]
图6和图7分别为本技术一个实施例中的基于自监督学习的octa图像分类结构训练方法的流程示意图，本实施例的方法可以由任一计算设备来执行，该计算设备可以通过软件和/或硬件的形式实现，如图6或图7所示，该方法包括下述的步骤：
[0073]
a10、基于预先给定的无标签信息的b-scan octa图像序列对预先建立的模型进行自监督学习，直至重建的b-scan octa图像序列与给定的b-scan octa图像序列之间的重构误差、重建octa特征图像与融合octa特征图像的重构误差满足预设条件；
[0074]
其中，针对每一用户的b-scan octa图像序列，预先建立的模型对输入的预处理的b-scan octa图像序列处理，生成二维的融合octa特征图像，以及将二维的融合octa特征图像用于重建三维图像序列，得到重建的b-scan octa图像序列；对二维的融合octa特征图像进行缩放、采样并提取特征后再重建，得到重建octa特征图像；
[0075]
a20、将给定的带标签信息的en-face octa图像对自监督学习后的模型中的二维随机掩码特征组合处理单元进行微调式训练，获得用于对任一用户的octa图像进行分类的二维随机掩码特征组合处理单元，该二维随机掩码特征组合处理单元作为训练的octa图像分类结构。
[0076]
本实施例的二维随机掩码特征组合处理单元可包括：依次连接的二维随机掩码特征编码模块、全连接层、softmax层。
[0077]
本实施例的方法中考虑到由同一只眼睛拍摄多次得到多张b-scan octa图像构成的三维图像序列和单张en-face octa图像之间的关系，用自监督学习技术对b-scan octa图像序列进行处理，由此，设计三维随机掩码特征编码器，能够充分利用无标签的三维形式b-scan octa图像序列信息，并获得更准确的二维形式的融合octa特征图像。
[0078]
针对每一用户的b-scan octa图像序列，上述步骤a10可包括下述的步骤：
[0079]
a11、对预先给定的无标签信息的b-scan octa图像序列中每一张图像进行预处理，得到预处理后的b-scan octa图像序列；
[0080]
a12、基于建立的模型中的三维随机掩码特征编码器提取预处理后的b-scan octa图像序列中的血管特征信息，生成二维的融合octa特征图像；
[0081]
a13、二维的融合octa特征图像输入到所述模型的三维解码器进行重建，所述三维解码器输出重建的b-scan octa图像序列；
[0082]
a14、获取重建b-scan octa图像序列与原b-scan octa图像序列之间的重构误差；
[0083]
a15、将二维的融合octa特征图像缩放处理，并将缩放后的图像输入建立的模型中的二维随机掩码特征编码模块，以提取融合octa特征块；
[0084]
a16、将融合octa特征块与新的掩码部分(二维图像块)输入二维解码器，二维解码器的输出作为重建octa特征图像。
[0085]
针对每一用户的b-scan octa图像序列，上述步骤a20可包括下述的步骤：
[0086]
a20包括：将给定的带标签信息的en-face octa图像直接输入到二维随机掩码特征编码模块；
[0087]
二维随机掩码特征编码模块提取en-face octa图像的特征，将提取的特征输入到依次连接的全连接层、softmax层，得到分类结果；
[0088]
本实施例中以融合octa特征图像为基础，使用自监督学习技术提取视网膜区域的病变特征，并在提取到的特征基础上使用有标签的en-face octa图像对模型的权重参数进行微调并分类。上述方法可辅助于临床诊断。实现可以在只使用en-face octa图像的情况下极大提高肾病分类的准确度，使分类结果更准确，分类准确率更高。
[0089]
实施例二
[0090]
为更好的理解上述实施例一的方法，以下结合图1(a)至图6对上述方法进行详细的实例说明。
[0091]
为了叙述方便以下步骤都是以一名患者的图像或图像序列为例进行说明，最终的训练过程均是多名患者的图像/图像序列数据组成。
[0092]
步骤01，将一名患者同一只眼睛的多张b-scan octa图像构成一个图像序列，作为一例三维图像样本输入到模型中。
[0093]
b-scan octa图像序列中的每张图像均是不含有患者肾病的信息，也就是无标签的数据。
[0094]
三维形式的b-scan octa图像序列经过三维随机掩码特征编码模块提取三维信息之后得到一张二维图像，称为融合octa特征图像。
[0095]
为了提高二维形式的融合octa特征图像对三维形式的b-scan octa图像序列的表征效果，将融合octa特征图像输入模型的三维解码器分支进行重建还原，重建还原得到的结果与b-scan octa图像序列形状大小保持一致，该结果称为重建的b-scan octa图像序列。重建b-scan octa图像序列与原b-scan octa图像序列之间的差异使用重构误差来衡量。
[0096]
步骤02，将步骤01中得到的融合octa特征图像输入到模型的二维随机掩码特征编码模块进行训练，得到的结果称为融合octa特征块。然后将融合octa特征块输入二维解码器进行重建还原，输出的结果与融合octa特征图像形状大小保持一致，该结果称为重建的octa特征图像。重建octa特征图像与融合octa特征图像之间的差异使用重构误差来衡量。
[0097]
以上两个步骤的训练过程全部是采用自监督学习的方式，待训练结束后只需保留二维随机掩码特征编码模块作为分类模型，该模型可用于en-face octa图像的分类分析。使用带有标签的en-face octa图像输入二维随机掩码特征编码模块进行权重参数微调训练，二维随机掩码特征编码模块输出的特征图再输入由多个全连接层构成的分类器，采用有监督的方式进行训练，最终获得肾病的分类结果。该处分类器可包括：全连接层和softmax层。
[0098]
(一)b-scan octa图像预处理
[0099]
本方法的自监督学习阶段输入为不含有用户肾病标签信息的人体视网膜的b-scan octa图像序列。b-scan octa图像序列中单张b-scan octa图像通过对用户的人体视网膜的矢状面进行拍摄得到，沿着空间坐标的y轴方向拍摄多次可以得到多张b-scan octa图像，多张b-scan octa图像可以构成一个b-scan octa图像序列。
[0100]
在每张b-scan octa图像上都包含有视网膜从浅层到深层的各种分层信息。图1(a)表示的是单张b-scan octa图像，图1(b)表示的是任意一名用户的若干张b-scan octa图像以拍摄时间为顺序，沿着空间坐标y轴方向组合成的b-scan octa图像序列。
[0101]
对每名用户的原始b-scan octa图像序列中的每张b-scan octa图像预处理的操作包括但不限于：直方图均衡化、图像二值化和基于连通区域筛选的图像滤波。
[0102]
对用户的原始b-scan octa图像序列以拍摄时间为顺序从001开始进行编号处理，对图像进行格式转换，将所有图像转换为8位灰度图像，像素灰度值限制在0～255之间，并统计每张图像中各灰度级的像素数目，然后对每张图像中像素灰度级做直方图均衡。
[0103]
[0104]
其中，s表示转换后的灰度值，k表示灰度级，r表示转换前的灰度值，n表示当前灰度级，pr表示r的分布函数。
[0105]
此外，为了进一步降低孤立噪声对b-scan octa图像的影响，提高有效特征在图像中所占比例，同时不降低图像质量，使用基于连通区域的滤波算法对孤立噪声点进行图像滤波，滤波算法使用滑窗对b-scan octa图像逐像素运算，滤除滑窗范围内的孤立连通像素区域，滑窗被定义为：
[0106][0107]
其中，i、j表示中心像素坐标，d表示当前滑窗范围内的连通区域。
[0108]
(二)提取b-scan octa图像序列的特征
[0109]
将预处理后的b-scan octa图像序列作为自监督学习阶段的输入数据。采用三维随机掩码特征编码器提取图像的血管特征信息。其中三维随机掩码特征编码器包括：第一随机掩码单元和三维自编码器。
[0110]
第一随机掩码单元，用于将预处理后的b-scan octa图像序列整体按照长度75像素，宽度75像素，高度160像素的大小划分为64个立体图像块，并以服从均匀分布的采样策略以0.5的概率进行采样。经过随机掩码后得到非掩码部分(即采样后保留下来的立体图像块)，输入到三维自编码器，剩余的掩码部分被丢弃。
[0111]
三维自编码器包括：多个自注意力编码块，即由多个自注意力编码块堆叠构成。三维自编码器对输入的非掩码部分提取血管特征，最终输出二维的融合octa特征图像。图2表示的是b-scan octa图像序列通过三维随机掩码特征编码器输出融合octa特征图像的流程图。图3(a)表示自注意力编码块的结构的示意图。图3(b)表示自注意力机制的计算流程的示意图。图3(c)表示自注意力编码块中的多层感知机块结构示意图。
[0112]
自注意力机制的计算公式如下：
[0113][0114]
上式中q，k，v分别表示非掩码部分与随机初始化的矩阵wq，wk，wv相乘得到的结果，k
t
是k转置的结果，dk表示向量k的长度，softmax表示柔性最大值函数。上述公式是描述自注意力机制的计算过程，而自注意力机制会在自注意力编码块中用到。
[0115]
经过三维随机掩码特征编码器提取特征后，b-scan octa图像序列中的血管结构信息将包含在二维形式的融合octa特征图像中。
[0116]
为了使二维形式的融合octa特征图像能够更准确的表征三维形式的b-scan octa图像序列中的血管结构信息，接下来将融合octa特征图像输入模型的三维解码器分支进行重建还原，三维解码器的输出结果为重建b-scan octa图像序列。
[0117]
其中三维解码器通过上采样层和三维卷积层实现。在上采样过程中保持融合octa特征图像的长度和宽度不变，上采样通道的逐渐增加可导致图像的高度逐渐增加，直至最终高度与原b-scan octa图像序列高度相同。图4表示融合octa特征图像通过三维解码器输出重建b-scan octa图像序列。
[0118]
对于重建b-scan octa图像序列与原b-scan octa图像序列(即预处理后的b-scan octa图像序列)之间的重构误差应用mse(平均平方误差)来计算。
[0119][0120]
上式中，l
mse
表示重构误差的大小，l表示b-scan octa图像序列的长度，h表示b-scan octa图像序列的高度，w表示b-scan octa图像序列的宽度，y
lhw，true
为b-scan octa图像序列中每个像素点的真实值，y
lhw，pre
为三维解码器输出的重建b-scan octa图像序列中每个点的像素值。图4表示的是融合octa特征图像通过三维解码器输出重建b-scan octa图像序列的示意图。
[0121]
(三)提取融合octa特征图像的特征
[0122]
将上一步中得到的融合octa特征图像通过随机裁剪的方式缩放到长224像素，宽224像素的大小。之后对缩放得到的图像输入模型中的二维随机掩码特征组合处理单元中的二维随机掩码特征编码模块提取潜在的疾病特征。
[0123]
其中，二维随机掩码特征编码模块包括：第二随机掩码单元和二维自编码器。
[0124]
第二随机掩码单元，用于将融合octa特征图像按照长16像素，宽16像素的大小划分为196个平面图像块，并以服从均匀分布的采样策略以0.5的概率进行采样，经过随机掩码后保留新的非掩码部分(该新的非掩码部分为平面图像块)，输入到二维自编码器，剩余的掩码部分留作后续解码时使用。
[0125]
上述的二维自编码器通过堆叠多个自注意力编码块构成，对输入的新的非掩码部分即平面图像块提取特征，最终输出与非掩码部分的形状大小、数量一致的融合octa特征块。图5(a)表示的是融合octa特征图像通过二维自编码器输出的融合octa特征块的示意图。其中二维自编码器所使用的自注意力编码块与上述提及的自注意力编码块形式一致，具体的权重参数可不同。
[0126]
然后将融合octa特征块与第二随机掩码单元输出的掩码部分按顺序输入二维解码器，二维解码器的输出称为重建octa特征图像。图5(b)表示融合octa特征块与掩码部分通过二维解码器输出重建octa特征图像的示意图。
[0127]
上述的按照顺序输入可理解为：掩码部分包括多个小图像块，将左上角的第一个小图像块编号为1，后续的小图像块依次编号为2、3、4，一直到右下角的最后一个小图像块。按照这个编号依次输入到二维解码器，即实现按顺序输入。
[0128]
对于重建octa特征图像与融合octa特征图像之间的重构误差应用mse(平均平方误差)来计算。
[0129][0130]
上式中，l
tmse
表示重构误差的大小，h
t
表示融合octa特征图像的高度，w
t
表示融合octa特征图像的宽度，y
hw,true
表示融合octa特征图像中的像素值，y
hw,pre
表示重建octa特征图像中的像素值。
[0131]
(四)提取有标签en-face octa图像的特征并分类
[0132]
重复上述(二)和上述(三)，直到两个步骤中的两个重构误差不再减小时结束自监督学习过程。上述步骤中使用的所有图像数据都是不带有患者肾病信息的无标签图像数据，以准确地学习到血管平面结构信息的内在特征为目的，因此是自监督学习阶段。经过了
自监督学习阶段，上述(二)中二维随机掩码特征组合处理单元的二维随机掩码特征编码模块已经可以充分地提取血管特征，只需要保留二维随机掩码特征组合处理单元即可。
[0133]
接下来将带有患者肾病分类标签信息的en-face octa图像作为微调阶段的输入数据。将有标签信息的en-face octa图像直接输入到二维随机掩码特征组合处理单元，二维随机掩码特征组合处理单元中的二维随机掩码特征编码模块提取特征之后继续输入到全连接层，最终再连接softmax层得到肾病的分类结果。
[0134]
上述训练过程实际是权重参数的微调过程，以交叉熵函数作为损失函数来计算分类误差，当分类误差不再减小时结束微调过程。
[0135][0136]
上式中，l
ce
表示分类结果的误差大小，c表示糖尿病肾病和非糖尿病肾病两种类别，y
i,true
表示根据标签信息得到的图像真实类别，y
i,pre
表示softmax层输出的分类结果。
[0137]
实施例三
[0138]
本发明实施例提供一种基于自监督学习的octa图像分类方法，该方法包括：
[0139]
针对待分类的octa图像，将待分类的octa图像输入训练后的二维随机掩码特征组合处理单元，获得分类结果；
[0140]
所述二维随机掩码特征组合处理单元为经由上述任意实施例所述的基于自监督学习的octa图像分类结构训练方法进行训练得到的。
[0141]
也就是说，在上述实施例二中第(四)部分的微调过程结束后，输入一张待诊断患者的en-face octa图像。该图像依次经过二维随机掩码特征编码模块和全连接层提取出相关疾病的特征，再由softmax层输出最终的疾病分类结果以及对应的患病概率，为医生提供分析依据。
[0142]
实施例四
[0143]
本实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例中任意一项所述的基于自监督学习的octa图像分类结构训练方法的步骤，或者，执行基于自监督学习的octa图像分类方法的步骤。
[0144]
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0145]
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
[0146]
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例做出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0147]
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。