眼底图像训练方法、增强方法及相关装置与流程

1.本发明涉及医学图像处理领域，尤其涉及一种眼底图像训练方法、增强方法及相关装置。


背景技术：

2.眼底图像检测是目前眼科疾病筛查最主要的手段之一。医生可以从眼底图像中初步诊断出是否患有常见眼科疾病，如病理性近视、青光眼、糖尿病视网膜病变、白内障等。清晰的眼底图像可以帮助医生快速准确的诊断，从一定程度上也避免了误诊的发生。然而，在实际眼底图像采集过程中，尤其是对幼儿的眼底采集过程中，由于光照不足、曝光过度、眼球位移等原因，眼底图像会出现虚焦模糊、运动模糊、过曝过暗等退化类型。想要采集得到清晰可用的眼底图像，往往要重复数十次，这不仅极大的影响了医院的诊断效率，同时重复多次对眼球的曝光拍摄也会对患者的眼睛造成不必要的伤害。


技术实现要素：

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.第一方面，本发明提供一种眼底图像训练方法，包括：
5.获取眼底图像训练集，其中，所述眼底图像训练集包括多组训练眼底图像，每组所述训练眼底图像包括低质量训练眼底图像和对应的高质量训练眼底图像；
6.将所述低质量训练眼底图像通过生成器网络，得到预测高质量眼底图像；
7.将所述高质量训练眼底图像与所述预测高质量眼底图像通过判别器网络，得到判别矩阵；
8.根据所述预测高质量眼底图像、所述高质量训练眼底图像和所述判别矩阵，计算损失函数值；
9.根据所述损失函数值对所述生成器网络和所述判别器网络进行迭代优化，并将优化后的所述生成器网络作为眼底图像训练模型。
10.根据本发明第一方面实施例提供的眼底图像训练方法，至少具有如下有益效果：将眼底图像训练集通过生成器网络和判别器网络，得到损失函数值，并根据损失函数值对生成器网络和判别器网络进行迭代优化，其中，生成器网络能够得到预测高质量眼底图像，判别器网络用于判别预测高质量眼底图像的真实性，迭代优化能够提高生成器网络和判别器网络的性能，改善预测高质量眼底图像的质量，使得模糊不清的眼底图像清晰化，此外，低质量眼底图像能够通过迭代优化得到的眼底图像训练模型直接生成高质量眼底图像，此过程减少了采集眼底图像的次数，有效避免了对患者眼睛造成不必要的伤害。
11.根据本发明第一方面的一些实施例，还包括：
12.所述将所述低质量训练眼底图像通过生成器网络，得到预测高质量眼底图像之前，包括：
13.对所述低质量训练眼底图像进行预处理，并将预处理的结果更新为低质量训练眼底图像。
14.根据本发明第一方面的一些实施例，所述将所述低质量训练眼底图像通过生成器网络，得到预测高质量眼底图像，包括：
15.将所述低质量训练眼底图像通过输入投影层，得到第一特征图；
16.将所述第一特征图通过多个第一采样模块，得到第二特征图，其中，所述第一采样模块包括多个局部transformer层和一个下采样层；
17.将所述第二特征图通过多个局部transformer层，得到第三特征图；
18.将所述第三特征图通过多个第二采样模块，得到第四特征图，其中，所述第二采样模块包括多个局部transformer层和一个上采样层，且所述第一采样模块与所述第二采样模块进行信道级联；
19.将所述第四特征图通过输出投影层，得到残差眼底图像；
20.将所述残差眼底图像与所述低质量训练眼底图像相加，得到预测高质量眼底图像。
21.根据本发明第一方面的一些实施例，所述将所述高质量训练眼底图像与所述预测高质量眼底图像通过判别器网络，得到判别矩阵，包括：
22.将所述高质量训练眼底图像与所述预测高质量眼底图像通过输入映射层，得到第五特征图；
23.将所述第五特征图通过多个第三采样模块，得到第六特征图，其中，所述第三采样模块包括多个局部transformer层和一个下采样层；
24.将所述第六特征图通过输出映射层，得到判别矩阵。
25.根据本发明第一方面的一些实施例，所述损失函数值根据charbonnier loss值、眼底质量感知损失值、对抗损失值和边缘损失值计算得到；
26.对应的，所述预测高质量眼底图像、所述高质量训练眼底图像和所述判别矩阵，计算损失函数值，包括：
27.根据所述预测高质量眼底图像、所述高质量训练眼底图像，计算所述charbonnier loss值；
28.根据所述预测高质量眼底图像、所述高质量训练眼底图像，计算所述眼底质量感知损失值；
29.根据所述预测高质量眼底图像、所述高质量训练眼底图像和所述判别矩阵，计算所述对抗损失值，其中，所述对抗损失值包括所述生成器网络的对抗损失值和所述判别器网络的对抗损失值；
30.根据所述预测高质量眼底图像、所述高质量训练眼底图像，计算所述边缘损失值；
31.根据权重对所述charbonnier loss值、所述眼底质量感知损失值、所述对抗损失值和所述边缘损失值求和，得到所述损失函数值。
32.根据本发明第一方面的一些实施例，所述根据所述预测高质量眼底图像、所述高质量训练眼底图像，计算所述charbonnier loss值，包括：
33.根据所述预测高质量眼底图像、所述高质量训练眼底图像和charbonnier loss函数，计算得到charbonnier loss值l1，其中，所述charbonnier loss函数为：
[0034][0035]
其中，ir为所述预测高质量眼底图像，y为所述高质量训练眼底图像，ε为一固定常数，取10-3
；
[0036]
所述根据所述预测高质量眼底图像、所述高质量训练眼底图像，计算所述眼底质量感知损失值，包括：
[0037]
根据所述预测高质量眼底图像、所述高质量训练眼底图像和眼底质量感知函数，计算所述眼底质量感知损失值l
p
，其中，所述眼底质量感知函数为：
[0038][0039]
其中，w，h为特征图的维度，φ()是通过在眼底图像质量评价数据集eyes-q上预训练的vgg-19网络提取得到的特征图；
[0040]
所述根据所述预测高质量眼底图像、所述高质量训练眼底图像和所述判别矩阵，计算所述对抗损失值，包括：
[0041]
根据所述预测高质量眼底图像、所述高质量训练眼底图像、所述判别矩阵和对抗损失函数，计算所述对抗损失值l
adv
，其中，所述对抗损失函数为：
[0042][0043][0044][0045]
其中，为所述判别器网络的对抗损失，为所述生成器网络的对抗损失，n为所述判别器网络输出的判别矩阵的阶数，d代表所述判别器网络，g代表所述生成器网络，d()代表所述判别器网络对输入图像判别为真实图像的概率，i为所述判别矩阵中的点位；
[0046]
所述根据所述预测高质量眼底图像、所述高质量训练眼底图像，计算所述边缘损失值，包括：
[0047]
根据所述预测高质量眼底图像、所述高质量训练眼底图像和边缘损失函数，计算所述边缘损失值l
edge
，其中，所述边缘损失函数为：
[0048][0049]
其中，log()为高斯拉普拉斯算子；
[0050]
所述根据权重对所述charbonnier loss值、所述眼底质量感知损失值、所述对抗损失值、所述边缘损失值求和，得到所述损失函数值，包括：
[0051]
l＝l1 λ1l
p
λ2l
edg
λ3l
adv
[0052]
其中，l为所述损失函数值，λ1，λ2，λ3为超参数用于控制不同损失的权重。
[0053]
根据本发明第一方面的一些实施例，所述根据所述损失函数值对所述生成器网络和所述判别器网络进行迭代优化，并将优化后的所述生成器网络作为眼底图像训练模型，包括：
[0054]
根据所述损失函数值，采用反向传播的方式对所述生成器网络和所述判别器网络进行交替训练，更新优化所述生成器网络和所述判别器网络的参数；
[0055]
利用多组所述训练眼底图像对所述生成器网络和所述判别器网络进行多次训练，以迭代优化所述生成器网络和所述判别器网络的参数；
[0056]
将优化后的所述生成器网络作为眼底图像训练模型，其中，随着所述生成器网络与所述判别器网络的优化，所述损失函数值减小，所述判别器网络对输入图像判别为真实图像的概率趋于0.5，所述预测高质量眼底图像的质量接近于所述高质量训练眼底图像。
[0057]
根据本发明第一方面的一些实施例，还包括：
[0058]
获取眼底图像测试集，其中，所述眼底图像测试集包括多个低质量测试眼底图像和对应的高质量测试眼底图像；
[0059]
将所述低质量测试眼底图像通过所述眼底图像训练模型，得到合成高质量眼底图像；
[0060]
根据所述高合成质量眼底图像与所述高质量测试眼底图像的相似度，得到所述眼底图像训练模型的性能。
[0061]
第二方面，本发明提供一种眼底图像增强方法，包括：
[0062]
获取原始眼底图像；
[0063]
将所述原始眼底图像通过如第一方面所述的眼底图像训练模型，得到目标眼底图像。
[0064]
由于第二方面的眼底图像增强方法应用第一方面任一项的眼底图像训练方法，因此具有本发明第一方面的所有有益效果。
[0065]
第三方面，本发明提供一种眼底图像训练装置，包括：
[0066]
图像获取模块，所述图像获取模块用于获取眼底图像训练集；
[0067]
生成器网络模块，所述生成器网络模块用于将所述低质量训练眼底图像通过生成器网络，得到预测高质量眼底图像；
[0068]
判别器网络模块，所述判别器网络模块用于将所述高质量训练眼底图像与所述预测高质量眼底图像通过判别器网络，得到判别矩阵；
[0069]
损失函数值计算模块，所述损失函数值计算模块用于根据所述预测高质量眼底图像、所述高质量训练眼底图像和所述判别矩阵，计算损失函数值；
[0070]
网络优化模块，所述网络优化模块用于根据损失函数值对所述生成器网络和所述判别器网络进行迭代优化，并将优化后的所述生成器网络作为眼底图像训练模型。
[0071]
由于第三方面的眼底图像训练装置可执行第一方面任一项的眼底图像训练方法和/或如第二方面所述的眼底图像增强方法，因此具有本发明第一方面的所有有益效果。
[0072]
第四方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时如第一方面所述的眼底图像训练方法和/或如第二方面所述的眼底图像增强方法。
[0073]
由于第四方面的处理器执行所述计算机程序时如第一方面任一项的类激活图生成方法和/或如第二方面任一项的神经网络可解释方法，因此具有本发明第一方面的所有有益效果。
[0074]
第五方面，本发明提供一种计算机存储介质，包括存储有计算机可执行指令，所述
计算机可执行指令用于执行如第一方面所述的眼底图像训练方法和/或如第二方面所述的眼底图像增强方法。
[0075]
由于第五方面的计算机存储介质可执行第一方面任一项的类激活图生成方法和/或如第二方面任一项的神经网络可解释方法，因此具有本发明第一方面的所有有益效果。
[0076]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0077]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0078]
图1是本技术一个实施例提供的眼底图像训练装置的结构示意图；
[0079]
图2是本技术一个实施例提供的眼底图像训练方法的主要步骤图；
[0080]
图3是本技术一个实施例提供的眼底图像训练方法的预处理的步骤图；
[0081]
图4是本技术一个实施例提供的眼底图像训练方法的生成预测高质量眼底图像的步骤图；
[0082]
图5是本技术一个实施例提供的眼底图像训练方法的生成判别矩阵的步骤图；
[0083]
图6是本技术一个实施例提供的眼底图像训练方法的损失函数计算的步骤图；
[0084]
图7是本技术一个实施例提供的眼底图像训练方法的迭代优化的步骤图；
[0085]
图8是本技术一个实施例提供的眼底图像训练方法的测试眼底图像训练模型的步骤图；
[0086]
图9是本技术一个实施例提供的眼底图像增强方法的步骤图；
[0087]
图10是本技术一个实施例提供的眼底图像训练网络的整体框架图；
[0088]
图11是本技术一个实施例提供的眼底图像增强网络的整体框架图；
[0089]
图12是本技术一个实施例提供的生成器网络的框架图；
[0090]
图13是本技术一个实施例提供的判别器网络的框架图；
[0091]
图14是本技术一个实施例提供的局部transformer模块的框架图；
[0092]
图15是本技术一个实施例提供的测试眼底图像训练模型的对比图与细节放大图；
[0093]
图16是本技术一个实施例提供的测试眼底图像训练模型的对比图与视网膜血管分割图；
[0094]
图17是本技术一个实施例提供的测试眼底图像训练模型的对比图与视杯视盘分割图。
具体实施方式
[0095]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术实施例。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术实施例的描述。
[0096]
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0097]
还应当理解，在本技术实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0098]
眼底图像检测是目前眼科疾病筛查最主要的手段之一。医生可以从眼底图像中初步诊断出是否患有常见眼科疾病，如病理性近视、青光眼、糖尿病视网膜病变、白内障等。清晰的眼底图像可以帮助医生快速准确的诊断，从一定程度上也避免了误诊的发生。然而，在实际眼底图像采集过程中，尤其是对幼儿的眼底采集过程中，由于光照不足、曝光过度、眼球位移等原因，眼底图像会出现虚焦模糊、运动模糊、过曝过暗等退化类型。想要采集得到清晰可用的眼底图像，往往要重复数十次，这不仅极大的影响了医院的诊断效率，同时重复多次对眼球的曝光拍摄也会对患者的眼睛造成不必要的伤害。虽然去模糊，去噪以及超分辨率等任务均属于图像复原工作，均需要尽可能的还原原始图像中的细节信息，但是不同的复原任务，不同种类的训练图像之间有很大的差异性。在自然图像上效果优异的方法，在眼底图像上往往性能欠佳。
[0099]
基于此，本技术实施例提供了一种眼底图像训练方法、增强方法及相关装置。本技术实施例基于transformer和生成式对抗网络，提出了一种眼底图像训练方法，通过眼底图像训练方法得到一种眼底图像训练模型，眼底图像训练模型能够直接基于低质量眼底图像生成高质量眼底图像，能够减少采集眼底图像的次数，有效避免了对患者眼睛造成不必要的伤害。
[0100]
下面结合附图，对本技术实施例作进一步阐述。
[0101]
如图1所示，图1是本技术一个实施例提供的眼底图像训练装置的结构示意图。在图1的示例中，眼底图像训练装置包括图像获取模块100、生成器网络模块200、判别器网络模块300、损失函数值计算模块400和网络优化模块500。
[0102]
其中，图像获取模块100与生成器网络模块200和判别器网络模块300连接，图像获取模块100用于获取眼底图像训练集，眼底图像训练集包括多组训练眼底图像，每组训练眼底图像包括低质量训练眼底图像和对应的高质量训练眼底图像。
[0103]
生成器网络模块200分别与图像获取模块100、判别器网络模块300连接，生成器网络模块200用于将接收到的低质量训练眼底图像通过生成器网络，得到预测高质量眼底图像，并将预测高质量眼底图像发送给判别器网络模块300。
[0104]
判别器网络模块300分别与图像获取模块100、生成器网络模块200、损失函数值计算模块400连接，判别器网络模块300用于将接收到的高质量训练眼底图像与预测高质量眼底图像通过判别器网络，得到判别矩阵，并将判别矩阵送给损失函数值计算模块400。
[0105]
损失函数值计算模块400分别与图像获取模块100、判别器网络模块300和网络优
化模块500连接，损失函数值计算模块400用于根据预测高质量眼底图像、高质量训练眼底图像和判别矩阵，计算损失函数值。
[0106]
网络优化模块500分别与损失函数值计算模块400、生成器网络模块200和判别器网络模块300连接，网络优化模块500用于根据损失函数值对生成器网络和判别器网络进行迭代优化，并将优化后的生成器网络作为眼底图像训练模型。
[0107]
在本实施例中，图像获取模块100将获取的眼底图像训练集分别发送给生成器网络模块200、判别器网络模块300和损失函数值计算模块400；生成器网络模块200将接收到的来自于图像获取模块100的低质量训练眼底图像通过生成器网络，得到预测高质量眼底图像，并将预测高质量眼底图像发送给判别器网络模块300；判别器网络模块300用于将接收到的来自于图像获取模块100的高质量训练眼底图像与来自于生成器网络模块200的预测高质量眼底图像通过判别器网络，得到判别矩阵，并将判别矩阵送给损失函数值计算模块400；损失函数值计算模块400根据预测高质量眼底图像、高质量训练眼底图像和判别矩阵，计算损失函数值，并将损失函数值送给网络优化模块500；网络优化模块500根据损失函数值对生成器网络和判别器网络进行迭代优化，并将优化后的生成器网络作为眼底图像训练模型。
[0108]
本技术实施例描述的装置以及应用场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0109]
本领域技术人员可以理解的是，图1中示出的装置结构并不构成对本技术实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0110]
在图1所示的装置结构中，各个模块可以分别调用其储存的眼底图像训练程序，以执行眼底图像训练方法。
[0111]
基于上述装置，提出本技术实施例的眼底图像训练方法的各个实施例。
[0112]
如图2所示，图2是本技术一个实施例提供的眼底图像训练方法的主要步骤图。该眼底图像训练方法包括但不限于以下步骤：
[0113]
步骤s100、获取眼底图像训练集，其中，眼底图像训练集包括多组训练眼底图像，每组训练眼底图像包括低质量训练眼底图像和对应的高质量训练眼底图像。
[0114]
可以理解的是，低质量训练眼底图像的退化类型包括虚焦模糊、运动模糊、光照不足以及伪影等。每张低质量训练眼底图像所包含的退化类型均为多种退化的非线性叠加和混合。
[0115]
步骤s200、将低质量训练眼底图像通过生成器网络，得到预测高质量眼底图像。
[0116]
步骤s300、将高质量训练眼底图像与预测高质量眼底图像通过判别器网络，得到判别矩阵。
[0117]
步骤s400、根据预测高质量眼底图像、高质量训练眼底图像和判别矩阵，计算损失函数值。
[0118]
步骤s500、根据损失函数值对生成器网络和判别器网络进行迭代优化，并将优化后的生成器网络作为眼底图像训练模型。
[0119]
应理解的是，对生成器网络进行优化的目的是使得生成器网络输出的预测高质量
眼底图像的质量尽可能地接近高质量训练眼底图像的质量；对判别器网络进行优化的目的是使判别器网络能够分辨输入的图像是预测高质量眼底图像或高质量训练眼底图像。当生成器网络和判别器网络的性能都达到最优时，生成器网络生成的预测高质量眼底图像的质量达到最佳。
[0120]
应理解的是，将眼底图像训练集通过生成器网络和判别器网络，得到损失函数值，并根据损失函数值对生成器网络和判别器网络进行迭代优化，能够提高生成器网络和判别器网络的性能，从而改善预测高质量眼底图像的质量，使得模糊不清的眼底图像清晰化，此外，低质量眼底图像能够通过迭代优化得到的眼底图像训练模型直接生成高质量眼底图像，此过程减少了采集眼底图像的次数，有效避免了对患者眼睛造成不必要的伤害。
[0121]
另外，在一实施例中，参照图3，预处理位于步骤s100与步骤s200之间，且预处理包括但不限于以下步骤：
[0122]
步骤s600、对低质量训练眼底图像进行预处理，并将预处理的结果更新为低质量训练眼底图像。
[0123]
在一些实施例中，假设低质量训练眼底图像的空间分辨率为2560
×
2560，预处理将低质量训练眼底图像剪裁成128
×
128尺寸的相互不重叠不交叉的方形图像块，将剪裁后的图像块进行随机旋转和平移以实现图像数据扩充，并将预处理的结果更新为低质量训练眼底图像。
[0124]
另外，在一实施例中，参照图4、图12和图14，步骤s200包括但不限于以下步骤：
[0125]
步骤s210、将低质量训练眼底图像通过输入投影层，得到第一特征图。
[0126]
在一些实施例中，输入投影层是一个卷积核大小为3
×
3，步长为1的卷积层，能够将128
×
128
×
3的图片转化为128
×
128
×
32的特征图。
[0127]
步骤s220、将第一特征图通过多个第一采样模块，得到第二特征图，其中，第一采样模块包括多个局部transformer层和一个下采样层。
[0128]
应理解的是，第一采样模块的数量不受限制，但第一采样模块的数量应与第二采样模块的数量保持一致。
[0129]
在一些实施例中，第一特征图通过第一采样模块的数目为3，且第一采样模块依次包含两个局部transformer层和一个下采样层。
[0130]
在一些实施例中，局部transformer层包含一系列相互不重叠的局部transformer模块，能够在切分的所有相互不重叠的局部特征图中，分别计算局部特征图中的多头自注意力，从而在相互不重叠的特征图中提取特征信息。假设第一局部特征图通过局部transformer模块得到第五局部特征图，此过程为第一局部特征图通过层标准化、多头自注意力得到第二局部特征图，第一局部特征图与第二局部特征图相加得到第三局部特征图，第三局部特征图依次通过层标准化、卷积层、激活层、卷积层、激活层、卷积层、激活层，得到第四局部特征图，第四局部特征图与第三局部特征图相加，得到第五局部特征图。
[0131]
在一些实施例中，下采样层为一个卷积核大小为4
×
4，步长为2的卷积层，通过下采样层可以将特征图的尺寸缩小为原来的二分之一。
[0132]
步骤s230、将第二特征图通过多个局部transformer层，得到第三特征图。
[0133]
步骤s240、将第三特征图通过多个第二采样模块，得到第四特征图，其中，第二采样模块包括多个局部transformer层和一个上采样层，且第一采样模块与第二采样模块进
loss函数，计算得到charbonnier loss值l1，其中，charbonnier loss函数为：
[0154][0155]
其中，ir为预测高质量眼底图像，y为高质量训练眼底图像，ε为一固定常数，取10-3
。
[0156]
应理解的是，charbonnier loss函数能够保持边缘细节，为迭代优化提供了像素空间正则化，并有助于质量的改善。
[0157]
步骤s420、根据预测高质量眼底图像、高质量训练眼底图像，计算眼底质量感知损失值。
[0158]
在一些实施例中，根据预测高质量眼底图像、高质量训练眼底图像和眼底质量感知函数，计算眼底质量感知损失值l
p
，其中，眼底质量感知函数为：
[0159][0160]
其中，w，h为特征图的维度，φ()是通过在眼底图像质量评价数据集eyes-q上预训练的vgg-19网络提取得到的特征图。
[0161]
应理解的是，通过眼底质量感知损失，可以使得生成的复原图像在高级特征上接近真实清晰的图像。
[0162]
步骤s430、根据预测高质量眼底图像、高质量训练眼底图像和判别矩阵，计算对抗损失值，其中，对抗损失值包括生成器网络的对抗损失值和判别器网络的对抗损失值。
[0163]
在一些实施例中，根据预测高质量眼底图像、预测高质量眼底图像、判别矩阵和对抗损失函数，计算对抗损失值l
adv
，其中，对抗损失函数为：
[0164][0165][0166][0167]
其中，为判别器网络的对抗损失，为生成器网络的对抗损失，n为判别器网络输出的判别矩阵的阶数，d代表判别器网络，g代表生成器网络，d()代表判别器网络对输入图像判别为真实图像的概率，i为所述判别矩阵中的点位。
[0168]
应理解的是，对抗损失函数是预测高质量眼底图像与预测高质量眼底图像之间的语义感知相似度的度量。
[0169]
步骤s440、根据预测高质量眼底图像、高质量训练眼底图像，计算边缘损失值。
[0170]
在一些实施例中，根据预测高质量眼底图像、高质量训练眼底图像和边缘损失函数，计算边缘损失值l
edge
，其中，边缘损失函数为：
[0171][0172]
其中，log()为高斯拉普拉斯算子。
[0173]
应理解的是，通过本技术实施例的边缘损失函数，能够有效的抑制生成器网络生
成虚假的不存在的纹理，增强真实纹理，极大的保证了预测高质量眼底图像的真实性。
[0174]
步骤s450、根据权重对charbonnier loss值、眼底质量感知损失值、对抗损失值和边缘损失值求和，得到损失函数值。
[0175]
在一些实施例中，根据权重对charbonnier loss值、眼底质量感知损失值、对抗损失值、边缘损失值求和，得到损失函数值，包括：
[0176]
l＝l1 λ1l
p
λ2l
edg
λ3l
adv
[0177]
其中，l为损失函数值，λ1，λ2，λ3为超参数用于控制不同损失的权重。
[0178]
另外，在一实施例中，参照图7，步骤s500包括但不限于以下步骤：
[0179]
步骤s510、根据损失函数值，采用反向传播的方式对生成器网络和判别器网络进行交替训练，更新优化生成器网络和判别器网络的参数。
[0180]
步骤s520、利用多组训练眼底图像对生成器网络和判别器网络进行多次训练，以迭代优化生成器网络和判别器网络的参数。
[0181]
步骤s530、将优化后的生成器网络作为眼底图像训练模型，其中，随着生成器网络与判别器网络的优化，损失函数值减小，判别器网络对输入图像判别为真实图像的概率趋于0.5，所述预测高质量眼底图像的质量接近于所述高质量训练眼底图像。
[0182]
应理解的是，为保证预测高质量眼底图像的真实性，需要使得生成器网络和判别器网络的性能达到最佳，即提高生成器网络生成预测高质量眼底图像的真实性并提高判别器网络的判别能力。由于d()代表判别器网络对输入图像判别为真实图像的概率，即判别器输出结果为1的概率。对于提高生成器网络生成预测高质量眼底图像的真实性，需要提高生成器网络对预测高质量眼底图像判别为真实图像的概率，即求取生成器网络的对抗损失的最小值；对于提高判别器网络的判别能力，需要提高生成器网络对高质量训练眼底图像判别为真实图像的概率并降低生成器网络对预测高质量眼底图像判别为真实图像的概率，即求取判别器网络的对抗损失的最大值。根据生成器网络与判别器网络的对抗损失，得到判别器网络对输入图像判别为真实图像的概率为0.5。因此，随着生成器网络与判别器网络的优化，损失函数值减小，判别器网络对输入图像判别为真实图像的概率趋于0.5。
[0183]
另外，在一实施例中，参照图8，测试眼底图像训练模型的性能包括但不限于以下步骤：
[0184]
步骤s710、获取眼底图像测试集，其中，眼底图像测试集包括多个低质量测试眼底图像和对应的高质量测试眼底图像。
[0185]
步骤s720、将低质量测试眼底图像通过眼底图像训练模型，得到合成高质量眼底图像。
[0186]
步骤s730、根据合成高质量眼底图像与高质量测试眼底图像的相似度，得到眼底图像训练模型的性能。
[0187]
应理解的是，为衡量眼底图像训练模型的性能，需要对眼底图像训练模型的性能进行测试。将低质量测试眼底图像通过眼底图像训练模型，得到高质量测试眼底图像，并将根据高质量测试眼底图像与高质量测试眼底图像的相似度，对眼底图像训练模型的性能进行衡量。
[0188]
应理解的是，参照图15至图17，图15中上方的图片分别是低质量测试眼底图像、合成高质量眼底图像和高质量测试眼底图像，图15中下方的图片分别是低质量测试眼底图
像、合成高质量眼底图像和高质量测试眼底图像所对应的细节放大图；图16中上方的图片分别是低质量测试眼底图像、合成高质量眼底图像和高质量测试眼底图像，图16中下方的图片分别是低质量测试眼底图像、合成高质量眼底图像和高质量测试眼底图像所对应的视网膜血管分割图；图17中上方的图片分别是低质量测试眼底图像、合成高质量眼底图像和高质量测试眼底图像，图17中下方的图片分别是低质量测试眼底图像、合成高质量眼底图像和高质量测试眼底图像所对应的视杯视盘分割图。通过比对图15至图17，得到通过生成器网络生成的眼底图像训练模型的性能极佳，其中合成高质量眼底图像与高质量测试眼底图像几乎一模一样，并且，与低质量测试眼底图像相比，合成高质量眼底图像质量得到显著地提升。细节放大图、视网膜血管分割图、视杯视盘分割图通常作为医生诊断患者是否患有眼科疾病的依据，而合成高质量眼底图像的细节放大图、视网膜血管分割图、视杯视盘分割图与高质量测试眼底图像高度相似，因此，合成高质量眼底图像可以作为医生诊断的依据，能够减少采集眼底图像的次数，并避免对患者眼睛造成不必要的伤害。
[0189]
应理解的是，将眼底图像训练集通过生成器网络和判别器网络，得到损失函数值，并根据损失函数值对生成器网络和判别器网络进行迭代优化，使得生成器网络生成的预测高质量眼底图像尽可能地接近高质量训练眼底图像，并将生成器网络作为眼底图像训练模型，低质量眼底图像能够通过眼底图像训练模型直接生成高质量眼底图像。本技术实施例通过局部transformer层强大的提取长距离特征信息的能力和生成器网络与对抗器网络强大的生成逼真图像的能力，能够显著的改善低质量眼底图像的质量，使得模糊不清的眼底图像清晰化，且得益于本技术实施例中损失函数的精妙设计，眼底图像空间结构没有发生变化，图像的细节信息更加丰富，复原得到的眼底图像同真实的清晰的眼底图像色彩保持一致，没有出现颜色的失真。此过程减少了采集眼底图像的次数，有效避免了对患者眼睛造成不必要的伤害。
[0190]
另外，本技术的一个实施例还提供了一种眼底图像增强方法，参照图9，该眼底图像增强方法包括但不限于以下步骤：
[0191]
步骤s810、获取原始眼底图像。
[0192]
步骤s820、将原始眼底图像通过眼底图像训练模型，得到目标眼底图像。
[0193]
应理解的是，对于眼底图像训练方法得到的眼底图像训练模型，可以直接将原始眼底图像通过眼底图像训练模型，得到目标眼底图像。本技术实施例减少了采集眼底图像的次数，有效避免了对患者眼睛造成不必要的伤害。
[0194]
另外，本技术实施例的一个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时如步骤s100至步骤s500任一项的眼底图像训练方法和/或如步骤s810、步骤s820的眼底图像增强方法。
[0195]
处理器和存储器可以通过总线或者其他方式连接。
[0196]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0197]
实现上述实施例的类激活图生成方法和/或神经网络可解释方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的眼底图像训练方法，例如，执行以上描述的图2中的方法步骤s100至s500，或者，执行上述实施例中的眼底图像增强方法，例如，执行以上描述的图9中的方法步骤s810至步骤s820。
[0198]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0199]
此外，本技术实施例的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，可使得上述处理器执行上述实施例中的眼底图像训练方法，例如，执行以上描述的图2中的方法步骤s100至s500、图3中的方法步骤s600、图4中的方法步骤s210至s260、图5中的方法步骤s310至s330、图6中的方法步骤s410至s450、图7中的方法步骤s510至s530、图8中的方法步骤s710至s730。又如，被上述实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的眼底图像增强方法，例如，执行以上描述的图9中的方法步骤s810至s820。
[0200]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0201]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。