一种眼底图像质量增强模型的训练方法及装置与流程

1.本技术属于图像处理技术领域，尤其涉及一种眼底图像质量增强模型的训练方法及装置。


背景技术：

2.眼底图像对于眼底疾病的诊断有着重要意义，凭借着其成本低廉、易推广的优势，被广泛运用于各层级医疗机构。然而，由于眼底相机的传感器限制以及临床拍摄中光照等因素，眼底图像质量不均，而低质量眼底图像将会严重影响自动诊断算法(如：神经网络)的性能以及医生的判断。对于深度学习模型来说，其诊断及预测性能极度依赖训练数据的样本量及质量，低质量眼底图像无疑会严重干扰深度学习模型的准确性。而另一方面，眼底图像的获取成本非常高，在临床上很难对同一个病人进行多次拍摄以追求高质量眼底图像。
3.目前，针对眼底图像质量增强的算法主要有两种思路，第一种是依据眼底图像成像原理，使用传统计算机视觉中的滤波和卷积操作，结合先验知识，实现对某种特定低质量特征的增强；第二种方法是基于数据驱动，通过训练深度学习模型，学习低质量眼底图像到高质量眼底图像的映射。
4.但是第一种方法的技术方案依赖先验知识，且主要针对低对比度图像，适用性不够广泛，针对复杂诱因所导致的低质量(诸如伪影、失焦等)图像无法很好地增强。第二种方法的技术方案中采用的cyclegan及其变种算法，假设高低质量眼底图像的配对唯一且可逆，不符合实际情况。此外，在完全的无监督不配对学习下，最终得到的增强模型可解释性差且不稳定，倾向于修改原始信息。同时，cyclegan由四个网络组成，训练成本极高。


技术实现要素：

5.本技术实施例提供了一种眼底图像质量增强模型的训练方法及装置，可以解决传统的图像质量增强算法得到的眼底图像质量稳定性不高和泛化性不足的问题。
6.第一方面，本技术实施例提供了一种眼底图像质量增强模型的训练方法，包括：
7.获取用于模型训练的第一眼底图像和第二眼底图像，所述第一眼底图像的图像质量优于所述第二眼底图像的图像质量；
8.对所述第一眼底图像进行质量退化处理，获得与所述第一眼底图像对应的第三眼底图像；
9.采用所述第一眼底图像、所述第二眼底图像和所述第三眼底图像，对预设的眼底图像质量增强网络进行半监督训练；
10.采用预设的对抗网络对半监督训练后的所述眼底图像质量增强网络进行对抗训练；
11.基于预设的损失函数，计算所述眼底图像质量增强网络的损失值；
12.当所述损失值满足预设条件时，停止对所述眼底图像质量增强网络的训练，得到最终的眼底图像质量增强模型。
13.第二方面，本技术实施例提供了一种眼底图像质量增强模型的训练装置，包括：
14.获取模块，用于获取用于模型训练的第一眼底图像和第二眼底图像，所述第一眼底图像的图像质量优于所述第二眼底图像的图像质量；
15.退化模块，用于对所述第一眼底图像进行质量退化处理，获得与所述第一眼底图像对应的第三眼底图像；
16.半监督模块，用于采用所述第一眼底图像、所述第二眼底图像和所述第三眼底图像，对预设的眼底图像质量增强网络进行半监督训练；
17.对抗模块，用于采用预设的对抗网络对半监督训练后的所述眼底图像质量增强网络进行对抗训练；
18.计算模块，用于基于预设的损失函数，计算所述眼底图像质量增强网络的损失值；
19.确定模块，用于当所述损失值满足预设条件时，停止对所述眼底图像质量增强网络的训练，得到最终的眼底图像质量增强模型。
20.第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
21.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
22.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的方法。
23.本技术实施例与现有技术相比存在的有益效果是：在本技术实施例中，训练图像增强网络的过程中采用了半监督训练和对抗训练；利用互相配对的高低质量眼底图像和不配对的真实高低质量眼底图像，通过对比学习的方法学习高低质量眼底图像中的语义共性；通过对抗训练，使得图像增强网络生成的图片更为真实。采用本技术实施例训练得到的眼底图像质量增强模型，适用性广泛、稳定性好、真实度高，且保留了原有的图像信息。
附图说明
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1是本技术实施例提供的一种眼底图像的处理流程图；
26.图2是本技术实施例提供的质量增强网络的示意图；
27.图3是本技术实施例提供的眼底图像质量增强前后的图片的对比示意图；
28.图4是本技术实施例提供的采用不同处理方式对同一张眼底图像进行处理后得到的图像的示意图；
29.图5是本技术实施例提供的一种眼底图像质量增强模型的训练方法的流程示意图；
30.图6是本技术实施例提供的一种眼底图像质量增强模型的训练装置的结构示意
图；
31.图7是本技术实施例提供的一种终端设备的结构示意图。
具体实施方式
32.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
33.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
34.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
35.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0036]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0037]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0038]
眼底图像对于眼底疾病的诊断有着重要意义，凭借着其成本低廉、易推广的优势，被广泛运用于各层级医疗机构。然而，由于眼底相机的传感器限制以及临床拍摄中光照等因素，眼底图像质量不均，而低质量眼底图像将会严重影响自动诊断算法的性能以及医生的判断。因此当需要使用眼底图像时，需要先判断眼底图像的质量，当眼底图像质量不高时，需要对该眼底图像进行质量增强。
[0039]
图1是本技术实施例提供的一种眼底图像的处理流程图，如图1所示，当输入眼底图像时，首先要判断眼底图像的质量，若眼底图像为高质量图像，则可以直接采用该眼底图像完成血管分割，糖尿病视网膜病变(diabeticretinopathy，dr)诊断，视杯盘分割等下游任务。若眼底图像为低质量眼底图像，则需要对该眼底图像进行质量增强，才可以使用该眼底图像完成下游任务。
[0040]
在进行眼底图像质量判断时，可以采用一个质量评估模块进行质量评估。该图像质量评估模块可以采用样本图像对神经网络进行训练得到。本实施例中，采用的基础网络为efficientnet，efficientnet是一个采用了多维度混合的模型放缩方法的神经网络，在进行模型放缩时，可以兼顾速度与精度，即其可以在缩短神经网络的训练时间的同时，不影
响神经网络的精度。进行模型训练时，本技术中采用了公开数据集eyeq，该数据集中包括9239张训练图片和11362张测试图片，质量评级包括“好”，“可用”，“拒绝”三个等级。在进行训练时，可以向基础网络中固定输入图片分辨率为456x456的训练图片，并在训练时对训练数据进行随机裁切和色彩空间增强，同时在训练过程中为了更好的衡量不同质量图像之间的连续距离，使用l1loss直接回归图像的质量标签，而不是采取分类任务中常用的交叉熵。采用测试图片对训练后的基础网络进行测试，当测试结果达标时，则停止训练，得到该质量评估模块。测试结果达标具体可以表现为，将大量的测试图片输入到质量评估模块中，获得测试图片的质量等级，将该质量等级与测试图片进行比较，确定评估结果是否准确。当该质量评估模块的准确率达到预设值时，证明该质量评估模块已经训练完成。本技术提出的质量评估算法在测试集准确率达到96％，有较高的实际应用价值。
[0041]
在对眼底图像进行质量增强时，可以通过一个质量增强网络来实现。在使用质量增强网络前，需要先对质量增强网络进行训练。对质量增强网络的训练，就是通过调整质量增强网络的参数，从而使得质量增强网络能够对眼底图像进行质量增强，且生成的质量增强图像能够包含原有的眼底图像中的信息，且生成的质量增强图像比较真实。
[0042]
该眼底图像质量增强网络可以基于结合生成对抗网络(generativeadversarialnetwork，gan)和对比学习进行训练得到。生成对抗网络包括生成器和判别器，生成器负责凭空捏造数据出来；判别器负责判断数据是不是真数据。表现在本技术中，生成器为质量增强网络，判别器为对抗网络；质量增强网络对眼底图像进行质量增强，得到高质量眼底图对抗网络对该高质量眼底图像进行判断；根据对抗网络的判别结果，调整质量增强网络的参数，使得质量增强网络在下一次质量增强时，能生成更真实的高质量眼底图像。
[0043]
此外，在对质量增强网络进行训练时，还采用了半监督训练，半监督训练是监督训练与无监督训练相结合的一种训练方法。
[0044]
监督训练利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。也就是说，在进行质量增强网络训练时，需要有高质量和低质量的对照组眼底图像，但是现实中的高低质量眼底图像一般是不成对的，基于此，本技术中获取高质量眼底图像，然后对高质量眼底图像进行退化，得到对应的低质量眼底图像，从而获得的配对的高质量眼底图像和低质量眼底图像。在对质量增强网络进行训练时，同样可以在公开数据集eyeq上进行训练。可以采用配对的高质量眼底图像和低质量眼底图像进行监督训练；采用真实的高质量图片和低质量眼底图像对质量增强网络进行无监督训练。
[0045]
图2是本技术实施例提供的质量增强方法的示意图，图2所示的质量增强方法中，包括基于重要性引导的监督学习模块，基于对比学习的无监督模块，以及对抗学习模块。其中，基于重要性引导的监督学习模块，基于对比学习的无监督模块用于对质量增强网络进行训练，对抗学习模块用于对经过训练的质量增强模块进行进一步修正。如图2所示的质量增强模块的整体框架中，设计了一种u型网络来实现低质量眼底图像到高质量图像的映射。具体而言，首先将输入的低质量图片像素值映射到
‑
1到1之间，通过2次下采样得到低分辨率图片，再经过9个残差模块去提取高维语义信息，从而得到对应高质量图片的语义分布，紧接着通过2次上采样还原回原始分辨率，最后通过tanh函数映射回
‑
1到1的空间，完成质量增强的过程。
[0046]
在图2中，采用了具体的公开数据集eyeq，该数据集中包括质量等级为“好”的高质量眼底图像和质量等级为“可用”的低质量眼底图像。可以采用通过伪影、局部光照、模糊等处理对高质量眼底图像进行退化，得到与该高质量眼底图像配对的低质量眼底图像。然后，采用高质量眼底图像和配对低质量眼底图像对质量增强网络进行监督学习训练；采用数据集中的高质量眼底图像和低质量眼底图像对质量增强网络进行无监督学习训练。图2中的质量增强网络，即为图2中的编码器和解码器。
[0047]
在进行无监督训练后，质量增强网络会生成一个图像，对抗学习模块中的对抗器可以辨别该图像的真假，然后基于辨别器的训练结果，可以对质量增强网络进行参数调整。
[0048]
按照上述步骤，不断地对质量增强网络进行参数调整，直到质量增强网络满足需求。对于质量增强网络满足需求的判断，可以基于损失函数来确定。
[0049]
在基于重要性引导的监督学习模块中，在质量增强模块中增加一个额外的重要性评估分支，对每个像素点量化其重要性，并通过对每个批次的重要性求和来加快收敛速度并改善优化效果。具体来说，所提出的基于重要性引导的损失函数为：
[0050][0051]
其中，为所述质量增强网络的参数，n为从重要性评估分支预测出的每批次处理的眼底图像的像素点总数，所述每批次处理的眼底图像包括多个眼底图像，α
i
为每个像素点的重要性,为增强图像和高质量眼底图像的平均平方误差。在上述损失函数中，第一项赋予每个像素不同的重要性，第二项则是对重要性进行正则约束，通过指数项倒数正则，避免预测的重要性过大或过小。在实际训练中，我们预测的是重要性的指数项的倒数。
[0052]
在基于对比学习的无监督学习模块中，为了提高质量增强模块的语义提取能力，本发明设计了一种基于对比学习的接口任务。具体来说，对于质量增强前后的图片，同一个位置的语义距离应当远小于不同位置的语义距离。同时，借由上一节中介绍的所预测的重要性，我们可以对语义距离赋予基于重要性的加权。因为增强网络是一个u型网络，下采样的特征图中的任意一个像素即可代表原始图片中的一个区域，我们通过计算质量增强前后的对比损失，即可学习到真实高低质量图片之间的语义共性。基于此先验，我们提出了全新的对比损失函数：
[0053][0054]
其中，为所述质量增强网络的参数，v
l
为目标区域，为所述目标区域正样本，为所述目标区域的负样本，为所述目标区域对应的重要性，τ为调整损失函数稳定性的温度系数；所述正样本为所述目标区域在质量增强后的图像中的对应区域；所述负样本与正样本质量增强后的图像中的位置不同。
[0055]
除此之外，我们还设计了额外的约束损失，避免高质量图片出现过度增强问题，减少伪造信息的生成，具体为
[0056][0057]
其中，为所述质量增强网络的参数，为目标高质量图片区域，为所述目标区域正样本，为随机选取的所述目标高质量图片区域的负样本区域，所述负样本区域与所述目标高质量图片区域在质量增强后的图片中位置不同。
[0058]
在对抗学习模块中，我们使用最小二乘生成对抗网络去减少增强分布和真实高质量分布之间的距离，其损失函数为：
[0059][0060][0061]
其中d为所述对抗网络的辨别器，为所述辨别器的参数，g为所述眼底图像质量增强网络，为所述眼底图像质量增强网络的参数；上述公式中e
y～y
和e
x～x
均为期望值，e
y～y
可以看作为真实的高质量图像的期望值，e
x～x
可以看作为对低质量图像进行图像增强后的高质量图像的期望值。
[0062]
综上，上述模型训练过程中的总体损失可以为：
[0063][0064]
其中λ
is
，λ
adv
，λ
icc
，λ
idt
均为权重系数，本实施例中可以设定所有的权重系数均为1。
[0065]
图3是本技术实施例提供的眼底图像质量增强前后的图片的对比图；参照图3可以发现，增强图片的质量高于低质量图片，且增强图片的观感真实，并没有伪影和不均匀光照。
[0066]
图4是本技术实施例提供的采用不同处理方式对同一张眼底图像进行处理后得到的图像；参照图4，采用本技术中图像进行处理后，相比于采用其他方式进行图像增强，图像中的血管损失最少，可见，本实施例中的质量增强网络的性能更优。
[0067]
本实施例中结合对比学习和重要性估计，通过半监督的方式，有效解决了无监督质量增强中的稳定性不够问题和传统算法中的泛化性不足问题。该增强算法可以有效增强眼底图像中的模糊血管，并解决不均匀光照和伪影问题。
[0068]
图5是本技术实施例提供的一种眼底图像质量增强模型的训练方法的流程示意图，如图5所示，所述方法包括：
[0069]
s501，获取用于模型训练的第一眼底图像和第二眼底图像，所述第一眼底图像的图像质量优于所述第二眼底图像的图像质量。
[0070]
本实施例的执行主体为终端设备，具体可以包括计算机、医疗成像仪等。
[0071]
本实施例中在进行眼底质量增强模型训练时，可以采用公开数据集eyeq，该数据集可以包括质量等级为“好”的高质量眼底图像，即上述第一眼底图像；还可以包括质量等级为“可用”的低质量眼底图像，即上述第二眼底图像。
[0072]
s502，对所述第一眼底图像进行质量退化处理，获得与所述第一眼底图像对应的第三眼底图像。
[0073]
具体地，可以通过伪影、局部光照、模糊等处理对上述第一眼底图像进行退化，得到与上述第一眼底图像的配对的低质量眼底图像，也就是上述第三眼底图像。
[0074]
s503，采用所述第一眼底图像、所述第二眼底图像和所述第三眼底图像，对预设的眼底图像质量增强网络进行半监督训练。
[0075]
上述预设的眼底图像质量增强网络的基础网络可以为一个卷积网络。
[0076]
具体地，半监督训练包括监督训练和无监督训练。
[0077]
上述第一眼底图像和上述第三眼底图像为配对的高质量眼底图像和低质量眼底图像，因此可以将上述第一眼底图像和第三眼底图像作为参照组，对眼底图像质量增强网络进行监督训练。具体地，将第三眼底质量图像输入到眼底图像质量增强网络中，得到第三眼底图像的第三增强图像；采用预设的重要性评估算法计算第三眼底图像中的每个像素点的重要性；根据第三增强图像、第一眼底图像和第三眼底图像中每个像素点的重要性，对眼底图像质量增强网络的参数进行调整。对于网络参数的调整，是基于损失函数来进行调整的，调整的目标为使损失函数的值小于预设阈值。
[0078]
采用上述第一眼底图像和上述第二眼底图像，对眼底图像质量增强网络进行无监督训练。具体地，将第二眼底图像输入到眼底图像质量增强网络中，得到第二眼底图像的第二增强图像；采用预设的重要性评估算法计算第二眼底图像中的每个像素点的重要性；根据第二增强图像和第二眼底图像中每个像素点的重要性，对眼底图像质量增强网络的参数进行调整。
[0079]
s504，采用预设的对抗网络对半监督训练后的所述眼底图像质量增强网络进行对抗训练。
[0080]
具体地，对抗网络中包括辨别器，辨别器用于辨别生成的图像的真实度，从而基于真实度对图像增强网络进行调整。
[0081]
具体地，以第一眼底图像作为基准，采用判别器判断在无监督训练后生成的质量增强图像的图像质量；根据质量增强图像的图像质量，对眼底图像质量增强网络的参数进行调整。
[0082]
s505，基于预设的损失函数，计算所述眼底图像质量增强网络的损失值。
[0083]
具体地，损失函数包括监督训练损失函数、无监督训练损失函数和对抗训练损失函数，损失函数由监督训练损失函数、无监督训练损失函数和对抗训练损失函数的加权和确定。
[0084]
监督训练损失函数为：
[0085][0086]
其中，为质量增强网络的参数，n为每批次处理的眼底图像的像素点总数，每批次处理的眼底图像包括多个眼底图像，α
i
为每个像素点的重要性,为增强图像和高质量眼底图像的平均平方误差，即上述第三增强图像和上述第一眼底图像的平均平方误差。
监督训练损失函数，可以约束质量增强网络在质量增强过程中保留重要性高的像素点。
[0087]
对比损失函数为：
[0088][0089]
其中，为所述质量增强网络的参数，v
l
为目标区域，为目标区域正样本，为目标区域的负样本，为目标区域对应的重要性，τ为眼底图像的温度系数；正样本为目标区域在质量增强后的图像中的对应区域；负样本与正样本质量增强后的图像中的位置不同；
[0090]
通过该对比损失函数，可以保障对于同一个图像区域，质量增强前后的距离要小于不用图像区域之间的距离，也就相当于保障了图像所包含的信息在图像质量增强前后不丢失。
[0091]
质量约束损失函数为：
[0092][0093]
其中，为质量增强网络的参数，为目标高质量图片区域，为目标区域正样本，为随机选取的目标高质量图片区域的负样本区域，负样本区域与目标高质量图片区域在质量增强后的图片中位置不同。质量损失函数用于约束图像的质量，使得图像质量增强后的眼底图像比较顺滑，避免高质量图片出现过度增强问题，减少伪造信息的生成对抗损失函数为：
[0094][0095][0096]
其中d为对抗网络的辨别器，为辨别器的参数，g为眼底图像质量增强网络，为眼底图像质量增强网络的参数。对抗损失函数用于使得质量增强后的眼底图像更符合真实图片，从而能够提高可用性。
[0097]
当每次有图片输入到质量增强网络中进行半监督训练时，得到质量增强图片；再采用辨别器判断该图片的真实度。在这之后，可以计算此次的损失值，总损失函数可以为：
[0098][0099]
其中，λ
is
，λ
adv
，λ
icc
，λ
idt
均为权重系数，在本实施例中，所有的权重系数可以均为1。
[0100]
s506，当所述损失值满足预设条件时，停止对所述眼底图像质量增强网络的训练，得到最终的眼底图像质量增强模型。
[0101]
每经过一次训练，计算一次损失值，直到损失值小于预设值时，停止对质量增强网
络进行训练，得到的即为最终的眼底图像质量增强模型。
[0102]
在本实施例中，通过半监督的方式得到从低质量眼底图像到高质量眼底图像的映射，在尽可能保留低质量眼底图像中生物病理学信息的同时，增强局部细节和光照，为后续诊断提供更可靠的质量依据；同时采用生成对抗网络，能够对同一张图片的局部同时进行不同的处理，从而能够使得质量增强后的眼底图像更真实，有效提高了眼底图像质量增强训练过程的效率以及临床应用的可靠性。同时，基于眼底图像中不同解剖结构在质量评估中的重要性，创新地使用重要性评估模块，在学习过程中有选择地学习更重要的像素映射，大幅度提高增强性能。
[0103]
图6是本技术实施例提供的一种眼底图像质量增强模型的训练装置的结构示意图，如图6所示，所述装置包括：
[0104]
获取模块61，用于获取用于模型训练的第一眼底图像和第二眼底图像，所述第一眼底图像的图像质量优于所述第二眼底图像的图像质量；
[0105]
退化模块62，用于对所述第一眼底图像进行质量退化处理，获得与所述第一眼底图像对应的第三眼底图像；
[0106]
半监督模块63，用于采用所述第一眼底图像、所述第二眼底图像和所述第三眼底图像，对预设的眼底图像质量增强网络进行半监督训练；
[0107]
对抗模块64，用于采用预设的对抗网络对无监督训练后的所述眼底图像质量增强网络进行对抗训练；
[0108]
计算模块65，用于基于预设的损失函数，计算所述眼底图像质量增强网络的损失值；
[0109]
确定模块66，用于当所述损失值满足预设条件时，停止对所述眼底图像质量增强网络的训练，得到最终的眼底图像质量增强模型。
[0110]
上述半监督模块包括：
[0111]
监督训练子模块，用于采用所述第一眼底图像和所述第三眼底图像，对所述眼底图像质量增强网络进行监督训练；
[0112]
无监督训练子模块，用于采用所述第一眼底图像和所述第二眼底图像，对所述眼底图像质量增强网络进行无监督训练。
[0113]
上述监督训练子模块，包括：
[0114]
第三增强图像获取单元，用于将所述第三眼底质量图像输入到所述眼底图像质量增强网络中，得到所述第三眼底图像的第三增强图像；
[0115]
第一重要性确定单元，用于采用预设的重要性评估算法计算所述第三眼底图像中的每个像素点的重要性；
[0116]
第一调整单元，用于根据所述第三增强图像、所述第一眼底图像和所述第三眼底图像中每个像素点的重要性，对所述眼底图像质量增强网络的参数进行调整。
[0117]
上述对抗模块，包括：
[0118]
第一图像质量判断子模块，用于以所述第一眼底图像作为基准，采用所述判别器判断所述第三增强图像的图像质量；
[0119]
第一调整子模块，用于根据所述第三增强图像的图像质量，对所述眼底图像质量增强网络的参数进行调整。
[0120]
上述无监督训练子模块，包括：
[0121]
第二增强图像获取单元，用于将所述第二眼底图像输入到所述眼底图像质量增强网络中，得到所述第二眼底图像的第二增强图像；
[0122]
第二重要性确定单元，用于采用预设的重要性评估算法计算所述第二眼底图像中的每个像素点的重要性；
[0123]
第二调整单元，用于根据所述第二增强图像和所述第二眼底图像中每个像素点的重要性，对所述眼底图像质量增强网络的参数进行调整。
[0124]
上述对抗模块，包括：
[0125]
第二图像质量判断子模块，用于以所述第一眼底图像作为基准，采用所述判别器判断所述第二增强图像的图像质量；
[0126]
第二调整子模块，用于根据所述第二增强图像的图像质量，对所述眼底图像质量增强网络的参数进行调整。
[0127]
在上述装置中，所述损失函数包括监督训练损失函数、无监督训练损失函数和对抗训练损失函数，所述损失函数由所述监督训练损失函数、无监督训练损失函数和对抗训练损失函数的加权和确定。
[0128]
在上述装置中，所述监督训练损失函数为：
[0129][0130]
其中，为所述质量增强网络的参数，n为每批次处理的眼底图像的像素点总数，所述每批次处理的眼底图像包括多个眼底图像，α
i
为每个像素点的重要性,为的均方误差。
[0131]
在上述装置中，所述无监督训练损失函数包括对比损失函数和质量约束损失函数，所述对比损失函数为：
[0132][0133]
其中，为所述质量增强网络的参数，v
l
为目标区域，为所述目标区域正样本，为所述目标区域的负样本，为所述目标区域对应的重要性，τ为温度系数；所述正样本为所述目标区域在质量增强后的图像中的对应区域；所述负样本与正样本质量增强后的图像中的位置不同；
[0134]
所述质量约束损失函数为：
[0135][0136]
其中，为所述质量增强网络的参数，为目标高质量图片区域，为所述目
标区域正样本，为随机选取的所述目标高质量图片区域的负样本区域，所述负样本区域与所述目标高质量图片区域在质量增强后的图片中位置不同。
[0137]
在上述装置中所述对抗损失函数为：
[0138][0139][0140]
其中d为所述对抗网络的辨别器，为所述辨别器的参数，g为所述眼底图像质量增强网络，为所述眼底图像质量增强网络的参数。
[0141]
图7为本技术一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。
[0142]
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0143]
所称处理器70可以是中央处理单元(centralprocessingunit，cpu)，该处理器70还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field
‑
programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0144]
所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
[0145]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0146]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的
单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0147]
本技术实施例还提供了一种终端设备，该终端设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
[0148]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0149]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
[0150]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0151]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0152]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0153]
在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0154]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0155]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。