基于深度学习的视障辅助的图像增强方法、设备和介质与流程

1.本发明涉及多媒体图像增强和视障辅助领域，具体地，涉及一种基于深度学习的视障辅助的图像增强方法、设备和介质。


背景技术：

2.视觉障碍是全世界面临的一个严重的社会和公共卫生问题。世界卫生组织2019 年发布的数据显示，全球至少有22亿人面临视觉障碍或失明的问题。绝大多数视障患者来自发展中国家，且主要为50岁以上人群。中国作为世界上最大的发展中国家，老龄化进程最快、规模最大的国家，受到的影响尤为严重。视障患者在工作、生活等各方面均面临较大问题，不仅给患者自身带来了较大的精神压力，导致其幸福指数大幅下降；其所需的医疗及日常服务也会给家庭及社会带来较大的负担。
3.造成视觉障碍的主要病因有未经矫正的屈光不正、白内障、年龄相关性黄斑变性、青光眼、糖尿病性视网膜病变等。不同的疾病会导致不同的视障症状，显然，若想达到最佳的辅助效果，需要针对不同的视障症状设计不同的图像增强算法。然而，视障患者通常有不止一种视障症状。其中，最常见的症状是由于视敏度下降和对比敏感度下降导致的中心视力下降，几乎所有的视障患者都有着不同程度的中心视力下降。因此，针对补偿中心视力下降的图像增强算法能够帮助绝大多数患者。
4.针对中心视力下降的图像增强算法大致可以分为两类：专用于补偿患者中心视力下降的图像增强算法和使用通用图像处理算法实现补偿的方法。近年来，不少学术界和工业界团队开始致力于在图像增强算法的基础上研发视障辅助设备，但是受限于理论和技术等，这些辅助设备的效果难以满足视障患者的实际需求，因此也无法大规模投入商用。
5.专用于补偿患者中心视力下降的图像增强算法最早可追溯到peli及peli提出的自适应图像增强方法(adaptive enhancement)，通过放大图像中的高频内容，并将低频内容向中间灰度值压缩，在补偿患者高频对比敏感度下降的同时避免了灰度值饱和。peli等人在《eli peli,jeonghoon kim,yitzhak yitzhaky,robert b goldstein,andrussell l woods,“wideband enhancement of television images for people with visual impairments,”journal of the optical society of america a,vol.21,no.6,pp.937
–
50, 2004.》中提出了宽带增强方法(wideband enhancement)，首先利用基于人眼视觉特性的特征检测算法提取图像中边缘、棱角等的双极性特征，然后将特征缩放后叠加到原图上以实现图像增强。tang等人和kim等人分别针对jpeg压缩图像和 mpeg压缩视频，通过在解压缩阶段修正量化矩阵中对应于关键频率范围(3～7 cycles/degree)的区域中的元素，实现了针对视障辅助的图像或视频增强。
6.通用的图像处理算法，如图像二值化、非锐化掩蔽(unsharp masking)、使用通用高通滤波器提取图像边缘并叠加回原图等能够增强图像的对比度或高频内容，因此对视障患者高空间频率的对比敏感度下降有一定的补偿作用，也是针对中心视力下降的图像增强算法的一种思路。
7.针对中心视力下降，最常见的辅助设备是增强显示眼镜。hwang等人通过 google眼镜的可透视显示屏将利用laplacian滤波器提取的图像边缘叠加到相应的实景上，实现了对现实场景的增强(《alex d.hwang and eli peli,“augmented edgeenhancement on google glass for vision
‑
impaired users,”information display,vol.30, no.3,pp.16
–
19,2014.》)。美国esight公司设计了一款视障辅助眼镜，目前已生产出产品，该眼镜通过高速、高分辨率摄像头捕获现实场景，经图像增强算法处理后显示在oled屏上，用户也可以根据自身偏好调节增强参数。
8.然而，这些已有的针对中心视力下降的图像增强算法普遍存在两个问题，导致其难以被应用于实际的视障辅助设备。第一，这些方法都是根据患者对比敏感度下降的普遍表现，直观提出的针对某一频带的补偿方法，而患者往往在整个空间频率都有着不同程度的对比敏感度下降，因此这些直观的方法无法完全补偿患者对比敏感度下降导致的视物失真，实验效果也不够理想。第二，不同类型的图像频谱分布不同，现有方法主要是通过设置几个可变参数，让用户在需要增强不同图像时手动调节；或者该方法本身就是针对某种特定类型的图像(如人脸、文本)提出的，都无法实现对各种类型的图像自动进行有效增强。


技术实现要素：

9.针对现有技术中存在的上述不足，本发明的目的是提供一种基于深度学习的视障辅助的图像增强方法、设备和介质，能够对各种类型的图像自动进行有效增强，尤其能有效补偿患者的中心视力下降。
10.本发明的第一方面，提供一种基于深度学习的视障辅助的图像增强方法，包括：
11.设计一个用于图像增强的卷积神经网络，将所述卷积神经网络的输出端与模拟视障患者的视觉系统的输入端进行连接，得到级联系统；
12.对所述卷积神经网络进行训练得到图像增强网络，所述图像增强网络能实现针对该视障症状的图像增强；
13.其中：对所述卷积神经网络进行训练得到图像增强网络，包括：
14.将原始图像输入所述卷积神经网络进行增强，将增强结果输入所述模拟视障患者的视觉系统进行模拟，所述模拟视障患者的视觉系统输出为该视障症状的模拟的感知图像，也是所述级联系统的输出；
15.计算所述模拟视障患者的视觉系统输出和所述原始图像的损失，以最小化所述级联系统的输入输出图像间的差异为目标，对原始图像进行增强以补偿模拟的视障患者的视觉系统带来的失真。
16.可选地，所述将增强结果输入所述模拟视障患者的视觉系统进行模拟，是指：利用图像处理操作对输入的原始图像进行处理，得到模拟的视障患者眼中看到的图像即模拟的感知图像。
17.可选地，所述设计一个用于图像增强的卷积神经网络，其中，采用基于unet 的结构的卷积神经网络；
18.在标准unet结构的基础上，在每层的卷积和relu中间加上批归一化(bn)，并在卷积神经网络的最后一层加上sigmoid激活函数得到图像增强网络。
19.可选地，所述以最小化所述级联系统的输入输出图像间的差异为目标，是指：
20.设所述级联系统的输入图像为i，所述级联系统训练的目标是训练图像增强网络，使得通过所述卷积神经网络增强后图像，通过模拟的视觉系统后得到的图像和输入的原始图像尽可能接近，即模拟的视障患者眼中看到的图像和原始图像尽可能接近。
21.可选地，当所述视障患者为中心视力下降的患者时，所述图像增强方法包括：
22.s1：对中心视力下降患者的视觉系统进行模拟，即对输入图像进行处理操作得到模拟的中心视力下降者的感知图像；
23.s2：设计一个能够实现图像增强的卷积神经网络，所述卷积神经网络使用基于 unet的网络结构；
24.s3：将s2中的所述卷积神经网络和s1中模拟的视觉系统连接得到级联系统，然后利用相同的高清图像作为级联系统的输入输出进行所述卷积神经网络训练，训练好的所述卷积神经网络作为图像增强网络；
25.s4：将待增强的图像输入s3训练好的所述图像增强网络，实现针对中心视力下降的图像增强。
26.可选地，所述s1中，利用基于临床测量指标pelli
‑
robson得分和logmar视力的近似对比敏感度函数和人眼的多频带分解特性对中心视力下降进行模拟，包括：
27.首先将待模拟图像分解到各个空间频带上，然后分别求出各个空间频带上图像的局部带限对比度，与中心视力下降患者的对比度检测阈值进行比较，即得到其各个空间频带上的可见内容，最后将这些可见内容合并即为模拟的感知图像。
28.可选地，所述各个空间频带上的可见内容v
i
(x,y)，按如下方法计算得到：
[0029][0030]
其中，是为了减少模拟时的人工效应，对可见图像掩膜m
i
(x,y)进行高斯滤波得到的结果，可见图像掩膜定义为：
[0031][0032]
其中，某点处的图像掩膜为1表示该像素点可见，为0表示该像素点不可见；ct
i
表示第i个频带的中心频率对应的对比度检测阈值，等于该频率处对比敏感度的倒数，即 ct
i
＝1/cs
i
＝1/cs(f0/α)，其中cs(f)表示对比敏感度函数，其f的单位为周期/度；f0表示第i个频带的中心频率，单位为周期/图；α表示视角，与图像的尺寸以及观察者距图像的距离有关，通过α＝arctan(w/2d)简单估计，其中w表示图像的宽度，d表示观察者与图像间的距离；b
i
(x,y)表示图像在第i个频带上的带通滤波结果。
[0033]
可选地，所述s2中，图像增强网络是在标准unet结构的基础上，在每层的卷积和relu中间加上批归一化，并在增强网络的最后一层加上sigmoid激活函数得到的；
[0034]
基于unet的图像增强网络和s1中模拟的中心视力下降者的视觉系统级联起来得到系统，希望系统输出和输入尽可能相同，以此为目标构造损失函数对神经网络进行训练，其中，
[0035]
设图像增强网络为f(θ)，则系统训练时所用的损失函数为：
[0036]
[0037]
其中，n为训练样本的数目；i
i
表示第i张输入图像；ψ表示s1中的模拟视觉系统，其输入为一张图像，输出为模拟的中心视力下降者眼中看该图像的效果。
[0038]
本发明的第二方面，提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行所述的基于深度学习的视障辅助的图像增强方法。
[0039]
本发明的第二方面，提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行所述的基于深度学习的视障辅助的图像增强方法。
[0040]
与现有技术相比，本发明实施例具有以下至少一种有益效果：
[0041]
本发明上述的基于深度学习的视障辅助的图像增强方法、设备和介质，利用卷积神经网络实现图像增强，神经网络具有很强的学习能力并且是非线性的，因此可以实现图像不同空间频率内人同时进行增强；本发明在训练图像增强网络时使用的数据集中有很多各种类型的图像，因此网络对各类图像有普适性。
[0042]
本发明基于深度学习的视障辅助的图像增强方法、设备和介质，能有效地实现针对视障辅助的图像增强，实验表明针对中心视力下降的图像增强能有效改善患者的视觉功能和主观感知质量。
附图说明
[0043]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0044]
图1为本发明一实施例中图像增强方法框图。
[0045]
图2为本发明一实施例的仿真验证效果图，其中，(a)为原始图像；(b)(c)(d)分别为经过自适应增强方法、dct域的增强方法、本发明中方法对原始图像进行增强的结果；(e)(f)(g)(h)分别为模拟的重度中心视力下降者看(a)(b)(c)(d)时的感知图像。
具体实施方式
[0046]
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
[0047]
现有本发明上述的基于深度学习的视障辅助的图像增强技术主要存在两个问题：第一，是根据患者对比敏感度下降的普遍表现，直观提出的针对某一频带的补偿方法，而患者往往在整个空间频率都有着不同程度的对比敏感度下降，因此这些直观的方法无法完全补偿患者对比敏感度下降导致的视物失真，实验效果也不够理想。第二，不同类型的图像频谱分布不同，现有技术主要是通过设置几个可变参数，让用户在需要增强不同图像时手动调节；或者该方法本身就是针对某种特定类型的图像(如人脸、文本)提出的，都无法实现对各种类型的图像自动进行有效增强。
[0048]
这对上述问题，本发明提供了一种基于深度学习的针对视障辅助的图像增强方法，可以用于实现针对任何可模拟的视障症状的图像增强，以补偿患者视觉系统带来的图
像失真；并进一步应用该方法，实现了针对中心视力下降的图像增强。基于深度学习的针对视障辅助的图像增强框架如图1所示。其主要思想就是利用卷积神经网络(convolutional neural network,cnn)对图像进行增强，以补偿视障患者视觉系统带来的失真。具体来说，输入系统的高清图像首先通过cnn增强网络进行增强，然后通过模拟的视觉系统后输出系统，系统输出即为模拟的视障患者眼中看到的增强后图像的效果，希望它和原图(即系统输入)尽可能接近，这也是系统训练的依据。
[0049]
具体的，在一实施例中，基于深度学习的针对视障辅助的图像增强方法包括：
[0050]
s100,设计一个用于图像增强的卷积神经网络，将卷积神经网络的输出端与模拟视障患者的视觉系统的输入端进行连接，得到级联系统；
[0051]
s200,对卷积神经网络进行训练得到图像增强网络，图像增强网络能实现针对该视障症状的图像增强；其中：对卷积神经网络进行训练得到图像增强网络，包括：
[0052]
将原始图像输入卷积神经网络进行增强，将增强结果输入模拟视障患者的视觉系统进行模拟，模拟视障患者的视觉系统输出为该视障症状的模拟的感知图像，也是级联系统的输出；
[0053]
计算模拟视障患者的视觉系统输出和原始图像的损失，以最小化级联系统的输入输出图像间的差异为目标，对原始图像进行增强以补偿模拟的视障患者的视觉系统带来的失真。
[0054]
本发明上述实施例能有效地实现针对视障辅助的图像增强，实验表明针对中心视力下降的图像增强能有效改善患者的视觉功能和主观感知质量，不仅实现图像不同空间频率内人同时进行增强，而且可以对各类图像有普适性。
[0055]
在本发明上述实施例开始前，可以先建模视障患者的视觉系统，即用一系列可微操作模拟待补偿的视障症状。然后再设计一个可用于图像增强的卷积神经网络；最后将图像增强网络和模拟的视障患者的视觉系统组合，并利用相同的高清图像作为系统的输入输出进行端到端的训练，训练好的增强网络即可用于实现针对该视障症状的图像增强。
[0056]
本发明上述实施例中，将增强结果输入模拟视障患者的视觉系统进行模拟，是指：利用图像处理操作对输入的原始图像进行处理，得到模拟的视障患者眼中看到的图像即模拟的感知图像，各具体实施例中，图像处理操作可以根据不同的视障患者情况进行调整和选择。
[0057]
本发明上述实施例中，用于图像增强的卷积神经网络可以采用基于unet的结构的卷积神经网络；在标准unet结构的基础上，在每层的卷积和relu中间加上批归一化(bn)，并在卷积神经网络的最后一层加上sigmoid激活函数得到图像增强网络。
[0058]
本发明上述实施例中，以最小化级联系统的输入输出图像间的差异为目标，具体可以设级联系统的输入图像为i，级联系统训练的目标是训练图像增强网络，使得通过卷积神经网络增强后图像，通过模拟的视觉系统后得到的图像和输入的原始图像尽可能接近，即模拟的视障患者眼中看到的图像和原始图像尽可能接近。
[0059]
在本发明的另一实施例中，依据上述方法实现了针对中心视力下降的图像增强，具体包括：首先利用基于临床测量指标pelli
‑
robson得分和logmar视力的近似对比敏感度函数(contrast sensitivity function,csf)和人眼的多频带分解特性对中心视力下降这一视障症状进行了模拟，然后设计了基于unet的图像增强网络，并对其进行训练。本发明能
有效地实现针对视障辅助的图像增强，实验表明针对中心视力下降的图像增强能有效改善患者的视觉功能和主观感知质量。
[0060]
为了更好说明本发明上述技术方案，如图1、2所示，为本发明实现针对中心视力下降的图像增强的实施例，具体的，包括如下步骤：
[0061]
第一步、对中心视力下降患者的视觉系统进行模拟，即利用一系列图像处理操作对输入图像进行处理得到模拟的中心视力下降者眼中看到的图像：
[0062]
具体即利用基于临床测量指标pelli
‑
robson得分和logmar视力的近似对比敏感度函数(csf)和人眼的多频带分解特性对中心视力下降进行模拟：首先将待模拟图像分解到各个空间频带上，然后分别求出各个空间频带上图像的局部带限对比度，与中心视力下降患者的对比度检测阈值进行比较，即可得到其各个空间频带上的可见内容，最后将这些可见内容合并即为模拟的感知图像。
[0063]
本发明中用到的近似csf可以表示为：
[0064][0065]
其中，f表示空间频率，单位为周期/度(cycles/degree)；cs表示对比敏感度(contrastsensitivity)；pcs表示对比敏感度的峰值；psf表示对比敏感度峰值对应的空间频率；下角标l表示对这些变量取以10为底的对数；w
l
和w
h
为拟合用参数。对大量正常视力者的csf测量数据进行拟合，得到最佳的拟合参数：pcs＝166,psf＝2.5,w
l
＝0.68,w
h
＝1.28。中心视力下降者的csf可以看作是正常人csf的向左向下平移，该平移通过pcs,psf定位，这两个参数又可由患者的pelli
‑
robson得分和logmar视力确定：
[0066][0067][0068]
其中，pr表示pelli
‑
robson得分；logmar表示logmar视力；cof
n
是正常人csf的截止频率，可以通过在上述csf表达式中令pcs＝166,psf＝2.5,cs
l
＝0导出。
[0069]
在本实施例中，作为优选，感知图像的模拟过程如下：
[0070]
(1)首先将图像分解到各个频带上：
[0071][0072]
其中，f(x,y)表示图像f(x,y)的dft变换，f(r,θ)是f(x,y)的极坐标形式；h
n
(r,θ)表示图像超高频的内容，下面的讨论中将忽略该部分；l0(r,θ)和b
i
(r,θ)是经过如下余弦对数滤波器组滤波得到的低通和带通图像：
[0073]
g
i
(r)＝0.5[1 cos(πlog2r
‑
πi)]i＝0,1,
…
,n
‑1[0074]
其中，滤波器均以极坐标的形式给出，r即为极径，这里对应图像中某像素点到图像中心的距离。对图像频谱的分解结果做idft，即可得到图像空间域上的分解结果：
[0075]
[0076]
其中，l0(x,y)表示图像的低通滤波结果；b
i
(x,y)表示图像在第i个频带上的带通滤波结果。按照下式计算图像在各个频带上的局部带限对比度：
[0077][0078][0079]
其中，i＝1,2,
…
,7；l
i
(x,y)表示图像低于频带i的总能量；c
i
(x,y)表示图像在第i个频带上的局部带限对比度图像。
[0080]
(2)将各个频带的局部带限对比度与相应空间频率上的对比度检测阈值进行比较，即可知道该频带图像中哪些部分可见哪些不可见，定义可见图像掩膜：
[0081][0082]
其中，某点处的图像掩膜为1表示该像素点可见，为0表示该像素点不可见；ct
i
表示第i个频带的中心频率对应的对比度检测阈值，等于该频率处对比敏感度的倒数，即 ct
i
＝1/cs
i
＝1/cs(f0/α)，其中cs(f)表示对比敏感度函数(csf)，其f的单位为周期/度(cycles/degree)；f0表示第i个频带的中心频率，单位为周期/图(cycles/image)；α表示视角，与图像的尺寸以及观察者距图像的距离有关，可以通过α＝arctan(w/2d)简单估计，其中w表示图像的宽度，d表示观察者与图像间的距离。为了减少模拟时的人工效应(artifact)，对掩膜图像进行高斯滤波，滤波结果记为借助图像掩膜，各频带图像的可见部分可以表示：
[0083][0084]
(3)，将各个频带上的可见图像简单相加，即可得到模拟的感知图像s(x,y)：
[0085][0086]
第二步、设计一个基于unet的结构的卷积神经网络用于实现图像增强：
[0087]
在标准unet结构的基础上，在每层的卷积和relu中间加上批归一化(bn)，并在增强网络的最后一层加上sigmoid激活函数得到图像增强网络。
[0088]
第三步、将第二步中的图像增强网络和第一步中模拟的视觉系统按图1所示框架连接得到级联系统，然后利用相同的高清图像作为级联系统的输入输出进行神经网络训练：
[0089]
具体地，将基于unet的图像增强网络(神经网络)和模拟的中心视力下降者的视觉系统按图1所示框架级联起来，希望级联系统输出和输入尽可能相同，以此为目标构造损失函数对神经网络进行训练。设级联系统的输入图像为i，级联系统训练的目标是训练图像增强网络f(θ)，使得增强后图像f(i；θ)通过模拟的视觉系统后得到的图像ψ(f(i；θ))和级联系统输入尽可能接近，即模拟的中心视力下降者眼中看到的图像和原始高清图像尽可能接近。使用均方误差(mse)衡量两张图像间的相似性，据此，训练网络时所用的损失函数为：
[0090][0091]
其中，n为训练样本的数目；ψ表示s1中的模拟视觉系统，其输入为一张图像，输出为模拟的中心视力下降者眼中看该图像的效果。
[0092]
第四步、取出训练好的图像增强网络(神经网络)，用其即可实现针对中心视力下降的图像增强：
[0093]
从图1所示级联系统中取出训练好的图像增强网络f(θ)，向网络输出一张图像 i，图像增强网络网络输出f(i；θ)即为针对所模拟视障表现(这里为不同程度的中心视力下降)的图像增强结果。
[0094]
依据上述实施例步骤，将网上搜集到的590张高清图像的大小调整为1280
×
720，然后以19:1的比例划分为训练集和测试集；在两块nvidia gtx 2080ti gpu上训练模型，batch size设为2，训练150个epoch；训练时选取adam优化器，学习率设置为0.001。
[0095]
实施效果：
[0096]
为了对本发明上述实施例中提供的针对中心视力下降的图像增强方法的有效性进行验证，进而验证所发明的基于深度学习的针对视障辅助的图像增强框架的有效性，可以进行仿真验证和患者实验，并将实验结果与最经典的两个方法：自适应增强方法(《e. peli,r b goldstein,g m young,c l trempe,and s m buzney,“image enhancement for thevisually impaired.simulations and experimental results,”investigative ophthalmology& visual science,vol.32,no.8,pp.2337,1991.》)和dct域的增强方法(《gang luo, premnandhini satgunam,and eli peli,“visual search performance of patients with visionimpairment:effect of jpeg image enhancement,”ophthalmic and physiological optics,vol. 32,no.5,pp.421
–
428,2012.》)进行对比。实验中，固定视角α＝14
°
，将中心视力下降分为三个等级：轻度(pr＜1.7,logmar＞0.3)、中度(pr＜1.5,logmar＞0.477)、重度(pr＜1.0,logmar＞1.0)，对应于三个csf。
[0097]
如前所述，模拟视觉系统的输出可以被看作是视障患者所看到的图像，因此可以通过对比增强后的模拟感知图像与原始图像的相似性来验证各种增强方法的性能。使用测试集中的图像进行验证，将原始图像和利用上述三种方法(自适应增强方法、dct域的增强方法、本发明的方法)分别输入模拟的轻度、中度、重度中心视力下降者的视觉系统，计算系统输出图像和原始图像间的峰值信噪比(psnr)、结构相似性指数(ssim) 和均方误差(mse)，结果如表1所示。可以看到，在所有测试用例中，经本发明中的方法增强的图像在经过中心视力下降者的模拟视觉系统后的输出图像与原图最接近，即说明本发明中的增强方法效果最好。为了更清晰地展示增强结果，作出经不同增强方法增强得到的图像和模拟的重度中心视力下降者看这些图像的感知效果如图2所示，可以看到，经本发明中方法增强后图像的模拟感知结果与原始图像最接近，说明了本发明中的方法的优越性。
[0098]
表1
[0099][0100]
为了进一步验证该本发明中的图像增强方法对中心视力下降者的效果，可以进行患者实验。近视者存在由于视敏度和对比敏感度下降导致的中心视力下降症状，因此方便起见，可以找近视患者进行实验。本发明在验证时，共招募了15名近视者，先对他们进行验光，得到他们的裸眼视力在0.1到0.8之间，然后依据视力情况将他们分到不同中心视力下降等级的实验组进行实验。患者实验可分为客观实验和主观实验：客观实验通过搜索任务来评估图像增强对视障患者视觉功能的改善情况；主观实验通过比较选择任务评估图像增强对患者主观感知质量的改善情况。
[0101]
主观实验中涉及四类图像：原始未增强图像，以及分别经自适应增强方法、dct 域的增强方法和本发明中的方法增强后的图像，每种类型的图像有15张。受试者需要根据语音播报找到图像中相应的物品，并单击该物品。15名受试者搜索物品的正确率及正确率的均值和标准差如表2所示。结果表明，本发明中的图像增强方法能够有效地提升患者的视觉搜索功能，且提升效果比实验中对比的两种方法好。
[0102]
表2
[0103][0104]
在主观实验中，原始图像、经自适应增强方法增强得到的图像、经dct域的增强方法增强得到的图像分别与经本发明中方法增强得到的图像成对显示在屏幕上，每类20 对图像，受试者需选出图像对中自己看上去更清晰、质量更好的那张图像。定义某类图像对的偏好比为受试者选择经本发明中方法增强后图像的数目占图像总数的比例，实验中涉及的三类图像对的偏好比如表3所示，所有的偏好比都大于0.5，说明本发明中的方法能够改善患者的主观感知质量，且改善效果优于所比较的另外两种方法。
[0105]
表3
[0106][0107]
本发明上述实施例提供的基于所提出的针对视障辅助的图像增强框架实现的针对中心视力下降的图像增强方法，通过利用一系列图像处理操作模拟中心视力下降者的视觉系统，设计基于unet的图像增强网络，将图像增强网络和模拟的中心视力下降者的视觉系统放入所提出的框架进行端到端的训练等步骤，可实现针对中心视力下降的图像增强，有效改善中心视力下降患者的视觉功能和主观感知质量。
[0108]
在另一实施例中，本发明还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行所述的基于深度学习的视障辅助的图像增强方法。
[0109]
在另一实施例中，本发明还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行所述的基于深度学习的视障辅助的图像增强方法。
[0110]
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0111]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0112]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0113]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0114]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0115]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。