一种基于深度学习的人眼屈光度检测方法与流程

1.本发明属于计算机视觉、图像识别技术领域，涉及图像处理和深度学习方法，尤其涉及一种基于深度学习的人眼屈光度检测方法。


背景技术：

2.在图形图像处理和计算机视觉领域，生成无比真实而又生动的面部模型动画一直是一个重要且具有挑战性的问题。面部是人身体上重要的组成部分，而眼睛又被称作心灵之窗，仅仅眼部区域就包含有大量生物特征信息，将这些信息提取过后可进行多种应用，其中重要的一种应用就是关于人眼屈光度的检测。
3.屈光度的检测方法按照原理可以主要分为三大类：光学、数字图像处理和其他方法。光学方法主要是利用人眼的光学特性配合外部的光学组件获取瞳孔的屈光状态。基于数字图像处理的屈光度检测方法的依据是不同屈光状态的瞳孔对光照反应不同，通过对眼瞳图像进行数字图像处理来推算屈光度，其核心方法是偏心摄影验光法。此外其他方法则是利用激光等其他手段来检测屈光度。
4.已有研究通过曲波对图像进行去噪和边缘检测，再由最小二乘法拟合边缘点和瞳孔更精确的定位，进而计算出眼瞳的屈光度。虽然稳定性和实时性较好，但由于光学分析是基于点光源的框架为前提，实际工作的光源会有一定的物理尺寸，需要根据实际光源大小来做出相应调整，而由于眼睛的像差影响会造成一定的测量误差，所以会干扰屈光度的测量精度。传统的视力检测技术主要以大型的仪器设备结合专业验光师操作为主，验光流程需要患者与验光师互动完成，人力物力花费高昂，并且现存的验光方法存在一定的缺陷。智能式的验光方法发展缓慢，以视觉图像结合检测技术的人工智能科技成为当下的需求，人机智能交互协同在医疗康复机器人领域的应用也将成为未来的发展趋势，因此机器学习技术得以在光通信领域展开广泛应用。
5.目前研究主要集中在使用不同的机器学习算法进行光学性能监测和非线性损伤补偿方面，使用的机器学习算法包括期望最大值，随机森林，反向传播人工神经网络，k近邻和支持向量机等。然而，所有上述机器学习算法在特征提取的能力上都有其算法本身的限制。机器学习模型不能直接处理自然数据的原始形式，因此不得不在运用算法前需要相当多的领域专长和工程技能来设计特征提取器，将原始数据转换成合适的内部表示或特征向量，进而才能便于后续检测出输入数据的模式。因此寄希望于开发出更先进的机器学习算法，不仅可以直接对原始数据进行处理，还可以自动检测所需的特征，于是深度学习成为一个火热的研究课题。深度学习的目的是使得机器学习更接近人工智能的目标，其本身可以被理解为具有多个非线性层的深度神经网络，通过自学习过程从数据中学习特征而不是由人类工程师来进行人工设计。
6.最近已有研究者使用传统眼底成像，利用深度学习技术对屈光不正进行预测。网络模型结合3个resnetblock、attention机制和全连接层，生成注意力热图，得出中央凹区域是算法进行预测的重要区域，并且提取出图像的突出特征，这对于未来近视眼发病机制
的研究有着重要意义。
7.综上所述，深度学习用于人眼屈光度检测是一种新的方法，并且取得了很好的效果，具有很高的科研以及市场价值。如何在现有技术的基础上选用多种不同的网络结构来实现屈光度检测以及如何提升检测速度、如何使得网络预测的结果具有更高的准确性，也就成为了本领域内技术人员亟待解决的问题。


技术实现要素：

8.本发明旨在至少在一定程度上解决相关技术中的技术问题之一，提出了一种发明目的：本发明针对现有技术不足，解决传统技术中以及现有方法其深度学习算法样本集规模不足，屈光度检测识别精度低且鲁棒性差等技术问题，提供一种更为鲁棒高效、效果好的基于深度学习算法的人眼屈光度检测方法。
9.本发明的方法大体包含两部分，包括人眼部区域检测和屈光度计算。首先，通过yolov4算法进行人眼检测并获得眼部区域图像序列，而在屈光度计算方面，利用densenet网络对眼部区域图像尤其是瞳孔中新月形区域特征进行分析，再利用特征加权函数对图像中各个特征赋予权值，融合得到最终预测结果。
10.进一步而言，本发明的一种基于深度学习的人眼屈光度检测方法，包括如下步骤：
11.采集近视或者远视患者客观电脑验光数据以及人眼图像数据特征，作为深度学习中模型学习训练使用的特征，以客观电脑验光数据作为标签特征；
12.基于大规模人眼部区域图像数据集，对其进行划分，使用十折交叉验证的方法得到训练集和验证集；
13.进一步地，对图像数据进行预处理，并进行数据增强。包括以下流程：
14.图像预处理主要是改善图像质量，抑制对识别造成干扰的噪声，或对一些重要的特征进行增强，包括直方图均衡化和图像裁剪。直方图均衡化使用累计分布函数，使得在某一灰度区域较密集直方图转换为在整体灰度范围内均匀分布的形式，即对像素值进行非线性拉伸，重新对像素值进行分配，在一定范围内均匀分布。另外使用图像裁剪方法剔除图像中与瞳孔无关干扰区域，提取感兴趣区域(roi)降低识别干扰。
15.数据增强亦称数据扩充，是神经网络中对数据量进行增大，提高泛化性能的重要方法，在不实质性对数据量进行增加的情况下，使有限的数据产生更多的价值。此外还可以提高模型泛化性能，解决数据量少所带来的过拟合问题。采用增加高斯噪声方案，在原始图像之上随机叠加噪声。
16.更进一步地，构建深度卷积网络。使用深度卷积神经网络densenet训练、验证和测试模型，获得准确率最高的算法模型；
17.其中深度卷积网络结构具体为：
18.densenet作为每层的拼接，每一层网络的输入包括前面所有层网络的输出，第l层的输入等于kx k0，其中，k是生长率，表示每一层的通道数。densenet提升了信息和梯度在网络中的传输效率，每层都能直接从损失函数拿到梯度，并且直接得到输入信号，这样就能训练更深的网络，这种网络结构还有正则化的效果，其他网络致力于从深度和宽度来提升网络性能，densenet致力于从特征重用的角度来提升网络性能。
19.densenet具有以下特点：减轻了消失梯度、加强了特征的传递、更有效地利用了特
征、一定程度上减少了参数数量；在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来。
20.更进一步地，使用训练的所述深度卷积网络模型对大规模人眼图像进行特征提取；
21.更进一步地，将人眼图像输入训练完成的深度神经网络模型进行模式识别和性能分析，最后输出分析结果，即由此可得人眼屈光度信息。
22.本发明取得的优点和积极效果为：
23.1、本发明提出的一种基于深度学习的人眼屈光度检测方法，解决了传统验光以及屈光度检测的弊端，将基于卷积神经网络的深度学习技术应用到人眼图像分析中，应用本发明可以对眼图原始图像数据进行直接处理，无需由人工干预来进行特征提取，实现屈光度检测分析的智能化和自动化。
24.2、该高稳健性的人眼屈光度检测方法，除屈光度值计算精确以外，不仅操作过程简单，安全可靠，且通用性好，适用于所有年龄段的人眼屈光度检查且极大提高了用户体验。
25.3、本发明方法可以节省待检测者自主验光的流程，并在一定程度上解放验光师，提升临床工作效率和准确度，缩短待检测者就诊时间。
26.4、本发明方法将深度学习算法应用到屈光度的精确评估任务，针对具体应用实例进行了有效的总体方案设计、流程优化及算法参数设置。通过大量数据测试，其评估准确度已达到临床应用标准。
27.5、本发明方法借助深度学习神经网络模型，该技术具有学习、泛化能力强，可自动处理缺失值等优势，对人眼图像数据进行综合分析，构建智能化屈光度精确评估模型，为临床提供高效、精准的辅助方法工具。
附图说明
28.为了更清楚地说明现有技术中的技术方案，下面将对现有技术描述中所需要使用的附图作简单地介绍。
29.图1为本发明中一种基于深度学习的人眼屈光度检测方法的流程简图。
30.图2为本发明中一种基于深度学习的人眼屈光度检测方法的装置。
具体实施方式
31.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行详细的描述。
32.如图1所示，本发明为一种基于深度学习的人眼屈光度检测方法，包括
33.步骤一，采集大规模近视或者远视患者客观电脑验光数据以及人眼图像数据特征，作为深度学习中模型学习训练使用的特征，人眼图像为红外光照射下拍摄的jpg格式图片，同一个人拍摄240张照片置于同一个文件目录下，以此人的客观电脑验光数据作为文件名称，即标签特征。
34.步骤二，构建数据集，基于大规模人眼部区域图像数据集，对其进行划分，使用十折交叉验证的方法得到训练集和验证集。
35.步骤三，人眼图像预处理以及数据增强，包括以下流程：
36.图像预处理主要是改善图像质量，抑制对识别造成干扰的噪声，或对一些重要的特征进行增强，包括直方图均衡化和图像裁剪。直方图均衡化使用累计分布函数，使得在某一灰度区域较密集直方图转换为在整体灰度范围内均匀分布的形式，即对像素值进行非线性拉伸，重新对像素值进行分配，在一定范围内均匀分布。另外使用图像裁剪方法剔除图像中与瞳孔无关干扰区域，提取感兴趣区域(roi)降低识别干扰。
37.数据增强亦称数据扩充，是神经网络中对数据量进行增大，提高泛化性能的重要方法，在不实质性对数据量进行增加的情况下，使有限的数据产生更多的价值。此外还可以提高模型泛化性能，解决数据量少所带来的过拟合问题。采用增加高斯噪声方案，在原始图像之上随机叠加噪声。
38.步骤四，构建以及训练深度学习网络模型，使用深度卷积神经网络densenet训练、验证和测试模型，经不断调优后获得准确率最高的算法模型。其中深度卷积网络结构具体为：
39.densenet作为每层的拼接，每一层网络的输入包括前面所有层网络的输出，第l层的输入等于kx k0，其中，k是生长率，表示每一层的通道数。densenet提升了信息和梯度在网络中的传输效率，每层都能直接从损失函数拿到梯度，并且直接得到输入信号，这样就能训练更深的网络，这种网络结构还有正则化的效果，其他网络致力于从深度和宽度来提升网络性能，densenet致力于从特征重用的角度来提升网络性能。
40.在所述训练过程中，神经网络模块包括依次顺序连接的第一卷积层模块、第二卷积层模块、全连接层模块和激活函数层。逐渐提取输入图像的有效特征，同时为了最小化理想标签向量和实际输出标签向量之间的误差，网络模块通过反向传播使用梯度下降的方法来逐步调整其内核的参数。本发明使用adam优化器将测试屈光度与待检测者的实际屈光度的差值作为损失，通过反向传播调整所述网络结构中的各个卷积层。
41.其中，所述第一卷积层模块中的卷积层数量为五个，第二卷积层模块中的卷积层数量为八个，全连接层模块中的全连接层数量为两个，激活函数层采用softmax函数。
42.步骤五，使用所述训练的深度学习网络模型对大规模人眼图像进行特征提取。可以将卷积核看作特征检测器，通过densenet的卷积核，神经网络模块可以从输入的图像中学习到其独有的特征，同时为了构建一个更加有效的模型，一般需要多个卷积核来检测多个特征，以便在卷积层中产生多个特征图。然后池化层会将语义上类似的特征合并成相应的一个，采用的池化方式是计算一个特征图中局部单元块的最大值，进行特征图的子采样。此处所述的每个子采样单元从卷积特征图中2
×
2的单位区域获取输入，并将这些输入的最大值作为池化后的数值，进而构成池化后的特征图。
43.步骤六，将人眼图像输入训练完成并经过调优后得到的最终的深度学习神经网络模型进行模式识别，并通过训练阶段的学习经验对输入图像进行性能分析。
44.步骤七，输出用户的屈光度。
45.如图2所示，本发明提供了一种基于深度学习的人眼屈光度检测方法的装置，包括
46.近视及远视数据集模块，被配置为大规模人眼图像数据集，包括客观验光数据，即与图像关联的屈光度。
47.深度学习模型模块，被配置为深度卷积神经网络，使用上一模块数据集进行训练，
获得训练并调优好的深度学习卷积神经网络模型，使用此模型识别用户的眼部图像并输出用户的屈光度。
48.接收模块，被配置为用于接收客户端发送的用户的人眼图像，并将用户的眼部图像发送至所述深度学习模型模块进行识别。
49.反馈模块，被配置为用于向所述客户端反馈所述深度学习模型模块输出的屈光度。
50.由近视及远视数据集模块、深度学习模型模块、接收模块和反馈模块可组成所述装置的服务器模块。另外所述客户端模块可以为手机端客户端，用户通过客户端上传自己的眼部图像即可获知自己的屈光度结果，极大地方便用户根据自己需要随时检测跟踪自己的屈光度情况。