一种基于神经网络的集合近点测量方法和装置与流程

1.本发明涉及眼科医疗领域，尤其涉及一种基于神经网络的集合近点测量方法和装置。


背景技术：

2.随着信息化的逐步加深，人的生活、学习、工作节奏逐渐加快，人的视觉压力也随之增加，进而容易产生视疲劳。视疲劳的原因之一包括人眼的聚散调节功能的异常。其中，集合近点是临床眼科门诊种检查眼睛集合功能是否正常的一项指标。在物体慢慢靠近人眼时，集合的程度也会慢慢增加，但是当集合功能到达极限时，两眼就会放弃集合，眼球突然向外转动，形成不可抑制的双眼复现。而在放弃聚散之前，两眼所能保持的最近点就被称为集合近点。
3.目前，临床主要采用人工方法进行测量，具体地：将视标由眼前50厘米沿正中线慢慢向鼻根位置靠近，然后会出现到达近点的特征，包括：（1）两眼的眼球运动停止；（2）一眼或者双眼视觉线向外散开；（3）受试者自觉有复视出现；（4）瞳孔近见反应消失等。但是这种依赖人工的测量方法是根据人眼来估计距离，具有一定的主观性，而且操作麻烦，准确性较低。


技术实现要素：

4.本发明提供了一种基于神经网络的集合近点测量方法和装置，以解决如何提高集合近点测量结果准确性的技术问题。
5.为了解决上述技术问题，本发明实施例提供了一种基于神经网络的集合近点测量方法，包括：通过图像采集设备获取受试者的角膜图像；通过预先训练好的神经网络模型对所述角膜图像进行检测，获取受试者双眼的角膜大小和双眼的角膜中心；其中，所述双眼的角膜大小和双眼的角膜中心均为实时获取；根据所述受试者角膜中心的位置变化判断是否满足检测触发条件；当所述检测触发条件得到满足，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，计算当前时刻所述受试者与图像采集设备之间的距离，获得对应的集合近点。
6.作为优选方案，所述根据所述受试者角膜中心的位置变化判断是否满足检测触发条件，具体为：根据所述受试者的角膜中心的位置变化判断眼睛的移动距离和移动方向，具体地，根据下式计算所述受试者眼睛的移动距离d1：；其中，x
t
为角膜中心在第t帧的横坐标，x
t 1
为角膜中心在第t 1帧的横坐标，se为所
述受试者眼睛的实际尺寸，h
p
为角膜大小；当d＜0时，判断眼睛向鼻侧运动，当d＞0时，判断眼睛向颞侧运动；当所述受试者双眼的移动距离在预设范围，或所述受试者任意一眼往相反方向的移动距离大于预设值时，判断所述检测触发条件得到满足。
7.作为优选方案，所述设备参数包括所述图像采集设备的焦距；所述计算当前时刻所述受试者与图像采集设备之间的距离，具体为：根据下式计算所述受试者与图像采集设备之间的距离d2：；其中，h
pavg
为所述受试者双眼的角膜大小的平均值，f为所述图像采集设备的焦距。
8.作为优选方案，所述神经网络模型采用hrnet网络结构。
9.作为优选方案，在所述获取受试者双眼的角膜大小和双眼的角膜中心之前，还包括：对所述神经网络模型进行训练，具体地：获取第一数据集，将所述第一数据集按照预设比例划分为训练集和测试集；其中，所述第一数据集包含若干人脸图像，且所述人脸图像的角膜已被标注；通过所述训练集对基础网络模型进行训练直至收敛，获得训练好的所述神经网络模型。
10.相应的，本发明实施例还提供了一种基于神经网络的集合近点测量装置，包括图像采集模块、检测模块和计算模块；其中，所述图像采集模块，用于通过图像采集设备获取受试者的角膜图像；所述检测模块，用于通过预先训练好的神经网络模型对所述角膜图像进行检测，获取受试者双眼的角膜大小和双眼的角膜中心；其中，所述双眼的角膜大小和双眼的角膜中心均为实时获取；所述计算模块，用于根据所述受试者角膜中心的位置变化判断是否满足检测触发条件；当所述检测触发条件得到满足，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，计算当前时刻所述受试者与图像采集设备之间的距离，获得对应的集合近点。
11.作为优选方案，所述计算模块根据所述受试者角膜中心的位置变化判断是否满足检测触发条件，具体为：所述计算模块根据所述受试者的角膜中心的位置变化判断眼睛的移动距离和移动方向，具体地，根据下式计算所述受试者眼睛的移动距离d1：；其中，x
t
为角膜中心在第t帧的横坐标，x
t 1
为角膜中心在第t 1帧的横坐标，se为所述受试者眼睛的实际尺寸，h
p
为角膜大小；当d＜0时，判断眼睛向鼻侧运动，当d＞0时，判断眼睛向颞侧运动；
当所述受试者双眼的移动距离在预设范围，或所述受试者任意一眼往相反方向的移动距离大于预设值时，判断所述检测触发条件得到满足。
12.作为优选方案，所述设备参数包括所述图像采集设备的焦距；所述计算模块计算当前时刻所述受试者与图像采集设备之间的距离，具体为：所述计算模块根据下式计算所述受试者与图像采集设备之间的距离d2：；其中，h
pavg
为所述受试者双眼的角膜大小的平均值，f为所述图像采集设备的焦距。
13.作为优选方案，所述神经网络模型采用hrnet网络结构。
14.作为优选方案，所述集合近点测量装置还包括训练模块，所述训练模块用于在所述获取受试者双眼的角膜大小和双眼的角膜中心之前，对所述神经网络模型进行训练，具体地：获取第一数据集，将所述第一数据集按照预设比例划分为训练集和测试集；其中，所述第一数据集包含若干人脸图像，且所述人脸图像的角膜已被标注；通过所述训练集对基础网络模型进行训练直至收敛，获得训练好的所述神经网络模型。
15.相比于现有技术，本发明实施例具有如下有益效果：本发明实施例提供了一种基于神经网络的集合近点测量方法和装置，所述测量方法包括：通过图像采集设备获取受试者的角膜图像；通过预先训练好的神经网络模型对所述角膜图像进行检测，获取受试者双眼的角膜大小和双眼的角膜中心；其中，所述双眼的角膜大小和双眼的角膜中心均为实时获取；根据所述受试者角膜中心的位置变化判断是否满足检测触发条件；当所述检测触发条件得到满足，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，计算当前时刻所述受试者与图像采集设备之间的距离，获得对应的集合近点。相比于现有技术，通过图像采集设备获取受试者的角膜图像，并通过训练好的神经网络模型获取受试者的角膜大小和双眼的角膜中心进而得出最终的集合近点，相比通过人工的方式进行测量，不再需要有经验的医护人员对受试者进行引导和观察，简化了繁琐的流程，减少了人工的介入程度；此外，在满足检测触发条件时，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，即根据双眼的物理信息（实际尺寸）和获取图像的信息（角膜大小的平均值）之间的关系，结合设备参数进行计算集合近点，相比现有技术极大程度的降低了主观性并提高了测量的准确性。
附图说明
16.图1：为本发明基于神经网络提供的集合近点测量方法的一种实施例的流程示意图。
17.图2：为本发明基于神经网络提供的集合近点测量装置的一种实施例的结构示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.实施例一:请参照图1，图1为本发明实施例提供的一种基于神经网络的集合近点测量方法，包括步骤s1至步骤s3；其中，步骤s1，通过图像采集设备获取受试者的角膜图像。
20.在本实施例中，所述图像采集设备包括但不限于手机摄像头和笔记本摄像头等。本实施例以手机前置摄像头为例，作为本实施的一种举例，在手机正中贴一竖直长条作为视标，作为本实施例的另一种举例，也可以于手机屏幕上显示视标，以使受试者的双眼平视视标中心。具体采用何种方式吸引受试者的注意力，可以根据具体应用场景进行选择。
21.在步骤s2所述获取受试者双眼的角膜大小和双眼的角膜中心之前，还包括，构建并训练神经网络模型，具体地：获取第一数据集，将所述第一数据集按照预设比例（本实施例优选为8:2）划分为训练集和测试集；其中，所述第一数据集包含若干人脸图像，且所述人脸图像的角膜特征区域的轮廓已被标注。且标注的角膜特征区域的轮廓包括32个关键点。
22.进而，通过所述训练集对基础网络模型进行训练直至收敛，获得训练好的所述神经网络模型。
23.步骤s2，通过预先训练好的神经网络模型对所述角膜图像进行检测，获取受试者双眼的角膜大小和双眼的角膜中心；其中，所述双眼的角膜大小和双眼的角膜中心均为实时获取。
24.在本实施例中，所述预先训练好的神经网络模型采用hrnet结构，用于对所述角膜图像进行关键点的检测，获得若干角膜关键点。进一步地，通过对检测到的若干角膜关键点进行圆拟合，可以获得受试者双眼的角膜大小（圆拟合的圆直径，单位为像素）和双眼的角膜中心（圆拟合的圆心）。
25.步骤s3,根据所述受试者角膜中心的位置变化判断是否满足检测触发条件；当所述检测触发条件得到满足，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，计算当前时刻所述受试者与图像采集设备之间的距离，获得对应的集合近点。
26.在本实施例中，手机摄像头逐渐靠近人眼，即缩短摄像头与受试者之间的距离。当人眼距离摄像头50cm处时，受试者保持注视视标1至3秒，将视标从当前距离（50cm）沿正中线慢慢向鼻根靠近。在该过程中，眼睛会随着视标的逐渐靠近发生移动，持续检测每一帧的角膜图像，以获取对应的眼位信息。
27.根据角膜图像中所述受试者角膜中心的位置变化判断眼睛的移动距离和移动方向，具体地，根据下式计算所述受试者眼睛的移动距离d1：；
需要说明的是（x
t
,y
t
）为角膜中心在第t帧的位置坐标，（x
t 1
,y
t 1
）为角膜中心在第t 1帧的位置坐标，其中，x
t
为角膜中心在第t帧的横坐标，x
t 1
为角膜中心在第t 1帧的横坐标，se为所述受试者眼睛的实际尺寸（该人眼尺寸为角膜的水平直径，为预设值，从图像上可以对应为黑色眼珠的直径），h
p
为角膜大小；当d＜0时，判断眼睛向鼻侧运动，当d＞0时，判断眼睛向颞侧运动，即判断了眼睛的运动方向，当d=0时即没有发生移动。需要说明的是，作为本实施例的一种举例，当人眼与摄像头距离满足50cm的要求时，开始实时计算受试者与图像采集设备之间的距离，图像采集设备缓慢向受试者移动，在判断所述检测触发条件得到满足时，确定当前时刻摄像头与人眼之间的距离为对应于所述受试者的集合近点。作为本实施例的另一种举例，受试者与图像采集设备之间的距离也可以是在检测触发条件得到满足的时刻再进行计算，计算结果即为所述集合近点。
28.当所述受试者双眼的移动距离在预设范围内，即小到几乎不发生变化，或所述受试者任意一眼往相反方向的移动距离大于预设值时，此时判断所述检测触发条件得到满足。进而计算当前位置的距离，作为对应的集合近点。
29.具体地，集合近点的计算过程中，所述设备参数包括所述图像采集设备的焦距（本实施例即手机摄像头的焦距f，可以通过图像的exif信息获取）；所述计算当前时刻所述受试者与图像采集设备之间的距离，具体为：根据下式计算所述受试者与图像采集设备之间的距离d2：；其中，h
pavg
为所述受试者双眼的角膜大小的平均值，f为所述图像采集设备（本实施例为手机摄像头）的焦距。需要说明的是，双眼的角膜大小的平均值指两眼之间的平均值。本实施例是通过设备的焦距，结合物理尺寸（即眼睛的实际尺寸，预设为11.7毫米，其取值范围可以为11.7
±
0.5毫米）与获取的图像信息（单位为像素）之间的对应关系，从而计算得到受试者与采集设备之间的距离。在满足所述检测触发条件时通过该方式进行检测，其误差可以压缩到极小的范围，相比现有技术具有更高的准确性，并且，由于触发条件通过机器学习的方法进行判定，相比现有技术极大地降低了主观性，降低了误检率，能客观地、相对准确地检测获得集合近点。
30.相应的，参照图2，本发明实施例还提供了一种基于神经网络的集合近点测量装置，包括图像采集模块101、检测模块102和计算模块103；其中，所述图像采集模块101，用于通过图像采集设备获取受试者的角膜图像；所述检测模块102，用于通过预先训练好的神经网络模型对所述角膜图像进行检测，获取受试者双眼的角膜大小和双眼的角膜中心；其中，所述双眼的角膜大小和双眼的角膜中心均为实时获取；所述计算模块103，用于根据所述受试者角膜中心的位置变化判断是否满足检测触发条件；当所述检测触发条件得到满足，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，计算当前时刻所述受试者与图像采集设备之间的距离，获得对应的集合近点。
31.作为一种优选实施方式，所述计算模块103根据所述受试者角膜中心的位置变化判断是否满足检测触发条件，具体为：
所述计算模块103根据所述受试者的角膜中心的位置变化判断眼睛的移动距离和移动方向，具体地，根据下式计算所述受试者眼睛的移动距离d1：；其中，x
t
为角膜中心在第t帧的横坐标，x
t 1
为角膜中心在第t 1帧的横坐标，se为所述受试者眼睛的实际尺寸，h
p
为角膜大小；当d＜0时，判断眼睛向鼻侧运动，当d＞0时，判断眼睛向颞侧运动；当所述受试者双眼的移动距离在预设范围，或所述受试者任意一眼往相反方向的移动距离大于预设值时，判断所述检测触发条件得到满足。
32.作为一种优选实施方式，所述设备参数包括所述图像采集设备的焦距；所述计算模块103计算当前时刻所述受试者与图像采集设备之间的距离，具体为：所述计算模块103根据下式计算所述受试者与图像采集设备之间的距离d2：；其中，h
pavg
为所述受试者双眼的角膜大小的平均值，f为所述图像采集设备的焦距。
33.作为一种优选实施方式，所述神经网络模型采用hrnet网络结构。
34.作为一种优选实施方式，所述集合近点测量装置还包括训练模块，所述训练模块用于在所述获取受试者双眼的角膜大小和双眼的角膜中心之前，对所述神经网络模型进行训练，具体地：获取第一数据集，将所述第一数据集按照预设比例划分为训练集和测试集；其中，所述第一数据集包含若干人脸图像，且所述人脸图像的角膜已被标注；通过所述训练集对基础网络模型进行训练直至收敛，获得训练好的所述神经网络模型。
35.相比于现有技术，本发明实施例具有如下有益效果：本发明实施例提供了一种基于神经网络的集合近点测量方法和装置，所述测量方法包括：通过图像采集设备获取受试者的角膜图像；通过预先训练好的神经网络模型对所述角膜图像进行检测，获取受试者双眼的角膜大小和双眼的角膜中心；其中，所述双眼的角膜大小和双眼的角膜中心均为实时获取；根据所述受试者角膜中心的位置变化判断是否满足检测触发条件；当所述检测触发条件得到满足，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，计算当前时刻所述受试者与图像采集设备之间的距离，获得对应的集合近点。相比于现有技术，通过图像采集设备获取受试者的角膜图像，并通过训练好的神经网络模型获取受试者的角膜大小和双眼的角膜中心进而得出最终的集合近点，相比通过人工的方式进行测量，不再需要有经验的医护人员对受试者进行引导和观察，简化了繁琐的流程，减少了人工的介入程度；此外，在满足检测触发条件时，根据所述受试者双眼的角膜大小的平均值，结合所述受试者双眼的实际尺寸和图像采集设备的设备参数，即根据双眼的物理信息（实际尺寸）和获取图像的信息（角膜大小的平均值）之间的关系，结合设备参数进行计算集合近点，相比现有技术极大程
度的降低了主观性并提高了测量的准确性。
36.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。