实时的泪膜破裂检测方法、计算机可读存储介质和装置与流程

1.本发明涉及眼科图像处理，特别是涉及一种实时的泪膜破裂检测方法、计算机可读存储介质和装置。


背景技术：

2.眼表及其各个组成部分构成了眼睛与外界之间的保护屏障。泪膜在为眼表提供润滑和保护以及保持光滑的折射表面以实现最佳视觉性能方面起着至关重要的作用。睑板腺分泌的眼泪会在眼球表面形成一层泪膜，如果一直不眨眼，泪膜会在若干秒后破裂，引起干眼，此时人会不自主的眨眼，附上一层新的泪膜。但由于经常受到环境(例如，低湿度、风暴露、污染物)和疾病的挑战。对于没有干眼症的健康人，平均泪膜破裂时间应该在10秒以上，否则认为可能有干眼症，破裂的时间越短，病症越严重。泪膜破裂时间是从眨眼完成到角膜上第一个干斑出现的时间，定义了泪膜的稳定性和眼表的完整性，已经成为干眼程度的诊断测试。因此，泪膜稳定性也是眼表疾病的评估的一项重要指标。干眼仪的泪膜破裂时间探头，利用placido环在眼球上形成一个虚像，当泪膜破裂时，网格线会断裂或变形。通过图像识别到这些破裂现象，记录破裂的区域和时间，以此进行干眼症的初筛。
3.已有的方法中，对于泪膜破裂位置的判断是通过对人眼照射在placido环上的图像进行图像处理，将眨眼后的第一帧作为参照模板，对后面的每一帧图像进行匹配，但是这种方法不能更好的处理眼动、帧遗漏的睫毛遮挡、睫毛上污物等问题，降低了泪膜破裂识别的准确性，也不能达到对泪膜破裂的实时检测。
4.需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本发明的主要目的在于克服上述背景技术的缺陷，提供一种实时的泪膜破裂检测方法、计算机可读存储介质和装置。
6.为实现上述目的，本发明采用以下技术方案：
7.一种实时的泪膜破裂检测方法，包括如下步骤：
8.s1、采集被测者的带有placido网格的人眼图像，根据所述人眼图像判断当前是否眨眼，并至少获取当次眨眼之后眼睛睁开到最大时到下次眨眼之前的多帧人眼图像；其中，所述placido网格包括多个同心圆和从所述placido网格的中心径向延伸的多个分割线，所述多个分割线和所述多个同心圆共同形成包括多个网格的网格阵列；
9.s2、识别所述多帧人眼图像的瞳孔中心，并提取网格线图，从所述网格线图获取网格线图的中心连通域和精确中心，然后平移网格线图使得所述网格线图的精确中心与预设中心重合，并判断人眼图像的瞳孔中心是否在中心连通域，如果人眼图像的瞳孔中心在中心连通域则进行步骤s3；
10.s3、根据所述多帧人眼图像中所述多个网格的连通域的变化情况，识别出符合预
设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的睫毛遮挡区域；其中，所述睫毛遮挡区域包括睫毛及睫毛上的污染物对所述网格阵列造成的遮挡区域；
11.s4、针对所述多帧人眼图像中除睫毛遮挡区域之外的部分，根据多个网格的连通域的变化情况，识别出符合预设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的泪膜破裂区域；
12.s5、根据步骤s4的识别结果，获取如下信息中的一种或多种：所述多帧人眼图像中的泪膜破裂区域的数量、各泪膜破裂区域出现的次数、各泪膜破裂区域的平均破裂时间及各泪膜破裂区域首次出现的时间，以便利用所述信息进行干眼等级判断。
13.进一步地：
14.所述多个同心圆等距分布，所述多个分割线等夹角均匀分布。
15.所述识别出符合设定的连通域变化条件的网格，包括如下步骤：
16.a、在每两条分割线之间作角分线，遍历所述角分线与各同心圆的交点，如果存在两个交点满足：(1)两点属于同一连通域；(2)两点的距离超过设定径向尺寸，则判定属于该连通域的网格为所述符合预设的连通域变化条件的网格，优选的，所述设定径向尺寸为1.2-1.5倍单位网格径向尺寸；
17.b、在每两个相邻的同心圆之间作中间圆，遍历所述中间圆与各分割线的交点，如果存在两个交点满足：(1)两点属于同一连通域；(2)两点的幅角差超过设定幅角，则判定属于该连通域的网格为所述符合预设的连通域变化条件的网格，优选的，所述设定幅角为1.2-1.5倍单位幅角。
18.步骤s3中，多帧人眼图像为n帧人眼图像，取所述n帧人眼图像中的前m帧或中间m帧人眼图像进行睫毛遮挡区域的识别，步骤s4中，取所述n帧人眼图像中的前m帧或中间m帧人眼图像之后的图像帧进行泪膜破裂区域的识别，其中，n和m为正整数且n大于m。
19.步骤s2中，通过形态学操作识别所述多帧人眼图像的瞳孔中心，并通过高保真反差提取网格线图，基于所述瞳孔中心，对所述网格线图进行大半径的腐蚀膨胀、消除网格线以获取中心连通域和网格线图的精确中心。
20.步骤s2中，对于每帧人眼图像，判断人眼图像的瞳孔中心是否在中心连通域，若不在中心连通域，则舍弃该帧人眼图像，继续分析下一帧人眼图像。
21.步骤s5中，统计泪膜破裂区域的数量和各泪膜破裂区域的出现次数，计算泪膜破裂区域的平均出现次数，根据泪膜破裂区域的平均出现次数来进行干眼等级判断。
22.步骤s5中，还记录泪膜破裂区域的首次出现时间，并且还根据所述首次出现时间来进行干眼等级判断。
23.步骤s5中，还对所述干眼等级采用不同的颜色或符号进行标记。
24.一种实时检测泪膜破裂的方法，包括如下步骤：
25.s1、采集被测者的带有placido网格的人眼图像，根据所述人眼图像判断当前是否眨眼，并至少获取当次眨眼之后眼睛睁开到最大时到下次眨眼之前的多帧人眼图像；其中，所述placido网格包括多个同心圆和从所述placido网格的中心径向延伸的多个分割线，所述多个分割线和所述多个同心圆共同形成包括多个网格的网格阵列；
26.s2、识别所述多帧人眼图像的瞳孔中心，并提取网格线图，从所述网格线图获取网格线图的中心连通域和精确中心，然后平移网格线图使得所述网格线图的精确中心与预设
中心重合，并判断人眼图像的瞳孔中心是否在中心连通域，如果人眼图像的瞳孔中心在中心连通域则进行步骤s3；
27.s3、根据所述多帧人眼图像中所述多个网格的连通域的变化情况，识别出符合预设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的睫毛遮挡区域；其中，所述睫毛遮挡区域包括睫毛及睫毛上的污染物对所述网格阵列造成的遮挡区域；
28.s4、针对所述多帧人眼图像中除睫毛遮挡区域之外的部分，根据多个网格的连通域的变化情况，识别出符合预设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的泪膜破裂区域。
29.一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器运行时，实现所述的方法。
30.一种实时的泪膜破裂时间检测装置，包括处理器和所述的计算机可读存储介质。
31.本发明具有如下有益效果：
32.本发明提供了一种实时的泪膜破裂检测方法和装置，相对于传统的泪膜破裂检测方案，能更好地处理睫毛及睫毛上的污物遮挡、眼动、以及眨眼等情况，对于泪膜破裂的识别定位更加准确，检测实时性更好。
附图说明
33.图1为干眼仪设备中泪膜破裂检测的操作流程图。
34.图2为本发明实施例的泪膜破裂检测方法的一帧图像处理流程图。
35.图3为本发明实施例采集的原始人眼图像。
36.图4为本发明实施例经提取和处理的网格线图的示意图。
37.图5为本发明实施例识别出睫毛遮挡区域的示意图。
38.图6为本发明实施例识别出泪膜破裂区域的示意图。
具体实施方式
39.以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
40.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于耦合或连通作用。
41.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
42.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
43.参阅图1至图6，本发明实施例提供一种实时的泪膜破裂检测方法，包括如下步骤：
44.步骤s1、采集被测者的带有placido网格的人眼图像，根据所述人眼图像判断当前是否眨眼，并至少获取当次眨眼之后眼睛睁开到最大时到下次眨眼之前的多帧人眼图像。如图1所示，实际检测时，可以录制一次睁眼达到极限到再次眼睛达到极限时的视频，从该视频中提取所述多帧人眼图像。
45.如图4所示，本发明还提供一种placido网格图案，所述placido网格包括多个同心圆和从所述placido网格的中心径向延伸的多个分割线，所述多个分割线和所述多个同心圆共同形成包括多个网格的网格阵列。在采集人眼图像时，将所述placido网格投影到人眼上，从而拍摄带有placido网格的人眼图像。
46.步骤s2、识别所述多帧人眼图像的瞳孔中心，并提取网格线图，从所述网格线图获取网格线图的中心连通域和精确中心，然后平移所述网格线图使得所述网格线图的精确中心与预设中心重合，并判断人眼图像的瞳孔中心是否在中心连通域，如果人眼图像的瞳孔中心在中心连通域则进行步骤s3。
47.步骤s3、根据所述多帧人眼图像中所述多个网格的连通域的变化情况，识别出符合预设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的睫毛遮挡区域；其中，所述睫毛遮挡区域包括睫毛及睫毛上的污染物对所述网格阵列造成的遮挡区域。睫毛和污染物的存在会使原有的网格阵列连通域发生改变，据此可以识别哪些网格中存在睫毛或污染物，这些网格即睫毛遮挡区域。如图5所示，图中的灰色网格区域为所识别的多个睫毛遮挡区域。
48.步骤s4、针对所述多帧人眼图像中除睫毛遮挡区域之外的部分，根据多个网格的连通域的变化情况，识别出符合预设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的泪膜破裂区域。泪膜破裂处会使原有的网格阵列连通域发生改变，据此可以识别哪些网格为泪膜破裂区域。
49.步骤s5、根据步骤s4的识别结果，获取如下信息中的一种或多种：所述多帧人眼图像中的泪膜破裂区域的数量、各泪膜破裂区域出现的次数、各泪膜破裂区域的平均破裂时间(平均破裂次数)及各泪膜破裂区域首次出现的时间，以便利用所述信息进行干眼等级判断。
50.如图6所示，图中除了多个睫毛遮挡区域之外的灰色或黑色网格区域为所识别的多个泪膜破裂区域。为了方便统计，可按照各泪膜破裂区域出现的次数(每次对应一图像帧)对相应的网格区域进行不同颜色的标记。
51.在优选的实施例中，所述多个同心圆等距分布，所述多个分割线等夹角均匀分布。
52.在优选的实施例中，所述识别出符合设定的连通域变化条件的网格，包括如下步骤：
53.步骤a、在每两条分割线之间作角分线，遍历所述角分线与各同心圆的交点，如果存在两个交点满足：(1)两点属于同一连通域；(2)两点的距离超过设定径向尺寸，则判定属于该连通域的网格为所述符合预设的连通域变化条件的网格，优选的，所述设定径向尺寸为1.2-1.5倍单位网格径向尺寸。所述角分线优选为角平分线。
54.步骤b、在每两个相邻的同心圆之间作中间圆，遍历所述中间圆与各分割线的交点，如果存在两个交点满足：(1)两点属于同一连通域；(2)两点的幅角差超过设定幅角，则
判定属于该连通域的网格为所述符合预设的连通域变化条件的网格，优选的，所述设定幅角为1.2-1.5倍单位幅角。
55.在优选的实施例中，步骤s3中，多帧人眼图像为n帧人眼图像，取所述n帧人眼图像中的前m帧或中间m帧人眼图像进行睫毛遮挡区域的识别，步骤s4中，取所述n帧人眼图像中的前m帧或中间m帧人眼图像之后的图像帧进行泪膜破裂区域的识别，其中，n和m为正整数且n大于m。在优选的实施例中，将起始的数帧例如前10帧人眼图像用于进行人眼眨眼的识别与判断，而中间m帧例如第11-20帧人眼图像用于进行睫毛遮挡区域的识别，对于睫毛遮挡区域的识别效果更好。
56.在优选的实施例中，步骤s2中，通过形态学操作识别所述多帧人眼图像的瞳孔中心，并通过高保真反差提取网格线图，基于所述瞳孔中心，对所述网格线图进行大半径的腐蚀膨胀、消除网格线以获取中心连通域和网格线图的精确中心。
57.参阅图2，在优选的实施例中，步骤s2中，对于每帧人眼图像，判断人眼图像的瞳孔中心是否在中心连通域，若不在中心连通域，则说明采集过程有眼动等情况，因此舍弃该帧人眼图像，继续分析下一帧人眼图像。
58.在优选的实施例中，步骤s5中，统计泪膜破裂区域的数量和各泪膜破裂区域的出现次数，计算泪膜破裂区域的平均出现次数，根据泪膜破裂区域的平均出现次数来进行干眼等级判断。
59.在更优选的实施例中，步骤s5中，还记录泪膜破裂区域的首次出现时间，并且还根据所述首次出现时间来进行干眼等级判断。
60.步骤s5中，还对所述干眼等级采用不同的颜色或符号进行标记。
61.在另一种实施例中，本发明还提供一种实时检测泪膜破裂的方法，包括如下步骤：
62.步骤s1、采集被测者的带有placido网格的人眼图像，根据所述人眼图像判断当前是否眨眼，并获取当次眨眼之后眼睛睁开到最大时到下次眨眼之前的多帧人眼图像；其中，所述placido网格包括多个同心圆和从所述placido网格的中心径向延伸的多个分割线，所述多个分割线和所述多个同心圆共同形成包括多个网格的网格阵列；
63.步骤s2、识别所述多帧人眼图像的瞳孔中心，并提取网格线图，从所述网格线图获取网格线图的中心连通域和精确中心，然后平移所述网格线图使得所述网格线图的精确中心与预设中心重合，并判断人眼图像的瞳孔中心是否在中心连通域，如果人眼图像的瞳孔中心在中心连通域则进行步骤s3；
64.步骤s3、根据所述多帧人眼图像中所述多个网格的连通域的变化情况，识别出符合预设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的睫毛遮挡区域；其中，所述睫毛遮挡区域包括睫毛及睫毛上的污染物对所述网格阵列造成的遮挡区域；
65.步骤s4、针对所述多帧人眼图像中除睫毛遮挡区域之外的部分，根据多个网格的连通域的变化情况，识别出符合预设的连通域变化条件的网格，并将其确定为所述多帧人眼图像中的泪膜破裂区域。
66.本实施例不包括前述实施例的步骤s5，即本实施例处理的结果为从录制的人眼视频中准确检测出人眼图像的多个泪膜破裂区域。前述实施例的步骤s1-s4中的优选处理方法也均适用于本实施例。
67.在另一种实施例中，本发明还提供一种计算机可读存储介质，存储有计算机程序，
所述计算机程序由处理器运行时，实现前述任一实施例的方法。
68.在又一种实施例中，本发明还提供一种实时的泪膜破裂时间检测装置，包括处理器和所述的计算机可读存储介质。
69.本发明提供了一种实时的泪膜破裂检测方法和装置，相对于传统的泪膜破裂检测方案，能更好地处理睫毛及睫毛上的污物遮挡、眼动、以及眨眼等情况，对于泪膜破裂的识别定位更加准确，检测实时性更好。
70.以下进一步描述本发明具体实施例。
71.首先，实时获取带有placido网格的人眼图像，如图3所示，判断是否眨眼，在识别到眨眼之后待被测者完全睁开眼睛，使用一次睁眼过程的多帧图像，先后进行睫毛遮挡区域和泪膜破裂区域的识别。
72.对采集的带有placido网格的人眼图像，通过腐蚀膨胀操作来识别人眼图像的瞳孔中心位置。进行高保真反差提取网格线图，基于所述瞳孔中心，对所述网格线图进行大半径的腐蚀膨胀、消除网格线以获取中心连通域和网格线图的精确中心，如图4所示。然后平移网格线图使得所述网格线图的精确中心与预设中心重合，并判断人眼图像的瞳孔中心是否在中心连通域，如果人眼图像的瞳孔中心在中心连通域则进行下一步。
73.利用形态学处理后的网格线，按以下规则寻找睫毛遮挡区域：
74.a、在每两条射线之间作角平分线，遍历角平分线上的交点，如果射线上存在两交点满足：(1)两点属于同一连通域。(2)两点距离超过1.3倍单位网格，则判定该连通域为破裂。
75.b、在每两个同心圆之间作圆，遍历圆上的交点，如果圆上存在两交点满足：(1)两点属于同一连通域。(2)两点幅角差超过1.3倍单位幅角，则判定该连通域为破裂。
76.将识别到的睫毛遮挡区域进行标记和汇总，如图5所示，灰色部分为睫毛遮挡区域，之后不再进行破裂分析，而剩下的空白部分为可供破裂分析的区域。对标记过的区域定义网格序号对应的位置坐标。
77.用与上述相同的判断规则寻找泪膜破裂区域，标记泪膜破裂区域对应的网格，并缓存破裂时间。例如，在整个破裂识别过程中，如果同一位置破裂次数大于9次，可在此位置上标记绿色；大于6次小于9次时，可标记黄色；大于3次小于6次时，可标记橙色；小于三次时可标记红色。汇总的泪膜破裂区域如图6所示。可根据每个泪膜破裂区域的出现次数(时长)和泪膜破裂区域的个数得到平均破裂时间和每个泪膜破裂区域首次破裂时间，来进行干眼等级判断。
78.非接触泪膜破裂时间可用于干眼症的检查和确诊，泪膜破裂时间可以反映泪膜实时破裂的程度，从而判断干眼症。例如，如果小于10s，则为泪膜不稳定，表明眼表的油脂分泌量不足，常见于干眼症。泪膜破裂时间的检查结果受年龄、种族、睑裂大小、温度、湿度等影响，患者应结合其他的检查进行综合判定有无干眼症，如泪液分泌试验、泪液渗透压测定、角膜荧光素染色和宽度测定、结膜印迹细胞学检查等确诊。
79.本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
80.以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，
在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。