一种眼球追踪校准检验方法、装置、设备及存储介质与流程

1.本发明实施例涉及电子技术领域，尤其涉及一种眼球追踪校准检验方法、装置、设备及存储介质。


背景技术：

2.由于眼球追踪技术具有较高的准确度要求，因此用户在使用具有眼球追踪功能的设备前，往往需要进行校准。
3.现有的眼球追踪校准过程中，在完成获取用户眼部特征信息、计算得到校准系数后，校准环节就会结束，缺乏对校准效果的评估。少数眼球追踪设备会对校准效果进行评价，但也仅限于给出校准得分，或在校准结束后展示一幅点集画面，用户很难自行判断注视点位置和自身观看点集画面的实际注视点位置之间存在多大的差异。一旦校准过程中由于用户操作不熟练或者不配合，导致计算得出的校准系数偏差较大，就会适得其反，严重影响后续使用过程中的用户体验或实验分析。


技术实现要素：

4.本发明提供一种眼球追踪校准检验方法、装置、设备及存储介质，以实现对眼球追踪校准效果的评估和可视化反馈。
5.第一方面，本发明实施例提供了一种眼球追踪校准检验方法，包括：
6.根据用户的眼部特征信息和校准系数，确定所述用户的注视点，所述眼部特征信息为眼球运动时眼球及眼球周边的特征变化信息；
7.若所述注视点在可反馈区域内且注视时间达到第一预设时长，则在所述可反馈区域显示反馈画面，所述可反馈区域用于对所述用户的注视动作做出反馈响应；
8.若显示反馈画面的可反馈区域正确，则确定眼球追踪校准合格。
9.可选的，在根据所述眼部特征信息和所述校准系数，确定所述用户的注视点之前，还包括：
10.获取出现校准点时的所述眼部特征信息，根据所述眼部特征信息和校准点，确定所述校准系数。
11.可选的，所述方法还包括：
12.若在第二预设时长内所述注视点不在可反馈区域内或注视时间未达到所述第一预设时长，则重新确定所述校准系数；或者，
13.若显示反馈画面的可反馈区域错误，则重新确定所述校准系数。
14.可选的，所述可反馈区域和、所述第一预设时长和所述第二预设时长根据使用场景设定。
15.第二方面，本发明实施例还提供了一种眼球追踪校准检验装置，其特征在于，所述装置包括：
16.注视点确定模块，用于根据用户的眼部特征信息和校准系数，确定所述用户的注
视点，所述眼部特征信息为眼球运动时眼球及眼球周边的特征变化信息；
17.反馈显示模块，用于若所述注视点在可反馈区域内且注视时间达到第一预设时长，则在所述可反馈区域显示反馈画面，所述可反馈区域用于对所述用户的注视动作做出反馈响应；
18.检验确定模块，用于若显示反馈画面的可反馈区域正确，则确定眼球追踪校准合格。
19.可选的，所述装置还包括：
20.第一校准系数确定模块，用于获取出现校准点时的所述眼部特征信息，根据所述眼部特征信息和校准点，确定所述校准系数。
21.可选的，所述装置还包括：
22.第二校准系数确定模块，用于若在第二预设时长内所述注视点不在可反馈区域内或注视时间未达到所述第一预设时长，则重新确定所述校准系数；或者，若显示反馈画面的可反馈区域错误，则重新确定所述校准系数。
23.可选的，所述可反馈区域和、所述第一预设时长和所述第二预设时长根据使用场景设定。
24.第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的眼球追踪校准检验方法。
25.第四方面，本发明实施例还提供了一种包含计算机可执行指令存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的眼球追踪校准检验方法。
26.本发明通过在眼球追踪校准后，获取用户的校准系数，进入智能检验场景，结合用户的眼部特征信息确定用户的注视点，在注视点落入可反馈区域内且满足注视时长时，在对应的可反馈区域显示反馈画面，用户可以直观的看到眼球追踪校准的效果反馈，及时的判断眼球追踪校准的准确性，当眼球追踪校准的效果不佳时，重新进行校准及检验，解决现有眼球追踪校准后缺乏对校准效果评估，用户不能及时准确的判断校准效果，在得出校准系数偏差较大时影响后续使用过程中的用户体验或实验分析的问题，实现了在眼球追踪校准后，及时准确的反馈可视化的校准效果，提高了用户体验和实验分析的准确性。
附图说明
27.图1是本发明实施例一提供的眼球追踪校准检验方法的流程图；
28.图2是本发明实施例二提供的眼球追踪校准检验方法的流程图；
29.图3是本发明实施例三提供的眼球追踪校准检验装置的结构框图；
30.图4是本发明实施例四提供的一种计算机设备的结构框图。
具体实施方式
31.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
32.实施例一
33.图1为本发明实施例一提供的眼球追踪校准检验方法的流程图，本实施例可适用于眼球追踪校准后，对校准效果进行检验的情况，该方法可以由眼球追踪校准检验装置来执行，该装置可以通过软件和/或硬件实现。
34.如图1所示，该方法具体包括如下步骤：
35.步骤110、根据用户的眼部特征信息和校准系数，确定用户的注视点。
36.其中，眼部特征信息为眼球运动时眼球及眼球周边的特征变化信息。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，基于校准方法结合校准点对眼球追踪进行校准，从而实时追踪眼睛视线的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。用户的眼部特征信息由眼球追踪设备获取，校准系数由眼球追踪设备对用户进行眼球追踪校准后得到。
37.本发明实施例中对眼球追踪校准方式不做限定，不同的眼球追踪校准方式所获取的校准数据不同：例如，通过眼球追踪装置进行校准数据采集时，由于视线追踪装置可以是mems微机电系统，例如包括mems红外扫描反射镜、红外光源、红外接收器，通过拍摄眼部图像检测眼球运动；也可以是电容传感器，其通过眼球与电容极板之间的电容值来检测眼球运动；还可以是肌电流检测器，例如通过在鼻梁、额头、耳朵或耳垂处放置电极，通过检测的肌电流信号模式来检测眼球运动；当然最多使用的是瞳孔-角膜反射法。因此用户在校准过程中获取到的眼部特征信息可以包括：眼部特征图像和/或电容值和/或肌电流信号等数据，眼部特征图像可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。
38.具体的，对用户进行眼球追踪校准后，获取用户的校准系数，进入智能反馈场景，获取用户的眼部特征信息，根据眼部特征信息和校准系数，计算得到用户的注视点。
39.在一个具体的例子中，使用眼球追踪设备，获取眼球追踪校准后的校准系数，进入智能反馈场景，获取用户的眼部特征信息，获取的眼部特征信息可以是瞳孔位置坐标、普尔钦斑的位置坐标等，基于视线估计算法，输入用户的眼部特征信息和校准系数，计算瞳孔位置坐标相对于普尔钦斑位置坐标发生的偏移量，再将该偏移量进行空间坐标变换，输出实时的注视点位置坐标。
40.步骤120、若注视点在可反馈区域内且注视时间达到第一预设时长，则在可反馈区域显示反馈画面。
41.其中，智能反馈场景中可以设置若干个可反馈区域，可反馈区域可以理解为在用户做出相应注视动作时可以给出反馈响应的区域。给出的反馈响应可以是反馈画面，例如该可反馈区域内出现相应的图案、图形变换、动态彩图等可以与用户产生视觉互动的反馈方式即可，目的是让用户判断自己的注视点是否已经准确的落入了可反馈区域。例如，当用户注视可反馈区域时，烟花出现绽放效果；用户注视水果时，水果被切开或者被咬了一口；用户注视某颗星星时，星星被点亮或者变大等。
42.具体的，当注视点落在某个可反馈区域内时，开始计时，当注视点在该可反馈区域内到达第一预设时长时，在该可反馈区域上显示反馈画面。
43.不同用户的眼部特征信息不同，由于校准系数是基于眼球追踪校准方法，结合用
户的眼部特征信息得到，不同的用户得到的校准系数不同。另外，根据应用场景对眼球追踪校准准确性要求的不同，同一用户在不同场景下得到的校准系数也不同。因此，在对眼球追踪校准的准确性进行检验时的标准也就不同。
44.可选的，可反馈区域和预设时长根据使用场景设定。
45.具体的，该智能反馈场景可以通过获取实际使用场景中的眼动交互需求，来改变出现动态反馈画面的坐标范围阈值及时间阈值。可反馈区域的大小、形状和位置，到达反馈标准的预设时长，都根据不同的使用场景对眼球追踪校准准确性的要求设定。一个具体的例子，在实际使用场景中，若完成眼动交互的最小触发范围是以n个像素值为半径的圆、最长触发时长为m秒，则在校准检验阶段的智能反馈场景中，可反馈区域范围的半径就会调整为n个像素值、预设时长为m秒。当实际使用场景中的眼动交互准确度要求较高时(如眼控打字、注视点渲染等场景)，出现反馈画面的条件更加严格(可反馈的交互区域缩小、时间阈值增大等)。
46.步骤130、若显示反馈画面的可反馈区域正确，则确定眼球追踪校准合格。
47.具体的，在可反馈区域显示反馈画面后，用户可以判断显示反馈画面的可反馈区域是否是用户所注视的区域，如果显示反馈画面的可反馈区域是用户所注视的区域，就说明本次校准效果达到了后续使用眼球追踪功能的要求，则可以确定本次眼球追踪校准合格。
48.本实施例的技术方案，通过在眼球追踪校准后，获取用户的校准系数，进入智能检验场景，结合用户的眼部特征信息确定用户的注视点，在注视点落入可反馈区域内且满足注视时长时，在对应的可反馈区域显示反馈画面，用户可以直观的看到眼球追踪校准的效果反馈，及时的判断眼球追踪校准的准确性，当眼球追踪校准的效果不佳时，重新进行校准及检验，解决现有眼球追踪校准后缺乏对校准效果评估，用户不能及时准确的判断校准效果，在得出校准系数偏差较大时影响后续使用过程中的用户体验或实验分析的问题，实现了在眼球追踪校准后，及时准确的反馈可视化的校准效果，提高了用户体验和实验分析的准确性。
49.实施例二
50.图2为本发明实施例二提供的眼球追踪校准检验方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述眼球追踪校准检验方法。
51.如图2所示，该方法具体包括：
52.步骤210、获取眼部特征信息，根据眼部特征信息和校准点，确定校准系数。
53.具体的，当显示屏幕出现校准点时，使用眼球追踪设备获取用户的眼部特征信息，显示校准点的方式可以是在显示屏幕上依次出现若干校准点，或只出现一个校准点，令校准点移动，示意用户注视移动的校准点等；基于视线估计算法，通过用户的眼部特征信息结合校准点的位置坐标计算得到针对该用户的个性化校准系数。
54.步骤220、根据用户的眼部特征信息和校准系数，确定用户的注视点。
55.步骤230、判断在第二预设时长内，注视点是否在可反馈区域内且注视时间达到第一预设时长。
56.具体的，在获得了校准系数后就会进入眼球追踪校准检验环节，在校准检验环节会出现智能反馈场景，眼球追踪设备会采集用户的眼部特征信息，并根据刚刚获得的校准
系数计算用户的注视点。在一定时间内，若确定的注视点一直不在可反馈区域内，或者，在任何一个可反馈区域内的注视时长都没有达到第一预设时长，则重新进行步骤210；若注视点在某个可反馈区域内且注视时间达到第一预设时长，进行步骤240。
57.步骤240、在可反馈区域显示反馈画面。
58.具体的，当注视点在某个可反馈区域内且注视时间达到第一预设时长时，在该可反馈区域内显示反馈画面。具体的显示反馈画面如步骤120所述，这里不再复述。
59.步骤250、判断显示反馈画面的可反馈区域是否正确。
60.具体的，若显示反馈画面的可反馈区域与用户实际注视的区域相同，则可以认为校准合格，进行步骤260；否则，进行步骤210。
61.具体判断显示反馈画面的可反馈区域与用户实际注视的区域相同的方法，可以是让用户手动进行确定，例如预设一个键盘按键或者屏幕出现一个确认点，用户点击该按键或者点击屏幕确认点，即为确认显示反馈画面的可反馈区域与用户实际注视的区域相同。如果在预设时间内用户没有点击按键或确认点，则说明校准不合格系统会返回步骤210重新确定校准系数。对于行动不便的用户来说，可以设定当用户闭眼达到一定时间(一般大于人正常眨眼时闭眼的时长，例如2秒)，则认定显示反馈画面的可反馈区域与用户实际注视的区域相同。如果用户在一定的预设时间内一直没有闭眼动作，则确定校准不合格，系统会返回步骤210重新确定校准系数。也就是说，当用户做出相应确认指示，则确定眼球追踪校准合格，若用户没有做出确认指示，则确定眼球追踪校准不合格。相应的，也可以设定用户做出不合格指示来确定眼球追踪校准不合格，用户没有做出指示则确定眼球追踪校准合格。
62.还可以使用语音反馈的方式进行校准合格的确认，用户发现显示反馈画面的可反馈区域与用户实际注视的区域相同或者不同时，可以发出语音来进行确认。
63.通过上述几种方式进行校准验证的确认，使得正常人和行动不便的人都可以使用自身方便的方法去确认校准是否合格，方便用户使用操作。
64.步骤260、眼球追踪校准合格。
65.一般认定眼球追踪校准合格后，会进入后续的实际应用中，用眼睛对具体的应用程序进行控制。
66.通过在眼球追踪校准后，获取用户的校准系数，进入智能检验场景，结合用户的眼部特征信息确定用户的注视点，在注视点落入可反馈区域内且满足注视时长时，在对应的可反馈区域显示反馈画面，用户可以直观的看到眼球追踪校准的效果反馈，及时的判断眼球追踪校准的准确性，当眼球追踪校准的效果不佳时，重新进行校准及检验，同时，根据不同的应用场景，智能调节可反馈区域以和预设时长，满足了不同眼动交互需求，解决现有眼球追踪校准后缺乏对校准效果评估，用户不能及时准确的判断校准效果，在得出校准系数偏差较大时影响后续使用过程中的用户体验或实验分析的问题，实现了在眼球追踪校准后，及时准确的反馈可视化的校准效果，提高了用户体验和实验分析的准确性。
67.实施例三
68.本发明实施例所提供的眼球追踪校准检验装置可执行本发明任意实施例所提供的眼球追踪校准检验方法，具备执行方法相应的功能模块和有益效果。图3是本发明实施例三提供的眼球追踪校准检验装置的结构框图，如图3所示，该装置包括：注视点确定模块
310、反馈显示模块320和检验确定模块330。
69.注视点确定模块310，用于根据用户的眼部特征信息和校准系数，确定用户的注视点，眼部特征信息为眼球运动时眼球及眼球周边的特征变化信息。
70.反馈显示模块320，用于若注视点在可反馈区域内且注视时间达到第一预设时长，则在可反馈区域显示反馈画面，可反馈区域用于对用户的注视动作做出反馈响应。
71.检验确定模块330，用于若显示反馈画面的可反馈区域正确，则确定眼球追踪校准合格。
72.本实施例的技术方案，通过在眼球追踪校准后，获取用户的校准系数，进入智能检验场景，结合用户的眼部特征信息确定用户的注视点，在注视点落入可反馈区域内且满足注视时长时，在对应的可反馈区域显示反馈画面，用户可以直观的看到眼球追踪校准的效果反馈，及时的判断眼球追踪校准的准确性，当眼球追踪校准的效果不佳时，重新进行校准及检验，解决现有眼球追踪校准后缺乏对校准效果评估，用户不能及时准确的判断校准效果，在得出校准系数偏差较大时影响后续使用过程中的用户体验或实验分析的问题，实现了在眼球追踪校准后，及时准确的反馈可视化的校准效果，提高了用户体验和实验分析的准确性。
73.可选的，该装置还包括：
74.第一校准系数确定模块340，用于获取出现校准点时的眼部特征信息，根据眼部特征信息和校准点，确定校准系数。
75.可选的，该装置还包括：
76.第二校准系数确定模块350，用于若在第二预设时长内注视点不在可反馈区域内或注视时间未达到第一预设时长，则重新确定校准系数；或者，若显示反馈画面的可反馈区域错误，则重新确定校准系数。
77.可选的，可反馈区域、第一预设时长和所述第二预设时长根据使用场景设定。
78.本发明通过在眼球追踪校准后，获取用户的校准系数，进入智能检验场景，结合用户的眼部特征信息确定用户的注视点，在注视点落入可反馈区域内且满足注视时长时，在对应的可反馈区域显示反馈画面，用户可以直观的看到眼球追踪校准的效果反馈，及时的判断眼球追踪校准的准确性，当眼球追踪校准的效果不佳时，重新进行校准及检验，解决现有眼球追踪校准后缺乏对校准效果评估，用户不能及时准确的判断校准效果，在得出校准系数偏差较大时影响后续使用过程中的用户体验或实验分析的问题，实现了在眼球追踪校准后，及时准确的反馈可视化的校准效果，提高了用户体验和实验分析的准确性。
79.实施例四
80.图4为本发明实施例四提供的一种计算机设备的结构框图，如图4所示，该计算机设备包括处理器410、存储器420、输入装置430和输出装置440；计算机设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；计算机设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
81.存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的眼球追踪校准检验方法对应的程序指令/模块(例如，眼球追踪校准检验装置中的注视点确定模块310、反馈显示模块320和检验确定模块330)。处
理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的眼球追踪校准检验方法。
82.存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
83.输入装置430可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
84.实施例五
85.本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种眼球追踪校准检验方法，该方法包括：
86.根据用户的眼部特征信息和校准系数，确定用户的注视点，眼部特征信息为眼球运动时眼球及眼球周边的特征变化信息；
87.若注视点在可反馈区域内且注视时间达到第一预设时长，则在可反馈区域显示反馈画面，所述可反馈区域用于对所述用户的注视动作做出反馈响应；
88.若显示反馈画面的可反馈区域正确，则确定眼球追踪校准合格。
89.当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的眼球追踪校准检验中的相关操作。
90.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
91.值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
92.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。