一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种校准方法、装置、终端设备及存储介质与流程

2023-02-20 05:25:54 来源:中国专利 TAG:


1.本发明实施例涉及眼动追踪技术领域,尤其涉及一种校准方法、装置、终端设备及存储介质。


背景技术:

2.眼动追踪技术是一种通过软硬件系统估算用户注视点位置坐标的技术,采集并分析人们时时刻刻在看哪里的技术,目前已经广泛应用到了科研实验、婴幼儿发育筛查、阿尔兹海默症分析、商业测试等领域。
3.眼动追踪的准确度是衡量眼动追踪功能可靠性的重要指标。由于眼动追踪技术具有极高的准确度要求,因此用户在使用具有眼动追踪功能的设备前,通常都需要首先完成校准。
4.然而,对于不熟悉眼动追踪技术、配合度不高或者反应存在延迟的用户群体,在完成眼动追踪设备的校准时,会将用户没有凝视所应凝视校准点时所采集的眼部特征数据用于计算校准系数,从而导致计算出的校准系数存在一定的误差。


技术实现要素:

5.本发明实施例提供了一种校准方法、装置、终端设备及存储介质,有效提高了校准系数确定的准确率。
6.第一方面,本发明实施例提供了一种校准方法,包括:
7.获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;
8.根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;
9.根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数;
10.根据所述校准系数完成终端设备的校准。
11.可选的,所述显示特性包括:按照闪烁频率闪烁,在校准点的个数为至少两个时,相邻显示的两个校准点的闪烁频率不相等。
12.可选的,所述显示特性包括:所述校准点的颜色与所述校准点所在背景的颜色所触发的脑电信号不同。
13.可选的,在所述校准点的个数为至少两个时,相邻显示的两个校准点的显示间隔大于设定阈值。
14.可选的,所述根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集,包括:
15.根据所述校准点的显示特性,拆分所述注视行为数据集得到注视行为数据子集;
16.针对每个注视行为数据子集,根据所述注视行为数据子集的脑电数据和脑电波波形特征,确定所述注视行为数据子集所包括的眼部特征数据是否为用户凝视校准点的眼部特征数据,若是,将所述注视行为数据子集确定为有效注视行为数据子集;
17.将所有有效注视行为数据子集的集合确定为有效注视行为数据集;
18.其中,所述脑电波波形特征为所述校准点基于所述显示特性显示时所触发的脑电信号的波形特征。
19.可选的,所述根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集,包括:
20.从所述注视行为数据集中提取具备脑电波波形特征的脑电数据所对应眼部特征数据;
21.将提取出的眼部特征数据和所对应的脑电数据确定为有效注视行为数据集。
22.可选的,所述校准点的个数为至少一个;
23.在所述校准点的个数为至少两个时,各所述校准点被依次显示;相应的,根据所述校准系数完成终端设备的校准,包括:
24.在所有校准点对应的校准系数均确定完成后,根据各所述校准系数修正视线估计算法模型;
25.在所述校准点的个数为一个时,根据所述校准系数完成终端设备的校准,包括:根据所述校准系数修正视线估计算法模型。
26.第二方面,本发明实施例还提供了一种校准装置,包括:
27.获取模块,用于获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;
28.提取模块,用于根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;
29.确定模块,用于根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数;
30.校准模块,用于根据所述校准系数完成终端设备的校准。
31.第三方面,本发明实施例还提供了一种终端设备,包括:
32.一个或多个处理器;
33.存储装置,用于存储一个或多个程序;
34.所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的校准方法。
35.第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的校准方法。
36.本发明实施例提供了一种校准方法、装置、终端设备及存储介质,首先获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;其次根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;然后根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信
息,确定校准系数;最后根据所述校准系数完成终端设备的校准。利用上述技术方案,所获取的校准系数是对注视行为数据集进行处理获得的,在确定校准系数时,首先基于注视行为数据集中的脑电数据对注视行为数据集进行过滤,以提取有效注视行为数据集,从而提高了校准系数确定的准确率,提升了终端设备校准效果。
附图说明
37.图1为本发明实施例一提供的一种校准方法的流程示意图;
38.图2为本发明示例实施例提供的一种校准方法的流程示意图;
39.图3为本发明示例实施例提供的一种脑电波形示意图;
40.图4为本发明示例实施例提供的一种脑电波形示意图;
41.图5为本发明实施例提供的一种确定有效注视行为数据集的示意图;
42.图6为本发明实施例二提供的一种校准装置的结构示意图;
43.图7为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
44.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
45.在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
46.本发明使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
47.需要注意,本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分,并非用于限定顺序或者相互依存关系。
48.需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
49.实施例一
50.图1为本发明实施例一提供的一种校准方法的流程示意图,该方法可适用于对终端设备进行校准的情况,该方法可以由校准装置来执行,其中该装置可由软件和/或硬件实现,并一般集成在终端设备上,在本实施例中终端设备包括但不限于:电脑、手机等具有眼动追踪功能的设备。
51.眼动追踪的准确度是衡量眼动追踪功能可靠性的重要指标,描述的是视线估计算法得出的用户注视点位置坐标和被注视物体真实所在的位置坐标的偏差值,通常用上述两个位置坐标和人眼之间连线的夹角来表示。
52.终端设备的校准指的是通过在用户集中注意力凝视一个或依次凝视多个校准点
的同时,采集用户的眼部特征数据,对每个校准点对应的“校准点位置坐标”和“当前校准点显示过程中的用户眼部特征数据”进行关联计算,进而得到校准系数。
53.系统默认,在一个校准点开始显示的同时,用户就已经开始集中注意力凝视该校准点,直至该校准点停止显示。系统会在这个过程中持续采集眼部特征数据,并将其与此校准点位置坐标关联。
54.眼动追踪系统在显示校准点的过程中,由于系统无法识别用户是否正在凝视该校准点,使得现有技术方案存在以下不足之处:
55.1.对于不熟悉眼动追踪技术(如第一次使用眼动仪)、或配合度不高(如婴幼儿)的用户群体,很容易出现这样的问题:在一个校准点开始显示至停止显示的过程中,用户的注意力集中程度较低,没有持续凝视校准点(如校准点共出现3秒,其中1秒用户看了校准点之外的其他位置)。该问题会导致,尽管校准点显示的过程中用户没有持续凝视校准点,但系统会将整个过程采集到的眼部特征数据全部与此校准点位置坐标关联,计算出的校准系数会产生一定的误差。
56.2.对于反应存在延迟(如患有阿尔兹海默症)的用户群体,则容易出现这样的问题:由于用户视觉反应的潜伏期较长,从一个校准点开始显示,到用户转移视线开始凝视该校准点,有较长的时间间隔,该时间间隔的长度受用户认知水平影响,存在一定的随机性。该问题会导致,尽管校准点开始显示后的一段时间内,用户的视线方向还停留在校准点显示前的位置,但系统仍然会将这个阶段采集到的眼部特征数据与此校准点位置坐标关联,计算出的校准系数会产生一定的误差。
57.为了解决上述技术问题,如图1所示,本发明实施例一提供的一种校准方法,包括如下步骤:
58.s110、获取校准点显示过程中的注视行为数据集。
59.在本实施例中,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据。
60.需要注意的是,在进行校准时,显示的校准点的个数为至少一个。每个校准点都对应一个注视行为数据集,用于确定对应该校准点的校准系数。每个注视行为数据集都可以包括多个注视行为数据,如将一个校准点从显示到停止显示的所有注视行为数据形成的集合确定为注视行为数据集。本发明中的脑电数据用于过滤注视行为数据集中用户未注视校准点时的眼部特征数据,从而提升校准系数的准确性。
61.本实施例不对显示特征、眼部特征数据和脑电数据的具体内容进行限定。
62.示例性的,眼部特征数据可以包含瞳孔位置坐标、普尔钦斑位置坐标等,脑电数据可以包含视觉诱发电位ssvep信号和p300诱发电位信号等。需要说明的是,所述注视行为数据包含了多个数据项,每条注视行为数据中的各数据项必须同步采集,即具有相同的系统时间戳。
63.本发明中校准点被显示时具有触发脑电信号的显示特征,故用户在注视校准点时,能够触发脑电信号。
64.本步骤获取校准点显示过程中用户的注视行为数据集,通过注视行为数据集中的脑电数据能够确定出对应的眼部特征数据是否是用户注视校准点时所采集的数据,从而提升校准效率。
65.在一个实施例中,所述显示特性包括:按照闪烁频率闪烁,在校准点的个数为至少两个时,相邻显示的两个校准点的闪烁频率不相等。
66.相邻显示的两个校准点的闪烁频率不等可以用于区分不同的校准点。闪烁频率可以认为是校准点闪烁的频率。校准点按照闪烁频率闪烁能够触发具有对应脑电波波形特征的脑电信号。
67.在一个实施例中,所述显示特性包括:所述校准点的颜色与所述校准点所在背景的颜色所触发的脑电信号不同。
68.通过将校准点和背景设置为触发不同脑电信号的颜色,能够保证基于脑电数据确定出用户是否注视校准点。此处不对校准点和背景的颜色进行限定。如红色和绿色。
69.在一个实施例中,在所述校准点的个数为至少两个时,相邻显示的两个校准点的显示间隔大于设定阈值。
70.需要注意的是,每个校准点的颜色可以相同也可以不同。
71.在每个校准点颜色相同时,可以通过显示间隔区分不同的校准点。设定阈值的大小不作限定。
72.本步骤不对获取注视行为数据集的技术手段进行限定,如不同的数据对应不同的采集器,本步骤可以获取采集器采集的相应数据,以形成注视行为数据集。
73.s120、根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集。
74.本发明利用用户观看具有触发脑电信号的显示特性的校准点时,脑电信号会呈现有规律的波动的特征,判断用户是否在注视校准点,以提升校准系数确定的准确度。
75.具体的,本步骤通过显示特性对应的脑电波波形特征,筛选脑电数据,从而从注视行为数据集中筛选有效注视行为数据集,有效注视行为数据集可以认为是用户注视校准点时的所采集的数据,如所采集的脑电数据和所采集的眼部特征数据。
76.在一个实施例中,在筛选有效注视行为数据集时,本步骤可以基于显示特性确定脑电波波形特征,脑电波波形特征为所述校准点基于所述显示特性显示时所触发的脑电信号的波形特征。确定出脑电波波形特征后,本步骤可以从注视行为数据集中筛选出具有脑电波波形特征的脑电数据,然后将筛选出的脑电数据和对应的眼部特征数据添加至有效注视行为数据集。
77.在一个实施例中,每个校准点均获取对应的注视行为数据集,然后筛选出有效注视行为数据集,以便于确定该校准点对应的校准系数。在每个校准点确定有效注视行为数据集时,可以基于显示特性将注视行为数据集进行拆分,然后过滤拆分得到的每个注视行为数据子集,以得到有效注视行为数据集。此处不对拆分手段进行限定,若显示特性是按照闪烁频率闪烁,则可以基于校准点一次闪烁的时间周期作为拆分标准。
78.s130、根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数。
79.本步骤不对如何确定校准系数的具体技术手段进行限定,如基于眼部特征数据确定用户的注视点位置信息,如注视点位置坐标。然后基于注视点位置信息与校准点的位置信息确定校准系数。
80.s140、根据所述校准系数完成终端设备的校准。
81.基于校准系数完成终端设备的校准的技术手段不作限定。
82.本发明实施例一提供的一种校准方法,首先获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;其次根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;然后根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数;最后根据所述校准系数完成终端设备的校准。利用上述技术方案,所获取的校准系数是对注视行为数据集进行处理获得的,在确定校准系数时,首先基于注视行为数据集中的脑电数据对注视行为数据集进行过滤,以提取有效注视行为数据集,从而提高了校准系数确定的准确率,提升了终端设备校准效果。
83.在上述实施例的基础上,提出了上述实施例的变型实施例,在此需要说明的是,为了使描述简要,在变型实施例中仅描述与上述实施例的不同之处。
84.在一个实施例中,所述根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集,包括:
85.根据所述校准点的显示特性,拆分所述注视行为数据集得到注视行为数据子集;
86.针对每个注视行为数据子集,根据所述注视行为数据子集的脑电数据和脑电波波形特征,确定所述注视行为数据子集所包括的眼部特征数据是否为用户凝视校准点的眼部特征数据,若是,将所述注视行为数据子集确定为有效注视行为数据子集;
87.将所有有效注视行为数据子集的集合确定为有效注视行为数据集;
88.其中,所述脑电波波形特征为所述校准点基于所述显示特性显示时所触发的脑电信号的波形特征。
89.本实施例在确定有效注视行为数据集时,对注视行为数据集进行了拆分,如基于显示特性拆分注视行为数据集得到注视行为数据子集。基于显示特性拆分注视行为数据集的拆分标准此处不作限定。如基于时间周期进行拆分,如设定个数个时间周期的注视行为数据形成一个注视行为数据子集。拆分注视行为数据集然后针对每个注视行为数据子集进行分析能够加快处理速度。
90.在针对每个注视行为数据子集中的脑电数据确定所对应眼部特征数据是否为用户注视校准点的眼部特征数据时,基于脑电数据对应的波形特征确定,在脑电数据具备脑电波波形特征时,该脑电数据对应的眼部特征数据为用户注视校准点时采集到的眼部特征数据,否则为用户没有注视校准点时所采集到的眼部特征数据。
91.此处不对波形特征进行限定,不同的显示特性对应不同的波形特性。波形特性可以通过潜伏期时长范围、波峰波谷的峰值范围等表征。
92.需要注意的是,在本发明进行校准时,可以提示用户当前处于校准阶段,以提升校准效率。提示方式此处不作限定。如通过显示或播放语音的方式提示。
93.在一个实施例中,所述根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集,包括:
94.从所述注视行为数据集中提取具备脑电波波形特征的脑电数据所对应眼部特征数据;
95.将提取出的眼部特征数据和所对应的脑电数据确定为有效注视行为数据集。
96.本实施例可以直接对注视行为数据集进行分析以筛选出有效注视行为数据集。
97.在一个实施例中,所述校准点的个数为至少一个;
98.在所述校准点的个数为至少两个时,各所述校准点被依次显示;相应的,根据所述校准系数完成终端设备的校准,包括:
99.在所有校准点对应的校准系数均确定完成后,根据各所述校准系数修正视线估计算法模型;
100.在所述校准点的个数为一个时,根据所述校准系数完成终端设备的校准,包括:根据所述校准系数修正视线估计算法模型。
101.视线估计算法模型可以认为是用于进行视线估计的模型,本实施例在确定校准系数后,根据所有校准系数修正视线轨迹算法模型,以完成终端设备的校准。在校准点为一个时,确定完校准系数后直接校准终端设备;在校准点为多个时,确定完每个校准点对应的校准系数后校准终端设备。
102.以下对本发明进行示例性描述,本发明提供的校准方法可以认为是一种眼动追踪校准方法,本发明校准方法的技术原理包括:用户观看固定频率闪烁的校准点时脑电波信号,即脑电信号会呈现有规律的波动,因此可以判断用户是否在看校准点,从而提升用于确定校准系数的眼部特征数据的准确性。
103.本示例中的校准方法包括如下步骤:
104.眼动追踪校准系统:由数据采集模块(即获取模块)、数据筛选模块(即提取模块)、数据计算模块(即校准模块)组成。
105.1.数据采集模块,可以在校准开始后,显示具有一定显示特征的校准点,基于所述显示特征确定注视行为数据集拆分标准,同时采集用户的注视行为数据。所述注视行为数据包含了眼部特征数据和脑电数据。
106.2.数据筛选模块,可以按照拆分标准将注视行为数据集拆分为若干数据包,即注视行为数据子集并根据数据包中的脑电数据,逐个数据包判断其是否为有效数据包,即是否为有效注视行为数据子集,而后将所有有效数据包整合为有效注视行为数据集。
107.3.数据计算模块,可以将有效注视行为数据集中的眼部特征数据和校准点位置坐标进行关联,计算得到校准系数。
108.图2为本发明示例实施例提供的一种校准方法的流程示意图,参见图2,眼动追踪校准方法:由以下步骤构成,
109.步骤一:眼动追踪系统校准开始后,即开始采集用户的注视行为数据。所述注视行为数据包含了眼部特征数据和脑电数据。
110.步骤二:显示第一个校准点,校准点应具有可触发脑电信号的显示特征,如按照某种固定频率,如闪烁频率闪烁等。而后停止显示第一个校准点。将从显示到停止显示的整个过程中采集到的注视行为数据,储存为第一个注视行为数据集。
111.步骤三:基于第一个校准点的显示特征,确定注视行为数据集的拆分标准。如以校准点进行一次闪烁的时间周期作为拆分标准。
112.步骤四:按照拆分标准将第一个注视行为数据集中的注视行为数据划分为若干注视行为数据包,即注视行为数据子集。
113.例如,读取第一个注视行为数据集中的每条注视行为数据所对应的系统时间戳,
将属于同一次校准点闪烁的时间周期的注视行为数据划分至同一个注视行为数据包,从而将注视行为数据划分为若干注视行为数据包。
114.步骤五:根据注视行为数据包中的脑电数据,逐个注视行为数据包判断其所包含的眼部特征数据是否是用户正在凝视校准点的眼部特征数据。如果是,则该注视行为数据包判定为有效注视行为数据包;反之,则判定为无效注视行为数据包。
115.例如,基于第一个校准点的固定闪烁频率,确定用户凝视第一个校准点时,应当产生的ssvep信号和p300信号的脑电波波形特征,脑电波波形特征可以是潜伏期时长范围、波峰波谷的峰值范围等。如果注视行为数据包中的脑电数据具有该脑电波波形特征,则认为该注视行为数据包中的眼部特征数据是用户正在凝视第一个校准点的眼部特征数据;反之,则不是用户正在凝视第一个校准点的眼部特征数据。进一步地,就可以完成对有效注视行为数据包和无效注视行为数据包的判定。
116.图3为本发明示例实施例提供的一种脑电波形示意图,以在用户头部pz电极(顶中线电极)上采集p300信号为例,第一个校准点每500ms闪烁一次,对用户形成视觉刺激,当脑电波形(脑电波波形)图中p300信号的峰值6.7μv以相同频率每500ms出现一次,则可以判定当前用户正在注视第一个校准点。如图3所示,图中第300ms至第1800ms的p300信号峰值与校准点闪烁同频,则在这1500ms内的注视行为数据包中的眼部特征数据是用户正在凝视第一个校准点的眼部特征数据,即该部分数据包为有效注视行为数据包。
117.步骤六:将第一个注视行为数据集中,所有的有效注视行为数据包整合为第一个有效注视行为数据集。
118.步骤七:将第一个有效注视行为数据集中的眼部特征数据和第一个校准点位置坐标进行关联,计算得到第一个校准系数。
119.例如,视线估计算法读取眼部特征数据中包含的瞳孔位置坐标和普尔钦斑位置坐标,计算得到当前用户的注视点位置坐标。本发明中基于注视点位置坐标和校准点位置坐标的偏差值,修正视线估计算法模型,从而达到纠偏的目的,而该修正系数,即为第一个校准系数。
120.步骤八:显示第n个校准点,重复“步骤二”到“步骤七”,计算得到第n个校准系数,直至所有校准点显示完毕。需要说明的是,第n个校准点的显示特征,即显示特性不能与前面显示过的任何一个校准点相同,如闪烁的固定频率不能相同。
121.步骤九:基于全部校准系数,完成对视线估计算法模型的修正。校准结束。
122.眼动追踪系统可以识别在校准过程中,其所采集到的眼部特征数据是否是用户正在凝视校准点所产生的数据。从而,对于校准过程中用户没有持续凝视校准点的情况,以及校准过程中用户转移视线的反应时长较长的情况,系统就可以避免由于眼部特征数据和校准点位置坐标不匹配导致的校准系数误差,从而使视线估计算法得到更好的修正效果,提升眼动追踪的准确度。
123.除上述眼动追踪校准方法中步骤五以在用户头部pz电极(顶中线电极)上采集p300信号的实施例外,还可以基于本方案再举一个实施例。
124.在fz(额中线电极)、o1(左枕电极)、oz(枕中线电极)、o2(右枕电极)上采集ssvep信号,通过典型相关分析算法(canonical correlation analysis,cca)对ssvep信号进行特征提取,并计算多个通道的ssvep信号相关系数最大的线性组合,进而基于典型相关分析
算法对ssvep信号峰值和最大相关系数的识别,得到ssvep信号的频率。
125.进一步地,将注视行为数据包中ssvep信号的频率和校准点闪烁频率进行比对,对于ssvep信号与校准点闪烁同频的注视行为数据包中的眼部特征数据,就是用户正在凝视第一个校准点的眼部特征数据,即该部分数据包为有效注视行为数据包。
126.除上述眼动追踪校准方法中步骤二校准点的显示特征为按照某种固定频率闪烁的实施例外,还可以基于本方案再举一个实施例。
127.图4为本发明示例实施例提供的一种脑电波形示意图,同样是在用户头部pz电极(顶中线电极)上采集p300信号,但校准点的显示特征变更为在红色背景中逐个呈现绿色校准点小球,第一个绿色校准点小球完全消失后间隔一段时间(如0.5s)再呈现第二个绿色校准点小球,如此反复,直至第n个绿色校准点小球消失。当用户的注视点从红色背景转移到绿色校准点小球时,红/绿颜色刺激诱发出明显不同的p300信号,相对于注视红色背景时,开始凝视绿色校准点小球后的p300信号振幅会明显增大(如图4所示)。
128.图5为本发明实施例提供的一种确定有效注视行为数据集的示意图,参见图5,通过识别p300信号振幅峰值数值,就可以判断用户的注视状态,进而将各数据包区分为有效注视行为数据包(即有效数据包)和无效注视行为数据包(即无效数据包),然后得到第一个至第n个有效注视行为数据集。
129.实施例二
130.图6为本发明实施例二提供的一种校准装置的结构示意图,该装置可适用于对终端设备进行校准的情况,其中该装置可由软件和/或硬件实现,并一般集成在终端设备上。
131.如图6所示,该装置包括:
132.获取模块61,用于获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;
133.提取模块62,用于根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;
134.确定模块63,用于根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数;
135.校准模块64,用于根据所述校准系数完成终端设备的校准。
136.在本实施例中,该装置首先通过获取模块61获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;其次通过提取模块62根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;然后通过确定模块63根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数;最后通过校准模块64根据所述校准系数完成终端设备的校准。
137.本实施例提供了一种校准装置,在确定校准系数时,首先基于注视行为数据集中的脑电数据对注视行为数据集进行过滤,以提取有效注视行为数据集,从而提高校准系数确定的准确率,提升终端设备校准效果。
138.在一个实施例中,所述显示特性包括:按照闪烁频率闪烁,在校准点的个数为至少两个时,相邻显示的两个校准点的闪烁频率不相等。
139.在一个实施例中,所述显示特性包括:所述校准点的颜色与所述校准点所在背景的颜色所触发的脑电信号不同。
140.在一个实施例中,在所述校准点的个数为至少两个时,相邻显示的两个校准点的显示间隔大于设定阈值。
141.在一个实施例中,提取模块62,具体用于:
142.根据所述校准点的显示特性,拆分所述注视行为数据集得到注视行为数据子集;
143.针对每个注视行为数据子集,根据所述注视行为数据子集的脑电数据和脑电波波形特征,确定所述注视行为数据子集所包括的眼部特征数据是否为用户凝视校准点的眼部特征数据,若是,将所述注视行为数据子集确定为有效注视行为数据子集;
144.将所有有效注视行为数据子集的集合确定为有效注视行为数据集;
145.其中,所述脑电波波形特征为所述校准点基于所述显示特性显示时所触发的脑电信号的波形特征。
146.在一个实施例中,提取模块62,具体用于:
147.从所述注视行为数据集中提取具备脑电波波形特征的脑电数据所对应眼部特征数据;
148.将提取出的眼部特征数据和所对应的脑电数据确定为有效注视行为数据集。
149.在一个实施例中,所述校准点的个数为至少一个;
150.在所述校准点的个数为至少两个时,各所述校准点被依次显示;相应的,校准模块64,具体用于:
151.在所有校准点对应的校准系数均确定完成后,根据各所述校准系数修正视线估计算法模型;
152.在所述校准点的个数为一个时,校准模块64,具体用于:根据所述校准系数修正视线估计算法模型。
153.上述校准装置可执行本发明任意实施例所提供的校准方法,具备执行方法相应的功能模块和有益效果。
154.实施例三
155.图7为本发明实施例三提供的一种终端设备的结构示意图。如图7所示,本发明实施例三提供的终端设备包括:一个或多个处理器41和存储装置42;该终端设备中的处理器41可以是一个或多个,图7中以一个处理器41为例;存储装置42用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器41执行,使得所述一个或多个处理器41实现如本发明实施例中任一项所述的校准方法。
156.所述终端设备还可以包括:输入装置43和输出装置44。
157.终端设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接,图7中以通过总线连接为例。
158.该终端设备中的存储装置42作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例一所提供校准方法对应的程序指令/模块(例如,附图6所示的校准装置中的模块,包括:获取模块61、提取模块62、确定模块63和校准模块64)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块,从而执行终端设备的各种功能应用以及数据处理,即实现上述方法实施
例中校准方法。
159.存储装置42可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储装置42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置42可进一步包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
160.输入装置43可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
161.并且,当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器41执行时,程序进行如下操作:
162.获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;
163.根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;
164.根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数;
165.根据所述校准系数完成终端设备的校准。
166.实施例四
167.本发明实施例四提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行校准方法,该方法包括:
168.获取校准点显示过程中的注视行为数据集,所述校准点被显示时具有触发脑电信号的显示特征,所述注视行为数据集中所包括注视行为数据包括眼部特征数据和所述脑电信号对应的脑电数据;
169.根据所述脑电数据和所述显示特性,从所述注视行为数据集中提取有效注视行为数据集;
170.根据所述有效注视行为数据集所包括眼部特征数据和所述校准点的位置信息,确定校准系数;
171.根据所述校准系数完成终端设备的校准。
172.可选的,该程序被处理器执行时还可以用于执行本发明任意实施例所提供的校准方法。
173.本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory,ram)、只读存储器(read only memory,rom)、可擦式可编程只读存储器(erasable programmable read only memory,eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储
器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
174.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
175.计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(radio frequency,rf)等等,或者上述的任意合适的组合。
176.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如java、smalltalk、c ,还包括常规的过程式程序设计语言,诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
177.注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献