具有眼球追踪装置的电子装置以及文字输入方法与流程

1.本发明是有关于一种电子装置以及文字输入方法，且特别是有关于一种包括眼球追踪装置的电子装置以及应用于此电子装置的文字输入方法。


背景技术：

2.随着科技的日新月异，消费性电子产品随着人们不同的需求而往多功能方向发展。电子产品厂商依据消费者需求生产出不同功能的消费性电子产品，以因应大众喜好与需求。举例来说，在现有笔记本电脑中，若使用者要对笔记本电脑输入文字通常是藉由手动敲打键盘输入。然而，若在以下情况，举例：键盘不在使用者双手可及的范围内、或使用者双手握持他物、或使用者本身残疾、或使用者基于其隐私考量而不欲采用键盘，或键盘故障但仍需要对笔记本电脑输入文字等，上述状况使得使用者仍需要一个替代键盘的文字输入媒介。


技术实现要素：

3.本发明提供一种电子装置，其可提供使用者以非手动的方式输入文字。
4.本发明提供一种文字输入方法，其应用于上述的电子装置。
5.本发明的一实施例提供一种电子装置，其包括第一显示屏幕、键盘、眼球追踪装置以及控制器。第一显示屏幕枢接于键盘。键盘具有多个文字键。各文字键具有文字信息。眼球追踪装置设置于第一显示屏幕，且用以侦测一使用者观看键盘的注视方向与使用者的眼睛位置信息。控制器与第一显示屏幕、键盘以及眼球追踪装置耦接。在眼球追踪文字输入模式中，控制器用以根据注视方向与眼睛位置信息决定在键盘上的注视位置。控制器用以根据注视位置从这些文字键中决定注视键。以及，控制器用以将注视键的对应的文字信息输入于第一显示屏幕。
6.在本发明的一实施例中，上述的键盘更具有第二显示屏幕。当注视键的对应文字信息输入于第一显示屏幕后，控制器更用以将对应的文字信息加入自然语言处理队列并进行处理，以根据对应的文字信息获取一至多个字组。以及，控制器将一至多个字组输入于第二显示屏幕。
7.在本发明的一实施例中，上述的控制器将使用者对一至多个字组的选择反馈至自然处理演算法，并根据选择调整自然语言处理演算法。
8.在本发明的一实施例中，上述的控制器根据选择校正眼球追踪装置。
9.在本发明的一实施例中，上述的电子装置更包括角度感测器。角度感测器与控制器耦接且设置于第一显示屏幕与键盘之间。角度感测器用以感测第一显示屏幕与键盘之间的夹角，其中，控制器根据夹角、注视位置与注视方向决定出注视位置。
10.在本发明的一实施例中，上述的键盘更包括多个功能键。控制器用以接收来自这些功能键的至少其中之一的触发信号后，以在眼球追踪文字输入模式与电子装置的手动文字输入模式之间进行切换。
11.在本发明的一实施例中，上述的键盘更包括多个功能键。眼球追踪装置用以侦测使用者观看键盘的另一注视方向与使用者的另一眼睛位置信息。在眼球追踪文字输入模式中，控制器用以根据另一注视方向与另一眼睛位置信息决定在键盘上的另一注视位置。控制器用以根据另一注视位置从这些功能键中决定另一注视键。以及，控制器用以执行注视键的对应的功能。
12.本发明的一实施例提供一种文字输入方法，适用于包括第一显示屏幕、键盘与眼球追踪装置的电子装置。文字输入方法包括：通过眼球追踪装置侦测使用者观看键盘的注视方向以及使用者的眼睛位置信息。通过注视方向与眼睛位置信息从键盘中的多个文字键决定注视键。以及，将注视键的文字信息输入于第一显示屏幕。
13.在本发明的一实施例中，上述的键盘更包括第二显示屏幕。文字输入方法更包括：将文字信息加入自然语言处理队列并进行处理，以根据文字信息获取一至多个字组。以及，将一至多个字组输入于第二显示屏幕。
14.在本发明的一实施例中，上述的文字输入方法更包括：将使用者对一至多个字组的一选择反馈至自然处理演算法，并根据选择调整自然语言处理演算法。
15.在本发明的一实施例中，上述的文字输入方法更包括：根据此选择校正眼球追踪装置。
16.在本发明的一实施例中，上述的眼睛位置信息包括使用者两眼之间的中点位置信息。
17.基于上述，在本发明实施例的电子装置与文字输入方法中，藉由眼球注视装置判断使用者注视在实体键盘上的注视位置，并根据此注视位置决定出实体键盘上的注视键，以将其对应的文字信息输入于显示屏幕中。藉此，本发明实施例对使用者提供了一种非接触式的文字输入设备(方法)，可于电子装置的显示屏幕上输入文字，兼具了使用便利性与保护个人隐私权的作用。
附图说明
18.图1a与图1b分别是在不同视角下使用者应用本发明的一实施例的电子装置的示意图。
19.图2为眼球追踪文字输入模式的流程图。
20.图3a与图3b电子装置在不同座标平面上的简要示意图。
21.图4a至图4c为电子装置在眼球追踪文字输入模式中的部分步骤的示意图。
22.其中：
23.100：电子装置；
24.110：显示屏幕；
25.120：键盘；
26.122：文字键；
27.124：功能键；
28.130：眼球追踪装置；
29.132：发光模块；
30.134：收光模块；
31.140：角度感测器；
32.150：控制器；
33.e1、e2：眼睛；
34.gd：注视方向；
35.gp：注视位置；
36.gk：注视键；
37.gl：交点；
38.l1、l2：直线；
39.ob：使用者；
40.p：中点位置；
41.px：枢轴；
42.s100～s1000、s310、s610、s620：步骤；
43.sk：切换键；
44.sy：显示屏幕在yz平面上的大小；
45.ws、ws1、ws2：字组；
46.x、y、z：x轴、y轴、z轴；
47.θ、θ1～θ3：夹角；
48.θ’：转动角；
49.δy：最短距离。
具体实施方式
50.现将详细参考本示范性实施例，在附图中说明所述示范性实施例之实例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件代表相同或类似部分。
51.图1a与图1b分别是在不同视角下使用者应用本发明的一实施例的电子装置的示意图。图2为眼球追踪文字输入模式的流程图。图3a与图3b电子装置在不同座标平面上的简要示意图。图4a至图4c为电子装置在眼球追踪文字输入模式中的部分步骤的示意图。
52.请参照图1a与图1b，于本实施例中，电子装置100包括显示屏幕110(或称第一显示屏幕)、键盘120、眼球追踪装置130、角度感测器140与控制器150。于本实施例中，电子装置100例如是以笔记本电脑为例。于其他的实施例中，电子装置亦可以是具有键盘与显示屏幕的台式电脑，本发明并不以此为限。
53.显示屏幕110例如是具有显示功能的电子元件，其例如包括可为液晶显示(liquid-crystal display，lcd)屏幕、发光二极管(light emitting diode,led)显示屏幕、次毫米发光二极管(mini led)显示屏幕、微发光二极管(micro led)显示屏幕、有机发光二极体(organic light emitting diode,oled)显示屏幕、电浆显示屏幕、真空萤光显示屏幕、场发射显示屏幕(field emission display，fed)及/或其他合适种类的显示屏幕，在此并不限制其种类。
54.键盘120为实体键盘，其具有多个文字键122(如图中标示有微点的键)与多个功能键124(如图中标示为空白的键)。各文字键122具有相应的文字信息，像是文字键122上对应有英文字「a」的，代表若使用者按压此键可对显示屏幕110输入英文字母a。而功能键124则
是可依据程序来执行不同功能，像是「f1～f12」(未标示)、「home」(未标示)、方向键(未标示)、输入键ek等。此外，键盘120更可选择性地设置显示屏幕126，显示屏幕126的说明类似于显示屏幕110，于此不再赘述。显示屏幕110藉由枢轴px枢接于键盘120，且枢轴px位于显示屏幕110与键盘120两者之间。
55.眼球追踪装置130例如是用以得知使用者ob眼睛的电子装置。于本实施例中，眼球追踪装置130包括发光模块132与收光模块134，其中发光模块132用以对使用者ob发出近红外光束，而收光模块134则用以接收被使用者ob所反射的近红外光。
56.角度控制器140为可感测两物件之间的夹角的电子元件，其设置于显示屏幕110与键盘120之间，并与控制器150耦接。角度控制器140用以感测显示屏幕110与键盘120之间的夹角θ。
57.控制器150耦接至屏幕110、眼球追踪装置130及储存装置140。在一实施例中，控制器150例如为中央处理单元(central processing unit,cpu)、微处理器(microprocessor)、数字信号处理器(digital signal processor,dsp)、可编程控制器、可编程逻辑装置(programmable logic device,pld)或其他类似装置或这些装置的组合，本发明并不加以限制。此外，在一实施例中，控制器150的各功能可被实作为多个程序码。这些程序码会被储存在一个存储器中，由控制器150来执行这些程序码。或者，在一实施例中，控制器150的各功能可被实作为一或多个电路。本发明并不限制用软件或硬件的方式来实作控制器150的各功能。
58.于以下的段落中会详细地说明本实施例的电子装置100中键盘120与眼球追踪装置130的搭配效果。
59.在本实施例中，电子装置100具有两种模式，一种是手动文字输入模式，另一种是眼球追踪文字输入模式。使用者ob可藉由按压这些功能键124的至少其中之一进行两模式之间的切换，像是可藉由按压功能键124中的shift键与ctrl键，以使控制器150接收特定的触发信号组合后而在两个模式中进行切换。于另一实施例中，使用者ob可藉由按压这些功能键124中的单一个切换键(未示出)，以使控制器150接收特定触发信号后以在两个模式中进行切换，本发明并不以此为限。所谓手动文字输入模式即为使用者ob可直接藉由手动敲打键盘120上的文字键122以对显示屏幕110输入文字信息。眼球追踪文字输入模式即为电子装置100藉由键盘120与眼球追踪装置130之间的搭配，以得知使用者ob注视在键盘120上的文字键122(或称注视键gk)，藉此以将此文字键122上的文字信息输入于显示屏幕110，于以下的段落中会更具体地说明眼球追踪文字输入模式。
60.请参照图2，眼球追踪文字输入模式的流程大致上分为以下步骤s100～s1000。为了方便说明，本实施例的电子装置100可被视为处于由三轴x、y、z所构成的三维空间中，其中这三轴x、y、z两两互为垂直，x轴例如是平行于显示屏幕110与键盘120之间的枢轴px，y轴例如是垂直于键盘120的表面，z轴例如是平行于键盘120的表面。
61.步骤s100：判断是否进入眼球追踪文字输入模式。判断的方式例如是控制器150是否有接收到功能键124的触发信号。由于此功能键124因在功能上系切换眼球追踪文字输入模式与手动文字输入模式，故亦称为切换键sk。
62.步骤s200：得知使用者ob的注视方向gd，其中得知的方法例如是：发光模块132可持续地对使用者ob的双眼e1、e2发出近红外光，而收光模块134则是持续地接收被双眼e1、
e2反射的近红外光的图案(简称反射图案)，如图1a所示。控制器150基于反射图案与影像处理演算法来判断注视方向gd以及眼睛位置信息，其中眼睛位置信息例如是包括使用者的双眼e1、e2之间中点位置p信息。
63.步骤s300：判断注视方向gd是否落在键盘120的范围内，其中控制器150储存有键盘120的大小，且控制器150依据x轴、y轴、z轴所建构的三维空间中存储有这些文字键122与功能键124的位置。因此，若控制器150得知注视方向gd与中点位置p后，可依据中点位置p与注视方向gd的方向向量所建构的直线方程序是否与键盘120表面相交，藉此判断注视方向gd是否落在键盘120的范围内。若是，则进行接下来的步骤s400，若否，则进行步骤s310，以等待一预设时间后，继续回到步骤s200以监测使用者ob的注视方向gd。
64.步骤s400：调整键盘120相对于使用者ob的角度，以使使用者ob以一个舒适的角度来观看键盘120，举例来说，控制器150依据反射图案得知双眼e1、e2位置后，可得知双眼e1、e2的之间的直线。若枢轴px平行于双眼e1、e2之间的直线，则通常代表键盘120正向于使用者ob。于本实施例中，假设正向面对的角度为对使用者ob来说是最舒适的角度，但本发明并不以此为限。
65.步骤s500：根据注视方向gd与眼睛位置信息决定在键盘120上的注视位置gp，其中注视位置gp的座标令为(g
x
,gy,gz)。于以下的段落中会分段说明如何得知上述g
x
,gy,gz之值。
66.请参照图3a与图3b，控制器150先令显示屏幕110相对键盘120转动一转动角θ’。请参照图3a，控制器150基于中点位置p产生与显示屏幕110表面垂直的直线l1。接着，控制器150再根据中点位置p、注视方向gd产生与显示屏幕110表面相交的直线l2，其中两者之间的交点为gl，并令交点gl的座标为(l
x
,ly,lz)，并假设lz设为0以简化计算。据此，控制器150求出直线l1、l2后进一步得知两者之间的夹角θ1。据此，根据以下的方程式(1)可以得知g
x
的値。
67.g
x
＝(l
x-gz×
tanθ1)
---
(1)
68.请参照图3b，角度感测器140感测显示屏幕110与键盘120之间的夹角θ2。由于在初始状态(如图3b虚线所示)显示屏幕110系垂直于键盘120，故转动角θ’为夹角θ2减去90度。接着，控制器150再根据中点位置p、注视方向gd产生与键盘120表面相交的直线l2，而直线l2与显示屏幕110的延伸面相交于交点gl。据此，根据以下的方程式(2)、(3)可以得知gz的値。
[0069][0070]y′
＝l
y-s
y-δy---
(3)
[0071]
其中，sy为显示屏幕110在yz平面上的大小，δy为角度感测器140与键盘120之间的最短距离，而y’为交点gl与键盘120之间的距离，根据方程式(2)、(3)算出gz后，把gz的値代回方程式(1)，可得g
x
的値。
[0072]
对于gy，因为注视位置gp落在键盘120表面上，故gy为0。
[0073]
据此，注视位置gp的座标(g
x
,gy,gz)可被求得。
[0074]
在上述实施例中，例如是以文字键124做为说明。于其他的实施例中，使用者ob可以改变眼睛位置信息并以另一注视方向注视功能键124。并且，眼球追踪装置130可依据上
述的判断过程来判断是哪一个功能键124(即另一注视键)，控制器150用以执行另一注视键的对应功能。
[0075]
步骤s600：根据注视位置gp判断其是否为切换键sk。由于控制器150记有切换键sk的位置，故可根据求得的注视位置gp判断是不是切换键sk。若是，则进行接下来的步骤s610或步骤s620。若否，则进行接下来的步骤s700。
[0076]
步骤s610：显示屏幕110发出提示是否要继续眼球追踪文字输入模式。若是，则回到步骤s200。若否，则进行步骤s620，即离开眼球追踪文字输入模式。
[0077]
步骤s700：根据注视位置gp从这些文字键122中决定注视键gk。由于控制器150记有这些文字键122的位置，故可根据求得的注视位置gp找一个最靠近注视位置gp的文字键122。举例来说，最靠近注视位置gp的注视键gk以带有文字信息的h文字键122为例，如图4a所示。并且，使用者ob再将注视方向gd改往输入键ek，藉此以告知控制器150输入h，如图4b所示。
[0078]
步骤s800：将对应文字信息加入自然语言处理队列(natural language processing,nlp)并进行处理，以获取此对应文字信息的一至多个字组ws。举例来说，若对应文字信息是h，则字组ws1、ws2分别可为「hi」或「hello」。于其他的实施例中，亦可以是只有一个字组或者是三个以上的字组，本发明并不以此为限。并且，控制器126将上述的字组ws1、ws2显示于显示屏幕126，如图4b所示。
[0079]
步骤s900：将使用者的对字组ws的选择反馈至自然语言处理演算法，以据此调整自然语言处理演算法。详细来说，眼球追踪装置130可依据上述的过程判断使用者ob将其注视方向gd注视在哪一个字组ws，且使用者ob再将注视方向gd改往输入键ek，藉此控制器150以判断使用者ob对字组ws的选择，如图4c所示。并且，使用者ob再将注视方向改往输入键ek，藉此以告知控制器150输入「hello」。据此，电子装置100可提升使用者ob输入速度。
[0080]
步骤s1000：根据使用者ob的反馈以校正眼球追踪装置130。
[0081]
此外，在上述的眼球追踪文字输入模式的说明中，其例如是藉由按压功能键124的方式来进行两模式之间的切换。于其他的实施例中，使用者ob可以调整注视方向gd至切换键sk，并搭配上述的眼球追踪装置130与判断过程以得知使用者ob想要对两模式进行切换，本发明并不以此为限。
[0082]
综上所述，在本发明实施例的电子装置与文字输入方法中，藉由眼球注视装置判断使用者注视在实体键盘上的注视位置，并根据此注视位置决定出实体键盘上的注视键，以将其对应的文字信息输入于显示屏幕中。藉此，本发明实施例提供了一种非接触式的文字输入设备(方法)，可于电子装置的显示屏幕上输入文字，兼具了使用便利性与保护个人隐私权的作用。
[0083]
并且，在上述的文字输入过程中，其藉由实体键盘的搭配以供眼球注视装置判断文字信息的输入，并未占用第一显示屏幕的显示区域而影响使用者的使用。此外，在本发明的实施例中，藉由将文字信息加入自然语言处理队列并进行处理，以根据文字信息获取一至多个字组，使用者可从这些字组中选择所欲输入的字组，以提升文字输入速度。进一步来说，根据使用者的字组选择，可调整自然语言处理演算法与校正眼球追踪装置，以提供更精准的文字输入结果。