一种控制方法、装置、终端设备、受控设备及存储介质与流程

1.本发明实施例涉及控制技术领域，尤其涉及一种控制方法、装置、终端设备、受控设备及存储介质。


背景技术：

2.随着科技的发展，智能家电日渐普及。智能家电就是将微处理器、传感器技术、网络通信技术引入家电设备后形成的家电产品，具有自动感知住宅空间状态和家电自身状态、家电服务状态，能够自动控制及接收住宅用户在住宅内或远程的控制指令。
3.在对智能家电的控制时，通常是声控和通过操作智能家电的操作界面实现对智能家电的控制。然而，如何在用户不便说话且不便手动控制时，实现对智能家电的控制是目前亟待解决的技术问题。


技术实现要素：

4.本发明实施例提供了一种控制方法、装置、终端设备、受控设备及存储介质，利用该方法在用户不便说话且不便手动控制时，有效的对目标设备进行控制。
5.第一方面，本发明实施例提供了一种控制方法，包括：
6.获取用户的注视信息；
7.确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；
8.基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
9.可选的，所述注视信息包括注视点信息；相应的，所述确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令，包括：
10.确定所述注视点信息对应的目标标识物，所述注视点信息处于所述目标标识物对应的位置区域中；
11.解析所述目标标识物，确定对应所述目标标识物的控制指令。
12.可选的，所述确定所述注视点信息对应的目标标识物，包括：
13.获取所述注视信息对应的前景图像；
14.提取所述前景图像中对应所述注视信息的目标标识物。
15.可选的，所述解析所述目标标识物，确定对应所述目标标识物的控制指令，包括：
16.解析所述目标标识物，得到对应所述目标标识物的红外信息；
17.基于所述红外信息生成控制指令。
18.可选的，所述解析所述目标标识物，确定对应所述目标标识物的控制指令，包括：
19.解析所述目标标识物，得到对应所述目标标识物的位置信息；
20.基于所述位置信息，确定对应的控制指令。
21.第二方面，本技术实施例提供了一种控制装置，包括：
22.获取模块，用于获取用户的注视信息；
23.确定模块，用于确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；
24.控制模块，用于基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
25.第三方面，本发明提供了一种终端设备，包括：
26.控制器，用于基于控制指令控制目标设备；
27.与所述控制器连接的一个或多个处理器；
28.存储装置，用于存储一个或多个程序；
29.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例所述的方法。
30.第四方面，本发明提供了一种受控设备，包括：
31.目标设备和至少一个标识物，所述标识物布设在所述目标设备的设定区域处，所述受控设备由本发明实施例所述的终端设备控制。
32.可选的，所述标识物由红外信息或位置信息编码形成。
33.第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明实施例提供的方法。
34.本发明实施例提供了一种控制方法、装置、终端设备、受控设备及存储介质，利用上述方案，首先获取用户的注视信息；然后确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；最后基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物，在用户不便说话且不便手动控制时，有效的对目标设备进行控制，丰富了目标设备的控制方式。
附图说明
35.图1为本发明实施例一提供的一种控制方法的流程示意图；
36.图2为本发明实施例二提供的一种控制方法的流程示意图；
37.图3为本发明实施例三提供的一种控制装置的结构示意图；
38.图4为本发明实施例四提供的一种终端设备的结构示意图；
39.图5为本发明实施例五提供的一种受控设备的结构示意图。
具体实施方式
40.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
41.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
42.本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
43.实施例一
44.图1为本发明实施例一提供的一种控制方法的流程示意图，该方法可适用于对目标设备进行控制的情况，该方法可以由本发明提供的控制装置执行，该装置可以由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：增强现实(augmented reality，ar)设备，如眼镜设备和ar眼动设备等。终端设备可以用于控制受控设备，受控设备可以为能够通过遥控器等设备控制的设备，如智能家电。
45.本实施例可应用至眼动追踪领域，目前，进行眼动追踪广泛应用的是光学记录法：用照相机或摄像机记录被试者，即用户的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征，如眼动数据用于建立视线/注视点估计的模型。其中，眼部特征可以包括但不限于：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。
46.在光学记录法中，目前主流的眼球追踪方法称为瞳孔-角膜反射法。
47.除了光学记录法外，还有其他的获取实现追踪的方法，包括但不限于以下方式：
48.1.眼球追踪装置可以是mems微机电系统，例如包括mems红外扫描反射镜、红外光源、红外接收器。
49.2.在其他另一个实施例中，眼球追踪装置还可以是接触/非接触式的传感器(例如电极、电容传感器)，其通过眼球与电容极板之间的电容值来检测眼球运动。
50.3.在其他又一个实施例中，眼球追踪装置还可以是肌电流检测器，例如通过在鼻梁、额头、耳朵或耳垂处放置电极，通过检测的肌电流信号模式来检测眼球运动。
51.其中，瞳孔-角膜反射法的工作原理可以概括为：获取眼部图像；根据眼部图像估计视线/注视点。
52.瞳孔-角膜反射法的硬件要求可以为：
53.(1)光源：一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；
54.(2)图像采集设备：例如红外摄像设备、红外图像传感器、照相机或摄像机等。
55.瞳孔-角膜反射法的具体实施可以为：
56.part 1.眼部图像获取：
57.光源照向眼睛，由图像采集设备对眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像。
58.part 2.视线/注视点估计：
59.随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。
60.本发明利用眼球追踪技术实现对受控设备的控制。具体的，如图1所示，本发明实施例一提供了一种控制方法，包括如下步骤：
61.s110、获取用户的注视信息。
62.在本实施例中，注视信息可以表征用户眼部注视目标设备时的信息。如注视信息
包括视线和/或注视点。其中，视线可以理解为是一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。注视信息可以通过眼动模块获取。
63.在一个实施例中，该方法可以集成在终端设备上，为了获取注视信息，终端设备可以具有如下至少之一特征：
64.1.应拥有至少1个前景摄像头用于拍摄用户的真实视野，即前景图像；
65.2.应拥有至少1个眼动模块用于获取用户的注视信息，其中眼动模块可以包括一组灯环和相对灯环位置已知的相机。如果终端设备包括两个眼动模块，可以将两个眼动模块布设在用户左眼和右眼位置处，或布设在单眼不同位置处。
66.3.具备控制器，以发送控制指令至目标设备，以控制目标设备。
67.一种可能的实施方式是上述终端设备为可穿戴的设备，具备眼球追踪功能及前置摄像头，用于拍摄用户的真实视野。
68.s120、确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令。
69.在本实施例中，注视信息可以为视线或注视点，目标标识物可以认为是用户所注视目标设备上的标识物，目标标识物可以为前景图像中对应注视信息的标识物。确定目标标识物时，可以对前景图像进行识别，确定前景图像中对应注视信息的目标标识物。在注视信息为注视点信息时，可以从前景图像中选取与注视信息的距离在预设距离的标识物作为目标标识物。在注视信息为视线时，可以在前景图像中选取与视线匹配的标识物作为目标标识物。
70.控制指令可以认为是基于目标标识物确定的用于控制目标设备的指令。
71.目标设备的设定区域处布设有至少一个标识物，各标识物可以与控制指令一一对应，一个标识物对应一个控制指令。在确定出目标标识物后，本步骤可以直接确定对应目标标识物的控制指令。
72.在一个实施例中，本技术可以通过不同的红外信息区分每个标识物，即标识物可以由红外信息编码得到，如标识物为红外点阵，标识物主动或被动发出红外信号，终端设备确定目标标识物后，可以识别目标标识物对应的红外信息，从而确定对应红外信息的控制指令。不同的红外点阵可以对应不同的红外信息，不同的红外信息可以对应不同的控制指令，终端设备中可以预存红外信息与控制指令的对应关系。
73.在一个实施例中，本技术可以通过位置信息区分每个标识物，即标识物可以由位置信息编码生成，位置信息可以表示标识物相对于目标设备的位置，标识物可以为二维码或其他编码。在解析目标标识物后，可以获取到目标标识物对应的位置信息，不同的位置信息对应不同的控制指令，位置信息和控制指令的对应关系可以预存在终端设备上。
74.s130、基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
75.在本实施例中目标设备可以为待控制的设备。设定区域不作限定，可以为目标设备的周围，如距离目标设备在预设范围内。标识物可以用于标识目标设备的各控制指令，不同的控制指令可以对目标设备进行不同的控制。示例性的，目标设备为空调，标识物布设在目标设备的上方、下方、左方和右方。上方的标识物对应打开空调，下方的标识物对应关闭空调，左方的标识物对应升高空调的温度，右方的标识物对应降低空调的温度。对目标设备
的不同控制可以由不同的控制指令实现。
76.在确定控制指令后，本步骤可以直接基于控制指令控制目标设备。如通过终端设备发送控制指令，以控制目标设备。
77.本发明实施例提供了一种控制方法，首先获取用户的注视信息；然后确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；最后基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物，利用该方法在用户不便说话且不便手动控制时，有效的对目标设备进行控制，丰富了目标设备的控制方式。
78.实施例二
79.图2为本发明实施例二提供的一种控制方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将注视信息具体化为注视点信息，相应的，将确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令，具体包括：确定所述注视点信息对应的目标标识物，所述注视点信息处于所述目标标识物对应的位置区域中；解析所述目标标识物，确定对应所述目标标识物的控制指令。本实施例尚未详尽的内容请参考实施例一。
80.如图2所示，本发明实施例二提供了一种控制方法，包括如下步骤：
81.s210、获取用户的注视点信息。
82.在本实施例中，注视信息可以具体化为注视点信息，注视点信息可以理解为用户注视点的位置信息，如坐标。
83.s220、确定所述注视点信息对应的目标标识物，所述注视点信息处于所述目标标识物对应的位置区域中。
84.在本实施例中，当注视点信息与前景图像中的标识物的距离小于位置区域时，可以将该标识物确定为目标标识物，并确定注视点信息处于该目标标识物对位置区域内。不同的标识物可以有不同的位置区域，位置区域可以通过对对应的标识物解析获得，也可以为预先约定的。
85.s230、解析所述目标标识物，确定对应所述目标标识物的控制指令。
86.确定目标标识物后，本步骤可以解析目标标识物，标识物可以由对应的位置信息和/或红外信息编码生成。解析目标标识物得到的结果可以用于确定对应的控制指令，如基于红外信息生成对应的控制信息，基于位置信息确定对应的控制指令。
87.s240、基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
88.本发明实施例二提供了一种控制方法，具体化了确定注视信息和控制指令的操作，利用该方法，通过解析目标标识物实现对目标设备的控制，通过眼部实现了对目标设备的控制。
89.在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
90.在一个实施例中，所述确定所述注视点信息对应的目标标识物，包括：
91.获取所述注视信息对应的前景图像；
92.提取所述前景图像中对应所述注视信息的目标标识物。
93.在确定目标标识物时，可以获取注视信息对应的前景图像，即获取确定注视信息
的前景图像。然后从前景图像中提取注视信息对应的目标标识物。提取的手段不作限定，如可以对前景图像进行截取，截取包括目标标识物的部分图像，以便于解析目标标识物。
94.在一个实施例中，所述解析所述目标标识物，确定对应所述目标标识物的控制指令，包括：
95.解析所述目标标识物，得到对应所述目标标识物的红外信息；
96.基于所述红外信息生成控制指令。
97.在确定目标标识物后，本发明可以解析目标标识物，以得到目标标识物对应的红外信息，该目标标识物可以由红外信息编码得到。
98.在得到红外信息后，终端设备可以基于红外信息生成控制指令，以控制受控设备。
99.在一个实施例中，所述解析所述目标标识物，确定对应所述目标标识物的控制指令，包括：
100.解析所述目标标识物，得到对应所述目标标识物的位置信息；
101.基于所述位置信息，确定对应的控制指令。
102.在确定目标标识物后，本发明可以解析该目标标识物，该目标标识物可以由位置信息编码得到，故解析目标标识信息后，可以得到该目标标识物对应的位置信息，在确定位置信息后，可以基于位置信息和控制指令的对应关系，确定对应的控制指令。目标标识物的位置信息可以为目标标识物相对于目标设备的位置信息。一个标识物可以对应一个位置信息，一个位置信息可以对应一个控制指令，位置信息和控制指令的对应关系可以预先存储在执行控制方法的设备中。
103.实施例三
104.图3为本发明实施例三提供的一种控制装置的结构示意图，该装置可适用于对目标设备进行控制的情况，其中该装置可以由软件和/或硬件实现，并一般集成在终端设备上。
105.如图3所示，该装置包括：获取模块31、确定模块32和控制模块33；
106.其中，获取模块31，用于获取用户的注视信息；
107.确定模块32，用于确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；
108.控制模块33，用于基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
109.在本实施例中，该装置首先通过获取模块31获取用户的注视信息；然后通过确定模块32确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；最后通过控制模块33基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
110.本实施例提供了一种控制装置，能够在用户不便说话且不便手动控制时，有效的对目标设备进行控制，丰富了目标设备的控制方式。
111.进一步的，所述注视信息包括注视点信息；相应的，确定模块32具体用于：
112.确定所述注视点信息对应的目标标识物，所述注视点信息处于所述目标标识物对应的位置区域中；
113.解析所述目标标识物，确定对应所述目标标识物的控制指令。
114.进一步的，确定模块32确定所述注视点信息对应的目标标识物，包括：
115.获取所述注视信息对应的前景图像；
116.提取所述前景图像中对应所述注视信息的目标标识物。
117.进一步的，确定模块32解析所述目标标识物，确定对应所述目标标识物的控制指令，包括：
118.解析所述目标标识物，得到对应所述目标标识物的红外信息；
119.基于所述红外信息生成控制指令。
120.进一步的，确定模块32解析所述目标标识物，确定对应所述目标标识物的控制指令，包括：
121.解析所述目标标识物，得到对应所述目标标识物的位置信息；
122.基于所述位置信息，确定对应的控制指令。
123.上述控制装置可执行本发明任意实施例所提供的控制方法，具备执行方法相应的功能模块和有益效果。
124.实施例四
125.图4为本发明实施例四提供的一种终端设备的结构示意图，如图4所示，本发明实施例四提供了一种终端设备包括：一个或多个处理器41和存储装置42；该终端设备中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的控制方法。
126.所述终端设备还可以包括：输入装置43、输出装置44和控制器45，控制器45，用于基于控制指令控制目标设备。控制器45连接一个或多个处理器41。
127.终端设备中的处理器41、存储装置42、输入装置43、输出装置44和控制器45可以通过总线或其他方式连接，图4中以通过总线连接为例。
128.该终端设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供的控制方法对应的程序指令/模块(例如，附图3所示的控制装置中的模块，包括：获取模块31、确定模块32和控制模块33)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中控制方法。
129.存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
130.输入装置43可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
131.并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：
132.获取用户的注视信息；
133.确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；
134.基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
135.实施例五
136.图5为本发明实施例五提供的一种受控设备的结构示意图。如图5所示，本实施例提供的受控设备，包括：目标设备51和至少一个标识物52，标识物52布设在目标设备51的设定区域处，受控设备由本发明提供的终端设备控制。
137.本发明实施例提供的受控设备，能够在用户不便说话且不便手动控制时，由终端设备控制。丰富了受控设备的控制方式。
138.可选的，标识物52由红外信息或位置信息编码形成。此处不对编码方式进行限定，只要能够解析标识物52得到红外信息或位置信息即可。
139.实施例六
140.本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行本发明提供的控制方法，该方法包括：
141.获取用户的注视信息；
142.确定所述注视信息所对应的目标标识物和所述目标标识物对应的控制指令；
143.基于所述控制指令控制目标设备，所述目标设备的设定区域处布设有至少一个标识物。
144.可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的控制方法。
145.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
146.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
147.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radio frequency，rf)等等，或者上述的任意合适的组合。
148.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，
还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
149.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。