人机交互系统、人机交互方法、可穿戴设备及头显设备与流程

1.本技术涉及人机交互技术领域，具体而言，本技术涉及一种人机交互系统、人机交互方法、可穿戴设备及头显设备。


背景技术：

2.vr(virtual reality，虚拟现实)/ar(augmented reality，增强现实)技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
3.vr/ar头显设备是vr/ar技术的应用，目标对象在通过vr/ar头显设备和头显设备所显示的场景界面中的目标元素进行交互时，需要进行移动光标操作和触发操作。现有方案通过以下两种方式实现移动光标操作和触发操作：第一种方式需结合握持设备，从握持设备前方发射一道射线，射线与虚拟界面的焦点即光标位置，旋转握持设备即可移动光标，再结合头显设备上的按钮或触控板进行触发操作。第二种方式是通过旋转头部或眼部眼动追踪的方式进行移动光标操作，再结合头显设备上的按钮或触控板进行触发操作。
4.上述两种方式虽然都可以满足目标对象和目标元素进行交互，然上述第一种方式中目标对象即使未和目标元素进行交互，也需要手部长时间握持，不适合长时间操作，而且会妨碍手部的日常活动；第二种方式中，手部距离头显设备较远，操作不便，并且长时间抬手操作容易导致疲劳。


技术实现要素：

5.本技术实施例提供了一种人机交互系统、人机交互方法、可穿戴设备、头显设备、电子设备、计算机可读存储介质及计算机程序产品，可以解决背景技术中的至少一个问题。
6.根据本技术实施例的第一方面，提供了一种人机交互系统，包括：头显设备和设置于肢体的可穿戴设备；
7.所述头显设备实时采集虚拟场景界面以及目标对象的眼部活动信息，基于所述眼部活动信息控制虚拟光标指向至所述虚拟场景界面中至少一个可交互元素中的目标元素；
8.所述可穿戴设备响应于在操作界面中检测到的目标触发操作，生成目标控制指令，并将所述目标控制指令发送至所述头显设备，所述控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态；
9.所述头显设备接收并响应所述可穿戴设备发送的目标控制指令，调整所述目标元素为目标状态。
10.根据本技术实施例的第二方面，提供了一种人机交互方法，由设置于肢体的可穿戴设备执行，该方法包括：
11.响应于在操作界面中检测到的目标触发操作，生成目标控制指令，所述目标控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态；
12.将所述控制指令发送至显示所述虚拟场景界面的头显设备，以使得所述头显设备
将所述目标元素调整为目标状态。
13.根据本技术实施例的第三方面，提供了一种人机交互方法，由头显设备执行，该方法包括：
14.实时采集虚拟场景界面以及目标对象的眼部活动信息；
15.基于眼部活动信息控制虚拟光标指向至虚拟场景界面中至少一个可交互元素中的目标元素；
16.接收并响应可穿戴设备发送的目标控制指令，调整目标元素为目标状态。
17.根据本技术实施例的第四方面，提供了一种设置于肢体的可穿戴设备，该可穿戴设备包括：
18.目标控制指令生成模块，用于响应于在操作界面中检测到的目标触发操作，生成目标控制指令，目标控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态；
19.目标控制指令发送模块，用于将控制指令发送至显示虚拟场景界面的头显设备，以使得头显设备将目标元素调整为目标状态。
20.根据本技术实施例的第五方面，提供了一种头显设备，该头显设备包括：
21.采集模块，用于实时采集虚拟场景界面以及目标对象的眼部活动信息；
22.控制模块，用于基于眼部活动信息控制虚拟光标指向至虚拟场景界面中至少一个可交互元素中的目标元素；
23.调整模块，用于接收并响应可穿戴设备发送的目标控制指令，调整目标元素为目标状态。
24.根据本技术实施例的第六方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行程序时实现如第二方面和第三方面所提供的方法的步骤。
25.根据本技术实施例的第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二方面和第三方面所提供的方法的步骤。
26.根据本技术实施例的第八方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中，当计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现如第二方面和第三方面所提供的方法的步骤。
27.本技术实施例提供的技术方案带来的有益效果是：本技术实施例通过目标对象的眼部活动信息控制虚拟光标移动，当虚拟光标指向目标元素时，在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备生成该目标触发操作对应的目标控制指令，该目标控制指令用于将头显设备所显示的虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
附图说明
28.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
29.图1为本技术实施例提供的人机交互系统的架构示意图；
30.图2为本技术实施例提供的头显设备和可穿戴设备之间的交互流程示意图；
31.图3a为本技术实施例提供的虚拟场景界面中虚拟光标所指向的目标元素的当前状态的示意图；；
32.图3b为本技术实施例提供的在可穿点设备智能手表中进行触发操作的示意图；
33.图3c为本技术实施例提供的虚拟场景界面中虚拟光标所指向的目标元素被调整为目标状态后的示意图；
34.图4a为本技术实施例提供的在虚拟场景界面中处于折叠状态的菜单的示意图；；
35.图4b为本技术实施例提供的目标对象在可穿戴设备中进行上滑类型的触发操作的示意图；
36.图4c为本技术实施例提供的虚拟场景界面中虚拟光标所指向的目标元素被调整为目标状态后的示意图；
37.图5为本技术实施例提供的一种人机交互方法的流程示意图；
38.图6为本技术实施例提供的另一种人机交互方法的流程示意图；
39.图7为本技术实施例提供的一种头显设备和智能手表之间的交互示意图；
40.图8为本技术实施例提供了一种头显设备的结构示意图；
41.图9为本技术实施例提供的置于肢体的可穿戴设备的结构示意图；
42.图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
43.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述，对本技术实施例的技术方案不构成限制。
44.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“a和/或b”可以实现为“a”，或者实现为“b”，或者实现为“a和b”。
45.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
46.首先对本技术涉及的几个名词进行介绍和解释：
47.头戴式显示器(head mounted display，hmd)，即头显设备，通过各种头显设备，向
眼睛发送光学信号，可以实现虚拟现实、增强现实、混合现实等不同效果，头显设备包括vr一体机、vr分体机、vr盒子、vr眼镜或智能眼镜、个人移动影院设备等等相关的设备，头显设备能让体验者在观看虚拟场景界面时具有身临其境的感觉。
48.人机交互(human-computer interaction，hci)：是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程，本技术实施例中是指目标对象和头显设备进行交互的过程。
49.下面通过对几个示例性实施方式的描述，对本技术实施例的技术方案以及本技术的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
50.图1为本技术实施例提供的人机交互系统的架构示意图，包括设置于肢体的可穿戴设备101和头显设备102。其中，可穿戴设备101可以为任意的可穿戴于肢体的终端设备，例如智能手表、智能戒指、智能腕带、智能手套、手机终端、平板电脑。头显设备102可以为vr头显设备、ar头显设备以及mr头显设备中的至少一种；可穿戴设备101和头显设备102之间建立有通信连接，二者之间可通过蓝牙建立无线通信连接。
51.其中，头显设备102实时采集虚拟场景界面以及目标对象的眼部活动信息，基于眼部活动信息控制虚拟光标指向至虚拟场景界面中至少一个可交互元素中的目标元素；
52.可穿戴设备101检测在操作界面中检测到的目标触发操作，响应于该目标触发操作，生成目标控制指令，目标控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态；将控制指令发送至显示虚拟场景界面的头显设备，以使得头显设备将目标元素调整为目标状态。
53.头显设备102接收并响应目标控制指令，调整目标元素处于目标状态。
54.本技术实施例中提供了人机交互系统，该人机交互系统包括：头显设备和设置于肢体的可穿戴设备；如图2所示为本技术实施例提供头显设备和可穿戴设备之间的交互流程示意图，包括：
55.步骤s201，头显设备实时采集虚拟场景界面以及目标对象的眼部活动信息；
56.步骤s202，头显设备基于眼部活动信息控制虚拟光标指向至虚拟场景界面中至少一个可交互元素中的目标元素；
57.步骤s203，可穿戴设备响应于在操作界面中检测到的目标触发操作，生成目标控制指令，将目标控制指令发送至头显设备，目标控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态。
58.步骤s204,头显设备接收并响应可穿戴设备发送的目标控制指令，调整目标元素为目标状态。
59.本技术实施例涉及头显设备和设置于肢体的可穿戴设备之间的交互,本技术实施例目标对象在佩戴头显设备后，可观看该头显设备中所展示的虚拟场景界面，该虚拟场景界面可以是任意类型的可交互界面，如游戏界面。
60.本技术实施例目标对象在观看虚拟场景界面时，头显设备基于目标对象的眼部活动信息控制虚拟光标在虚拟场景界面中移动，即虚拟光标的位置随着眼部活动信息的改变而改变。
61.本技术实施例头显设备中包括眼动追踪传感器，该眼动追踪传感器用于实时检测目标对象的眼部活动信息，眼部活动信息即眼动的状态。
62.本技术实施例虚拟场景界面中包括至少一个可交互元素，可交互元素可以为虚拟界面中的可交互的元素，例如可交互元素为应用图标、虚拟按钮、窗口等等，本技术实施例通过眼部活动信息的变化控制虚拟光标的移动，虚拟光标所指向的可交互元素为目标元素。
63.当目标对象和虚拟场景界面中的目标元素进行交互时，可通过眼部活动信息控制虚拟光标指向目标元素，并通过可穿戴设备对目标元素进行触发，目标元素被触发后，目标元素的状态会改变，改变为目标状态。
64.本技术实施例可穿戴设备可设置于目标对象的肢体，例如设置于手腕，可穿戴设备包括智能手表、智能戒指、智能腕带、智能手套、手机、平板电脑中的至少一种，具体的，例如将智能手表穿戴于目标对象的手腕。
65.本技术实施例将可穿戴设备设置于目标对象的肢体，使得目标对象的手部运动少，进行长时间操作也不会疲惫。
66.本技术实施例可穿戴设备安装有目标应用程序，目标对象可在目标应用程序的操作界面进行触发操作，该可穿戴设备中设置有触控传感器，可以检测目标对象在操作界面进行的目标触发操作，该目标触发操作包括单击、双击、向预设方向滑动中的至少一种，该向预设方向可以是任意的方向，例如向上方向、向下方向等等。
67.值得注意的是，在虚拟光标未指向可交互元素时(即虚拟光标指向不可交互元素时)，目标对象在目标应用程序中进行的触发操作是无效触发操作，当虚拟光标指向可交互元素时，目标对象在目标应用程序中进行的触发操作是有效触发操作，本技术实施例目标触发操作为有效触发操作。
68.本技术实施例每种类型的目标触发操作都有对应的控制指令，可穿戴设备在检测到目标触发操作后，生成该目标触发操作对应的目标控制指令，目标控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态。
69.本技术实施例可穿戴设备在生成目标控制指令后，将目标控制指令发送至显示虚拟场景界面的头显设备，头显设备在接收到该目标控制指令后，响应于该目标控制指令，将目标元素调整为目标状态。
70.具体而言，如图3a，其示例性的示出了虚拟场景界面中虚拟光标所指向的目标元素的当前状态的示意图，假设目标元素为某虚拟控件，为关闭off状态；
71.如图3b所示，其示例性示出了在可穿戴设备智能手表中进行触发操作的示意图，在智能手表安装目标应用程序后，目标对象可直接在智能手表上进行目标触发操作，比如在智能手表中进行单击操作，可穿戴设备在检测到该单击操作后，会响应于该单击操作，生成相应的目标控制指令，并将目标控制指令发送至头显设备；
72.如图3c所示，其示例性示出了头显设备在接收到该目标控制指令后，响应于该目标控制指令，将虚拟场景界面中的目标元素调整为目标状态，目标状态为启动on状态。
73.本技术实施例通过目标对象的眼部活动信息控制虚拟光标移动，当虚拟光标指向目标元素时，在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备生成该目标触发操作对应的目标控制指令，该目标控制指令用于将头显设备所显示的虚拟
场景界面中的虚拟光标所指向的目标元素调整为目标状态，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
74.本技术实施例中提供了一种可能的实现方式，基于眼部活动信息控制虚拟光标指向至场景界面中至少一个可交互元素中的目标元素，包括：
75.基于眼部活动信息确定目标对象的眼部在虚拟场景界面中的视线落点，将视线落点所在的可交互元素作为虚拟光标所指向的目标元素。
76.本技术实施例基于眼部活动信息确定目标对象的眼部在虚拟场景界面中的视线落点，视线落点所在的位置即为虚拟光标所在的位置，视线落点所在的可交互元素即为虚拟光标所指向的目标元素。
77.本技术实施例中提供了一种可能的实现方式，响应于在操作界面中检测到的目标触发操作，生成目标控制指令，包括：
78.确定目标触发操作的类型；类型为单击、双击、向预设方向滑动中的至少一种；
79.根据预先建立的触发操作的类型与控制指令间的对应关系，确定与目标触发操作的类型对应的目标控制指令。
80.当可穿戴设备中的目标应用程序被打开后，目标对象可在目标应用程序的操作界面进行目标触发操作，可穿戴设备的屏幕上设置有触摸传感器，该触摸传感器能够检测目标对象进行的目标触发操作，判断目标触发操作的类型，该目标触发操作为单击、双击、向预设方向滑动中的任意一种类型。
81.本技术实施例每种类型的触发操作都有其对应的控制指令，本技术实施例可预先建立触发操作的类型与控制指令间的对应关系，在确定目标触发操作的类型后，根据触发操作的类型与控制指令间的对应关系，确定与目标触发操作的类型对应的目标控制指令。
82.本技术实施例中提供了一种可能的实现方式，操作界面被划分为多个网格；
83.确定目标触发操作的类型，包括：
84.获取目标触发操作对应的触控数据；触控数据包括预设时间段内的触摸次数以及操作界面中的各个网格的布尔值；
85.针对任意一个网格，若确定网格的布尔值为目标布尔值，则确定网格为目标网格，并记录目标网格的坐标；
86.根据触摸次数以及各个目标网格的坐标确定目标触发操作的类型。
87.本技术实施例可穿戴设备的屏幕可被划分为多个网格，例如划分为64*64的网格，每个网格都有相应的坐标，操作界面显示于该屏幕，即操作界面同样被划分为若干个网格，当目标对象在操作界面进行目标触发操作后，触摸传感器会检测目标触发操作对应的触控数据，该触控数据包括预设时间段内触摸次数和布尔值为true的目标网格的坐标。
88.每个网格的布尔值可以为true或false，若该网格的布尔值为true，表征该网格属于目标触发操作所在位置，该网格为目标网格，此时需记录该目标网格的坐标；若该网格的布尔值为false，表征该网格不属于目标触发操作所在位置。
89.本技术实施例在记录目标网格的坐标后，可根据目标网格的坐标所组成的图像或轨迹判断目标触发操作是单击(或双击)，还是滑动。
90.触控数据中还包括预设时间内的触摸次数等数据，根据触摸次数可确定目标触发操作是单击还是双击。
91.本技术实施例可通过触控数据确定目标对象所进行的目标触发操作的类型，即可通过触控数据判断目标触发操作属于单击、双击或滑动中的哪一种操作。
92.本技术实施例中提供了一种可能的实现方式，接收并响应目标控制指令，调整目标元素为目标状态，包括：
93.根据预先建立的可交互元素的状态和控制指令之间的关联关系，确定目标控制指令对应的目标状态，调整目标元素为目标状态。
94.本技术实施例目标对象在可穿戴设备的操作界面所能进行的触发操作的类型是有限的，即触发操作的类型包括单击、双击、向预设方向的滑动中的任意一种，相对于触发操作的类型的数量，可交互元素的数量多余触发操作的数量，为避免造成混淆，本技术实施例预先建立了各个可交互元素和触发操作对应的控制指令之间的关联关系，不同的可交互元素在接收到同一触发操作对应的控制指令后，对应的目标状态是不同的。
95.具体而言，例如虚拟场景界面中包括元素a和元素b，元素a和元素b都属于可交互元素。
96.当虚拟光标指向元素a时，元素a为目标元素，元素a为虚拟按钮，元素a当前状态为关闭状态，当目标对象在可穿戴设备的操作界面进行单击类型的触发操作后时，可穿戴设备在检测到该单类型的触发操作，生成并发送目标控制指令至头显设备，该头显设备在接收到该目标控制指令后，将元素a的状态调整为开启状态。
97.延续上例，当虚拟光标指向元素b时，元素b为目标元素，元素b为菜单，元素b当前状态为折叠状态，当目标对象在可穿戴设备的操作界面进行单击类型的触发操作后时，可穿戴设备在检测到该单类型的触发操作，生成并发送目标控制指令至头显设备，该头显设备在接收到该目标控制指令后，将元素b的状态调整为展开状态。
98.本技术实施例可根据预先建立的交互元素的状态和控制指令之间的关联关系，确定目标控制指令对应的目标状态，调整目标元素为目标状态。
99.本技术实施例可交互元素中包括菜单，当虚拟光标指向可菜单时，菜单属于目标元素，在虚拟场景界面中，菜单一般处于折叠状态如，图4a所示，其示例性示出了在虚拟场景界面中处于折叠状态的菜单；如图4b所示，目标对象在可穿戴设备中进行的目标触发操作为上滑，可穿戴设备会生成上滑对应的目标控制指令，并将目标控制指令发送至头显设备；头显设备在接收到该目标控制指令后，会将虚拟场景界面中的菜单调整为展开状态，如图4c所示，其示例性示出了在虚拟场景界面中处于展开状态的菜单。
100.本技术实施例中提供了一种可能的实现方式，可穿戴设备包括智能手表、智能戒指、智能腕带、智能手套、手机、平板电脑中的至少一种，当然，也可以为其他的终端或设备，本技术实施例对此不作限制。
101.本技术实施例中提供了一种人机交互方法，由设置于肢体的可穿戴设备执行，如图5所示，方法包括：
102.步骤s501，响应于在操作界面中检测到的目标触发操作，生成目标控制指令，控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态；
103.步骤s502，将控制指令发送至显示虚拟场景界面的头显设备，以使得头显设备将
目标元素调整为目标状态。
104.本技术实施例头显设备在采集虚拟场景界面和目标对象的眼部活动信息后，基于眼部活动信息控制虚拟光标指向至虚拟场景界面中至少一个可交互元素中的目标元素，即通过眼部活动控制虚拟光标移动，虚拟光标所指向的可交元素为目标元素。
105.本技术实施例目标对象在确定虚拟光标指向目标元素后，可在可穿该设备上进行目标触发操作，该可穿戴设备响应于在操作界面中检测到的目标触发操作，生成目标控制指令，并将目标控制指令发送至头显设备，控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态，头显设备在接收到该目标控制指令后，响应该目标控制指令，调整目标元素为目标状态，具体实施过程和前述实施例一致，本技术实施例在此不再进行过多赘述。
106.本技术实施例中提供了一种人机交互方法，由头显设备执行，如图6所示，该方法包括：
107.步骤s601，实时采集虚拟场景界面以及目标对象的眼部活动信息；
108.步骤s602，基于眼部活动信息控制虚拟光标指向至虚拟场景界面中至少一个可交互元素中的目标元素；
109.步骤s603，接收并响应可穿戴设备发送的目标控制指令，调整目标元素为目标状态。
110.本技术实施例目标对象在佩戴头显设备后，可观看该头显设备中所展示的虚拟场景界面，该虚拟场景界面可以是任意类型的可交互界面，如游戏界面。
111.本技术实施例目标对象在观看虚拟场景界面时，头显设备基于目标对象的眼部活动信息控制虚拟光标在虚拟场景界面中移动，即虚拟光标的位置随着眼部活动信息的改变而改变。
112.本技术实施例虚拟场景界面中包括至少一个可交互元素，可交互元素可以为虚拟界面中的可交互的元素，例如可交互元素为应用图标、虚拟按钮、窗口等等，
113.本技术实施例头显设备中包括眼动追踪传感器，该眼动追踪传感器用于实时检测目标对象的眼部活动信息，眼部活动信息即眼动的状态。
114.本技术实施例每种类型的目标触发操作都有对应的控制指令，可穿戴设备在检测到目标触发操作后，生成该目标触发操作对应的目标控制指令，目标控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态，头显设备在接收到该目标控制指令后，响应于该目标控制指令，将目标元素调整为目标状态。
115.本技术实施例通过目标对象的眼部活动信息控制虚拟光标移动，当虚拟光标指向目标元素时，在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备生成该目标触发操作对应的目标控制指令，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
116.如图7所示，其示例性示出了本技术实施例提供了一种头显设备和智能手表之间的交互示意图，该头显设备和该智能手表之间通过蓝牙建立通信连接。
117.该头显设备中包括眼动追踪传感器，可通过眼动追踪传感器实时监听目标对象的眼动的状态，根据眼动的状态确定目标对象的视线落点，根据视线落点控制虚拟场景界面
中虚拟光标的移动，将视线落点所在的可交互元素作为虚拟光标所指向的目标元素。
118.智能手表中安装有目标应用程序，在该目标应用程序被打开后，可实时监听目标对象在该目标应用程序的操作界面进行的目标触发操作，并生成该目标触发操作对应的目标控制指令，并将该目标控制指令发送至头显设备；
119.头显设备在接收到该目标控制指令后，根据预先建立的可交互元素的状态和控制指令之间的关联关系，确定目标控制指令对应的目标状态，调整目标元素为目标状态。
120.本技术实施例提供了一种头显设备，如图8所示，该头显设备80包括：
121.采集模块810，用于实时采集虚拟场景界面以及目标对象的眼部活动信息；
122.控制模块820，用于基于眼部活动信息控制虚拟光标指向至虚拟场景界面中至少一个可交互元素中的目标元素；
123.调整模块830，用于接收并响应可穿戴设备发送的目标控制指令，调整目标元素为目标状态。
124.本技术实施例通过目标对象的眼部活动信息控制虚拟光标移动，当虚拟光标指向目标元素时，在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备生成该目标触发操作对应的目标控制指令，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
125.本技术实施例提供了一种设置于肢体的可穿戴设备，如图9所示，该设置于肢体的可穿戴设备90可以包括：
126.目标控制指令生成模块910，用于响应于在操作界面中检测到的目标触发操作，生成目标控制指令，目标控制指令用于将虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态；
127.目标控制指令发送模块920，用于将控制指令发送至显示虚拟场景界面的头显设备，以使得头显设备将目标元素调整为目标状态。
128.本技术实施例通过在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备生成该目标触发操作对应的目标控制指令，该目标控制指令用于将头显设备所显示的虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
129.本技术实施例的装置可执行本技术实施例所提供的方法，其实现原理相类似，本技术各实施例的装置中的各模块所执行的动作是与本技术各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
130.本技术实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现人机交互方法的步骤，与相关技术相比可实现：
131.本技术实施例通过目标对象的眼部活动信息控制虚拟光标移动，当虚拟光标指向目标元素时，在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备
生成该目标触发操作对应的目标控制指令，该目标控制指令用于将头显设备所显示的虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
132.在一个可选实施例中提供了一种电子设备，如图10所示，图10所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
133.处理器4001可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
134.总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
135.存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
136.存储器4003用于存储执行本技术实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
137.其中，电子设备包可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图10所示的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
138.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。与现有技术相比可实现：本技术实施例通过目标对象的眼部活动信息控制虚拟光标移动，当虚
拟光标指向目标元素时，在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备生成该目标触发操作对应的目标控制指令，该目标控制指令用于将头显设备所显示的虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
139.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
140.本技术实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。与现有技术相比可实现：
141.本技术实施例通过目标对象的眼部活动信息控制虚拟光标移动，当虚拟光标指向目标元素时，在设置于肢体的可穿戴设备的操作界面中进行目标触发操作，该可穿该设备生成该目标触发操作对应的目标控制指令，该目标控制指令用于将头显设备所显示的虚拟场景界面中的虚拟光标所指向的目标元素调整为目标状态，目标对象可通过在可穿戴设备中进行简单的触发操作即可实现调整目标元素的状态，操作方式比较简单，学习成本低，上手容易，且目标对象的手部运动较少，进行长时间操作也不会疲惫，增强了目标对象的操作体验感。
142.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除图示或文字描述以外的顺序实施。
143.应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段
中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本技术实施例对此不限制。
144.以上仅是本技术部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施例的保护范畴。