增强现实眼镜控制方法及装置、存储介质和电子设备与流程

1.本公开涉及增强现实技术领域，具体而言，涉及一种增强现实眼镜控制方法、增强现实眼镜控制装置、计算机可读存储介质和电子设备。


背景技术：

2.增强现实(augmented reality，ar)是将虚拟显示的内容叠加到真实世界的技术。通过计算机技术生成虚拟的对象，然后将虚拟的对象应用到真实的世界。增强现实技术不仅展现了真实世界的信息，而且将虚拟的信息也显示出来，两种信息相互补充、叠加。增强现实技术在游戏、教育、医疗、交通、信息跟踪等领域具有广泛的应用前景。
3.随着增强现实技术的发展以及可穿戴设备的普及，增强现实眼镜应运而生。目前，可以通过增强现实眼镜上配备的实体按键对增强现实眼镜进行控制，然而，在用户佩戴增强现实眼镜的情况下，人眼可能无法看到实体按键，操作不便利，甚至出现误操作的情况。


技术实现要素：

4.本公开提供一种增强现实眼镜控制方法、增强现实眼镜控制装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服控制增强现实眼镜不便利的问题。
5.根据本公开的第一方面，提供了一种增强现实眼镜控制方法，包括：获取真实场景的图像；对图像进行识别，在识别出图像中存在目标对象的情况下，在增强现实眼镜获取的真实场景中配置虚拟组件；响应针对虚拟组件的交互操作，对增强现实眼镜进行控制。
6.根据本公开的第二方面，提供了一种增强现实眼镜控制装置，包括：图像获取模块，用于获取真实场景的图像；虚拟组件配置模块，用于对图像进行识别，在识别出图像中存在目标对象的情况下，在增强现实眼镜获取的真实场景中配置虚拟组件；交互控制模块，用于响应针对虚拟组件的交互操作，对增强现实眼镜进行控制。
7.根据本公开的第三方面，提供了一种增强现实眼镜控制系统，包括：目标对象；增强现实眼镜，用于获取真实场景的图像，对所述图像进行识别，在识别出所述图像中存在所述目标对象的情况下，在增强现实眼镜获取的真实场景中配置虚拟组件，以及响应针对所述虚拟组件的交互操作，对所述增强现实眼镜进行控制。
8.根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的增强现实眼镜控制方法。
9.根据本公开的第五方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的增强现实眼镜控制方法。
10.在本公开的一些实施例所提供的技术方案中，对真实场景的图像进行识别，在识别出图像中存在目标对象的情况下，在增强现实眼镜获取的真实场景中配置虚拟组件，响应针对虚拟组件的交互操作，对增强现实眼镜进行控制。本公开方案通过针对虚拟组件的交互操作来实现增强现实眼镜的控制，一方面，可以提高用户操作的便利性和灵活性，娱乐
性也得到了提高；另一方面，通过目标对象的检测，可以避免控制场景的误触发。
11.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
12.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
13.图1示出了本公开实施例的增强现实眼镜的示意图；
14.图2示出了本公开实施例的增强现实眼镜的工作原理的示意图；
15.图3示意性示出了根据本公开示例性实施方式的增强现实眼镜控制方法的流程图；
16.图4示意性示出了本公开实施例的确定虚拟组件的空间特征以配置虚拟组件的流程图；
17.图5示出了本公开实施例的配置虚拟组件的示意图；
18.图6示出了本公开另一实施例的配置虚拟组件的示意图；
19.图7示出了本公开又一实施例的配置虚拟组件的示意图；
20.图8示出了本公开实施例的虚拟组件跟踪目标对象的示意图；
21.图9示出了本公开实施例的确定是否出现交互操作的过程的流程图；
22.图10示出了本公开实施例的在增强现实眼镜上显示与虚拟拨号组件对应的界面示意图；
23.图11示意性示出了本公开实施例的整个增强现实眼镜控制过程的流程图；
24.图12示意性示出了根据本公开示例性实施方式的增强现实眼镜控制装置的方框图；
25.图13示意性示出了根据本公开另一示例性实施方式的增强现实眼镜控制装置的方框图；
26.图14示意性示出了根据本公开又一示例性实施方式的增强现实眼镜控制装置的方框图；
27.图15示出了本公开实施例的电子设备的结构示意图；
28.图16示出了本公开实施例的增强现实眼镜控制系统的示意图。
具体实施方式
29.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方
法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
30.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
31.附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。
32.图1示出了本公开实施例的增强现实眼镜的示意图。参考图1，本公开的增强现实眼镜可以包括但不限于传感器11、处理器12、光机13以及可显示镜片14。
33.本公开实施方式的增强现实眼镜可以仅与人眼对应的一侧包含光机和显示镜片，即增强现实眼镜支持单目的虚拟显示。然而，在另一些实施例中，增强现实眼镜的两侧均可以包含有光机和显示镜片，增强现实眼镜的两个镜片上均能进行虚拟显示。
34.传感器11可以包括用于采集环境图像的rgb摄像头。
35.在本公开实施方式的增强现实眼镜控制方案中，首先，传感器11可以采集真实场景的图像，并将真实场景的图像发送给处理器12。接下来，处理器12可以进行图像识别，在识别出图像中包含预先定义的目标对象的情况下，可以在增强现实眼镜获取的真实场景中配置虚拟组件，该虚拟组件为与增强现实眼镜相关联的虚拟控制组件，用于响应交互操作，对增强现实眼镜进行控制。然后，处理器12可以响应针对虚拟组件的交互操作，对增强现实眼镜进行控制。
36.本公开实施方式对配置的虚拟组件的数量不做限制，可以在真实场景中仅配置与增强现实眼镜相关联的一个虚拟组件，还可以在真实场景中配置与增强现实眼镜相关联的多个虚拟组件。在配置多个虚拟组件的场景中，这些虚拟组件彼此之间的空间关系可以例如是固定的。另外，还可以理解的是，在一些场景中，虚拟组件还可以由多个虚拟单元组成，每个虚拟单元均可以关联到对应的功能。
37.应当注意的是，虚拟组件的数量、类型和彼此之间的位置关系，均可以由用户预先自定义出。
38.虚拟组件可以包括虚拟桌面启动器组件。其中，桌面启动器可以被称为launcher，launcher是android系统中的桌面启动器，可实现的功能包括但不限于显示桌面、根据用户点击图标启动相应的应用程序、提供桌面菜单和桌面设置以及文件夹设置等等。
39.也就是说，本公开的一些实施例中，可以通过与虚拟桌面启动器组件的交互，实现真实桌面启动器组件的效果。
40.本公开对虚拟组件的类型不做限制，虚拟组件还可以包括能够唤起菜单、窗口等功能的各种组件。例如，虚拟组件还可以包括虚拟应用界面设置组件。其中，应用界面组件包括settings，settings是android系统中的系统设置工具，用于设置应用程序，系统中主要组件之一，系统中所有的自定义ui(user interface，用户界面)功能和信息都可以在
settings里定制。
41.也就是说，本公开的另一些实施例中，可以通过与虚拟应用界面设置组件的交互，实现真实应用界面设置组件的效果。
42.针对处理器12确定针对虚拟组件的交互操作的过程，可以借助于传感器11包含的rgb摄像头实时采集环境图像，并通过计算机视觉技术(computer vision，cv)确定虚拟组件与交互对象的位姿或位置关系，以确定出是否存在针对虚拟组件的交互操作。
43.另外，传感器11还可以包括深度传感器，例如，tof(time of flight，飞行时间)传感器，tof传感器可以发出近红外光，遇到交互对象后反射，tof传感器通过计算光线发射和反射时间差或相位差，来计算增强现实眼镜距交互对象的距离，即确定出深度信息。
44.具体的，可以结合深度传感器检测出的深度信息辅助确定是否存在针对虚拟组件的交互操作。
45.此外，深度信息还可以应用于本公开实施方式的虚拟组件的配置方面。例如，在基于深度信息确定目标对象距增强现实眼镜较远时，可以控制虚拟组件从真实场景中移除。而在基于深度信息确定目标对象距增强现实眼镜小于一定距离时，可以在真实场景中配置虚拟组件。
46.图1仅示例性描绘了本公开实施方式的增强现实眼镜的一种样式，本公开对增强现实眼镜的整体样式以及其中各硬件的配置方式不做限制。下面参考图2对本公开实施方式的增强现实眼镜呈现虚拟组件的原理进行说明。
47.图2中光机21对应于图1中的光机13，其可以配置于镜片上，也可以配置于眼镜腿上。光机21可以包括显示屏211和镜片组212。光机21可以接收由处理器发送的与虚拟组件对应的图像数据，经过显示屏211和镜片组212的转换，输出给耦入光栅22。耦入光栅22对入射光进行衍射，以改变其传播方向，在波导23内进行全反射，向耦出光栅24传播。耦出光栅24对入射光进行衍射，以改变传播方向，输入到人眼25。由此，用户可以观看到叠加至真实世界的虚拟组件。
48.本公开实施方式的增强现实眼镜控制方法可以应用于上述增强现实眼镜中，也就是说，增强现实眼镜可以执行本公开实施方式的增强现实眼镜控制方法的各个步骤。在这种情况下，下述增强现实眼镜控制装置可以配置在增强现实眼镜中。
49.然而，需要说明的是，本公开基于虚实交互来控制设备的构思，还可以应用于除增强现实眼镜之外的其他设备，这些设备包括但不限于智能手机、平板电脑等，本公开对此不做限制。
50.下面对本公开实施方式的增强现实眼镜控制方法进行说明。
51.图3示意性示出了本公开的示例性实施方式的增强现实眼镜控制方法的流程图。参考图3，增强现实眼镜控制方法可以包括以下步骤：
52.s32.获取真实场景的图像。
53.增强现实眼镜可以借助于其配备的rgb摄像头获取真实场景的图像。该图像可以是扫描真实场景的过程中获取到的一个视频帧图像。其中，真实场景又可被称为现实场景、现实世界、真实世界等。
54.s34.对图像进行识别，在识别出图像中存在目标对象的情况下，在增强现实眼镜获取的真实场景中配置虚拟组件。
55.在本公开的示例性实施方式中，目标对象可以是真实场景中的真实对象，其可以是指定的物体，例如，手表、手机、杯子等。另外，目标对象还可以基于变化而得到的对象，例如可以是预先定义的手势。
56.在一些情况下，目标对象主要关注的是对象的类型。以手表作为目标对象为例，仅关注对象是否为手表，而对手表的形状、材质、表盘大小、品牌等均不关注，也就是说，只要确定出手表，即确定出存在目标对象。
57.在另一些情况下，目标对象需要与预先指定的对象完全一致。以杯子作为目标对象为例，需要检测出与预先定义的杯子无论在颜色、样式等方面完全一样或相似度大于预定阈值，才能确定出存在目标对象。
58.增强现实眼镜可以对步骤s32获取到的图像进行识别，以确定图像中是否存在目标对象。
59.本公开所说的对图像进行识别指的是利用计算机对图像进行处理、分析和理解，以识别各种不同对象的技术。在处理的过程中，可以利用图像的结构特征、颜色特征、模板特征、直方图特征等完成图像识别。本公开实施例可以选定其中的一种或多种特征，并利用这些特征实现图像的识别。
60.例如，可以基于机器学习模型对图像进行识别，机器学习模型可以是卷积神经网络。在增强现实眼镜中预先配置具有图像识别功能的机器学习模型，该机器学习模型可以是基于监督学习方式训练得到，例如采集大量图像并进行标注，作为训练样本，将样本图像输入至未训练的机器学习模型中，进行训练，调节机器学习模型中权重和偏移值等网络参数，循环执行训练过程，直到机器学习模型满足预设精度或达到预定训练次数时，完成对机器学习模型的训练。
61.在识别出图像中存在目标对象的情况下，增强现实眼镜可以在真实场景中配置虚拟组件，具体的，在增强现实眼镜获取的真实场景中配置虚拟组件。
62.虚拟组件可以包括但不限于增强现实眼镜的虚拟桌面启动器组件。本公开实施方式对配置的虚拟组件的数量不做限制，可以在真实场景中仅配置与增强现实眼镜相关联的一个虚拟组件，还可以在真实场景中配置与增强现实眼镜相关联的多个虚拟组件。在配置多个虚拟组件的场景中，这些虚拟组件彼此之间的空间关系可以例如是固定的，或者可以按预定的规则动态配置它们之间的空间关系。另外，还可以理解的是，在一些场景中，虚拟组件还可以由多个虚拟单元组成，每个虚拟单元均可以关联到对应的功能。
63.参考图4对本公开实施方式的在真实场景中配置虚拟组件的过程进行说明。
64.在步骤s402中，增强现实眼镜可以确定目标对象的空间特征；
65.在步骤s404中，增强现实眼镜可以根据目标对象的空间特征以及目标对象与虚拟组件之间的预定空间关系，确定虚拟组件的空间特征；
66.在步骤s406中，增强现实眼镜可以基于虚拟组件的空间特征，在真实场景中配置虚拟组件。
67.在本公开一些实施例中，空间特征包括位姿。
68.在步骤s402中，增强现实眼镜可以确定目标对象的位姿。
69.一方面，可以确定增强现实眼镜在真实场景坐标系下的位姿。
70.在确定增强现实眼镜在真实场景坐标系下的位姿时，除利用获取到的真实场景的
图像之外，还可以结合惯性信息。惯性信息可以由增强现实眼镜配备的惯性传感器检测出。惯性信息可以包括平移量和旋转量。
71.例如，惯性传感器可以包含三个加速度计和三个陀螺，三个加速度计用于检测增强现实眼镜在三维坐标系的每个坐标轴上的加速度信号，进而可以计算出平移量；而三个陀螺，可以检测增强现实眼镜在三维坐标系的旋转量。另外，为了方便计算，可以将旋转量表示为旋转矩阵。
72.具体的，可以从获取的真实场景的图像中提取特征点。在一些实例中，特征点可以是表征物体轮廓的点。具体的，可以将图像输入一特征点提取模型，以确定出图像中的特征点，其中，该特征点提取模型可以是训练后的卷积神经网络。
73.同时，可以将确定出的特征点与惯性传感器检测到的惯性信息相结合，建立初始坐标系，并建立初始的局部地图以及增强现实眼镜的初始位姿。
74.在连续的视频帧中，还可以对特征点进行跟踪。
75.根据本公开的一些实施例，特征点跟踪可以采用光流追踪、直接法等基于视觉里程计原理的算法，本公开对此不做特殊限制。
76.在一个实施例中，特征点跟踪可以采用klt跟踪算法(kanade-lucas-tomasi tracking method)；在另一个实施例中，特征点跟踪可以采用基于orb(oriented fast and rotated brief，快速特征点提取和描述)算法提取的orb特征描述子进行特征点跟踪。
77.此外，例如，可以对特征点的邻域进行仿射变换，以得到该邻域在当前帧中的投影区域，计算上一帧中的邻域与当前帧中的投影区域之间的颜色偏移量，作为特征点的跟踪偏差。对于确定的多个特征点，可以选择跟踪偏差较小的多个特征点，以实现特征点的跟踪过程。
78.可以基于对特征点的跟踪，确定出真实场景中的三维固定特征。这些三维固定特征可以是真实场景中具有显著观测特征的角点、特征点。例如，sift(scale-invariant feature transform)特征点、哈里斯角点、orb特征点等。
79.应当理解的是，如果在连续特征点的跟踪过程中，一些特征点的位置未发生变化，则可以认为这些特征点为本公开所述的三维固定特征。
80.在确定出三维固定特征后，可以利用这些三维固定特征形成的特征点云，构建真实场景的地图。
81.在相机不断移动拍摄的过程中，增强现实眼镜可以确定出三维固定特征相对于相机的位置变换信息。
82.同时，增强现实眼镜可以利用惯性传感器实时监测惯性信息。
83.可以根据三维固定特征在视频帧中的位置变换信息以及增强现实眼镜的惯性信息，确定增强现实眼镜在真实场景坐标系下的位姿。
84.综上，可以看出，本公开确定增强现实眼镜在真实场景坐标系下的位姿的过程可以包括：首先，利用rgb图像和惯性信息，构建初始的三维特征点云并确定增强现实眼镜初始的位姿；接下来，根据持续采集到的视频帧，对地图和增强现实眼镜的位姿进行持续的观测约束，以及根据持续采集到的惯性信息，对地图和增强现实眼镜的位姿进行持续的运动约束；然后，在观测约束和运动约束的共同作用下，确定出增强现实眼镜在真实场景坐标系下的位姿。
85.另一方面，可以确定目标对象相对于增强现实眼镜的位姿。
86.根据本公开的一个实施例，可以仅利用图像所呈现的像素信息来确定目标对象相对于增强现实眼镜的位姿。
87.根据本公开的另一个实施例，可以结合图像所呈现的像素信息以及目标对象的深度信息，来确定目标对象相对于增强现实眼镜的位姿。通过联合像素信息和深度信息，提高了确定目标对象相对于增强现实眼镜的位姿的鲁棒性。
88.在确定出增强现实眼镜在真实场景坐标系下的位姿以及目标对象相对于增强现实眼镜的位姿的情况下，可以根据增强现实眼镜在真实场景坐标系下的位姿以及目标对象相对于增强现实眼镜的位姿，确定目标对象在真实场景坐标系下的位姿。
89.将位姿以坐标形式表示，可以表示为(r，t)，其中，r表征姿态信息，t表征位置信息。在这种情况下，可以将增强现实眼镜在真实场景坐标系下的位姿表示为(r1，t1)，可以将目标对象相对于增强现实眼镜的位姿表示为(r2，t2)，则目标对象在真实场景坐标系下的位姿为(r2*r1，t2 r2*t1)。
90.在步骤s404中，增强现实眼镜可以根据目标对象的位姿以及目标对象与虚拟组件之间的预定位姿关系，计算虚拟组件的位姿。
91.本公开实施方式对预定位姿关系不做限制，以目标对象是手表为例，虚拟组件可以配置于表盘的正上方预定距离(例如5cm)处，且跟随表盘方向、角度的变化，虚拟组件的位姿变化。
92.需要说明的是，在虚拟组件以平面的形式展示的情况下，其所在屏幕还可以始终朝向增强现实眼镜。
93.计算出的虚拟组件的位姿仍可以以坐标形式表示，可以表示为(r0，t0)，另外，该位姿坐标又可被称为锚点坐标。
94.在步骤s406中，可以基于虚拟组件的位姿，在增强现实眼镜获取的真实场景中配置虚拟组件。
95.在确定出位姿坐标后，可以依据该位姿坐标将虚拟组件配置于真实场景中。
96.上述确定目标对象的位姿的过程是将增强现实眼镜与目标对象配置于真实场景坐标系下。然而，需要说明的是，还可以在增强现实眼镜的坐标系下确定目标对象的位姿，在这种情况下，配置虚拟组件也是在增强现实眼镜的坐标系下，本公开对此不做限制。
97.在本公开的另一些实施例中，空间特征可以包括位置。
98.在步骤s402中，增强现实眼镜可以确定目标对象的位置。
99.鉴于三维的空间环境，增强现实眼镜可以基于采集到的图像确定出目标对象的位置。其中，可以利用单目测距的原理得到目标对象的深度信息，或者可以采用增强现实眼镜配备的深度传感器采集目标对象的深度信息，进而可以结合rgb图像的像素信息确定出目标对象的位置。例如，可以将目标对象的位置表示为(x1，y1，z1)
100.在步骤s404中，增强现实眼镜可以根据目标对象的位置以及目标对象与虚拟组件之间的预定位置关系，计算虚拟组件的位置。
101.与上述预定位姿关系类似，本公开对预定位置关系也不做限制，仍以目标对象是手表为例，虚拟组件可以配置于表盘的正上方与预定距离(例如5cm)处，而仅会随着表盘的移动而移动，在表盘转动时，虚拟组件不会产生姿态上的变化。确定出的虚拟组件的位置可
以表示为(x0，y0，z0)。
102.在步骤s406中，可以基于虚拟组件的位置，在增强现实眼镜获取的真实场景中配置虚拟组件。
103.就基于目标对象的空间特征配置虚拟组件而言，图5、图6和图7分别描绘了不同的场景。
104.参考图5，在真实场景中确定出手表的情况下，可以基于手表的空间特征以及手表与虚拟组件之间的预定空间关系，配置虚拟组件。
105.参考图6，在真实场景中确定出存在第一手势的情况下，可以基于手表的空间特征以及第一手势与虚拟组件的预定空间关系，配置虚拟组件。
106.参考图7，在真实场景中确定出存在第二手势的情况下，可以基于手表的空间特征以及第二手势与虚拟组件的预定空间关系，配置虚拟组件。
107.可以理解的是，图5、图6和图7仅是对基于目标对象的空间特征配置虚拟组件进行示例性说明，无论虚拟组件还是目标对象，均不限于图5、图6和图7所绘的内容。
108.另外，增强现实眼镜还可以基于目标对象的深度信息来调节虚拟组件的尺寸。具体的，虚拟组件的尺寸可以与目标对象的深度信息呈负相关关系，也就是说，目标对象的深度越大，虚拟组件的尺寸越小；目标对象的深度越小，虚拟组件的尺寸越大。
109.本公开还提供了一种虚拟组件随目标对象移动而移动的方案，由此，实现了在运动情况下目标对象与虚拟组件的关联。
110.在利用位姿配置虚拟组件的实施例中，在采集到的连续的视频帧中，增强现实眼镜可以对目标对象进行跟踪检测，在检测出目标对象的位姿发生变化的情况下，可以利用上述预定位姿关系，对虚拟组件的位姿进行调整。
111.在利用位置配置虚拟组件的实施例中，在采集到的连续的视频帧中，增强现实眼镜可以对目标对象进行跟踪检测，在检测出目标对象的位置发生变化的情况下，可以利用上述预定位置关系，对虚拟组件的位置进行调整。
112.参考图8，在位置1处，可以基于目标对象的空间特征配置虚拟组件。在目标对象移动至位置2的过程中，虚拟组件可以跟随目标对象一并移动。
113.此外，在不手动操作增强现实眼镜的情况下，本公开还提供了一种从真实场景中移除虚拟组件的方案。
114.首先，增强现实眼镜可以实时检测目标对象距增强现实眼镜的距离。例如，可以通过单目测距或深度传感器的方式检测该距离。
115.接下来，可以将检测出的距离与第一距离阈值进行比较。其中，本公开第一距离阈值的具体取值不做限制，可以例如为1m、2m、3m等。
116.如果检测出的距离大于第一距离阈值，则可以将虚拟组件从真实场景中移除。移除是指无论从增强现实眼镜后台还是镜片上，真实场景中均不存在虚拟组件。
117.如果检测出的距离小于等于第一距离阈值，则真实场景中持续存在虚拟组件。或者在预定时间内存在虚拟组件，而在预定时间之后，增强现实眼镜自动将虚拟组件从真实场景中移除。
118.相对应地，在配置虚拟组件时，也还可以结合第一距离阈值进行处理。具体的，在确定出目标对象距增强现实眼镜的距离小于等于第一距离阈值时，才执行上述在真实场景
中配置虚拟组件的操作。
119.上述配置虚拟组件的方案依赖于目标对象的空间特征。然而，在另一些实施例中，可以在增强现实眼镜的预定区域配置虚拟组件，而非与目标对象的空间特征相关联。例如，可以在增强现实眼镜镜片的左上角、左下角、右上角、右下角或中心配置虚拟组件，本公开对此不做限制。
120.应当注意的是，配置虚拟组件的过程至少包括在增强现实眼镜后台配置虚拟组件。虽然通常通过光机在增强现实眼镜的镜片上会呈现出虚拟组件，然而，在本公开的一些实施例中，还可以不在镜片上呈现虚拟组件。
121.s36.响应针对虚拟组件的交互操作，对增强现实眼镜进行控制。
122.增强现实眼镜可以检测是否存在针对虚拟组件的交互操作。本公开将与虚拟组件交互的对象称为交互对象，其可以是例如手指、触控笔等真实对象，还可以是在真实场景中配置的另一虚拟对象(如虚拟人物等)。本公开对交互对象的种类不做限制。
123.首先，增强现实眼镜可以确定交互对象的位置。
124.具体的，在交互对象为真实对象的情况下，可以根据采集的图像确定交互对象的位置，处理过程中还可以结合基于深度传感器确定出的交互对象的深度信息。
125.接下来，增强现实眼镜可以根据交互对象的位置以及虚拟组件的位置，确定交互对象与虚拟组件的距离。
126.然后，增强现实眼镜可以将交互对象与虚拟组件的距离与第二距离阈值进行比较，得到比较结果，并基于比较结果确定是否存在针对虚拟组件的交互操作。其中，本公开对第二距离阈值的具体取值不做限制，第二距离阈值可以例如为1cm、2cm等。
127.具体的，如果确定出交互对象与虚拟组件的距离大于等于第二距离阈值，则确定出不存在针对虚拟组件的交互操作。
128.如果确定出交互对象与虚拟组件的距离小于第二距离阈值，则确定出存在针对虚拟组件的交互操作。
129.除根据距离确定是否存在交互操作外，还可以结合姿态进一步确定。具体的，如果确定出交互对象与虚拟组件的距离小于第二距离阈值，且确定出虚拟组件的姿态与交互对象的姿态匹配，则确定出存在针对虚拟组件的交互操作。其中，姿态是否匹配可以根据预先定义的规则确定，本公开对该规则不做限制，例如包括手指的方向与虚拟组件的配置方向在预定角度范围内。
130.需要说明的是，姿态是否匹配的检测过程可以在距离判断过程之前，也可以在距离判断过程之后，亦或者姿态是否匹配的检测过程可以与距离判断过程同时进行，本公开对执行它们的先后顺序不做限制。
131.图9示出了本公开实施例的确定是否出现交互操作的过程的流程图。
132.在步骤s902中，增强现实眼镜可以确定交互对象的位置以及虚拟组件的位置。
133.在步骤s904中，增强现实眼镜可以根据交互对象的位置以及虚拟组件的位置，计算交互对象与虚拟组件的距离。
134.在步骤s906中，增强现实眼镜可以判断步骤s904中计算出的距离是否小于距离阈值(即上述第二距离阈值)。如果小于，则在步骤s908中确定出在位置方面满足交互条件；如果不小于，则在步骤s916中确定出不存在针对虚拟组件的交互操作。
135.在步骤s910中，增强现实眼镜可以确定交互对象的姿态以及虚拟组件的姿态。
136.在步骤s912中，增强现实眼镜可以判断交互对象的姿态与虚拟组件的姿态是否匹配。如果匹配，则在步骤s914中确定出在姿态方面满足交互条件；如果不匹配，则在步骤s916中确定出不存在针对虚拟组件的交互操作。
137.在步骤s918中，基于在位置方面满足交互条件以及在姿态方面也满足交互条件，因此，确定出存在针对虚拟组件的交互操作。
138.在增强现实眼镜确定出存在针对虚拟组件的交互操作的情况下，增强现实眼镜响应该交互操作，对增强现实眼镜进行控制。
139.在虚拟组件包括增强现实眼镜的虚拟桌面启动器组件的实施例中，增强现实眼镜可以响应针对虚拟桌面启动器组件的交互操作，执行与虚拟桌面启动器组件对应的操作。
140.应当理解的是，对于响应的一些操作，可以仅是增强现实眼镜的后台操作，即不会显示在增强现实眼镜的镜片上。然而，对于另一些操作，在增强现实眼镜上可以显示与虚拟桌面启动器组件对应的界面。
141.例如，用户可以用手指触发针对虚拟拨号组件的交互操作，具体方式如上所述，不再说明。由此，增强现实眼镜可以响应该交互操作，在镜片上呈现联系人的信息。
142.图10示出了本公开实施例的在增强现实眼镜上显示与虚拟拨号组件对应的界面示意图。可以理解的是，图10所示的信息是通过光机与镜片的配置显示出的虚拟信息，能够被人眼捕获，并非真实世界中的信息。另外，为了图示清楚，图中仅描绘了这种虚拟信息，并未示出人眼亦能看到的真实世界。
143.对于显示在镜片上显示出对应界面的实施例，在显示该界面的情况下，增强现实眼镜可以虚拟桌面启动器组件从真实场景中移除。由此，可以使人眼能够更好地捕获真实场景的信息以及基于光机呈现出的界面，避免多余的视觉干扰。
144.而在基于用户的操作或预定时间之后，增强现实眼镜可以退出该界面，即镜片上不显示与交互操作对应的界面。在这种情况下，增强现实眼镜还可以在增强现实眼镜获取的真实场景中重新配置虚拟桌面启动器组件，以便用户下次操作和使用。
145.下面将参考图11，对本公开实施例的增强现实眼镜控制的整个过程进行说明。
146.在步骤s1102中，增强现实眼镜可以获取真实场景的图像，对图像进行识别。
147.在步骤s1104中，增强现实眼镜可以对图像进行识别，检测是否识别出目标对象。如果没有识别出目标对象，则返回步骤s1102；如果识别出目标对象，则执行步骤s1106。
148.在步骤s1106中，增强现实眼镜可以基于目标对象的空间特征，确定虚拟组件的空间特征。其中，空间特征可以包括位姿或位置。
149.在步骤s1108中，增强现实眼镜可以基于确定出的虚拟组件的空间特征，在真实场景中配置虚拟组件。
150.在步骤s1110中，增强现实眼镜判断是否存在针对虚拟组件的交互操作。如果不存在，则每隔预定时间段再进行判断；如果存在，则执行步骤s1112。
151.在步骤s1112中，增强现实眼镜可以响应该交互操作，控制自身唤起与该交互操作对应的功能。
152.综上所述，随着增强现实眼镜所配备的功能越来越多，基于本公开实施方式的增强现实眼镜控制方法，一方面，可以提高用户操作的便利性，娱乐性也得到了提高；另一方
面，通过目标对象的检测，可以避免控制场景的误触发。本公开的方案具有广阔的应用前景。
153.应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
154.进一步的，本示例实施方式中还提供了一种增强现实眼镜控制装置。
155.图12示意性示出了本公开的示例性实施方式的增强现实眼镜控制装置的方框图。参考图12，根据本公开的示例性实施方式的增强现实眼镜控制装置12可以包括图像获取模块121、虚拟组件配置模块123和交互控制模块125。
156.具体的，图像获取模块121可以用于获取真实场景的图像；虚拟组件配置模块123可以用于对图像进行识别，在识别出图像中存在目标对象的情况下，在增强现实眼镜获取的真实场景中配置虚拟组件；交互控制模块125可以用于响应针对虚拟组件的交互操作，对增强现实眼镜进行控制。
157.根据本公开的示例性实施例，虚拟组件配置模块123可以被配置为执行：确定目标对象的空间特征；根据目标对象的空间特征以及目标对象与虚拟组件之间的预定空间关系，确定虚拟组件的空间特征；基于虚拟组件的空间特征，在增强现实眼镜获取的真实场景中配置虚拟组件。
158.根据本公开的示例性实施例，空间特征包括位姿，在这种情况下，虚拟组件配置模块123可以被配置为执行：确定目标对象的位姿；根据目标对象的位姿以及目标对象与虚拟组件之间的预定位姿关系，计算与增强现实眼镜相关联的虚拟组件的位姿；基于虚拟组件的位姿，在增强现实眼镜获取的真实场景中配置虚拟组件。
159.根据本公开的示例性实施例，参考图13，相比于增强现实眼镜控制装置12，增强现实眼镜控制装置13还可以包括虚拟组件跟踪模块131。
160.具体的，虚拟组件跟踪模块131可以被配置为执行：在连续的视频帧中，对目标对象进行跟踪检测；在检测出目标对象的位姿发生变化的情况下，利用预定位姿关系，对虚拟组件的位姿进行调整。
161.根据本公开的示例性实施例，空间特征包括位置，在这种情况下，虚拟组件配置模块123可以被配置为执行：确定目标对象的位置；根据目标对象的位置以及目标对象与虚拟组件之间的预定位置关系，计算与增强现实眼镜相关联的虚拟组件的位置；基于虚拟组件的位置，在增强现实眼镜获取的真实场景中配置虚拟组件。
162.根据本公开的示例性实施例，图13中的虚拟组件跟踪模块131还可以被配置为执行：在连续的视频帧中，对目标对象进行跟踪检测；在检测出目标对象的位置发生变化的情况下，利用预定位置关系，对虚拟组件的位置进行调整。
163.根据本公开的示例性实施例，虚拟组件配置模块123还可以被配置为执行：检测目标对象距增强现实眼镜的距离；将检测出的距离与第一距离阈值进行比较；如果检测出的距离大于第一距离阈值，则将虚拟组件从真实场景中移除。
164.根据本公开的示例性实施例，交互控制模块125可以被配置为执行：确定交互对象的位置；根据交互对象的位置以及虚拟组件的位置，确定交互对象与虚拟组件的距离；将交
互对象与虚拟组件的距离与第二距离阈值进行比较，得到比较结果；基于比较结果确定是否存在针对虚拟组件的交互操作。
165.根据本公开的示例性实施例，交互控制模块125可以被配置为执行：如果确定出交互对象与虚拟组件的距离小于第二距离阈值，则确定出存在针对虚拟组件的交互操作。
166.根据本公开的示例性实施例，交互控制模块125还可以被配置为执行：如果确定出交互对象与虚拟组件的距离小于第二距离阈值，且确定出虚拟组件的姿态与交互对象的姿态匹配，则确定出存在针对虚拟组件的交互操作。
167.根据本公开的示例性实施例，虚拟组件包括增强现实眼镜的虚拟桌面启动器组件。在这种情况下，交互控制模块125可以被配置为执行：响应针对虚拟桌面启动器组件的交互操作，执行与虚拟桌面启动器组件对应的操作。
168.根据本公开的示例性实施例，参考图14，相比于增强现实眼镜控制装置12，增强现实眼镜控制装置14还可以包括界面显示模块141。
169.具体的，界面显示模块141可以被配置为执行：在增强现实眼镜上显示与虚拟桌面启动器组件对应的界面。
170.根据本公开的示例性实施例，虚拟组件配置模块123还可以被配置为执行：在显示界面的情况下，将虚拟桌面启动器组件从真实场景中移除。
171.根据本公开的示例性实施例，虚拟组件配置模块123还可以被配置为执行：在退出界面之后，在增强现实眼镜获取的真实场景中配置虚拟桌面启动器组件。
172.由于本公开实施方式的增强现实眼镜控制装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。
173.图15示出了本公开实施例的电子设备的结构示意图。
174.本公开示例性实施方式的增强现实眼镜可以被配置为如图15的形式。需要说明的是，图15示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
175.本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的增强现实眼镜控制方法。
176.具体的，如图15所示，电子设备15可以包括：处理器151、存储器152、输入-输出单元153和通信单元154。其中，输入-输出单元153可以包括至少一个显示部件1531、光学部件1532、传感器1533和音频部件1534。
177.可以理解的是，本公开实施例示意的结构并不构成对电子设备15的具体限定。在本公开另一些实施例中，电子设备15可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
178.处理器151可以包括一个或多个处理单元，例如：处理器151可以包括应用处理器(application processor，ap)、调制解调处理器、图形处理器(graphics processing unit，gpu)、图像信号处理器(image signal processor，isp)、控制器、视频编解码器、数字信号处理器(digital signal processor，dsp)、基带处理器和/或神经网络处理器(neural-etwork processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也
可以集成在一个或多个处理器中。另外，处理器151中还可以设置存储器，用于存储指令和数据。
179.输入-输出单元153可以用于从外部获取数据或向外部发送数据。
180.至少一个显示部件1531可以用于显示图像，通常指代可显示镜片。
181.光学部件1532可以用于形成向用户呈现图像的光学系统，可以包括静态部件，例如波导、静态光学耦合器和固定透镜。另外，还可以包括可调节的光学部件，例如，可调节谐振器、可调谐透镜、可动态调节耦合器、可调节液晶全息耦合器等。光学部件1532中包含的器件结构可以以串联的形式配置，本公开对它们的组合方式不做限制。
182.传感器1533除包括本公开所说的深度传感器外，还可以包括例如红外传感器、温度传感器、加速度传感器等。另外，本公开对传感器的配置位置不做限制，例如，可以将深度传感器配置在眼镜的镜框上。
183.音频部件1534可以包括用于采集语音指令和其他音频输入的麦克风，以及用于提供音频输出的扬声器。
184.通信单元154可以包括有线和/或无线通信模块，用于与外部设备之间传送信号。
185.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
186.计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
187.计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
188.计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的方法。
189.进一步的，本示例实施方式中还提供了一种增强现实眼镜控制系统。
190.图16示出了本公开实施例的增强现实眼镜控制系统的示意图。参考图16，本公开实施例的增强现实眼镜控制系统16可以包括目标对象161和增强现实眼镜162。
191.具体的，增强现实眼镜162可以被配置为获取真实场景的图像，对该图像进行识别，在识别出该图像中存在目标对象161的情况下，在增强现实眼镜162获取的真实场景中配置虚拟组件，以及响应针对虚拟组件的交互操作，对增强现实眼镜162进行控制。
192.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际
上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
193.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
194.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
195.此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
196.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
197.本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
198.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。