头戴式显示器和其控制方法与流程

1.本公开大体上涉及一种控制机制，尤其涉及一种头戴式显示器和其控制方法。


背景技术：

2.如今，许多电子装置(例如游戏机、计算机、智能手机、智能电器等)可由用户远程控制。举例来说，用户操作装配在智能手机上的应用程序，清洁机器人可开始清洁操作。对于另一实例，用户可在计算机上选择电影，并且智能tv可播放所选择的电影。
3.另一方面，如今流行用于模拟感觉、感知和/或环境的扩展现实(extended reality,xr)技术，例如虚拟现实(virtual reality,vr)、增强现实(augmented reality,ar)、混合现实(mixed reality,mr)。前述技术可应用于多个领域中，例如游戏、军事训练、医疗保健、远程工作等。通常，用户可佩戴头戴式显示器以体验虚拟世界。然而，用户仅可通过头戴式显示器系统操作虚拟世界中的虚拟对象，而不能操作真实世界中的真实对象。一些头戴式显示器系统可进一步与特定电子装置配对，且可进一步控制电子装置的功能。然而，这些电子装置通常专用于头戴式显示器系统，使得一个电子装置仅可由一个系统控制。


技术实现要素：

4.通过头戴式显示器系统控制其他电子装置相当不便。相应地，本公开涉及一种头戴式显示器和其控制方法，且多个外部装置可由头戴式显示器控制。
5.在示范性实施例中的一个中，头戴式显示器的控制方法包含(但不限于)以下步骤。从第一设备接收第一设备信息。从第二设备接收第二设备信息。将第一设备识别为头戴式显示器的第一可控设备。将第二设备识别为头戴式显示器的第二可控设备。
6.在示例性实施例中的一个中，头戴式显示器包含(但不限于)存储器和处理器。存储器存储程序代码。处理器耦接存储器且加载程序代码以执行：从第一设备接收第一设备信息，从第二设备接收第二设备信息，将第一设备识别为头戴式显示器的第一可控设备，且将第二设备识别为头戴式显示器的第二可控设备。
7.基于上述，根据本发明实施例的头戴式显示器及其控制方法，可根据接收的设备信息分别将两设备识别为可控设备。藉此，可方便使用者通过头戴式显示器控制多个外部装置。
8.然而，应理解，此发明内容可能不含有本公开的所有方面和实施例，并不意在以任何方式作为限制或约束，且应理解，如本文中所公开的本发明由且将由本领域的普通技术人员所理解，以涵盖对本发明的明显改进和修改。
附图说明
9.包含附图以提供对本公开的进一步理解，且附图并入本说明书中并构成本说明书的一部分。附图示出本公开的实施例，且与说明书一起用于解释本公开的原理。
10.图1是示出根据本公开的示范性实施例中的一个的系统的方块图；
11.图2是示出根据本公开的示范性实施例中的一个的头戴式显示器的控制方法的流程图；
12.图3是示出根据本公开的示范性实施例中的一个的多个设备的示意图；
13.图4是示出根据本公开的示范性实施例中的一个的头戴式显示器的控制过程的流程图；
14.图5是示出根据本公开的示范性实施例中的一个的多个设备的示意图。
15.附图标号说明
16.1：系统；
17.10：第一设备；
18.11：空调；
19.20：第二设备；
20.21：tv；
21.31：智能灯；
22.32：清洁机器人；
23.100：头戴式显示器；
24.110：通信收发器；
25.120：图像捕获装置；
26.130：存储器；
27.150：处理器；
28.fov：视场；
29.s210、s230、s250、s270、s410、s430、s450、s470：步骤。
具体实施方式
30.现将详细地参考本公开的当前优选实施例，其实例在附图中示出。只要可能，相同的附图标号在附图和说明书中用于指代相同或类似部分。
31.图1是示出根据本公开的示范性实施例中的一个的系统1的方块图。参考图1，系统1包含(但不限于)第一设备10、第二设备20以及头戴式显示器100。
32.第一设备10和第二设备20可以是电器(例如智能tv、清洁机器人或空调)、计算机、网络设备、智能手机或其它可连接网络装置。在一个实施例中，第一设备10和第二设备20具有配置有例如wi-fi、蓝牙(bluetooth)、zigbee或z波(z-wave)的一种或多种通信协议的通信收发器(未示出)。在一个实施例中，第一设备10和第二设备20提供一种或多种功能，例如打开/关闭、进入待机模式、改变强度等。在一些实施例中，第一设备10和第二设备20允许其它装置远程控制其功能。
33.应注意，在一些实施例中，系统1可还包含更多可连接网络装置。
34.头戴式显示器100包含(但不限于)通信收发器110、图像捕获装置120、存储器130以及处理器150。头戴式显示器100适用于xr或其它现实模拟相关技术。
35.通信收发器110配置有一种或多种通信协议，例如wi-fi、蓝牙、zigbee或z波。在一个实施例中，通信收发器110可使用对应通信协议以与例如第一设备10和第二设备20的其它装置传输或接收信号。
36.图像捕获装置120可以是相机，例如单色相机或彩色相机、深度相机(deep camera)、录像机或能够捕获图像的其它图像传感器。在一个实施例中，图像捕获装置120设置在头戴式显示器100的主体上且朝向特定方向捕获。举例来说，当用户佩戴头戴式显示器100时，图像捕获装置120捕获用户前方的场景。在一些实施例中，可基于实际需求来调整图像捕获装置120的方向和/或视场。
37.存储器130可以是任何类型的固定或可移动随机存取存储器(random-access memory,ram)、只读存储器(read-only memory,rom)、闪存、类似装置或以上装置的组合。存储器130记录程序代码、装置配置、缓冲数据或永久数据(例如设备信息、定位信息、通信协议以及图像)，且这些数据将在随后进行介绍。
38.处理器150耦接通信收发器110、图像捕获装置120以及存储器130。处理器150配置成加载存储在存储器130中的程序代码，以执行本公开的示范性实施例的过程。
39.在一些实施例中，处理器150可以是中央处理单元(central processing unit,cpu)、微处理器、微控制器、数字信号处理(digital signal processing,dsp)芯片、现场可编程门阵列(field-programmable gate array,fpga)。处理器150的功能还可通过独立电子装置或集成电路(integrated circuit,ic)来实施，且处理器150的操作还可通过软件来实施。
40.应注意，处理器150可以不与通信收发器110、图像捕获装置120设置在相同装置处。然而，分别配备有通信收发器110、图像捕获装置120以及处理器150的装置可还包含具有兼容通信技术(例如蓝牙、wi-fi以及ir无线通信)的通信收发器或物理传输线路以相互传输或接收数据。举例来说，可将处理器150设置于计算装置中，而将通信收发器110、图像捕获装置120设置于头戴式显示器100的主体上。
41.为了更好地理解在本公开的一个或多个实施例中提供的操作过程，下文将举例说明数个实施例以详述头戴式显示器100的操作过程。在以下实施例中应用头戴式显示器100中的装置和模块来解释本文中所提供的控制方法。方法的每一步骤可根据实际实施情况进行调整且不应限于本文中所描述的内容。
42.图2是示出根据本公开的示范性实施例中的一个的头戴式显示器100的控制方法的流程图。参考图2，处理器150可从第一设备10接收第一设备信息(步骤s210)。具体来说，假定头戴式显示器10被用户配戴，且将第一设备10和第二设备20放置于用户逗留的环境中。举例来说，图3是示出根据本公开的示范性实施例中的一个的多个设备的示意图。参考图3，将空调11(例如第一设备10)、tv 21(例如第二设备20)、智能灯31以及清洁机器人32放置于客厅中。基于由图像捕获装置120获得的一个或多个图像来产生用户可看到的事物。在图像捕获装置120的视场fov中，用户可在头戴式显示器100的显示器(未示出)中看到空调11、tv 21以及智能灯31。用户逗留的环境中存在许多装置。然而，一些装置可以是可控的，但一些装置可以不是可控的。
43.第一设备信息可用于识别第一设备10。在一个实施例中，第一设备信息可指示第一通信协议。第一通信协议由第一设备10使用以与其它装置进行通信。第一通信协议可以是wi-fi、蓝牙、zigbee、z波或其它无线通信协议。在一些实施例中，通信收发器110也配置有第一通信协议。在一个实施例中，处理器150可利用第一通信协议通过通信收发器110广播发现信号，使得第一设备10可接收和解析发现信号。发现信号可指示发送器(例如头戴式
显示器100)的身份和/或所请求的内容，例如连接建立或存取需求。第一设备10可进一步响应于发现信号而传输反馈信号，以接受所请求的内容，或确认头戴式显示器100的存取。在另一实施例中，发现信号可由第一设备10传输，且处理器150可响应于发现信号而通过通信收发器110传输反馈信号。处理器150可进一步解析发现信号或反馈信号以了解第一通信协议。例如，协议的类型或协议的配置。接着，处理器150可使用第一通信协议与第一设备10建立第一无线连接。举例来说，通信收发器110向第一设备10传输wi-fi信号。
44.在一个实施例中，第一设备信息包含第一协议信息，且第一协议信息指示将在头戴式显示器100与第一设备10之间使用第一通信协议。举例来说，由第一设备10传输的发现信号可由头戴式显示器100接收，且发现信号包含第一协议信息。第一协议信息可以是例如协议的类型或协议的配置。
45.在一个实施例中，第一设备信息包含第一定位信息，且第一定位信息指示头戴式显示器100与第一设备10之间的相对位置和/或相对方向。相对位置可与三个轴上的坐标和/或距离相关。相对方向可与3-dof信息(例如滚动、俯仰以及偏航)和/或从头戴式显示器100到第一设备10的方向相关。
46.在一个实施例中，处理器150可基于从第一设备10发送到头戴式显示器100的反馈信号的信号强度来确定头戴式显示器100与第一设备10之间的相对位置。信号强度可以是接收信号强度指示(received signal strength indication,rssi)、接收信道功率指示符(received channel power indicator,rcpi)、参考信号接收功率(reference signal received power,rsrp)等。应注意，无线信号的信号强度与传输器(例如第一设备10)与接收器(例如头戴式显示器100)之间的相对距离相关。相对距离可进一步用于确定头戴式显示器100与第一设备10之间的相对位置。
47.在一个实施例中，处理器150可获得由图像捕获装置120捕获的一个或多个图像，且从在这些图像当中选择的目标图像识别第一设备10。如果第一设备10位于图像捕获装置120的视场内，图像(在下文中称作目标图像)可包含第一设备10。处理器150可通过配置有对象识别功能的机器学习技术(例如深度学习、人工神经网络(artificial neural network,ann)或支持向量机(support vector machine,svm)等)识别目标图像中的第一设备10。处理器150可进一步根据目标图像分析头戴式显示器100与第一设备10之间的相对位置和/或相对方向。举例来说，对应于目标图像中的第一设备10的感测强度和像素位置接着可用于估计第一设备10的深度信息(即，相对于头戴式显示器100的距离)和从头戴式显示器100到第一设备10的方向信息。在一个实施例中，可将深度信息和方向信息确定为头戴式显示器100与第一设备10之间的相对位置和相对方向。在另一实施例中，基于目标图像而确定的深度信息和方向信息可以是分析结果，且处理器150可根据分析结果来调整基于无线信号或其它距离测量机制而确定的第一定位信息。举例来说，最终的第一定位信息可以是基于不同感测技术而确定的相对位置和相对方向的加权计算结果。因此，可提高用于估计定位信息的准确度。
48.在又一个实施例中，第一设备信息包含第一设备10的设备类型。处理器150可从由第一设备10基于第一通信协议而通过通信收发器110发送的反馈消息或发现信号获得第一识别信息。第一识别信息可以是序列号、产品号或其它唯一识别信息。第一设备10的第一识别信息可不同于第二设备20的第二识别信息。处理器150可根据第一识别信息确定第一设
备10的设备类型。举例来说，设备类型可以是产品类型、品牌、模型类型、设备大小或设备颜色。识别与设备类型之间存在关系，且处理器150可使用这种关系来区分不同设备或设备类型。
49.此外，处理器150可从第二设备20接收第二设备信息(步骤s230)。具体来说，基于步骤s210的前述实施例，在一个实施例中，第二设备信息可指示第二通信协议或包含指示第二通信协议的第二协议信息。因此，处理器150可通过使用第二通信协议通过通信收发器110与第二设备20建立第二无线连接。第二通信协议的详细描述和第二通信协议可分别参考第一通信协议和第一通信协议，且将省略。第一通信协议不同于第二通信协议。也就是说，通信收发器110可配置有两种或大于两种通信协议。
50.在另一实施例中，第二设备信息可包含第二定位信息，所述第二定位信息指示头戴式显示器100与第二设备20之间的相对位置和相对方向。第二定位信息的详细描述可参考第一定位信息，且将省略。此外，在一些实施例中，第二设备信息包含第二设备20的设备类型。处理器150可根据来自由第二设备20发送的反馈消息或发现信号的第二识别信息确定第二设备20的设备类型。第二识别信息的详细描述和设备类型可分别参考第一识别信息和前述设备类型，且将省略。
51.处理器150可将第一设备10识别为头戴式显示器100的第一可控设备(步骤s250)。具体来说，可控设备可提供其它装置以控制其功能。这些其它装置可使用对应通信协议来传输控制消息，且控制消息涉及可控设备的功能。功能可以是例如打开/关闭机器、切换模式、强度修改、特定运动、显示信息或购物。处理器150可使用图像识别和/或从无线信号获得的设备类型来识别第一设备10且确定是否将第一设备10记录在可控列表中。可控列表记录一种或多种可控设备。如果将第一设备10记录在可控列表中，那么第一设备10会被确定为头戴式显示器100的第一可控设备。如果未将第一设备10记录在可控列表中，那么第一设备10不会被确定为头戴式显示器100的第一可控设备。
52.此外，处理器150可将第二设备20识别为头戴式显示器100的第二可控设备(步骤s270)。具体来说，处理器150可使用图像识别或从无线信号获得的设备类型来识别第二设备20且确定是否将第二设备20记录在可控列表中。如果将第二设备20记录在可控列表中，那么第二设备20会被确定为头戴式显示器100的第一可控设备。如果未将第二设备20记录在可控列表中，那么第二设备20不会被确定为头戴式显示器100的第二可控设备。
53.在一个实施例中，处理器150可进一步根据第一协议信息和第二协议信息区分第一设备10与第二设备20。第一协议信息和第二协议信息可指示不同通信协议。也就是说，第一设备10和第二设备20使用不同通信协议。存储器130可记录设备与其支持的通信协议之间的关系。如果第一设备10和第二设备20同时传输反馈信号或发现信号，那么处理器150可根据所述关系和当前使用的通信协议区分设备10与设备20。
54.在另一实施例中，处理器150可根据第一定位信息和第二定位信息区分第一设备10与第二设备20。在一些情况下，第一通信协议可与第二通信协议相同。然而，如果第一定位信息不同于第二定位信息，那么这意味着存在位于不同相对位置和/或不同相对方向的两个设备。因此，可基于不同定位信息区分第一设备10与第二设备20。
55.在一个实施例中，只有在第一设备10和/或第二设备20位于图像捕获装置120的视场中的情况下，处理器150才可识别第一设备10和/或第二设备20。以图3为实例，处理器150
可识别空调11、tv 21以及智能灯31，且确定这些设备是否是可控设备。在一些实施例中，如果处理器150可接收由第一设备10和/或第二设备20发送的无线信号，那么处理器150可识别第一设备10和/或第二设备20。
56.为进一步控制所识别的可控设备，图4是示出根据本公开的示范性实施例中的一个的头戴式显示器100的控制过程的流程图。参考图4，处理器150可通过使用对应通信协议与第一设备10和/或第二设备20建立无线连接(步骤s410)。可在识别可控设备之前或之后建立无线连接。用户可移动或转动他的/她的头部，以浏览环境且搜索用户想要控制的设备。
57.用户可使用特定手势、眼睛注视、语音命令或手持控制器来选择可控设备中的一个作为要控制的目标(步骤s430)。头戴式显示器100的显示器可在所识别的可控设备附近进一步呈现特定指示，以帮助用户了解哪些设备是可控的。以图3为实例，空调11和tv 21是可控设备，且可在显示器上的空调11和tv 21附近呈现星号(未示出)。在一些实施例中，处理器150可在用户选择设备之后识别设备。
58.在一个实施例中，第一设备10或第二设备20的定位信息可用于提高选择的准确度。图5是示出根据本公开的示范性实施例中的一个的多个设备的示意图。参考图5，假定用户坐在座位上。在图像捕获装置120的视场fov中，空调11可位于tv 21后面。处理器150可确定用户指向的光线投射(ray cast)的末端所处的位置，且确定光线投射末端的位置是否与空调11或tv 21的定位信息一致。
59.在确定目标之后，如果选择第一设备10，那么处理器150可根据配戴头戴式显示器100的用户的第一输入来控制第一设备10的功能且执行第一设备10的第一功能(步骤s450)。第一功能在第一设备10上操作。功能可以是例如打开/关闭机器、切换模式、强度修改、特定运动、显示信息或购物。用户可使用特定手势、语音命令或手持控制器(即，用户的输入)确定功能中的一个。举例来说，挥动手势用于关闭tv 21。对于另一实例，手的投掷运动用于购买自动贩卖机中的水。接着，处理器150可通过使用第一通信协议通过通信收发器110向第一设备10传输控制消息。控制消息指示所选择的功能。此外，如果选择第二设备20，那么处理器150可根据配戴头戴式显示器100的用户的第二输入来控制第二设备20的功能且执行第二设备20的第二功能。第二功能将在第二设备上操作。
60.在一个实施例中，头戴式显示器100可请求第一设备10或第二设备20反馈信息(步骤s470)。由第一设备10或第二设备20提供的信息可为状态信息或响应于功能的控制消息的响应消息。举例来说，如果用户远程购买自动贩卖机中的产品，那么可将购买结果提供给头戴式显示器100。
61.在一个实施例中，第一设备10可传输响应于功能的控制消息的响应消息，且头戴式显示器100可将响应消息转发到第二设备20。响应消息指示另一目标是第二设备20。接着，在接收到响应消息之后，可在第二设备20上操作一个功能。举例来说，当打开tv 21时，响应消息也将经由头戴式显示器100传输到空调11以打开空调11。因此，即使第一设备10和第二设备20配置有不同通信协议，其可通过头戴式显示器100彼此通信。
62.综上所述，在本发明实施例的头戴式显示器及其控制方法中，可依据接收的设备信息分别将经组态成不同通信协议的两设备识别为可控设备。藉此，可方便使用者通过头戴式显示器控制多个外部装置。
63.所属领域的技术人员将显而易见，可在不脱离本公开的范围或精神的情况下对本公开的结构进行各种修改和变化。鉴于前述，希望本公开覆盖本公开的修改和变化，前提是所述修改和变化处于所附权利要求和其等效物的范围内。