与多个模式有关的方法和设备与流程

1.本发明大体上涉及一种模式控制机制，具体来说，涉及一种与多个模式有关的方法和设备。


背景技术：

2.一些电子设备可允许用户的人体部分(例如，手、腿、头等)控制这些电子设备的操作，且可追踪这些人体部分的运动。举例来说，虚拟现实(virtual reality；vr)产品可提供手持控制器，且手持控制器包含惯性测量单元(inertial measurement unit；imu)以追踪用户的手的运动。人体部分的所检测的运动可进一步用于定位人体部分。基于imu的位置信息仅用于本地坐标系。然而，本地坐标系的位置信息可不与真实环境有关，且可能不用于与在真实环境中与其它对象的交互有关的另一应用。


技术实现要素：

3.imu可能仅用于在本地坐标系中定位。因此，本发明是针对一种与多个模式有关的方法和设备，以进一步提供全局坐标系的定位信息。
4.在示例性实施例中的一个中，方法包含(但不限于此)以下步骤。操作在第一模式下。第一模式为主机模式或客户模式，且主机模式配置成用于将与全局坐标系有关的信息广播到用客户模式操作的其它装置。检测切换条件，且第一模式切换到第二模式。第二模式为主机模式和客户模式中的另一个。操作在第二模式下。
5.在示例性实施例中的一个中，设备包含(但不限于此)通信收发器、存储器以及处理器。存储器用于存储程序代码。处理器耦接存储器和通信收发器。处理器配置成用于加载且执行程序代码以执行以下步骤。操作在第一模式下。第一模式为主机模式或客户模式，且主机模式配置成用于将与全局坐标系有关的信息广播到用客户模式操作的其它装置。检测切换条件，且第一模式切换到第二模式。第二模式为主机模式和客户模式中的另一个。操作在第二模式下。
6.基于上述，根据本发明实施例的与多个模式有关的方法和设备，若符合切换条件，则可在主机模式和客户模式之间切换。藉此，可提供多种模式。
7.然而，应理解，此概述可能不含有本发明的所有方面和实施例，不意图以任何方式进行限制或约束，且如本文中所公开的发明由且将由本领域的普通技术人员理解为涵盖对其进行的明显改进和修改。
附图说明
8.包含附图以提供对本发明的进一步理解，且所述附图并入本说明书中且构成本说明书的一部分。附图示出本发明的实施例，且与描述一起用于解释本发明的原理。
9.图1为示出根据本发明的示例性实施例中的一个的设备的方块图；
10.图2为示出根据本发明的示例性实施例中的一个的方法的流程图；
11.图3为示出根据本发明的示例性实施例中的一个的定位系统的示意图；
12.图4为示出根据本发明的示例性实施例中的一个的运动追踪系统的示意图。
13.附图标号说明
14.20、80：头戴式显示器；
15.40、50：脚踝传感器；
16.60：手持控制器；
17.100：设备；
18.110：存储器；
19.130：处理器；
20.150：通信收发器；
21.170：运动传感器；
22.190：图像捕获装置；
23.s210、s230、s250：步骤；
24.u1、u2：用户。
具体实施方式
25.现将详细参考本发明的当前优选实施例，其实例在附图中示出。只要可能，相同的附图标号在附图和具体实施方式中用以指代相同或类似部分。
26.图1为示出根据本发明的示例性实施例中的一个的设备100的方块图。参考图1，设备100包含(但不限于此)存储器110、处理器130、通信收发器150以及运动传感器170。在一个实施例中，设备100可为手持控制器或可佩戴设备，例如可佩戴控制器、智能手表、脚踝传感器、腰带、头戴式显示器(head-mounted display,hmd)或类似物。在一个实施例中，设备100可佩戴在用户的一个人体部分上。人体部分可为手、头、脚踝、腿、腰或其它部分。在一些实施例中，设备100适于xr或其它现实有关的技术。
27.存储器110可以是任何类型的固定或可移动随机存取存储器(random-access memory,ram)、只读存储器(read-only memory,rom)、闪存存储器、类似装置或以上装置的组合。在一个实施例中，存储器110记录程序代码、装置配置、缓冲数据或永久性数据(例如，位置信息、移动状态或外部信息)，且稍后将介绍这些数据。
28.处理器130耦接存储器110。处理器130配置成加载存储在存储器110中的程序代码，以执行本发明的示例性实施例的程序。
29.在一些实施例中，处理器130可为中央处理单元(central processing unit,cpu)、微处理器、微控制器、图形处理单元(graphics processing unit,gpu)、数字信号处理(digital signal processing,dsp)芯片、现场可编程门阵列(field-programmable gate array,fpga)。处理器130的功能也可通过独立的电子装置或集成电路(integrated circuit,ic)来实施，且处理器130的操作也可由软件实施。
30.通信收发器150耦接处理器130。通信收发器150可与蓝牙、wi-fi、ir、rfid或其它无线通信技术兼容。在一个实施例中，通信收发器150用于与其它设备100一起传输和/或接收无线信号。
31.运动传感器170耦接处理器130。运动传感器170可为加速度计、陀螺仪、磁强计、惯
性测量单元(imu)或前述传感器的任何组合。在一个实施例中，运动传感器170用于在一段时间内感测佩戴设备100的用户的对应人体部分的运动，以在时间段内的多个时间点根据运动传感器170的感测结果(例如，加速度、旋转、磁力等)产生一序列的感测数据。对于一个实例，感测数据包含3-自由度(3-degree of freedom,3-dof)数据，且3-dof数据与三维(three-dimensional,3d)空间中的人体部分的定向信息(例如，偏航、滚转以及俯仰的加速度)有关。
32.在一个实施例中，设备100还包含图像捕获装置190。图像捕获装置190可为照相机(例如，单色照相机或彩色照相机)、深照相机、录像机或能够捕获图像的其它图像捕获装置。在一个实施例中，图像捕获装置190安置在设备100的主体处以在外部捕获。举例来说，当用户佩戴设备100时，图像捕获装置190可位于用户眼睛前方的位置处。
33.在一个实施例中，hmd或数字眼镜包含存储器110、处理器130、通信收发器150以及图像捕获装置190。在一些实施例中，处理器130可不安置在具有通信收发器150和/或图像捕获装置190的同一设备中。然而，分别配备有处理器130、通信收发器150，图像捕获装置190的设备可还包含具有兼容通信技术(例如，蓝牙、wi-fi以及ir无线通信)的通信收发器或物理传输线，以彼此传输或接收数据。举例来说，处理器130可安装在hmd中，而图像捕获装置190位于hmd外部。对于另一实例，处理器130可安装在计算装置中，而图像捕获装置190安置在计算装置外部。
34.为了更好地理解本发明的一个或多个实施例中所提供的操作过程，在下文将举例说明若干实施例以详述设备100。在以下实施例中应用设备100中的装置和模块以解释与本文中所提供的多个模式有关的方法。可根据实际实施状况调整方法的每一步骤，且不应限于本文中所描述的内容。
35.图2为示出根据本发明的示例性实施例中的一个的方法的流程图。参考图2，处理器130可通过通信收发器150在第一模式下操作(步骤s210)。具体来说，第一模式为主机模式和客户模式中的一个。主机模式配置成用于通过通信收发器150将与全局坐标系有关的信息广播到用客户模式操作的其它装置(例如，设备100或其它装置)。在客户模式下操作的设备100或另一装置可使用所接收的信息或所接收的信号强度来确定全局坐标系的位置信息。此外，全局坐标系为对应于真实环境的坐标系。举例来说，建筑空间的三维坐标系。
36.在一个实施例中，主机模式配置为信标(beacon)基站，且客户模式配置为信标接收器。信标基站可广播包含其标识符的消息。信标接收器可接收消息，且使用所接收的信号强度(例如，所接收的信号强度指示(received signal strength indication,rssi)、所接收的信道功率指示符(received channel power indicator,rcpi)或参考信号接收功率(reference signal received power,rsrp))来确定相对于信标基站的距离。基于三边测量，三个点之间的三个距离可用于确定三个点的相对位置信息。假设设备100中的三个(包含一个或多个信标基站和一个或多个信标接收器)作为前述三个点，处理器130可将每两个设备100之间的相对距离确定为设备100之间的距离关系。接着，处理器130可基于距离关系和三边测量在全局坐标系中产生所追踪设备的位置信息。
37.应注意，信标为基于蓝牙的广播协议。然而，在其它实施例中，在主机模式下操作的设备100可基于wi-fi、zigbee或其它无线通信广播。
38.在一个实施例中，在主机模式中，处理器130可配置为全局坐标系中的原点。举例
来说，设备100可将其坐标配置为全局坐标系中的(0,0,0)。处理器130可进一步通过通信收发器150广播与原点有关的信息。所述信息可为坐标或标记为原点的标注。
39.在一个实施例中，在主机模式中，处理器130可配置原点位于真实环境中的真实对象上。真实对象可为墙壁、地板或桌子。真实对象用于全局坐标系与真实环境之间的关系。在客户模式下操作的那些设备100或其它装置可基于所述关系知道相对于真实对象的位置。
40.在一个实施例中，真实对象的类型是预定义的。举例来说，真实对象为桌子，且用户应将在主机模式下操作的设备100放置在桌子上。
41.在另一实施例中，真实对象的类型由用户选择。举例来说，用户可将在主机模式下操作的设备100放置在墙壁上，接着在显示器上所显示的用户接口上选择真实对象作为墙壁。
42.在一些实施例中，处理器130可基于在真实环境中由图像捕获装置190捕获的图像来识别真实对象。举例来说，配备有图像捕获装置190的一个设备100可基于对象识别算法(例如，基于机器学习的推理或图像特征比较)来在图像中识别在主机模式下操作的另一设备100。设备100可进一步识别在主机模式下操作的设备100所位于的真实对象，以确定真实对象的类型。
43.应注意，在没有任何设备100或另一装置在主机模式下操作的情况下，在客户模式下操作的那些设备100可仅使用运动传感器170的检测结果来确定本地坐标系的位置信息。举例来说，6-dof传感器可用于获得设备100的位置和旋转信息。可根据由传感器所获得的加速度、旋转以及磁力来估计旋转信息。接着，可通过所检测的加速度的二重积分来估计设备100的位移。
44.然而，本地坐标系的位置信息可不与真实环境或其它系统(例如，其它用户的hmd系统)有关。举例来说，hmd系统包含hmd和手持控制器。这个hmd系统将具有其本地坐标系。然而，这个本地坐标系可能不适用于另一未配对的手持控制器或另一hmd系统。
45.在一些实施例中，在主机模式中，基于广播机制，处理器130可进一步通过通信收发器150传输外部信息。外部信息可与消息转发和/或接近警报有关。举例来说，关于消息转发，所述消息可包含或涉及文本、图像、声音和/或视频。在客户模式下操作的另一设备100或装置可解码消息且获得另外的信息，例如，另一详细的消息。关于接近警报，如果在客户模式下操作的hmd接近在主机模式下操作的手持控制器，那么hmd可接收外部信息。接着，例如动画或通知的效果可在hmd的显示器上显示。替代地，可发出警报的警告音。
46.另一方面，在一个实施例中，在客户模式中，如上文所提及，处理器130可通过通信收发器150接收来自在主机模式下操作的另一设备100的广播消息。广播消息可用于定位、消息转发或接近警报。
47.在一些实施例中，在客户模式中，处理器130可进一步通过运动传感器170来追踪惯性测量相关信息。惯性测量相关信息可为加速度、旋转、3-dof或6-dof信息。
48.处理器130可检测切换条件，且基于切换条件的检测结果从第一模式切换到第二模式(步骤s230)。具体来说，第二模式为主机模式和客户模式中的另一个。即，第二模式与第一模式不同。举例来说，第一模式为客户模式，而第二模式为主机模式。替代地，第一模式为主机模式，而第二模式为客户模式。
49.在一个实施例中，处理器130可基于运动传感器170的检测结果来确定移动状态。移动状态可为活动状态或静止状态。模式之间的切换条件为检测到活动状态和静止状态中的一个。活动状态可为设备100的位移和/或旋转超出公差范围的状况。举例来说，用户佩戴设备100且走动，接着可检测活动状态。另一方面，静止状态可为设备100的位移和/或旋转不超出公差范围的状况。举例来说，用户将设备100放置在地板上，且可检测静止状态。
50.在一个实施例中，主机模式对应于静止状态，而客户模式对应于活动状态。如果设备100的移动状态为静止状态，那么客户模式(即，第一模式)将切换到主机模式(即，第二模式)。另一方面，如果设备100的移动状态为活动状态，那么主机模式(即，第一模式)将切换到客户模式(即，第二模式)。
51.在模式变更之后，处理器130可通过通信收发器150在第二模式下操作(步骤s250)。具体来说，如步骤s210中所提及，如果第二模式为主机模式，那么设备100可广播信息。如果第二模式为客户模式，那么设备100可接收所广播的信息且获得惯性测量相关信息。
52.在一个实施例中，在主机模式中，处理器130可进一步停止通过运动传感器170获得惯性测量相关信息。在主机模式下操作的设备100将视为位置参考，例如原点。在主机模式下操作的设备的任何移动可影响全局坐标系中的定位的稳定性。因此，设备100的移动状态将为静止状态，且不需要一直进一步检测设备100的运动。然而，为了确定移动状态是否变更，可周期性地检测惯性测量相关信息。在一些实施例中，处理器130可仅在主机模式期间忽略惯性测量相关信息。
53.举例来说，图3为示出根据本发明的示例性实施例中的一个的定位系统的示意图。参考图3，设备100可为hmd 20、hmd 80、脚踝传感器40、脚踝传感器50或手持控制器60。hmd 20、hmd 80、脚踝传感器40以及手持控制器60在客户模式下操作。脚踝传感器50在主机模式下操作。因此，脚踝传感器50可广播与全局坐标系有关的信息，且hmd 20、hmd 80、脚踝传感器40以及手持控制器60可使用所接收的信号强度来确定全局坐标系中的位置信息。应注意，由用户u1所佩戴的hmd 20或脚踝传感器50可知道由用户u2所佩戴的hmd 80在全局坐标系中的相对位置。如果两个hmd 20和hmd 80过于接近(例如，两个hmd 20与hmd 80之间的距离小于1米)，那么可产生接近警报。然而，在脚踝传感器50不在主机模式下操作的情况下，hmd 20可能不知道hmd 80的相对位置。
54.在一个实施例中，在客户模式中，处理器130可进一步停止广播与全局坐标系有关的信息。广播所述信息的一个设备100用于变成位置参考。然而，在客户模式中，设备100可由用户佩戴以检测人体部分的运动。
55.举例来说，图4为示出根据本发明的示例性实施例中的一个的运动追踪系统的示意图。参考图4，与实施例相比，用户u1进一步佩戴脚踝传感器40。因此，可追踪用户u1的手、头以及脚踝的运动。
56.综上所述，在本发明实施例的与多个模式有关的方法和设备中，提供可切换的两种模式，其一是主机模式，且其二是客户模式。藉此，设备可取得全局坐标系统的定位信息，且可增加设备的功能。
57.本领域的技术人员将显而易见的是，在不脱离本发明的范围或精神的情况下，可对本发明的结构进行各种修改和变化。鉴于前述，希望本发明覆盖本发明的修改和变化，前
提是所述修改和变化落入以下权利要求和其等效物的范围内。