渲染画面的更新方法、装置、扩展现实设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及渲染画面的更新方法、装置、扩展现实设备及存储介质。


背景技术：

2.随着计算机技术的发展，出现了扩展现实技术(xr，extended-range)，扩展现实包括虚拟现实(vr)、增强现实(ar)和混合现实(mr)等技术。通过佩戴xr设备，人们可以体验与现实世界不同的三维画面。相关技术中，xr设备算力往往有限，而待展示的数据量较大，用户佩戴的xr设备所捕捉到的视窗画面在切换时常出现卡顿的现象，或者在快速切换时所显示的视窗画面不够清晰。


技术实现要素：

3.本公开提供渲染画面的更新方法、装置、扩展现实设备及存储介质，以至少解决相关技术中在快速切换时所显示的视窗画面不够清晰的问题。本公开的技术方案如下：
4.根据本公开实施例的第一方面，提供一种渲染画面的更新方法，应用于扩展现实设备，包括：
5.获取目标对象更新后的姿态信息；
6.根据所述姿态信息，确定第一画布区域，其中，所述第一画布区域为所述目标对象在所述姿态信息下的视场角范围区域；
7.更新所述第一画布区域对应的显示参数及初始渲染画面，得到更新后的渲染画面。
8.在一种可能的实现方式中，所述更新所述第一画布区域对应的显示参数，包括：
9.提高所述第一画布区域对应的显示分辨率和/或降低第二画布区域对应的显示分辨率，其中，所述第二画布区域为所述全景画布区域中除所述第一画布区域以外的画布区域。
10.在一种可能的实现方式中，所述更新所述第一画布区域对应的显示参数，包括：
11.提高所述第一画布区域对应的显示频率和/或降低第二画布区域对应的显示频率。
12.在一种可能的实现方式中，所述根据所述姿态信息，确定第一画布区域，包括：
13.获取目标对象所佩戴的所述扩展现实设备的视场角参数；
14.根据所述姿态信息以及所述第一画布区域，确定第一画布区域。
15.在一种可能的实现方式中，在所述获取目标对象更新后的姿态信息之前还包括：
16.渲染所述全景画布区域对应的初始渲染画面。
17.在一种可能的实现方式中，所述扩展现实设备包括主处理器和可扩展的从处理器，所述更新所述第一画布区域对应的显示参数及初始渲染画面，包括：
18.利用所述主处理器更新所述第一画布区域对应的显示参数；
19.利用所述可扩展的从处理器更新所述第一画布区域对应的初始渲染画面。
20.在一种可能的实现方式中，还包括：
21.基于更新后的显示参数，在所述第一画布区域显示所述更新后的渲染画面。
22.根据本公开实施例的第二方面，提供一种渲染画面的更新装置，应用于扩展现实设备，包括：
23.获取模块，用于获取目标对象更新后的姿态信息；
24.确定模块，用于根据所述姿态信息，确定第一画布区域，其中，所述第一画布区域为所述目标对象在所述姿态信息下的视场角范围区域；
25.更新模块，用于更新所述第一画布区域对应的显示参数及初始渲染画面，得到更新后的渲染画面。
26.在一种可能的实现方式中，所述更新模块，包括：
27.第一调整子模块，用于提高所述第一画布区域对应的显示分辨率和/或降低第二画布区域对应的显示分辨率，其中，所述第二画布区域为全景画布区域中除所述第一画布区域以外的画布区域。
28.在一种可能的实现方式中，所述更新模块，包括：
29.第二调整子模块，提高所述第一画布区域对应的显示频率和/或降低第二画布区域对应的显示频率。
30.在一种可能的实现方式中，所述确定模块，包括：
31.获取子模块，用于获取目标对象所佩戴的所述扩展现实设备的视场角参数；
32.确定子模块，用于根据所述姿态信息以及所述第一画布区域，确定第一画布区域。
33.在一种可能的实现方式中，还包括：
34.渲染模块，用于渲染所述全景画布区域对应的初始渲染画面。
35.在一种可能的实现方式中，所述扩展现实设备包括主处理器和可扩展的从处理器，所述更新模块，包括：
36.第一更新子模块，用于利用所述主处理器更新所述第一画布区域对应的显示参数；
37.第二更新子模块，用于利用所述可扩展的从处理器更新所述第一画布区域对应的初始渲染画面。
38.在一种可能的实现方式中，还包括：
39.显示模块，用于基于更新后的显示参数，在所述第一画布区域显示所述更新后的渲染画面。
40.根据本公开实施例的第三方面，提供一种扩展现实设备，包括：
41.处理器；
42.用于存储所述处理器可执行指令的存储器；
43.其中，所述处理器被配置为执行所述指令，以实现如本公开实施例任一项所述的一种渲染画面的更新方法。
44.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由扩展现实设备的处理器执行时，使得所述扩展现实设备能够执行如本公开实施例任一项所述的渲染画面的更新方法。
45.根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被扩展现实设备的处理器执行时，使得所述扩展现实设备能够执行如本公开实施例任一项所述的渲染画面的更新方法。
46.本公开的实施例提供的技术方案至少带来以下有益效果：
47.本公开实施例，通过获取目标对象的姿态信息，确定第一画布区域，更新所述第一画布区域对应的显示参数及初始渲染画面，以提高第一画布区域渲染画面的显示精度，降低或不改变第二画布区域的显示精度，从而节省扩展现实设备的算力，提高画面切换的流畅度和显示清晰度。
48.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
49.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
50.图1是根据一示例性实施例示出的一种渲染画面的更新方法的应用环境图。
51.图2是根据一示例性实施例示出的一种渲染画面的更新方法的流程图。
52.图3是根据一示例性实施例示出的一种视场角的概念示意图。
53.图4是根据另一示例性实施例示出的一种渲染画面的更新方法的流程图。
54.图5是根据一示例性实施例示出的一种渲染画面的更新装置的框图。
55.图6是根据一示例性实施例示出的一种扩展现实设备的框图。
具体实施方式
56.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
57.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
58.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
59.本公开所提供的渲染画面的更新方法，可以应用于如图1所示的应用环境中。其中，扩展现实设备105可以包括但不限于是智能手机、平板电脑、物联网设备以及便携式可穿戴设备，例如，智能眼镜。扩展现实设备105还可以包括智能眼镜与其他设备的组合，例如智能眼镜与汽车的组合。参考图1所示，扩展现实设备105的视场角区域对应的画布区域表示为第一画布区域101，全景画布区域可以包括扩展现实设备105周围360度范围内的画布区域，全景画布区域中除第一画布区域101以外的画布区域可以表示为第二画布区域103。
60.图2是根据一示例性实施例示出的一种渲染画面的更新方法的流程图，如图2所示，所述方法用于扩展现实设备中，包括以下步骤。
61.步骤s201，获取目标对象更新后的姿态信息。
62.本公开实施例中，所述目标对象可以包括扩展现实设备的使用者。所述扩展显示设备可以包括虚拟现实设备(vr设备)、增强现实设备(ar设备)和混合现实设备(mr设备)等。所述姿态信息可以包括目标对象的身体姿势信息，例如身体的倾斜、扭转、跳跃等；进一步还可以包括目标对象的头部信息，例如面部的朝向，以及眼部信息，例如眼球追踪信息。本公开实施例中，可以通过在扩展现实设备中增加传感器来获取上述姿态信息，所述传感器的类型包括但不限于各种摄像头、红外传感器、雷达传感器、陀螺仪、加速度传感器、眼球追踪传感器以及虹膜识别传感器等。
63.步骤s203，根据所述姿态信息，确定第一画布区域，其中，所述第一画布区域为所述目标对象在所述姿态信息下的视场角范围区域。
64.本公开实施例中，视场角(field of view，简称fov)，用于表示显示器两侧边缘和眼睛连线的夹角。在一个示例中，当扩展现实设备为智能眼镜时，视场角的大小与智能眼镜的显示器的边框、佩戴者的眼球与显示器的距离等因素有关。在另一个示例中，当扩展显示设备为智能手机时，视场角的大小与手机屏幕的尺寸、使用者与手机的距离等因素有关。在一个示例中，还可以直接从扩展现实设备的出厂设置中直接获取对应的视场角信息。本公开实施例中，画布区域表示用于渲染画面的区域。本公开实施例中，通过几何计算，即可以根据所述姿态信息以及扩展现实设备的视场角信息，确定所述目标对象在所述姿态信息下的第一画布区域。
65.步骤s205，更新所述第一画布区域对应的显示参数及初始渲染画面，得到更新后的渲染画面。
66.本公开实施例中，所述显示参数可以包括显示分辨率、显示频率和显示延迟等。所述显示分辨率是显示器在显示图像时的分辨率，分辨率是用点来衡量的，显示器上这个“点”就是指像素(pixel)。显示分辨率的数值是指整个显示器所有可视面积上水平像素和垂直像素的数量。显示分辨率越高画面越清晰。所述显示频率又称作刷新率，表示画面单位时间内刷新的帧数。显示频率越高，画面越流畅。显示延迟可以包括用户操作与对应的显示画面之间的时间间隔。
67.本公开实施例中，全景画布区域可以包括目标对象周围360度范围内的画布区域，全景画布区域中除第一画布区域以外的画布区域可以表示为第二画布区域。所述更新所述第一画布区域对应的显示参数可以包括更新第一画布区域的显示参数，以提高其显示精度和流畅度，具体可以包括提高显示分辨率，提高显示频率，降低显示延迟中的一个或几个。在另一个示例中，所述更新所述第一画布区域的显示参数还可以包括保持所述第一画布区域的显示参数不变，更新第二画布区域的显示参数，以降低其显示精度和流畅度，可以包括降低显示分辨率，降低第二画布区域显示频率，增加显示延迟中的一个或几个。在其他一些实施例中，对第一画布区域的显示参数的更新和对第二画布区域的显示参数的更新可以同时执行或执行其中的一种，本公开对此不做限制。
68.本公开实施例中，更新所述第一画布区域对应的初始渲染画面可以包括更新因姿态信息的变化，导致目标对象的第一画布区域渲染画面的内容的变化。例如，第一姿态信息
对应目标对象左前方视场角范围的内容，对应的左前方画布区域的渲染画面(初始渲染画面)；当目标对象由第一姿态信息转换到第二姿态信息，第二姿态信息对应目标对象右前方视场角范围的内容，对应右前方画布区域的渲染画面。更新则包括由左前方画布区域的渲染画面更新为右前方画布区域的渲染画面。
69.本公开实施例，通过获取目标对象的姿态信息，确定第一画布区域，更新所述第一画布区域对应的显示参数及初始渲染画面，以提高第一画布区域渲染画面的显示精度，降低或不改变第二画布区域的显示精度，从而节省扩展现实设备的算力，提高画面切换的流畅度或显示清晰度。
70.在一种可能的实现方式中，所述更新所述第一画布区域对应的显示参数，包括：
71.提高所述第一画布区域对应的显示分辨率和/或降低第二画布区域对应的显示分辨率，其中，所述第二画布区域为全景画布区域中除所述第一画布区域以外的画布区域。
72.本公开实施例中，在一个示例中，全景画布区域的初始渲染画面可以是低精度的初始渲染画面，当获取到用户的姿态信息，并确定在所述姿态信息下对应的第一画布区域时，可以提高第一画布区域对应的显示分辨率，以提高显示精度。由于仅对第一画布区域的显示分辨率进行提高，而没有对全景画布区域所有的显示分辨率进行提高，可以节省扩展现实设备的算力，提高第一画布区域的显示清晰度及流畅度。在另一个示例中，全景画布区域的初始渲染画面可以是高精度的初始渲染画面，当获取到用户的姿态信息，并确定在所述姿态信息下对应的第一画布区域时，将第二画布区域对应的显示分辨率降低，相较于初始渲染画面，全部画面以高清的方式显示，本公开实施例，降低第二画布区域的渲染画面显示精度，可以节省扩展现实设备的算力，提高第一画布区域的显示清晰度及流畅度。在另一个示例中，不论全景画布区域的初始渲染画面是低精度的还是高精度的，都可以采用同时提高第一画布区域的显示分辨率和降低第二画布区域的显示分辨率。由于第二画布区域的面积要大于第一画布区域的面积，因此，降低第二画布区域的显示分辨率和提高第一画布区域的显示分辨率，可以节省扩展显示设备的算力，提高第一画布区域的显示清晰度及流畅度。
73.在一种可能的实现方式中，更新所述第一画布区域对应的显示参数，包括：
74.提高所述第一画布区域对应的显示频率和/或降低第二画布区域对应的显示频率。
75.本公开实施例中，在一个示例中，全景画布区域的初始渲染画面可以是低频率的初始渲染画面，当获取到用户的姿态信息，并确定在所述姿态信息下对应的第一画布区域时，可以提高第一画布区域对应的显示频率，以提高显示流畅度。由于仅对第一画布区域的显示频率进行提高，而没有对全景画布区域所有的显示频率进行提高，可以节省扩展现实设备的算力，提高第一画布区域的显示清晰度和流畅度。在另一个示例中，全景画布区域的初始渲染画面可以是高频率的初始渲染画面，当获取到用户的姿态信息，并确定在所述姿态信息下对应的第一画布区域时，将第二画布区域对应的显示频率降低，相较于初始渲染画面，全部画面以高频的方式显示，本公开实施例，降低第二画布区域的渲染画面显示精度，可以节省扩展现实设备的算力，提高第一画布区域的显示清晰度及流畅度。在另一个示例中，不论全景画布区域的初始渲染画面是低频率还是高频率，都可以采用同时提高第一画布区域的显示频率和降低第二画布区域的显示频率。由于第二画布区域的面积要大于第
一画布区域的面积，因此，降低第二画布区域的显示频率和提高第一画布区域的显示频率额，可以节省扩展显示设备的算力，提高第一画布区域的显示清晰度及流畅度。
76.在一种可能的实现方式中，所述根据所述姿态信息，确定第一画布区域，包括：
77.获取目标对象所佩戴的所述扩展现实设备的视场角参数；
78.根据所述姿态信息以及所述第一画布区域，确定第一画布区域。
79.本公开实施例中，所述视场角参数可以包括，用于表示显示器两侧边缘和眼睛连线的夹角。图3是根据一示例性实施例示出的一种视场角的概念示意图，参考图3所示，扩展现实设备的显示器300，例如智能眼镜的投影镜片。可以基于显示器300与目标对象的眼镜之间的连线确定视场角的大小，图3中，角301表示水平视场角，角303表示垂直视场角。根据目标对象的姿态信息，可以确定目标对象的眼部位置，根据眼部位置以及扩展现实设备本身的视场角参数，可以确定眼镜与显示器边缘的连线的延长线在全景画布区域的限定区域，该限定区域则为第一画布区域。
80.通过本公开实施例所公开的方法，可以快速准确地确定第一画布区域。
81.在一种可能的实现方式中，在所述获取目标对象更新后的姿态信息之前还包括：
82.渲染所述全景画布区域对应的初始渲染画面。
83.本公开实施例中，在全景画布区域渲染初始渲染画面，包括在目标对象的360度范围内渲染画面。所述初始渲染画面可以包括静态的画面，也可以包括动态的视频画面，本公开对此不做限制。在一个示例中，所述初始渲染画面可以包括低显示频率、低显示分辨率的画面，当确定第一画布区域之后，将第一画布区域对应的渲染画面的显示频率和显示分辨率增加。在另一个示例中，所述初始渲染画面可以包括高显示频率、高显示分辨率的画面，当确定第一画布区域之后，对应的第二画布区域也确定。进而将第二画布区域对应的渲染画面的显示频率和显示分辨率降低。
84.通过本公开实施例，可以在设备初始运行时，渲染全景画布区域，有助于在切换画面时，提高显示结果的流畅度。
85.在一种可能的实现方式中，所述扩展现实设备包括主处理器和可扩展的从处理器，
86.利用所述主处理器渲染所述全景画布区域对应的初始渲染画面；
87.利用所述可扩展的从处理器渲染所述第一画布区域对应的渲染画面。
88.本公开实施例中，所述处理器可以包括具有处理能力的计算机器件或组件，例如cpu、gpu等。本公开实施例中，初始画面的渲染和渲染画面的更新采用不同的处理器完成。其中利用主处理器更新所述第一画布区域对应的显示参数，以及利用主处理器更新第二画布区域对应的显示参数。利用可扩展的从处理器渲染第一画布区域对应的渲染画面。
89.本公开实施例，两处理器分别执行不同的计算任务，有利于当计算任务增加时，对现有的扩展现实设备的算力拓展，提高了拓展现实设备对不同渲染场景的适用度。
90.在一种可能的实现方式中，所述方法还包括：
91.基于更新后的显示参数，在所述第一画布区域显示所述更新后的渲染画面。
92.本公开实施例中，所述更新后的显示参数可以包括提高了显示频率的显示参数或提高了显示分辨率的显示参数。利用更新后的显示参数将更新后的渲染画面的显示精度提高。可以提高第一画布区域的显示效果。同时，对第二画布区域的显示频率降低，或显示分
辨率降低，可以节省可扩展设备的算力，从而提高画面切换的流畅度。
93.图4是根据另一示例性实施例示出的一种渲染画面的更新方法的流程图。参考图4所述，所述方法包括：
94.步骤s401，主处理器渲染全景画布区域。
95.本公开实施例中，在全景画布区域渲染初始渲染画面，包括在目标对象的360度范围内渲染画面。所述初始渲染画面可以包括静态的画面，也可以包括动态的视频画面，本公开对此不做限制。
96.步骤s403，获取姿态信息。
97.本公开实施例中，所述姿态信息可以包括目标对象的身体姿势信息，例如身体的倾斜、扭转、跳跃等；进一步还可以包括目标对象的头部信息，例如面部的朝向，以及眼部信息，例如眼球追踪信息。
98.本公开实施例中，根据姿态信息的更新，更新显示参数具体可以包括：所述更新所述第一画布区域对应的显示参数可以包括更新第一画布区域的显示参数，以提高其显示精度和流畅度，具体可以包括提高显示分辨率，提高显示频率，降低显示延迟中的一个或几个。在另一个示例中，所述更新所述第一画布区域的显示参数还可以包括保持所述第一画布区域的显示参数不变，更新第二画布区域的显示参数，以降低其显示精度和流畅度，可以包括降低显示分辨率，降低第二画布区域显示频率，增加显示延迟中的一个或几个。在其他一些实施例中，对第一画布区域的显示参数的更新和对第二画布区域的显示参数的更新可以同时执行或执行其中的一种，本公开对此不做限制。
99.步骤s405，从处理器渲染第一画布区域。
100.本公开实施例中，所述处理器可以包括具有处理能力的计算机器件或组件，例如cpu、gpu等。本公开实施例中，初始画面的渲染和渲染画面的更新采用不同的处理器完成。其中利用主处理器更新所述第一画布区域对应的显示参数，以及利用主处理器更新第二画布区域对应的显示参数。利用可扩展的从处理器渲染第一画布区域对应的渲染画面。
101.步骤s407，显示第一画布区域对应的渲染画面。
102.本公开实施例中，所述更新后的显示参数可以包括提高了显示频率的显示参数或提高了显示分辨率的显示参数。利用更新后的显示参数将更新后的渲染画面的显示精度提高。可以提高第一画布区域的显示效果。同时，对第二画布区域的显示频率降低，或显示分辨率降低，可以节省可扩展设备的算力，从而提高画面切换的流畅度。
103.应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
104.可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
105.基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的渲染画
面的更新的渲染画面的更新装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的渲染画面的更新装置实施例中的具体限定可以参见上文中对于目标账户识别方法的限定，在此不再赘述。
106.所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
107.图5是根据一示例性实施例示出的一种渲染画面的更新装置的框图。参照图5，该装置包括：
108.获取模块501，用于获取目标对象更新后的姿态信息；
109.确定模块503，用于根据所述姿态信息，确定第一画布区域，其中，所述第一画布区域为所述目标对象在所述姿态信息下的视场角范围区域；
110.更新模块505，用于更新所述第一画布区域对应的显示参数及初始渲染画面，得到更新后的渲染画面。
111.在一种可能的实现方式中，所述更新模块，包括：
112.第一调整子模块，用于提高所述第一画布区域对应的显示分辨率和/或降低第二画布区域对应的显示分辨率，其中，所述第二画布区域为全景画布区域中除所述第一画布区域以外的画布区域。
113.在一种可能的实现方式中，所述更新模块，包括：
114.第二调整子模块，提高所述第一画布区域对应的显示频率和/或降低第二画布区域对应的显示频率。
115.在一种可能的实现方式中，所述确定模块，包括：
116.获取子模块，用于获取目标对象所佩戴的所述扩展现实设备的视场角参数；
117.确定子模块，用于根据所述姿态信息以及所述第一画布区域，确定第一画布区域。
118.在一种可能的实现方式中，还包括：
119.渲染模块，用于渲染所述全景画布区域对应的初始渲染画面。
120.在一种可能的实现方式中，所述扩展现实设备包括主处理器和可扩展的从处理器，所述更新模块，包括：
121.第一更新子模块，用于利用所述主处理器更新所述第一画布区域对应的显示参数；
122.第二更新子模块，用于利用所述可扩展的从处理器更新所述第一画布区域对应的初始渲染画面。
123.在一种可能的实现方式中，还包括：
124.显示模块，用于基于更新后的显示参数，在所述第一画布区域显示所述更新后的渲染画面。
125.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法
的实施例中进行了详细描述，此处将不做详细阐述说明。
126.图6是根据一示例性实施例示出的一种用于渲染画面的更新的扩展现实设备600的框图。例如，扩展现实设备600可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
127.参照图6，扩展现实设备600可以包括以下一个或多个组件：处理组件602、存储器604、电源组件606、多媒体组件608、音频组件610、输入/输出(i/o)的接口612、传感器组件614以及通信组件616。
128.处理组件602通常控制扩展现实设备600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
129.存储器604被配置为存储各种类型的数据以支持在扩展现实设备600的操作。这些数据的示例包括用于在扩展现实设备600上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
130.电源组件606为扩展现实设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为扩展现实设备600生成、管理和分配电力相关联的组件。
131.多媒体组件608包括在所述扩展现实设备600和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括前置摄像头和/或后置摄像头。当扩展现实设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
132.音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括麦克风(mic)，当扩展现实设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括扬声器，用于输出音频信号。
133.i/o接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
134.传感器组件614包括一个或多个传感器，用于为扩展现实设备600提供各个方面的状态评估。例如，传感器组件614可以检测到扩展现实设备600的打开/关闭状态，组件的相对定位，例如所述组件为扩展现实设备600的显示器和小键盘，传感器组件614还可以检测
扩展现实设备600或扩展现实设备600组件的位置改变，用户与扩展现实设备600接触的存在或不存在，设备600方位或加速/减速和扩展现实设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器、各种摄像头、红外传感器、雷达传感器、加速度传感器、眼球追踪传感器以及虹膜识别传感器等
135.通信组件616被配置为便于扩展现实设备600和其他设备之间有线或无线方式的通信。扩展现实设备600可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
136.在示例性实施例中，扩展现实设备600可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
137.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器604，上述指令可由扩展现实设备600的处理器620执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
138.在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由扩展现实设备600的处理器620执行以完成上述方法。
139.需要说明的，上述的装置、扩展现实设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
140.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
141.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。