虚拟和增强现实个性化和定制化健身训练活动或游戏、方法、设备和系统与流程

虚拟和增强现实个性化和定制化健身训练活动或游戏、方法、设备和系统
1.版权通知
2.本专利文档的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对该专利文档或专利公开内容进行传真复制，因为它在专利和商标局专利文件或记录中出现，但是保留所有版权权利。
3.相关申请
4.本技术要求于2020年4月22日提交的美国临时专利申请no.63/014,046的权益，出于所有目的，该申请的全部内容通过引用完全并入本文。
技术领域
5.本发明总体上涉及虚拟现实(vr)，更具体地涉及支持在vr环境中的锻炼和训练的方法、系统和设备。


背景技术：

6.虚拟和增强现实设备允许用户观看虚拟环境并与虚拟环境交互。用户可以有效地将自己沉浸在非现实环境中并与该环境交互。例如，用户可以在虚拟环境中交互(例如，玩游戏)，在虚拟环境中用户的现实世界移动被转换成虚拟世界中的移动。因此，例如，用户可以通过他们的现实世界移动在虚拟环境中模拟网球比赛或击剑等。
7.用户可以用诸如虚拟现实(vr)头戴设备或增强现实(ar)眼镜等的可佩戴vr/ar设备(通常被称为头戴式显示器(hmd)看他们的虚拟环境的视图。
8.人们应该经常锻炼，许多人在健身房、学校等参加集体或个人锻炼程序。在这些程序中，通常由可以监测、指导和鼓励参与者的人(例如，教练)通过锻炼例程来指导和引导用户。好的教练或指导员可以为用户定制例程并且可以基于用户的表现修改例程。然而，在一些情况下(例如，在流行病隔离期间)，用户可能无法或不愿意参加此类程序。
9.令人希望的、本发明的目的是提供指导和引导的个性化锻炼例程。
10.进一步令人希望的、本发明的另一目的是监测使用此类例程的用户，并在需要时修改该例程和根据需要修改该例程。


技术实现要素：

11.在权利要求以及以下描述中详细说明了本发明。在从属权利要求和各种实施例的描述中特别说明了优选实施例。
12.一个或更多个计算机的系统可以被配置为凭借将软件、固件、硬件或它们的组合安装在该系统上来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使该系统执行动作。一个或更多个计算机程序可以被配置为凭借包括当由数据处理装置执行时使该装置执行动作的指令来执行特定操作或动作。
13.一般方面包括一种计算机实现的方法，该方法包括：(a)确定关于在现实世界环境
中佩戴用户设备的人的校准信息，其中，用户设备可以包括由人佩戴的虚拟现实(vr)头戴设备。该方法还包括：(b)基于所述校准信息确定该人的例程，其中，该例程可以包括一系列事件。该方法还包括：(c)经由vr头戴设备将与来自例程的事件相关联的对象呈现给虚拟世界中的人。该方法还包括：(d)在vr头戴设备上显现人与虚拟世界中的对象的虚拟交互的方面。该方法还包括：(e)分析与对象的虚拟交互。该方法还包括：(f)基于所述分析，实时确定所述例程的一个或更多个下一事件。
14.实施方式和/或实施例可以单独地或组合地包括以下特征中的一项或更多项：
15.·
该方法可以包括重复动作(c)、(d)、(e)和(f)直到例程完成或人停止。
16.·
该方法中，由人佩戴或持有的至少一个vr手持式控制器。
17.·
该方法包括直接跟踪人的至少一只手。
18.·
该方法中，校准信息包括以下中的一项或更多项：高度、垂直伸展、左弓步信息、右弓步信息和深蹲信息。
19.·
该方法中，例程可以包括按时间顺序排列的一系列事件。
20.·
该方法中，用户设备可以包括由人佩戴或持有的两个vr手持式控制器。
21.·
该方法中，分析与对象的虚拟交互可以包括：识别并分析人的移动以确定移动数据；以及将移动数据映射到虚拟世界。
22.·
该方法中，该方法可以包括：基于所述分析，向该人提供反馈。
23.·
该方法中，该方法可以包括：确定该人的表现水平。
24.·
该方法中，表现水平基于相对于与对象的预期或期望交互的人与对象的虚拟交互。
25.·
该方法中，基于该人的表现水平确定所述例程的一个或更多个下一事件。
26.·
该方法中，表现水平还基于与人相关联的生理数据。
27.·
该方法中，事件具有与事件相关联的对应对象。
28.·
该方法中，该对象可以包括以下中的一个：击打对象；深蹲对象；或弓步对象。
29.·
该方法中，击打对象可以包括击打方向。
30.·
该方法中，击打对象可以包括尾状曲线。
31.·
该方法中，当对象可以包括击打对象时，分析与对象的虚拟交互可以包括：确定人是否用由至少一个vr手持式控制器控制的虚拟棒在击打方向上虚拟击打对象，以及人是否跟随虚拟击打。
32.·
该方法中，当对象可以包括击打对象时，分析与对象的虚拟交互可以包括：确定人是否用由至少一个vr手持式控制器控制的虚拟棒在击打方向上虚拟击打对象。
33.·
该方法中，深蹲对象可以包括对称三角形。
34.·
该方法中，弓步对象可以包括非对称三角形。
35.·
该方法中，当对象可以包括击打对象时，分析与对象的虚拟交互可以包括：确定人是否用由至少一个vr手持式控制器控制的虚拟棒虚拟击打对象。
36.·
该方法中，当对象可以包括深蹲对象时，分析与对象的虚拟交互可以包括：在深蹲对象在虚拟世界中通过人时，确定人的深蹲量。
37.·
该方法中，当对象可以包括弓步对象时，分析与对象的虚拟交互的方法可以包括：在弓步对象在虚拟世界中通过人时，确定人的弓步量和方向。
38.·
该方法中，深蹲对象或弓步对象可以包括保持形状，其中分析与对象的虚拟交互可以包括：在对象在虚拟世界中通过人时，确定人的深蹲量和持续时间或弓步量和持续时间。
39.·
该方法中，对象具有与对象相关联的源位置，其中，对象呈现在vr头戴设备上以出现在虚拟世界中的源位置处并从该源位置朝向该人。
40.·
该方法中，对象具有与对象相关联的速度，其中，该对象呈现在vr头戴设备上，以该速度出现在虚拟世界中的人处并朝向该人。
41.·
该方法中，例程可以包括健身例程或锻炼例程。
42.另一一般方面包括一种计算机实现的方法，该方法包括：(a)在现实世界环境中提供用户设备，其中，用户设备可以包括由人佩戴的虚拟现实(vr)头戴设备，vr头戴设备能够通过vr头戴设备向人提供场景和对象的图像以生成虚拟世界的视觉表示。该方法还包括：(b)确定人使用vr头戴设备在虚拟世界中观看的视觉例程，视觉例程可以包括人可以使用规定动作与多个对象交互的多个对象。该方法还包括：(c)在虚拟世界中，向人呈现多个对象中的第一对象。该方法还包括：(d)允许人与虚拟世界中的第一对象虚拟交互。该方法还包括：(e)测量人与所呈现的第一对象之间的虚拟交互的方面。该方法还包括：(f)分析所测量的虚拟交互的方面。该方法还包括：(g)基于分析，在虚拟世界中，实时向人呈现多个对象中的第二对象。
43.实施方式和/或实施例可以单独地和/或组合地包括以下特征中的一项或更多项：
44.该计算机实现的方法可以包括：对于该视觉例程的多个对象中的多个对象重复动作(c)-(g)。多个对象可以包括一系列对象。用户的规定动作可以包括击打第一对象的摇摆运动，其中所测量的方面包括相对于第一对象的摇摆运动的方向。用户的规定动作可以包括击打第一对象的摇摆运动，其中所测量的方面包括相对于第一对象的摇摆运动的速度。用户的规定动作可以包括击打第一对象的摇摆运动，其中所测量的方面包括相对于第一对象的摇摆运动的长度。第一对象可以包括三角形形状，用户的规定动作可以深蹲运动，以及所测量的方面包括深蹲运动相对于三角形形状的顶点的垂直位移。第一对象可包括三角形形状，其中用户的规定动作可包括弓步运动，其中所测量的方面包括用户的头部相对于三角形形状的顶点的位置的相对定位。第一对象包括向用户指示相对于第一对象的摇摆动作的方向的视觉标记。在虚拟世界内的第一入口处生成第一对象，其中第一对象包括向用户指示相对于第一对象的摇摆动作的方向的视觉标记。
45.另一一般方面包括一种计算机实现，该计算机实现包括：(a)在现实世界环境中提供用户设备，其中，用户设备可以包括由人佩戴的虚拟现实(vr)头戴设备，vr头戴设备能够通过vr头戴设备向人提供场景和对象的图像以生成虚拟世界的视觉表示。该方法还包括：(b)确定人使用vr头戴设备在虚拟世界中观看的视觉例程，视觉例程可包括多个三角形，三角形中的每个具有定义的形状和顶点。该方法还包括：(c)在视觉例程期间，确定vr头戴设备在虚拟世界中的定位。该方法还包括：(d)基于(c)中的确定，向虚拟世界中的人呈现多个三角形中的第一三角形。该方法还包括：(e)允许人与虚拟世界中所呈现的第一三角形虚拟交互。该方法还包括：(f)将vr头戴设备的定位相对于第一三角形的顶点的位置进行比较。该方法还包括：(g)记录(f)中的比较的结果。
46.实施方式和/或实施例可以单独地和/或组合地包括以下特征中的一项或更多项：
47.该方法中，(e)中的允许可以包括：通过在现实世界中定位人的身体直到vr头戴设备被定位在所呈现的第一三角形的顶点的位置下方并邻近顶点的位置，来允许人与虚拟世界中所呈现的第一三角形虚拟交互。
48.另一一般方面包括一种计算机实现的方法，该方法包括：(a)在现实世界环境中提供用户设备，其中，用户设备可以包括由人佩戴的虚拟现实(vr)头戴设备，vr头戴设备能够通过vr头戴设备向人提供场景和对象的图像以生成虚拟世界的视觉表示。该方法还包括：(b)确定人使用vr头戴设备在虚拟世界中观看的视觉例程，视觉例程可以包括一系列对象，对象从第一入口和第二入口中的一个生成，对象中的每个朝向虚拟世界中的人前进。该方法还包括：(c)在虚拟世界中，将来自第一入口的第一对象呈现给人。该方法还包括：(d)在第一对象上提供第二入口的位置的指示。该方法还包括：(e)在虚拟世界中，将来自第二入口的第二对象呈现给人。
49.实施方式和/或实施例可以单独地和/或组合地包括以下特征中的一项或更多项：计算机实现的方法可以包括：针对视觉例程的多个对象重复动作(c)-(e)。在(d)中，第一对象的指示可以包括箭头形状。在(d)中，第一对象的指示可以包括三角形形状。
50.所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
51.以上所描述的这些方面的其他实施例包括对应的计算机系统、装置、和记录在一个或更多个计算机存储设备上的计算机程序，计算机系统、装置、和计算机程序均被配置为执行方法的动作。
52.技术读者将理解，以上或以下所描述和/或所要求并描述为步骤或动作的序列的任何方法在步骤或动作的顺序的意义上不是限制性的。
53.以下是方法或过程实施例的列表。那些将用字母“p”指示。每当提及这种实施例时，这将通过参考“p”实施例来完成。
54.p1.一种计算机实现的方法，包括：
55.(a)确定在现实世界环境中佩戴用户设备的人的例程，其中，用户设备包括由人佩戴的虚拟现实(vr)头戴设备；
56.(b)经由vr头戴设备，在虚拟世界中向人呈现与来自例程的事件相关联的对象；以及
57.(c)在vr头戴设备上显现人与虚拟世界中的对象的虚拟交互的方面；
58.(d)分析与对象的虚拟交互；以及
59.(e)基于分析，实时确定例程的一个或更多个下一事件。
60.p2.根据前述实施例中任一项的方法，还包括重复动作(b)、(c)、(d)和(e)，直至例程完成或人停止。
61.p3.根据前述实施例中任一项的方法，还包括：
62.(x)确定关于在现实世界环境中佩戴用户设备的人的校准信息，其中，
63.(a)中的确定基于校准信息。
64.p4.根据实施例p3的方法，其中，校准信息包括以下中的一项或更多项：高度、垂直伸展、左弓步信息、右弓步信息和深蹲信息。
65.p5.根据前述实施例中任一项的方法，其中，例程包括按时间顺序排列的一系列事
件。
66.p6.根据前述实施例中任一项的方法，其中，用户设备包括由人佩戴或者持有的至少一个vr手持式控制器。
67.p7.根据实施例p6的方法，其中，至少一个vr手持式控制器基于人与对象的预期虚拟交互被显现在虚拟世界中。
68.p8.根据前述实施例中任一项的方法，其中，分析与对象的虚拟交互包括：
69.识别并分析人的移动以确定移动数据；以及
70.将移动数据映射到虚拟世界。
71.p9.根据前述实施例中任一项的方法，还包括：基于分析，将反馈提供至人。
72.p10.根据前述实施例中任一项的方法，还包括：确定人的表现水平。
73.p11.根据前述实施例中任一项的方法，其中，使用表现水平来确定例程的一个或更多个下一事件。
74.p12.根据前述实施例中任一项的方法，其中，表现水平基于相对于与对象的预期交互或期望交互的人与对象的虚拟交互。
75.p13.根据前述实施例中任一项的方法，其中，基于人的表现水平确定例程的一个或更多个下一事件。
76.p14.根据前述实施例中任一项的方法，其中，事件具有与事件相关联的对应对象。
77.p15.根据前述实施例中任一项的方法，其中，对象包括以下中的一个：击打对象；深蹲对象；或弓步对象。
78.p16.根据前述实施例中任一项的方法，其中，击打对象包括击打方向。p17.根据前述实施例中任一项的方法，其中，击打对象包括尾状曲线。p18.根据前述实施例中任一项的方法，其中，深蹲对象包括对称三角形。p19.根据前述实施例中任一项的方法，其中，弓步对象包括非对称三角形。
79.p20.根据前述实施例中任一项的方法，其中，对象具有与对象相关联的源位置，其中，对象呈现在vr头戴设备上以出现在虚拟世界中的源位置处并从源位置朝向人。
80.p21.根据前述实施例中任一项的方法，其中，对象具有与对象相关联的速度，其中，对象呈现在vr头戴设备上以该速度出现在虚拟世界中的人处并朝向该人。
81.p22.根据前述实施例中任一项的方法，其中，当对象包括击打对象时，分析与对象的虚拟交互包括：确定对象是否被人虚拟击打。
82.p23.根据前述实施例中任一项的方法，其中，分析与对象的虚拟交互包括：确定对象是否被由人佩戴或持有的至少一个vr手持式控制器控制的虚拟棒虚拟击打。
83.p24.根据前述实施例中任一项的方法，其中，当对象包括击打对象时，分析与对象的虚拟交互包括：确定对象是否被人在击打方向上虚拟击打。
84.p25.根据前述实施例中任一项的方法，其中，当对象包括击打对象时，分析与对象的虚拟交互包括：确定对象是否被由人佩戴或持有的至少一个vr手持式控制器控制的虚拟棒在击打方向上虚拟击打。
85.p26.根据前述实施例中任一项的方法，其中，当对象包括击打对象时，分析与对象的虚拟交互包括：确定对象是否被由至少一个vr手持式控制器控制的虚拟棒在击打方向上虚拟击打，以及人是否跟随虚拟击打。p27.根据前述实施例中任一项的方法，其中，表现水
平还基于与人相关联的生理数据。
86.p28.根据前述实施例中任一项的方法，其中，当对象包括深蹲对象时，分析与对象的虚拟交互包括：在深蹲对象在虚拟世界中通过人时，确定人的深蹲量。
87.p29.根据前述实施例中任一项的方法，其中，当对象包括弓步对象时，分析与对象的虚拟交互包括：在弓步对象在虚拟世界中通过人时，确定人的弓步量和弓步方向。
88.p30.根据前述实施例中任一项的方法，其中，弓步对象包括三角形，其中，确定弓步量和/或弓步方向是基于人的头部在虚拟世界中相对于三角形的顶点的定位。
89.p31.根据前述实施例中任一项的方法，其中，深蹲对象或弓步对象包括保持形状，其中，分析与对象的虚拟交互包括：在对象在虚拟世界中通过人时，确定人的深蹲量或弓步量以及人的深蹲持续时间或弓步持续时间。
90.p32.根据前述实施例中任一项的方法，其中，对象在虚拟世界中被呈现为来自虚拟世界中的第一位置，其中，对象包括在虚拟世界中用于将被呈现的后续对象的第二位置的指示。
91.p33.根据实施例p32的方法，其中，第二位置的指示包括箭头。
92.p34.根据前述实施例中任一项的方法，其中，该例程包括健身例程或锻炼例程。
93.p35.一种计算机实现的方法，包括：
94.(a)在现实世界环境中提供用户设备，其中，用户设备包括由人佩戴的虚拟现实(vr)头戴设备，vr头戴设备能够通过vr头戴设备向人提供场景和对象的图像以生成虚拟世界的视觉表示；
95.(b)确定人使用vr头戴设备在虚拟世界中观看的视觉例程，视觉例程包括多个对象，人可以使用规定动作与多个对象交互；
96.(c)在虚拟世界中，向人呈现多个对象中的第一对象；
97.(d)允许人与虚拟世界中的第一对象虚拟交互；
98.(e)测量人与所呈现的第一对象之间的虚拟交互的方面；
99.(f)分析所测量的虚拟交互的方面；以及
100.(g)基于分析，在所述虚拟世界中，实时向人呈现多个对象中的第二对象。
101.p36.根据实施例p35的计算机实现的方法，还包括：针对视觉例程的多个对象中的多个对象重复动作(c)-(g)。
102.p37.根据实施例p35-p36中任一项的计算机实现的方法，其中，多个对象包括一系列对象。
103.p38.根据实施例p35-p37中任一项的计算机实现的方法，其中，用户的规定动作包括击打第一对象的摇摆运动，其中，所测量的方面包括相对于第一对象的摇摆运动的方向。
104.p39.根据实施例p35-p38中任一项的计算机实现的方法，其中，用户的规定动作包括击打第一对象的摇摆运动，其中，所测量的方面包括相对于第一对象的摇摆运动的速度。
105.p40.根据实施例p35-p40中任一项的计算机实现的方法，其中，用户的规定动作包括击打第一对象的摇摆运动，其中，所测量的方面包括相对于第一对象的摇摆运动的长度。
106.p41.根据实施例p35-p40中任一项的计算机实现的方法，其中，第一对象包括三角形形状，用户的规定动作包括深蹲运动，其中，所测量的方面包括深蹲运动相对于三角形形状的顶点的垂直位移。
107.p42.根据实施例p35-p41中任一项的计算机实现的方法，其中，第一对象包括三角形形状，其中，用户的规定动作包括弓步运动，其中，所测量的方面包括用户的头部相对于三角形形状的顶点的位置的相对定位。
108.p43.根据实施例p35-p42中任一项的计算机实现的方法，其中，第一对象包括向用户指示相对于第一对象的摇摆动作的方向的视觉标记。
109.p44.根据实施例p35-p43中任一项的计算机实现的方法，其中，在虚拟世界内的第一入口处生成第一对象，其中，第一对象包括向用户指示相对于第一对象的摇摆动作的方向的视觉标记。
110.p45.一种计算机实现的方法，包括：
111.(a)在现实世界环境中提供用户设备，其中，用户设备包括由人佩戴的虚拟现实(vr)头戴设备，vr头戴设备能够通过vr头戴设备向人提供场景和对象的图像以生成虚拟世界的视觉表示；
112.(b)确定人使用vr头戴设备在虚拟世界中观看的视觉例程，视觉例程包括多个三角形，三角形中的每个具有定义的形状和顶点；
113.(c)在视觉例程期间，确定vr头戴设备在虚拟世界中的定位；
114.(d)基于(c)中的确定，在虚拟世界中向人呈现多个三角形中的第一三角形；
115.(e)允许人与虚拟世界中所呈现的第一三角形虚拟交互；
116.(f)将vr头戴设备的定位相对于第一三角形的顶点的位置进行比较；以及
117.(g)记录(f)中的比较的结果。
118.p46.根据实施例p45的方法，其中，在(e)中允许包括：通过在现实世界中定位人的身体直到vr头戴设备被定位在所呈现的第一三角形的顶点的位置下方并邻近顶点的位置，来允许人与虚拟世界中所呈现的第一三角形虚拟交互。
119.p47.一种计算机实现的方法，包括：
120.(a)在现实世界环境中提供用户设备，其中，用户设备包括由人佩戴的虚拟现实(vr)头戴设备，vr头戴设备能够通过vr头戴设备向人提供场景和对象的图像以生成虚拟世界的视觉表示；
121.(b)确定人使用vr头戴设备在虚拟世界中观看的视觉例程，视觉例程包括一系列对象，对象从第一入口和第二入口中的一个生成，在虚拟世界中，对象中的每个朝向人前进；
122.(c)在虚拟世界中，将来自第一入口的第一对象呈现给人；
123.(d)在第一对象上提供第二入口的位置的指示；以及
124.(e)在虚拟世界中，将来自第二入口的第二对象呈现给人。
125.p48.根据实施例p47的计算机实现的方法，还包括：针对视觉例程的多个对象重复动作(c)、(d)和(e)。
126.p49.根据实施例p47-p48中任一项的计算机实现的方法，其中，在(d)中，第一对象的指示包括箭头形状。
127.p50.根据实施例p47-p49中任一项的计算机实现的方法，其中，在(d)中，第一对象上的指示包括三角形形状。
128.以下是用字母“d”指示的设备实施例。
129.d51.一种设备，包括：
130.(a)硬件，该硬件包括存储器和至少一个处理器，以及
131.(b)服务，所述服务运行在所述硬件上，其中，服务被配置为执行前述方法实施例p1-p50中任一项的方法。
132.以下是用字母“m”指示的制品实施例。
133.m52.一种制品，该制品包括非暂时性计算机可读介质，非暂时性计算机可读介质存储有计算机可读指令，计算机可读指令包括用于实现计算机实现的方法的指令，方法可以在包括硬件的设备上操作，硬件包括存储器和至少一个处理器，在硬件上运行服务，方法包括前述方法实施例p1-p50中任一项的方法。
134.以下是用字母“r”指示的计算机可读记录介质实施例。
135.r53.一种非暂时性计算机可读记录介质，该非暂时性计算机可读记录介质存储一个或更多个程序，当执行一个或更多个程序时使一个或更多个处理器至少执行前述方法实施例p1-p50中任一项的方法。
136.以上特征连同本发明的附加细节在本文的示例中进一步描述，示例旨在进一步说明本发明但不旨在以任何方式限制其范围。
附图说明
137.在参考附图考虑以下描述和所附权利要求时，本发明的目的、特征、以及特性，连同结构的相关元件的操作方法和功能，以及零件的组合和制造的经济性将变得更加明显，所有这些形成本说明书的一部分。
138.图1描绘了根据本发明的示例性实施例的虚拟现实个性化和定制化训练系统的方面；
139.图2描绘了根据本发明的示例性实施例的训练系统的方面；
140.图3描绘了根据本发明的示例性实施例的映射和转换遥测数据的方面；
141.图4a-图4b描绘了根据本发明的示例性实施例的训练系统的示例性数据结构的方面；
142.图5a-图5n描绘了根据本发明的示例性实施例的训练系统的示例性对象；
143.图6a-图6h描绘了根据本发明的示例性实施例的虚拟现实个性化和定制化训练系统的方面；
144.图7a-图7f是本发明的示例性方面的流程图；
145.图8a-图8d、图9a-图9f、图10a-图10h、图11a-图11d、图12a-图12c、图13a-图13c、图14a-图14c和图15a-图15b是本发明的实施方式的方面的屏幕截图或图像；以及
146.图16是描绘计算机系统的方面的逻辑框图。
具体实施方式
147.术语表和缩写
148.如本文所使用的，除非另有规定，否则以下术语或缩写具有以下含义：
[0149]“ar”意指增强现实。
[0150]“vr”意指虚拟现实。
[0151]“机制”是指任何设备、过程、例程、服务或其组合。机制可以在硬件、软件、固件、使用专用设备或其任何组合中实现。机制可以集成到单个设备中或者机制可以分布在多个设备上。机制的不同组件可以位于同一位置或分布。该机制可以由其他机制形成。通常，如本文所使用的，术语“机制”因此可以被认为是术语设备和/或过程和/或服务的简写。
[0152]
描述
[0153]
在下文中，将参考附图描述本发明的示例性实施例。提供这些示例是为了提供对本发明的进一步理解，而不限制其范围。
[0154]
在以下描述中，描述了一系列特征和/或步骤。本领域技术人员将理解，除非上下文要求，否则特征和步骤的顺序对于所得配置和其效果不是关键的。进一步地，对于本领域技术人员来说将显而易见的是，无论特征和步骤的顺序如何，步骤之间的时间延迟的存在或不存在都可能存在于所描述的步骤中的一些或全部之间。
[0155]
应理解的是，可以对本发明的上述实施例进行变型，同时仍然落入本发明的范围内。除非另有规定，否则，用作相同、等效或类似目的的替代特征可代替本说明书中公开的特征。因此，除非另有说明，否则所公开的每个特征表示一般系列的等效或类似特征的一个示例。
[0156]
现在参考图1描述了支持用于虚拟和增强现实个性化和定制化健身训练系统的实时虚拟现实(vr)环境100的系统，其中，现实世界环境或空间112中的人(vr用户)102使用vr设备或头戴设备104来观看虚拟环境并与虚拟环境交互/在虚拟环境中交互。vr头戴设备104可以例如经由接入点108(例如，wi-fi接入点等)(有线地和/或无线地)连接至训练系统106。由于用户的活动可以包括许多移动，因此vr头戴设备104优选地无线地连接到接入点108。在一些情况下，vr头戴设备104可以经由用户设备或计算机系统(未示出)连接到训练系统106。虽然示出为单独的组件，但是在一些实施例中，接入点108可以被结合到vr头戴设备104中。
[0157]
vr头戴设备104中的传感器(图中未示出)和/或用户环境中的其他传感器110可以跟踪vr用户的实际移动(例如，头部移动等)和其他信息。vr头戴设备104优选地在没有外部传感器的情况下提供用户跟踪。在目前优选的实施方式中，vr头戴设备104是由facebook科技有限责任公司制造的oculus quest头戴设备。
[0158]
来自vr头戴设备104的跟踪或遥测数据可以被实时地(作为数据118的全部或一部分)提供给训练系统106。
[0159]
类似地，来自传感器110的数据还可以(例如，经由接入点108)被提供给训练系统106。
[0160]
用户102还可以具有一个或两个手持式设备114-1、114-2(统称为手持式设备和/或控制器114)(例如，oculus触摸控制器)。来自手持式控制器114的手部移动信息和/或控制信息可以与数据118一起(例如，经由接入点108)被提供给训练系统106。
[0161]
在一些实施例中，来自手持式控制器114的手部移动信息和/或控制信息可以被提供至vr头戴设备104或另一个计算设备，vr头戴设备104或另一个计算设备然后可以将该信息提供至训练系统106。在这样的情况下，手持式控制器114可以与vr头戴设备104无线通信。
[0162]
在一些实施例中，可以通过跟踪用户的一只或两只手来确定用户的手部移动信息
中的至少一些(例如，如果用户在他们的一只或两只手上/中没有手持式控制器114，则可以例如使用3d跟踪直接跟踪无控制器的手)。
[0163]
虽然这里被描述为使用一个或两个手持式控制器114，但在阅读本说明书之后，本领域的技术人员将理解，用户可以不具有手持式控制器或可以仅具有一个手持式控制器。此外，即使当用户在他们的手中/上具有手持式控制器时，也可以(或替代地)直接跟踪该手。
[0164]
vr头戴设备104为vr用户102呈现对应于该vr用户的虚拟或增强环境的视图124。
[0165]
优选地，vr用户的虚拟环境的视图124被示出为好像从vr用户102的位置、视角和取向看到的。vr用户的视图124可以被提供为vr视图或增强视图(例如，ar视图)。
[0166]
在一些实施例中，用户102可以在vr用户的虚拟环境中执行活动，诸如锻炼例程或游戏等。训练系统106可将锻炼例程信息提供给vr头戴设备104。在当前优选实施例中，活动系统126可以(例如，经由网络119和接入点108)将所谓的搏动图(beatmap)和/或其他信息128提供给头戴设备。
[0167]
当用户通过诸如锻炼例程的活动进行时，vr头戴设备104可以存储关于vr头戴设备104的定位和取向以及用户的左手和右手的控制器114的定位和取向的信息。
[0168]
在本实施方式中，用户的活动(和搏动图)被划分成区段(例如，20秒区段)，并且该信息在区段内以高频率(例如，72hz)被收集和存储。vr头戴设备104还可以以相同或类似的频率存储关于随时间变化的目标、入口和所有对象的位置、它们在空间中的何处、是否有任何物体被击打等的信息。所收集的信息允许健身系统在该区段的空间中的任何时刻评估和/或重新创建场景。
[0169]
随着用户的活动/锻炼继续，所收集的信息然后可作为数据118的全部或一部分优选地被实时发送至训练系统106，并且这些区段中的几个可在活动/锻炼的过程中被发送至训练系统106。提供给训练系统106的数据118优选地包括搏动图信息。
[0170]
训练系统106可以是后端/云框架120的一部分。
[0171]
训练系统
[0172]
如下面更详细地解释的，在一些实施方式/实施例中，健身训练系统为用户提供个性化定制的vr训练例程，在用户(在vr中)执行该例程时跟踪用户，在需要时修改例程，并且向用户提供引导。例程可能涉及用户与各种对象(虚拟地)交互，系统可以监测和评估用户的交互和移动以确定对例程的可能的修改。系统还可以在例程期间使用生理数据(例如，心率数据)来评估用户。
[0173]
参考图2，训练系统106是具有处理器202、存储器204、通信机制206等的(如以下所讨论的)计算机系统(例如，一个或更多个服务器)。在训练系统106上运行一个或更多个视频创建程序210。训练系统106可将数据存储在存储器204中的一个或更多个数据结构224中，以及从存储器204中的一个或更多个数据结构224中检索数据和/或将数据存储在一个或更多个数据库(未示出)中，以及从一个或更多个数据库(未示出)中检索数据。数据库可以包括用户数据库，用于存储和保持关于系统的用户的信息。
[0174]
尽管图1中仅示出了一个用户102，但是应当理解，视频训练系统106可以同时与多个用户交互。还应当理解，具有一个用户的训练系统106的操作的以下描述扩展到多个用户。
[0175]
训练系统106的训练程序210可以包括数据收集机制212、移动/跟踪机制214、映射和转换机制216、校准机制218、例程生成机制220、以及例程评估机制222。
[0176]
数据结构224可以包括例程数据结构226和用户数据结构228。
[0177]
在操作中，数据收集机制212从用户(例如，图1中的用户102)获得数据118(图1)。数据118可以包括用户移动/遥测数据、关于随时间变化的目标、入口和对象的位置、它们在空间中的何处、是否有任何物体被击打、它们在何处被击打以及它们被击打的程度等的信息中的至少一些。
[0178]
移动/跟踪机制214根据该数据确定或近似用户的现实世界空间112中的用户的实际移动。可相对于用户的现实世界空间112的3d坐标系116给予用户的移动。如果数据118包括来自用户的手持式控制器114的数据，则移动/跟踪机制214还可确定用户的一只或两只手在用户的现实世界空间112中的移动。在一些情况下，用户的头戴设备104可提供用户在现实世界空间112中的实际3d坐标。
[0179]
移动/跟踪机制214可以基于机器学习(ml)或用户移动的其他模型来确定或外推用户移动的各方面。例如，机器学习机制可被训练以识别某些移动和/或移动类型，然后可以基于用户102所提供的数据118用于识别那些移动。
[0180]
参考图2和图3，映射和转换机制216(图2)可以采取(如由移动/跟踪机制214确定的)移动/跟踪数据，并且将这些数据从用户的现实世界空间112中的现实世界坐标系116转换到虚拟世界312中的虚拟世界坐标系314中的对应3d坐标。
[0181]
在阅读本说明书之后本领域技术人员将理解，映射和转换机制216可以在移动/跟踪机制214之前操作或与移动/跟踪机制214结合操作。如同本文描述的所有机制，逻辑边界用于帮助描述，并非旨在限制其范围。
[0182]
出于本描述的目的，现实世界空间112中的用户的移动数据被称为用户的现实世界移动数据，虚拟世界空间312中的用户的移动数据被称为用户的虚拟移动数据。
[0183]
在一些实施例中，训练系统106还可以接收或具有其他用户数据(例如，生理数据等)并且可以使用生理数据(例如，心率、温度、出汗水平、呼吸率等)中的一些来确定或评估用户在虚拟空间中的移动和动作。可以通过由用户佩戴和/或监测用户的一个或更多个传感器121来获得这样的生理数据。传感器121可以被结合到诸如用户佩戴的手表等的另一设备中。例如，传感器121可包括心率监测器，该心率监测器包括在用户佩戴的苹果手表中。
[0184]
训练系统106可以与用户位于同一位置(例如，在同一房间中)，或者它可以完全或全部位于别处。例如，训练系统106可位于与用户不同的位置处，在这种情况下，用户的数据118可经由网络119(例如，互联网)被发送至训练系统106。尽管在优选情况下，随着数据被生成，用户的数据118被(即，实时地)提供给训练系统106，但是在一些情况下，用户的数据118可以被收集和存储在用户的位置处，然后被发送到训练系统106。当位于远离用户的位置并且经由网络访问时，训练系统106可被认为是基于云的系统。
[0185]
例程
[0186]
如上所述，健身训练系统可为用户提供个性化定制的vr训练例程。用户的例程可存储在训练系统106的存储器204中的例程数据结构226中。
[0187]
参考图4a，例程400可以包括按时间顺序排列的一系列事件402。事件402可包括源位置404和对象406。
[0188]
对象406可以包括形状408和特性410。如下所述，一些特性可以是特定于形状的。
[0189]
形状408可以是击打形状412(例如，球或圆等)或深蹲形状414(例如，对称三角形)或弓步形状416(例如，倾斜或非对称三角形)。
[0190]
弓步形状416可以具有弓步方向418(左或右)，因此可以是左弓步形状或右弓步形状。
[0191]
深蹲形状414或弓步形状416还可以包括“保持”形状420、422，“保持”形状420、422可以包括保持持续时间(未示出)。
[0192]
形状的特性410可以包括形状的速度411(即，在vr中对象或形状接近用户的速度)。
[0193]
击打形状412可以包括方向指示符424，该方向指示符424示出了该形状应当被击打的方向。击打形状412可以包括颜色426或示出应使用哪一只手来击打形状的其他指示符。
[0194]
回想起用户优选地具有两个控制器114-1和114-2(见图1)。如图所示，例如，在图6a中，在vr中，控制器以两种颜色(例如，黑色和白色)向用户(在用户的显示器124上)表示为棒或棍614-1和614-2等。用户应当尝试用与形状的颜色匹配的控制器来击打击打形状。由此，例如，用户应当尝试用他们的黑色控制器来击打黑色击打形状对象，用他们的白色控制器来击打白色击打形状对象。尽管控制器可以作为棒或棍向用户表示，但在阅读本说明书之后本领域技术人员将理解，现实的或虚拟的任何形状或对象都可以用于表示控制器。此外，在用户具有一个控制器或没有控制器的情况下，系统可以直接(例如，在3d中)跟踪用户的一只手或两只手，并且可以在vr中将用户的手表示为手或者表示为诸如棍、棒等的对象。
[0195]
击打形状412可以包括弧或尾状曲线(tail)428，指示有待用于击打该形状的击打类型(例如，流动击打或跟随击打)。
[0196]
在阅读本说明书之后本领域技术人员将理解，可以使用不同和/或其他形状和/或形状特性。
[0197]
示例击打形状412a-412h在图5a-图5h中示出，每个击打形状412a-412h示出了对应的击打方向424a-424h。例如，击打形状412a可以包括具有三角形形状的方向424a的圆形物，指示用户应当在箭头a的方向上击打对象(圆形物)。通常，三角形方向标识符的顶点示出对象应当被击打的方向。
[0198]
图5i示出了具有对应方向指示符424-i和弧502的击打形状412-i的示例。弧502可从对象的源503延伸。当击打形状具有弧时，用户应当在由对象指示符424-i指示的方向上击打对象，并且用户应当用弧运动跟随击打(而不是仅在他们接触对象时停止)，如由弧502所指示的。图9b中的屏幕截图中示出了类似的情况。
[0199]
图5j示出了示例性深蹲形状414-j。如图所示，深蹲形状优选地是具有顶点415-j的对称三角形。当向用户呈现深蹲形状414-k时(即，当深蹲形状接近vr中的用户时)，用户应当尝试深蹲，使得用户的头部在深蹲形状内部、在顶点415-j下方(例如，在三角形内部)通过。
[0200]
图5k和图5l分别示出了具有对应的顶点415-k和415-l的右弓步和左弓步形状414-k、414-l。如图所示，弓步形状优选为非对称三角形，其中三角形的短边指示期望弓步
方向。当向用户呈现弓步形状时(即，当弓步形状接近vr中的用户时)，用户应当尝试在弓步形状所指示的方向上弓步，使得用户的头部在弓步形状内部、三角形顶点下方(例如，在三角形内部)通过。因此，例如，对于左弓步形状414-l，用户应当尝试向左弓步并且弓步足够深或足够低以使他们的头部在顶点415-l下方穿过弓步形状。在图12a-图12c、图13a-图13c和图14a-图14c的屏幕截图中示出了示例性深蹲形状和弓步形状。
[0201]
图5m示出了示例性深蹲和保持形状，该深蹲和保持形状具有深蹲形状422m和保持部分504。深蹲部分422m具有与上述深蹲形状414j相同的作用。保持部分504指示用户应尝试(在vr中)保持深蹲直到保持部分已经通过。弓步形状还可包括保持部分，在这种情况下，用户应尝试保持他们的弓步直到弓步部分已经通过。
[0202]
保持部分504可由一系列重复三角形表示，其各自的顶点可位于与其他相邻三角形相同的定位，或位于不同定位。在后一种情况下，当该人通过每个三角形时，将指导用户基于每个三角形顶点的位置在不同方向上深蹲和弓步。在每种情况下，人必须定位他们的头部(vr头戴设备)，以便他们的头部在虚拟世界中通过下方，并邻近每个通过的三角形的每个各自的顶点。在图15a-图15b的屏幕截图中示出了示例性深蹲和保持形状。
[0203]
图5n是描绘了根据本发明的实施例的示例性入口转换的图示。图5n示出锻炼期间的入口转换时期，其中第一入口750可被停用(关着、关闭)，而相邻的第二入口752可被激活(开启、打开)。第二入口752可与第一入口750的关闭同时激活。第二入口752可在虚拟世界中向第一入口750的左边或右边打开，且第二入口752可处于与第一入口750相同的高度或第二入口752高于或低于第一入口750。在此转换期间，玩家756所持有的棒754用于从第一入口750击打最终击打对象758。根据另一方面，来自关闭的第一入口750的最终击打对象758可包括指向相邻打开的第二入口752的击打方向指示符760。在此示例中，由击打方向指示符760指示的方向指导或引导玩家756在箭头762的方向上击打击打对象758，箭头762指向左侧。对于一些实施方式，击打方向指示符760还可以指向打开的第二入口752。可以包括紧邻击打对象758、在击打对象758与新打开的第二入口752之间并且指向新打开的第二入口752的方向的附加方向指示符764。
[0204]
如应当理解的，该特征允许玩家756自动定向在相邻的第二入口752前面，正如第二入口打开并且可能已经向玩家756发送其第一第二入口击打对象766(由图中的箭头768指示)。由于典型锻炼的速度，根据该系统，该打开-入口-指示特征允许玩家“即时”了解出现入口打开的位置(向左或向右)，以在丢失击打对象的风险较小的情况下允许玩家在其锻炼期间保持平稳和流畅的移动。如上所述，任何数量的新入口可以打开和关闭，优选地，在入口转换期间，仅两个入口同时被打开。虽然击打方向指示符760和附加方向指示符764可以出现在用户的显示器上，但是图5m中的箭头762和768是用于说明的目的，并且将不会出现在用户的显示器上。
[0205]
虽然如本文所描述的，可以使用击打方向指示符和附加方向指示符来指示入口打开，但在阅读本说明书之后本领域技术人员将理解，即使在另一入口未打开时或在另一入口已经打开时也可以使用它们。
[0206]
图9e中还示出了显示击打方向指示符和附加方向指示符的屏幕截图。
[0207]
用户信息
[0208]
如所指出的，训练系统106数据库可以包括用于存储和维护关于系统的用户的信
息的用户数据库。训练系统106可使用关于用户的信息以定制和/或修改用户的例程。用户数据可包括图4b中的用户数据结构430中所示的一些或所有数据。具体地，用户数据可包括用户的高度432、垂直伸展433、年龄434、性别436、质量/体重438、左伸展440和右伸展442。用户可以输入一些信息(例如，他们的年龄和性别)。如下所述，例如，在校准阶段期间，一些用户信息(例如，高度432、垂直伸展433、左伸展440和右伸展442)可由训练系统106动态地确定。
[0209]
用户数据可以包括来自先前和当前训练课程的用户统计444。用户统计444可以包括分数446，该分数446包括击打分数448、深蹲分数450、弓步分数452和其他分数454。统计444还可以包括一些用户的生理信息456(例如，如从一个或更多个传感器(诸如图1中示出的传感器121)确定的用户的心率、温度、出汗水平、呼吸率等)。
[0210]
用户数据还可以包括其他杂项数据458。
[0211]
示例
[0212]
参见图6a-图6m，示出了各种示例交互。这些示例从用户的角度示出，如呈现在用户的显示器124上。用户被视为在显示器的底部中心处，其中对应于其控制器614-1和614-2的图像有时可见。
[0213]
控制器614-1和614-2可以以不同方式(例如，棍、棒、划浆、球棒、球拍、手套等)显现在用户的显示器上，并且显现可以随着活动和/或用户的技能而变化。例如，可给予不熟练用户用以击打对象的更大(或更宽)划浆。如应当理解的，系统还可能需要调整击打准确度阈值以适应不熟练的用户，使得可以实现更多的击打。图6a示出了用户的控制器614-1和614-2的视图，在这种情况下为棍或棒。如本文所使用的，用户的控制器614-1和614-2有时与它们在显示器上描绘的表示同义地使用。由此，例如，如果控制器被描绘为棍，那么当对象被控制器击打时也可给出对象被棍击打的陈述。
[0214]
在图6b的示例中，系统从入口602b向用户发送击打对象612a，如箭头a所示。入口602b是击打对象的源。击打对象612a具有由三角形形状624a指示的击打方向。击打对象612a具有与用户的左控制器614-1相同的颜色。用户应当尝试用其左控制器614-1在箭头b的方向上击打击打对象612a。图9b示出了示例性击打对象的屏幕截图。
[0215]
(在vr空间中)当用户击打对象时，对象将在其已经被击打和/或爆炸或分解的方向上移动(参见例如图10a-图10e、图11a-图11c)。在击打对象之后，可以使用各种vr效果。例如，如果用户错过对象，那么对象可表现为移动/飞行通过用户或者向该侧面反弹。
[0216]
当用户用正确的控制器(棒)在正确的方向上成功击打击打对象时，用户的击打分数448可以增加。可以基于用户击打对象的程度来给予用户更高的分数。
[0217]
在图6c的示例中，系统从入口602c向用户发送击打对象612c。对象具有与用户的右棒(对应于右控制器614-2)相同的颜色，因此用户应当尝试在由三角形形状624c指示的方向上击打对象612c。
[0218]
要注意的是，在图6c的示例中，入口602c与图6b中的入口602b不在相同的位置中。入口对应于对象的源，特定例程可使用多个不同位置中的多个入口。
[0219]
在图6d的示例中，该系统从入口602d向用户发送击打对象612d。击打对象612d具有尾状曲线(或弧)625d。为了成功地与此击打对象交互，用户应当尝试(基于对象和棒的匹配颜色)用其左棒在三角形形状624d的方向上击打击打对象612d。尾状曲线625d指示用户
应当跟随击打，优选地跟随流动运动，通常跟随特定尾状曲线的形状。图9b和图9c示出了具有尾状曲线的示例性击打对象。
[0220]
在图6e的示例中，系统从入口602e向用户发送深蹲形状614e。作为响应，用户应当尝试深蹲到对象中，使得用户看起来穿过vr空间中的对象。通过确定例如用户头部的高度和定位，系统可确定他们深蹲的程度，系统可相应地调整他们的深蹲分数450。图12a-图12c示出了用户深蹲以穿过深蹲对象的示例。
[0221]
在图6f的示例中，该系统从入口602f向用户发送右弓步形状614f。作为响应，用户应当尝试向右弓步，使得用户看起来穿过vr空间中的形状614f。例如，通过确定用户头部的高度和定位，系统可以确定他们弓步的程度，系统可以相应地调整他们的弓步分数452。类似地，在图6g中的示例中，系统从入口602g向用户发送左弓步形状614g。作为响应，用户应当尝试向左弓步，使得用户看起来穿过vr空间中的形状614g。例如，通过确定用户头部的高度和定位，系统可以确定他们弓步的程度，系统可以相应地调整他们的弓步分数452。图13a-图13c示出了用户深蹲以穿过深蹲对象的示例。
[0222]
在图6h的示例中，该系统从入口602h向用户发送深蹲和保持形状622h。作为响应，用户应当尝试深蹲入形状622h中，使得用户看起来穿过vr空间中的形状622h，并且用户应当保持深蹲直到保持部分604h已通过。例如，通过确定用户头部的高度和定位，系统可确定他们深蹲的程度和时长，系统可相应地调整他们的深蹲分数450。图15a-图15b示出了深蹲和保持形状的用户视图(在其显示器124上)。
[0223]
如应当理解的，在这些示例中所讨论的形状和/或对象中的每个对应于例程中的事件。例程可以包括多个事件，并且例程可以包括多个同步事件。例如，例程可以从相同或不同源同时向用户发送多个击打对象(例如，参见图9d、图9e和图9f)。
[0224]
操作中的系统
[0225]
参考图7a-图7f中的流程图描述系统的操作。
[0226]
当用户开始时，系统将为该用户校准(在702处和图7b，还参见图8a-图8d)。基于该校准并且可能基于关于用户的其他信息(例如，他们的年龄、性别、体重、先前的系统使用等)，系统可以确定初始例程(在704处)。
[0227]
用户然后开始他们的例程，因为系统生成例程中的下一事件(在706处和图7c)。事件可包括以上所描述的事件中的任一个(例如，击打对象、深蹲、弓步等)。系统分析用户与对象的交互(在708处和图7d)并且确定用户的一个或更多个表现水平(在710处和图7e)。系统可以确定不同种类的事件或对象的总体表现水平和/或表现水平。例如，用户可能非常擅长击打对象，但不擅长深蹲或弓步。用户的表现水平可以反映在他们的分数446(例如，他们的先前分数)中和/或从他们的分数446中导出。用户的表现水平可以包括用户的生理数据456(例如，他们的心率)。
[0228]
取决于用户的表现，可以修改例程(在712处和图7f)以使得用户更容易或更难。
[0229]
该系统继续生成并呈现事件直到该例程完成。
[0230]
图7b中示出了用户校准(在702处)的方面，其中，系统确定用户的高度(在714处)、垂直伸展(在715处)、左范围(在716处)、右范围(在718处)以及深蹲范围(在720处)。该系统可使用头戴设备104中的传感器和控制器114-1、114-2来确定这些值。在图8a-图8d中示出了用户校准的示例。
[0231]
图7c中示出了生成下一事件(在706处)的系统的方面，其中，系统从例程中获得下一事件(在722处)、显现事件(在724处)、并且如果必要的话向用户提供反馈。反馈可以是口头鼓励和/或训练的形式。例如，反馈可包括示出例程或事件应当(或已经应当)如何执行的人的化身或视频。
[0232]
图7d中示出了分析用户与对象的交互(在708处)的系统的方面，其中，系统识别并分析用户的移动(在727处)，将用户的移动从现实世界映射到虚拟世界(在728处)，并且在vr空间中(在用户的显示器124上)显现(在730处)交互。
[0233]
图7e中示出了确定用户的一个或更多个表现水平(在710处)的系统的方面，其中，该系统将用户的表现与期望表现进行比较(在732处)。该比较可以用于确定用户的分数(图4b中的446)。
[0234]
如图7f所示确定例程的下一事件(在712处)的系统的方面，其中系统基于(例如，如由用户分数(图4b中的446)和/或生理数据(图4b中的456)表示的)用户的实际表现与他们的期望表现相比来生成一个或更多个下一事件。
[0235]
反馈
[0236]
如可以看到的，因此系统根据基于用户的表现的实时反馈创建和潜在地修改用户的锻炼/活动例程。
[0237]
重新校准
[0238]
虽然大多数用户的属性不太可能随时间而改变，但是他们的深蹲和弓步范围可能随时间而改变。出于这个原因，系统应当在每次被使用时向用户重新校准。
[0239]
实时
[0240]
在阅读本说明书之后，本领域的普通技术人员将认识并理解，如本文所使用的，术语“实时”意指近实时或足够实时。应了解，在电子组件中和在基于网络的通信中存在(例如，基于网络流量和距离的)固有延迟，且这些延迟可能导致数据到达各种组件的延迟。系统中的固有延迟不改变数据的实时性质。在一些情况下，术语“实时数据”可以指在足够的时间内获得的数据，以使数据用于其预期目的。
[0241]
虽然本文可以使用术语“实时”，但应了解，系统不受此术语或实际花费多少时间的限制。在一些情况下，实时计算可以指在线计算，即，当数据到达时产生其回答并且通常与连续到达的数据保持一致的计算。将术语“在线”计算与“离线”或“批处理”计算进行比较。
[0242]
示例
[0243]
在图8a-图8d、图9a-图9f、图10a-图10h、图11a-图11d、图12a-图12c、图13a-图13c、图14a-图14c以及图15a-图15b中示出了该系统的实施方式的方面的示例屏幕截图。
[0244]
这些屏幕截图中的一些示出了vr用户102将在其显示器124上看到的视图(图9a-图9f、图14a-图14c)，然而，这些截图中的一些在视图中示出了训练者，并且可以用于校准(图8a-图8d)或训练或教程目的(图10a-图10h、图11a-图11d、图12a-图12c、图13a-图13c)。
[0245]
如在这些图中可以看到的，vr显示器124可以包括任意背景，使得用户可以感知自己在任意现实或虚幻的位置中执行他们的活动。
[0246]
计算
[0247]
以上所示出和描述的应用、服务、机制、操作和动作至少部分地由运行在一个或更
多个计算机上的软件来实现。
[0248]
可以使用多种介质(例如，计算机可读介质)以多种方式来存储和传输实现此类方法(以及其他类型的数据)的程序。可以使用硬连线电路或定制硬件来代替可以实现不同实施例的过程的一些或所有软件指令或与可以实现各种实施例的过程的一些或所有软件指令组合使用。因此，可以使用硬件和软件的各种组合，而不是仅使用软件。
[0249]
在阅读本说明书之后，本领域的普通技术人员将容易地了解和理解，可以通过例如适当编程的通用计算机、专用计算机和计算设备来实现本文所描述的各种过程。一个或更多个这样的计算机或计算设备可以被称为计算机系统。
[0250]
图16是计算机系统1600的示意图，本公开的实施例可以在该计算机系统1600上实施和执行。
[0251]
根据本示例，计算机系统1600包括总线1602(即，互连)、一个或更多个处理器1604、主存储器1606、只读存储器1608、可移动存储介质1610、大容量存储设备1612以及一个或更多个通信端口1614。通信端口1614可连接到一个或更多个网络(未示出)，计算机系统1600可通过该一个或更多个网络接收和/或传输数据。
[0252]
如本文所使用的，“处理器”意指一个或更多个微处理器、中央处理单元(cpu)、计算设备、微控制器、数字信号处理器、或类似设备或其任何组合，而不管其架构。执行过程的装置可以包括例如处理器和适合于执行过程的那些设备，诸如输入设备和输出设备。
[0253]
处理器1604可以是任何已知的处理器，诸如但不限于或itanium 处理器、或athlon 处理器、或系列处理器等。通信端口1614可以是以太网端口、使用铜或光纤的吉比特端口、或usb端口等中的任何一个。可以取决于网络(诸如，局域网(lan)、广域网(wan)或计算机系统1600连接到的任何网络)来选择通信端口1614。计算机系统1600可以经由输入/输出(i/o)端口1620与外围设备(例如，显示屏1616、输入设备1618)通信。
[0254]
主存储器1606可以是随机存取存储器(ram)或本领域公知的任何其他动态存储设备。只读存储器(rom)1608可以是用于存储静态信息(诸如用于处理器1604的指令)的任何静态存储设备(诸如可编程只读存储器(prom)芯片)。大容量存储设备1612可用于存储信息和指令。例如，可以使用硬盘驱动器、光盘、磁盘阵列(诸如独立磁盘冗余阵列(raid))或任何其他大容量存储设备。
[0255]
总线1602将处理器1604与其他存储器、存储设备、以及通信块通信地耦接。取决于所使用的存储设备，总线1602可以是pci/pci-x、scsi、基于通用串行总线(usb)的系统总线(或其他)等。可移除存储介质1610可以是任何种类的外部存储设备，包括硬盘驱动器、软盘驱动器、usb驱动器、光盘只读存储器(cd-rom)、光盘可重写(cd-rw)、数字通用盘只读存储器(dvd-rom)等。
[0256]
本文的实施例可以作为一个或更多个计算机程序产品来提供，该计算机程序产品可以包括存储有指令的机器可读介质，指令可以用于对计算机(或其他电子设备)进行编程以执行过程。如本文所使用的，术语“机器可读介质”是指参与提供可以由计算机、处理器或类似设备读取的数据(例如，指令、数据结构)的任何介质、多个相同或不同介质的组合。这样的介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括动态随机存取存储
器，动态随机存取存储器通常构成计算机的主存储器。传输介质包括同轴电缆、铜线和光纤，包括包含耦接到处理器的系统总线的线。传输介质可包括或传送声波、光波和电磁发射，诸如在射频(rf)和红外(ir)数据通信期间生成的那些。
[0257]
机器可读介质可以包括但不限于软盘、光盘、cd-rom、磁光盘、rom、ram、可擦可编程只读存储器(eprom)、电可擦可编程只读存储器(eeprom)、磁卡或光卡、闪存、或适于存储电子指令的其他类型的介质/机器可读介质。此外，本文的实施例还可以作为计算机程序产品下载，其中，程序可以经由通信链路(例如，调制解调器或网络连接)通过体现在载波或其他传播介质中的数据信号从远程计算机传输到请求计算机。
[0258]
不同形式的计算机可读介质可能涉及将数据(例如，指令序列)携带至处理器。例如，数据可以(i)从ram递送到处理器；(ii)通过无线传输介质携带；(iii)根据多种格式、标准或协议进行格式化和/或传输；和/或(iv)以本领域公知的多种方式中的任一种加密。
[0259]
计算机可读介质可以(以任何适当的格式)存储适合于执行方法的那些程序元素。
[0260]
如图所示，主存储器1606编码有支持如本文所讨论的功能的应用1622(应用1622可以是提供本文所描述的服务/机制的一些或所有功能的应用，例如，vr共享应用230，图2)。应用1622(和/或如本文所描述的其他资源)可以被实施为软件代码，诸如支持根据本文所描述的不同实施例的处理功能的数据和/或逻辑指令(例如，存储在存储器中或另一计算机可读介质(诸如磁盘)上的代码)。
[0261]
在一个实施例的操作期间，处理器1604经由使用总线1602访问主存储器1606以便启动、运行、实施、解释或以其他方式执行应用1622的逻辑指令。应用1622的实施产生与应用有关的服务的处理功能。换言之，过程1624表示在计算机系统1600中的处理器1604之内或之上执行的应用1622的一个或更多个部分。
[0262]
例如，过程1624可以包括对应于vr共享应用230的ar应用过程。
[0263]
应当注意，除了执行如本文所讨论的操作的过程1624之外，本文的其他实施例包括应用1622本身(即，未实施或未执行的逻辑指令和/或数据)。应用1622可存储在诸如磁盘的计算机可读介质(例如，存储库)上或光学介质中。根据其他实施例，应用1622还可以被存储在存储器类型系统中，诸如在固件、只读存储器(rom)中，或者如在该示例中，作为主存储器1606内(例如，随机存取存储器或ram内)的可执行代码。例如，应用1622还可以被存储在可移动存储介质1610、只读存储器1608和/或大容量存储设备1612中。
[0264]
本领域技术人员将理解，计算机系统1600可以包括其他过程和/或软件和硬件组件，诸如控制硬件资源的分配和使用的操作系统。
[0265]
如本文所讨论的，本发明的实施例包括各种步骤或动作或操作。各种这些步骤可由硬件组件执行或可被实施在机器可执行指令中，机器可执行指令可用于使用指令编程的通用或专用处理器执行操作。可替代地，步骤可以通过硬件、软件、和/或固件的组合来执行。术语“模块”是指独立功能组件，其可以包括硬件、软件、固件或其任意组合。
[0266]
在阅读本说明书之后，本领域的普通技术人员将容易地了解和理解，设备的实施例可以包括计算机/计算设备，该计算机/计算设备可操作用于执行所描述的过程中的一些(但不一定是全部)。
[0267]
存储程序或数据结构的计算机可读介质的实施例包括存储程序的计算机可读介质，程序在被执行时可以使处理器执行所描述过程中的一些(但不一定全部)。
[0268]
当本文描述过程时，本领域普通技术人员将认识到该过程可以在没有任何用户干预的情况下操作。在另一实施例中，该过程包括一些人为干预(例如，由人或在人的帮助下执行步骤)。
[0269]
虽然使用集成设备(例如，智能电话)来描述本发明的实施例，但在阅读本说明书之后，本领域普通技术人员将了解和理解，本文中所描述的方法可用于包括显示器和可捕捉用户的实时视频图像的至少一个相机的任何计算设备上。例如，系统可以集成到汽车等的平视显示器中。在这样的情况下，可以省略后置相机。
[0270]
结论
[0271]
如本文(包括在权利要求书中)所使用的，短语“至少一些”意指“一个或更多个”，并且包括仅一个的情况。因此，例如，短语“至少一些abc”意指“一个或更多个abc”，并且包括仅一个abc的情况。
[0272]
术语“至少一个”应被理解为意指“一个或更多个”，因此包括包含一个或更多个组件的两个实施例。此外，当该特征被称为“所述”和“所述至少一个”时，引用描述了具有“至少一个”的特征的独立权利要求的从属权利要求具有相同的含义。
[0273]
如在本说明书中所使用的，术语“部分”意指一些或全部。因此，例如，“x的一部分”可能包括“x”中的一些或所有“x”。在对话的上下文中，术语“部分”意指对话中的一些或所有。
[0274]
如本文(包括在权利要求书中)所使用的，短语“基于”意指“部分地基于”或“至少部分地基于”，并且不是排他性的。因此，例如，短语“基于因子x”意指“部分地基于因子x”或“至少部分地基于因子x”。除非通过使用词语“仅”特别说明，否则短语“基于x”并不意味着“仅基于x”。
[0275]
如本文(包括在权利要求书中)所使用的，短语“使用”意指“至少使用”，并且不是排他性的。因此，例如，短语“使用x”意指“至少使用x”。除非通过使用词语“仅”来特别说明，否则短语“使用x”并不意味着“仅使用x”。
[0276]
如本文(包括在权利要求书中)所使用的，短语“对应于”意指“部分地对应于”或“至少部分地对应于”，并且不是排他性的。因此，例如，短语“对应于因子x”是指“部分地对应于因子x”或“至少部分地对应于因子x”。除非通过使用词语“仅”特别说明，否则短语“对应于x”并不意味着“仅对应于x”。
[0277]
通常，如本文(包括在权利要求书中)所使用的，除非词语“仅”特别地用于短语中，否则它不应当被解读为该短语。
[0278]
如本文(包括在权利要求书中)所使用的，短语“不同的”意指“至少部分地不同的”。除非特别说明，否则不同并不意味着完全不同。因此，例如，短语“x不同于y”意指“x至少部分地不同于y”，而并不意味着“x完全不同于y”。因此，如本文中(包括权利要求中)所使用的，短语“x不同于y”意指x在至少一些方面不同于y。
[0279]
应当理解，说明书和权利要求中的词语“第一”和“第二”用于区分或标识，而不表示序列或数字限制。类似地，使用字母或数字标签(例如“(a)”、“(b)”等)来帮助区分和/或识别，并且不表示任何序列或数字限制或排序。
[0280]
除非特别地示出和陈述，否则在任何流程图中标记的框中的任何框不暗示排序。当在图中示出断开连接的框时，与那些框相关联的活动可以按任何顺序执行，包括完全或
部分并行。
[0281]
如本文(包括在权利要求书中)所使用的，除非上下文另外指示，否则单数形式的术语应被解释为也包括复数形式，反之亦然。因此，应当注意的是，除非上下文另外明确规定，否则如本文所使用的，单数形式“一个”、“一种”和“该”包括复数指代。
[0282]
在整个说明书和权利要求书中，术语“包括”、“包含”、“具有”和“含有”以及它们的变型应当被理解为是指“包括但不限于”并不旨在排除其他组件。
[0283]
在术语、特征、值和范围等结合诸如大约、约、通常、基本上、大体上、至少等术语使用的情况下，本发明还涵盖这些确切的术语、特征、值和范围等(即，“大约3”还应涵盖确切地3，或者“基本上常数”还应涵盖确切地常数)。
[0284]
除非如此要求，否则示例性语言(诸如，“举例”、“诸如”、“例如”等)的使用仅旨在更好地说明本发明并且不指示对本发明的范围的限制。除非上下文另有明确指示，否则本说明书中描述的任何步骤可以以任何顺序或同时执行。
[0285]
本说明书中所公开的所有特征和/或步骤可以以任何组合进行组合，除了这些特征和/或步骤中的至少一些是相互排斥的组合之外。特别地，本发明的优选特征适用于本发明的所有方面并且可以任意组合使用。
[0286]
出于更快理解的原因，仅参考了附图标记，并不旨在以任何方式限制本发明的范围。
[0287]
虽然已经结合目前被认为是最实用和优选的实施例描述了本发明，但应理解的是，本发明并不限于所公开的实施例，而是相反地，本发明旨在涵盖包括在所附权利要求的精神和范围内的各种修改和等效装置。