计算机生成的现实记录器的制作方法

计算机生成的现实记录器
1.相关申请的交叉引用
2.本技术要求于2019年9月9日提交的名称为“computer-generated reality recorder”的美国临时专利申请号62/897,912的优先权权益，该专利申请的公开内容全文以引用方式并入本文。
技术领域
3.本说明书整体涉及计算机生成的现实环境。


背景技术：

4.增强现实技术旨在通过提供利用电子信息增强的增强物理环境来桥接虚拟环境和物理环境之间的间隙。因此，电子信息看起来是用户感知的物理环境的一部分。在示例中，增强现实技术进一步提供用户界面以与覆盖在增强物理环境中的电子信息交互。
附图说明
5.本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。
6.图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的示例性系统架构。
7.图2示出了根据本主题技术的一个或多个具体实施的可在电子设备和/或服务器上实现的示例性软件架构。
8.图3a、图3b和图3c示出了根据本主题技术的具体实施的分析计算机生成的现实记录的示例。
9.图4a、图4b和图4c示出了根据本主题技术的具体实施的分析计算机生成的现实记录的示例。
10.图5a、图5b和图5c示出了根据本主题技术的具体实施的分析计算机生成的现实记录并且基于该分析提供计算机生成的现实记录的回放的示例。
11.图6示出了根据本主题技术的具体实施的用于分析计算机生成的现实内容记录的示例性过程的流程图。
12.图7示出了可以利用其来实现本主题技术的一个或多个具体实施的电子系统。
具体实施方式
13.下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，本主题技术不限于本文阐述的具体细节，而是可以采用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。
14.计算机生成的现实(cgr)系统使得物理环境和虚拟环境能够以不同程度组合从而促进实时用户交互。因此，如本文所述，此类cgr系统可包括物理环境和虚拟环境的各种可能组合，包括增强现实，该增强现实主要包括物理元件并且比虚拟环境(例如，没有物理元件)更接近物理环境。以此方式，物理环境可以通过cgr系统与虚拟环境连接。沉浸在cgr环境中的用户可以在此类环境中导航，并且cgr系统可以跟踪用户的视点，以基于用户在环境中的定位提供可视化。
15.物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
16.相反，计算机生成现实(cgr)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在cgr中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在cgr环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，cgr系统可以检测人的身体和/或头部转动，并且作为响应，以与此类视野和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对cgr环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
17.人可以利用其感觉中的任一者来感测cgr对象和/或与cgr对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3d或空间音频环境，该3d或空间音频环境提供3d空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些cgr环境中，人可以感测和/或只与音频对象交互。
18.cgr的示例包括虚拟现实和混合现实。
19.虚拟现实(vr)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。vr环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与vr环境中的虚拟对象交互。
20.与被设计成完全基于计算机生成的感官输入的vr环境相比，混合现实(mr)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
21.在一些mr环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现mr环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
22.增强现实(ar)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现ar环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境的一部分之上的虚拟对象。另选地，系统可以具有
不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频间接地查看物理环境，并且感知叠加在物理环境的一部分之上和/或物理环境的一部分后面的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现ar环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
23.增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
24.增强虚拟(av)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，av公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
25.有许多不同类型的电子系统使人能够感测和/或与各种cgr环境交互。示例包括移动设备、平板设备、基于投影的系统、平视显示器(hud)、头戴式系统、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人眼上的镜片的显示器(例如，类似于隐形眼镜)、头戴式受话器/耳机、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑或平板设备、以及台式计算机/膝上型计算机。例如，头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
26.本文所述的主题技术的具体实施提供了cgr系统，该cgr系统提供对计算机生成的现实(cgr)记录的存储和管理以促进编辑和共享cgr内容。在示例中，可以分析cgr内容记录以检测用户感兴趣的人和/或对象。基于检测到的人和/或对象，本主题系统可以生成用于生成cgr记录的修改版本的信息，该修改版本也可以基于用户偏好生成。本主题系统还可以提供cgr内容(例如，修改的cgr记录)的回放并且使用户输入能够确定回放行为。此外，可以
基于用户偏好来确定cgr内容的回放。
27.图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的示例性系统架构100。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
28.系统架构100包括电子设备105、手持式电子设备104、电子设备110、电子设备115和服务器120。出于解释的目的，系统架构100在图1中被示出为包括电子设备105、手持式电子设备104、电子设备110、电子设备115和服务器120；然而，系统架构100可包括任何数量的电子设备和任何数量的服务器或包括多个服务器的数据中心。
29.电子设备105可以例如实现为平板设备、手持式和/或移动设备或(例如，由用户101穿戴的)头戴式便携式系统。电子设备105包括能够向用户呈现计算机生成的现实环境的可视化的显示系统。电子设备105可用电池和/或另一电源供电。在示例中，电子设备105的显示系统向用户提供计算机生成的现实环境的立体呈现，使得能够提供特定场景渲染的三维视觉显示。在一个或多个具体实施中，代替利用电子设备105来访问计算机生成的现实环境或除此之外，用户可使用手持式电子设备104，诸如平板电脑、手表、移动设备等。
30.电子设备105可包括一个或多个相机，诸如相机150(例如，可见光相机、红外相机等)。此外，电子设备105可包括各种传感器152，包括但不限于相机、图像传感器、触摸传感器、麦克风、惯性测量单元(imu)、心率传感器、温度传感器、深度传感器(例如激光雷达传感器、雷达传感器、声纳传感器、飞行时间传感器等)、gps传感器、wi-fi传感器、近场通信传感器、射频传感器等。此外，电子设备105可包括可接收用户输入的硬件元件，诸如硬件按钮或开关。由此类传感器和/或硬件元件检测到的用户输入对应于例如用于在应用程序内发起共存会话的各种输入模态。例如，此类输入模态可包括但不限于面部跟踪、眼睛跟踪(例如，注视方向)、手部跟踪、姿态跟踪、生物识别读数(例如，心率、脉搏、瞳孔扩张、呼吸、温度、脑电图、嗅觉)、识别语音或音频(例如，特定热点字词)以及激活按钮或开关等。
31.在一个或多个具体实施中，电子设备105可通信地耦接到基础设备，诸如电子设备110和/或电子设备115。一般来讲，与电子设备105相比，此类基础设备可包括更多计算资源和/或可用功率。在示例中，电子设备105可以各种模式操作。例如，电子设备105可独立于任何基础设备以独立模式操作。当电子设备105以独立模式操作时，输入模态的数量可受到电子设备105的功率和/或处理限制的约束，诸如设备的可用电池功率。响应于功率限制，电子设备105可停用设备自身内的某些传感器以保持电池功率和/或释放处理资源。
32.电子设备105还可以无线连线模式操作(例如，经由无线连接与基础设备连接)，从而与给定基础设备结合工作。电子设备105还可以电子设备105物理地连接到基础设备(例如，经由电缆或一些其他物理连接器)的连接模式工作，并且可利用由基础设备提供的电力资源(例如，在基础设备在物理地连接时对电子设备105充电的情况下)。
33.当电子设备105以无线连线模式或连接模式操作时，可将处理用户输入和/或渲染计算机生成的现实环境的至少一部分卸载到基础设备，从而减少电子设备105上的处理负担。例如，在具体实施中，电子设备105结合电子设备110或电子设备115工作以生成计算机生成的现实环境，该计算机生成的实环境包括以实时方式在用户与所生成的计算机生成的
现实环境之间实现不同形式的交互(例如，视觉、听觉和/或物理或触觉交互)的物理对象和/或虚拟对象。在示例中，电子设备105提供对应于计算机生成的现实环境的场景的渲染，该场景可被用户感知并以实时方式与之交互，诸如用于与另一用户进行共存会话的主机环境。另外，作为呈现渲染场景的一部分，电子设备105可向用户提供声音和/或触觉或触感反馈。给定渲染场景的内容可能取决于可用处理能力、网络可用性和容量、可用电池功率和当前系统工作负载。
34.电子设备105还可检测已发生在计算机生成的现实环境的场景内的事件。此类事件的示例包括检测场景中特定人、实体或对象的存在。响应于检测到的事件，电子设备105可以在与检测到的事件对应的计算机生成的现实环境中提供注释(例如，呈元数据的形式)。
35.在具体实施中，电子设备105生成物理环境的记录并且生成包括用于共享和回放的二维(2d)视频的计算机生成的现实环境。在另一具体实施中，电子设备105生成记录，并且随后生成三维(3d)表示，该3d表示合并来自所有传感器的信息和/或将记录与其他用户的记录(例如，不同视点(pov)和/或不同视野(fov))组合。还应当理解，电子设备110和/或电子设备115还可结合电子设备105工作或独立于电子设备105工作生成此类计算机生成的现实环境。
36.网络106可将例如电子设备104、电子设备105、电子设备110和/或电子设备115与每个其他设备和/或服务器120通信地(直接或间接)耦接。在一个或多个具体实施中，网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。
37.电子设备110可包括触摸屏并且可以是例如包括触摸屏的智能电话、便携式计算设备，诸如包括触摸屏的膝上型计算机、包括触摸屏的配套设备(例如数字相机、耳机)、包括触摸屏的平板设备、包括触摸屏的可穿戴设备(诸如手表、腕带等)、包括例如触摸屏的任何其他适当设备或者具有触控板的任何电子设备。在一个或多个具体实施中，电子设备110可不包括触摸屏，但可支持类似触摸屏的手势，诸如在计算机生成的现实环境中。在一个或多个具体实施中，电子设备110可包括触控板。在图1中，通过举例的方式，电子设备110被描绘为具有触摸屏的移动智能电话设备。在一个或多个具体实施中，电子设备110、手持式电子设备104和/或电子设备105可以是和/或可以包括下文相对于电子系统所述的电子设备的全部或部分，该电子系统在下文相对于图7所述。在一个或多个具体实施中，电子设备110可为另一个设备，诸如互联网协议(ip)相机、平板电脑或配套设备诸如电子触笔等。
38.电子设备115可为例如台式计算机、便携式计算设备诸如膝上型计算机、智能电话、配套设备(例如，数字相机、耳机)、平板设备、可穿戴设备诸如手表、腕带等。在图1中，通过举例的方式，电子设备115被描绘为台式计算机。电子设备115可以是和/或可以包括下文相对于图7所述的电子系统的全部或部分。
39.服务器120可形成计算机网络或服务器组130的全部或部分，诸如在云计算或数据中心实施中。例如，服务器120存储数据和软件，并且包括用于渲染和生成计算机生成的现实环境的内容诸如图形、图像、视频、音频和多媒体文件的具体硬件(例如，处理器、图形处理器和其他专用或定制处理器)。在具体实施中，服务器120可用作云存储服务器，该云存储服务器存储由上述设备和/或服务器120生成的任何前述计算机生成的现实内容。
40.在具体实施中，服务器120可以提供与下文进一步讨论的用于分析cgr内容记录的
安全云环境对应的安全环境。此类记录可以由以下中的至少一者提供：电子设备105、电子设备110和/或电子设备115。类似地，电子设备105、电子设备110和/或电子设备还可以提供如下文在图2中进一步讨论的用于分析cgr内容记录的安全环境。
41.图2示出了根据本主题技术的一个或多个具体实施的可在电子设备105、电子设备115和/或服务器120上实现的示例性软件架构200。出于解释的目的，软件架构200被描述为由图1的电子设备105、电子设备115和服务器120实现，诸如通过电子设备105、电子设备115和服务器120的处理器和/或存储器；然而，软件架构200的适当部分可由任何其他电子设备，包括电子设备110来实现。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
42.如在电子设备105上实现的软件架构200包括框架。如本文所用，框架可以指作为较大软件平台的一部分提供特定功能性以促进软件应用程序的开发的软件环境，并且可提供一个或多个应用编程接口(api)，开发者可利用一个或多个应用编程接口来以程序化方式设计计算机生成的现实环境并处理用于此类计算机生成的现实环境的操作。
43.如图所示，提供了记录框架230。记录框架230可以提供用于记录由如上文所述的输入模态提供的计算机生成的现实环境的功能。提供事件检测器220，该事件检测器接收与来自各种输入模态的输入对应的信息。提供系统管理器210以监测来自电子设备105的资源并基于可用资源确定服务质量度量。系统管理器210可作出决策以用于选择与相应输入模态对应的特定硬件部件来根据服务质量度量激活和/或去活。例如，可以关闭跟踪面部表情的相机，或者可以关闭跟踪手势的另一相机。当特定硬件被去激活时，电子设备105可以提供通知以警告用户特定的输入模态不可用。类似地，电子设备105可以提供通知以警告用户在激活特定硬件时可用特定的输入模态。
44.在具体实施中，软件架构200使得能够通过提供储存库或存储位置来管理cgr记录以上载此类记录。如图2所示，电子设备105包括用于存储cgr记录242的数据库240，该cgr记录可以由下文进一步所述的记录框架230和/或安全环境250提供。在示例中，记录框架230可以生成cgr记录并加密用于存储在数据库240中的此类记录。
45.如进一步所示，电子设备105包括安全环境250。如本文所用，安全环境提供与特定设备(例如，电子设备105)的给定处理器上执行的其它进程隔离的安全计算环境，其中安全环境对执行其它进程的处理器和其它进程本身都是不可访问的。此外，安全环境加密其所利用的存储器的任何部分，并且可以利用与(例如，在电子设备105上)执行此类其它进程的处理器相比的单独处理器(例如，自定义的面向安全的处理器)。在处理给定cgr记录时，安全环境也可以使用同态加密。另外，可以启用安全环境以对存储在图1所示的任何一个电子设备中的加密cgr记录进行解密。
46.软件架构200及其部件的具体实施使得能够基于内容和注释自动分割cgr记录，该内容和注释还使得能够搜索记录。此外，软件架构200及其部件使得能够至少部分地基于主题和/或用户兴趣来提供对其它记录的推荐，该主题和/或用户兴趣可以在相关联的用户配置文件中所存储的用户偏好中提供。软件架构200及其部件使得能够基于推荐或基于用户偏好生成多个记录，并且还能够实现记录的随机浏览(暂停、回放、拖动等)。
47.在示例中，安全环境250可以从记录框架230接收给定cgr记录，或者从记录框架230接收请求以检索存储在数据库240中的cgr记录。如图所示，安全环境250包括安全记录分析器260，该安全记录分析器分析记录并且基于该分析生成元数据和/或注释。在具体实施中，安全记录分析器260可以执行用于对象检测的具体分类器，并且如果此类对象在记录期间移动，则确定对象的运动向量。在示例中，此类运动向量可以用于跟踪对象和/或预测对象可以朝向哪里移动。安全记录分析器260向对象和检测到的事件和/或识别的人提供记录的注释(例如，用元数据信息标记)。在另一示例中，安全记录分析器260从语音、声音和/或音频确定关于人或对象的声学信息，该声学信息可用于人或对象的移动或位置跟踪和/或识别。此外，还可以根据记录类型(例如，运动、特定位置诸如海滩等)定制分析以针对可能存在于该类型的记录中的具体事件或对象。
48.还如图所示，服务器120提供安全云环境270，该安全云环境对应于具体实施中的特定类型的安全环境。例如，安全云环境270支持一组处理器指令代码，该组处理器指令代码使用户级代码能够分配受保护并与其他进程隔离的存储器(例如，环境)的私有区域。安全云环境270可以使用其自身的一组处理器(例如，cpu和/或gpu)。在具体实施中，服务器120包括安全云记录分析器280，其对上文关于给定cgr记录讨论的安全记录分析器260执行相同或相似的功能。在示例中，服务器120可以从电子设备105接收请求以执行对给定cgr记录的分析。由安全记录分析器260执行的任何分析(例如，生成的元数据信息或推荐)的结果可被返回到电子设备105以进行进一步处理。
49.在具体实施中，电子设备115包括安全环境255和安全记录分析器265，其中每一者可以分别执行如上文结合电子设备105的安全环境250和安全记录分析器260所述的相同功能。例如，安全记录分析器260可以分析来自存储在数据库246中的cgr记录247之一的cgr记录。
50.如图所示，电子设备115包括一组工具245，其对应于提供编辑功能以修改cgr记录的各种编辑工具(例如，具体应用程序)。每个编辑工具能够接收cgr记录(例如，对应于存储在数据库246中的cgr记录247中的一个cgr记录)以用于编辑。编辑工具的示例包括图像编辑器、用于3d组合的工具和/或能够沿着时间线组织cgr内容的多媒体编辑器。给定编辑工具还可以使新对象或内容能够插入场景中，包括新虚拟内容。
51.尽管在图2中未示出，但是应当理解，电子设备110还可以包括与以上结合电子设备115所讨论的类似部件。
52.图3a、图3b、图3c、图4a、图4b、图4c、图5a、图5b和图5c中的以下讨论涉及分析各种计算机生成的现实记录的示例，包括检测对象和人以及生成注释以结合到修改记录中用于回放。
53.图3a、图3b和图3c示出了根据本主题技术的具体实施的分析计算机生成的现实记录的示例。以下讨论涉及图2中的软件架构200的部件。
54.如图3a所示，场景310示出了包括在计算机生成的现实(cgr)记录中的体育赛事(例如，足球比赛)。在场景310中，与在运动场上的三个足球运动员对应的各个对象与背景中的一群观众一起出现。
55.在图3b中，安全记录分析器(例如，安全记录分析器260或265或安全云记录分析器280)分析场景310并检测存在人312(例如，没有足球的足球运动员)、人314(例如，靠近足球
的足球运动员)、足球316和人318(例如，守门员)。作为响应，安全记录分析器可以生成与检测到的人对应的相关联的元数据信息。
56.在具体实施中，安全记录分析器至少部分地基于在cgr记录中运行对象分类器来检测场景310中的对象，并且至少使用对象数据库来识别对象，该对象数据库可包括用于标识对象的信息(例如，在人或其它实体的情况下，或用于进一步提供与对象有关的上下文信息)。安全记录分析器可以使用对象的多个属性来识别对象，包括可用元数据信息、形状、物理属性、音频/声音等。在该示例中，人314可被识别为特定的明星足球运动员，并且可以生成信息以指示该特定的明星足球运动员。以此方式，至少部分地基于识别对象来生成对象的相关联的元数据信息。如上所述，当场景310涉及一种体育赛事时，可以定制安全记录分析器的分析以更好地分析体育赛事(例如，检测运动员、检测球的路径、检测比赛期间可能发生的特定事件等)。使用相关联的元数据信息，记录框架230或编辑工具可以生成cgr记录的修改版本。
57.在图3c中，可能已至少部分地基于从cgr记录的上述分析生成的信息生成了与场景310的修改版本对应的场景320(例如，通过特定编辑工具或主机应用程序或记录框架230)。在场景320中，提供了对与所识别的明星足球运动员(例如，人314)和人312的注释330和注释332。此类注释可以在回放cgr记录的修改版本期间呈现给用户，以进一步增强cgr环境的体验。在一个或多个具体实施中，注释可以与对应对象相关联地存储，并且随后可以用于识别cgr记录中的对应对象。
58.图4a、图4b和图4c示出了根据本主题技术的具体实施的分析计算机生成的现实记录的示例。以下讨论涉及图2中的软件架构200的部件。
59.如图4a所示，场景410示出了包括在计算机生成的现实(cgr)记录中的特定户外环境(例如，海滩)。在场景410中，与海滩上的特定项目对应的各个对象与背景中与特定水体(例如海洋)对应的其它各个对象一起出现。
60.在图4b中，包括在计算机生成的现实(cgr)记录中并且在时间上位于场景410之后的场景420示出了出现了一个场景410中不存在的人。安全记录分析器(例如，安全记录分析器260或265或安全云记录分析器280)分析场景420并检测与新出现的人422(例如，儿童)对应的事件。作为响应，安全记录分析器可以生成与检测到的事件(例如，人422的存在)对应的相关联的元数据信息。在该示例中，人422可以基于用户偏好进一步被识别为特定的感兴趣的人(例如，家庭成员)(例如，当家庭成员进入cgr记录时进行注释)，并且可以生成信息以指示与家庭成员有关的事件。在另一示例中，安全记录分析器可以检测与场景中的人和/或事件有关的异常，并且生成对应元数据作为对场景的注释。也可以基于用户偏好检测此类异常(例如，当特定事件发生时诸如检测到婴儿开始啼哭时进行注释)。
61.另外，安全记录分析器分析场景420并且检测与场景420的背景中的滑翔伞对应的对象424。在示例中，用户偏好可以指示用户对滑翔伞感兴趣(例如，用户希望在海滩户外环境中突出显示被检测为滑翔伞的任何对象)。安全记录分析器可以生成与检测到的对象(例如，滑翔伞的存在)对应的相关联的元数据信息。
62.使用相关联的元数据信息，记录框架230或编辑工具可以生成cgr记录的修改版本。在图4c中，可能已至少部分地基于从cgr记录的上述分析生成的信息生成了与场景420的修改版本对应的场景430(例如，通过特定编辑工具或主机应用程序或记录框架230)。在
场景430中，提供了与所识别的家庭成员(例如，人422)和检测到的对象424(例如，滑翔伞)对应的注释432和注释434。此类注释可以在回放cgr记录的修改版本期间呈现给用户，以进一步增强cgr环境的体验并指示检测到的事件和/或对象。
63.图5a、图5b和图5c示出了根据本主题技术的具体实施的分析计算机生成的现实记录并且基于该分析提供计算机生成的现实记录的回放的示例。以下讨论涉及图2中的软件架构200的部件。
64.如图5a所示，场景510示出了包括在计算机生成的现实记录中进行的体育赛事(例如，曲棍球比赛)。观众处于场景510的背景中，并且曲棍球运动员在场景510的前景中的溜冰场上示出。安全记录分析器(例如，安全记录分析器260或265或安全云记录分析器280)分析场景510并检测与冰球对应的对象504。此外，在该示例中，用户已经选择了与对象504对应的感兴趣区域，其可以用于在回放期间聚焦于对象504，如下文进一步讨论的。
65.安全记录分析器已检测到并识别出图5a中特定人506(例如，明星曲棍球运动员)的存在和人502(曲棍球运动员竞争对手)的存在。安全记录分析器可以生成与前述对象或人对应的相关联的元数据信息。在该示例中，安全记录分析器检测记录中存在移动的人(例如，曲棍球运动员)或移动的对象(例如，冰球)，并确定移动的人或移动的对象的运动向量。使用相关联的元数据信息，记录框架230或编辑工具可以生成cgr记录的修改版本。在示例中，记录框架230或编辑工具可以生成记录中的所识别对象中的至少一者的三维(3d)网格，其中修改的cgr记录基于记录的3d表示，该3d表示包括对所识别对象中的至少一者的3d网格的渲染。在另一示例中，可以基于对来自场景的音频内容(例如，语音、声音、音频)的分析来生成声学网格，音频内容可以用于识别cgr记录中的对象或人和/或从该记录确定此类对象或人的位置及其在场景内的任何移动。
66.在一些具体实施中，在给定修改的cgr记录的回放期间，基于生成的元数据/注释启用对某些事件的导航，以及与对象的交互。如果同一环境的多个记录可用，也可以提供不同视点的回放。可以在回放期间并且基于场景中所发生的来呈现注释。此外，用户可以在回放期间识别感兴趣对象，并且可以基于用户偏好(例如，球的路径、关注特定的感兴趣的人等)来确定回放的再现类型。在回放期间，用户可以指示感兴趣区域或可以推断感兴趣区域(例如，进入场景的人)。此外，应了解，修改的cgr记录的回放不受时间限制(例如，如在没有cgr部件的记录的典型回放中)，并且可以根据用户回放和次序。基于用户偏好，回放可以聚焦于某个个体和/或聚焦于场景中被认为是重要的东西。回放可以进一步根据某些事件(例如，场景中打碎玻璃、特定的人)优先考虑一种类型的模态，和/或在具有更好能力的设备上进行优先回放。
67.图5b和图5c涉及在修改的cgr记录的回放期间的不同场景。在图5b中，场景520示出了对场景510中同一曲棍球比赛的经修改的呈现。例如，基于用户偏好，场景520聚焦于特定的人506、人502和与冰球(例如，对象504)对应的感兴趣区域。在该示例中，冰球的基于3d网格的3d表示可以在回放期间呈现给用户，以更好地突出显示对象504并增强观看修改的cgr记录的用户体验。此外，场景510的背景中的观众以及场景510中同时存在的其他曲棍球运动员在场景520中已被抹掉(或移除)。此外，特定的人506以不同的方式呈现在场景520中，以在场景520中更好地突出显示明星曲棍球运动员的动作。与数字对象524和526对应的新数字内容也已被插入到场景520中，以提供与曲棍球比赛相关的上下文信息。场景520包
括描述场景520中发生的事件的注释522。
68.在图5c中，场景530示出特定的人506移动到与场景520中不同的位置，并且完全位于场景530的视图框内。场景530包括描述场景530中发生的检测到的事件的注释532。
69.图6示出了根据本主题技术的具体实施的用于分析计算机生成的现实内容记录的示例性过程600的流程图。出于解释的目的，本文主要参考图1和图2的电子设备105来描述过程600。然而，过程600不限于图1和图2的电子设备105，并且过程600的一个或多个框(或操作)可由其他合适设备(包括电子设备105、电子设备110和/或服务器120)的一个或多个其他部件来执行。进一步出于解释的目的，过程600的框在本文中被描述为顺序地或线性地发生。然而，过程600的多个框可并行发生。此外，过程600的框不必按所示顺序执行，并且/或者过程600的一个或多个框不必执行和/或可由其他操作替代。
70.如图6所示，电子设备105接收内容记录(610)。电子设备105分析内容记录，其中分析包括识别内容记录中的对象以及检测在内容记录中发生的事件(612)。电子设备105至少部分地基于分析来生成元数据信息，该元数据信息标识记录中的所识别的对象和检测到的事件(614)。电子设备105至少部分地基于用户偏好或检测到的事件中的至少一者来识别内容记录中的感兴趣区域或感兴趣对象(616)。电子设备105至少部分地基于所识别的感兴趣区域或感兴趣对象生成内容记录的修改版本，该修改版本结合至少所生成的元数据信息(618)。电子设备105将内容记录的修改版本存储以供后续回放，例如结合所生成的元数据(620)。电子设备105提供记录的修改版本以供回放(622)。
71.如上所述，本技术的一个方面在于收集和使用得自各种来源的数据。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、社交网络标识符、家庭地址、与用户的健康或健身级别相关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
72.本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。本公开还预期个人信息数据有益于用户的用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
73.本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(hipaa)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
74.不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
75.此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
76.因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或少量的个人信息，诸如与用户相关联的设备请求的内容，其他非个人信息或公开可用的信息来选择内容并且递送至用户。
77.图7示出了可以利用其来实现本主题技术的一个或多个具体实施的电子系统700。电子系统700可以是图1所示的电子设备105、电子设备104、电子设备110、电子设备115和/或服务器120并且/或者可以是其一部分。电子系统700可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统700包括总线708、一个或多个处理单元712、系统存储器704(和/或缓存)、rom 710、永久性存储设备702、输入设备接口714、输出设备接口706以及一个或多个网络接口716，或其子集及变体形式。
78.总线708总体表示通信地连接电子系统700的许多内部设备的所有系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中，总线708将一个或多个处理单元712与rom 710、系统存储器704和永久性存储设备702通信地连接。一个或多个处理单元712从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。在不同的具体实施中，一个或多个处理单元712可为单个处理器或者多核处理器。
79.rom 710存储一个或多个处理单元712以及电子系统700的其他模块所需的静态数据和指令。另一方面，永久性存储设备702可为读写存储器设备。永久性存储设备702可为即使在电子系统700关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其相应盘驱动器)可被用作永久性存储设备702。
80.在一个或多个具体实施中，可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备702。与永久性存储设备702一样，系统存储器704可为读写存储器设备。然而，与永久性存储设备702不同，系统存储器704可为易失性读写存储器，诸如随机存取存储器。系统存储器704可存储一个或多个处理单元712在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程被存储在系统存储器704、永久性存储设备702和/或rom 710中。一个或多个处理单元712从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过
程。
81.总线708还连接至输入设备接口714和输出设备接口706。输入设备接口714使得用户能够向电子系统700传送信息以及选择命令。可与输入设备接口714一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口706可例如使得能够显示电子系统700所生成的图像。可与输出设备接口706一起使用的输出设备可包括例如打印机和显示设备，诸如液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
82.最后，如图7所示，总线708还通过一个或多个网络接口716将电子系统700耦接到一个或多个网络和/或耦接到一个或多个网络节点，诸如图1所示的电子设备110。以此方式，电子系统700可为计算机网络(诸如lan、广域网(“wan”)或内联网)的一部分，或者可为网络的网络(诸如互联网)的一部分。电子系统700的任何或所有部件可与本主题公开一起使用。
83.上述这些功能可在计算机软件、固件或硬件中实现。该技术可使用一个或多个计算机程序产品实现。可编程处理器和计算机可包括在移动设备中或封装为移动设备。该过程和逻辑流程可由一个或多个可编程处理器和一个或多个可编程逻辑电路执行。通用和专用计算设备以及存储设备可通过通信网络互连。
84.一些具体实施包括将计算机程序指令存储在机器可读或计算机可读介质(也称为计算机可读存储介质、机器可读介质或机器可读存储介质)中的电子部件，诸如微处理器、存储装置以及存储器。此类计算机可读介质的一些示例包括ram、rom、只读光盘(cd-rom)、可刻录光盘(cd-r)、可重写光盘(cd-rw)、只读数字通用光盘(例如，dvd-rom、双层dvd-rom)、各种可刻录/可重写dvd(例如，dvd-ram、dvd-rw、dvd rw等)、闪存存储器(例如，sd卡，mini-sd卡、micro-sd卡等)、磁性和/或固态硬盘驱动器、只读和可刻录盘、超密度光盘、任何其他光学或磁性介质以及软盘。计算机可读介质可存储计算机程序，该计算机程序可由至少一个处理单元执行并且包括用于执行各种操作的指令集。计算机程序或者计算机代码的示例包括机器代码，诸如由编译器所产生的机器代码，以及包括可由计算机、电子部件或微处理器使用解译器来执行的更高级别代码的文件。
85.虽然上述论述主要涉及执行软件的微处理器或多核处理器，但一些具体实施由一个或多个集成电路诸如专用集成电路(asic)或现场可编程门阵列(fpga)执行。在一些具体实施中，此类集成电路执行存储在电路自身上的指令。
86.如本说明书以及本专利申请的任何权利要求所用，术语“计算机”、“服务器”、“处理器”及“存储器”均是指电子或其它技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语显示或正在显示意指在电子设备上显示。如本说明书以及本专利申请的任何权利要求所使用的，术语“计算机可读介质”以及“计算机可读媒介”完全限于以可由计算机读取的形式存储信息的可触摸的有形物体。这些术语不包括任何无线信号、有线下载信号以及任何其他短暂信号。
87.为了提供与用户的交互，本说明书中所述的主题的具体实施可在具有用于向用户显示信息的显示设备以及用户可用来向计算机提供输入的键盘和指向设备的计算机上实现，显示设备为例如crt(阴极射线管)或lcd(液晶显示器)监视器，指向设备为例如鼠标或轨迹球。其他种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可通过向用户所使用的设备发送文档以及从其接收文档来与用户进行交互；例如，通过响应于从用户客户端设备上的web浏览器接收的请求而将网页发送到该web浏览器。
88.本说明书中所述的主题的实施方案可在计算系统中实现，该计算系统包括后端部件，例如作为数据服务器，或者包括中间件部件，例如应用服务器，或者包括前端部件，例如具有图形用户界面或web浏览器的客户端计算机，用户可通过该图形用户界面或web浏览器与本说明书中所述的主题的具体实施进行交互，或者包括一个或多个此类后端部件、中间件部件或前端部件的任何组合。系统的部件可通过任何形式或介质的数字数据通信例如通信网络来互连。通信网络的示例包括局域网(“lan”)和广域网(“wan”)、互联网络(例如，互联网)和对等网络(例如，自组织对等网络)。
89.计算系统可包括客户端和服务器。客户端和服务器一般是相互远离的，并且可通过通信网络进行交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在某些具体实施中，服务器将数据(例如，html页面)传输到客户端设备(例如，为了向与该客户端设备交互的用户显示数据以及从与该客户端设备交互的用户接收用户输入)。在服务器处可以从客户端设备接收客户端设备处生成的数据(例如，用户交互的结果)。
90.本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。所述功能可针对每个特定应用以不同方式实现。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。
91.应当理解，本发明所公开的过程中的步骤的特定顺序或分级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的步骤的特定顺序或者分级结构可被重新布置。该步骤中的一些步骤可被同时执行。所附方法权利要求呈现样本次序中的各种步骤的元素，并且不意味着限于所呈现的特定顺序或分级结构。
92.先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。先前描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的各个方面，而是旨在使得全部范围与语言权利要求书一致，其中提及单数形式的要素并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和副标题(如果有的话)仅用于方便，并不限制本文所述的本发明。
93.如本文所用，术语网站可包括网站的任何方面，包括一个或多个网页、用于托管或存储网络相关内容的一个或多个服务器等。因此，术语网站可与术语网页和服务器互换使用。谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。例如，部件或被配置为监视和控制操作的处理器也可能意味着处理器被编程以监视和控制操作或者处理器能够操作以监视和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。
94.如本文所用，术语自动可包括由计算机或机器的执行而无需用户干预；例如，通过响应于计算机或机器或其他启动机构的谓词动作的指令。字词“示例”在本文用于意指“用作示例或者例示”。本文作为“示例”所述的任何方面或者设计不一定被理解为比其他方面或者设计优选或者有利。
95.短语诸如“方面”不意味此方面对本主题技术是必需的或者此方面应用于本主题技术的所有配置。与一个方面相关的公开可应用于所有配置，或者一个或多个配置。一个方面可提供一个或多个示例。短语诸如方面可指一个或多个方面，反之亦然。短语诸如“实施方案”不意味此实施方案对本主题技术是必需的或者此实施方案应用于本主题技术的所有配置。与一个实施方案相关的公开可应用于所有实施方案，或者一个或多个实施方案。一个实施方案可提供一个或多个示例。短语诸如“实施方案”可指一个或多个实施方案，反之亦然。短语诸如“配置”不意味此配置是本主题技术必需的或者此配置应用于本主题技术的所有配置。与配置相关的公开可应用于所有配置或者一个或多个配置。配置可提供一个或多个示例。短语诸如“配置”可指一个或多个配置，反之亦然。