在计算机生成现实记录中提供限制的制作方法

在计算机生成现实记录中提供限制
1.相关申请的交叉引用
2.本技术要求于2019年9月9日提交的名称为“providing restrictions in computer-generated reality recordings”的美国临时专利申请第62/897,907号的优先权权益，该专利申请的公开内容全文以引用方式并入本文。
技术领域
3.本说明书整体涉及计算机生成的现实环境。


背景技术：

4.增强现实技术旨在通过提供利用电子信息增强的增强物理环境来桥接虚拟环境和物理环境之间的间隙。因此，电子信息看起来是用户感知的物理环境的一部分。在示例中，增强现实技术进一步提供用户界面以与覆盖在增强物理环境中的电子信息交互。
附图说明
5.本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。
6.图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的示例性系统架构。
7.图2示出了根据本主题技术的一个或多个具体实施的可在电子设备和/或服务器上实现的示例性软件架构。
8.图3a和图3b示出了根据本主题技术的具体实施的分析计算机生成现实记录并且基于具有隐私信息的用户配置文件来生成受限的计算机生成现实记录的示例。
9.图4示出了根据本主题技术的具体实施的分析计算机生成现实记录并且基于具有限制信息的用户配置文件来生成受限的计算机生成现实记录的示例。
10.图5示出了根据本主题技术的具体实施的用于分析计算机生成现实内容记录的示例性过程的流程图。
11.图6示出了可以利用其来实现本主题技术的一个或多个具体实施的电子系统。
具体实施方式
12.下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，本主题技术不限于本文阐述的具体细节，而是可以采用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。
13.计算机生成的现实(cgr)系统使得物理环境和虚拟环境能够以不同程度组合从而促进实时用户交互。因此，如本文所述，此类cgr系统可包括物理环境和虚拟环境的各种可
能组合，包括增强现实，该增强现实主要包括物理元件并且比虚拟环境(例如，没有物理元件)更接近物理环境。以此方式，物理环境可以通过cgr系统与虚拟环境连接。沉浸在cgr环境中的用户可以在此类环境中导航，并且cgr系统可以跟踪用户的视点，以基于用户在环境中的定位提供可视化。
14.物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
15.相反，计算机生成现实(cgr)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在cgr中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在cgr环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，cgr系统可以检测人的身体和/或头部转动，并且作为响应，以与此类视野和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对cgr环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
16.人可以利用其感觉中的任一者来感测cgr对象和/或与cgr对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3d或空间音频环境，该3d或空间音频环境提供3d空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些cgr环境中，人可以感测和/或只与音频对象交互。
17.cgr的示例包括虚拟现实和混合现实。
18.虚拟现实(vr)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。vr环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与vr环境中的虚拟对象交互。
19.与被设计成完全基于计算机生成的感官输入的vr环境相比，混合现实(mr)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
20.在一些mr环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现mr环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
21.增强现实(ar)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现ar环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境的一部分之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上
呈现组合物。人利用系统经由物理环境的图像或视频间接地查看物理环境，并且感知叠加在物理环境的一部分之上和/或物理环境的一部分后面的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现ar环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
22.增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
23.增强虚拟(av)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，av公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
24.有许多不同类型的电子系统使人能够感测和/或与各种cgr环境交互。示例包括移动设备、平板设备、基于投影的系统、平视显示器(hud)、头戴式系统、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人眼上的镜片的显示器(例如，类似于隐形眼镜)、头戴式受话器/耳机、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑或平板设备、以及台式计算机/膝上型计算机。例如，头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
25.本文所描述的主题技术的具体实施提供了cgr系统，该cgr系统至少部分地基于确定对应于受保护的内容的对象和/或包括指示隐私偏好的信息的用户配置文件信息来提供对给定cgr记录中的内容的限制。以此方式，主题系统使得能够分割所限制的cgr记录中的场景的特定部件。此类部件包括对应于场景中的受限部件的物理对象和/或虚拟对象。主题系统可以修改cgr记录以过滤或遮蔽受限部件，并且提供用于在给定主机应用程序上播放的cgr记录。
26.图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的
示例性系统架构100。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
27.系统架构100包括电子设备105、手持式电子设备104、电子设备110、电子设备115和服务器120。出于解释的目的，系统架构100在图1中被示出为包括电子设备105、手持式电子设备104、电子设备110、电子设备115和服务器120；然而，系统架构100可包括任何数量的电子设备和任何数量的服务器或包括多个服务器的数据中心。
28.电子设备105可以例如实现为平板设备、手持式和/或移动设备或(例如，由用户101穿戴的)头戴式便携式系统。电子设备105包括能够向用户呈现计算机生成的现实环境的可视化的显示系统。电子设备105可用电池和/或另一电源供电。在示例中，电子设备105的显示系统向用户提供计算机生成的现实环境的立体呈现，使得能够提供特定场景渲染的三维视觉显示。在一个或多个具体实施中，代替利用电子设备105来访问计算机生成的现实环境或除此之外，用户可使用手持式电子设备104，诸如平板电脑、手表、移动设备等。
29.电子设备105可包括一个或多个相机，诸如相机150(例如，可见光相机、红外相机等)。此外，电子设备105可包括各种传感器152，包括但不限于相机、图像传感器、触摸传感器、麦克风、惯性测量单元(imu)、心率传感器、温度传感器、深度传感器(例如激光雷达传感器、雷达传感器、声纳传感器、飞行时间传感器等)、gps传感器、wi-fi传感器、近场通信传感器、射频传感器等。此外，电子设备105可包括可接收用户输入的硬件元件，诸如硬件按钮或开关。由此类传感器和/或硬件元件检测到的用户输入对应于例如用于在应用程序内发起共存会话的各种输入模态。例如，此类输入模态可包括但不限于面部跟踪、眼睛跟踪(例如，注视方向)、手部跟踪、姿态跟踪、生物识别读数(例如，心率、脉搏、瞳孔扩张、呼吸、温度、脑电图、嗅觉)、识别语音或音频(例如，特定热点字词)以及激活按钮或开关等。
30.在一个或多个具体实施中，电子设备105可通信地耦接到基础设备，诸如电子设备110和/或电子设备115。一般来讲，与电子设备105相比，此类基础设备可包括更多计算资源和/或可用功率。在一个示例中，电子设备105可以各种模式操作。例如，电子设备105可独立于任何基础设备以独立模式操作。当电子设备105以独立模式操作时，输入模态的数量可受到电子设备105的功率和/或处理限制的约束，诸如设备的可用电池功率。响应于功率限制，电子设备105可停用设备自身内的某些传感器以保持电池功率和/或释放处理资源。
31.电子设备105还可以无线连线模式操作(例如，经由无线连接与基础设备连接)，从而与给定基础设备结合工作。电子设备105还可以电子设备105物理地连接到基础设备(例如，经由电缆或一些其他物理连接器)的连接模式工作，并且可利用由基础设备提供的电力资源(例如，在基础设备在物理地连接时对电子设备105充电的情况下)。
32.当电子设备105以无线连线模式或连接模式操作时，可将处理用户输入和/或渲染计算机生成的现实环境的至少一部分卸载到基础设备，从而减少电子设备105上的处理负担。例如，在具体实施中，电子设备105结合电子设备110或电子设备115工作以生成计算机生成的现实环境，该计算机生成的实环境包括以实时方式在用户与所生成的计算机生成的现实环境之间实现不同形式的交互(例如，视觉、听觉和/或物理或触觉交互)的物理对象和/或虚拟对象。在示例中，电子设备105提供对应于计算机生成的现实环境的场景的渲染，
该场景可被用户感知并以实时方式与之交互，诸如用于与另一用户进行共存会话的主机环境。另外，作为呈现渲染场景的一部分，电子设备105可向用户提供声音和/或触觉或触感反馈。给定渲染场景的内容可能取决于可用处理能力、网络可用性和容量、可用电池功率和当前系统工作负载。
33.电子设备105还可检测已发生在计算机生成的现实环境的场景内的事件。此类事件的示例包括检测场景中特定人、实体或对象的存在。响应于检测到的事件，电子设备105可以在与检测到的事件对应的计算机生成的现实环境中提供注释(例如，呈元数据的形式)。
34.在具体实施中，电子设备105生成物理环境的记录并且生成包括用于共享和回放的二维(2d)视频的计算机生成的现实环境。在另一具体实施中，电子设备105生成记录，并且随后生成三维(3d)表示，该3d表示合并来自所有传感器的信息和/或将记录与其他用户的记录(例如，不同视点(pov))组合。还应当理解，电子设备110和/或电子设备115还可结合电子设备105工作或独立于电子设备105工作生成此类计算机生成的现实环境。
35.网络106可将例如电子设备104、电子设备105、电子设备110和/或电子设备115与每个其他设备和/或服务器120通信地(直接或间接)耦接。在一个或多个具体实施中，网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。
36.电子设备110可包括触摸屏并且可以是例如包括触摸屏的智能电话、便携式计算设备，诸如包括触摸屏的膝上型计算机、包括触摸屏的配套设备(例如数字相机、耳机)、包括触摸屏的平板设备、包括触摸屏的可穿戴设备(诸如手表、腕带等)、包括例如触摸屏的任何其他适当设备或者具有触控板的任何电子设备。在一个或多个具体实施中，电子设备110可不包括触摸屏，但可支持类似触摸屏的手势，诸如在计算机生成的现实环境中。在一个或多个具体实施中，电子设备110可包括触控板。在图1中，通过举例的方式，电子设备110被描绘为具有触摸屏的移动智能电话设备。在一个或多个具体实施中，电子设备110、手持式电子设备104和/或电子设备105可以是和/或可以包括下文相对于电子系统所述的电子设备的全部或部分，该电子系统在下文相对于图6所述。在一个或多个具体实施中，电子设备110可为另一个设备，诸如互联网协议(ip)相机、平板电脑或配套设备诸如电子触笔等。
37.电子设备115可为例如台式计算机、便携式计算设备诸如膝上型计算机、智能电话、配套设备(例如，数字相机、耳机)、平板设备、可穿戴设备诸如手表、腕带等。在图1中，通过举例的方式，电子设备115被描绘为台式计算机。电子设备115可以是和/或可以包括下文相对于图6讨论的电子系统的全部或部分。
38.服务器120可形成计算机网络或服务器组130的全部或部分，诸如在云计算或数据中心实施中。例如，服务器120存储数据和软件，并且包括用于渲染和生成计算机生成的现实环境的内容诸如图形、图像、视频、音频和多媒体文件的具体硬件(例如，处理器、图形处理器和其他专用或定制处理器)。在具体实施中，服务器120可用作云存储服务器，该云存储服务器存储由上述设备和/或服务器120生成的任何前述计算机生成的现实内容。
39.在具体实施中，服务器120可以提供与下文进一步讨论的用于分析cgr内容记录的安全云环境对应的安全环境。此类记录可以由以下中的至少一者提供：电子设备105、电子设备110和/或电子设备115。类似地，电子设备105、电子设备110和/或电子设备还可以提供如下文在图2中进一步讨论的用于分析cgr内容记录的安全环境。
40.图2示出了根据本主题技术的一个或多个具体实施的可在电子设备105、电子设备115和服务器120上实现的示例性软件架构200。出于解释的目的，软件架构200被描述为由图1的电子设备105、电子设备115和服务器120实现，诸如通过电子设备105、电子设备115和服务器120的处理器和/或存储器；然而，软件架构200的适当部分可由任何其他电子设备，包括电子设备110来实现。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
41.如在电子设备105上实现的软件架构200包括框架。如本文所用，框架可以指作为较大软件平台的一部分提供特定功能性以促进软件应用程序的开发的软件环境，并且可提供一个或多个应用编程接口(api)，开发者可利用一个或多个应用编程接口来以程序化方式设计计算机生成的现实环境并处理用于此类计算机生成的现实环境的操作。
42.如图所示，提供了记录框架230。记录框架230可以提供用于记录由如上文所述的输入模态提供的计算机生成的现实环境的功能。提供事件检测器220，该事件检测器接收与来自各种输入模态的输入对应的信息。提供系统管理器210以监测来自电子设备105的资源并基于可用资源确定服务质量度量。系统管理器210可作出决策以用于选择与相应输入模态对应的特定硬件部件来根据服务质量度量激活和/或去活。例如，可以关闭用于跟踪面部表情的相机，或者可以关闭用于跟踪手势的另一相机。当特定硬件被去激活时，电子设备105可以提供通知以警告用户特定的输入模态不可用。类似地，电子设备105可以提供通知以警告用户在激活特定硬件时可用特定的输入模态。
43.在具体实施中，软件架构200使得能够通过提供储存库或存储位置来管理cgr记录以上载此类记录。如图2所示，电子设备105包括用于存储cgr记录242的数据库240，该cgr记录可以由下文进一步所述的记录框架230和/或安全记录分析器260提供。在示例中，记录框架230可以生成cgr记录并加密用于存储在数据库240中的此类记录。
44.软件架构200及其部件的具体实施使得能够基于内容和注释自动分割cgr记录，该内容和注释还使得能够搜索记录。此外，软件架构200及其部件使得能够至少部分地基于主题和/或用户兴趣来提供对其它记录的推荐，该主题和/或用户兴趣可以在相关联的用户配置文件中所存储的用户偏好中提供。软件架构200及其部件使得能够基于推荐或基于用户偏好生成多个记录，并且还能够实现记录的随机浏览(暂停、回放、拖动等)。
45.在示例中，安全记录分析器260可以从记录框架230接收给定cgr记录，或者从记录框架230接收请求以检索存储在数据库240中的cgr记录。该安全记录分析器260分析记录并且基于该分析生成元数据和/或注释。在具体实施中，安全记录分析器260可以执行用于对象检测的具体分类器，并且如果此类对象在记录期间移动，则确定对象的运动向量。当检测到事件或者检测到和/或识别出人时，安全记录分析器260向对象提供记录的注释(例如，用元数据信息标记)。此外，还可以根据记录类型(例如，运动、特定位置诸如海滩等)定制分析以针对可能存在于该类型的记录中的具体事件或对象。
46.在具体实施中，安全记录分析器260分析记录以识别用于确定cgr内容的限制的受保护的项目。或者基于查看cgr记录的用户对给定项目(例如，支付内容、年龄受限内容、暴力内容等)是否具有足够访问权限，或者在cgr记录中检测到的人是否具有启用的隐私标
记，此类受保护项目可以被预标记为被保护。该安全记录分析器260可以基于对记录框架230(或另选地给定编辑工具)的分析来返回信息以促进生成修改的cgr记录。在示例中，使用该信息，记录框架230确定哪些虚拟项目不包括在场景中和/或哪些物理对象将被混淆和/或不包括在场景中以便生成修改的cgr记录。如本文所用，物理对象是由场景内的相机捕获的对象的表示。
47.此外，在具体实施中，可以基于访问级别来提供不同的用户配置文件。例如，用户可以具有针对不同访问级别的各种配置文件，包括公共配置文件、私人配置文件、针对朋友/家庭的配置文件、工作配置文件等。使用配置文件信息，可以根据适合场景的用户配置文件以及根据哪些其他用户正在查看cgr记录来渲染用户的头像。此外，在回放期间，可以基于查看cgr记录的用户的脉搏或其它输入(例如，心率、凝视、瞳孔放大)来过滤或调整cgr记录(例如，减慢或调低音调)。
48.在具体实施中，可以根据电子设备105的操作模式(例如，插电、无线、单机)来划分给定cgr记录中的人和/或对象。因此，当原始记录在记录期间由于硬件或资源约束而受到限制时，可以执行后处理(例如，分析如上所述的cgr记录)，并且其还可以连续地发生在云中(例如，利用更深的神经网络和/或其它机器学习算法)。特别地，随着用户配置文件改变，前述云算法可以继续学习用户偏好。在另一示例中，当用户正在行进时，本主题技术使得能够调整给定cgr记录的渲染以进一步适应由于不同地理位置而可能已经改变的领域权限。
49.还如图所示，服务器120提供云环境270。云环境270可以使用其自身的一组处理器(例如，cpu和/或gpu)。在具体实施中，服务器120包括安全云记录分析器280，其对上文关于给定cgr记录讨论的安全记录分析器260执行相同或相似的功能。在示例中，服务器120可以从电子设备105接收请求以执行对给定cgr记录的分析。由安全记录分析器260执行的任何分析(例如，生成的元数据信息或推荐)的结果可被返回到电子设备105以进行进一步处理。
50.在具体实施中，电子设备115包括安全记录分析器265，其可以分别执行如上文结合电子设备105的安全记录分析器260所述的相同功能。例如，安全记录分析器260可以分析来自存储在数据库246中的cgr记录247之一的cgr记录。
51.如图所示，电子设备115包括一组工具245，其对应于提供编辑功能以修改cgr记录的各种编辑工具(例如，具体应用程序)。每个编辑工具能够接收cgr记录(例如，对应于存储在数据库246中的cgr记录247中的一个cgr记录)以用于编辑。编辑工具的示例包括图像编辑器、用于3d组合的工具和/或能够沿着时间线组织cgr内容的多媒体编辑器。给定编辑工具还可以使新对象或内容能够插入场景中，包括新虚拟内容。
52.尽管在图2中未示出，但是应当理解，电子设备110还可以包括与以上结合电子设备115所讨论的类似部件。
53.在具体实施中，本文所讨论的算法被植入到硅中(例如，面部检测)；此外还有基于软件的算法。此外，本主题技术的具体实施(包括前述电子设备中的任一个)可以利用专用硬件(例如，编码硬件、gpu、用于加速神经网络和机器学习操作的特定处理器等)。
54.以下讨论涉及分析各种计算机生成现实记录的示例，以确定用于生成用于回放的修改记录的限制。
55.下文论述了根据本主题技术的具体实施分析计算机生成现实记录并生成受限的计算机生成现实记录的示例。以下讨论涉及图2中的软件架构200的部件。
56.在示例中，场景示出了会议室中举行的会议，该会议室被包括在计算机生成现实(cgr)记录中。在该场景中，人在对应于会议室中白板的区域中做演示。在示例中，区域中的该演示可以是呈现为cgr记录中白板上的视觉演示的虚拟内容。
57.在此示例中，安全记录分析器(例如，安全记录分析器260或265，或安全云记录分析器280)分析该场景，并且确定白板上的虚拟内容是受保护内容，并且基于用户的当前访问级别而确定已经请求查看cgr记录的用户不具有足够的访问权限以查看白板上的内容。安全记录分析器可以将与分析相关的信息以元数据的形式提供给记录框架230或编辑工具以用于进一步处理。使用所提供的信息，记录框架230或编辑工具可以生成cgr记录的修改版本。
58.在示例中，可能已至少部分地基于从cgr记录的上述分析生成的信息生成了与场景的修改版本对应的作为修改的cgr记录一部分的第二场景(例如，通过特定编辑工具或主机应用程序或记录框架230)。在第二场景320中，已经渲染白板上的虚拟内容以混淆先前在场景中示出的受保护内容。以此方式，当被不具有足够访问权限的用户查看时，受保护内容不显示给用户。
59.以下讨论涉及根据本主题技术的具体实施分析计算机生成现实记录并生成受限的计算机生成现实记录的示例。以下讨论涉及图2中的软件架构200的部件。
60.在示例中，场景示出了被包括在计算机生成现实(cgr)记录中的特定室内环境(例如，具有摇滚乐队的音乐会)。在该场景中，摇滚乐队正在对应于舞台上方场地(area)的区域中进行表演。在示例中，该区域可以被认为是受保护内容，其需要特定访问权限(例如，查看用户必须支付一定费用才可以查看该区域)以便观看该摇滚乐队。
61.在此示例中，安全记录分析器(例如，安全记录分析器260或265，或安全云记录分析器280)分析该场景，并且确定该区域中的内容是受保护内容，并且基于用户的当前访问级别而确定已经请求查看cgr记录的用户不具有足够的访问权限以查看该区域中的内容。在一个或多个具体实施中，确定场景中的受保护内容基于检测标签、执行对象识别和/或检测受保护对象(其可以被标记为被保护的)。安全记录分析器可以将与分析相关的信息以元数据的形式提供给记录框架230或编辑工具以用于进一步处理。使用所提供的信息，记录框架230或编辑工具可以生成cgr记录的修改版本。
62.使用相关联的元数据信息，记录框架230或编辑工具可以生成cgr记录的修改版本。在示例中，此类元数据信息可以包括指示场景中对象的位置的信息、关于对象类型的信息(例如，分类)、对象大小的信息和/或有助于识别或定位场景中的对象的任何其它适当信息，包括记录框架230利用其以区分对象的对象描述符。在图4b中，可能已至少部分地基于从cgr记录的上述分析生成的信息生成了与场景的修改版本对应的第二场景(例如，通过特定编辑工具或主机应用程序或记录框架230)。在第二场景中，已经渲染虚拟内容422以混淆先前在场景中示出的受保护内容(例如，摇滚乐队)。以此方式，当被不具有足够访问权限的用户查看时，受保护内容不显示给用户。在此示例中，用户可以与系统交互并支付必要的费用以便观看摇滚乐队。一旦费用支付交易被验证，回放期间对计算机生成现实环境的渲染就类似于该场景，从而使用户能够观看进行演出的摇滚乐队。在具体实施中，以可逆的方式应用前述限制(例如，混淆或去除内容)以使得能够在将来消除限制。
63.图3a和图3b示出了根据本主题技术的具体实施的分析计算机生成现实记录并且
基于具有隐私信息的用户配置文件来生成受限的计算机生成现实记录的示例。以下讨论涉及图2中的软件架构200的部件。
64.在图3a的示例中，安全记录分析器(例如，安全记录分析器260或265或安全云记录分析器280)分析场景310并确定与场景310中识别的人有关的隐私属性。在场景310中，存在并且已经成功地识别了对应于成人男性的人312、对应于成人女性的人314和对应于男性儿童的人316。在示例中，安全记录分析器能够至少部分地基于每个人可能携带和/或使用的相应相关联设备来确定场景310中三个人的相应身份。
65.当所识别的人中的每一个被包括在特定场景中以供不同用户查看时，此人可具有用于特定头像的相关联用户配置文件以供显示。例如，人可以具有用于联系人的配置文件、用于工作的配置文件、用于朋友和家庭的配置文件、公共配置文件、个人配置文件等，其相对于场景的查看用户指示用于在场景中渲染的头像的类型。另选地，在给定场景中的一个或多个人的识别不成功的情况下，该场景可被渲染以混淆面部(例如，通过模糊人的面部)，并且指示此人未知或未被识别。
66.对应于人312、人314和人316的用户中的每一个还可以在其用户配置文件信息中设置隐私过滤器。当设置此类隐私过滤器时，在场景中渲染的用户的表示可以被匿名化，使得用户无法通过视觉手段被轻松识别。在示例中，当隐私过滤器设置在用户配置文件中时，如上所述的用户头像的渲染(例如，基于关于查看用户的配置文件类型)是不适用的。
67.安全记录分析器可以将与分析相关的信息以元数据的形式提供给记录框架230或编辑工具以用于进一步处理。使用所提供的信息，记录框架230或编辑工具可以生成cgr记录的修改版本。
68.使用相关联的元数据信息，记录框架230或编辑工具可以生成cgr记录的修改版本。在图3b中，可能已至少部分地基于从cgr记录的上述分析生成的信息生成了与场景310的修改版本对应的场景320(例如，通过特定编辑工具或主机应用程序或记录框架230)。在场景320中，已经渲染了头像322、头像324和头像326以用于在场景320中显示。基于与先前在场景310中识别的人312、人314和人316相对应的相关联的用户配置文件信息，图3b示例中的头像可以被选择用于向查看场景320的用户显示。以此方式，可以至少部分地基于用户配置文件信息和/或隐私设置来将相应头像包括在修改的cgr记录的渲染中。
69.图4示出了根据本主题技术的具体实施的分析计算机生成现实记录并且基于具有限制信息的用户配置文件来生成受限的计算机生成现实记录的示例。以下讨论涉及图2中的软件架构200的部件。
70.在示例中，安全记录分析器(例如，安全记录分析器260或265，或安全云记录分析器280)分析该场景，并且确定该区域中的内容是限制内容(例如，基于查看用户的年龄)，并且基于用户的配置文件信息而确定已经请求查看cgr记录的用户不具有足够的访问权限以查看该区域中的内容。在示例中，可以基于指示用于查看内容的最小年龄的标签来确定年龄限制。安全记录分析器可以将与分析相关的信息以元数据的形式提供给记录框架230或编辑工具以用于进一步处理。使用所提供的信息，记录框架230或编辑工具可以生成cgr记录的修改版本。
71.使用相关联的元数据信息，记录框架230或编辑工具可以生成cgr记录的修改版本。在图4中，可能已至少部分地基于从cgr记录的上述分析生成的信息生成了与另一场景
的修改版本对应的场景420(例如，通过特定编辑工具或主机应用程序或记录框架230)。在场景420中，虚拟内容422已被渲染以混淆先前可能在场景中已示出的限制内容(例如，在打斗的两个男人)。以此方式，当被不具有足够访问权限的用户查看时，限制内容不显示给用户。在此示例中，用户未被示出对应于暴力事件的限制内容，因为该用户的配置文件信息指示用户不具有观看此类暴力内容的足够年龄。这种限制可以由系统设置，或者通过对该用户账户具有安全权限的另一用户(诸如该用户的父母或监管人)来设置。
72.图5示出了根据本主题技术的具体实施的用于分析计算机生成现实内容记录的示例性过程500的流程图。出于解释的目的，本文主要参考图1和图2的电子设备105来描述过程500。然而，过程500不限于图1和图2的电子设备105，并且过程500的一个或多个框(或操作)可由其他合适设备(包括电子设备105、电子设备110和/或服务器120)的一个或多个其他部件来执行。进一步出于解释的目的，过程500的框在本文中被描述为顺序地或线性地发生。然而，过程500的多个框可并行发生。此外，过程500的框不必按所示顺序执行，并且/或者过程500的一个或多个框不必执行和/或可由其他操作替代。
73.如图5所示，电子设备105分析设备视场内的内容的记录，该分析包括识别被包括在该内容中的一组对象(510)。在示例中，视场对应于cgr环境中对用户可见的可观察的世界的范围。视场可以以度数来测量，并且设备视场越高(例如，度数越大)，虚拟世界将延伸至用户视野的边缘就越远。电子设备105识别被指示为对应于受保护内容的一组对象的子集(512)。电子设备105生成记录的修改版本，该修改版本混淆或过滤该组对象的子集(514)。电子设备105向主机应用程序提供记录的修改版本以供回放(516)。
74.如上所述，本技术的一个方面在于收集和使用得自各种来源的数据。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、社交网络标识符、家庭地址、与用户的健康或健身级别相关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
75.本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。本公开还预期个人信息数据有益于用户的用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
76.本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(hipaa)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在
每个国家应为不同的个人数据类型保持不同的隐私实践。
77.不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
78.此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
79.因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或少量的个人信息，诸如与用户相关联的设备请求的内容，其他非个人信息或公开可用的信息来选择内容并且递送至用户。
80.图6示出了可利用以实现本主题技术的一个或多个具体实施的电子系统600。电子系统600可以是图1所示的电子设备105、电子设备104、电子设备110、电子设备115和/或服务器120并且/或者可以是其一部分。电子系统600可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统600包括总线608、一个或多个处理单元612、系统存储器604(和/或缓存)、rom 610、永久性存储设备602、输入设备接口614、输出设备接口606以及一个或多个网络接口616，或其子集及变体形式。
81.总线608总体表示通信地连接电子系统600的许多内部设备的全部系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中，总线608将一个或多个处理单元612与rom 610、系统存储器604和永久性存储设备602通信地连接。一个或多个处理单元612从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。在不同的具体实施中，一个或多个处理单元612可为单个处理器或者多核处理器。
82.rom 610存储一个或多个处理单元612以及电子系统600的其他模块所需的静态数据和指令。另一方面，永久性存储设备602可为读写存储器设备。永久性存储设备602可为即使在电子系统600关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其对应的磁盘驱动器)可被用作永久性存储设备602。
83.在一个或多个具体实施中，可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备602。与永久性存储设备602一样，系统存储器604可为读写存储器设备。然而，与永久性存储设备602不同，系统存储器604可为易失性读写存储器，诸如随机存取存储器。系统存储器604可存储一个或多个处理单元612在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程被存
储在系统存储器604、永久性存储设备602和/或rom 610中。一个或多个处理单元612从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过程。
84.总线608还连接至输入设备接口614和输出设备接口606。输入设备接口614使得用户能够向电子系统600传送信息以及选择命令。可与输入设备接口614一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口606可例如使得能够显示电子系统600所生成的图像。可与输出设备接口606一起使用的输出设备可包括例如打印机和显示设备，诸如液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
85.最后，如图6所示，总线608还将电子系统600耦接到一个或多个网络和/或通过所述一个或多个网络接口616耦接到一个或多个网络节点，诸如图1中所示的电子设备110。以此方式，电子系统600可为计算机网络(诸如lan、广域网(“wan”)或内联网)的一部分，或者可为网络的网络(诸如互联网)的一部分。电子系统600的任何或全部部件可与本主题公开一起使用。
86.上述这些功能可在计算机软件、固件或硬件中实现。该技术可使用一个或多个计算机程序产品实现。可编程处理器和计算机可包括在移动设备中或封装为移动设备。该过程和逻辑流程可由一个或多个可编程处理器和一个或多个可编程逻辑电路执行。通用和专用计算设备以及存储设备可通过通信网络互连。
87.一些具体实施包括将计算机程序指令存储在机器可读或计算机可读介质(也称为计算机可读存储介质、机器可读介质或机器可读存储介质)中的电子部件，诸如微处理器、存储装置以及存储器。此类计算机可读介质的一些示例包括ram、rom、只读光盘(cd-rom)、可刻录光盘(cd-r)、可重写光盘(cd-rw)、只读数字通用光盘(例如，dvd-rom、双层dvd-rom)、各种可刻录/可重写dvd(例如，dvd-ram、dvd-rw、dvd rw等)、闪存存储器(例如，sd卡，mini-sd卡、micro-sd卡等)、磁性和/或固态硬盘驱动器、只读和可刻录盘、超密度光盘、任何其他光学或磁性介质以及软盘。计算机可读介质可存储计算机程序，该计算机程序可由至少一个处理单元执行并且包括用于执行各种操作的指令集。计算机程序或者计算机代码的示例包括机器代码，诸如由编译器所产生的机器代码，以及包括可由计算机、电子部件或微处理器使用解译器来执行的更高级别代码的文件。
88.虽然上述论述主要涉及执行软件的微处理器或多核处理器，但一些具体实施由一个或多个集成电路诸如专用集成电路(asic)或现场可编程门阵列(fpga)执行。在一些具体实施中，此类集成电路执行存储在电路自身上的指令。
89.如本说明书以及本专利申请的任何权利要求所用，术语“计算机”、“服务器”、“处理器”及“存储器”均是指电子或其它技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语显示或正在显示意指在电子设备上显示。如本说明书以及本专利申请的任何权利要求所使用的，术语“计算机可读介质”以及“计算机可读媒介”完全限于以可由计算
机读取的形式存储信息的可触摸的有形物体。这些术语不包括任何无线信号、有线下载信号以及任何其他短暂信号。
90.为了提供与用户的交互，本说明书中所述的主题的具体实施可在具有用于向用户显示信息的显示设备以及用户可用来向计算机提供输入的键盘和指向设备的计算机上实现，显示设备为例如crt(阴极射线管)或lcd(液晶显示器)监视器，指向设备为例如鼠标或轨迹球。其他种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可通过向用户所使用的设备发送文档以及从其接收文档来与用户进行交互；例如，通过响应于从用户客户端设备上的web浏览器接收的请求而将网页发送到该web浏览器。
91.本说明书中所述的主题的实施方案可在计算系统中实现，该计算系统包括后端部件，例如作为数据服务器，或者包括中间件部件，例如应用服务器，或者包括前端部件，例如具有图形用户界面或web浏览器的客户端计算机，用户可通过该图形用户界面或web浏览器与本说明书中所述的主题的具体实施进行交互，或者包括一个或多个此类后端部件、中间件部件或前端部件的任何组合。系统的部件可通过任何形式或介质的数字数据通信例如通信网络来互连。通信网络的示例包括局域网(“lan”)和广域网(“wan”)、互联网络(例如，互联网)和对等网络(例如，自组织对等网络)。
92.计算系统可包括客户端和服务器。客户端和服务器一般是相互远离的，并且可通过通信网络进行交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在某些具体实施中，服务器将数据(例如，html页面)传输到客户端设备(例如，为了向与该客户端设备交互的用户显示数据以及从与该客户端设备交互的用户接收用户输入)。在服务器处可以从客户端设备接收客户端设备处生成的数据(例如，用户交互的结果)。
93.本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。所述功能可针对每个特定应用以不同方式实现。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。
94.应当理解，本发明所公开的过程中的步骤的特定顺序或分级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的步骤的特定顺序或者分级结构可被重新布置。该步骤中的一些步骤可被同时执行。所附方法权利要求呈现样本次序中的各种步骤的元素，并且不意味着限于所呈现的特定顺序或分级结构。
95.先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。先前描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的各个方面，而是旨在使得全部范围与语言权利要求书一致，其中提及单数形式的要素并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名
词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和副标题(如果有的话)仅用于方便，并不限制本文所述的本发明。
96.如本文所用，术语网站可包括网站的任何方面，包括一个或多个网页、用于托管或存储网络相关内容的一个或多个服务器等。因此，术语网站可与术语网页和服务器互换使用。谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。例如，部件或被配置为监视和控制操作的处理器也可能意味着处理器被编程以监视和控制操作或者处理器能够操作以监视和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。
97.如本文所用，术语自动可包括由计算机或机器的执行而无需用户干预；例如，通过响应于计算机或机器或其他启动机构的谓词动作的指令。字词“示例”在本文用于意指“用作示例或者例示”。本文作为“示例”所述的任何方面或者设计不一定被理解为比其他方面或者设计优选或者有利。
98.短语诸如“方面”不意味此方面对本主题技术是必需的或者此方面应用于本主题技术的所有配置。与一个方面相关的公开可应用于所有配置，或者一个或多个配置。一个方面可提供一个或多个示例。短语诸如方面可指一个或多个方面，反之亦然。短语诸如“实施方案”不意味此实施方案对本主题技术是必需的或者此实施方案应用于本主题技术的所有配置。与一个实施方案相关的公开可应用于所有实施方案，或者一个或多个实施方案。一个实施方案可提供一个或多个示例。短语诸如“实施方案”可指一个或多个实施方案，反之亦然。短语诸如“配置”不意味此配置是本主题技术必需的或者此配置应用于本主题技术的所有配置。与配置相关的公开可应用于所有配置或者一个或多个配置。配置可提供一个或多个示例。短语诸如“配置”可指一个或多个配置，反之亦然。