用于自动延迟视频演示的装置、系统和方法与流程

用于自动延迟视频演示的装置、系统和方法
本技术是申请号为201680005388.1、申请日为2016年1月8日、发明名称为“用于自动延迟视频演示的装置、系统和方法”的发明专利申请的分案申请。相关申请的交叉引用
1.本技术要求于2015年1月9日提交的名称为“provisional of computerized virtual digital mirror control features and ui(user interface),as well as product and application design flow to improve the usability of the device/service the user experience and the engagements between sales associate/stylists with customers in the store and on the go,”的美国临时专利申请no.62/101,397的优点和优先权，其全部内容通过引用并入本文。
技术领域
2.本发明一般涉及成像和显示系统，并且更具体地，涉及监控器和交互式显示器，例如，在零售和/或服务的环境中，在医疗或家庭情况下，视频会议，游戏等等。具体实施方式涉及在用户期望看到镜子的情况下虚拟镜子，例如在试穿服装时。另一具体实施方式涉及自然外观比标准视频图像优选的情况，例如在视频会议中。


背景技术：

3.常规的镜子(即反射面)是用于个人实时地获取真实的自身外观的一种常见和最可靠的工具。已围绕相机和屏幕的结合提出了一些替换方式来代替传统的镜子。然而，这些技术并不令人信服，并且尚未被接受作为好像正看着常规镜子中的自己这样的可靠的个人图像。这主要是因为由相机生成的图像非常不同于由镜子产生的图像。
4.在美国申请no.13/843,001中，我们提出了一种新颖技术(计算机化方法)来解决将由一个或多个相机(有或没有其它传感器)生成的静止图像或2d/3d视频转换和变换到镜像或视频会议体验中的挑战。


技术实现要素：

5.在本公开中，我们描述了采用实时视频并实现延迟视频的自动呈现的计算机化技术。这样的特征在各种情况下是有益的，例如当系统被实现为数字镜子并且用户希望具有试穿会话以试穿服装物件并且其从各个方向(包括从背面)看起来怎样。使用标准镜子，用户不能看到服装物件从后面看起来如何。在数字镜子中使用这种技术使人能够从360度看到物件。
6.在另一个实现方式中，该系统可用于训练目的。例如，当舞者想要看到特定动作是如何执行的，或者当高尔夫球手想要查看如何执行挥杆时。使用标准录像机，用户必须开始录制，开始执行运动，然后返回到录像机，倒带和查看录制的视频，这干扰了训练的流程。相反，使用所公开的实施方式，用户能够专注于运动，并且当运动完成时，用户仅需要观看屏幕并观看运动的自动“即时重放”，从而不会干扰培训的流程。此外，在重播完成后，系统自
动反转到正常模式，因此用户根本不必与相机进行交互。
7.进入延迟模式的触发可以以许多方式进行，例如，通过简单地向用户提供按钮以按压或敲击来进行，或者通过分析视频流并基于分析发出触发来进行。分析可以寻找用户的特定运动，例如用户开始转动，或者可以在图像中寻找特定的项目。例如，如果该系统用于高尔夫训练，则分析可能会寻找被升高超过预设高度的高尔夫球杆，这表明用户正在执行高尔夫挥杆。
8.在一个方面，一种用于操作具有监视器、相机和处理器的系统以便在所述监视器上顺序显示实时视频流和延迟的视频流以使得用户能够增强观看会话的体验的计算机实现的方法，被描述为包括：在具有所述处理器和存储器的设备上存储用于由所述处理器执行的程序，该程序包括用于以下操作的指令：在每个会话执行以下步骤：从所述相机获取实况视频馈送；同时将所述视频馈送发送到所述监视器以被显示为实时视频流，并将所述视频馈送作为帧保存在所述存储器中；在接收到呈现延迟的视频流的指示时，从所述存储器获取所述帧并发送到所述监视器以作为延迟的视频流显示，从在接收所述指示前的呈现的n秒存储的帧开始，并且获取一系列的帧延伸预设的m秒后，停止所述获取并恢复将所述视频馈送发送到所述监视器以便显示为实时的视频流。
9.根据另一个方面，提供了一种用于操作具有监视器、相机和处理器的系统以便在所述监视器上顺序显示实时视频流和延迟的视频流以使得用户能够增强观看会话的体验的计算机实现的方法，其包括：设置n秒的延迟周期；设置m秒的记录长度；从所述相机获取实况视频馈送；同时将所述视频馈送发送到所述监视器以被显示为实时视频流，并将所述视频馈送作为帧保存在所述存储器中；在接收到触发时，执行：指示在所述触发时存储的帧作为第一帧；计数n秒，然后从在所述第一帧开始，从所述存储器获取所述帧并发送到所述监视器以作为延迟的视频流显示；并且在持续m秒获取一系列的帧后，停止所述获取并恢复将所述视频馈送发送到所述监视器以便显示为实时的视频流。
10.根据又一个方面，提供了一种用于自动呈现延迟视频的计算机实现的方法，其包括：在正常操作模式期间，将实时视频从相机发送到数字屏幕以便呈现，并同时将所述实时视频发送到存储器以便存储；当发出延迟触发时，进入延迟模式并执行以下操作中的一项：冻结在发出延迟触发的情况下呈现的帧，但是继续将所述实时视频发送到存储器以便存储，或者存储表示触发被发出时的时间的时间指示符，但是继续将实时视频从相机发送到数字屏幕以便呈现并且同时将该实时视频发送到存储器以便存储；监视延迟时间，并且当达到所述延迟时间时，开始从所述存储器获取帧，从紧随冻结的所述帧的帧开始或从在所述时间指示符存储的帧开始，并将这些帧发送到所述数字屏幕以便呈现；监视延迟周期，并且当达到延迟周期时，恢复到正常模式，其中所述实时视频馈送被发送到所述数字屏幕以便呈现，并且还被发送到存储器以便存储。
11.在所述方法中，可以通过连续分析所述视频馈送来生成所述延迟触发，并在确定所述用户正在执行触发运动时，发出所述延迟触发。也可以通过连续分析所述视频馈送来生成所述延迟触发，并在确定图像中的对象已经移动了规定的距离时，发出所述延迟触发。还可以通过连续分析所述视频馈送来生成所述延迟触发，并在确定用户已经进入所述相机的视野时，发出所述指示。所述延迟触发可以是通过用户按压或敲击触发按钮产生的。所述方法还可以包括：围绕竖直轴翻转所述视频馈送的每个帧，以使所述图像的右侧和左侧反
转；并且将变换映射应用到所述视频馈送的每个帧以修改所述帧，使得它们看起来是模仿镜子的反射，从而获得变换的帧。所述方法还可以包括使所述用户能够暂停所述延迟视频的重播。所述延迟周期的长度可以被配置为具有足够的时间以使所述用户能够转身。所述方法还可以包括在所述延迟时间的周期期间在所述实时视频上重叠图形。所述程序还可以包括用于生成模型遮罩以使得能够改变所述服装物品的颜色的指令。所述模型遮罩可以包括至少具有彩色层和纹理层的多个层。所述程序还可以包括用于在所述监视器上生成分屏并且在所述屏幕的一侧上显示所述实时视频而在另一半上播放所述延迟视频的指令。
12.在另外的实施方式中，公开了产品的机械设计和外观，以增强整体的可用性和功能性以及用户体验。所述系统可以包括：被配置为容纳在其内的处理器的外壳，所述外壳具有延伸部；耦合到所述延伸部的光学传感器壳体；容纳在外壳内的处理器，处理器包括存储器和视频引擎，并具有被配置为将数字图像发送到数字屏幕的输出；光学传感器，其容纳在光学传感器壳体内并具有将图像发送到处理器的装置；以及连接机构，其被构造成将所述外壳连接到数字屏幕的背面。
13.根据进一步的方面，程序可以存储在系统中，该程序在由处理器执行时使得系统在监视器上显示镜像模拟图像和/或执行自动延迟模式呈现，如本文中的各种实施例中所描述的。
14.本文还描述了用于操作监视器、相机和处理器以便在监视器上显示延迟视频的剪辑的非暂时计算机可读存储介质。在某些实施方式中，在具有处理器和存储器的设备存储由处理器执行的程序，该程序包括用于以正常模式和延迟模式操作的指令，其中在正常模式中，该程序包括用于从相机接收实时视频流的指令并将实时视频流发送以便显示在屏幕上并存储在存储器中；并且在进入延迟模式时执行：指示在接收到所述触发时的触发时间；从所述触发时间起计数n秒，然后从所述存储器获取所述帧并发送到所述监视器以作为延迟的视频流显示，从在所述触发时间存储的帧开始，并且同时继续将所述视频流存储到所述存储器；在持续m秒获取一系列的帧后，停止所述获取并恢复将所述视频馈送发送到所述监视器以便显示为实时的视频流。在某些实施方式中，程序包括用于在监视器上显示镜像模拟图像的镜像模拟模式的指令。
15.本文还描述了一种用于操作监视器、相机和处理器以便在监视器上显示镜像模拟图像的计算机系统。该计算机系统包括在具有处理器和存储器的设备存储由处理器执行的程序，该程序包括用于以下操作的指令：针对用户进行感测，启动延迟模式以在监视器上自动显示延迟视频的剪辑并在延迟剪辑的呈现终止时恢复到实时视频。该程序还可以包括用于执行对由相机拍摄的图像进行帧抓取的指令，执行元素选择以从该帧获得所选择的元素，产生对应于所选择的元素的遮罩，选择新颜色，将该遮罩应用于新颜色以生成新图像，并在监视器上显示新图像。也就是说，本文描述的延迟模式可以在具有或不具有本文所描述的其它特征(例如镜像化视频、应用遮罩和改变颜色、确定bmi等)的情况下实现。
附图说明
16.被并入本说明书的附图示出了本文公开的发明的一个或多个示例性实施方式，并且与详细描述一起用于解释这些发明的原理和示例性实现方式。本领域的技术人员将理解，附图仅是说明性的，并且本文所描述的内容可基于本说明书的文本内容和本文教导的
精神和范围进行调整。
17.在附图中，类似的附图标记指代说明书中的类似元素：
18.图1示出了用于支持实时或记录的视频/图像的增强现实平台的系统框图。
19.图2示出了可以与本文所述的增强现实模块相对应的增强现实模块的示例；
20.图3示出了可以替代图像的前景或背景中的物品或物体的身体部位、颜色、取向和纹理的增强现实模块，例如，该模块可以给用户添加头发，改变用户的眼睛、皮肤和头发颜色，可以改变眼睛的神态等等；以及
21.图4示出了创建用于颜色和纹理交换的模型的计算方法，其可以被称为colograma；
22.图5描绘了创建用于颜色和纹理交换的模型的计算方法，其可以被称为colograma；
23.图6是用于多级用户学习和认证的安全系统应用的示例；
24.图7描绘了用于并行或带内相机操纵的安全系统应用的示例；
25.图8a描绘了视频/语音会议中的共享镜像体验；
26.图8b描绘了分享全身的视频会议；
27.图8c描绘了具有分屏或多屏的多个反射镜/全身站；
28.图9涉及到模型生成器的2d输入的示例，其中希望创建用户衬衫的模型；
29.图10是上部衬衫的2d模型的示例；
30.图11是示出了男性体型的分类的示意图；
31.图12是示出了女性体型的分类的示意图；
32.图13描绘了附加处理的结果的一个示例，该附加处理从身体消去了手部并且指向寻找特定身体测量结果的位置的不同间隔。
33.图14、15和16描绘了可以一起排序以模拟镜像体验的虚拟镜像用户界面(ui)流的示例；
34.图17描绘了建议的使用流程的一实施方式；
35.图18描绘了延迟模式的建议的使用流程的一实施方式。
36.图19描绘了用于延迟模式的gui的一实施方式。
37.图20描绘了用于实现空闲、实时和延迟模式的自动切换的数字镜子系统的一实施方式。
38.图21示出了可以附接到任何电视屏幕的背面并将tv屏幕转换成数字反射镜的完全容纳单元的实施方式。
39.图22是图21的单元的侧视图，示出了附接到电视机的背面。
40.图23和24示出了可以由本文公开的任何实施方式实现以能够自动显示延迟视频的过程的流程图。
具体实施方式
41.下面的示例说明了本发明的一些实施方式和方面。对于本领域技术人员，将显而易见的是，各种修改、添加、替换等可以在不改变本发明的精神或范围下进行，并且这些修改和变化被包含在后述权利要求书所限定的本发明的范围之内。以下的示例不以任何方式
限制本发明。
42.本发明的实施方式解决与颜色变化、多级用户识别和身体测量有关的问题。提供了一种虚拟校准的相机，其能够提供增强的现实特征，例如虚拟镜像或视频会议应用中的身体物品或背景的颜色、纹理、形状操纵。它还能够进行身体测量、身体监测以用于商业、安全和医疗保健应用。
43.具体而言，图像或视频中的对象和/或元素的精确分割是本技术领域中最大的挑战之一。用于解决该问题的已知技术涉及精度和速度之间的明确折衷。在本发明之前，没有令人满意的解决该问题的办法。使用利用三维(3d)深度测量的红外(ir)相机是工业上的一种方法；然而，该方法的质量受到影响。例如，边缘、图像失真和/或红外相机和常规相机之间的低分辨率错位妨碍了成功和令人信服的分割。从计算机资源的角度来看，颜色分离和边缘检测技术都要求很苛刻，并且不会产生一致的性能。用以提取用户或对象的一些技术采用了例如容易进行识别的绿色背景，但在绿色背景不可用的应用中并不适用。
44.一旦获取了被操纵的一个或多个项目的模型，第二个问题是创建平滑的渲染流，该渲染流将更新模型并将其平滑地渲染回到原始视频或渲染成具有新信息的其他增强现实视频。以下所公开的实施方式实现了具有高品质的相对快速的平滑渲染流，因此可实时地、半实时地或比较快地进行操纵，具体取决于特定应用的要求。另外，所述实施方式适于在相机主流馈送上实时地操纵项目(颜色、纹理、形状)或在用户记录的视频上离线地操纵。
45.基于模型、遮罩、和/或来自视频的每个对象的阿尔法通道，获知用户动作，与对象的形状和形式适配或不适配的不同对象可以以令人信服的方式安装。所公开的实施方式可区别于现有技术，其试图以虚拟的方式进行任何处理。实施方式可包括用遮罩进行操纵以涵盖其他变化，例如不同布料、用户的面部变化、用户体型变化、从图像中消除用户等等。
46.一些实施方式可以包括多级用户认证。具体地，实施方式可包括脸部识别的改进、用户获知和适应。已知的人脸识别方法可以利用可对脸部姿势非常敏感的算法。在本技术中，可以创建脸部姿势的平滑体验，以适应不同的相机位置和角度。
47.各种实施方式可包括代码识别，例如，快速识别(qr)码，一维码，隐含代码等。所述实施方式可以适于从相对远的距离发现具有与在投影情况下和在其它光学失真情况下的图像相比相对小的图像的代码。另外，也可以包括无线识别，例如，nfc、无线宽带、微波3d、身体接入网络(ban)芯片等。无线识别可以从移动设备、手表眼镜、微芯片或在设备或微芯片上携带的其它设备。其他身体测量技术可以包括指纹、身体识别、体型、眼睛、手掌识别、x射线相关、体温、身体脉搏、血压等。
48.另一个公开特征是布料识别，它可以识别项目和用户穿着的衣服。例如，其可包括织物中的隐含码或信息。
49.其它特征和实施方式可包括：微波扫描器，其中微波传感器集成在屏幕中；人体测量特征，其包括例如来自视频的2d和3d身体线条检测或2d/3d模型/遮罩(model/mask)生成；来自测量结果的分析结论，例如，身型、出身、性别、年龄、建议的衣服尺寸、建议的饮食或治疗等；一段时间内的身体线条跟踪以用于诊断、变化识别、用户识别等等。
50.关于硬件，各种实施方式可包括单个或多个相机，该单个或多个相机具有所有类型传感器(包括但不限于ccd、cmos、ircmos等)和格式协议(包括hdmi、火线、usb、ip、hdbaset无线等)以及任何可用的分辨率(包括hd、常规sif、4k、8k等)。显示器可包括具有所
有尺寸、形状和比例的单个或多个屏幕或虚拟屏幕以及常规屏幕。显示器可包括镜像类屏幕、智能电话或平板电脑、投影仪、全息图、三维屏幕、谷歌眼镜、投影仪头戴显示器(hmd)、眼镜(具有可切换的模糊层)等。
51.在所公开的实施方式中，相机可以位于任何位置。最好的做法是将相机面向用户设置在屏幕上方。附加位置可包括在屏幕底部、屏幕侧部或屏幕背后(如果屏幕是双向屏幕的话)。在3d情况下，两个相机可以例如在顶部且并排设置，这可以提供更佳的结果并且减除了计算机化方法。此外，一旦用户移动和/或旋转，可由单个相机操作3d。
52.实施方式可以包括根据每个用户选择(例如，头部和/或眼睛的校正、观察方向/观察点的校正)用以涵盖全身或局部身体以及进行不同缩放的计算机化方法。
53.上述的实施方式中的每一个都可以被提供在静止硬拷贝图像2d/3d上。上述的实施方式中的每一个都可以被提供在静止数字图像2d/3d上。上述的实施方式中的每一个都可以被提供在由模拟/数字相机记录的模拟/数字视频上。上述的实施方式中的每一个都可以被提供在由帧抓取器hdmi(或等同物)、ip、usb、火线(有线或无线链路)等记录的模拟/数字视频上。上述的实施方式中的每一个都可以在可经由任何合适的通信方法传送到计算设备的数字流式视频上来提供，所述通信方法诸如usb、hdmi、ip cat-5/光纤、无线局域网、火线、hdbaset、在单根电缆或多根电缆上的上述的任意组合。上述的实施方式中的每一个都可以在计算设备包含在相机中、屏幕中、在云中、在包括工作站、服务器等在内的计算机等中的情况下来提供。
54.上述的实施方式中的每一个都可以在计算设备分布在系统元件之间的情况下来提供，例如计算机化方法可以部分包含在相机中，部分在视频采集元件中，部分在屏幕图形处理单元(gpu)中，部分在云中，部分在用户智能电话设备中或这些的任何合适的组合。上述的实施方式中的每一个都可以在计算设备包含在智能电话、平板电脑、笔记本电脑、显示屏、相机、hmd、谷歌眼镜等中的情况下来提供。
55.上述的实施方式中的每一个都可以在视频进行预处理以提取所选择项目的3d模型的情况下来提供，其中，该预选可以由用户手动或通过施加用于选择的规则来自动地完成。该模型提取可通过紧接相机的dsp/cpu本地地执行、在云中执行或在用户设备上的用户应用程序中执行。对于单个对象或静止图像更有效的是在gpu(图形处理单元)中提取模型；在这种情况下，常规cpu是足够的。
56.上述的实施方式中的每一个都可以在渲染正在增强现实站中本地地执行、在云中执行或在用户移动设备处执行的情况下来提供。对于单个图像或非常短的视频，渲染可以在gpu中进行；在这些情况下，cpu可提供足够的性能。
57.上述的实施方式中的每一个都可以在增强渲染技术被执行以提高视频质量的情况下来提供，例如，将对象和图像插补成更高分辨率以及在组合后进行取样来平滑边缘和消除混叠效应。本发明能够例如通过逐帧地平滑模型、通过消除边缘上的每帧所允许的变化、通过平滑每帧的边缘、通过在单帧或多帧上施加平均过滤器等等来消除闪烁边缘。额外的改进可以通过提高帧速率和在增加的帧上施加附加的平滑技术以平滑在原始帧速率下会出现的效应来实现。
58.无论屏幕是否驻留在相机附近，上述的实施方式中的每一个都可以被提供。例如，屏幕可位于控制室内。相机主流或记录的信息可以经由远程控制、经由直接利用物理基础
设施的其他地址、或通过云来获取。
59.在一个实施方式中，站功能上的控制可以通过手势、眼球移动、手掌移动、手指移动或大脑控制来实现。本发明可以用附加的配件例如激光光束指示器、语音控制、无线或超声跟踪等进行控制。
60.下面提供的是可以利用本发明技术的其他应用的几个例子。具体来说，基本视频变换可以被用来创建可靠的虚拟试装。
61.当位于线的另一侧的用户/多个用户能够看到参加者就好像参加者正在直视着他们一样而不是看到从相机视点而得的图像的情况下，基本视频变换可以被用来创建可靠的视频会议。替换地，变换可被用来创建好像用户正看着另一用户的眼睛这样的图像，以提供令人信服的、实时的体验。
62.用于增强现实的基本视频转换可以被提供以用于多种用途，包括但不限于：身体操纵和调整大小，身体测量，医疗诊断/监控/培训和/或跟踪，游戏，试装，约会，会议，安全，全身模拟器，舞蹈培训，美发，化妆，一般培训，旅游，等等。
63.可以提供实时和离线的外观登记和比较，使得用户可以跟踪一段时间内和多年内的外观变化。这些处理可以被提供以用于包括医疗登记在内的多种用途，其可以在给定的周期内，在多个检查之间使用例如针对体温，血压等的多个/不同的传感器。
64.实施方式可应用于其中用户想改变自己外观(例如，肤色，装扮，脸部等等)的视频会议或游戏。根据本发明，模型可允许平滑变化成为期望的外观，或者甚至创建用户被从视频消去的图像。
65.实施方式可以用于安全应用，具有当相机位于用户眼睛的投影视角时在经校准的眼睛匹配(眼睛匹配)上的准确面部识别(参见，美国申请no.13/843001)，具有动态qr(快速响应)码识别(例如，经由移动应用程序的用户授权和管理、或徽章、qr码可以针对来自云端的移动应用程序生成，并且可以通过应用程序中的用户身份验证进行验证)，具有全身识别、扫描和获知，具有项目识别(例如，衣服，制服，徽章等)，具有无线嗅探器(例如，无线网络，蜂窝，超声等)，具有针对安全数据库的api，具有定位系统，具有公共信息等等。所述实施方式可以基于指定动作(例如，锁门，打开/关闭光，释放雾，射靶机，例如电击、子弹、纸张等)的识别来与威胁预防动作一起使用。归因于校准图像的几何形状，图像中目标的位置可以被非常精确地测量，并可以用来在目标上执行精确攻击而不会对他人构成威胁。
66.在一些实施方式中，主相机流可以被实时地操纵以改变用户外观，或者完全地将其从视频或图像消去。在这种情况下，相机dsp或单独的dsp或gpu功能设备需要获取相机流并经由远程控制中心处理相机流且将其作为相机主流再次打包。在一个实施方式中，对相机主流的并行计算(嗅探器)也是一种选择。
67.在一些实施方式中，带有/没有来自其它传感器的补充信息的经校准的相机/多台相机可用于患者诊断和患者监控。例如，但不限于，本发明可用于监测和提醒皮肤问题，如皮肤癌黑色素瘤，针对乳腺癌可暗示进一步检测的乳房变化，心率和血压测量，患者体温，用户晕光，皮肤和指甲记录监控变化，眼疾，转动，骨骼，肌肉和身体灵活性趋势和变化。
68.我们现在转向与本发明的实施方式相关的详细描述和概念框图。
69.图1是用于支持实时的或记录的视频/图像的增强现实平台的系统框图。该系统可以包括一个或多个(1：n)输入装置101，其包括视频相机、静止相机、红外相机、2d相机或3d
相机。输入装置101可适于将信息发送到一个或多个机器视觉增强现实模块102、103、104、105、107、108和109。所述一个或多个机器视觉增强现实模块102、103、104、105、107、108和109可适于将信息发送到一个或多个(1：m)屏幕106。所述一个或多个机器视觉增强现实模块102、103、104、105、107、108和109可适于发送/接收往来于接口或用户接口模块110的信息。接口110可适于发送/接收往来于云、网络/商店或用户设备(例如智能电话或平板电脑)中的一个或多个的信息。
70.所述一个或多个机器视觉增强现实模块102、103、104、105、107、108和109可包括图像抓取模块102、眼睛匹配变换模块103、增强现实模块104、视频/静止图像记录模块105、触发事件模块107、控制要素模块108和出厂校准模块109。
71.所述图像抓取模块102可以包括以下特征中的一个或多个：增强过滤器，格式转换，视频帧分割，图像裁剪，图像大小调整，图像拼接等。所述图像抓取模块102可适于将信息发送到眼睛匹配变换模块103。图像抓取模块102可适于发送/接收往来于触发事件模块107的信息。
72.眼睛匹配变换模块103可适于在图像上施加正确映射，以使相机视点与理论镜像视点(用户眼睛反射)相匹配，并填补空白像素(如果在映射后存在的话)。眼睛匹配变换模块103可以适于将信息发送到增强现实模块104和/或视频/静止图像记录模块105。另外，眼睛匹配变换模块103可以适于发送/接收往来于控制要素模块108的信息。另外，眼睛匹配变换模块103可以适于将信息发送到一个或多个屏幕106。
73.增强现实模块104可以适于例如提供虚拟颜色和纹理的更换、虚拟试衣、对象插入等。增强现实模块104可以适于发送/接收往来于控制要素模块108和/或视频/静止图像记录模块105的信息。此外，增强现实模块104可以适于将信息发送到一个或多个屏幕106。
74.视频/静止图像记录模块105可适于记录单个图像或基于软件控制的短时拍摄。视频/静止图像记录模块105可以适于发送/接收往来于控制要素模块108的信息。此外，视频/静止图像记录模块105可以适于将信息发送到一个或多个屏幕106。
75.触发事件模块107可以包括以下特征中的一项或多项：识别镜子之前的用户，人脸识别，用户手势命令识别，项目识别，测距，用户身体测量/评估(包括例如身高，年龄，体重，民族，性别等)，以及理论镜子中用户理论视点计算。触发事件模块107可以适于发送/接收往来于控制要素模块108的信息。
76.控制要素模块108可以包括以下特征中的一个或多个：用于设置相机以优化质量的控制和管理，用于设置其它硬件元件的控制和管理，算法模块和更高级代码/应用程序/用户接口之间的接口的控制和管理，以及将来自工厂的已校准数据推送到算法要素的控制和管理。控制要素模块可适于发送/接收往来于出厂校准模块109的信息。
77.出厂校准模块109可适于限定相机和屏幕前的用户视点之间的映射变换。此外，出厂校准模块109可适于基于距离、特殊位置、用户高度或它们的任意组合来校准图像。
78.图1和下面的描述仅仅表示本发明的一个实施方式的实例；其他流程或功能可以在模块之间进行分配，表示作为本发明的一部分的附加实施方式。本发明提出两种方法以能够进行增强现实功能(实时和离线)。这两种方法均将实时的或在经由例如眼睛匹配变换模块103处理后获取的真实图像或视频数据装入增强现实模块104。
79.一个特征是，用户可以手动或自动定义(经由例如接口110)规则，该规则涉及哪些
项目用户想要处理和操纵、什么是预期的最终结果，例如，自动规则可以是像寻找用户衬衫这样的一些规则，其可以被改变成为不同的颜色，或者用户经由利用触摸屏的手动选择和手动颜色选择来选择衬衣。然后，所选择的对象可以被处理和提取/分割出来并被记录到链接到原始录制的视频或图像的数据库。然后，增强现实模块104可以以给定的帧速率实时地处理模型/遮罩，其可以以比原来更低或更高的帧速率并以与原来相比相同或不同的尺寸。有些应用不需要(但仍然可以包括)实时增强的现实，如试穿衣服，当用户希望看到自己改变(一个或多个选项)时。一旦从实时场景所提取的对象被保存，就比较容易渲染多种变化(颜色，纹理，大小等)。另外，更容易以更高的质量更精确地执行更长的处理并且采用能够产生更多信息的处理，例如，用户移动，身体测量和基于帧集成的质量等等。对于需要实时处理的其他应用，如视频会议，最好使用第二个选项。采用第二个选项，性能应当适于尽可能接近相机的实际帧速率，以避免引入可能产生帧降差和不良性能的延迟/滞后。如果遇到延迟/滞后，那么这样的延迟/滞后可以产生流畅的视频而没有帧滞后的方式进行管理。这种管理可以利用缓冲器、图像时间戳加上一些延迟来实现、或利用时间戳和帧重新排定进行渲染来实现。
80.对于视频输入，强烈建议渲染过程在dsp或gpu设备内完成，以避免引入延迟到视频中。也可以在cpu中针对第一选项(非实时)完成遮罩/模型的创建。对于第二选项，遮罩/模型也可以在gpu/dsp中执行和进行计算。
81.在触发事件模块107中，一些触发功能可以是完全自动的，例如，如果作出面部检测或存在检测，则处理可以启动。一些触发可以以半自动化的方式从用户接口模块110进行，该用户接口模块110可以包括用来控制计算机化装置的任何方式。触发事件的一些功能是根据几何信息、校准和/或实时用户跟踪例如用户的位置、眼、头、手、位置、移动等等来计算图像变换。跟踪可以使用一种或多种技术，例如背景子站、模式识别、颜色分割等来完成。变换追踪计算功能也可以在其他模块中实现。
82.控制要素模块108可以适于配置系统设置、相机设备认证等，还可以将来自跟踪变换功能的信息提供到实际的几何变换模块或增强现实模块等。
83.利用出厂校准模块109，计算待施加到图像/视频上的变换所需要的一些信息也可以在出厂校准期间产生或可以基于在现场的相机实际取向上的附加信息来计算，例如地板或桌子上方的高度等、3d视点、透镜视场(fov)等等。出厂信息加上实现的实际几何结构可以被处理并传递给将要使用该信息的系统中的正确要素，以用于更佳的校准和精度。
84.除了应用到本地屏幕以用于镜子应用之外，本发明还可用于发送视频以及装置，以将其进行变换或将实际操纵的和经变换的视频变换到云中或本地的另一地址如单向或双向视频会议。
85.图2描绘了增强现实模块的一个实例，其与上述的增强现实模块104相对应。具体而言，该增强现实模块可具有使用户能够虚拟装扮自己的功能。在此实施方式中，系统从例如眼睛匹配计算机化方法201或者从任何其他图像/视频源(例如用户智能手机、安全相机、谷歌眼镜、移动相机或静止相机)获取输入图像或视频。附加的实施方式可包括可有助于计算如用户高度、视线等附加的几何信息。如果用户视频或图像来自眼睛匹配模块(经校准的图像/视频)，则可生成能够用于身体测量、对象姿势、大小、高精确取向等的更加复杂的模型。可由经校准的对象或视频计算的附加信息能够用于对象适配、对象替换和插入新对象
到帧/视频中。
86.选择模块202能够由用户(x、y或者对象名)手动地或由选择方法自动地(例如可自动检测预定义的对象如裤子、裙子等的机构)从接口206获取选择信息。
87.模块203可获得位置并对颜色(或者对象的平均颜色，其可多于一种颜色)取样。模块203可使用该信息来生成黑白遮罩，其首先被用于生成2d或3d纹理的阴影和彩色遮罩。
88.用于提取模块的技术是基于3d颜色关联或任何其他技术，如对象平均颜色和将对象像素与整个图像区分开的像素颜色之间的最近欧氏距离(euclidian distance)。
89.关于像素是否在对象内的判定不能被多级执行且不限于下述示例：
90.1.颜色关联和第一判定可基于欧氏距离阀值，其中该欧氏距离阀值是在rgb颜色空间或彩色空间内。
91.2.通过施加形态学算子如稀释和腐蚀来过滤噪音，其可改善涉及被“错划”为对象的一部分或不是对象的一部分的像素的判定。
92.3.基于来自之前或之后的帧的信息或者来自像素队列内的相邻像素或该像素附近的信息进行判定。该步骤代表处理中的主要判定。
93.4.原始选择的对象距离，其能够用作阀值。
94.5.对象表面连续性，其中，如果知道对象表面连续性，则可以过滤一些噪音。
95.6.对象边缘，其中可以通过可由高通(hp)过滤器或其他技术实现的边缘检测来改善关于边缘的判定。
96.7.基于颜色能量的判定。颜色分割的问题之一在于处于低光照条件下的颜色可以被看作是黑色的，且判定的动态范围显著减小。暗色/黑色像素可被隔离，且可采用其它技术来判定该暗色/黑色像素是否属于对象，例如，本发明能够判定像素是否位于对象边界之内，或者距离对象std颜色变化的能量距离。
97.8.在所期望的对象形状上使用之前的信息以获取更好的结果。
98.9.在对象是多种颜色或形状的组合或者具有徽标或其它图案的情况下，可使用多种颜色关联和组合。此外，上述指定的多级方法中的任一种均可以用于获取关于对象更高级别的判定。
99.10.所述判定也可以基于多数或基于与在该判定中的作为加权因素的相邻像素/图像有关的判定。在作为向量在图像上处理该判定的情况下，可更容易看到同一行或同一列中的相邻向量，具体取决于图像矩阵如何重构成向量。
100.11.项目材质/纹理颜色std的估计也可以添加显著信息用于对象分割。
101.12.上述步骤1-11中的一个或多个的任意组合
102.所述遮罩可作为简单的黑白遮罩用于渲染。然而，为了产生对于对象的令人信服的感受，可保持对象纹理或外观的附加信息。为了获取附加的重要信息，可以在原始的帧或视频上使用该遮罩，并且能够获取对象的rgb或灰度纹理阴影或亮度范围。此信息对于颜色变化而言更加准确和令人信服，因为它省略了原始对象的褶皱纹理、阴影、光反射、材料识别标志等等。
103.模型遮罩可在层中构筑以用于经改进的操作。可用的层结构的示例可如下所示：
104.1.黑白遮罩(以分割出对象)。对于将对象和背景之间或者对象和该对象周围的另一要素之间进行区分而言，黑白遮罩是非常重要的。多种技术可用于优化对象遮罩/边界判
定。
105.2.对象边缘遮罩—表示对象的边缘或轮廓。
106.3.红色遮罩—表示对象的红色区域。
107.4.绿色遮罩—表示对象的绿色区域。
108.5.蓝色遮罩—表示对象的蓝色区域。
109.6.施加到所有颜色遮罩上的纹理—表示对象的纹理外观。
110.7.阴影或亮度遮罩—表示对象的阴影或明亮区域。
111.8.材料光反射遮罩—表示对象的光反射。
112.9.材料光吸收遮罩—表示对象的光吸收区域。
113.10.来自如ir、微波、深度、超声、超带等其它传感器的遮罩。
114.11.与上述那些类似的层。
115.一旦遮罩模型具有所需的信息，为了改变颜色或纹理，渲染模块204可用于修改指定层或多个层并且在多个层外重新生成对象，致使极其真实的经渲染的视频205。例如，如果用户穿着红色衬衫，则可用蓝色遮罩替换红色遮罩来渲染穿着蓝色衬衫的用户。由于所有其它遮罩保持不变，因此蓝色衬衫将会用红色衬衫的所有的阴影、亮度、反射、纹理等来渲染，因此呈现具有与红色衬衫相同的褶皱和匹配相同身体轮廓的十分逼真的蓝色衬衫。可以通过相乘或通过加入修正层到帧中来引入一些层的影响。减法和除法也可以定义层之间的关系。允许更复杂项目的操作的其它技术包括配准技术，其可以根据几个点扩展/转换对象或材料，以在所操纵对象的边界内进行适配。
116.模块可获取原始的视频/图像、经建模的遮罩的多通道和所需改变。所需的改变可以是颜色、亮度、材料、纹理、标志/标签、印刷、织物等等的任一组合。
117.在一个实施方式中，所需的改变可以是位于原始对象边界之外或之内，可以生成用于新的对象边界的经修改的遮罩来替换原始的遮罩模型。
118.在一个实施方式中，所需的改变是可以特定取向插入的具有特定取向的纹理和颜色的织物。在此实施方式中，可相应地修改和应用材料取向。
119.在一个实施方式中，所需的改变可以是另一用户的试穿遮罩。使用配准技术，可以应用其他用户的试穿遮罩以将新物品适配用户的相似对象来进行试穿。例如，对于衬衫测量一个用户，对于夹克测量另一用户，以便给第一个用户示出第二个用户穿上夹克的样子。该方法可使用适配第二个用户的夹克的配准技术，以便获取和采用第一个用户的正确的身体线条形状，这可生成更加令人信服的适配。该方法的一个优点在于，夹克将看起来非常真实，因为其被渲染来保持第二用户的所有纹理。为了产生这些结果，该方法可配准第一用户的取向、位置和尺寸。
120.在一个实施方式中，遮罩可被用作指示器以用于虚拟对象配准。在一个实施方式中，遮罩加上用户的正确变换中的背景记录可被用于从图形/视频消除用户/项目。
121.在一个实施方式中，可获取需要建模的单个对象或多个(1：n)对象的选择。从视频每一帧可生成遮罩。如果用户转动，则可生成3d或部分3d的逐帧模型。从该逐帧模型可获取不同的视角且用于生成包括用户动作中的一些或所有的3d模型。随后，这些信息可以用来创建更令人信服的虚拟试穿。也就是说，本发明的方法可以在形成模型期间利用用户自身的动作。
122.在一个实施方式中，渲染可在gpu、cpu、云端gpu或者云端cpu中执行。待渲染的输入元件可来自cpu、来自云端的用户数据库、或者来自与库存/任何其他数据库/3d打印、电子商务数据库、社交数据库等活动链接。
123.项目颜色改变可基于在现场或工场内的实际试穿的和可用的用于用户自定义的库存或任选的3d打印。相比于常规虚拟试穿的一个优点在于，项目被显示成正如现实那样包裹着身体，因为所有的褶皱、阴影等将会与适当遮罩一起转移。对于许多方面这是非常重要的特征。用户可以感知到项目在其身上如何、其会怎样影响和改变其身体形状等等。
124.在一个实施方式中，配件或任何其它项目可通过了解相关对象的动态运动和遮罩模型来进行添加。另外，背景可以被增强，从而通过相同的技术改变或创造不同的环境。一旦所有必需的对象被标记，则所需的对象可以被掩蔽，合并的遮罩可用来改变背景。
125.在一个实施方式中，渲染模块可以用将对象和帧插补成较高分辨率的增强渲染技术来渲染对象，可以以高分辨率将对象组合，可以平滑边缘，并能将对象抽出使其回到所需分辨率，从而以更好品质整合到帧中。附加技术包括通过用一些加权因子将像素值进行平均来直接作用在对象边缘，以便用背景色来更好混合对象。
126.图3描绘了一个增强现实模块，其可以在图像的前景或背景中替换身体部位、项目或对象的颜色、取向和纹理，例如，该模块可以增添头发给用户，改变用户眼睛、皮肤和头发的颜色，可以改变眼睛的姿势等等。
127.模块301、302、303和306可以以与先前描述的一般增强现实模块的模块201、202、203和206类似的方式工作。模块304能够从眼睛匹配模块或利用项目的3d运动和取向的专用检测器从模块307直接地计算或获取附加信息(例如头部姿势或身体运动方向)，并可以使用该信息来修改所期望的身体部位，例如，获取头部姿势将允许通过将遮罩/模型中的眼睛修改到所需方向来对眼睛进行转向校正。另外，头部检测可允许在正确取向上添加头发、帽子等。
128.在所需的遮罩的尺寸比原始遮罩小的一个实施方式中，模块307可在所记录的背景图像或视频的眼睛匹配变换中实时或离线地执行或输送。经背景变换的图像或视频能够用前景或背景操纵来渲染身体部位或项目，例如，在想要从视频消去用户头部或上半身的情况下。经变换的背景图像或视频可应用在捕获的头部和上半身的遮罩上，结果可利用原始的经转换或未经转换的视频进行渲染。结果可以是没有用户头部和上半身的经渲染的视频305。
129.例如，在更复杂的情况下，人们可能期望描绘出较短长度的给定服饰。在模块304中的遮罩操纵可需要创建用于新服饰的较短遮罩，原始遮罩和操纵后的遮罩之间的不同之处可以是用于操纵的新的遮罩。在新遮罩中，有些部分将是对用户腿部的估计，有些部分将表示使用较短服饰长度的新的可见背景。新遮罩可以被划分成腿部和背景，而新的经渲染的对象可以采取背景图像和预测的腿部的组合来创建新的经渲染的项目。将经修改的项目渲染到视频中后，结果是用户穿着较短的服饰。多种技术可被用来预测在可用区域内腿部外观会看起来如何。
130.图4描述了创建颜色和纹理交换模型的计算方法，可称为colograma。此技术聚焦于与可以在软件程序如photoshop中发现的超高质量彩色交换技术相对的可支持大量用户和大量帧/视频的并行计算。这样的方法会花费大量时间，并且对于在任意大量的用户图像
或视频上执行可能是不实际的。图4的描述只是一个例子，所描述的流程的任何衍生例都是本发明的一部分。
131.在视频或图像中改变对象颜色的一个挑战是要准确识别对象的相关像素。在视频文件中，速度是可用变换的一个限制因素。在图4中，描述了从视频分割/提取对象的方法的一个简单实例。
132.在401中，接收待修改的图像或视频。在402中，颜色图像或视频的帧被转换成线性向量，这是可选的，虽然图像向量化可以大大加速处理时间。此外，在403中，消除亮度效应。有许多技术来消除亮度效应。在该示例中，采用了通过使每个像素除以xyz的总和而在xyz颜色空间中将能量平均到每个像素。例如，使用rgb系统的色度坐标系(xr,yr),(xg,yg)和(xb,yb)及其基准白色坐标(xw,yw,zw)，3
×
3矩阵可以用来将rgb变换成xyz。并行地，在404中，对象选择是通过选择被认为属于待变换对象的所有点k(x，y)来实现。k是具有可从背景或其它对象分割出的已区分的颜色的对象/区域的数目。然后，在405中，每个点k(x，y)经历如在模块403中执行的相同的变换。在406中，执行k次迭代以寻找每个像素的颜色并寻找对象的最接近的颜色。在该技术中是k等于或大于2(k》/＝2)。对于每个k，计算2d或3d欧氏距离。最小距离和k值被保存。该操作可以在所有像素上在相当快的处理中一次完成。dist＝sqrt((x-xi(k)).^2 (y-yi(k)).^2 (z-zi(k)).^2)
133.k次迭代后，可获取经标识的图像。欧氏距离“dist”只是颜色之间区分的计算方法的一个实例；还有计算颜色之间的距离的其他的方法，例如，基于人对颜色的感知(色度，饱和度和亮度)的颜色距离模型，如在cie76，cie94，ciede2000等中与用人眼分离颜色的敏感性和能力相匹配的先进的校准技术等，或与直方图拉伸ir/3d深度相机的任意组合，一段时间内的颜色集成或用于改善颜色检测的任何其他方法(模块411)。从模块411施加或注销(crossing)附加信息可以发生在距离比较平级406处，可以发生在模型创建409刚结束时，或者任何组合，具体取决于附加信息(确定性、统计性、时变性等)的特性。
134.除了色差，也可以使用可添加有关对象信息的其它技术以改进该判定，例如：区域可能性(给定像素需要有相邻像素或一些数量的像素)，区域特性，边界过滤器以在作出最终判定之前隔离对象边界，深度信息(其通常需要用2d或3d中对象的端部图像来匹配深度信息的轮廓)，时间积分以判定在多帧上像素是否是在对象区域内，等等。
135.模块407是如何将所需颜色和其它颜色空间区分的一个实施方式的例子。在模块407中，具有距离大于阈值的所有像素被置零作为非相关(与颜色1到k中的任一个不同的颜色的像素)，1被分配给所有相关的象素，从而生成二进制遮罩。在模块408中，黑白过滤器可用于清除噪声和平滑对象形状。其它技术可以用于改善判定像素是否属于对象的判定。其结果是，对于所有相关的颜色，指数从2开始直到k 1。
136.模块407是希望分离特定颜色或多种颜色的一个例子。其中，除所需的那个之外，所有指数(index)都可被清零。该过程如下：将所有的非相关的指数清零，获取背景和等于0的非相关的颜色值，并选择所需的被标记为等于1的颜色对象。如果在对象中有不止一种颜色，则1可以被分配给任何选定的指数2至k 1，0被分配给其它指数。
137.在模块409，将得到的黑白遮罩施加到原始彩色图像，获取用于颜色和纹理改变的3d模型。该模型可以是灰度2d阿尔法通道或者是3d彩色空间。模块410可以获取对象的二维或三维模型。在为来自单个相机的视频的情况下，即使用户在相机前移动，例如，在相机前
转身，也可获取3d模型。在这种情况下，也能够获取在多个剪切中的对象测量结果来估计用户的3d身体曲线。
138.下面提供了2d输入到模型生成器的一个例子，其中希望创建图9中示出的用户的衬衫的模型。图10是上部衬衣的2d模型的例子。衬衫的纹理以这种方式保留，所以它是比较容易操纵颜色或纹理或者甚至改变模型的边界，以创建不同的对象。
139.仅基于色差的模型在质量方面并不完美，因此附加的信息和技术方面可用于改善对象模型的质量(参见，模块411)。像插补和抽取或边缘平滑这样的附加信息技术可以在处理之后经由模块410进行应用，以改善模型的质量。
140.图5描绘了创建用于颜色和纹理交换的模型的计算方法，其可以称作colograma。
141.在模块501中，通过首先使用与在美国专利申请no.13/843,001中描述的眼睛匹配方法类似的方法，使用身体线条和身体质量指标(bmi)分析来分析图像。在这种方法中，图像可被重新排列以补偿由于相机的设置几何形状(setup geometry)和光学畸变造成的失真。设置失真因素的示例包括用户到相机的距离、相机高度、相机投射角度、相机的fov的光学器件和其他光学畸变。在图像修正后，每个象素区域表示可在面积(cm2)上是大致均匀的。处理可以在相机的cpu、gpu、dsp中、靠近相机的本地计算机中或远程服务器中完成。
142.模块502是可选要素，其可以将2d图像变换成向量转化，从而能加速处理。该向量的大小是宽度乘以高度乘以三个像素(用于rgb)。输入到模块501中的图像也可以已经是向量。它可以更容易地在2d矩阵上执行一些类型的图像处理，而其他类型的图像处理更适合向量图像。
143.在模块503中，它可以更容易地执行颜色操作，以消除向量图像上的光及饱和效应。这以相对于上述的403类似的方式进行。
144.在模块506中，图像可以通过边缘检测过滤器，该边缘检测过滤器可以强调颜色变化并增强身体线条的可视性。边缘检测可以支持身体线条的边缘，因此可以支持多个边缘方向。例如，具有垂直、水平和 /-45
°
能力的边缘过滤器可以得到良好的身体线条边缘检测。
145.模块504和505可以提供附加信息到算法中，该算法可以有助于图像分析例如用户的性别、年龄、种族等以及与该信息相关联的统计比。此信息可在以后用于集中搜索身体部位。高度测量可以与补充的身体比例信息一起使用来集中搜索特定的身体部位，如胸部、肚脐、腰部、臀部等等。
146.模块507可提供头部探测。有多种技术用于头部检测。例如，可以采取经边缘强调的图像，沿着身体长度将其翻转，并且建立图像之间的关联。关联的峰值可以指示身体的中心质量。另一替换方法是只在边缘进行质心中心质量计算(centroid center mass calculation)。如果用户上的光线不够均匀，则质心中心质量计算不够准确；然而，这种技术可以更快。其它技术可基于模式识别、眼睛、鼻子和头部形状检测。一旦得到中央质量，则可裁剪相关的窗口以从图像识别身体。此外，头部末端的强调边缘可以得到像素中用户的高度。由于图像的每个像素具有均匀的长度重量，因此可以相应地计算总高度。假设模块501变换将在配置(例如，1-5米(m))上产生一致的操纵图像，其中以像素为单位的屏幕上用户的实际高度将与实际用户高度成比例。如果这种假设对于所有距离不完全成立，那么可以增加附加因素。
147.模块508可以测量以像素为单位的身体部位的大小。该技术可以是聚焦区域上的额外处理，以进一步强调身体部位。图13描绘了附加处理的结果的一个示例，该附加处理从身体去除手并且指向寻找特定身体测量结果的位置的不同间隔。
148.以像素为单位的测量可以根据所预测的曲线被转换成厘米(cm)，例如，所述颈部可被建模为圆筒体，以便以像素为单位测得的颈部宽度可代表以像素为单位的2x半径，以像素为单位的半径被转化成每一校准厘米。人的胸部具有更加椭圆形的模型，所以转换会有点不同。如果附加的侧测量是可用的，那么可以添加这样的测量来提供更准确信息给模型。
149.在模块510中，测量可从用户的体型来推断，例如，如果臀部比胸部和腰部更宽，则为“梨”形(参见，图11和图12)。此外，一些分析可得出如下：
150.1.心脏问题的身体条件健康风险等；
151.2.最适于用户体型的衣服类型；
152.3.历史比较的用户身体趋势；
153.4.基于用户体型的(例如中胚层体型/内胚层体型可得到适合其体型的最佳营养的集中式优待券(focused coupons))集中式广告；
154.5.身体识别；以及
155.6.身体诊断可以监控一段时间内的身体变化(旋转条件、灵活性、潜在的肿块等等)。
156.能够从图4中所描述的对象模型或者直接从图5中所描述的图像bmi分析来获知或者估计用户的bmi方面的信息。
157.图6是用于多级用户学习和认证的一个安全系统应用的例子。这仅仅是一个可能的流程实现的例子；流程的任意组合或图形模块之间不同功能的分割都是本发明的一部分。
158.如之前图中所示，来自设备601的静止图像或视频可以被输入到图像抓取模块602。图像抓取模块602可以通过例如那些先前描述的和由触发事件模块607处理的触发事件进行控制，其可以提供跟踪信息和规则来发起图像抓取过程。具体而言，图像抓取模块602可以从输入601采集图像并将图像与附加的跟踪信息(实时几何测量)一起推入眼睛匹配变换模块603。基于跟踪信息和事件要求，眼睛匹配变换模块603可以计算变换以用相机视点、视角等等进行操纵来创建经校准的场景图像。此外，该眼睛匹配变换可以在gpu/cpu/dsp中本地执行、在云端等执行。在一个示例中，用户上的高级信息或场景的几何结构可提供给追踪算法，并可在校准中起到部分作用。可以提供附加信息作为一个时间几何信息，例如，用户高度、眼睛之间的距离等。在这种情况下，可以使用附加的几何信息来计算所需的变换。失真图像和已知几何结构之间的差异可以用来计算和校正变换。
159.来自眼睛匹配变换模块603的经校准的输出可以随后淡入(fade into)安全扫描模块604，其也可称为场景分析模块。安全扫描模块604可以适用于获知一个或多个以下内容：基于多种技术的身体线条或身体曲线扫描，例如，边缘检测、统计边缘检测、红外相机、微波传感器、3d相机、单个相机和当用户正在转向时的多个剪辑。完整的人体3d模型还可以在用户在视频相机之前转动时获取，并且用户的衣服可以被提取到如图4所描述的阿尔法通道，即colograma，等等。
160.其他获知或认证方法包括例如布检测，在数据库中创建项目识别标志被进行排序。该数据库可以从互联网上进行更新，通过从多个数据库和电子商务商店扫描衣服或通过由运营商积极扫描和更新信息，例如，可以输入安全人员的制服、织物类型等。
161.此外，眼睛匹配与人脸识别的组合可以让操作员能够将相机安装在用户高度之上，例如，面朝下约30-45度安装在门之上；这样的安装允许用户在相机下方自由移动。在这种情况下，例如，检测到的人脸识别范围为镜头前的约1-5米。这是一个优点，因为如果以 /-15度的角度扫描用户的头部，已知的人脸识别系统不是非常准确。
162.额外的身体认证传感器可以包括声音、气味、手掌、指纹、眼睛、dna、具有x射线传感器或超声波的骨骼、牙齿、头发、印象、颜色、眼睛、血液、光晕、温度、皮肤标志、耳朵等。
163.视频、静止图像或已分析的数据可以用视频/静止图像记录模块605从相机、从眼睛匹配变换模块604、从处理后的图像或传感器输出的数据直接地记录。
164.可视视频/图像或已分析的数据可显示在用户屏幕前(全身地或更小)，在云端上传送或直接传送给控制中心以显示在屏幕606上或传送到模块用于进一步处理和分析。
165.模块607、608和609和610分别与模块107、108、109和110类似(参见图1及其相关描述)。
166.图7描述了一个用于并行或带内相机操作的安全系统应用的例子。
167.图7中的设备的功能可如图7所示包含在单独设备或作为相机dsp功能中的一部分；可以无线地或经由有线的基础设施来完成控制特征激活。此外，在远程位置可以支持一些功能，例如，测量和跟踪。此外，该设备可以布置在相机之前，并且可以将小屏幕上的经操纵的图像投影到相机。
168.相机主流可提供给设备或设备可适用于录制和嗅探相机主流。经过处理，该设备可以适于将并行数据发送给操作者。
169.设备可以具有多图像计算能力、例如眼睛匹配变换模块703中的眼睛匹配几何能力、例如安全扫描模块704中的人体测量和用户认证、以及例如增强现实模块706中的增强现实功能等等，其中图像可以在主流上被操纵或者相对于主流并行地被操纵，例如，操纵可以包括用户体型的变化、颜色、用户所具有的项目、发型、用户完全消失等。这些功能对于安全使用是非常重要的。
170.此外，视频流还可以提供给另一设备，如机器人，头装显示屏、用户应用程序等。
171.控制设备功能的接口可以在有线或无线基础设施上或在本地或远程位置。测量模块可以包含在设备或在云中。
172.在一个示例中，所述功能例如可以实时或离线地完成。例如，根据需要或期望，设备的激活可以例如周期性地完成、响应于触发事件或手动地完成。
173.设备可以支持对于其他设备的实时控制和触发，例如，用于改变用户可看到(伪装)的图像的投影仪，或者用于需要在相机之前的准确协调的准确威胁消除装置的触发事件。
174.视频可与附加站实时共享。分享视频的方法有多种。一些示范性的情景在下面详细讨论。
175.与一个或多个其他用户远程地共享镜像体验，其中，用户看到自己在本地站，而远程用户看到用户在镜子中并与他共享体验。远程用户可以有任何合适的设备；主要的体验
是看到用户站在镜子之前并且正在做一些动作来观看。基于眼睛匹配或任何其他技术，用户将能够看到自己的镜像。图8a描绘了这样的情景。远程用户可以只看到用户广播、发信息给用户，与用户交谈和/或在镜像屏幕上的小窗口中被看到。
176.图8a描绘了视频/语音会议中的共享镜像体验。如图8a所示，镜像体验可以与云端的用户/多个用户实时地共享或经由另一个镜像站共享。在第一种情况下，用户可以看到处于镜像模式的自己，尽管前进到云端的视频流需要通过额外的镜像翻转回来校正在另一侧的视线方向。所以，当用户(处于镜像模式)向右或向左看时，其在另一侧的眼睛/目光将移动到正确的方向，好像他正看着正确的方向。
177.图8b描绘了共享全身视频会议。相对于在其中相机可以被“原样”流到另一侧的常规视频会议，在镜像站，正在发送到另一侧的图像需要在远程位置被左右翻转。这可以通过将在本地或在远程侧捕获的镜像翻转来完成。
178.在图8b中，当两个或更多个用户在全身站彼此通信时，在一个站的用户/多个用户将看到其他方向上的用户/多个用户也在正确的方向。如图8b所示，用户可以看到自己站在本地屏幕的左侧，并且用户可以看到在本地屏幕右侧的另一个用户。在这种情况下，本地视频已被镜像，当视频流到远程位置/多个远程位置(广播时)，将需要附加的翻转/镜像。
179.以匹配其他远程位置的本地镜像和视线校正的体验的本地的或成流的视频的镜像、翻转、旋转等的任意组合都是本发明的一部分。
180.在一个实施方式中，两个站都被眼睛匹配/校准成相同的几何形状和尺寸；站中的每一个创建了全身镜像，并将其发送到远程位置/多个远程位置。全身体验和眼睛匹配体验也将出现在视频会议，用户将感到他们正在注视着对方眼睛。
181.在其中一个位置处有多于一个用户的一个实施方式中，则可以利用对每个用户的追踪功能来对每个用户进行眼睛匹配或身体失真校正，或者两者都进行。为了消除线效应，在这种情况下，增强现实功能可以如上所述地替换背景。在增强现实模式，colograma或另一种技术可以用来以简单背景取代背景。连接线可以放置在用户之间以消除线或相对于用户本身的不连续。
182.在其中有多于两个站的一个实施方式中，屏幕可以被划分，以允许来自多个地点的多个用户在同一时间被显示，或者多个屏幕可以如例如图8c中所描述的那样一个挨着另一个放置。具体而言，图8c描绘了具有分屏或多个屏幕的多个镜像/全身站。如图8c所示，用户在镜子中呈现的顺序允许正确的视线通信。当用户例如在远程屏幕上在翻转后正在向右看时，他将看到用户向左看向远程用户。
183.这仅仅是一个例子，屏幕附近或在远程位置的任何数量的用户应当被组织以允许正确的注视方式。在一个实施方式中，进一步的注视和眼睛接触的改进可以被用来改善体验。在一个实施方式中，屏幕可以包括3d功能，以及屏幕上每个用户的3d功能。
184.在一个实施方式中，除了在一侧的眼睛匹配或任何计算机化的图像处理之外，远程位置可以具有额外的计算机化功能来基于本地用户跟踪在远端视频上进行操纵，例如，如果用户更加接近屏幕，远端视频或图像将被处理成看起来有点大并且被投影以提供更好的实况感觉。另一个例子是，当用户靠近一端更近时，他会看到远端的更宽的fov。
185.本发明包括虚拟镜像控制和虚拟系统特征，以缓解虚拟镜像的可用性。该虚拟镜像控制和虚拟系统可包括站操作模式以及包括例如，开、关、重启、镜像、显示、空闲等在内
的操作的模式。该虚拟镜像控制和虚拟系统可以包括用户身份验证和登记，这可以是自动的、手动的以及自动和手动相结合的。该虚拟镜像控制和虚拟系统可以包括最佳的操作流以缓解和增强用户体验。
186.虚拟镜像控制和虚拟系统可以包括一个或多个接口以控制镜像，例如，自动手势、语音、眼睛指向、移动应用、远程专家、本地服务等。虚拟镜像控制和虚拟系统可以包括接口的全面组合，其中包括以下：播放记录的视频(自动/手动)；高级效果(项目颜色操纵，增强现实功能，游戏功能，背景改变，3d效果，照明效果等)；屏幕模式(定向/全画面或分屏显示)；与朋友分享/专家实时或中途分享体验的共享技术和方法；用于控制显示和共享的移动用户应用，例如，从虚拟镜面或用户移动设备拍摄的个人视频和图像的共享；用于日常管理的零售或企业远程(利用高级控制和分析功能实时提供有关用户的零售商信息)；以及教导用户如何操作镜面的模块(动画，视频，语音，视觉提示等)。
187.图14、15和16描绘了虚拟镜像用户接口(ui)流的例子，其可以一起排序以模拟镜子体验。例如，在用户站在镜子之前，一旦用户进入镜子前面的指定区域，镜子就能跟踪用户。基于该跟踪，视频引擎可以计算图像的变换以模拟镜子的行为。
188.在空闲模式下，当镜子前面没有用户时，引擎可以采取默认设置(例如，2m)，并将2m变换应用到相机流上以对环境创建镜像效果，如图(例如图14)所示。在空闲模式的另一个实施方式中，镜子可以呈现模型、商业广告等的其他视频。
189.在运行时间之外，提供给屏幕的镜像屏和/或计算设备可以被关闭或通过屏幕保护程序而保持，以消除显示电子器件的快速老化。镜像站可以启用，以便自动地开机。镜像站可以通过远程控制本地地进行控制或通过云来重新启动并进入正常工作状态。
190.在一实施方式中，触发区域可以用地毯来指定。地毯可以设计成具有改进用户跟踪和检测的特定的图案和颜色。此外，地毯的颜色可以改善视频质量。例如，较浅的颜色可以用来改善照明条件，并提高所得视频的质量。在一个实施方式中，颜色上的图案可在约5-10厘米处以较亮和较暗的颜色变化，从而在用户穿着深色或浅色的鞋子站立的情况下，用户鞋子会被容易地检测和跟踪，并且最大距离误差不会高于5-10/2。在一个实施方式中，地毯可包括通知用户如何操作镜子的给用户的指令。可替换地，在一个示例中，可以提供操作设备，其中，用户可以用自己的脚踩在感受垫上，以用腿和脚而非手或声音来操作镜子。
191.在一个实施方式中，镜子可以提示用户站到正确位置，例如，当用户变得更接近时，镜子可以切换回空闲模式或者镜子可以剪切掉图像中的用户腿部等等。
192.镜子可以被配置成使得当用户踏入站前的跟踪/配准区时，视频引擎可反应并开始跟踪对象。基于对象位置，视频引擎可以调整视频变换来模仿镜子行为。跟踪的附加输入可以包括用户高度、空间位置、姿势等，如在眼睛匹配(eyesmatch)处理中所描述的。在该点，用户仍然没有被配准到系统，因此可以执行用户识别的附加处理。例如，如在美国申请no.61/862,025中所描述的，认证可包括面部识别、用户可提交给系统用于扫描的特殊卡、用户的移动设备(音频，无线，qr代码)或其他生理配准特征。如果用户被识别，则其帐户可打开并且可显示最后记录，例如，在一个实施例中，可以显示缩略图，如在图15中所示。替代地，也可以显示任何其它的图像控制栏。如果用户未被识别，则用户配准处理可开始，然后，在几秒钟后，一个新的帐户可以打开并且镜子可以被配置成自动开始记录。
193.在一个实施方式中，镜子可以记录n秒，例如，10-13秒为足够的时间，以使特定项
目看起来能够给用户留下良好印象，并且可包括例如用户转身等。
194.在一个实施方式中，尽管镜子可以被配置为在识别用户时自动开始记录，但如果用户不希望这种自动识别，则镜子可以被配置为保存视频，用户可以触发以前的缩略图中的一个，镜子可以被配置成切换到显示模式并且镜子可以被配置成播放该视频。即，可以提示用户来执行处理，通过该处理，特定场景被用户剪切且不保存在系统中。
195.在一个实施方式中，可以在镜子上添加缩略图，在屏幕是窄配置，例如21：9，或者任何其它宽屏配置时，这可以是有用的。在一个实施方式中，缩略图可被显示以紧挨着镜像流或在经模拟的视频流下方的单独栏中弹出。当屏幕对于经模拟的视频流而言比所需更宽或者成比例时，此功能会是有用的。
196.在一个实施方式中，例如在图15中可以看出，记录指示器也可以显示。记录指示器可包括显示短语(如“rec”)、红色圆圈等。
197.在一个实施方式中，由于面部识别不是100％时间完全可靠的，因此可以显示附加的识别特征，以便在屏幕上弹出一段适当的时间，例如几秒钟。在当前的例子中，qr支架gui被打开，用户可以显示给镜子已被发送到他的特别应用例如智能手机上的qr徽章或qr，并有效地传达给系统当前面部图像是与认证的用户相关联的。这种技术可以用于在特定用户有多个面部帐户的事件中允许半自动用户合并。此外，一旦面部信息合并，可以执行附加的面部测量/改进以改善一段时间内的用户识别。
198.在可以呈现在屏幕底部的一个实施方式中，附加的密码可以与用户相关联，并且用户可以采用这种基于密码的认证，并将其应用到配准处理。在一个实施方式中，雇员或用户自己可以输入电话、电子邮件、nfc信号或任何其它的识别信息并且可获取当场或以后联接到云上的链接。在一个实施方式中，六(6)个缩略图被呈现给用户，但也可以呈现任何合适数量的缩略图。缩略图的大小可以是可配置的，以支持用于显示的合理比例。
199.在一个实施方式中，也可以添加附加的控制功能，例如开始记录、擦除视频、添加如灯光等视频效果、颜色变化、背景选择等。在一个实施方式中，所有的视频都可以被上传到云，并且可以在某一周期之后被从本地站删除。在一个实施方式中，视频可以在记录了改善视频或改变视频以反映增强现实效果或用于bmi/裁缝/身体线条测量分析的附加效果之后进行处理。在一个实施方式中，视频记录可以包括用于进一步分析的环境的音频记录。在一个实施方式中，视频记录可以包括环境的wlan记录以记录用户的mac和以后进一步的相关性，可以适于将移动设备的mac关联到用户。
200.本发明包括用于促进用户对镜子的控制的系统。在一个实施方式中，如果用户仍然处于预定区域并且被镜子识别了一次，只要他还站在那里并且并没有其他人正在被识别，则用户将能够控制镜子，例如播放、启动和停止图像/视频、删除图像/视频、添加增强现实功能等等。用户还可以通过手势控制或从其设备(例如智能电话)、通过专用应用程序或作为零售应用的一部分的附加控制功能来控制镜子。在一个实施方式中，所述手势控制可以启用某些基本功能并且用户应用程序可以允许相对于所述手势控制来启用更多功能。在一个实施方式中，店内助理或在云中虚拟/远程可用的助理可以帮助用户操作镜子。在一个实施方式中，用户可以从其应用程序或从web针对ui设置他自己的喜好。所有用户专用设置可以被添加到用户帐户，例如，用户可以改变记录的时间、缩略图的数目等。
201.在缺省模式下，用户可以看到自己最后的n个视频。该视频可能已经或可能还没有
在特定的镜像位置获取，但也可以在中央存储位置例如从云上进行访问。用户可以设置本地试穿视频缩略图的外观。从自己的应用程序，用户可以看到所有的缩略图，并能触摸它们或任何其他的选择方法来激活与特定缩略图关联的视频播放。
202.在一个实施方式中，缩略图被构造成例如在图15中可以看到的在经模拟的镜像流的顶部弹出。当视频正在播放时，缩略图可以被发送到背景，或当例如在图16中所示没有手势控制识别时，处于拆分模式。用户也可以将屏幕设定为拆分模式，例如图16中所示。具体地，图16描绘了在其中用户仍然可以在屏幕的一侧实时看到自己并且可以在另一半播放先前记录的视频的一种并排设置。
203.在一个实施方式中，用户的远程控制可以自动获取所识别的用户信息，以便商店助理可以向用户发送链接到其帐户进行登记或帮助用户实施附加功能例如改变衣服颜色或一般地改变衣服。
204.在一个实施方式中，用户可以使用自己的移动设备在镜中发起与可实时给其建议的远程专家或朋友的视频呼叫。该呼叫可以来自专用应用程序或如skype等其他任何第三方应用程序。镜像视频流可以被进给到本地skype，并且远程用户可以实时获取镜像流。
205.图17描绘了建议的使用流程的一个实施方式。具体而言，图17描绘了在图14、15和16中所描绘的附加实施方式的用户使用流程的一个实施方式。在步骤1701中，镜子处于空闲位置，并且在步骤1702中，随着用户接近镜子，并且用户的存在例如通过由相机所看到的图像中的变化而被检测到，并且该系统将启动在镜像模式下的操作。在步骤1703，系统会启动认证程序以识别和验证用户。例如，在一个实施方式中，系统使用脸部识别来识别和验证用户，而在另一个实施方式中，用户可以使用例如具有如wifi、蓝牙、nfc等功能的智能电话之类的设备进行认证。如果用户还没有被识别，例如，是一个新的用户，则可以提示用户开立账户。否则，用户可以继续作为游客，但一些功能，如远程访问已存储的图像，可能无法由游客访问获取。
206.在步骤1704，在显示屏上向用户给出用户控制。在一个实施方式中，为每个特定用户保存特定的控制偏好，并且一旦用户已被识别则进行激活。否则，启动一般的用户接口，例如，手势启动接口。在一个实施方式中，在用户已被识别或者试图在同一会话中试穿几件衣服的情况下，先前的试验作为缩略图呈现在主显示的一侧。当用户对应于该缩略图一侧举起手时，根据手的高度，相应的缩略图被突出显示以供选择。随着用户抬升或降低手，对应于手的高度的另一缩略图被突出显示以供选择。然后，当用户合上拳头时，突出显示的缩略图被选择并且相应的图像或视频被显示在主屏幕上。
207.如在1705所示，每个会话的图像和视频可以存储在云上，并且可以使用例如智能手机、平板电脑等远程获取。因此，用户可以与朋友远程会话，并得到他们关于用户正在试穿的衣服的意见。例如，用户可以发给朋友到所记录试用的链接或者到来自系统中的实时流式视频的链接。因此，用户可以与位于远程的人共享购物体验。
208.此外，也如在1705所示，由于系统能够识别用户并且还能够计算用户的参数，例如体重、身高等，因此系统能够访问将基于这些参数推荐给用户的可用项的数据库。更具体地，如果用户在相同的会话内已经记录了两件不同衬衫的两个试用，那么该系统可解释成该用户有兴趣购买衬衫并且给出或者替换建议，即不同的衬衫，或者补充建议，例如与所试穿的衬衫相配的特定裤子。另外，由于系统能够识别衬衫和衬衫品牌，因此它能够从该制造
商提供特定激励，如在1706所例示。
209.此外，在1706，用户可以被提供改变颜色而不必实际改变衣物的能力。如上所述，通过使用多个遮罩或层，该系统能够改变物品颜色，同时能够在其由用户穿戴时保持织物的逼真视觉效果。由于该系统可以保持阴影层、纹理层、反射层等等，因此颜色层可以改变，同时保持所有其他层，使得所呈现的图像保留了先前图像的所有特性，而只有颜色改变。
210.为了避免镜子前的体验流程混杂，附加应用程序可以实现附加功能和设置，例如，对手势控制感到舒适的高级用户可以启用更多的手势，这将有助于操作高级功能而不使用触摸接口应用程序。对于对手势感到不舒适的用户，这样的用户可以被提供基本的自动化功能，并且移动应用程序可以被用于操作其他高级功能。
211.图18是说明镜子的延迟模式操作的框图。延迟模式可以在本文所描述的任何实施方式中实现。值得注意的是，延迟模式可以在软件、硬件或软件和硬件的组合中实现。例如，延迟模式可以在存储程序的计算机可读介质中实现，该程序在由处理器执行时使镜子实现延迟操作模式。
212.延迟模式可以通过参考传统镜子的一个众所周知的缺陷的解决方案最好地理解。也就是说，当一个人在传统的镜子前试穿一件衣服时，这个人难以从不同的角度看到该衣服看起来怎样，特别是从背面看是有困难的。这个问题通过延迟模式的各种实现方案来解决，如下面所例举的。
213.在延迟模式的各种实现方式中，镜像系统通过使用延迟回复适配会话来解决传统镜像问题，使得用户可以半实时地看到会话。例如，用户可以在镜子前面试穿衣服，并旋转360度。记录的适配会话将通过实施会话重播中的延迟来半实时地播放。因此，当用户完成旋转并且面向镜子时，会话开始重放，使得用户可以看到整个旋转，并且可以从不同角度看到衣服，包括从后面看到衣服。
214.延迟模式可以以多种方式实现。例如，系统可以设置两个参数：延迟时间和记录周期。延迟时间表示播放延迟多长时间，记录周期表示记录会话是多久。例如，其可以被配置成用户平均需要20秒钟来试穿衣服，并旋转360度以在所有角度检查衣服。在这种情况下，记录周期可以设定为20秒。然后，可以设置延迟，例如，为零至五秒。在这种情况下，当适配会话开始时，系统记录长度为20秒的会话。如果延迟设置为零，则系统将在完成记录20秒会话后立即开始重播会话。相反，如果延迟时间设置为5秒，则在完成20秒会话录制后5秒钟，才会播放会话。
215.各种实施方式处理在不同的记录期间在屏幕上的投影。例如，在一个实施方式中，在记录会话之前和/或期间，系统将用于用户的指令投射在屏幕上，例如，提示(cuing)会话的开始或指示用户旋转。这样的示例在图19中示出，提供了用于开始会话的定时器。在用户激活延迟模式会话之后，例如通过选择开始按钮，或者自动地在镜像系统识别用户在镜子前存在时可以启动提示并且退出空闲模式。在另一个实施方式中，镜像系统投射会话的实时镜像视频，但也根据延迟模式的参数设置记录和重放会话。投影会话的实时镜像视频的一个优点在于它维护标准镜像的外观，使得用户更容易与镜像系统进行交互。因此，在这样的实施方式中，当相机记录会话时，处理器应用如上述实施方式中详细描述的各种变换，以便生成被显示在屏幕上而且存储在存储器中的镜像化视频流。当会话记录周期结束并且延迟时间到期时，镜像视频从存储器中取出并在屏幕上重播。
216.现在将参考图18描述延迟模式的实施方式。框1800表示镜子处于空闲模式或实时镜像模式，如本文的各种实施方式中所解释的。在实时镜像模式下，用户可以看到他/她自己实时在数字镜子中。在这种模式下，相机将视频流发送到处理器，处理器将要投影的该视频流作为数字镜像流(镜像视频)进行处理。替代地，该镜子可能处于某种空闲模式、显示商业广告、演示模式、操作镜像的说明等。
217.框1801指示用户已经接近该镜子。该事件可以由镜像系统通过例如使用运动传感器等分析来自相机视频流而自动检测。用户在屏幕前的外观可以用于自动进入延迟模式。或者，切换到延迟模式可以由用户使用例如遥控器、语音、手势等手动完成。
218.在框1802中，指示镜子切换到延迟模式。如上所述，延迟模式可以是可配置的，即延迟的长度和记录会话的长度。延迟模式应该配置为提供足够的时间，以便用户可以半实时地看到自己，并预览运动，同时仍然有看到自己在镜子中的感觉。
219.延迟可以以多种方式实现，但是一种方式是将来自相机的直播流引导到存储设备(例如ram)、固态驱动器、硬盘驱动器等中持续2-5秒。一旦fifo缓冲器被填充，则流被逐帧地拉出到图形卡并呈现在屏幕中。如果图形卡有足够的存储空间，则可以在图形卡中定义fifo缓冲器，但如果不是，则ram对于短时延是好的选择。否则，对于长时迟，固态驱动器或硬盘驱动器是较好的解决方案。镜像化转换可以在存储在存储器中或在获取帧之后进行。
220.在一实施方式中，在延迟时间期间，图像被冻结在屏幕上，或者一些图形被显示在屏幕上。在一实施方式中，在延迟启动时间期间，gui隐藏冻结的图像，因此用户不能看到镜像流/相机流正在发生什么。
221.在一实施方式中，来自相机的流总是被分割到直播流和存储缓冲器。在实时模式中，直播流正在被渲染到屏幕上，并且一旦获得新的帧，缓冲器就清除上一帧。在延迟模式中，直播流在延迟模式下逐帧清除，而退出缓冲器的帧正在渲染到屏幕上。以这种方式，延迟和实时之间的转换是快速的。在该实施方式中，镜像化转换在存储在存储器中并在屏幕上呈现直播流之前更好地完成。
222.框1804表示延迟会话。在一实施方式中，通过简单地将视频流发送到fifo缓冲器来实现延迟模式，其中每个帧在设定的时间延迟之后被获取。可以预先设置延迟的长度。因此，在本实施方式中，一旦镜像系统进入延迟模式，用户在屏幕上连续地看到半实时的，即延迟的镜像化的视频流。在另一实施方式中，延迟模式的持续时间也可以被配置为例如8-30秒，在8-30秒后，镜像系统返回到实时镜像模式。在延迟模式的周期期间，用户将看到延迟的(即半实时的)镜像流。因此，当用户转身时，用户将获得足够的时间来完成360旋转运动，并且当用户完成时，用户可以看到自己转过身来预览360视图，或者用户喜欢以半实时方式捕获的任何其他动作。在另一实施方式中，事先设置了延迟周期和延迟模式持续时间。在本实施方式中，一旦系统进入延迟模式，视频流存储在fifo存储器中，然而，直到延迟模式持续时间已经过去并且延迟时间已经过去，图像才被取出。只有这时，图像才被取出并显示为延迟镜像化视频。
223.在本文描述的延迟模式实施方式中的任一个中，用户可以被给予暂停、倒退或重播延迟的会话的能力。
224.框1805示出了任选的特征。根据该任选的实施方式，与半实时预览(延迟模式)并行，可以将镜像流捕获到存储器中，使得在会话结束时，用户可以重播他的会话并再次看到
自己。这里也可以给予用户暂停、倒退或重播延迟的会话的能力。如果用户登录，他/她可以选择与以前的记录的全屏进行比较或并排进行比较。
225.此外，通过将会话存储在存储器中，用户能够将会话下载到移动设备、通过例如社交网络共享会话、向家人和朋友发送链接等等。也就是说，一旦会话结束并且记录的文件被创建为图像或视频并且可选地被压缩，就可以共享该文件。可以通过例如将文件上传到云端，给指定的用户电话号码、电子邮件、qr码或者从nfc、bt等短距离通信中自动验证代码来完成文件的共享。一旦文件存储在云中，用户可以通过他的社交账户直接获取链接以打开视频和/或从响应应用程序分享视频。替代地或者另外，用户还可以以无线方式使文件从镜像系统直接到达他的设备。而且，系统可以将视频上传到云端，而不是发送链接到视频，用户可能能够从已从api访问他的账户的专用应用程序访问他的记录。
226.在框1806中，一旦记录了文件，并且用户想要通过图像修改来探索会话，则用户可以将视频重播到图像处理引擎中，经实时或后处理，以便例如改变场景、修改其衣服的颜色或织物，或者添加眼镜等配件。另外，在1807中，存储的视频可以在重定时或后处理中进行分析，以便为视频添加指定的ui和/或虚拟现实，或者只是为了生成可以由应用程序使用的更多信息(例如，如上所述计算bmi)。
227.在一实施方式中，记录在切换周期结束时开始，在一实施方式中，记录在几秒钟之后开始到延迟模式，而在一实施方式中，记录通过自动事件(如用户脸部的取向、使用者开始转身等等)的检测开始和停止，这将参照图20进一步解释。
228.在一实施方式中，用户将手动或自动地启动延迟模式几秒钟，例如5-30秒，并且引擎将启动延迟模式。在延时定时器结束时，系统将自动返回到实时模式。在一实施方式中，延迟模式中的延迟长度比延迟模式周期短，例如延迟长度可以被配置为2-5秒，而延迟周期为15-30秒。在这样的安排中，镜像化的视频在2-5秒后开始流式传输到屏幕上，而整个会话将持续20-30秒，之后系统将恢复为实时模式。此外，如果检测到镜子前面没有用户，则系统可以恢复到空闲模式。
229.在一实施方式中，当手动或自动触发延迟模式时，实时渲染冻结到实际延迟的持续时间，并且可选地，在屏幕上施加gui。在该时间期间的视频流被定向并保存到例如ram或hd中的存储器缓冲器中。缓冲器已满后，或延迟时间达到后，渲染器会从缓冲器中获取延迟的流，用户可以看到延迟的自己。在延迟模式结束时，视频流返回到实时模式。
230.在一实施方式中，在向缓冲器馈送流并冻结渲染器的时间期间，gui或ui正在屏幕上呈现，并且可以完全或半透明地隐藏实时流的冻结。以这种方式，实时模式和延迟模式之间的转换更平滑。ui基本上隐藏了使缓冲器累积的时期。
231.在一实施方式中，缓冲器总是被并行填充到实时显示，而渲染器简单地在从延迟缓冲器获取馈送或从实时馈送中获取馈送之间切换。在这样的实施方式中，可能不需要隐藏延迟累积。
232.在一实施方式中，在延迟模式期间，引擎自动记录用户，并且在延迟模式结束时，用户可以选择，或者他喜欢再次播放延迟模式会话，或者与自己会话，或者直接分享到他的社交网络。
233.在一实施方式中，用户可以在分屏中播放延迟的会话以与实时比较或与其他记录进行比较。
234.在一实施方式中，用户可以选择以不同的背景图像或视频或不同的织物或不同的颜色或完全不同的衣服和配件来后处理所记录的视频。
235.一实施方式中，在延迟会话期间，用户可以邀请朋友或销售员或设计师来协助会话。
236.在一实施方式中，除了用于试穿衣服或代替试穿衣服，延迟会话还可以用于其他应用。例如，延迟模式可用于减肥计划、跳舞、健身练习、身体扫描和其他运动。
237.在一实施方式中，系统可以自动停止和冻结用户背部的图像至设定的周期，或直到用户指示系统恢复延迟或实时模式。
238.在一实施方式中，当用户被识别为进入视野时或当确定视野内的用户执行触发运动时，系统将自动切换到延迟模式。例如，当用于试穿衣服时，触发运动可以是在用户开始转身时。对于其他使用情况，其他运动可以预编程为触发运动，并且对来自相机的馈送的分析将搜索该预编程的运动。当检测到预编程的运动时，系统发出信号以恢复延迟模式。在另一示例中，该系统可以用于高尔夫或棒球，使得触发运动将是球杆或球棒的摆动。
239.图20中例举了实现自动进入延迟模式的实施方式。在该示例中，镜像系统2000的摄像机2010将捕获的视频流2015发送到变换模块2020。变换模块2020对视频流2015进行操作以生成实时镜像流2025。根据本文所述的任何实施方式，根据本文所述的任何方法和过程，可以实现变换模块2020，以转换来自摄像机2010的视频流，以便生成模拟镜子的图像的图像。
240.在操作的实时模式或空闲模式期间，实时镜像化视频流2025被发送到屏幕2005。实时镜像化视频流2025也被发送到缓冲器2030和图像分析模块2035。图像分析模块2035连续地分析实时镜像化视频流2025。当图像分析模块2035检测出用户在实时镜像化视频流2025中出现时，时间镜像化视频流2025，向系统控制器发出指令，以从空闲模式切换到实时模式。此外，当图像分析模块2035检测到用户开始转身时，图像分析模块2035向控制器发出指令2040以进入延迟模式。当接收到进入延迟模式的指示时，记录缓冲器中的当前帧的时间，且计数器开始计数延迟时间。当达到延迟长度时，图像作为延迟流2045被从缓冲器2030获取，并被发送到屏幕2005以用于延迟呈现。
241.在一实施方式中，假设图像分析模式2035感测到用户开始转动需要一些时间。因此，在本实施方式中，当接收到进入延迟模式的指示时，标注缓冲器中的当前帧的时间，并且计数器开始计数延迟长度。当达到延迟长度时，图像作为延迟流2045被从缓冲器2030获取，并被发送到屏幕2005以用于延迟呈现。然而，从缓冲器获取图像开始于记录在所述标注时间之前的提前周期的图像。例如，延迟流2045从记录在缓冲器中的图像在图像分析模块2035发出进入延迟模式的指令的时间之前的2-5秒开始。
242.在一实施方式中，用户可以选择延迟模式下的系统记录他的会话或者选择延迟模式下的系统没有记录他的会话。
243.在一实施方式中，用户可以将系统设置为自动将视频发送到他的云账户/移动设备或专用应用程序。
244.在一实施方式中，镜子将通过他的智能手表、移动应用程序或其他标识符来识别用户。
245.在一实施方式中，镜子或远程信息亭将被发送信标，用户的移动设备或智能手表
能够接收该信标，并使用该信息来获得对镜子的访问和控制。例如，能够访问的被识别的用户使自动将重新编码的会话进入到他的设备或云账户中。
246.在一个实施方式中，镜像站可被配置成识别用户的行为，并将手势控制调整到用户正试图操作的方式，例如，一些用户将点击，一些用户将抓取，而一些用户将推进，以操作缩略图。该系统可适于获知并更新每个用户的轮廓控制。
247.在一个实施方式中，镜像站可支持给用户的指令，以便当系统识别到用户没有以正确的方式控制镜像时，简短的说明可以弹出并且在整个过程中引导用户。
248.在一个实施方式中，镜子可以适于基于与用户对系统熟悉性有关的信息来展示预定的特性，例如，基于用户是否是首次使用的用户，基于系统中用户的视频数量，基于最后一次用户要求系统启用指令，可适于提供相对简单功能的语音服务，可适于提供远程专家协助等。
249.在一个实施方式中，如图15和16中所示，缩略图的预定义编号的想法可以用缩略图的滑动菜单来代替。
250.在正常操作模式下，例如在如图15和16中所描绘的，用户可以向上和向下移动他的手来选择缩略图，一旦用户的手停止，最近的缩略图可以被选出，并可以被指定，使得用户将获取反馈以供选择。例如，蓝色阴影可以围绕所选择的缩略图来提供以标识该选择。当使用者抓取、推进、或其手/手指点击在缩略图上时，视频可以基于显示模式设置开始播放，并且用户也可以停止播放视频并执行其它操作等。一旦例如用户停止播放视频，则可以在缩略图上显示保持栏来指定所播放视频的状态并确认回给用户其命令已由镜像站接受。
251.在一个实施方式中，为进一步简化操作，用手的手势控制可被配置成检测缩略图之间的跳跃，即使用户左右移动手而不是上下移动或在任何其他方向上。该系统可以被配置为适应于用户的跨度和手部动作的速度，从而使用户可以看到选择，用户因此也可以调整其运动的速度和跨度。
252.在一个实施方式中，特定品牌或合伙人或任何其它的标识可被添加到所记录的视频，这样用户会得到例如具有品牌标志的视频，并且用户能够与其朋友分享所得到的视频。
253.在一个实施方式中，镜子可以被配置成通过由具有相似体型的另一用户以前所试穿的项目来提供令人信服的增强现实能力。这种匹配技术产生更加令人信服的体验。
254.镜子可以被配置为执行业务。由于根据本发明的镜像站在市场上是新的设备，因此用该镜子来生成收入来源也是独特的。接下来的几个实施方式包括了关于动态镜可以如何用来创造新的收入来源的细节。
255.镜子可插入商业广告、优惠券和徽标到处于空闲模式的镜子中，在镜子的指定部分内，或经由分屏模式。镜子还可以引入广告、优惠券和徽标到所记录的视频中，这样用户就可以查看具有广告/优惠券/徽标的视频。这些显示可以作为广告进行销售。用户可以共享广告/优惠券/徽标。用户可以被提供激励来换取分享广告/优惠券/徽标。
256.用户的试穿衣服可以被分析以用于测量/特性，例如bmi、性别、出身、年龄、身体测量、面部表情、语音表达、建议的尺寸等。该数据可以被合并进电子商务的应用程序中。该数据是具有高价值的，并且可以与品牌、用户、基于与用户和品牌之间的协议的第三方等一起分享。利用本发明，可从所分析的关于用户的数据来产生收入来源，例如，通过呈现给用户聚焦和精准的广告。
257.镜子可以被配置为一种服务，其允许用户在用户考虑特定采购的情况下邀请专家、朋友或顾问。通过增进与远程专家的意见相关联的销售机会，可以使用本发明产生额外的收益。专家可以由用户指定，并且用户可以选择他自己喜欢的专家或选择由品牌指定的专家。
258.可以给用户呈现以针对由用户试穿的特定项目的包括建议和/或激励的显示，例如使用不同颜色。这种方法提供了进一步的机会来促进销售。增强现实可以用来促进销售。具体而言，根据由镜子获取的信息和其他用户的试验，可以基于关于该用户和具有相似体型的相似用户的信息组合来产生更加引人注目的增强现实的显示。
259.在一个实施方式中，用户的社交网络可以以帮助用户和/或用户对项目的关注进行评论的方式进行集成。该系统可以被配置为共享用户的视频。该社交网络功能可用于扩大可寻址的客户的数据库。
260.在一个实施方式中，用户可以上传他们自己的照片，视频引擎可以被配置为处理图像并提供bmi、脸部、出身等的类似分析。该系统可以为电子商务应用提供建议的尺寸。该系统可以以不同的颜色显示所购买的项目。以这种方式，镜子可以被用于获取合适数据库的市场信息，即使在用户物理上不是站在镜子本身之前的情况下。
261.在一个实施方式中，用户可以看到在应用程序中预测的大小并更新测量，这可以用于改善尺寸预测模型并包括特定品牌的调整。
262.本发明包括设备的机械设计和外观设计。屏幕可以安装成垂直或水平地放置在墙上，或者可以在垂直和水平之间能切换的(通过较大的或类似的机械解决方式，该屏幕可以倾斜、旋转等)。屏幕可以安装在专用的支架上、安装在墙壁上或安装在墙壁后面。当屏幕位于墙壁内时，应提供热通风导管以支持屏幕和计算设备。
263.图21示出了可以连接到任何电视屏幕的背面并将tv屏幕转换成数字镜子的完全容纳单元的实施方式，而图22是图21的单元的侧视图，示出附在电视机的背面。图21和图22所示的实施例的一个优点是系统可以在任何数字电视上操作，使得该单元的购买者可以使用现有的电视或购买他/她选择的电视。这可以大大降低系统的成本，特别是如果已经拥有电视机的话。此外，该系统可以安装在任何电视上，使得电视机可以定期用作电视机，并且在需要时切换到镜子。
264.如图21和22所示，数字镜子系统2110包括容纳处理器的外壳2112。在一实施方式中，处理器是诸如可从台湾的gigabyte technology
tm
获得的brix系列之类的小型pc，并且消费者可在诸如fry's electronics和microcenter之类的电子商店购买。使用小型pc的优点是它是一种超紧凑的pc设计，测得大小仅仅62mm x111.4 mm x114.4mm。这使得整个系统非常紧凑，并且可以使用连接机构2115容易地连接到任何电视机的背面。连接机构2115在tv被安装到墙壁的情况下可以是vesa支架，或连接机构2115可以是其他连接机构，例如特别地设计的机械夹具、双面胶、等等。如图22所示，当将外壳2112直接连接到tv2005的背面时，可以使用两部件连接机构，表示为连接到外壳2112的2115部件和连接到tv2005的背面的部件2115'，其中两个部件2115和2115'使用粘合剂、等机械地彼此连接。
265.外壳内的处理器包括微处理器，如intel core、内存、处理视频的dsp、无线发射器(例如wifi、蓝牙)等。例如，brix包括intel core处理器、固态硬盘或硬盘驱动存储器、无线
发射器和lan连接。重要的是，为了增强可视化，brix包括4k分辨率的hdmi输出2117，它连接到tv2005的hdmi输入。图21中还显示了处理器的电源输入，其连接到标准的110v或240v出口，具体取决于国家。此外，可以使用高质量的数字信号处理器来获得用于处理视频信号的最佳结果。例如，pro图形卡可用于视频处理。
266.外壳2112包括延伸部2113，在延伸部2113上安装光传感器壳体2114。在图22的实施方式中，光电传感器壳体经由可调节的耦合器2216被安装到延伸部2113，使得通过例如如弯曲的箭头所示的围绕耦合器2116旋转壳体2114可以调节光电传感器的视场的高度。光传感器(未示出)被容纳在壳体2114内，并将其信号通过电缆2118发送到处理器以进行处理，电缆2118如图21所示以用于说明的目的，但是从视觉的角度而言应该被隐藏。电缆2118可以是电缆或光纤。
267.根据一实施方式，提供了用于实现实时和延迟的视频播放的系统。该系统可以用于模仿镜子，从而使得用户能够试穿服装物品。该系统也可以用于各种训练目的，其中可以省略镜像模拟功能。该系统包括：被配置为容纳在其内的处理器的外壳，所述外壳具有延伸部；耦合到所述延伸部的光学传感器壳体；容纳在外壳内的处理器，处理器包括存储器和视频引擎，并具有被配置为将数字图像发送到数字屏幕的输出；光学传感器，其容纳在光学传感器壳体内并具有将图像发送到处理器的装置；以及连接机构，其构造成将所述外壳连接到数字屏幕的背面。
268.图23示出了可由本文公开的任何实施方式执行的过程的流程图。步骤2300示出了正常操作条件，其中来自光电传感器的直播视频流被呈现在屏幕上并且也保存在存储器中。当屏幕作为数字镜子操作时，可以在将实时视频流呈现在屏幕上和/或将其存储在存储器中之前，通过应用翻转和转换进行处理，以使其模仿镜像。否则不需要翻转或转换。
269.在步骤2302中，例如当通过用户点击图标，通过对实时视频流等中的运动进行分析等发出触发时，系统进入延迟模式。在该实施方式中，当系统进入延迟模式时，在步骤2304中，在该情况下在屏幕上呈现的帧被冻结或暂停。然而，来自光传感器的直播视频流继续存储在存储器中。正在监视延迟时间，并且当时间在2306达到当前延迟时间时，来自存储器的帧在2308发送到屏幕，从紧跟在冻结帧之后的帧开始。在此时间期间，监视延迟周期，并且当在2310处达到延迟周期时，系统恢复到正常操作2300。根据测试，已经示出延迟时间最好设置为比延迟周期短。此外，根据经验，已经示出，延迟时间最好设置为1至5秒，而延迟周期为5秒至30秒。
270.图24示出了可以由本文公开的任何实施方式实现的过程的流程图。步骤2400示出了正常操作条件，其中来自光电传感器的直播视频流被呈现在屏幕上并且也保存在存储器中。可以在将实时视频流呈现在屏幕上和/或将其存储在存储器中之前，通过应用翻转和变换进行处理，以使其模仿镜像。否则不需要翻转或转换。
271.在步骤2402中，例如当通过用户点击图标，通过对实时视频流等中的运动进行分析等发出触发时，系统进入延迟模式。在该实施方式中，当系统进入延迟模式时，在步骤2404中，例如通过存储发出触发的时间或者通过标记延迟帧，例如通过存储当前帧的存储器地址来标记时间，所述当前帧即在触发发出的情况下存储的帧。在2406，系统继续在屏幕上呈现直播视频流，并且来自光电传感器的直播视频流也被继续存储在存储器中。正在监视延迟时间，并且当时间在2408达到当前延迟时间时，从在步骤2404标记的时间开始，在
2410将来自存储器的帧发送到屏幕。在此时间期间，监视延迟周期，并且当在2412处达到延迟周期时，系统恢复到正常操作2400。根据测试，已经示出延迟时间最好设置为比延迟周期短。此外，根据经验，已经示出，延迟时间最好设置为1至5秒，而延迟周期为5秒至30秒。
272.图23和24所示的方法是特别有益的，因为用户将很可能错过从直播流到延迟流的交易，因为在该情况下用户将不会看到屏幕。例如，使用系统来改善高尔夫挥杆的用户会在采取位置时看屏幕，此时，用户将看到实时馈送。当用户挥杆时，用户将不会看屏幕，并且就是在这时将发生向延迟模式的转变并且用户将不会看到它。用户进行挥杆后，用户可以看镜子，此时用户将看到播放延迟的帧的屏幕，并可以检查挥杆。此后，系统将恢复正常操作。因此，从冻结帧或直播流到延迟的视频流的非自然跳转将很可能不被用户看到。
273.在一个实施方式中，屏幕可以具有成比例的镜子，例如，21：9。
274.在一个实施方式中，屏幕可以具有常规比例，即16：9，显示设置可以是分屏或者位于两侧的暗栏，以生成镜子比例，即21：9。
275.在一个实施方式中，屏幕可以进入糙面精整，以消除可在暗色上看到的反射。换句话说，当用户穿戴黑色时，并且屏幕没被糙面精整过，那么用户可以看到他自己的真实的镜面反射；这种效果是不期望的并且可以减少、扭曲或完全破坏虚拟镜面效果。
276.帧可以如图14、15和16所示的方式呈现。可以使用最小化的帧，或者该帧可以隐藏在壁后。
277.在一个实施方式中，相机或受控的相机可以位于帧中。相机可以安装在屏幕帧之上，可以是隐藏的，并且可以安装在壁上。相机可以设置有可从图像中滤出的阴影。由于相机朝下，因此将遮蔽大部分相机主体的盖子可以阻止远处的视线。
278.屏幕可以是led、lcd、等离子体、玻璃、投影仪等。
279.可以使用能产生导致更高质量视频的更好的白平衡的背景。
280.照明可包括白色、黄色或者在点或投影仪组合中的任意组合中的一个组合，并且可以配置来改善视频质量和颜色。
281.专用的地毯可以用来使背景变化、定义用户区域、改善镜子前的用户检测和跟踪、指示用户站在哪里、并指导用户如何操作镜子。
282.每个上面标识出的模块或程序对应于一组用于执行上述功能的指令。这些模块和程序(即，指令组)不必作为单独的软件程序、过程或模块来实现，因此在各种实施方式中这些模块中的各种子集可进行组合或以其他方式重新布置。在一些实施方式中，存储器可以存储以上识别的模块和数据结构的子集。此外，存储器可以存储上面没有描述的附加的模块和数据结构。
283.本公开的所示方面也可以在分布式计算环境中实现，在该分布式环境中某些任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备两者中。
284.此外，可以理解，本文描述的各种组件可以包括电路(多个电路)，其可以包括为了实现本主题的创意(多个创意)的实施方式的具有合适的值的组件和电路元件。此外，可以理解的是，这些各种组件中的许多可以在一个或多个集成电路(ic)芯片中实现。例如，在一个实施方式中，成组的组件可以在单个ic芯片中实现。在其他实施方式中，一个或多个相应的组件在单独的ic芯片上进行制造或实现。
285.上文已描述的内容包括本发明的实施方式的例子。当然不可能描述了用于描述所要求保护的主题的组件或方法的每个可想到的组合，但可以理解的是，本主题创意的许多进一步的组合和排列是可能的。因此，所要求保护的主题旨在涵盖落入所附权利要求的精神和范围内的所有这些改变、修改和变型。此外，主题公开的所示实施方式的上述描述，包括在摘要中所描述的内容，并不旨在穷举或限制所公开的实施方式为所公开的精确形式。虽然出于说明的目的本文描述了具体实施方式和示例，但如那些相关领域技术人员可以识别的，被认为是位于这样的实施方式和示例的范围之内的各种修改是可能的。
286.特别地并且对于由上述组件、设备、电路、系统等执行的各种功能，用于描述这些组件的术语旨在对应于(除非另有说明)执行所描述的组件的特定功能(例如，功能等效物)的任何组件，即使在结构上不等效于所公开的结构，其执行所要求保护主题的本文所说明的示范性方面中的功能。在这方面，还应当认识到，创意包括系统以及具有用于执行所要求保护的主题的各种方法中的动作和/或事件的计算机可执行指令的计算机可读存储介质。
287.相对于几个组件/块之间的交互已经描述了上述的系统/电路/模块。可以理解的是，这样的系统/电路和组件/模块可以包括那些组件或指定的子组件、某些指定的组件或子组件、和/或附加的组件，并根据各种置换和上述的组合。子组件也可以被实现为通信耦合至其它组件而非包括在父组件(分层)内的组件。另外，应该指出的是，一个或多个组件可被组合到提供聚合功能单个组件中或分成若干单独的子组件，并且任何一个或多个中间层，例如一个管理层，可以被提供来通信地耦合到这样的子组件，以便提供集成功能。本文描述的任何组件也可以与本文没有具体描述但本领域的技术人员已知的一个或多个其它组件进行交互。
288.此外，虽然本主题创意的一个特定特征可能仅相对于若干实施方式中的一个而已经被公开，但这样的特征可以与其他实施方式中的一个或多个其它特征组合，因为对于任何给定或特定的应用程序可能是期望的和有利的。此外，某种程度上，在详细描述或权利要求中使用了术语“包括”，“包含”，“具有”，“含有”及其变体、以及其他类似词语，但这些术语旨在是包容性的，以与术语“包含”类似地作为开放性过渡词而不排除任何附加或其他要素的方式。
289.如在本技术所使用的，术语“组件”、“模块”、“系统”等一般旨在表示计算机相关的实体，或者硬件(例如，电路)、硬件和软件的组合、或者软件、或与具有一个或多个特定功能的操作性机器相关的实体。例如，组件可以是，但不限于，在处理器(例如，数字信号处理器)上运行的程序、处理器、对象、可执行的、执行线程、程序、和/或计算机。通过举例说明，运行在控制器上的应用程序和控制器两者都可以是组件。一个或多个组件可以包含在进程和/或执行线程内，组件可能被定位于一台计算机和/或分布在两个或更多台计算机之间。另外，“设备”可以包含于专门设计的硬件；由在其上的使硬件执行特定功能的软件特殊实现的广义硬件；存储在计算机可读介质上的软件；或它们的组合。
290.计算设备典型地包括各种介质，其可以包括计算机可读存储介质和/或通信介质。计算机可读存储介质通常可以是能够由计算机访问的任何可用的存储介质，通常是非短暂性的，并且可以包括易失性和非易失性介质、可移除和不可移除介质。以举例的方式，而非限制，计算机可读存储介质可以与用于存储信息的诸如计算机可读指令、程序模块、结构化数据或非结构化数据之类的任何方法或技术连接来实现。计算机可读存储介质可以包括但
不限于ram、rom、eeprom、闪存或其它存储器技术、cd-rom、数字多功能盘(dvd)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其他磁性存储设备、或者可以用来储存所期望的信息的其它有形的和/或非临时性的介质。计算机可读存储介质可以相对于由介质存储的信息针对各种操作而由一个或多个本地或远程计算设备访问，例如经由访问请求、查询或其他数据检索协议来进行访问。
291.通信介质通常包含计算机可读指令、数据结构、程序模块或在可以为暂时性的数据信号(例如载波或其它传输机制)中的其它结构化的或非结构化的数据，并且包括任何信息传递或传输介质。术语“调制的数据信号”或信号是指具有一种或多种特性设置的信号或者以在一个或多个信号中对信息进行代码的方式进行改变的信号。
292.鉴于以上描述的示例性系统，参照各附图中的流程将更好地理解可根据所描述的主题进行实现的方法。为了简单说明，该方法被描绘和描述成一系列的动作。然而，根据本公开的动作能以各种顺序和/或同时地发生、以及与此处未呈现和描述的其它动作一起发生。此外，不是所有示出的动作都必须实现根据所公开的主题的方法。此外，本领域的技术人员将理解并认识到，这些方法经由状态图或事件可替换地表示为一系列相互关联的状态。此外，应该理解的是，在本说明书中所公开的方法能够被存储在制造的物品上，以促进此类方法输送和传送到计算装置。如本文所用的制造的术语制品意在涵盖可从例如存储在耦合到云的服务器上的任何计算机可读设备或存储介质访问的计算机程序。
293.出于解释的目的，前面的描述已经参考具体实施方式进行叙述。然而，上述说明性的讨论并非旨在穷举或限制为所公开的精确形式。许多修改和变化鉴于上述教导是可能的。实施方式被选择并描述以最佳地解释所述方面的原理及其实际应用，从而使本领域技术人员利用适合于预期的特定用途的各种修改来最佳地利用所述方面和各个实施方式。