在物理领域中与客户交互的数字角色的制作方法

在物理领域中与客户交互的数字角色
1.对（一个或多个）相关申请的交叉引用本技术要求提交于2020年5月13日的序号为no. 15/931377的美国申请和提交于2019年6月11日的序号为no. 62/860188的美国临时专利申请的优先权，该美国申请和该美国临时专利申请中的全部的内容都特此以其整体通过引用而被并入本文中。


背景技术：

2.游乐园可以包括用以向顾客提供独特体验的各种特征。例如，游乐园可以具有供顾客娱乐的各种乘坐设施和演出。此外，游乐园可以具有可以为顾客创建理想环境或氛围的演出效果和道具。这样的特征可以包括可以与顾客交互的娱乐形象（例如，动画角色、动画形象）。例如，娱乐形象可以说话、挥手、步行或实行任何其它合适的动作。


技术实现要素：

3.关于本文中所公开的各种实施例，提出了用于控制在数字动画中描绘的数字角色的表演的技术。根据各种实施例，控制该表演，以促进数字角色与现场客户之间的交互。
4.根据至少一个实施例，公开了一种用于控制在显示装置处描绘的数字角色的表演的方法。该方法包括：确定位于物理环境中的人的存在；以及响应于确定该人的存在，促进由人类操作者、由人工智能（ai）游戏引擎或由它们的组合来进行的对在显示装置处描绘的数字角色的表演的控制。
5.根据至少一个实施例，一种用于控制在显示装置处描绘的数字角色的表演的设备包括：网络通信单元，其配置成传送和接收数据；以及一个或多个控制器。一个或多个控制器配置成：确定位于物理环境中的人的存在；以及响应于确定该人的存在，促进由人类操作者、由ai游戏引擎或由它们的组合来进行的对在显示装置处描绘的数字角色的表演的控制。
6.根据至少一个实施例，机器可读非暂时性介质已在其上存储用于控制在显示装置处描绘的数字角色的表演的机器可执行指令。指令包括：确定位于物理环境中的人的存在；以及响应于确定该人的存在，促进由人类操作者、由ai游戏引擎或由它们的组合来进行的对在显示装置处描绘的数字角色的表演的控制。
附图说明
7.在考虑与附图联合而进行的实施例的以下的描述时，本公开的上文的方面和特征以及其它方面和特征将变得更明显。
8.图1说明根据至少一个实施例的用于控制数字角色以与客户交互的系统。
9.图2a和图2b说明用于控制数字角色的现场运动捕捉的示例。
10.图3说明根据至少一个实施例的刚性主体的示例。
11.图4说明捕捉区域的3d视图。
12.图5说明为了供客户取回而进行的物理物品的示例性递送。
13.图6说明根据至少一个实施例的控制在显示装置处描绘的数字角色的表演的方法的流程图。
14.图7是根据至少一个实施例的计算环境的说明。
15.图8是根据至少一个实施例的装置的框图。
具体实施方式
16.在以下的详细描述中，参考附图，附图形成详细描述的一部分，并且通过说明的方式示出本发明的具体实施例。本技术领域中的普通技术人员将理解，在不脱离本发明的范围的情况下，可以利用其它实施例，并且，可以作出结构改变以及规程改变。在任何可能的情况下，将贯穿附图使用相同的参考编号来指相同或类似的部分。
17.本文中所公开的实施例涉及一种用于控制数字角色以与客户交互的系统。例如，该交互可以包括递送物理产品以便供客户取回。示例性实施例包括在视觉上类似于餐车并且为客户输出食物的系统、向客户出售电影票的系统以及促进数字角色与客户之间的绳索拔河比赛的实行的系统。
18.将参考图1而描述示例性实施例。
19.图1说明根据至少一个实施例的用于控制数字角色以与客户交互的系统102。系统102（至少部分地）位于环境100中。在环境100中还存在一个或多个客户110。系统102包括显示装置104和输出通道108。显示装置104定位成在客户110的清晰视野中。如稍后将更详细地解释的，一个或多个物品可以经由输出通道108来递送，以便供客户110取回。
20.而且，系统102包括至少一个视频捕捉装置（例如，相机）和至少一个音频捕捉装置（例如，麦克风）。视频捕捉装置和音频捕捉装置可以定位成捕捉在环境100中发生的动作（或无动作），特别地，由客户110进行的动作（或无动作）。这样的动作的示例包括由客户110进行的朝向或远离系统102（例如，朝向或远离显示器104）导引的移动或运动、由客户110进行的运动或手势以及由客户110进行的面部表情和反应。如将在下文中更详细地描述的，该捕捉促进检测客户110在环境100中的存在和/或与客户110交互（例如，由在显示装置104处描绘的一个或多个数字角色进行）。
21.如先前所注意到的，系统102的显示装置104定位成在客户110的清晰视野中。显示装置104显示视频（例如，数字视频）。如将在下文中更详细地描述的，所显示的视频可以包括交互元素和/或特征。
22.出于描述目的，描绘为在显示于显示装置104处的视频中发生的事件将被称为“在数字领域中”发生的事件。单独地，其它事件（例如，在环境100中发生的事件）将被称为“在物理领域中”发生的事件。从客户110的角度来看，显示装置104可以被感知为进入由系统102定义的物理空间中的“窗”，其中，在数字领域中发生的事件被感知为在由系统102的一个或多个元件定义的物理空间中发生。
23.继续参考图1，数字角色106在显示于显示装置104处的视频中描绘。通过示例的方式，数字角色106可以经由人类操作者的现场运动捕捉来创作。
24.例如，参考图2a，数字角色106经由位于环境200a中的人类操作者202的现场运动捕捉来创作。环境200a可以位于环境100附近或位于远离环境100的位置处。如果环境200a位于环境100附近，则环境200a可以配置成使得人类操作者隐藏在存在于环境100中的客户
110的视野之外。
25.在环境200a中，提供显示装置204。显示装置204输出由先前参考系统102而描述的视频捕捉装置和音频捕捉装置捕捉的视频和音频。因此，可以实时地通知人类操作者202在环境100中发生的动作（或无动作）。以此方式，人类操作者202可以经由在数字领域中描绘的数字角色106来与存在于物理领域中的客户110有效地交互。
26.例如，人类操作者202可以询问客户110：“有人想要饼干吗”因此，通过现场运动捕捉，数字角色106在数字领域中描绘为询问：“有人想要饼干吗”观看显示于显示装置104处的数字视频的客户110感知在数字领域中发生的这样的动作。
27.客户110可以相应地作出响应。例如，一位客户110可能将他/她的手举起。作为另一示例，另一位客户110可能大声说：“是的！”通过监测显示装置204，人类操作者202能够观察由客户进行的这样的动作。例如，通过继续监测相机片段，人类操作者202能够（1）改变或转移他/她的目光（gaze），使得数字角色106直视客户110的眼睛（例如，如果客户110依然相对静止），并且（2）朝向客户110伸展（例如，如果客户110朝向显示装置104的特定部分伸展或指向显示装置104的特定部分）。以类似方式，数字角色106与客户110之间的其它交互可以包括与客户110握手、拥抱客户110、受到来自客户的推动的有形影响等等。
28.在至少一个实施例中，数字领域和物理领域的桥接可以通过下者来达到：使数字角色配置成使肢体延伸出，以便握住客户110的手，或以便向客户110赠送物品。通过示例的方式，这可以通过控制物理地操作的木偶肢体来达到，在物理领域中由隐藏在客户110的视野之外的人类木偶操纵者操作。物理地操作的木偶肢体可以被控制成朝向客户110伸展出并且在物理领域中直接地与客户110交互。在此情形下，物理地操作的木偶肢体可以是使基于由木偶操纵者进行的实时控制而逼真地移动的电子动画手臂和手（animatronic arm and hand）。根据另一实施例，数字地操作的木偶肢体可以被控制成伸展出并且直接地与客户110交互。例如，数字地操作的木偶肢体可以经由来自正创作角色体验的表演者（例如，人类操作者202）的数字信息来控制。在此情形下，表演者可以通过人工地操作屏幕上界面、键盘触发器、按钮或操纵杆输入设备来将肢体实时地控制成延伸或缩回。来自表演者的实时数据将操作手部的机械部件，并且引起手臂以受控、在机器人学上合法的方式四处移动。根据涉及数字地操作的木偶肢体的另一实施例，表演者可以通过使他/她的手臂伸展出到捕捉体积的已知的区域来简单地发起握手。木偶肢体的延伸和缩回以及木偶肢体的其它移动将由表演者解决，其中，结果也以受控、在机器人学上合法的方式重新以电子动画木偶肢体为目标。
29.响应于看到和/或听到由客户110进行的反应，人类操作者202可以在环境200a内移动，仿佛他正为客户110将饼干盒取回那样。然后，参考图2b，人类操作者202可以在环境200b内移动，仿佛他正向一个或多个等待的客户110递送所取回的盒那样。
30.人类操作者202的移动在数字领域中被数字角色106复制。例如，在数字领域中，数字角色106将饼干盒取回，并且然后沿朝向输出通道108导引的方向移动。
31.在前文中，人类操作202的移动可以使用运动捕捉系统来监测。现在将更详细地描述根据一个或多个实施例的运动捕捉系统。
32.光学系统（或光学运动捕捉系统）利用从图像传感器捕捉的数据来在被校准以提
供重叠投影的两个或更多个相机之间对受试者的3d位置进行三角测量。可以使用附接到动作者（例如，人类操作者202）的标记来捕捉数据。跟踪更大数量的表演者或扩大捕捉区域可以通过增大相机的数量来达到。
33.关于光学系统，当在点云中不存在模型标记点时，例如，当所观察到的点的数量低于模型标记点的数量时，发生遮挡。由于各种各样的原因（诸如，使一个或多个不透明物体介入于标记与相机之间或在标记超出相机视场（fov）时）中的任何而可能发生这样的事件。
34.根据至少一个实施例，漂移校正系统包括（例如，以混合方式）光学运动捕捉系统的一个或多个方面连同惯性运动捕捉系统的一个或多个方面。这样的系统可以虑及无遮挡运动捕捉，无遮挡运动捕捉在捕捉区域（诸如，环境200a）中在位置上是正确的，并且将不随时间漂移。
35.惯性运动捕捉系统的方面包括使用如在本领域中已知的惯性主体捕捉套件（suit）。惯性主体捕捉套件可以如先前参考图2a而描述的那样属于用于促进人类操作者202的现场运动捕捉的类型。例如，这样的惯性主体捕捉套件测量人类操作者202的关节角度，并且例如通过对脚步进行计数来从初始起点估计他/她的位置。在这点上，误差可能随时间累积，因为，惯性运动捕捉系统基于该套件中所包括的磁力计而产生近似的结果。例如，惯性运动捕捉系统可能近似于真北位置，但误差可能是由于自然磁干扰对磁力计的准确度的影响而导致的结果。
36.为了帮助针对诸如遮挡和伪影（诸如，由磁干扰引起的那些遮挡和伪影）之类的现象而校正，系统可以使用惯性运动捕捉系统和光学系统两者的方面。根据至少一个实施例，光学系统的方面将比可以典型地用于全身运动捕捉的光学系统的那些方面更简单。例如，光学系统可以用于聚焦于动作者的腰部上。根据至少一个实施例，光学系统包括使用可由人类操作者202穿戴的刚性设备（或刚性主体）。根据至少一个实施例，来自惯性运动捕捉系统的数据和来自光学系统的数据被组合（或融合在一起）并且用于驱动数字角色（例如，数字角色106）。
37.通过示例的方式，可以从惯性运动捕捉系统的惯性主体捕捉套件接收关于旋转和离地高度（参见例如图2a的y轴）的数据，并且，可以从光学系统接收关于水平平面（参见例如由图2a的x轴和z轴定义的平面）的数据。
38.如先前所描述的，光学运动捕捉系统可以包括刚性主体。刚性主体可以可稳定地附接到正被进行漂移校正的人类操作者202。根据至少一个实施例，刚性主体包括放置于其上的标记。例如，标记可以是逆反射标记。这样的标记可以以独特图案放置于刚性主体上，使得刚性主体将具有通过光学运动捕捉系统可识别或可标识的唯一身份（例如，标记的配置或布置）。
39.图3说明根据至少一个实施例的刚性主体502的示例。如所说明的，刚性主体502可以采取带的形式。带配置成被穿戴于人（例如，人类操作者202）的腰部周围。刚性主体502在体积上相对小，使得当刚性主体的穿戴者移动时，刚性主体与穿戴者的臀部一起移动，而不会相对于穿戴者独立地移动。刚性主体502可以由刚性相当强的材料制作，并且可以具有均匀宽度（例如，1或2英寸）。标记506可以沿着刚性主体502的周缘定位。如先前所描述的，标记506可以以独特图案定位于刚性主体上。例如，在图3中所说明的示例中，总计二十五个标记506以独特的锯齿形图案沿着刚性主体502的周缘放置。
40.备选地，代替将标记506直接地定位于带上，标记506可以经由（直接地）定位于带上的一个或多个刚性主体来（间接地）定位于带上。在该备选示例中，标记506可以直接地放置于刚性主体上，刚性主体进而放置于带上。例如，五个标记506可以放置于总计五个刚性主体中的每个上，刚性主体进而放置于带上。刚性主体在带上的放置（以及标记在刚性主体上的放置）可以呈独特图案。
41.理解到，出于达到可接受的漂移校正水平的目的，少至一个光学标记可以是足够的。然而，根据至少一个实施例，利用两个或更多个光学标记来达到更高水平的相对于遮挡的稳健性。
42.关于光学系统，现在将参考“非固有”系统而描述各种实施例。根据这样的实施例，两个或更多个相机的阵列安装于捕捉区域（例如，房间）的周界周围。当刚性主体（如被人类操作者穿戴那样）在捕捉区域周围移动时，相机对捕捉区域的视图以及一个或多个标记（例如，刚性主体502上的标记506）的视图进行捕捉。静态相机观察移动标记，并且相应地提供关于移动标记的数据（例如，准确旋转和平移），该数据在计算机动画软件中被求解成刚性物体（例如，计算机生成的骨骼）。
43.图4说明捕捉区域（例如，房间）400的3d视图。在至少一个实施例中，一个或多个相机安装于放置于捕捉区域400中的每个塔上。例如，如图4中所说明的，四个塔402放置于捕捉区域400中，一个塔402位于每个拐角处。出于说明目的，每个塔402可以是包括两英尺宽、一英寸厚的铝板的八英尺高的箱形桁架。塔402中的每个可以具有安装于其上的三个相机406。在一个塔402内，相机406可以彼此间隔开，例如，沿着塔的高度在彼此之间以大约两英尺间隔开。
44.相机406可以位于插入到箱形桁架中的小型铝板上。用齿轮连接的三向定位头部也可以位于该板上。相机406可以附接到定位头部，并且，该头部可以用齿轮连接，以设定成处于精确旋转，并且，一旦该头部的瞄准完成，该头部就锁定到恰当的位置中。如先前所注意到的，塔402定位于捕捉区域400的拐角处。
45.每个塔402生成其自身的数据。在相机406的校准期间，静态物体（例如，刚性主体502）可以放置于捕捉区域400的中间。可以通过使光学系统配置成对静态物体进行三角测量来同时地对相机406进行校准。因此，可以确定静态物体在房间内的位置。如先前所注意到的，可以从光学系统接收关于水平平面（参见例如由图2a的x轴和z轴定义的平面）的数据。这样的数据可以与从惯性运动捕捉系统的惯性主体捕捉套件接收的关于旋转和离地高度（参见例如图2a的y轴）的数据组合（或融合）。数据的组合可以用于生成数字角色的动画。例如，从惯性系统接收的旋转数据可以用于使数字角色的骨架动画化，并且，从光学系统接收的数据可以用于对数字角色的臀部的位置进行校正。
46.关于光学系统，已参考“非固有”系统而描述各种实施例。根据至少另一实施例，利用“固有”系统。在这样的系统中，相机被人类操作者穿戴，以根据独特图案而监测位于捕捉区域中（例如，位于房间的天花板、地板和/或墙壁上面）的标记。当人类操作者在房间四处移动时，相机与人类操作者一起移动，并且监测静态标记，使得可以产生相机自身在房间中相对于位于房间的墙壁、地板或天花板上的固定标记的旋转和位置的准确估计。
47.如先前所描述的，放置于刚性主体和/或带上的标记可以是逆反射标记。根据至少一个其它实施例，标记可以是以可由光学运动捕捉系统检测的波长发射光的发光装置
（led）。
48.如先前所描述的，通过使光学运动捕捉系统的方面与惯性运动捕捉系统的方面组合（或混合）来创建漂移校正系统。根据至少一个其它实施例，通过使磁性运动捕捉系统的方面与惯性运动捕捉系统的方面组合（或混合）来创建漂移校正系统。这样的实施例可以以与先前关于采用光学运动捕捉系统的实施例而描述的方式类似的方式操作。例如，磁性“标记”可以放置于人类操作者上。在房间的任一端处，可以放置磁性检测系统。磁性检测系统可以发射磁场，并且检测由磁性标记引起的对该场的磁干扰。所检测到的干扰可以用于确定磁性标记的位置。
49.在至少一个实施例中，可以利用采用wi-fi科技的技术。这样的实施例可以以与先前关于采用磁性运动捕捉系统的实施例而描述的方式类似的方式操作。例如，（一个或多个）wi-fi天线可以放置于房间周围，并且，wi-fi发射器可以放置于人类操作者上。当人类操作者在房间内移动时，wi-fi发射器可以移动得更靠近或更远离一个天线或另一个天线。在（一个或多个）天线处接收的信号的特性可以用于确定发射器在房间内的位置。
50.在至少一个实施例中，可以利用采用声学科技的技术。这样的实施例可以以与先前关于采用光学运动捕捉系统的实施例而描述的方式类似的方式操作。在这点上，可以使用至少两种配置中的一种。例如，在一种配置中，麦克风放置于人类操作者上，并且，超声发射器放置于房间周围。作为另一示例，在另一种配置中，发射器放置于动作者上，并且，麦克风放置于房间周围。在采用声学科技的实施例中，飞行时间（tof）可以用于确定无论哪个物体放置于人类操作者上（例如，麦克风或发射器）的位置。常常以回声定位工作的方式，发射器发出超声声纳脉冲（ping）声音，并且，麦克风（或麦克风阵列）检测到声纳脉冲，并且基于从发射器到麦克风的延迟（飞行时间）而运算声纳脉冲声音所行进的距离。
51.在至少一个实施例中，可以利用一个或多个深度相机来确定人类操作者在房间中的位置。例如，深度相机可以投射红外（ir）网格，并且然后检测人类操作者正如何使该网格扭曲，以确定操作者位于何处和由操作者进行的移动。作为另一示例，在光从led发出、从人类操作者反射并且然后返回到深度相机以进行深度运算时，ir led的阵列可以按序列发闪光和不发闪光以实行tof运算。
52.在至少一个实施例中，不需要采用标记。例如，在更简单的系统中，一个或多个视频相机可以用于跟踪人类操作者的特定特征或位于刚性主体上的特定特征，以确定人类操作者在房间中的位置。
53.参考图5的环境300，在物理领域中，在输出通道108处递送包含饼干的盒302。例如，系统102可以包括在被控制（例如，被人类操作者202控制）时分配物品的分配器。
54.如先前参考图1而描述的，系统102包括至少一个视频捕捉装置（例如，相机）和至少一个音频捕捉装置（例如，麦克风）。理解到，相机以及麦克风和相机能够存在于虚拟世界中，并且由虚拟现实中的客户体验。例如，客户可以通过输入装置（诸如，操纵杆、鼠标或虚拟现实（vr）或运动捕捉输入设备）来控制存在于数字领域中的数字化身。除了仍然在物理领域中发生的物品（例如，盒302）的出售/递送以外，在数字领域内发生交互。例如，客户玩游戏，游戏与和客户对应的游戏角色交互，而非直接地与客户交互。在此情形下，客户作为数字化身进入数字领域并且体验数字领域，数字化身的移动由客户基于在物理领域中提供的输入而控制。照此，化身能够被控制成在数字领域中以某种方式（例如，步行、跳跃、飞行、
瞬移）移动。当在数字领域中检测到数字化身的存在时，与其中当检测到客户在物理领域（例如，环境100）中的存在时发起与客户的交互的方式类似地发起与数字化身的交互。一旦客户已触发将要在物理领域中发生的改变（例如，物品的递送），就在物理领域中实现该改变。
55.如先前还参考图1、图2a、图2b、图3以及图4而描述的，数字角色（例如，数字角色106）可以经由人类操作者（例如，人类操作者202）的现场运动捕捉来创作。现场运动捕捉驱动的操作可以应用于数字角色（或诸如图5中的盒302之类的物体）的特定部分（或方面），或可以在合适时驱动整个数字角色或道具。根据一个或多个实施例，人类操作者使用诸如控制器、键盘、操纵杆、鼠标、脚踏板、麦克风等等的装置来利用实时乐器数字接口（midi）输入和/或数字木偶操纵来驱动数字角色的表演。在这样的实施例中，可能并非排他性地使用现场运动捕捉。例如，运动捕捉可以用于驱动数字角色的面部的表演，并且，表演的其余方面使用触发的输入装置来驱动。根据一个或多个其它实施例，数字角色106可以全部地经由人类操作者的现场运动捕捉来创作。
56.根据一个或多个其它实施例，针对数字角色的决策制定和表演全部地由驻留于游戏引擎中的人工智能（ai）角色创作。
57.根据一个或多个其它实施例，针对数字角色的决策制定和表演可以使用ai游戏引擎驱动的角色和人类运动捕捉的组合来达到。通过示例的方式，在（一个或多个）特定时间期间（例如，当系统正等待由客户进行交流时），数字角色可以至少部分地由ai（例如，通过播放环境运动循环或其它基于角色的动画）驱动。在另外的（一个或多个）时间，可能发生从由ai来驱动到由运动捕捉来驱动的转变。例如，当系统检测到客户110的存在时，数字角色的表演（例如，动画控制）可以转变到人类操作者，人类操作者能够以更人性化的方式与客户交互。在导致这样的转变的情况下，系统102可以用信号通知人类操作者他/她将被赋予对数字角色的表演的至少部分控制。例如，系统102可以提供（一个或多个）音频指示和/或视觉指示，以通知人类操作者他/她将被赋予对数字角色的嗓音表演、数字角色的面部表演或数字角色的整个表演的控制。
58.以类似方式，可能发生从通过运动捕捉来驱动到由ai游戏引擎科技来驱动的转变。通过这样的ai科技来作出的决策可以基于由系统102的视频捕捉装置（例如，相机）和/或音频捕捉装置（例如，麦克风）捕捉的数据的分析。例如，由相机捕捉的数据的分析不仅可以用于标识各种客户110的位置，而且还可以用于标识特定客户的某些特性，例如，一位客户110所穿着的蓝色衣服（例如，衬衫）或另一位客户110的金发。照此，即使在数字角色的表演正由ai游戏引擎科技来驱动（而非由人类操作者驱动）时，数字角色也仍然可以在某种程度上与客户110交互。例如，数字角色的眼睛可以被驱动成移动，使得数字角色的“目光”显得跟随由客户110进行的移动。而且，例如，数字角色可以被驱动成朝特定客户110挥手和/或向穿着蓝衣服的客户110或具有金发的客户110表达在某种程度上定制或个性化的问候。
59.类似地，由麦克风捕捉的数据的分析可以至少在某种程度上用于与客户110通过接口接合。例如，在这样的分析检测到如具有特定特性那样的声音（例如，超过某一阈值音频水平的声音）时，数字角色的表演可以通过（准备好的）动画的特定剪辑来选择性地驱动。在这样的剪辑中，数字角色的眼睛可以移动，使得数字角色的目光显得朝上和向外转变，仿佛寻找所听到的声音的来源那样。作为另一示例，可以对由麦克风捕捉的语音音频实行波
形分析。可以在已发言的客户110的心情或情绪状态的辨别中使用这样的分析。在此情形下，其中数字角色向客户110递送音频问候的心情可以被选择成匹配或反映通过波形分析来辨别的心情。例如，如果客户110的心情被辨别为快乐或愉快的，则数字角色可以被控制成以快乐或愉快的方式对客户110讲话。
60.因此，ai游戏引擎科技可以用于响应于某种诱因（例如，检测到具有特定特性的声音）而有效地执行决策树中的某个分支（例如，使用所选择的动画剪辑来驱动数字角色的表演）。这可以改进数字角色显得逼真并且能够对在物理领域（例如，环境100的物理领域）中发生的真实世界事件作出反应的可能性。这可能优于数字角色的如下的表演：其中，角色仅仅重复进行某些动作，同时显得对在物理领域中发生的事件未察觉。
61.照此，数字角色的表演不需要始终由人类操作者驱动。例如，数字角色的表演可以在一些（或大部分）时间期间由ai游戏引擎科技来驱动，并且在所选择的时间（例如，一个或多个关键时间）期间由人类操作者驱动。作为另一示例，可以在一天中的大部分时间（例如，总共11小时、一天操作超过12小时）期间由ai游戏引擎科技来驱动数字角色的表演，并且，可以在所选择的时期（例如，在这样的一天的操作期间的所选择的小时）期间将数字角色的控制指派给人类操作者。可以选择该时期，以便在该时期期间提供与客户110的更加个性化的交互。在这样的时期结束时，人类操作者可以使数字角色的表演的控制返回到ai游戏引擎科技。从客户110的角度来看，可以选取成发生一次该返回，以便提供更加无缝的转变。人类操作者可以在这样的时间通过例如人工地操作屏幕上界面、键盘触发器、按钮或操纵杆输入设备来使数字角色的表演的控制返回。
62.在至少一个实施例中，数字角色的表演有时可以同时地由ai游戏引擎科技以及人类操作者驱动。例如，当数字角色在与客户110的交互中至少部分地由ai驱动时，人类操作者可能希望增强数字角色的表演。在此情形下，人类操作者可以以一种或多种方式控制ai驱动的表演。例如，如果人类操作者将客户110的心情辨别为不仅仅是快乐或愉快的，而更确切地说是特别地快乐或愉快的，则人类操作者可以以类似地加强的方式控制数字角色来对客户110讲话。这样的控制可以通过例如人工地操作屏幕上界面、键盘触发器、按钮或操纵杆输入设备来执行。以此方式，数字角色的表演可以（暂时地）至少部分地由人类操作者指导。
63.根据稍后将更详细地描述的实施例，可以在显示装置104处描绘多个数字角色。这样的角色中的每个可以经由ai游戏引擎驱动的角色和人类运动捕捉的相应的不同组合来控制，如先前所描述的那样。
64.如先前参考各种实施例而描述的，例如由相机和麦克风捕捉在环境100中发生的动作（或无动作），特别地，由客户110进行的动作（或无动作）。当检测到在环境100（例如，环境100内的一个或多个特定区域）中存在客户110时，发起与客户的交互。理解到，可以另外和/或备选地使用其它装置来实行检测。这样的其它装置包括压力垫、深度相机、声波范围检测装置、光束装置和/或热量或声音检测装置。
65.装置不仅可以检测客户的存在，而且还可以检测诸如客户的头部高度和身体位置之类的其它参数。例如，可以使用视频相机、深度传感器或被中断的光束或声束来检测客户，以确定客户的身体位置和高度。获知这样的信息（例如，关于显示装置104的位置）可以允许对数字角色106的头部或眼睛角度作出角度校正，使得数字角色的视线与客户中的一
位或多位的视线更紧密地对准。通过更准确地检测客户的头部高度，这样的装置能够将数字角色的视线有效地“调准”。
66.如先前也参考各种实施例而描述的，该交互包括关于数字领域和物理领域两者的在数字角色与客户之间的一个或多个交互。例如，在数字领域中，数字角色可以实行用以为客户准备或取得物品（例如，饼干盒302）的步骤。在物理领域中，物品被实时地赠送（或销售）给客户，使得物品能够由客户取回或收集（例如，在输出通道108处）。根据一个或多个另外的实施例，提供物品，使得物品能够被客户在另一位置处（例如，在环境100的外部的某处）取回。根据一个或多个另外的实施例，在稍后的日期和/或时间向客户（例如，通过物理邮件）递送物品。
67.根据一个或多个其它实施例，数字角色与客户之间的交互包括引起（或带来）环境100的物理领域中的改变的交互。例如，系统102可以包括用以促进数字角色与客户之间的拔河比赛的游戏的实行的滑轮。
68.通过示例的方式，具有数字角色的表演的控制的人类操作者202询问：“有人想要跟我玩拔河比赛游戏吗”因此，在数字领域中，数字角色106询问客户110：“有人想要跟我玩拔河比赛游戏吗”在物理领域中，客户110可以相应地作出响应。例如，一位客户110可能将他/她的手举起。作为另一示例，另一位客户110可能大声说：“是的！”响应于看到和/或听到由客户110作出的反应，人类操作者202可以在环境200a内移动，仿佛人类操作者202正取回将用其玩游戏的绳索那样。然后，人类操作者202可以在环境200b内移动，仿佛人类操作者202正使所取回的绳索朝向一个或多个等待的客户110移动那样。
69.人类操作者202的动作在数字领域中被数字角色106复制。例如，在数字领域中，数字角色106将绳索取回，并且沿朝向输出通道108导引的方向移动。
70.在物理领域中，绳索的自由端通过输出通道108延伸出。绳索的另一端可以耦合到隐藏在客户110的视野之外的滑轮系统。在客户中的一位抓住绳索之后，可以开始进行拔河比赛游戏。
71.根据一个或多个另外的实施例，引起环境100的物理领域中的改变的其它交互的示例包括：响应于由数字领域中的数字角色进行的动作（例如，绊倒或跌倒）而引起物理领域中的物体移动（例如，被撞倒）；物理领域中的灯响应于由数字领域中的数字角色进行的动作而被控制成打开/关闭；以及物理领域中的一些其它方面响应于由数字领域中的数字角色进行的动作而改变。
72.以类似方式，由系统102检测到的由在物理领域中的客户进行的动作可能导致数字领域中的改变。例如，由客户作出的面部响应或表情、客户的身体姿势、由客户进行的其它移动或由客户作出的嗓音反应或声音可以被检测到并且引起在数字领域中发生相关事件。
73.物理领域与数字领域之间的交互不限于涉及客户和数字角色的那些交互。例如，所检测到的在物理领域中的一个或多个具体物体的存在可能导致数字领域中的改变，并且反之亦然。例如，该改变可能涉及数字领域中的对应或相关的物体。通过示例的方式，由物理领域中的客户有意地或无意地使物体移动可以后接由数字领域中的数字角色使对应或相关的物体移动。
74.可以实行引起环境100的物理领域中的改变，以增加客户将与数字领域中的一个或多个数字角色交流的可能性。如果未检测到客户交流，并且，至少部分地由ai创作数字角色的表演，则系统102可以进入循环状态，其中，系统102持续地（或周期性地）针对所检测到的交流而监测。备选地（或另外），系统102可以开始显示后续的动画，以便激励客户与（一个或多个）数字角色交流。备选地（或另外），系统102可以返回到等待状态，其中，显示特定动画集，直到检测到存在客户为止。
75.如先前参考各种实施例而描述的，诸如饼干盒之类的物体可以被递送（例如，经由输出通道108），以便供客户取回。在此情形下，在检测到由客户作出的请求（例如，客户说“是的！”）之后，可以相对快地递送物体。在其它情形下，在一定延迟之后，可能发生递送。例如，可以向客户递送玩具剑。在物理领域中，预制的玩具剑可以被取回，以便放置于输出通道的接收端处。然而，在数字领域中，数字角色可以在铁匠铺中准备玩具剑（例如，从原材料）。在这样的情形下，动画循环（或序列）可以显示于显示装置（例如，显示装置104）处，以示出玩具剑的准备。可以继续进行这样的循环的显示，直到在物理领域中接收到指示将发生玩具剑的递送的反馈为止。当接收到这样的反馈时，循环的显示结束，并且，在数字领域中，完成玩具剑的准备。稍后将更详细地描述这样的反馈的示例。
76.根据另一示例，该物体可以是在物理领域中要求一些准备时间的物品。例如，该物体可以是客户所请求（或订购）的食品（例如，一碗汤面）。
77.在接收到请求之前，可以首先检测到客户的存在。如先前参考各种实施例而描述的，可以检测到一位或多位客户（例如，在环境100中）的移动。当检测到一种或多种移动（例如，一种或多种特定移动，诸如，朝向显示装置104的移动）时，实行动作，以恳求由客户进行交流。例如，当系统102设计成在视觉上类似于厨房或餐车外部时，发起序列（例如，游戏序列），使得显示装置104显示正准备食物的一个或多个数字角色。例如，在数字领域中，数字角色正切蔬菜、煮面等等。
78.能够以许多方式控制数字领域中的一个多个物品（诸如，用于烹饪的勺子或锅）的描绘。例如，物品可以具有存在于物理领域中的对应物，诸如，由能够通过运动捕捉来跟踪的动作者（例如，图2a的人类操作者202）携带的勺子（例如，由塑料或泡沫制成）。作为另一示例，当物品如视频游戏中的对象那样存在于游戏引擎内时，物品的描绘能够被数字地控制。在此情形下，动作者可以通过作出抓取手势并且将他/她的手放在物品附近以警告游戏引擎他/她想要将物品拿起而与物品交互。动作者还可以经由控制器或按钮按压来触发抓取手势。在另一示例中，动作者能够通过按压按钮或通过伸展到具体
‘
区’中来触发物品从无影无踪处到达他/她的手中。
79.如先前参考图2b而描述的，在数字领域中，数字角色106将饼干盒取回。动作者可以通过将他的手朝上伸展到空中来达到盒的该取回，使得数字角色106的手进入到数字领域中的不可见的立方体中，该立方体相对于显示器（例如，显示器104）存在于框架之外（例如，正好在框架之外）。一旦数字角色106的手已进入该区，就在数字领域中将盒放置于他的手中。当动作者在物理领域中将他的手臂放下时，盒在数字领域中出现于数字角色106的手中，从而显得仿佛数字角色106已伸展到屏幕外并且将盒从看不见的搁架拉动那样。
80.根据另一示例，利用物理领域中的一个或多个物品连同数字领域中的一个或多个物品的组合。例如，可以利用这样的组合来达到在数字领域中由数字角色切胡萝卜。该组合
可能涉及由动作者拿着并且与数字领域中的刀具对应的在物理领域中的对应物（例如，物理道具）和仅存在于数字领域中的胡萝卜。跟踪物理道具的移动，使得刀具在数字角色的手中出现并且相应地移动。当刀具的切割边缘在数字领域中在胡萝卜附近移动时，胡萝卜描绘为切成片。当刀具的侧面被带到胡萝卜片附近时，片可以描绘为从切割板的边缘移动并且移动到锅中。胡萝卜片的该移动可以描绘为也直接地由数字角色的手引起（例如，由动作者进行运动以便将胡萝卜片扫到锅中引起）。然而，为了达到更高的真实度，理解到，仅刀具（而非数字角色的手）能够引起胡萝卜切成片。
81.所触发（一个或多个）的运动也能够以类似方式达到。这样的运动包括例如典型的不熟练的人不能容易地实行的武术移动。这些运动可以通过控制器上的按钮按压来触发，该按钮按压从现场运动混合成一个或多个预先录制的运动，或这些运动可以通过动作者实行如下的手势（例如，备选手势）来触发：在被系统识别时，发动所触发的运动。例如，动作者能够踢动他/她的腿部，并且，系统可以将踢动识别为针对特殊的功夫跳跃-踢动序列的触发。根据另外的示例，所触发的运动并非完全地驱动数字角色的表演。例如，数字角色的身体的仅一个或多个部分可以通过所触发的运动来驱动。通过示例的方式，在由数字角色的躯干、手臂和/或腿部实行所触发的运动时，数字角色的面部仍然可以由动作者（例如，经由运动捕捉）控制。
82.返回到客户的存在的检测，接收来自所检测到的客户的请求。接收该请求可能涉及使用自然语言处理（以接收并且处理口头请求）。备选地（或另外），接收该请求可能涉及使用可由客户操作的界面。例如，客户可以操作位于触摸屏上的按钮或填写插入到机器中并且由机器读取的指令卡。
83.在客户请求具体物品之后，在物理领域中开始准备物品。例如，位于环境100附近的食物准备者（例如，厨师）开始准备所请求的物品。
84.同时地，在数字领域中，发生描绘物品的准备的动作。这样的动作可以基于客户的请求而定制。例如，基于客户的、汤面包括额外的胡萝卜的请求，所执行的序列可以包括胡萝卜飞过数字领域的厨房的描绘。
85.当在物理领域中进行的所请求的物品的准备正在进行时，可以持续地控制显示于显示装置104处的动画。例如，在所请求的物品的准备期间，可以从食物准备者接收例如指示在完成准备之前要求更多时间的反馈。这样的反馈可能引起显示特定序列的额外的循环。在此，理解到，可以与如先前参考各种实施例而描述的其中可以控制特定数字角色的表演的方式类似地同时地由ai游戏引擎科技以及人类操作者控制显示于显示装置104处的动画。
86.另外，在所请求的物品正接近完成或完成时，可以继续控制动画。例如，可以从食物准备者接收例如指示物品准备好输出的反馈。该反馈可以来源于感测到物体（例如，所请求的物品）已放置于所确定的位置处的压力传感器。因此，食物准备者可以将所请求的物品放置于压力传感器处或其附近，以提供指示物品准备好输出的反馈。作为另一示例，系统102可以包括可由食物准备者操作的界面。因此，食物准备者可以操作位于触摸屏上的按钮，以用信号通知物品准备好输出。
87.在物理领域中，物品可以放置于输出通道108处，以便供客户取回。
88.基于所描述的特征，在数字领域中发生的事件（例如，由如显示的动画所描绘的
（一个或多个）数字角色准备物品）的定时能够与在物理领域中发生的事件（例如，由食物准备者准备物品）的定时更好地对准。例如，两个领域中的定时能够更好地一致，使得当一碗汤面从数字领域中的视野消失时，该碗汤面在物理领域中在输出通道108处出现。根据一个或多个特定实施例，在输出通道108处呈现的物品被选择成在视觉外观上匹配在数字领域中描绘的物品。
89.图6说明根据至少一个实施例的控制在显示装置处描绘的数字角色的表演的方法600的流程图。
90.在框602处，根据特定实施例，数字角色的表演可以使用ai游戏引擎科技来控制。例如，参考图1，数字角色106的表演使用ai游戏引擎科技来控制。
91.在框604处，检测位于物理环境中的客户的存在。例如，继续参考图1，检测到位于物理环境100中的客户110的存在。
92.根据另外的实施例，客户的存在的检测基于至少从位于物理环境中的相机或麦克风接收的数据而实行。
93.根据另外的实施例，检测客户的存在可以包括自主地确定客户的外表的特性或客户的情绪状态。例如，从相机接收的数据可以在确定客户110正穿着蓝色衣服中使用。作为另一示例，从麦克风接收的数据可以用于检测并且用于确定客户110是快乐或悲伤的。
94.在框606处，响应于检测到客户的存在，促进由人类操作者、ai游戏引擎或它们的组合来进行的对数字角色的表演（或至少其方面）的控制。例如，参考图2a，响应于检测到客户110的存在，促进由人类操作者202控制数字角色106的表演。
95.根据另外的实施例，促进数字角色的表演的控制可以包括提供由人类操作者能够选择的至少一个选项。能够选择的选项用于根据所确定的特性或所确定的情绪状态而控制数字角色来对客户讲话。例如，如果人类操作者202将客户110的心情辨别为特别地快乐或愉快的，则人类操作者可以控制数字角色106来以这样的特别地快乐或愉快的方式对客户110讲话。
96.根据另外的实施例，促进数字角色的表演的控制可以包括接收与人类操作者对应的运动捕捉数据。通过示例的方式，接收运动捕捉数据可以包括：从光学运动捕捉系统（例如，利用图4的相机406的系统）接收数据；以及从惯性运动捕捉系统（例如，利用被人类操作者202穿戴的惯性主体捕捉套件的系统）接收数据。
97.根据另外的实施例，从光学运动捕捉系统接收的数据可以包括与位于人类操作者的腰部部位处的一个或多个光学标记对应的数据。例如，从光学运动捕捉系统接收的数据可以包括与位于人类操作者202的腰部部位处的标记506对应的数据。
98.在另外的实施例中，促进由人类操作者进行的对数字角色的表演的至少部分的控制，使得数字角色的表演同时地由人类操作者和ai游戏引擎科技两者来驱动。
99.在框608处，根据特定实施例，从客户接收请求。例如，参考图1，客户110可能请求提供饼干盒。
100.在框610处，可以通过引起客户位于其中的物理环境中的改变来为该请求服务。通过示例的方式，可以通过提供要被递送以便供客户取回的物理物体来为该请求服务。例如，参考图5，提供包含饼干的盒302，以被递送，以便供客户110取回。
101.在所选择的实施例中，本文中所描述的特征和方面可以在计算环境700内实现，如
图7中所示出的，计算环境700可以包括一个或多个计算机服务器701。服务器701可以操作性地耦合到一个或多个数据存储设备702（例如，数据库、索引、文件或其它数据结构）。服务器701可以连接到数据通信网络703，数据通信网络703包括局域网（lan）、广域网（wan）（例如，互联网）、电话网络、卫星或无线通信网络或这些网络的某种组合或类似网络。
102.一个或多个客户端装置704、705、706、707、708、709、710可以经由数据通信网络703来与服务器701和对应的数据存储设备702通信。这样的客户端装置704、705、706、707、708、709、710可以包括例如一个或多个膝上型计算机707、台式计算机704、智能电话以及移动电话705、平板计算机706、电视机708、（一个或多个）运动捕捉传感器709、（一个或多个）相机710或它们的组合。在操作中，这样的客户端装置704、705、706、707、708、709、710可以响应于从用户输入装置或其它输入设备接收的用户输入而将数据或指令发送到服务器701并且从服务器701接收数据或指令。作为响应，服务器701可以服务来自数据存储设备702的数据、变更数据存储设备702内的数据、向数据存储设备702添加数据等等或它们的组合。
103.在所选择的实施例中，服务器701可以经由数据通信网络703来将一个或多个媒体文件传送到客户端装置704、705、706、707、708、709、710中的一个或多个，媒体文件包括音频和/或视频内容、编码的数据、生成的数据和/或来自数据存储设备702的元数据。装置可以使用显示屏、投影仪或其它显示输出装置来输出来自媒体文件的音频和/或视频内容。在某些实施例中，根据本文中所描述的特征和方面而配置的系统700可以配置成在云计算环境内操作或支持云计算环境。例如，数据存储设备702和服务器701中的一部分或全部可以位于云服务器中。
104.参考图8，提供示例性计算机800的说明。系统700的装置704、705、706、707、708中的一个或多个可以配置为这样的计算机800或包括这样的计算机800。
105.在所选择的实施例中，计算机800可以包括总线803（或多个总线）或其它通信机构、处理器801、主存储器804、只读存储器（rom）805、一个或多个额外的存储装置806和/或通信接口802等等或其子组合。本文中所描述的实施例可以在一个或多个专用集成电路（asic）、数字信号处理器（dsp）、数字信号处理装置（dspd）、可编程逻辑装置（pld）、现场可编程门阵列（fpga）、处理器、控制器、微控制器、微处理器、设计成实行本文中所描述的功能的其它电子单元或其选择性组合内实现。在所有实施例中，本文中所描述的各种部件可以实现为单个部件或备选地可以在各种单独的部件中实现。
106.总线803或其它通信机构（包括多个这样的总线或机构）可以支持计算机800内的信息的传递。处理器801可以连接到总线803并且处理信息。在所选择的实施例中，处理器801可以是配置成通过执行定义特定任务的机器可读软件代码来根据本文中所描述的特征和方面而实行特定任务的专门或专用的微处理器。主存储器804（例如，随机存取存储器（或ram（或其它动态存储装置）））可以连接到总线803并且存储将由处理器801执行的信息和指令。主存储器804还可以在这样的指令的执行期间存储临时变量或其它中间信息。
107.rom 805或某其它静态存储装置可以连接到总线803并且为处理器801存储静态信息和指令。额外的存储装置806（例如，磁盘、光盘、存储器卡等等）可以连接到总线803。主存储器804、rom 805以及额外的存储装置806可以包括保存信息、指令或其某种组合（例如，在由处理器801执行时引起计算机800实行如本文中所描述的方法的一个或多个操作的指令）的非暂时性计算机可读介质。通信接口802还可以连接到总线803。通信接口802可以提供或
支持计算机800与一个或多个外部装置（例如，包含在计算环境内的其它装置）之间的双向数据通信。
108.在所选择的实施例中，计算机800可以连接（例如，经由总线803）到显示器807。显示器807可以使用任何合适的机构来将信息传递到计算机800的用户。例如，显示器807可以包括液晶显示器（lcd）、发光二极管（led）显示器、投影仪或其它显示装置或利用其来在视觉显示器中向计算机800的用户呈现信息。一个或多个输入装置808（例如，字母数字键盘、鼠标、麦克风）可以连接到总线803，以将信息和命令传递到计算机800。在所选择的实施例中，一个输入装置808可以提供或支持对光标的定位的控制，以虑及由计算机800提供并且由显示器807显示的各种对象、文件、程序等等的选择和执行。
109.计算机800可以用于对一个或多个视频文件进行传送、接收、解码、显示等等。在所选择的实施例中，这样的传送、接收、解码以及显示可以响应于处理器801执行主存储器804中所包含的一个或多个指令的一个或多个序列。这样的指令可以从另一非暂时性计算机可读介质（例如，存储装置）读取到主存储器804中。
110.主存储器804中所包含的指令的序列的执行可以引起处理器801实行本文中所描述的规程或步骤中的一个或多个。在所选择的实施例中，还可以采用多重处理布置中的一个或多个处理器来执行主存储器804中所包含的指令的序列。备选地或除此之外，固件可以代替软件指令或与软件指令结合而使用，以实现根据本文中所描述的特征和方面的规程或步骤。因而，根据本文中所描述的特征和方面的实施例可以不限于硬件电路系统和软件的任何具体组合。
111.非暂时性计算机可读介质可以指参与保存供处理器801执行的指令或存储供计算机处理的数据的任何介质，并且包括所有计算机可读介质，其中，唯一的例外是暂时性传播信号。这样的非暂时性计算机可读介质可以包括但不限于非易失性介质、易失性介质以及临时性存储介质（例如，高速缓存存储器）。非易失性介质可以包括光盘或磁盘，诸如，额外的存储装置。易失性介质可以包括动态存储器，诸如，主存储器。非暂时性计算机可读介质的常见形式可以包括例如硬盘、软盘、磁带或任何其它磁性介质、cd-rom、dvd、蓝光或其它光学介质、ram、prom、eprom、flash-eprom、任何其它存储器卡、芯片或盒式磁带或计算机能够从其读取的任何其它存储器介质。
112.在所选择的实施例中，通信接口802可以向网络链路提供或支持外部双向数据通信或经由网络链路来提供或支持外部双向数据通信。例如，通信接口802可以是提供数据通信网络连接的无线网络接口控制器或蜂窝无线电设备。备选地，通信接口802可以包括提供到兼容的lan的数据通信连接的lan卡。在任何这样的实施例中，通信接口802可以发送和接收传达信息的电信号、电磁信号或光信号。
113.网络链路可以通过一个或多个网络向其它数据装置（例如，如计算环境700中所示出的客户端装置）提供数据通信。例如，网络链路可以提供通过主机计算机的本地网络或到由互联网服务提供商（isp）操作的数据设备的连接。isp进而可以通过互联网提供数据通信服务。因此，计算机800可以通过一个或多个网络、网络链路以及通信接口802发送和接收包括程序代码的命令、数据或它们的组合。因而，计算机800可以与远程服务器（例如，服务器701）通过接口接合或以其它方式通信或其某种组合。
114.本文中所描述的各种装置、模块、终端等等可以如上文中所讨论那样的在计算机
上通过包括从计算机可读介质读取的机器指令的软件的执行来实现。在某些实施例中，若干硬件方面可以使用单个计算机来实现；在其它实施例中，多个计算机、输入/输出系统以及硬件可以用于实现该系统。
115.对于软件实现，本文中所描述的某些实施例可以利用单独的软件模块（诸如，规程和功能）来实现，软件模块中的每个实行本文中所描述的功能和操作中的一个或多个。软件代码能够利用以任何合适的编程语言编写并且可以存储于存储器中并且由控制器或处理器执行的软件应用来实现。
116.前述的实施例和特征仅仅是示例性的，并且将不被解释为限制本发明。目前的教导能够容易地应用于其它类型的设备和过程。这样的实施例的描述旨在为说明性的，而非限制权利要求的范围。许多备选方案、修改以及变型将对本领域技术人员明显。