用于确定手持对象的投影目标位置的系统和方法与流程

用于确定手持对象的投影目标位置的系统和方法
1.对相关申请的交叉引用本技术要求提交于2019年9月25的、标题为“用于确定手持对象的投影目标位置的系统和方法”的、序号为no. 62/905901的美国临时申请的利益，该临时申请特此出于所有目的以其整体通过引用而被并入。


背景技术：

2.本公开一般涉及用于瞄准的手持对象，并且更特别地涉及确定手持对象的投影目标位置。
3.本章节旨在向读者介绍可能与本公开的各种方面有关的各种技术方面，这些技术方面在下文中描述和/或要求保护。本讨论被认为帮助给读者提供背景信息以促进更好地理解本公开的各种方面。因此，理解到，这些陈述将从这个角度来阅读，而非作为对现有技术的承认来阅读。
4.手持对象可以用于瞄准于目标处或选择目标。例如，在主题公园的设定中，顾客可以使用手持对象来瞄准于景点的动画形象处，并且，响应于检测到此，系统可能引起动画形象输出用户交互体验（例如，摇尾巴）。然而，现在认识到，与用户的身体有关的某些物理特性可能造成在准确地确定用户何时正瞄准于目标处的方面的困难。
附图说明
5.当参考附图而阅读以下的详述时，本公开的这些及其它特征、方面以及优点将变得更好理解，在附图中，贯穿附图，相同的字符表示相同的部分，其中：图1是根据本公开的实施例的用户将手持对象瞄准于目标处的图；图2是根据本公开的实施例的主题公园景点系统的框图；图3是根据本公开的实施例的用户将手持对象瞄准于校准位置处的图；图4是根据本公开的实施例的将一个或多个平移因子应用于图3的手持对象的参考元件的后续检测到的位置的示例的图；图5是根据本公开的实施例的将缩放因子应用于图3的手持对象的参考元件的后续检测到的位置的示例的图；图6是根据本公开的实施例的用户将手持对象瞄准于系统的不同目标处的图；图7是根据本公开的实施例的不同尺寸的多个参考元件区和均匀尺寸的多个投影目标区的图；图8是根据本公开的实施例的均匀尺寸的多个参考元件区和不同尺寸的多个投影目标区的图；图9是根据本公开的实施例的用于确定图3的手持对象的投影目标位置的过程的流程图；以及图10是根据本公开的实施例的用于补偿由在用户的手臂移动的弧形性质与二维平面之间的在形状上的差异引起的失真的过程的流程图。
具体实施方式
6.将在下文中描述一个或多个具体实施例。为了提供对这些实施例的简明描述，未在说明书中描述实际实现方式的所有特征。应当意识到，在对任何这样的实际实现方式的开发中，如同在任何工程或设计项目中一样，必须作出许多特定于实现方式的决策以达到开发者的可能因实现方式而异的具体目标，诸如，对与系统相关的约束条件和与商业相关的约束条件的依从性。此外，应当意识到，这样的开发努力可能复杂并且耗时，但对于得益于本公开的普通技术人员而言，这样的开发努力将不过是设计、制作以及制造的常规任务。
7.当介绍本公开的各种实施例的元素时，冠词“一”、“一个”以及“该”旨在意味着存在元素中的一个或多个。用语“包含”、“包括”以及“具有”旨在为包括性的，并且意味着可能存在除了所列出的元素之外的附加元素。另外，应当理解，本公开的对“一个实施例
”ꢀ
或“一实施例”的引用不旨在被解释为排除还将所叙述的特征并入的附加实施例的存在。
8.本公开一般涉及用于瞄准的手持对象，并且更特别地，涉及确定手持对象的投影目标位置。特别地，参考元件可以提供关于手持对象正瞄准于何处的指示。例如，在主题公园的设定中，用户可以使用手持对象来瞄准于景点的动画对象（例如，机器人，或在其他情况下的动画形象）处，并且，响应于检测到参考元件的位置，动画对象可以输出用户交互体验（例如，摇尾巴）。作为另一个示例，用户可以瞄准于海报上的单词处，并且，响应于检测到参考元件的位置，附近的扬声器可以输出说该单词的语音。作为又一个示例，用户可以向在电子显示器上的人的图像瞄准，并且，响应于检测到参考元件的位置，显示器可以播放以图像移动示出人的视频。
9.目前公开的系统和方法包括使用相机来确定参考元件在与相机的方向垂直的二维平面上的位置。相机可以检测手持对象的参考元件，参考元件可以由可更容易地被相机检测到的材料（例如，回射材料）制成。参考元件的位置可以用于确定用户曾正将手持对象瞄准于其处的目标位置。然而，在一些系统中，用户关于他们正将手持对象瞄准于何处的感知可能不匹配基于相机的视图而确定的其中用户正瞄准于其处的投影位置。这可能起因于各种各样的因素，包括一只眼睛对另一只眼睛的主导（例如，右眼主导或左眼主导）、头部倾斜、体重转移、朝向一侧或另一侧倾侧等等。这些因素的任何组合可能引起用户在他们的手正将手持对象瞄准于相同位置中时对他们正计划向何处转移的感知。应当注意到，相机是可以根据目前的实施例而使用的各种光检测器的示例。因此，对相机的引用表示可以通过本公开的实施例来使用的其他光检测器。
10.目前公开的系统和方法包括提供在二维平面上的校准点，用户可以将手持对象瞄准于所述校准点处。参考元件相对于二维平面的位置可以被确定为初始位置，并且，一个或多个平移因子可以基于初始位置和校准点的差异而确定。即，校准点可以与其中用户感知到他们正将手持对象瞄准于其处的位置相关，而参考元件的初始位置可以与从相机的视点来看的、参考元件在二维平面上的位置相关。两者之间的差异可以用于使从相机的视点来看的在二维平面上的后续检测到的参考元件位置平移到投影目标位置（例如，对应于其中用户感知到他们正瞄准于其处或打算瞄准于其处的位置）。即，一个或多个平移因子可以补偿用户关于他们正将手持对象瞄准于何处的感知与相机对参考元件在二维平面上位于何处的确定之间的差异。
11.此外，用户使用他们的手臂来使手持对象移动并且使手持对象进行瞄准，手臂可
以充当交互模型中的球体半径或球截形（spherical segment），其中，他们的肩膀被视为球体中心。当用户使手持对象移动或向不同目标瞄准时，尽管瞄准于相同目标处，但手持对象的参考元件的相应的位置可能在用户之间不同。这可能起因于用户的不同手臂长度。
12.因此，目前公开的系统和方法基于参考元件的初始位置而确定参考元件的高度（例如，距地面），并且基于参考元件的高度而估计用户高度。可以从用户高度估计用户手臂长度，用户手臂长度可以用于确定一个或多个缩放因子。一个或多个缩放因子可以对从相机的视点来看的在二维平面上的后续检测到的参考元件位置进行缩放或乘法运算，以更准确地确定投影目标位置（例如，对应于其中用户感知到他们正瞄准于其处或打算瞄准于其处的位置）。以此方式，一个或多个缩放因子可以补偿用户手臂长度之间的差异。
13.在由相机检测到后续参考元件位置时，一个或多个平移因子和一个或多个缩放因子可以应用于后续参考元件位置，以确定相对于二维平面的投影目标位置。目前的实施例可以包括处理器，处理器操作以分析由相机捕获并且传递的数据以提供相关的数据，诸如平移因子、缩放因子、相对于二维平面的投影目标位置等等。
14.另外，由于用户的手臂充当球体半径或球截形，其中，他们的肩膀作为中心，因而用户可以使手持对象以弧形或圆形性质移动。然而，确定手持对象的参考元件在平坦二维平面上的位置的相机由于可由相机检测的在手持对象在空间中的弧形移动与平坦二维平面之间的在形状上的差异而可能使参考元件的所确定的位置失真。
15.因此，目前公开的系统和方法可以确定将应用于投影目标位置的补偿该失真的一个或多个偏移。该一个或多个偏移可以使投影目标位置转移，以增大或延长投影目标位置与初始位置之间的距离，以便补偿在用户的手臂移动的弧形性质与平坦二维平面之间的在形状上的差异。例如，该一个或多个偏移可以使用将测试数据拟合到一个或多个多项式方程（例如，三阶多项式方程）的多项式回归（polynomial regression）来确定。
16.在一些实施例中，可以确定多个参考元件区（例如，其中，参考元件基于用户的手臂而沿着弧定位）对应于多个投影目标区（例如，投影于二维平面上）。每个投影目标区可以对应于可以准确地补偿可应用于该投影目标区的失真的相应的多项式方程组。照此，相机可以在参考元件区中检测参考元件，可以确定相应的投影目标区对应于参考元件区，并且，与相应的投影目标区对应的相应的多项式方程组可以用于确定将应用于参考元件的位置以补偿该失真的一个或多个偏移。在这样的实施例中，多个参考元件区可以是不同尺寸（例如，参考元件区离二维平面越远，参考元件区就越是在尺寸上减小），而多个投影目标区是相同尺寸，或多个参考元件区可以是相同尺寸，而多个投影目标区是不同尺寸（例如，投影目标区离参考元件越远，投影目标区就越是在尺寸上增大）。
17.通过介绍的方式，图1是根据本公开的实施例的、用户10将手持对象12瞄准于目标14处的图。目标14可以是物理对象、图画、照片、图形等等。在一些情况下，目标14可以是由显示器输出的图像。目标14可以印刷、蚀刻、书写、投影、附接或以其他方式显示于结构15上。用户的感知由第一虚线16指示。即，用户10感知到，他们正将手持对象12瞄准于目标14处，并且具体地瞄准于目标位置17处。然而，由于某些人为因素（诸如，一只眼睛对另一只眼睛的主导、头部倾斜、体重转移、朝向一侧或另一侧倾侧等等）的原因，不管用户的感知或意图如何，用户10实际上都如虚线19所指示的那样将手持对象12瞄准于实际目标位置18处。
18.手持对象12可以表示或包括用户10可以用来向目标14瞄准或指点的任何合适的
对象，诸如棍、铅笔、枪或武器的玩具或模型、魔杖等等。手持对象12可以包括参考元件20，参考元件20可以促进确定用户10正瞄准于何处。特别地，相机22可以检测参考元件20的位置，并且，参考元件20可以由使相机22能够更容易地检测参考元件20的材料或装置制成。例如，参考元件20可以由回射材料（例如，回射玻璃珠、微棱镜或密封到织物或塑料衬底上的封装透镜）、金属带等等制成。在另一个示例中，参考元件20可以包括使相机22能够标识参考元件20的标识符（例如，唯一图形设计、条形码、快速响应（qr）码等等）。如所说明的，参考元件20可以位于手持对象12的与端部26相反的端部24处，在端部26处，用户的手28正握持手持对象12。这可以促进确定用户正将手持对象12沿其瞄准的方向，然而，参考元件20可以设置于手持对象12或甚至用户10的任何部分上。
19.相机22可以检测参考元件20相对于二维平面32的位置30。位置30可以用于通过应用一个或多个平移因子来确定用户10感知到他们正瞄准或打算瞄准于其处的目标位置17。如所说明的，二维平面32可以与结构15共享相同平面，然而，在一些实施例中，二维平面32和结构15可以不共享相同平面。例如，二维平面32和结构15可以彼此平行。此外，为了使相机22能够检测参考元件20的位置30，结构15可以被制得半透明、透明或包括使相机22能够检测参考元件20的位置30的任何其他合适的性质。
20.特别地，一个或多个平移因子可以应用于参考元件20的位置30，以补偿用户关于他们正将手持对象12瞄准于何处的感知与相机对参考元件20在二维平面32上位于何处的确定之间的差异。一个或多个平移因子可以在其中用户10将他们的手持对象12瞄准于校准点处的校准过程期间确定，并且，相机22检测参考元件20在二维平面32上的该初始位置。一个或多个平移因子可以表示初始位置被转移以导致校准点（例如，相对于二维平面32）的一个或多个距离。另外，一个或多个平移因子可以减轻或补偿一只眼睛对另一只眼睛的主导（例如，右眼主导或左眼主导）、头部倾斜、体重转移、朝向一侧或另一侧倾侧等等。
21.此外，一个或多个缩放因子可以应用于参考元件20的位置30以说明或补偿用户手臂长度之间的差异。即，用户使用他们的手臂来使手持对象12移动并且使手持对象12进行瞄准，手臂可以充当球体半径或球截形，其中，他们的肩膀作为球体中心。当用户使手持对象12移动或向不同目标瞄准时，由于用户的手臂长度不同，因而尽管瞄准于相同目标处，但手持对象12的参考元件20的相应的位置在用户之间可能不同。
22.因此，参考元件20的高度（例如，距地面）可以基于参考元件20的初始位置而确定，并且，用户高度可以基于参考元件20的高度而估计。可以从用户高度估计用户手臂长度，用户手臂长度可以用于确定一个或多个缩放因子。一个或多个缩放因子可以对由相机22在二维平面32上检测到的参考元件20的位置30进行缩放或乘法运算。
23.另外，一个或多个偏移可以应用于参考元件20的位置30，以生成手持对象12的投影目标位置，以补偿由用户的手臂的弧形或圆形移动造成的失真。即，该失真可能由在弧形移动与相机对在平坦二维平面32上的参考元件20的位置30的检测之间的在形状上的差异引起。一个或多个偏移可以使投影目标位置转移，以增大或延长投影目标位置与初始位置之间的距离，以便补偿在用户的手臂移动的弧形性质与平坦二维平面之间的在形状上的差异。例如，一个或多个偏移可以使用将测试数据拟合到多项式方程（诸如，三阶多项式方程）的多项式回归来确定。
24.以此方式，可以生成手持对象12的投影目标位置，该投影目标位置可以高度地匹
配用户10感知到他们正将手持对象12瞄准于其处的目标位置17。有利地，不同于某些其他系统，仅使用一个校准点来确定平移因子、缩放因子以及偏移，并且准确地确定手持对象12的投影目标位置。然而，在其他应用（例如，在演出中使用的瞄准装置）中，缩短校准时间可能不那么重要，因为，校准可以在实际表演之前（例如，在准备阶段期间）发生，并且不会被观众或顾客观察到。然而，在目前情况下（例如，在主题公园的景点处），通过隐藏正实行校准或防止用户10注意到正实行校准来创建沉浸用户体验可能是重要的。照此，将校准过程减少至单个点（例如，将手持对象12瞄准于单个校准点处）可以用来加强或增强用户体验。
25.考虑到此，图2是根据本公开的实施例的主题公园景点系统40的框图。主题公园景点系统40可以使用户10能够将手持对象12瞄准于各种目标14处，并且基于确定用户10将手持对象12瞄准于目标14处而输出用户交互体验。例如，主题公园景点系统40可以包括具有受儿童喜爱的角色的设定、以电视或电影为主题的设定、射击场、目标的集合等等。
26.主题公园景点系统40可以包括如由用户10握持并且操纵的具有参考元件20的手持对象12。主题公园景点系统40还可以包括用户交互系统42，用户交互系统42包括检测参考元件在二维平面32上的位置的相机22。主题公园景点系统40还可以包括确定手持对象12的投影目标位置的投影位置确定系统44。特别地，投影目标位置可以表示用户10感知到他们正瞄准于其处或打算瞄准于其处的在二维平面32上的位置。实际上，投影目标位置越靠近目标位置17，投影目标位置就越准确。
27.投影位置确定系统44可以包括具有一个或多个处理器（被说明为单个处理器48）和一个或多个存储器或存储装置（被说明为单个存储器装置50）的控制器46。处理器48可以执行存储于存储器装置50中的软件程序和/或指令，所述软件程序和/或指令促进确定手持对象12的投影目标位置。此外，处理器48可以包括多个微处理器、一个或多个“通用”微处理器、一个或多个专用微处理器和/或一个或多个专用集成电路（asic）。例如，处理器48可以包括一个或多个精简指令集（risc）处理器。存储器装置50可以存储信息，诸如控制软件、查找表、配置数据等等。存储器装置50可以包括有形非暂时性机器可读介质，诸如，易失性存储器（例如，随机存取存储器（ram））、非易失性存储器（例如，只读存储器（rom））、闪速存储器、一个或多个硬盘驱动器和/或任何其他合适的光学存储介质、磁存储介质或固态存储介质。存储器装置50可以存储各种各样的信息并且可以用于各种目的，诸如促进手持对象12的投影目标位置的指令。
28.投影位置确定系统44还可以包括确定参考元件20在二维平面32上的位置的参考元件位置检测逻辑52。特别地，投影位置确定系统44可以通过任何合适的手段（诸如，经由有线通信或通过使用无线通信协议或技术（例如，无线电、蓝牙、wifi、红外、以太网、thread、zigbee、z-wave、knx、移动和/或微波）的通信网络）来通信地耦合到用户交互系统42。参考元件位置检测逻辑52因而可以接收在二维平面32上示出参考元件20的来自相机22的所捕获的图像（例如，影像）。参考元件位置检测逻辑52可以确定如由例如二维坐标（例如，x和y）系表达的、参考元件20在二维平面32上的位置。
29.投影位置确定系统44还可以包括变换逻辑54，变换逻辑54使如由参考元件位置检测逻辑52确定的参考元件20的位置变换成相对于二维平面32的投影目标位置。变换逻辑54包括平移逻辑56，平移逻辑56确定一个或多个平移因子，所述一个或多个平移因子补偿用户关于他们正将手持对象12瞄准于何处的感知与相机对参考元件20在二维平面32上位于
何处的确定之间的差异。
30.特别地，平移逻辑56可以通过实行单点校准过程来确定一个或多个平移因子。该过程包括：接收在二维平面32上的校准位置；接收参考元件20在二维平面32上的位置（例如，对应于用户10将手持对象12瞄准于校准位置处时）；以及基于在校准位置与参考元件20的位置之间的在位置上的差异而确定一个或多个平移因子。
31.图3是根据本公开的实施例的、用户10将手持对象12瞄准于校准位置80处的图。校准位置80可以对应于物理对象、图画、照片、图形等等。在一些情况下，校准位置80可以对应于由显示器输出的图像。可以通过以任何合适的格式提供（例如，书写、蚀刻、印刷、附接或显示于结构15上）的指令来提示用户10。可以提供校准位置80，以使用户能够类似地对他们的手臂进行定位，以能够实现检测用户高度的受控方式，同时还使图2的投影位置确定系统44能够确定用户关于他们正将手持对象12瞄准于何处的感知并且用户10实际上将手持对象12瞄准于何处之间的差异。例如，校准位置80可以定位成使用户10能够使他们的手臂82延伸得尽可能接近平行于地面84、相对于与地面平行的平面成某个角度等等。在一些实施例中，校准位置80可以针对用户高度而定制。即，在一些实施例中，校准位置80可以针对坐在交通工具（诸如，轮椅、个人电动交通工具、婴儿车等等）中的用户而在结构15上定位得更低。作为另一个示例，校准位置80可以针对成年人而在结构15上定位得比针对儿童更高，校准位置80可以针对男性用户而在结构15上定位得比针对女性用户更高等等。
32.照此，校准位置80可以通过投影位置确定系统44来预确定并且获知。在提示时，用户10可以使他们的手臂82延伸并且将手持对象12瞄准于校准位置80处。然而，由于由人体引起的失真效应（诸如，一只眼睛对另一只眼睛的主导、头部倾斜、体重转移、朝向一侧或另一侧倾侧，用户对握持手持对象12的手的选择（例如，右手相比于左手、物理限制（例如，对运动范围造成影响的物理限制）、用户的移动是否可能由于妨碍（例如，背包或抱着小孩）而变更等等）的原因，尽管用户感知到或打算如由虚线85所指示的那样将手持对象12瞄准于校准位置80处，但用户10实际上可以如由虚线88所指示的那样将手持对象12瞄准于另一个位置（诸如，实际校准位置86）处。
33.相机22检测参考元件20在二维平面32上的位置90，并且将位置90的指示发送到投影位置确定系统44。平移逻辑56（其可以是人类交互模型的一部分）然后可以确定在参考元件20的位置90与预确定的校准位置80之间的在位置上的差异，该差异可以以二维（例如，x和y）坐标表达。平移逻辑56可以使用该差异来生成一个或多个平移因子，该平移因子可以应用于参考元件20的后续检测到的位置，以使参考元件20的后续检测到的位置转移并且确定与用户10旨在将手持对象12瞄准于其处的位置对应的、手持对象12的后续投影目标位置。平移因子可以以变换矩阵的形式提供，该变换矩阵可以应用于参考元件20的后续检测到的位置，以生成参考元件20的投影目标位置，如下文所示出的那样：方程1其中：x=参考元件20在二维平面32上的位置90的水平分量；y=参考元件20在二维平面32上的位置90的竖直分量；
x=参考元件20与在二维平面32上的校准位置80之间的水平差异；y=参考元件20与在二维平面32上的校准位置80之间的竖直差异；x’=手持对象12在二维平面32上的投影目标位置的水平分量；以及y’=手持对象12在二维平面32上的投影目标位置的竖直分量。
34.例如，图4是根据本公开的实施例的将一个或多个平移因子应用于参考元件20的后续检测到的位置120的示例的图。如所说明的，在校准期间，参考元件20的位置90在到校准位置80右侧2个单位（例如，厘米）并且从校准位置80向上1个单位（例如，厘米）。照此，平移因子可以包括沿水平方向 2并且沿竖直方向 1。因此，在变换矩阵中，x可以设定成 2，并且，y可以设定成 1。平移逻辑56可以将变换矩阵应用于参考元件20的后续检测到的位置120（例如，[4, 2]），以使后续检测到的位置120以2个单位向右并且以1个单位向上转移，以在到校准位置80右侧6个单位并且向上3个单位（例如，[6, 3]）处生成投影目标位置122。因而，平移逻辑56可以补偿用户关于他们正将手持对象12瞄准于何处的感知与相机对参考元件20在二维平面32上位于何处的确定之间的差异。
[0035]
转回到图2，变换逻辑54还可以包括缩放逻辑58，缩放逻辑58确定补偿用户手臂长度之间的差异的一个或多个缩放因子。即，如图3中所示出的，用户10使用他们的手臂82来使手持对象12移动并且使手持对象12进行瞄准，手臂82可以充当球体半径或球截形92，其中，他们的肩膀作为球体的中心94。当用户10使手持对象12移动以向不同目标瞄准时，由于用户10的手臂长度不同，因而尽管瞄准于相同目标处，但手持对象12的参考元件20的相应的位置在用户10之间可能不同。
[0036]
特别地，缩放逻辑58可以基于在校准过程期间由相机22检测到的参考元件20的位置90而确定一个或多个缩放因子。相机22距地面84的高度96可以通过缩放逻辑58来预确定并且获知。因而，缩放逻辑58可以基于参考元件20的位置90和预确定的高度96而确定参考元件20距地面84的高度98。基于参考元件20的高度98，缩放逻辑58的用户高度估计逻辑60可以确定用户的高度100。特别地，可以收集在用户10将手持对象12瞄准于校准位置80处时的参考元件20的位置90以及那些用户10的高度的测试或样本数据。参考元件20的位置90的高度102可以与用户10的高度相关，并且，缩放逻辑58可以基于该预确定的相关性和参考元件20的高度98而估计用户的高度100。用于标识相关性的模型可以用在高度与伸出范围之间的标准相关性（例如，针对人群中的各种身体类型的在高度与手臂长度之间的比率）的表填充。
[0037]
缩放逻辑58的用户手臂长度估计逻辑62然后可以基于用户高度100而估计用户的手臂长度104。可以基于手臂长度104与用户高度100之间的预确定的相关性（例如，基于经验数据的算法或表）而进行估计。该预确定的相关性可以基于测试或样本数据、与人体比例相关联的科学数据和/或任何其他合适的来源而确定。
[0038]
缩放逻辑58可以基于用户的手臂长度104而确定一个或多个缩放因子。例如，在远离初始位置（例如，校准位置80）指向时，与具有更长的手臂长度的用户10相比，在具有更短的手臂长度104的用户10的情况下，相机22可以检测到参考元件20的位置更靠近初始位置。照此，与具有更短的手臂长度104的用户10相比，缩放逻辑58可以针对具有更长的手臂长度104的用户10而确定更大的缩放因子。缩放逻辑58可以将一个或多个缩放因子应用于参考元件20的后续检测到的位置，以对该位置进行缩放（例如，缩小或扩大），以生成参考元件20
的投影目标位置。缩放因子可以包括水平分量和竖直分量，以变换矩阵的形式提供，并且插入到包括来自上文的方程1的平移因子的变换矩阵中，如下文所示出的那样：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程2其中：k1=基于用户手臂长度104而生成的水平缩放因子；以及k2=基于用户手臂长度104而生成的竖直缩放因子。
[0039]
缩放因子k1和k2的值可以基于从将手持对象12瞄准于各种目标处的用户10收集的相关测试或样本数据和那些用户10的手臂长度104而确定。例如，缩放逻辑58可以基于从相机22接收的图像数据（例如，影像的第一图像或校准图像）而确定参考元件20距地面84的高度98为1.25米。用户高度估计逻辑60可以基于参考元件20的高度98而确定用户的高度100为大约1.8米。用户手臂长度估计逻辑62可以基于用户的高度100而确定用户的手臂长度104为0.6米。缩放逻辑58然后可以基于用户的手臂长度104而确定水平缩放因子k1为1.5并且竖直缩放因子k2为1.75。因此，缩放逻辑58可以在方程2中生成变换矩阵，其中，k1=1.5，并且，k2=1.75，并且，投影位置确定系统44可以将变换矩阵应用于参考元件20的后续检测到的位置，以生成用户10旨在将手持对象12瞄准于其处的投影目标位置，该投影目标位置补偿在用户手臂长度104的方面的差异。
[0040]
例如，图5是根据本公开的实施例的将缩放因子应用于参考元件20的后续检测到的位置120的示例的图。如所说明的，参考元件20的后续检测到的位置120在到校准位置80右侧4个单位（例如，厘米）并且从校准位置80向上4个单位（例如，厘米）（例如，[4, 4]）。将具有水平缩放因子k1=1.5和竖直缩放因子k2=1.75的方程2的变换矩阵应用于后续检测到的位置120导致将后续检测到的位置120以1.5倍水平地缩放，因而在到校准位置80右侧6个单位生成投影目标位置130，并且以1.7倍竖直地缩放，因而向上7个单位（例如，厘米）生成投影目标位置130（例如，[6, 7]）。因而，缩放逻辑58可以补偿在用户手臂长度104的方面的差异。
[0041]
转回到图2，投影位置确定系统44可以包括弧形失真补偿逻辑64，弧形失真补偿逻辑64补偿在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异。例如，图6是用户10将手持对象12瞄准于不同目标处的图。如所说明的，在用户的手臂82的第一位置140和用户的手臂82的第二位置142之间形成的角
θ
与在用户的手臂82的第三位置144和用户的手臂82的第四位置146之间相同。然而，在由相机22在二维平面32上察看并且捕获时，与用户的手臂82的第一位置140对应的第一参考元件位置148和与用户的手臂82的第二位置142对应的第二参考元件位置150之间的距离h0不同于（例如，大于）与用户的手臂82的第三位置144对应的第三参考元件位置152和与用户的手臂82的第四位置146对应的第四参考元件位置154之间的距离h1。
[0042]
照此，弧形失真补偿逻辑64可以确定将应用于投影目标位置的补偿该失真的一个或多个偏移。该一个或多个偏移可以使投影目标位置转移，以增大或延长投影目标位置与初始位置（例如，校准位置80）之间的距离，以补偿在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异。例如，该一个或多个偏移可以使用回归分析来确定，该回归分析将来自用户10将手持对象12瞄准于各种目标处（例如，其中，参考元件20沿着弧
92）的测试或样本数据拟合到方程。在一些实施例中，弧形失真补偿逻辑64可以将测试数据拟合到多项式方程（例如，三阶多项式方程），然而，可以使用任何合适阶或类型的方程。例如，第一三阶多项式方程（下文的方程3和方程4）可以用于确定将应用于投影目标位置的沿水平方向补偿该失真的水平偏移，并且，第二三阶多项式方程（下文的方程5和方程6）可以用于确定将应用于投影目标位置的沿竖直方向补偿失真的竖直偏移：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程3（其可以另外或备选地表示为：
ꢀꢀꢀ
方程4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程5（其可以另外或备选地表示为：
ꢀꢀꢀ
方程6，其中：x
偏移
=将应用于投影目标位置的水平偏移；y
偏移
=将应用于投影目标位置的竖直偏移；x=投影目标位置的水平分量；y=投影目标位置的竖直分量；以及ai、bi、ci、a、b、c、d、e、f、g、h、k以及l=使用回归分析来确定的常数，其中，每个常数可能因方程而异（例如，方程4中的常数a可能不同于方程6中的常数a）。
[0043]
投影目标位置的水平分量可以作为远离初始位置的水平距离（例如，对应于校准位置80和/或在用户10将手持对象12直接地瞄准于相机22处时）而测量，而投影目标位置的竖直分量可以作为远离初始位置的竖直距离而测量。如先前所提到的，针对多项式方程3-6中的任何，常数ai、bi、ci、a、b、c、d、e、f、g、h、k以及l可以通过使用多项式回归分析（并且可能在方程之间不同）来将测试或样本数据拟合到多项式方程来确定。照此，在用户10使手持对象12移动并且使手持对象12进行瞄准时，可以针对每个投影目标位置而确定一个或多个偏移。
[0044]
然而，在用户10使手持对象12移动并且使手持对象12进行瞄准时针对每个投影目标位置而应用方程3-6中的任何以确定水平偏移和竖直偏移可能是耗时的，并且使用过多的计算资源（例如，处理、存储器，存储装置或网络化资源）。照此，为了更高效地补偿在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异，在一些实施例中，弧形失真补偿逻辑64可以将参考元件20可以位于其处的弧92划分成多个参考元件区，其中的每个可以对应于相应的投影目标区（例如，投影于二维平面上）。每个投影目标区可以对应于可以准确地补偿可应用于该投影目标区的失真的相应的多项式方程组。照此，相机22可以在参考元件区中检测参考元件20，弧形失真补偿逻辑64可以确定与参考元件区对应的相应的投影目标区，并且，弧形失真补偿逻辑64可以将与相应的投影目标区对应的相应的多项式方程组应用于参考元件的位置，以确定将应用于参考元件的位置以补偿该失真的一个或多个偏移。在这样的实施例中，多个参考元件区可以是不同尺寸（例如，参考元件区离二维平面32越远，参考元件区就越是在尺寸上减小），而多个投影目标区是相同尺寸，或多个参考元件区可以是相同尺寸，而多个投影目标区是不同尺寸（例如，投影目标区离参考元件20越远，投影目标区就越是在尺寸上增大）。
[0045]
图7是根据本公开的实施例的不同尺寸的多个参考元件区170和均匀尺寸的多个投影目标区172的图。如所说明的，最靠近二维平面32的第一参考元件区174在尺寸上最大，紧接着最靠近二维平面32的第二参考元件区176在尺寸上紧接着最大（但小于第一参考元件区174），紧接着最靠近二维平面32的第三参考元件区178在尺寸上紧接着最大（但小于第二参考元件区176），并且，紧接着最靠近二维平面32的第四参考元件区180在尺寸上紧接着最大（但小于第三参考元件区178）。虽然在图7中说明了四个参考元件区170，但应当理解，设想任何合适的尺寸的任何合适的数量的参考元件区170，其中参考元件区170离二维平面32越远，参考元件区170就越是在尺寸上减小。此外，每个投影目标区172是与其他投影目标区172相同的尺寸，对应于相应的参考元件区170，并且对应于生成可以应用于参考元件20的位置的相应的偏移（例如，水平偏移和竖直偏移）的相应的多项式方程组。特别地，与相应的投影目标区172对应的每个多项式方程组可以针对常数ai、bi、ci、a、b、c、d、e、f、g、h、k以及l而具有不同值集，如在方程3-6中的任何中提供的那样（并且可能在方程之间不同）。参考元件区170离二维平面32越远，就越是减小参考元件区170的尺寸，同时维持投影目标区172的相同尺寸，可以使弧形失真补偿逻辑64能够以高效并且节省资源的方式补偿在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异。
[0046]
图8是根据本公开的实施例的均匀尺寸的多个参考元件区190和不同尺寸的多个投影目标区192的图。如所说明的，每个参考元件区190是相同尺寸。然而，最靠近参考元件20的第一投影目标区194在尺寸上最小，紧接着最靠近参考元件20的第二投影目标区196在尺寸上紧接着最小（但大于第一投影目标区194），紧接着最靠近参考元件20的第三投影目标区198在尺寸上紧接着最小（但大于第二投影目标区196），并且，紧接着最靠近参考元件20的第四投影目标区200在尺寸上紧接着最小（但大于第三投影目标区198）。虽然在图8中说明了四个投影目标区192，但应当理解，设想任何合适的尺寸的任何合适的数量的投影目标区192，其中，投影目标区192离参考元件20越远，投影目标区192就越是在尺寸上增大。每个投影目标区192对应于相应的参考元件区190，并且也对应于生成可以应用于参考元件20的位置的相应的偏移（例如，水平偏移和竖直偏移）的相应的多项式方程组。特别地，与相应的投影目标区192对应的每个多项式方程组可以针对常数ai、bi、ci、a、b、c、d、e、f、g、h、j、k以及l而具有不同值集，如在方程3-6中的任何中提供的那样（并且可能在方程之间不同）。投影目标区192离参考元件20越远，就越是增大投影目标区192的尺寸，同时维持参考元件区190的相同尺寸，可以使弧形失真补偿逻辑64能够以高效并且节省资源的方式补偿在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异。
[0047]
应当注意到，出于简单性的目的，图6-8说明仅沿竖直（例如，y）方向的由在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异引起的失真。然而，目前公开的系统和方法设想补偿沿任何合适的方向的失真：包括水平（例如，x）方向，如由方程3和方程4所表明的那样，其提供水平偏移以补偿沿水平方向的失真；和竖直（例如，y）方向，如由方程5和方程6所表明的那样，其提供竖直偏移以补偿沿竖直方向的失真。
[0048]
转回到图2，如果投影位置确定系统44确定投影目标位置对应于印刷、蚀刻、书写、附接或以其他方式显示于结构15上的目标14。然后用户交互系统42的输出装置66可以输出用户交互体验。输出装置66可以是能够输出期望的用户交互体验的任何合适的装置，诸如电子显示器、扬声器、虚拟现实装置、增强现实装置、致动器和/或动画装置（例如，机器人形
象）。目标14可以是输出装置66的一部分、固定到输出装置66、附接到输出装置66或包括输出装置66，或目标14可以与输出装置66分离。例如，在主题公园的设定中，目标14和输出装置66可以两者都是景点的动画对象，并且，响应于确定投影目标位置对应于动画对象，动画对象可以输出用户交互体验（例如，摇尾巴）。作为另一个示例，目标14可以是印刷于海报上的单词，并且，输出装置66可以是附近的扬声器，并且，响应于确定投影目标位置对应于印刷于海报上的单词，附近的扬声器可以输出说该单词的语音。作为又一个示例，目标14可以是电子显示器上的人的图像，并且，输出装置66可以是电子显示器，并且，响应于确定投影目标位置对应于人的图像，电子显示器可以播放示出图像的人实行签名动作的视频。
[0049]
考虑到此，图9是根据本公开的实施例的用于确定手持对象12的投影目标位置的过程210的流程图。过程210可以由可以确定手持对象12的投影目标位置的任何合适的装置（诸如，投影位置确定系统44的任何部件，包括控制器46、处理器48、参考元件位置检测逻辑52、变换逻辑54、平移逻辑56、缩放逻辑58、用户高度估计逻辑60和/或用户手臂长度逻辑62）实行。虽然使用按具体序列进行的步骤来描述过程210，但应当理解，本公开设想所描述的步骤可以按与所说明的序列不同的序列实行，并且，某些所描述的步骤可以被略过或并非全部一起实行。在一些实施例中，过程210可以通过使用处理器（诸如，处理器48）来执行存储于有形非暂时性计算机可读介质（诸如，存储器装置50）中的指令而实现。
[0050]
如所说明的，在过程框212中，处理器48接收校准手持对象12的指示。该指示可以呈由相机22捕获的图像（例如，影像的第一图像或校准图像）的形式，该图像包括手持对象12的参考元件20的存在。在一些实施例中，能够指示用户10已与具有参考元件20的手持对象12一起进入相机22的察看区域的运动传感器或其他合适的传感器可以提供该指示。
[0051]
在过程框214中，处理器48接收校准位置80。特别地，校准位置80可以对于处理器48为预确定并且已知的，因为校准位置80可以固定于结构15上或由结构15上的处理器48显示。
[0052]
在过程框216中，处理器48接收手持对象12的参考元件20的位置。例如，相机22可以提供参考元件20的图像（例如，由相机22捕获的影像的第二图像或后续图像）。处理器48然后可以指导参考元件位置检测逻辑52来确定参考元件20在二维平面32上的位置。
[0053]
在过程框218中，处理器48指导平移逻辑56基于参考元件20的位置和校准位置80而确定一个或多个平移因子。一个或多个平移因子可以补偿用户关于他们正将手持对象12瞄准于何处的感知与相机对参考元件20在二维平面32上位于何处的确定之间的差异。特别地，平移逻辑56可以通过实行单点校准过程来确定一个或多个平移因子。该过程包括：接收在二维平面32上的校准位置；接收参考元件20在二维平面32上的位置（例如，对应于用户10将手持对象12瞄准于校准位置处时）；以及基于在校准位置与参考元件20的位置之间的在位置上的差异而确定一个或多个平移因子。
[0054]
平移逻辑56可以使用该差异来生成一个或多个平移因子，该平移因子可以应用于参考元件20的后续检测到的位置，以使参考元件20的后续检测到的位置转移，并且确定与用户10打算将手持对象12瞄准于其处的位置对应的、手持对象12的后续投影目标位置。该平移因子可以以变换矩阵的形式提供，该变换矩阵可以应用于参考元件20的后续检测到的位置，以生成参考元件20的投影目标位置，如方程1中所示出的那样。
[0055]
在过程框220中，处理器48指导用户高度估计逻辑60基于参考元件20的位置而确
定用户10的高度100。在过程框222中，处理器48指导用户手臂长度估计逻辑62基于用户10的高度100而确定用户10的手臂长度104。
[0056]
在过程框224中，处理器48指导缩放逻辑58基于用户10的手臂长度104而确定一个或多个缩放因子。缩放逻辑58可以以如上文中所示出的方程2的变换矩阵来提供缩放因子。缩放因子可以通过在参考元件20的位置上相对于初始位置（例如，校准位置80）缩放（例如，乘法运算）来补偿在用户手臂长度104的方面的差异。
[0057]
在过程框226中，处理器48指导变换逻辑54基于参考元件20的位置、一个或多个平移因子以及一个或多个缩放因子而确定手持对象12的投影目标位置。特别地，变换逻辑54可以将包括一个或多个平移因子和一个或多个缩放因子的方程2的变换矩阵应用于参考元件20的位置以生成投影目标位置。即，投影目标位置可以对应于其中用户10感知到他们正瞄准于其处或打算瞄准于其处的位置。
[0058]
在决策框228中，处理器48确定投影目标位置是否与用户交互元件相关。用户交互元件可以是用作实行用户交互体验的触发的任何合适的目标。例如，用户交互元件可以包括用户10可以期望在利用手持对象12来瞄准时将引起用户交互体验被实行的任何感兴趣特征。
[0059]
如果处理器48确定投影目标位置与用户交互元件相关，则在过程框230中，处理器48指导用户交互系统42使用适当的输出装置66来实行相应的用户交互体验。例如，输出装置66可以是景点的动画对象，并且，用户交互系统42可以引起动画对象吠叫、喵喵叫、说话、移动、眨眼等等。作为另一个示例，输出装置66可以是扬声器，并且，用户交互系统42可以引起扬声器输出声音、语音、音乐等等。作为又一个示例，输出装置66可以是电子显示器，并且，用户交互系统42可以引起电子显示器显示图像、播放视频等等。
[0060]
如果处理器48确定投影目标位置不与用户交互元件相关，则在决策框232中，处理器48确定是否已接收参考元件20的下一个位置。若是如此，则处理器48重复进行过程框226，并且基于参考元件20的下一个位置以及已经从过程框218和过程框224确定的平移因子和缩放因子而确定手持对象12的投影目标位置。
[0061]
如果处理器48确定尚未接收到参考元件20的下一个位置，则处理器48重复进行过程框212以接收校准手持对象12的下一个指示（例如，从下一个用户10）。以此方式，过程210可以使用单点校准来确定手持对象12的投影目标位置（例如，不要求用户10将手持对象12瞄准于用于校准投影位置确定系统44的多于一个点处），该单点校准补偿两个差异：用户关于他们正将手持对象12瞄准于何处的感知与相机对参考元件20在二维平面32上位于何处的确定之间的差异以及在用户手臂长度104的方面的差异。
[0062]
此外，投影位置确定系统44还可以补偿由在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异引起的失真，如图6中所说明的那样。图10是根据本公开的实施例的用于补偿该失真的过程240的流程图。过程240可以由可以补偿该失真的任何合适的装置（诸如，投影位置确定系统44的任何部件，包括控制器46、处理器48和/或弧形失真补偿逻辑64）实行。虽然过程240使用按具体序列进行的步骤来描述，但应当理解，本公开设想所描述的步骤可以按与所说明的序列不同的序列实行，并且，某些所描述的步骤可以被略过或并非全部一起实行。在一些实施例中，过程240可以通过使用处理器（诸如，处理器48）来执行存储于有形非暂时性计算机可读介质（诸如，存储器装置50）中的指令而实现。
[0063]
如所说明的，在过程框242中，处理器48接收手持对象12的参考元件20的位置。在一些实施例中，处理器48可以接收手持对象12的投影目标位置。
[0064]
在过程框244中，处理器48基于参考元件20的位置和第一多项式方程而确定水平偏移。特别地，处理器48可以接收手持对象12的投影目标位置或使用图9的过程210来确定投影目标位置。处理器48然后可以指导弧形失真补偿逻辑64将多项式方程3或4应用于手持对象12的投影目标位置以确定水平偏移。
[0065]
在过程框246中，处理器48基于参考元件20的位置和第二多项式方程而确定竖直偏移。特别地，处理器48可以指导弧形失真补偿逻辑64将多项式方程5或6应用于手持对象12的投影目标位置以确定竖直偏移。
[0066]
在过程框248中，处理器48基于参考元件20的位置、水平偏移以及竖直偏移而确定手持对象12的投影目标位置。特别地，处理器48可以指导弧形失真补偿逻辑64将水平偏移应用（例如，添加）于投影目标位置的水平分量（例如，x坐标），并且将竖直偏移应用（例如，添加）于投影目标位置的竖直分量（例如，y坐标），以生成投影目标位置。
[0067]
在一些实施例中，为了更高效地补偿在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异，弧形失真补偿逻辑64可以将参考元件20可以位于其处的弧92划分成多个参考元件区，其中的每个可以对应于相应的投影目标区（例如，投影于二维平面上）。每个投影目标区可以对应于可以准确地补偿可应用于该投影目标区的失真的相应的多项式方程组。照此，相机22可以在参考元件区中检测参考元件20，弧形失真补偿逻辑64可以确定与参考元件区对应的相应的投影目标区，并且，弧形失真补偿逻辑64可以将与相应的投影目标区对应的相应的多项式方程组应用于参考元件的位置，以确定将应用于参考元件的位置以补偿该失真的一个或多个偏移。在这样的实施例中，多个参考元件区可以是不同尺寸（例如，参考元件区离二维平面32越远，参考元件区就越是在尺寸上减小），而多个投影目标区是相同尺寸，如图7中所示出的那样，或多个参考元件区可以是相同尺寸，而多个投影目标区是不同尺寸（例如，投影目标区离参考元件20越远，投影目标区就越是在尺寸上增大），如图8中所示出的那样。
[0068]
以此方式，过程240可以补偿用户的手臂移动的弧形性质92和平坦二维平面32。此外，为了补偿用户关于他们正将手持对象12瞄准于何处的感知与相机对参考元件20在二维平面32上位于何处的确定之间的差异、在用户手臂长度104的方面的差异以及在用户的手臂移动的弧形性质92与平坦二维平面32之间的在形状上的差异，图10的过程240可以在图9的过程210之前实行、在图9的过程210之后实行或作为图9的过程210的一部分实行。
[0069]
虽然本公开中所阐明的实施例可能易受各种修改和备选形式的影响，但具体实施例已在附图中通过示例的方式示出并且已在本文中详细地描述。然而，应当理解，本公开不旨在限于所公开的特定形式。本公开将涵盖落入如由以下的所附权利要求定义的本公开的精神和范围内的所有修改、等同体以及备选方案。
[0070]
本文中所提出并且要求保护的技术被引用并且应用于有实际性质的实质性对象和具体示例，所述实质性对象和具体示例可论证地改进本技术领域并且因此不是抽象的、无形的或纯理论的。而且，如果本说明书的末尾所附的任何权利要求包含指定为“用于[实行]
……
[功能]的部件”或“用于[实行]
……
[功能]的步骤”的一个或多个元素，则旨在这样的元素将根据35 u.s.c. 112（f）而解释。然而，对于包含以任何其他方式指定的元素的任
何权利要求，旨在这样的元素将并非根据35 u.s.c. 112（f）而解释。