基于人员手势确定地理位置的制作方法

基于人员手势确定地理位置
1.相关申请的交叉引证
2.本技术要求于2020年6月2日提交的美国专利申请号16/890,507的优先权，该美国专利申请是于2020年1月28日提交的美国专利申请序列号16/774,825的部分继续申请，该申请通过引用结合于此。
3.本技术与于2018年8月17日提交的未决美国专利申请序列号16/104,273相关，该未决申请是美国专利申请序列号15/826,131(现为2018年9月11日发布的美国专利10,070,799)的继续申请，是于2017年10月7日提交的美国临时专利申请62/566,674和于2016年12月2日提交的美国临时专利申请62/429,334的非临时申请，所有这些申请都通过引用结合于此。
4.本技术还与于2018年8月5日提交的未决美国专利申请序列号16/055,123相关。
5.本技术还与于2019年1月14日提交的未决美国专利申请序列号16/246,964相关。
6.本技术还与于2019年11月4日提交的未决pct专利申请序列号pct/us19/061421相关，该未决申请是指定要求美国的于2018年11月20日提交的未决美国专利申请序列号16/196,462的优先权的国际申请。
7.本技术还与于2020年1月8日提交的未决美国专利申请序列号16/737,252相关。
8.所有前述内容均通过引用结合于此。


背景技术：

9.大多数机器具有“用户接口”的形式，人员通过该形式与机器进行交互。人员通过一个或多个装置提供输入，机器从中解释人员的意图。机器响应于这些输入向人员提供反馈，例如，通过机器的行为或通过向人员呈现信息的一个或多个装置进行的输出。
10.当机器为带显示器的计算机系统或者包括带显示器的计算机系统时，用户接口的常见范例为“图形用户界面”。利用图形用户界面，人员操纵向运行计算机的应用程序提供输入的用户接口装置。反过来，计算机在显示器上提供视觉输出。计算机可以提供其他输出，例如，音频。通过用户接口装置，人员可以控制通常被称为光标的图形对象在显示器内的位置，并且可以指示要执行的动作。要执行的动作通常部分基于该图形对象在显示器上呈现的信息中的位置。已经为计算机创建了各种用户接口装置。同样，许多种类的图形用户界面和其他种类的用户接口范例已经用于计算机。


技术实现要素：

11.本发明内容以简化形式介绍了一些概念，这些概念将在下文的具体实施方式中进一步描述。本发明内容既不将特征标识为关键或必要的，也不限制所要求保护的主题的范围。
12.用于与机器或计算机交互的图形用户界面范例在某些环境中可能难以使用。在一些环境中，计算装置可具有小显示器或者根本没有显示器。此外，在一些环境中，用户可能不能够容易地操纵任何输入装置，因为他们正在抓住或握住另一个对象。由于各种原因，在
一些环境中，输入装置和显示器的典型组合不能提供足够直观、可行、方便或安全的与机器交互的形式。
13.此外，计算机的大多数图形用户界面基于用户与显示器上呈现的图形对象或计算机已知的并在显示器上由计算机的呈现的对象的交互。来自用户的输入往往与计算机已知并控制的显示空间内的位置相关联。
14.如本文所述，提供人机接口，其中，一个或多个用户提供一个或多个指示真实世界地理位置的输入，根据该输入确定地理位置。一个或多个用户中的每一个都具有相应的用户接口装置，从该用户接口装置接收相应的输入。响应装置接收并处理来自至少一个用户接口装置的输入。可能有多个响应装置，每个装置从一个或多个用户接口装置接收输入。响应装置或与响应装置通信的另一计算装置可以基于接收到的一个或多个输入来确定地理位置。可以向至少一个用户提供关于所确定的地理位置的反馈。
15.可以确定地理位置的一些示例性场景包括但不限于以下场景。
16.一个人员可以指向特定方向，例如，北或南，并可能需要关于该大致方向的对象的信息。一个人员可以指向街角或建筑物，可能想要关于该街角或建筑物的信息，或者仅仅是为了识别该街角或建筑物。一个人员可以指向一个方向，并且可能想要在地图上设置一个点。一个人员可以指向一个方向来识别对象，例如，在打猎时发现鹿或其他动物，或者在游戏或其他活动中进行交流。
17.多个人员可以指向大致相同的位置或相同的对象。多个用户可以想要合作以选择或识别同一对象。多个用户可能想要合作来选择或识别多个对象。一个或多个对象可能正在移动。例如，多个消防队员可以指向同一窗户或建筑物上的其他位置。街道上的多个人员可以指向街道上的同一辆车。例如，几名警察可以指向同一辆车。一个场所中的多个人员可以指向大致相同的位置。城市公园里的多个人员可能会指向一个对象。例如，一个场所的安全人员可以指向同一个人员，或者指向一扇开着的门，或者指向一个对象。在搜索和救援任务中的多个人员可以识别对象或者要被救援的人员或动物或者危险或障碍物。
18.所选的地理位置可用于控制通信。例如，一个人员可以指向另一个人员并直接发起与那个人员的通信。一个人员可以选择一组个人员，例如，通过单独指向他们或者用手势将他们选择为一组，以与该组进行通信。一个人员可以用手势(例如，指向天空)启动与一组预定的个人员通信。类似地，可以通过指向单个对象、选择一组对象中的对象组或选择预定的一组对象来执行与对象的通信或对对象的控制或这两者。
19.地理位置可以被定义为绝对位置或相对位置。绝对位置的示例包括但不限于地图系统中的坐标、地理定位系统(gps)坐标、或各种分辨率的经度和纬度、或这些的任意组合。相对位置的示例包括但不限于参考点和方向、或者参考点和方向和距离、多个参考点和与这些参考点的相应方向、或者多个参考点和与这些参考点的相应方向和距离、或者这些的任意组合。
20.可以基于来自与至少一个人员相关联的传感器的传感器数据的输入来确定地理位置。来自与一个或多个其他人员、或一个或多个其他对象、或这些的组合相关联的传感器的额外传感器数据可以用于确定地理位置。这种传感器的示例包括以下中的至少任何一个或多个：位置传感器(如下所述)、地磁传感器、罗盘、磁力计、加速度计、陀螺仪、高度计、眼睛跟踪装置、提供指示位置变化的信息的编码器、提供图像数据或运动视频的相机、已知地
标的参考、或声音传感器(例如，一个或多个麦克风)、或可以提供来自人员的方向的指示的其他传感器、或这些中的两个或更多个的任意组合。传感器数据可以被解释为例如人员的多个原始手势中的任何一个、预期动作、手臂角度或相对垂直位置的其他指示、方向或方位、距离或高度或这些的任意组合。可以基于从与一个或多个人员相关联的传感器接收的这种传感器数据来确定地理位置。
21.在一些实施方式中，可使用上下文数据辅助确定地理位置。这种上下文数据可以包括一个或多个对象的信息(例如，地理位置)、语音、声音或文本数据、来自一个或多个相机的图像数据、地图数据或关于地图的用户输入、或者这些或其他上下文信息的任意组合。
22.在一些实施方式中，可使用额外信息，例如，上下文数据，来提供输入，以选择、控制、启动或执行与地理位置或基于地理位置选择的对象相关的其他动作。例如，语音、手势或其他数据可以用作修饰语。例如，指向建筑物的消防队员可以通过语音通信，例如，“两个人员在二楼窗户附近！”。例如，语音、手势或其他数据可用于注释所选对象，不同的手势用于为该对象提供不同的标签，例如，“安全”或“危险”。例如，语音、手势或其他数据可用于激活关于对象的命令，以不同的方式激活不同的动作。这种激活可以类似于“点击”，但是可以从用户接收的任何其他数据中获得。
23.可使用各种不同类型的处理技术，根据传感器数据和可选的上下文数据确定地理位置。在一些实施方式中，可以使用来自多个参考点的方向来应用各种形式的三角测量。在一些实施方式中，输入可以允许用户指定与所确定的位置和方向相关的距离。在一些实施方式中，可以应用来自计算几何的技术，例如，计算代理的位置的同时定位和绘图(slam)算法的变体，其中，待确定的地理位置被视为待计算的代理的位置。在一些实施方式中，可以使用多种形式的里程计，其中，基于传感器数据来确定位置随时间的变化。在一些实施方式中，可以对来自相机的图像执行视觉里程计。也可以使用这些实施方式的任意组合。
24.该地理位置又可用于多种用途，其示例包括但不限于以下内容，并可以包括以下两项或更多项的组合。地理位置可以用作应用程序的输入，例如，识别或选择对象。各种操作可由应用程序结合所选对象来执行，其非限制性示例包括调用相机对对象的跟踪或从数据库获得关于对象的信息。地理位置可以是传递给另一用户或另一机器的数据。当结合基于从一个或多个用户接口装置接收的信号的数据来选择要执行的动作时，地理位置可以被视为上下文信息。地理位置可以作为反馈提供给用户，例如，通过在地图上显示一个点。
25.在本文所述的一些实施方式中，人机接口(例如，用于与计算机或计算机控制的装置交互的接口)可通过人员穿戴的一个或多个用户接口装置以及与一个或多个机器或人员相关的一个或多个响应装置的组合来实施。该机器可以包括例如任何类型的计算装置或计算机控制的装置。这个人员执行或试图或打算执行由用户接口装置中的传感器感测的动作；传感器输出信号。响应装置解释和使用或作用于基于来自用户接口装置中的传感器的输出信号接收的数据，以使人员能够与机器交互。向这个人员提供反馈。这种反馈可以由机器、响应装置、或用户接口装置、或其他反馈装置、或这些装置中的两个或更多个的组合来提供。如下文更详细描述的，可以由响应装置执行并且可以为其提供反馈的一种动作包括识别地理位置。
26.在一些实施方式中，用户接口装置由人员穿戴在身体部位，至少包括生物电位传感器和位置传感器。穿戴用户接口装置的身体部位是人员通常能够相对于其躯干移动的附
肢。此外，在该附肢处，可以在皮肤表面感测到与控制身体部位的肌肉的活动相关的生物电位，其中，肌肉活动使得人员能够引起或意图引起身体部位的某些姿势，如本文所解释的。
27.在腕戴式用户接口装置的示例中，用户接口装置被构造为由人员穿戴，使得至少一个生物电位传感器放置在手腕的顶部，如本文所述，以感测手腕的顶部的生物电位。在手腕的顶部处感测的生物电位与控制手和手指的肌肉活动有关。如本文所述，手的任何姿势都是这些肌肉激活或放松的结果。响应于想要形成手的任何姿势的人员而生成生物电位信号；在某些情况下，可能无法形成手的姿势，例如，当人员患有神经肌肉疾病时。生物电位传感器具有提供指示所感测的生物电位的生物电位信号的输出。
28.在腕戴式用户接口装置的示例中，如本文所述，位置传感器感测手腕相对于参考点的位置，并具有提供指示感测位置的位置信号的输出。不同种类的位置传感器可以使用不同的参考点。
29.响应装置是一种机器，通常为计算装置，其从用户接口装置接收基于生物电位信号和基于位置信号的数据。响应装置基于接收的数据执行动作。所接收的数据可以是来自传感器的输出信号，或者可以是表示从处理这些信号中获得的信息的数据，例如，从过滤或变换这些信号中获得的数据、指示从这些信号中提取的特征的数据、从前述内容中获得的姿势或位置信息、或者表示从这些信号中检测到的原始手势的数据、或者从处理这些信号中获得的其他数据、或者这些数据中的任意两个或更多个的组合。
30.响应装置响应接收到的数据，以检测接收到的数据中的原始手势，并促使根据原始手势执行动作。原始手势可以包括在第一时刻的手的第一姿势或手腕的第一位置或这两者；以及在第一时刻之后的第二时刻的手的第二姿势或手腕的第二位置或这两者。原始手势可以包括“保持”手势，其中，第二姿势与第一姿势相同。
31.在某些情况下，要执行的动作基于一系列检测到的原始手势。在某些情况下，该动作基于特定的检测到的原始手势。在某些情况下，该动作基于两个或更多个检测到的原始手势的共现。在某些情况下，该动作基于特定上下文中一个或多个原始手势的出现。
32.通常，要执行的动作是由计算装置执行的操作。该操作通常由运行在计算装置上的应用程序来执行。计算装置可以运行几个应用程序。当通过用户接口装置与多个应用程序交互时，指示计算装置向所选应用程序提供输入，并且该输入使得所选应用程序执行所选操作。在从用户接口接收的数据中检测到的原始手势可用于选择应用程序，或选择要提供给应用程序的输入或这两者。
33.例如，响应装置可将输入引导至所选应用程序，所选应用程序可在未检测到手腕运动的一段时间后，响应于检测到的手的姿势，执行动作。相反，当检测到手腕的运动时，响应装置可以忽略基于来自生物电位传感器的信号的数据。这种行为可以确保手腕的运动不会产生干扰检测手的姿势的信号。
34.例如，响应装置可根据检测到的手腕位置来选择应用程序。在所选应用程序内，当手腕保持在检测到的位置时，该应用程序可以至少基于检测到的手的姿势来选择并执行动作。例如，这种行为可以实现不同应用程序之间的切换。例如，一个人员可以将手腕举过头顶并抬起食指来激活一个应用程序，并使该应用程序执行一个动作。之后，人员可以降低手腕并抬起食指来激活另一个应用程序，并使该另一个应用程序执行另一个动作。
35.例如，响应装置可将输入引导至所选应用程序，所选应用程序可基于检测到的手
腕位置选择动作。当手腕保持在检测到的位置时，可以响应于检测到的手的姿势来执行选择的动作。例如，这种行为可以允许选择菜单项或选择值范围内的值。例如，音频回放系统可以从播放列表中选择一首歌曲，或者调节音量。
36.例如，所选应用程序可响应于检测到的手的姿势执行动作，所述动作在未检测到手腕运动的一段时间后发生，随后检测到保持手势，并伴有检测到手腕在一个方向上运动。这种行为例如能够通过环绕对象来选择对象，选择列表中的下一个或前一个项目，调整滚动或滑动元件以及其他动作。例如，一个人员可以举起手臂，然后抬起并握住手指，然后做圆周运动，以选择对象。
37.例如，响应装置可使用检测到的手的姿势来启动和终止主要基于手腕位置执行操作的操作模式。例如，这种行为可以使得能够基于手腕的运动启动操作模式，来控制诸如无人员驾驶飞机之类的对象上的运动。例如，响应于抬起和保持手指，可以激活无人机的遥控模式，其中，手腕位置控制无人机的运动。
38.还可根据用户接口装置上其他传感器的任何其他信息进行操作。还可以基于响应装置可用的任何上下文信息来执行操作。
39.响应装置中的此类行为可在各种环境下实现与机器交互的广泛用户体验。当可以在人员抓住或握住另一个对象(例如，举起手指)时执行用于与机器交互的手的姿势时，用户接口装置使得人员能够在执行其他活动的同时与机器交互。当用于与机器交互的手的姿势可以谨慎地执行，或者以最小的动作或运动执行时，例如，当人员将手放在口袋中时，用户接口装置使得人员能够在挑战性的环境中方便地或安全地或秘密地与机器交互。当用于与机器交互的手的姿势或手腕的位置是直观的(例如，指向和滑动)时，用户接口装置使得人员能够直观地与机器交互。
40.因此，在一个方面，一种设备包括传感器，该传感器被构造为由人员穿戴，并被配置为感测指示人员意图的方向的信息。该设备包括处理器和用于存储可由处理器执行的指令的存储器。当执行指令时，处理器基于传感器感测的信息来确定方向，并且基于方向和人员的位置来确定地理位置。
41.在另一方面，响应装置被构造为与用户接口装置通信。响应装置包括处理系统，该处理系统包括处理装置和计算机存储器。计算机存储器具有存储在其上的计算机程序指令，当由处理装置处理时，这些指令配置响应装置。响应装置被配置为从用户接口装置接收传感器数据并确定地理位置。
42.在一些实施方式中，该设备包括生物电位传感器和位置传感器。生物电位传感器被构造为由人员穿戴并响应人员表达的意图。生物电位传感器被配置为感测出现在人员身上的生物电位。生物电位与控制身体部位或控制身体部位附近的附肢的肌肉相关联。位置传感器被配置为感测人员的位置。存储有可由处理器执行的指令的处理器基于感测到的生物电位和感测到的位置来检测表示人员表达的意图的原始手势。响应于原始手势，处理器确定地理位置。
43.在一些实施方式中，响应装置配置为接收基于生物电位信号的数据和基于位置信号的数据。响应装置被配置为检测表示人员表达的意图的原始手势。响应于原始手势，处理器确定地理位置。
44.任何前述可以包括一个或多个以下特征。该传感器包括生物电位传感器，该生物
电位传感器被构造为由人员穿戴并且被配置为感测出现在人员身上的生物电位。该传感器包括位置传感器，该位置传感器被构造为由人员穿戴并且被配置为感测人员的位置。该传感器包括眼睛跟踪装置。传感器包括地磁传感器。传感器包括高度计。传感器包括编码器，该编码器提供指示位置变化的信息。
45.任何前述可以包括一个或多个以下特征。身体部位是手腕。附肢是手。附肢包括手的一个或多个手指。姿势是手的姿势。手的姿势包括一个或多个手指的姿势。手的姿势包括一个或多个手指的运动。手的姿势包括单个手指的姿势。手的姿势包括单个手指的运动。单个手指是拇指。单个手指是食指。手的姿势包括手相对于手腕的位置。原始手势包括手指滑动。原始手势包括手指抬起。原始手势包括手指握持。手腕的位置包括手腕顶部的位置。手腕的位置包括手腕顶部的方向。手腕的位置包括手腕顶部的运动。
46.任何前述可以包括一个或多个以下特征。位置传感器包括加速度计，该加速度计生成位置信号，位置信号包括指示身体部位的加速度的方向和幅度的信号。位置传感器包括生成位置信号的陀螺仪，位置信号包括指示身体部位的方位和角速度的信号。位置传感器包括产生位置信号的地磁传感器，位置信号包括指示方向的信号。
47.任何前述可以包括一个或多个以下特征。基于人员的第一地理位置、基于至少传感器数据的第一方向以及来自第二地理位置的第二方向来确定地理位置。第二地理位置是第二个人员的。第二方向是由第二个人员指示的方向。第二地理位置是基于来自这个人员携带的装置的信号导出的位置。第二方向是基于来自这个人员携带的装置的信号导出的方向。
48.任何前述可以包括一个或多个以下特征。基于指示人员的地理位置以及方向和沿着该方向的距离的数据来确定地理位置。沿着该方向的距离基于来自人员的生物电位信号或位置信号中的至少一个。所确定的地理位置指定了地图上的一个点。响应于检测到的原始手势，处理器修改地图上指定点的位置。
49.任何前述可以包括一个或多个以下特征。基于选择的对象来确定地理位置。响应于人员的地理位置，并且响应于检测到的原始手势，选择具有地理位置的对象。所选对象的地理位置是所确定的地理位置。所选对象的地理位置基于从数据库中访问关于所选对象的地理位置的信息。所选对象的地理位置基于根据对象的飞行时间数据计算所选对象的地理位置。
50.任何前述可以包括一个或多个以下特征。人员的位置包括手腕顶部的位置。人员的位置包括手腕顶部的方向。人员的位置包括手腕顶部的运动。
51.任何前述可以包括一个或多个以下特征。处理器通过接收指示人员的第一地理位置的数据、基于从人员穿戴的用户接口装置接收的传感器数据确定第一方向、从第二地理位置确定第二方向、以及基于第一地理位置和第一方向以及第二地理位置和第二方向确定地理位置，来确定地理位置。第二地理位置包括第二个人员的地理位置。第二方向包括由第二个人员指示的方向。第二地理位置包括基于来自第二个人员携带的装置的信号导出的位置。第二方向包括基于来自第二个人员携带的装置的信号导出的方向。第二地理位置包括第二传感器的位置。第二方向包括基于来自第二传感器的信号的方向。
52.任何前述可以包括一个或多个以下特征。处理器通过接收指示人员的地理位置和方向的数据，并且基于传感器数据来确定沿着第一方向的距离，并且基于人员的地理位置、
方向和所确定的距离确定地理位置，来确定地理位置。所确定的地理位置指定了与地图相关联的坐标中的点。响应于检测到的原始手势，处理器修改指定点的位置。
53.任何前述可以包括一个或多个以下特征。为了确定地理位置，处理器被配置为响应于人员的地理位置，并且响应于传感器数据，选择具有地理位置的对象，提供所选对象的地理位置，作为所确定的地理位置。所选对象的地理位置包括从数据库访问关于所选对象的地理位置的信息。所选对象的地理位置包括基于对象的飞行时间数据计算所选对象的地理位置。
54.任何前述可以被体现为计算机系统、这种计算机系统的部件、这种计算机系统执行的过程或这种计算机系统的部件、或包括其中存储有计算机程序代码的计算机存储器的制造品，当由一台或多台计算机的处理系统处理时，该计算机存储器将一台或多台计算机的处理系统配置为提供这种计算机系统或这种计算机系统的部件。
55.以下具体实施方式参考了附图，附图构成了本技术的一部分，并通过图示的方式显示了具体的示例性实施方式。在不脱离本公开的范围的情况下，可以进行其他实施方式。
附图说明
56.图1a是用户接口装置的框图；
57.图1b至图1c是示例性用户接口装置的透视图；
58.图2a至图2d是响应装置的示例实现的框图；
59.图3是来自用户接口装置的信号处理阶段的示意图；
60.图4a示出示例性手的姿势；
61.图4b示出手腕的顶部的示例性位置；
62.图4c是示出从用户接口装置接收的数据的处理的状态图；
63.图5是示出用户接口装置和响应装置之间的交互以向响应装置上的应用程序提供输入的数据流程图；
64.图6是应用程序如何基于手腕位置选择不同操作的示意图；
65.图7为应用程序如何基于手的姿势或手腕的位置或这两者执行不同操作的状态图；
66.图8示出如何将手腕的位置映射到不同的操作；
67.图9a是示出确定地理位置的数据流程图；
68.图9b和图9c示出确定地理位置的示例性场景；
69.图9d是选择对三维场景内选择的对象执行的操作的应用程序的数据流程图；
70.图10是示例性图形用户界面；
71.图11是示例性图形用户界面；
72.图12是通用计算机的框图。
具体实施方式
73.如本文所述，人机接口(例如用于与计算机或计算机控制的装置交互的接口)由人员穿戴的一个或多个用户接口装置和与一个或多个机器或人员相关的一个或多个响应装置的组合实现。该机器可以包括例如任何类型的计算装置或计算机控制的装置。
74.人员执行或试图或打算执行动作，这些动作由用户接口装置中的传感器检测；传感器输出信号。响应装置解释基于来自用户接口装置中的传感器的输出信号而接收到的数据，以使人员能够与机器交互。向这个人员提供反馈。这种反馈可以由机器、响应装置、或用户接口装置、或其他反馈装置、或这些装置中的两个或更多个的组合来提供。如下文更详细描述的，可以由响应装置执行并且可以为其提供反馈的一种动作包括识别地理位置。
75.用户接口装置、响应装置和机器有多种可能的配置和相互关系，下文结合图2a至图2d对其中一些进行了更详细的描述。通常，用户接口装置、响应装置和机器可以是分开的装置。两个或更多个装置可以集成到同一装置中，例如：包含用户接口装置和响应装置的单个装置(例如，智能手表控制另一台机器)；包含响应装置和机器的单个装置(例如，用户接口装置与智能电话或平板电脑或计算机交互)；以及包含用户接口装置、响应装置和机器(例如，智能手表)的单个装置。这些装置可以部分集成到同一装置中，例如，当在此描述为驻留在响应装置中的功能位于用户接口装置中时(如下面结合图3更详细说明的)。可能存在用户接口装置、响应装置、机器或其组合的多个实例。例如，在一些情况下，多个用户接口装置可以由一个人员穿戴，其中，相应的用户接口装置穿戴在身体的相应部位，例如，不同的手腕或脚踝。在一些情况下，多个用户接口装置可以由多个不同的人员穿戴，例如，第一人员穿戴第一用户接口装置，第二人员穿戴第二用户接口装置，两个用户接口都连接到一个或多个响应装置。装置之间的连接可以以多种方式实现，包括有线和无线通信、计算机网络、计算机总线结构等以及其组合。
76.图1a示意性示出穿戴在人员身上的用户接口装置100的电路框图。可以穿戴用户接口装置的身体部位可以是人员通常能够相对于其躯干移动的附肢，例如，手腕顶部的手臂。此外，在该附肢处，可以在皮肤表面感测到与控制身体部位的肌肉的活动或预期活动相关的生物电位，其中，肌肉活动使得人员能够引起或预期引起身体部位的某些姿势。
77.虽然这种用户接口装置可穿戴在人员的许多不同身体部位，但本文将使用将至少一个生物电位传感器放置在手腕顶部的穿戴用户接口装置的示例来描述用户接口装置。本文使用的短语“手腕的顶部”是指手臂的后表面，其位于或靠近手臂的远端，邻近将手连接到手臂的关节(即手腕)(下面结合图4a至图4c更详细地描述)。
78.在一些实施方式中，在用户接口装置穿戴在手腕顶部的情况下，用户接口装置100输出数据120，至少包括指示手腕相对于参考点的位置的信号102和指示与控制手和连接到手腕的手的手指的肌肉活动相关的生物电位的信号104。为了产生这些信号，用户接口装置100具有至少两个传感器，即生物电位传感器106和位置传感器108。当用户接口穿戴在人员的除手腕之外的另一身体部位上时，用户接口装置将输出指示该身体部位相对于参考点的位置的信号以及在该身体部位的皮肤表面处感测的生物电位。
79.短语“位置”是指至少部分描述相对于参考点的位置或方向、航向或这些中的任何一个的变化的任何数据，例如，速度、角速度、加速度或角加速度或这些中的两个或更多个的任意组合。在参考系(例如，与人员体相关联的坐标系)内，参考点可以是绝对的(例如，参考系中的原点)或相对的(例如，先前已知的位置)。不同种类的位置传感器可以使用不同的参考点。位置可以用坐标、一维、二维或三维来表示，无论是笛卡尔坐标、径向坐标还是球坐标，或者作为矢量。位置也可以用相对术语来表示，例如，高、低、左、右、远、近以及其组合。如本文所用，诸如手腕等身体部位的“运动”旨在表示身体部位相对于参考点的位置或方向
或这两者随时间的变化。通常，手腕顶部的位置或方向的变化是由于手臂运动，并且在本文被称为手腕运动或手臂运动。尽管可能在手腕(或其他身体部位)或其附近发生手或手指的其他运动，例如，手的弯曲或一个或多个手指(或类似身体部位)的伸展或收缩，但是这些运动在本文被称为“移动”。
[0080]“生物电位”是在体内传播的电信号，可在皮肤表面无创感测到，并指示传输至肌肉的神经信号、肌肉响应于该神经信号的电活动以及组织内的其他电活动。当在手腕顶部感测时，这种生物电位与控制手和手指的肌肉的活动相关，包括单个手指或手指组相对于手或相对于彼此的运动以及手相对于手臂的运动以及这些运动的任意组合。短语“与肌肉活动相关”旨在包括神经信号、肌肉组织信号、与预期肌肉运动相关的信号(无论是否实现)或与非预期肌肉运动相关的信号(无论是否实现)中的任何一个或多个或者这些信号中的两个或更多个的任意组合。肌肉运动可以实现，也可以不实现，这取决于人员的状况。这个人员可能患有疾病，例如，萎缩性侧索硬化症(als)，其中，肌肉不按预期运动或者根本不运动，但是仍然可以为预期的肌肉运动产生神经信号。这个人员可能受到其他方式的约束，从而不发生肌肉运动，但是产生神经信号和可能的肌肉组织信号。在本文的一些实例中，文本指的是身体部位的运动，例如，手指的运动。这些实例应当被理解为简短的参考，并且不仅包括身体部位的实际运动，还包括该身体部位的有意但未实现的运动，在这种情况下，生物电位信号指示用于控制该身体部位的有意肌肉运动。
[0081]
用户接口装置100还可通过一个或多个反馈装置110向这个人员输出反馈，在下文中详细描述其示例。用户接口装置100可以接收与反馈装置110相关的反馈信号112。用户接口装置100可以为反馈装置100生成(例如，通过控制器130)反馈信号112。用户接口装置100可能不是用户反馈的唯一来源，因为可以从响应装置、机器或其他反馈装置提供这种反馈。在一些实施方式中，用户接口装置100可以不具有任何反馈装置。例如，闪光可以指示用户接口装置正在与响应装置通信，或者振动可以指示响应装置已经完成动作。
[0082]
用户接口装置100还可以具有一个或多个输入装置114，例如，按钮，通过该输入装置，人员可有意或无意地直接向用户接口装置100提供输入。
[0083]
用户接口装置100通常通过无线连接与响应装置进行通信。用户接口装置可以由电池供电。当与响应装置分离时，用户接口装置可以通过无线收发器(未示出)与响应装置通信(发送数据120和接收反馈信号112)。
[0084]
用户接口装置的各种部件(例如，106、108、110、114和122)与控制器130交互。控制器连接到这些部件，以控制其操作。控制器可以包括模数转换器，该模数转换器对传感器106、108、122的输出进行采样、下采样或上采样，以根据传感器的输出信号以期望的采样率提供数字样本序列。控制器230可以包括在采样之前处理或调节数据102、104和124的任何其他电路，例如，任何放大器或带通、陷波、高通或低通滤波。
[0085]
生物电位传感器106感测穿戴用户接口装置的身体位置(例如，手腕顶部)处的生物电位。生物电位传感器106提供指示所感测的生物电位的一个或多个输出信号，即生物电位信号104。
[0086]
生物电位传感器106包括一对或多对电极。结合图1c，如上文所述，每对电极在本文中被称为“通道(channel)”。当用户接口装置100穿戴在手腕上时，电极被布置成与手腕顶部的皮肤接触，并且每对电极内的电极被定向成使得该对电极中的第一电极比第二电极
更靠近手指。在一些实施方式中，在上面列出的相关申请中或者在上面的图1c中描述的电极和电路的种类可以用于提供生物电位传感器106的每个通道。
[0087]
可以从每对电极的输出产生差分信号。如美国专利10,070,799中所述，通过使用运算放大器，可以从每对电极的输出产生差分信号。在使用参考电极(例如，图1c中的电极180)进行额外噪声抑制的实施方式中，差分信号也可以包含来自参考电极的信号。例如，给定第一电极的信号(e1)、第二电极的信号(e2)和参考电极的信号(r)，在产生这对电极的差分信号之前，可以首先从第一和第二电极的信号(e1，e2)中减去参考信号(r)，这可以在模拟域中执行，使得这对电极的差分信号可以表示为：(e1-r)-(e2-r)。差分信号可以是通道的输出。来自一个或多个通道的输出构成了生物电位信号104。
[0088]
生物电位信号104用于检测手的姿势或穿戴用户接口装置附近的另一身体部位的姿势。“手的姿势”包括一个或多个手指相对于手的位置或运动或者手相对于手腕的位置或运动或者这些的任意组合。因此，在相对简单的情况下，设计并实现了一种系统，以检测至少第一姿势，并将该第一姿势与任何姿势的缺失区分开。如果引入了第二姿势，则系统被设计成区分第一姿势和第二姿势以及区分第一和第二姿势和这两种姿势中的任一姿势的缺乏。因此，基于应用程序来设计生物电位传感器106，使得相对于噪声以及相对于要检测的其他特定手势，由生物电位传感器106感测的生物电位携带足够的信息，以使得能够检测人员的特定姿势。
[0089]
在用户接口装置穿戴在手腕顶部的情况下的应用程序中，可以处理生物电位信号，以检测手的姿势。该处理可以包括区分任何手指的移动和任何手指的不移动。该处理可以包括将一个手指的一种运动与同一手指的不同运动或者不同手指的相同或不同运动区分开来。该处理可以包括将手的一个姿势与手的另一个姿势区分开。生物电位传感器可以是单通道，包括单对电极。生物电位传感器可以只有两个通道，每个通道有一对电极。生物电位传感器可以仅有三个通道。生物电位传感器可以有四个或更多通道。可以使用来自其他传感器的信息来处理来自生物电位传感器的输出信号，以帮助区分手的不同姿势。
[0090]
在单通道内，电极之间的较大间距提高了该通道的输出差分信号的能力，以提供更有意义的信息。对于两个或更多通道，两个通道之间的较大间距提高了信号分离，减少了串扰。电极的间距(“电极间距”)和通道的间距(“通道间距”)与在用户接口装置打算穿戴在其上的身体部位内传播的生物电位的特性相关，并且因此基于该特性来选择。
[0091]
对于某些应用程序，每对电极的位置可以被定位成优化神经信号的捕捉。捕捉神经信号对于已知此人员患有诸如萎缩性侧索硬化症(als)之类的神经肌肉疾病或者可能被限制进行实际肌肉运动的应用程序是有帮助的。例如，在手腕的顶部，可以放置电极对，来强调与正中神经、尺神经或桡神经或这些神经的任意组合相关的神经信号的捕捉。然而，在许多实施方式中，在手腕顶部以足够的间隔放置两个差分通道提供了足够的信息，而不需要仔细放置特定的神经。
[0092]
在某些应用程序中，从电极获取信号可以包括一种动态阻抗匹配形式，如美国专利10,070,799中所描述。提供通道中两个电极的差分信号的运算放大器可以连接到可变电阻器，该可变电阻器适于匹配皮肤的阻抗。在没有动态阻抗匹配的情况下，在穿戴几分钟后，传感器仍然可以自然地适应穿戴者皮肤的阻抗。然而，在硬件中实现动态阻抗匹配可以使传感器更快地适应人员。
[0093]
如美国专利10,070,799所描述，生物电位信号可以包括来自各种来源(包括神经、神经肌肉、肌肉和外部来源(例如，无线电波))的信号部分。可以执行一些处理来减少不想要的信号的影响，例如，通过使用陷波滤波器和带通滤波器。通常，外部噪声往往在60hz及其整数倍，因此，可以针对这些不同频率使用陷波滤波器。肌肉收缩电信号具有20hz至300hz的频率范围，主要能量在50hz至150hz范围内。神经信号通常具有约200hz至约1000hz的频率范围。可以应用一个带通滤波器来试图聚焦于神经信号。可以应用另一个带通滤波器来试图聚焦于肌肉信号。频率为20hz至1000hz的带通滤波器可用于聚焦神经和肌肉信号。如下文更详细描述的，可以由生物电位传感器106或用户接口装置上的另一部件来执行这种滤波，或者可以是由系统的另一部分执行的信号处理的一部分。
[0094]
如上所述，位置传感器108相对于参考点感测身体部位穿戴用户接口装置的的位置，例如，手腕顶部。当感测在手腕的顶部时，感测的位置表示手腕相对于参考点的位置。参考点可以取决于位置传感器的种类。示例包括但不限于绝对点(例如，相对于身体、头部或嘴或其他特定身体部位的任意参考点)或者相对点，例如，先前感测的位置。位置传感器108提供指示感测位置的输出信号，例如，位置信号102。将在下面结合图4a更详细地解释具有腕戴式用户接口装置的身体部位的位置概念。
[0095]
例如，位置传感器108可以包括一个或多个加速度计、陀螺仪、地磁传感器或其他形式的磁力计或这些中的两个或更多个的组合。例如，可以使用惯性测量单元或imu，其至少包括加速度计和陀螺仪，但也可以包括地磁传感器。可用作位置传感器108的市场上可买到的产品的示例是组合了三种类型的装置(加速度计、陀螺仪和地磁传感器)的9轴传感器(例如，boschbno055绝对方位传感器)。这种传感器可以用来提供用于确定地理位置的传感器数据。
[0096]
加速度计包括沿一个或多个轴测量其自身加速度的装置，并响应于装置内加速度引起的应力或其他力提供输出信号。考虑到加速度计在三个轴上的初始位置和加速度数据，处理装置可以确定手腕在三维空间中相对于其初始位置的位置和方向。这种传感器可以用来提供用于确定地理位置的传感器数据。
[0097]
陀螺仪包括沿一个或多个维度测量方向和角速度的装置。考虑到来自陀螺仪的三维信号，可以确定手腕相对于初始方向的三维方向。这种传感器可以用来提供用于确定地理位置的传感器数据。
[0098]
地磁传感器包括测量地球磁场的装置，以提供指示磁场的测量值和方向的信号。考虑到来自地磁传感器的信号，处理装置可以确定位置，例如，相对于地球磁极的方向或航向。这种传感器可以用来提供用于确定地理位置的传感器数据。
[0099]
位置传感器108可以包括一个或多个声音检测装置，例如，单个麦克风或多个麦克风。声音检测装置可以是麦克风阵列，包括在用户接口装置100上间隔开的多个麦克风。声音检测装置可以是用户接口装置100上的麦克风和谐振装置。声音检测装置输出音频信号。可以处理音频信号，以确定手腕相对于声源(例如，嘴)位置的位置。在dexterang和davidcipoletta于2020年1月8日提交的序列号为16/737,242的题为“a wearable device including a sound detection device providing location information for a body part”的共同未决专利申请中可以找到这样的示例性实施方式，该专利申请通过引用结合于此。可以使用声源定位技术来计算这样的位置。例如，声源可以是穿戴用户接口装置的人
员的嘴。声音检测装置可以与任何一种或多种其他类型的位置传感器结合使用。声音检测装置可用于提供传感器数据，以确定地理位置。
[0100]
用户接口装置还可以包括输出其他传感器数据124的一种或多种其他类型的额外传感器(例如，122)。可用作额外传感器的传感器类型的示例包括但不限于能够感测、检测或测量物理参数、现象或事件的任何装置，例如，全球定位系统(gps)传感器、湿度传感器、温度传感器、可见光传感器、红外传感器、图像捕捉装置(例如，相机)、音频传感器、接近传感器、超声波传感器、射频信号检测器、皮肤阻抗传感器、压力传感器、电磁干扰传感器、触摸电容传感器及其组合。
[0101]
可基于来自与至少一个人员相关联的传感器的传感器数据的输入来确定地理位置。来自与一个或多个其他人员、或一个或多个其他对象、或这些的组合相关联的传感器的额外传感器数据可以用于确定地理位置。这种传感器的示例包括以下中的至少任何一个或多个：位置传感器(如下所述)、地磁传感器、罗盘、磁力计、加速度计、陀螺仪、高度计、眼睛跟踪装置、提供指示位置变化的信息的编码器、提供图像数据或运动视频的相机、已知地标的参考、或声音传感器(例如，一个或多个麦克风)、或可以提供来自人员的方向指示的其他传感器、或这些中的两个或更多个的任意组合。传感器数据可以被解释为例如人员的多个原始手势中的任何一个、预期动作、手臂角度或相对垂直位置的其他指示、方向或方位、距离或高度或这些的任意组合。可以基于从与一个或多个人员相关联的传感器接收的这种传感器数据来确定地理位置。
[0102]
在一些实施方式中，用户接口装置可以包括传感器，用于感测数据，以确定地理位置，无需生物电位传感器或位置传感器。一个人员可以穿戴多个用户接口装置，不同的用户接口装置具有提供不同数据的不同传感器。
[0103]
现在转向反馈装置110，可使用向穿戴用户接口100的人员提供反馈的任何装置(或装置组合)。反馈是人员可感知的任何刺激，并且是由响应装置执行的动作产生的。为了在图1a中说明的目的，用户接口装置100被示为包括反馈装置110。然而，在一些实施方式中，代替用户接口装置100中的任何反馈装置110或者除了用户接口装置100中的任何反馈装置110之外，反馈装置可以存在于用户接口装置100的外部。
[0104]
例如，反馈装置110可以包括触觉反馈源，也被称为触觉装置。触觉装置与人员有物理接触，通常是通过与皮肤的非侵入性接触，无论是直接接触还是通过某种材料间接接触。触觉装置产生人员可以感知的刺激，通常通过皮肤(触觉刺激)或通过肢体的运动和位置感觉(动觉刺激)。触觉反馈的示例可以包括但不限于：振动、运动、力、压力、加速度、热度、纹理、形状或其他形式的触觉或动觉。用户接口装置100可以从外部源接收数据，如反馈信号112所示，用于控制触觉装置的状态。用户接口装置100可以通过控制器130生成或者存储用于控制触觉装置的状态的数据。
[0105]
作为另一示例，反馈装置110可以包括光源，例如，一个或多个发光二极管。例如，从穿戴者的角度来看，单个发光二极管可以放置在用户接口装置100的可见表面上。当然，可以使用多个发光二极管。发光二极管可以产生单色或多色的光。发光二极管可以产生单一强度或多种强度的光。用户接口装置100可以从外部源接收数据，如反馈信号112所示，用于控制光源的状态。用户接口装置100可以通过控制器130生成或者存储用于控制光源状态的数据。
[0106]
作为另一示例，反馈装置110可以包括声源，例如，一个或多个扬声器。例如，小型扬声器可以放置在朝向穿戴用户接口装置100的人员的表面上。当然，可以使用多个扬声器。可以基于要产生的期望的声音信号来选择扬声器，例如，单个音调或频率，直到全范围的可听声音，例如，音乐。可以以单一设定音量或不同音量产生声音。音量可以由人员、用户接口装置或其他装置来调整(例如，通过反馈信号112)。用户接口装置100可以从外部源接收数据，例如，如反馈信号112所指示的，用于控制一个或多个扬声器上的声音回放。用户接口装置100可以通过控制器130生成或存储用于控制一个或多个扬声器上的声音回放的数据。这种反馈信号可以包括音频数据或控制数据或者这两者。
[0107]
作为另一示例，反馈装置110可以包括显示器，例如，显示图像的n像素
×
m像素阵列。例如，小显示器可以放置在朝向穿戴用户接口装置100的人员的表面上。可以基于要在用户接口装置上产生的图像的期望分辨率来选择显示器，这可以取决于应用程序，并且可以支持简单的文本或图形，直到全运动视频。控件可用于调整显示器的对比度、亮度、色彩平衡和其他特性，这可由人员、用户接口装置或其他装置(例如，通过反馈信号112)来调整。用户接口装置100可以从外部源接收数据，例如，如反馈信号112所指示的，用于控制在显示器上显示内容。用户接口装置100可以生成或者可以存储用于控制在显示器上显示内容的数据。反馈信号112可以包括任意组合的图像数据、文本数据、图形数据、视频数据或控制数据。
[0108]
用户接口装置100还可以具有一个或多个输入装置114，人员可通过输入装置114向用户接口装置100提供输入。虽然这种输入装置在某种意义上是传感器(例如，上面提到的传感器122)，但是输入装置114旨在表示人员主动操纵以便直接向用户接口装置提供特定输入的装置，例如，按钮或触摸屏。这种输入装置通常不会产生作为人机接口的一部分进行处理的信号，而是用于控制用户接口装置，例如，给装置通电、启动网络连接和控制设置。
[0109]
在图1b至图1c所示的腕戴式用户接口装置的示例性配置中，外壳150包含图1a所示的电路及其相应的机械部件。图1b是俯视透视图；图1c是底部透视图。固定装置152允许腕带或其他装置(未示出)连接到外壳150，以允许穿戴外壳。按钮154是输入装置114的示例(图1a)；发光二极管(led)156是反馈装置110的示例。
[0110]
如图1c所示，电极160通常由不锈钢或其他导电材料制成。在一些实施方式中，电极可以是平圆盘。在一些实施方式中，电极可以具有带曲率的表面，例如，圆锥形。圆形电极的直径通常大于2mm且小于10mm。在一些实施方式中，电极可以具有大约6毫米(6mm)的直径。
[0111]
在通道(例如，一对电极160和162)内，电极具有在电极中心之间测量的电极间距。电极间距164可以在低端由电极的尺寸和其间的期望间距限制的范围内，例如，在电极直径为6mm的情况下大约15毫米(15mm),并且在电极的近边缘之间提供大约9mm的材料，并且在高端由装置的尺寸限制，例如，在电极直径为6mm的情况下大约25毫米(25mm)，并且装置大约30mm。通常，最大可能的间距是所期望的，因为减小电极间距会导致较低的信号幅度。在一些实施方式中，电极间距可以是大约25毫米(25mm)。
[0112]
对于两个或更多个通道，通道对具有在穿过第一通道的电极(例如，160和162)绘制的第一线和穿过第二通道的电极(例如，166和168)绘制的第二线之间测量的通道间距。通道间距170可以在大约10毫米(10mm)到20毫米(20mm)的范围内。该范围受到高端解剖学
的限制，因此取决于穿戴该装置的身体部位。在手腕的顶部，通道间距范围的高端约为20mm。减小通道距离通常会降低通道之间的源分离。在一些实施方式中，通道间距可以是大约15毫米(15mm)。在一些实施方式中，生物电位传感器可以包括一个或多个参考电极180，其可以用于降噪，如下面更详细描述的。
[0113]
现在转向图2a至图2d，将描述几种响应装置。响应装置200是一种机器，通常是计算装置，其可以与一个或多个机器或一个或多个其他计算装置或这两者相关联。响应装置响应于用户接口装置100，以允许人员与机器交互，该机器可以是响应装置本身，或者可以是与响应装置相关联的机器或计算装置。
[0114]
如图2a所示，响应装置200接收基于用户接口装置100产生的生物电位信号104和位置信号102的数据202。如下文更详细描述的，接收到的数据202可以是来自传感器的输出信号102和104，或者可以是表示从处理这些信号中导出的信息的数据，例如，从过滤或变换这些信号中获得的数据、指示从这些信号中提取的特征的数据、表示从这些信号中导出的身体部位的姿势或位置的数据、或者从这些信号中检测到的原始手势、或者从处理这些信号中获得的其他数据、或者其任意组合。
[0115]
响应装置200基于接收的数据202执行动作。响应装置200还可以例如通过响应装置或与其相关联的机器的行为，或者通过向用户接口装置发送反馈信号112(图1a)而通过用户接口装置100。或者通过由响应装置200控制的其他反馈装置206，来向人员生成反馈204。如下文更详细描述的，要执行的动作和提供给用户的反馈取决于应用程序、计算装置、机器或人员使用用户接口装置和响应装置与之交互的其他系统。现在将结合附图2b至图2d来描述这种交互的一些示例。
[0116]
在图2b中，响应装置200是人员与之交互的计算装置。例如，响应装置可以是计算机(例如，通用台式或膝上型计算机)、智能电话、平板电脑、游戏控制台、机顶盒、智能电视等。一些计算装置(例如，智能手表)可以在一个物理装置中包含用户接口装置和响应装置。在图2b中的响应装置200中，计算装置通常具有支持运行一个或多个应用程序210的操作系统208。用户接口装置100被人员用来与操作系统或应用程序交互。可以通过显示器、扬声器或计算装置可访问的其他反馈装置206来提供来自操作系统或应用程序的反馈204，通常以图像和声音的形式。
[0117]
在如图2b所示的配置的实施方式中，用户接口装置可使人员与响应装置上运行的各种应用程序交互，例如，媒体回放应用程序、相机、地图应用程序、天气应用程序、搜索引擎、增强现实应用程序、虚拟现实应用程序、视频游戏或其他应用程序。
[0118]
在如图2b所示的配置的实施方式中，可存在多种不同的应用程序，用户可通过用户接口装置与之交互。在这样的环境中，在这些应用程序中的选择尤其是响应装置可以响应于用户接口装置而执行的动作。
[0119]
在图2c中，响应装置200是运行远程控制应用程序212的计算装置，远程控制应用程序与由计算装置服务或控制的机器220交互。人员通过使用用户接口装置通过响应装置与机器220交互；响应于从用户接口装置接收的数据，响应装置向远程控制应用程序212发送输入。机器220的行为是系统的主要反馈，但是计算装置或用户接口装置也可以提供其他反馈。例如，远程控制应用程序212可以向反馈装置206(例如，计算装置的显示器)或用户接口装置提供其他反馈204。
[0120]
例如，另一机器220可为无人机，也被称为无人员驾驶自主车辆，其应用程序212包括遥控器。应用程序212生成控制命令，这些控制命令在应用程序212的控制下由计算装置传输给无人机。当这个人员正在使用用户接口装置时，应用程序可以基于用户接口装置生成的信号，响应于接收的数据202生成这些控制命令。例如，应用程序可以响应于检测到与该功能相关联的原始手势来激活远程控制会话。在远程控制会话期间，手腕的位置被应用程序解释为提供对无人机的方向控制。该应用程序可以响应于检测到与该功能相关联的原始手势来结束远程控制会话。
[0121]
作为另一示例，另一台机器220可为另一台计算机或计算机集合。作为另一示例，另一台机器220可以是关节式机械臂，其可以被认为是或不被认为是机器人员，例如，用于制造业、远程医疗或其他应用。作为另一示例，另一台机器220可以是能够穿越陆地或水域的移动机器人员，具有马达和由该马达驱动的推进形式。
[0122]
在图2d中，响应装置是具有通信应用程序230的计算装置200。通信应用程序230可以通过反馈装置206向个人员发送消息232。当这个人员正在使用用户接口装置时，通信应用程序230可以向用户接口装置100发送消息232。计算装置200或另一计算装置(未示出)又可以从用户接口装置接收数据202。接收的数据201可以响应于消息232，并且在图2d所示的示例中，可以被引导到通信应用程序。也可以出于多种目的而提供反馈204，例如，指示计算装置200接收了数据202。这种通信应用程序可以有多种形式。
[0123]
在图2d所示的示例中，通信应用程序230用于收集经标记的数据，以用于训练机器学习系统250。响应装置发送消息以指示人员操作用户接口装置，例如，通过执行指定的动作。反过来，响应装置从用户接口装置接收数据。响应装置可以将该数据标记为对应于指示人员执行的操作，并将标记的数据提供给机器学习系统250。
[0124]
作为另一示例，为监控用户接口装置穿戴者的健康状况，响应装置可发送信息，要求穿戴者做出响应。响应装置然后从那个人员的用户接口装置接收数据。基于接收到的数据，响应装置可以执行额外动作，例如，通过监控应用程序260，例如，通知护理提供者关于这个人员的状态。在2019年11月14日提交的题为“communication using biopotential sensing and tactile actions”的共同未决pct专利申请pct/us19/061421中描述了这种系统的示例性实施方式，该申请通过引用结合于此。
[0125]
作为另一示例，消息应用程序中的传入消息(例如，语音呼叫或文本消息应用程序)可使响应装置向用户接口装置发送通知消息。响应装置然后从那个人员的用户接口装置接收数据。响应装置可以响应于从用户接口装置接收到的数据，在消息应用程序中采取动作，例如，应答呼叫或回复文本。
[0126]
在用户接口装置100和响应装置200的任何此类实施方式中，在用户接口装置处产生的信号102和104被转换为响应装置上的应用程序使用的输入。这种转换可以由一个或多个处理装置来执行，这些处理装置可以驻留在用户接口装置上、响应装置上或者用户接口装置和响应装置上。在一些实施方式中，这种转换可以由驻留在与用户接口装置和响应装置分离的计算装置上的一个或多个处理装置来执行。
[0127]
在任何前述配置中，可由响应装置执行的并且可为其提供反馈的一种动作包括识别地理位置。该地理位置又可以以多种方式使用，其示例包括但不限于以下方式，并且可以包括以下两种或多种方式的组合。地理位置可以用作应用程序的输入。地理位置可以是传
递给另一用户或另一机器的数据。当结合基于从一个或多个用户接口装置接收的信号的数据来选择要执行的动作时，地理位置可以被视为上下文信息。地理位置可以作为反馈提供给用户。
[0128]
将来自传感器106和108的信号102和104转换为应用程序的输入可涉及多个处理阶段。现在参考图3，现在将更详细地描述这些处理阶段。
[0129]
第一处理阶段由用户接口装置中的传感器(300)执行。一些传感器输出数字信号。一些传感器输出模拟信号。在一些实施方式中，用于通道的生物电位传感器可以包括动态阻抗匹配电路和放大器，以输出模拟差分信号。该第一阶段的输出是原始传感器信号。
[0130]
下一处理阶段302可涉及调节从传感器输出的信号。经过任何调节后，从传感器输出的信号被采样并同步。对于输出模拟信号的传感器，模拟信号可能受到模拟电路执行的信号调节操作，例如，滤波和放大。使用模数转换器将模拟信号转换成数字信号。对于输出数字信号的传感器，或者对于从模数转换器输出的数字信号，数字信号可以经受由数字电路执行的信号调节操作，例如，滤波和放大。无论经调节的信号是模拟信号还是数字信号，来自各种传感器的信号都可以以相同的采样率被采样，从而以该采样率提供数字传感器信号的输出流，使得来自各种传感器的数据同步并且具有相同的采样率。这种采样可以由模数转换器或数模转换器来执行，并且可以包括带有或不带有插值的上采样或者带有或不带有滤波的下采样。来自该第二阶段302的采样率的数字信号输出流在本文被称为“归一化数字传感器信号”。
[0131]
可对归一化数字传感器信号进行一些数字信号处理(304)，进行采样前未应用任何滤波或其他调节，可在采样后应用采样。例如，通过应用陷波滤波器，可以对生物电位信号进行滤波，以消除或减少电干扰的影响。例如，通过应用带通滤波器，可以对生物电位信号进行滤波，以消除或减少影响身体的其他电活动的影响，从而仅关注可能与肌肉运动相关的信号。如果要在强调神经信号的情况下处理生物电位信号，则可以通过使用带通滤波来对生物电位信号进行滤波，以消除或减少与肌肉激活相关联的信号的影响。在该数字信号处理阶段304中，还可以对从任何其他传感器的输出中导出的信号进行任何其他滤波或处理。如果使用的话，该第三阶段304的输出在本文被称为“滤波的”归一化数字传感器信号，其保持在采样速率下的数字信号的输出流。
[0132]
在下一阶段306中，对可选的经滤波的归一化数字传感器信号进行处理，以提取信号的“特征”。在图3中，这种处理由特征提取层306表示。特征是可以通过对信号或信号的变换(例如，信号的频域表示)或两个或更多个信号的组合或其变换应用运算来量化的信号的任何特性。通常，考虑到信号作为以采样速率输出的数字信号流，通过应用窗口函数(被称为窗口)针对样本子集流计算特征。窗口函数可以由数字信号流中的时刻和间隔来指定。应用窗口函数的结果是间隔外的值为零。最简单的窗口函数是矩形窗口，该窗口保留间隔内的原始样本。可以使用窗口函数，将数学函数而不是恒等函数应用于间隔内的样本。对于数字样本流的窗口序列，另一个参数是从一个窗口到下一个窗口的重叠量，即从一个窗口的开始到紧接着的下一个窗口的开始的偏移量。偏移可以等于、小于或大于为窗口指定的间隔。该第四阶段的输出包括特征集的流，对于(可选地滤波的)归一化数字传感器信号的每个窗口输出一个特征集。下面更详细地描述了特征的几个示例。
[0133]
在图3中，下一处理阶段308被称为“手势检测”层。该阶段涉及处理归一化的数字
传感器信号、经滤波的归一化的数字传感器信号或从其中提取的特征集的流，以识别身体部位的姿势、身体部位的位置、或原始手势、或这些的组合或子集，被统称为“手势检测”，响应装置响应于此促使执行动作。注意，虽然图3示出手势检测层304和数字信号处理层304之间的特征提取层306，但是在一些实施方式中，手势检测层308可以使用从特征提取层、数字信号处理层以及归一化数字传感器信号输出的数据。响应于对原始手势的检测，响应装置将输入引导到应用程序，如310所示，应用程序响应于此执行操作。
[0134]
如图3所示，在一些实施方式中，可使用被称为机器学习模型的计算模型检测姿势、位置或原始手势。机器学习模型是由机器学习处理使用标记数据训练的模型，在下面更详细地描述其示例。通常，以还将数据标记为表示已知姿势、位置或原始手势的方式来收集来自一个或多个用户接口装置的数据，例如，归一化的数字传感器信号、经滤波的归一化的数字传感器信号或从这些信号中提取的特征集的流。机器学习(ml)训练模块320接收标记的数据，并为经训练的机器学习(ml)模型322生成参数。ml训练模块320可以在用户接口装置和响应装置之间的实时交互之外处理该数据。通常，通过向手势检测层308提供经训练的ml模型的参数，将经训练的ml模型322提供给手势检测层308，手势检测层在其模型的实施方式中应用这些参数。因此，将经训练的模型的参数提供给用户接口装置内的部件或响应装置内的部件，例如，操作系统、装置驱动程序或应用程序，其负责执行手势检测。
[0135]
现已描述了各处理层之间的交互，现将描述这些不同层的一些示例性实施方式。
[0136]
在这些处理阶段的某些时候，在用户接口和响应装置之间传输信息。这种处理可以被认为是信号传输层(图3中未示出)，但是根据实施方式，在信号传输层上从用户接口装置传输到响应装置的信号可以是层302、304、306或308中任何一层的输出。换言之，用户接口装置可以传输归一化数字传感器信号、滤波后的归一化数字传感器信号、从这些信号导出的特征集流、或者从这些信号导出的姿势或位置信息、或者基于这些数据检测的原始手势、或者这些的任意组合。任何特定实施方式的合适设计取决于在将数据传输到响应装置之前在用户接口装置内要执行多少处理以及在响应装置上使用的信息，以执行任何进一步的处理，这取决于实施方式的设计约束。
[0137]
在本文中，该信号传输层被称为装置接口。装置接口包括在用户接口装置和响应装置之间传输的信息的类型和格式的规范、传输这种信息的协议以及传输信息的通信系统。在一些实施方式中，用户接口装置实现流数据协议，以基于生物电位和位置传感器的输出来传输数字样本流。响应装置可以在装置接口上向用户接口装置发送消息和反馈。因此，装置接口可以是双向的。可替代地，可以有单独的装置反馈接口。这种反馈接口可以具有其自己的在响应装置和用户接口装置之间传输的信息的类型和格式的规范、传输这种信息的协议以及传输信息的通信系统。在一些实施方式中，反馈接口由异步消息传递提供。在一些实施方式中，通信系统是用户接口装置和响应装置之间的无线蓝牙连接。
[0138]
在这些处理阶段的某些时候，信息也可在响应装置内从在响应装置上运行的第一应用程序(可能是用户接口装置的操作系统或装置驱动程序)传递到在响应装置上或与响应装置相关的机器上运行的第二应用程序。在一些实施方式中，第一应用程序包括手势检测层，并且第二应用程序被设计成响应于第一应用程序的输出。在一些实施方式中，第二应用程序可以具有一组可以影响应用程序的行为的预期输入，并且从用户接口装置接收的数据被第一应用程序映射到这些输入。在一些实施方式中，第一应用程序不执行手势检测，而
是将诸如数字样本或特征集流等数据传递给第二应用程序，并且第二应用程序执行手势检测。
[0139]
在本文中，应用程序接口是指在响应装置内从第一应用程序向第二应用程序(或更一般地，向在响应装置上运行的应用程序)传递的信息以及用于此类通信的协议(包括数据格式和消息协议)。因为可能有由第二应用程序生成的输出(例如，消息和反馈)要由响应装置发送到用户接口装置，所以该应用程序接口可以是双向的。或者，可以有一个单独的应用反馈接口，该接口具有其自己的数据格式和消息协议。
[0140]
在一些实施方式中，例如，作为操作系统的一部分在响应装置上运行的用户接口装置的装置驱动程序(第一应用程序)，第一应用程序可以包括用于处理与用户接口装置的交互的装置接口以及用于处理与第二应用程序的交互的应用程序接口。
[0141]
在一些实施方式中，第一和第二应用程序组合成单个应用程序，使得单个应用程序实现装置接口，以处理与用户接口装置的交互，否则直接处理来自用户接口的信息，无需另一应用程序的干预。
[0142]
可有多个应用程序接口提供多层处理。例如，操作系统内的装置驱动程序(第一应用程序)可以将从用户接口装置接收的数据处理成关于检测到的特征、或检测到的姿势、或位置信息、或检测到的原始手势的信息；又一个应用程序(第二应用程序)可以进一步处理这样的信息，例如，将这样的信息映射到相应的事件中，以模拟另一种输入装置，并且将这样的事件提供给又一个第三应用程序。
[0143]
在该上下文中，用户接口装置100(图1a)产生位置信号102和生物电位信号104，响应装置200(图2a至图2d)通过装置接口接收基于这些信号的数据202。在响应装置内，基于接收的数据202的信息可以通过应用程序接口传递给一个或多个应用程序。通过装置接口和应用程序接口传输的数据内容取决于发生不同处理阶段的位置。
[0144]
当用户接口装置由电池供电且无线连接以向响应装置传送数据时，为了减少在用户接口装置上执行的处理量，用户接口装置可以被配置为实现装置接口，以传输归一化数字传感器信号。在该实施方式中，在响应装置上发生数据的进一步处理。
[0145]
在可用于实现响应装置的许多计算装置中，操作系统通常使用装置驱动程序，管理从输入装置(例如，用户接口装置)到应用程序的数据传输。一些操作系统可以允许来自输入装置(例如，用户接口装置)的数据绕过操作系统，直接传送到应用程序的存储器。装置驱动程序可以实现与用户接口装置通信的装置接口和与应用程序通信的应用程序接口，并且应用程序实现应用程序接口。
[0146]
在装置接口向响应装置提供归一化数字传感器信号的实施方式中，响应装置上的部件处理这些信号，以产生应用程序的输入。在一些实施方式中，装置驱动程序可以将接收到的数据传递给应用程序，在这种情况下，应用程序实现特征提取和手势检测层。在一些实施方式中，装置驱动程序可以实现特征提取层，并且应用程序可以实现手势检测层。在一些实施方式中，装置驱动程序可以实现特征提取层和手势检测层。在一些实施方式中，第一应用程序实现手势检测层的一部分，并将处理后的信息传递给第二应用程序。
[0147]
这种用户接口装置与这种响应装置的配对支持许多不同的上下文，在这些上下文中，人员可与机器进行交互。这种使用上下文的示例包括但不限于以下任何一个或多个。
[0148]
响应装置和用户接口装置的组合可以具有非常小的显示器或根本没有显示器。这
个人员可能不能使用显示器。这个人员可能正专注于一个对象，而不能同时看着该对象和显示器。这个人员可能正抓着或握着另一个对象。这个人员可能无法向触摸屏或类似装置提供触摸输入。这个人员可能需要腾出手来拿对象而不是用户接口装置。这个人员可能不能提供听觉输入。这个人员可能无法提供语音输入。这个人员可能无法说话。这个人员在他们当前的环境中说话或制造噪音可能是不安全或不希望的。这个人员可能无法接收听觉反馈。这个人员在他们当前的环境中接收听觉反馈可能是不安全或不希望的。这个人员可能身体受限或受损，或者可能行动受限。这个人员可能处于需要有限的可感知活动的情况，包括运动或移动。在这种上下文和其他上下文中，这个人员可能试图与类似上下文中的其他人员进行通信或交互。
[0149]
为支持这种上下文中的此类人机交互，响应装置响应于接收到的数据，基于用户接口装置上产生的位置信号和生物电位信号(例如，手指和手的运动以及手腕和手臂的运动的结果)和用户接口装置的用户输入、基于用户接口装置上的其他传感器接收的数据、来自任何来源的关于上下文的数据及其组合，执行操作。反过来，这个人员通过用户接口装置、响应装置、机器或其他反馈装置或其组合中的一个或多个接收反馈。
[0150]
要执行的操作也可基于用户接口装置上任何其他传感器的信息，或基于用户接口装置、响应装置或机器中的一个或多个可用的其他上下文信息。可用于执行操作的其他上下文信息的示例包括但不限于以下内容及其组合。可以使用来自另一个人员穿戴的用户接口装置的信息。可以使用来自另一装置的传感器的信息，例如，来自与人员相关联的装置的全球定位信息。可以使用从本地或远程数据库访问的信息。
[0151]
更具体而言，基于位置信号和生物电位信号，检测在某个时刻发生的原始手势。在一些情况下，基于原始手势的出现来选择要执行的操作。在一些情况下，基于序列中多个原始手势的出现来选择要执行的操作。在一些情况下，基于两个或更多个原始手势的共现来选择要执行的操作。在一些情况下，基于这种发生的一个或多个上下文来选择要执行的操作。要执行的操作的这些基础的组合也是可能的。
[0152]
为了示出可基于生物电位信号和位置信号检测的各种原始手势，以下描述基于穿戴在人员手腕上的用户接口装置的示例。
[0153]
如以下结合图4a更详细描述的，可将原始手势表征为以下序列：在第一时刻的手的第一姿势或手腕的第一位置或这两者；以及在第一时刻之后的第二时刻的手的第二姿势或手腕的第二位置或这两者。在一些原始手势(例如，保持)中，第一和第二位置是相同的。原始手势也可以被认为是检测这样的转换，或者没有转换。
[0154]
可通过从位置信号提取的一组特征或从生物电位信号提取的一组特征或这两者来表征原始手势，从而将该原始手势与其他原始手势区分开来。该组特征可以从信号样本的单个窗口中提取，或者从信号样本的连续窗口序列中提取。在一些实施方式中，表征原始手势的这组特征对应于手的一个或多个姿势或手腕的一个或多个位置或这些的组合。
[0155]
可通过一个或多个状态来表征原始手势，如以下结合图4c更详细描述的：原始手势出现之前窗口中信号的初始状态(第一组特征)；指示在原始手势出现的开始时发生的窗口中的信号变化的开始(第二组特征)；在紧接在开始之后一个或多个窗口中信号的状态或变化(第三组特征)；以及原始手势结束时窗口中的信号变化(第四组特征)。原始手势可以具有认为检测到原始手势的时刻。原始手势可存在一段时间，因此可以具有原始手势开始
的时刻和原始手势结束的时刻。
[0156]
由于位于手腕顶部的生物电位传感器(图1a中的106)的输出与控制手和手指的肌肉活动有关，因此生物电位信号是关于手姿势的重要信息来源。然而，如果手腕顶部的位置(即，位置或方向)由于手臂运动而改变，则这种手臂运动会导致生物电位传感器的电极与皮肤的接触程度和接触位置不一致，进而导致生物电位信号的产生不一致。因此，当手臂运动时，手臂运动会降低从生物电位信号检测手的姿势的能力。在出现这种不一致的应用程序中，当检测到显著的手臂运动时，可以忽略基于生物电位信号的数据。在本文中，这种忽略生物电位信号的操作被称为“运动静音”。因此，在一些实施方式中，为了检测基于手的姿势的原始手势，刚好在可以检测到姿势的第二窗口之前的第一窗口中的信号的初始状态可以是手腕位置没有显著变化。在手腕位置没有显著变化的情况下，分析生物电位信号，以检测手的姿势。
[0157]
虽然可检测手的多种可能姿势，但本文描述了与抬起一个或多个手指相关的几种姿势。手指的运动可以包括伸展或收缩或者这两者。为手指的不同原始手势产生的生物电位信号的差异可用于区分不同的原始手势。通过处理生物电位信号，以指示与举起一个或多个手指相关的姿势，可以检测到非常轻微的手指运动，其中，可以在握住对象时或隐藏手(例如，放在人员的口袋中)时执行这些手指运动。
[0158]
参考图4a，在中间位置452显示手450。用户接口装置454被示为穿戴在手腕456的顶部附近。如460所示，当手指从该中间位置452抬起时，最靠近手的第一关节458朝向手背旋转并远离手掌，这与朝向手掌收缩手指相反。这种运动也不同于手指在第一关节不朝向手背旋转的情况下伸展或伸直的轻弹或点。任何手指或多个手指按顺序或一起都可以抬起。抬起手指也可以理解为将手指抬离表面的动作，例如，桌面或被握住的对象，同时手掌放在该表面上。当手保持在原位时，手指抬离表面。表征这种运动的“开始”或第二组特征是生物电信号通道中振幅的突然增加。生物电位信号的通道之间的差异允许区分一个手指(例如，食指)的抬起与其他手指的抬起。
[0159]
在手指抬起(460)一小段时间时发生本文中称为“抬起”的原始手势，可由固定或可调阈值定义，然后返回到静止状态(例如，452)，其中，生物电位信号不再指示手指抬起。因此，紧接着在开始(第三组特征)之后的一个或多个窗口中的信号的状态或变化是与抬起的手指相关的生物电位信号的突然下降。在检测到与抬起的手指姿势相关的生物电位信号中的少量幅度升高的窗口，随后检测到与抬起的手指相关的生物电位信号显著下降的多个窗口时，可以认为检测到抬起。当检测到时，可以认为提起结束，因此不涉及检测第四组特征来认为提起结束。
[0160]
当手指抬起(460)并以该姿势保持一段时间(460)时，发生本文称为“保持”的原始手势。定义抬起与保持的时间段可以是固定的或可调节的阈值。因此，紧接在开始(第三组特征)之后的一个或多个窗口中的信号状态或变化是与抬起的手指相关的生物电位信号的持续升高的幅度，而没有进一步的实质手腕运动。在与抬起的手指相关的生物电位信号中检测到两个或更多个幅度升高的窗口时，就可以认为检测到了保持。当与抬起的手指相关的生物电位信号显著下降时，可以认为保持结束，这表示定义保持的第四组特征。
[0161]
当手指抬起(460)并处于“保持”手势(460)时，发生本文称为“手指滑动”的原始手势，然后移动手臂，使得手腕的位置随着在一个方向上的扫动而改变，例如，如462处所示的
向右或向左，或如464处所示的向上或向下。因此，紧接在开始(第三组特征)之后的一个或多个窗口中的信号状态或变化是在给定方向上超过阈值的量的手腕位置的变化。在检测到抬起和保持手势之后检测到手腕运动时，可以认为检测到了手指滑动，而不涉及检测到第四组特征来认为手指滑动结束。类似于手指滑动的原始手势是抬起并保持姿势的组合，随后是如466所示手腕顶部顺时针或逆时针方向旋转。
[0162]
在一段时间内，当手指从初始姿势452缓慢抬起至抬起姿势454时，发生本文称为“模拟抬起”的原始手势。与没有运动相比，对于模拟抬起，生物电位信号的幅度通常升高，但最初低于生物电位信号指示抬起时的幅度，但也随着一段时间逐渐增加。因此，紧接在开始(第三组特征)之后的一个或多个窗口中的信号状态或变化是与抬起的手指相关的生物电位信号的持续增加。在检测到与抬起的手指相关的生物电位信号中的两个或更多个连续变化窗口(增加或减少)时，可以认为检测到了模拟抬起。当与抬起的手指相关的生物电位信号返回到其初始状态时，可以认为模拟抬起结束，这表示定义模拟抬起的第四组特征。因此，模拟抬起可以用作输入，以在模拟抬起持续一段时间的同时缓慢增加或减小值。
[0163]
由于位置传感器(图1a中的108)位于手腕的顶部时，其输出与手腕的位置相关，因此位置信号可作为手腕顶部的关于位置、方向及其任何变化的主要信息来源。使用位置信号可以区分手腕顶部的不同位置、方向和运动。手腕的位置和位置变化可以解释为各种原始手势。
[0164]
现将描述基于位置的原始手势的两个说明性示例：相对位置和旋转。相对位置可以基于沿着一个或多个轴的位置。在下面的示例中，参照位置映射到的一维、二维或三维中的两个或更多元件的网格来定义相对位置。在下面的示例中，网格被描述为具有三个垂直元件和三个水平元件。同样，旋转可以基于方向。在下面的示例中，旋转被表示为手腕相对于肘部在两个或更多个180
°
细分中的旋转角度。在下面的示例中，细分被描述为正或负n
°
旋转(从 90
°
到-90
°
)。可以基于位置信号来定义主要与位置相关的各种其他原始手势，无论是单独还是与其他信号相结合。
[0165]
可检测手腕和手相对于肘部的方位或旋转，例如，基于位于手腕处的陀螺仪传感器检测到的“滚动”。例如，如图4a所示，手腕可以处于“中间”位置452，或者顺时针旋转90
°
，或者“手掌朝上”位置470，或者逆时针旋转90
°
，或者“手掌朝下”位置472，或者可以处于从一个方位旋转到另一个方位的过程中。使用三个不同的相对旋转位置(方位)仅仅是示出性的；根据旋转检测的粒度和可靠性，可以使用任意数量的不同相对旋转位置。旋转量可以用n
°
旋转来表示。
[0166]
也可检测手相对于手腕的方位(手相对于手腕处前臂的弯曲量)。例如，手的方位可以相对于手腕处于“上”位置、“下”位置或“中间”位置。使用三个不同的相对方位仅仅是示出性的；根据方位检测的粒度和可靠性，可以使用任意数量的不同相对方位。方位可以由例如距中间的n
°
偏移、或方向的分类、或方向来表示。也可以检测手相对于手腕向左或向右的旋转。
[0167]
可基于臂垂直运动开始、结束或期间的位置检测相对垂直位置，例如，通过抬起或降低臂。例如，如图4b所示，手腕可以是“高的”或“向上的”，例如，在肩部上方480处；“低的”或“向下的”，例如，在臀部下方482处；或“中等”或“中间”，例如，在臀部和肩部之间484处，或者可以在从一个位置移动到另一个位置的过程中。将肩部和臀部用作阈值仅仅是示出性
的；可以使用其他阈值高度或参考点。例如，可以确定手腕相对于肘部而不是肩部的高度。同样，使用三个不同的相对高度仅仅是示出性的；根据位置检测的粒度和可靠性，可以使用任意数量的不同相对垂直位置。该方向可以由相对于诸如肘部或腰部或臀部等锚点的径向方向来表示。可以提供该信息，作为角度，当用户接口装置穿戴在手臂上时，该角度可以表示手臂角度。
[0168]
类似地，可基于手臂水平运动开始、结束或期间的位置检测相对水平位置，例如，通过向左或向右扫动手臂。例如，手腕可以在穿戴者的“左”、“中”或“右”，或者可以在从一个这样的位置移动到另一个位置的过程中。使用三个不同的相对水平位置仅仅是示出性的；根据位置检测的粒度和可靠性，可以使用任意数量的不同相对水平位置。该方向可以由相对于锚点(例如，肘部或脊柱)的径向方向来表示。在一些实施方式中，水平方向可以例如由地磁传感器提供。在一些实施方式中，可以从来自初始参考位置的加速度计或陀螺仪数据中导出水平方向。
[0169]
应用程序可以包括允许用户改变相对位置的定义的图形用户界面。例如，可以基于用于定义相对垂直和水平位置的阈值来定义具有多个网格元件的网格。图形用户界面可以向用户呈现该网格的图形表示。用户可以操纵定义相对水平或垂直位置的网格元件的数量和大小。例如，如图6和图8所示(下面将更详细地描述)，如果在触摸屏或其他允许选择显示对象的传统图形用户界面上显示，则用户可以选择和移动定义网格的线。响应于用户选择，响应装置上的应用程序更新网格元件的尺寸。在此操作过程中，可以交互显示更新的网格元件。当完成时，更新的网格元件可用于将手腕位置信息处理成相对垂直和水平位置。
[0170]
如上所述，可检测的其他原始手势基于在某一时刻或按时间顺序检测的或在某一时刻同时发生的一个或多个姿势或位置。一种特别有用的原始手势是旨在使响应装置开始处理来自用户接口装置、或来自另一输入装置或传感器、或这两者的信号的原始手势。这种原始手势在本文被称为“唤醒词”。在一些实施方式中，在处理来自用户接口装置的信号之前，用户接口装置可以被设置为不从除了提供信号的传感器之外的传感器发送数据的状态，从该信号中检测定义唤醒词的原始手势。唤醒词可用于“解锁”用户接口装置，并开始处理从用户接口装置接收的数据。类似地，相同的唤醒词或另一个原始手势(“睡眠词”)可用于“锁定”用户接口装置并停止处理从其接收的数据。这种唤醒词或睡眠词可以控制由响应装置执行的处理，或者可以专用于在响应装置上运行的应用程序，或者两者兼有。
[0171]
唤醒词或睡眠词可为可从主动监控的传感器检测到的任何原始手势序列。理想地，定义唤醒词的原始手势序列不可能从手腕或手臂的普通运动或手或手指的运动中自然出现；相反，这种原始手势的序列应该很可能只是由人员有意产生的。例如，以特定的n
°
旋转序列旋转手腕(如下所述)可以用作唤醒词。
[0172]
在一些实施方式中，可由响应装置的操作系统的低级驱动程序处理定义唤醒词或睡眠词的原始手势序列，作为激活或去激活响应装置对从用户接口装置或从另一传感器或输入装置接收的数据的处理的信号。在一些实施方式中，定义唤醒词或睡眠词的原始手势序列可以由应用程序来处理，作为基于响应装置处理从用户接口装置接收的数据来激活或去激活应用程序的输入处理的信号。在一些实施方式中，可以在用户接口装置上处理定义唤醒词或睡眠词的原始手势序列，以激活或去激活从用户接口装置到响应装置的数据传输。在这样的实施方式中，响应装置可以被配置为连续处理从用户接口装置接收的数据。在
一些实施方式中，唤醒词或睡眠词可以激活另一种形式的输入装置或传感器数据的处理，例如，激活应用于从用户接口装置、响应装置或其他装置上的麦克风接收的音频信号的语音识别。
[0173]
在用于解锁和锁定用户接口装置的唤醒词或睡眠词均由响应装置的操作系统的低级装置驱动程序处理的情况下，在一些实施方式中，响应装置可通过响应装置的输入端口从用户接口装置接收信号。该输入端口的装置驱动程序可以处理接收到的信号，以确定是否接收到解锁命令或锁定命令。响应于接收到解锁命令，后续数据可以被传递到响应装置的操作系统，以供操作系统或由操作系统管理的其他应用程序进一步处理。类似地，响应于接收到锁定命令，装置驱动程序可以停止将数据从用户接口装置传递到响应装置的操作系统。
[0174]
现参考图4c，状态图用于示出检测原始手势的操作。通常，要处理的数据是数字样本序列的形式，具有每个样本的幅度和采样率。系统定义了一系列样本“窗口”。样本窗口可以由a.信号中的某一时刻和b.该时刻周围的一段时间或多个样本来指定。对于每个窗口，使用数字信号处理技术基于该窗口中的样本计算特征。对于每个窗口，处理该窗口中的采样数据和从采样数据中提取的任何特征，以确定在该窗口中是否检测到与原始手势相关的特征。任何给定的窗口或窗口集合都可以被标记为表示原始手势或不表示原始手势。关于在先前处理的窗口中检测到的特征的信息可用于确定在当前窗口中是否检测到原始手势。下面提供了关于如何处理窗口的更多细节。将所接收的数据处理为样本和相应特征的窗口允许基于状态和顺序的方法来处理所接收的数据，以检测出现原始手势、原始手势的组合和原始手势的序列。这种基于状态的处理的示例性实施方式如图4c所示。
[0175]
在从用户接口装置接收到任何唤醒词之前，处理从初始状态400开始。响应于除唤醒词之外的数据，如402所示，处理保持在该初始状态400。响应于检测到唤醒词，处理转换到状态404，如406所示。在这种状态下接收的唤醒词可以用于转换440回到初始状态400。
[0176]
在状态404中，处理主要监控来自手腕上的位置传感器的信息。只要来自手腕上的位置传感器的信息指示实质运动，处理就保持在该状态404，如408所示，有效地实现运动静音。在这种状态下，可以基于来自位置传感器的信息更新关于手腕的位置和方向的信息。如果手腕没有实质性的运动，则可以分析来自生物电位传感器的信息，以确定是否存在手或手指运动的任何指示，例如，手指抬起。在检测到手指抬起时，发生向抬起状态410的转换，如412所示。可以为与其他运动相关的其他特征的检测提供类似的状态。
[0177]
在抬起状态410下，通过分析随后接收的数据，处理确定检测到的运动是否指示抬起、模拟抬起或保持以及指示这些中的哪一种。如果检测到的移动指示抬起，则可以响应于抬起来执行操作，并且可以发生回到状态404的转换414。例如，所执行的操作可以基于检测到抬起时手腕的当前位置和方向。
[0178]
如果检测到的运动指示模拟抬起，则发生向模拟抬起状态418的转换416。在这种状态下，可以发生响应于模拟抬起的操作，同时继续检测模拟抬起，如420所示。所执行的操作可以基于检测到模拟抬起时手腕的当前位置和方向。当模拟抬起结束时，可以发生回到状态404的转换422。
[0179]
如果检测到的运动指示保持(生物电位传感器检测到手指肌肉的持续激活水平)，则发生向保持状态426的转换424。在这种状态下，可以发生响应于保持的操作，同时继续检
测到保持，并且没有检测到手腕的运动，如428所示。当停止检测到保持时，可以发生回到状态404的转换432。如果检测到手腕的运动，同时还继续检测到保持，则发生到状态434的转换430，并且手指滑动被指示为在状态434中检测到，并且可以执行相应的操作。在执行了与手指滑动相关的操作之后，可以发生回到状态404的转换436。在状态428或434中执行的操作可以基于检测到保持或手指滑动时手腕的当前位置和方向。
[0180]
现在参考图5，现在将描述数据流程图，示出响应装置(图2a至图2d中的200)响应于基于来自用户接口装置(图1a中的100)的传感器的信号接收的数据(202)的行为，以向应用程序提供输入。在激活响应装置，以接收和处理来自用户接口装置的信息之后，响应装置可以基于信息502和信息504以及这两者的组合来执行操作，信息502是从位置传感器检测到的手腕位置导出的，信息504是从生物电位传感器检测到的与肌肉运动相关的生物电位导出的。信息502和504可以是由来自用户接口装置的数据的任何处理层产生的任何数字样本、特征、姿势、位置或检测到的原始手势和状态信息以及任何其他可用的上下文信息。在一些实施方式中，响应装置可以包括选择模块706，其可以选择应用程序(508-1、508-2、
…
、508-n)。在应用程序(508-1、508-2、
…
、508-n)内，应用程序基于信息510执行动作，信息510可以包括信息502或504以及由响应装置或应用程序从这些信息中导出的任何额外信息。
[0181]
应用程序可基于一个或多个检测到的手腕位置或检测到的手的姿势或其组合来选择操作。在一些实施方式中，响应装置可以将动作与手腕的位置相关联，并且当手腕处于给定位置时，可以响应于检测到的手的姿势来激活那些动作。如上所述，可以在图形用户界面中操纵定义用于确定相对手腕位置的阈值的设置。这样的设置还可以包括将一个或多个动作与一个位置相关联，该一个或多个动作具有在手腕处于该位置时可能发生的姿势或其他原始手势。
[0182]
现将描述若干额外示例，以进一步说明响应装置的此类行为。
[0183]
第一示例
[0184]
在一个示例性实施方式中，不同的应用程序被分配到手腕相对于身体的不同位置。例如，第一应用程序可以被分配到“向上”位置，第二应用程序可以被分配到“向下”位置，第三应用程序可以被分配到“中间”位置。响应装置在确定用户接口装置处于向上位置时，将输入引导到第一应用程序。响应装置在确定用户接口装置处于向下位置时，将输入引导到第二应用程序。响应装置在确定用户接口装置处于中间位置时，将输入引导到第三应用程序。
[0185]
例如，引导到应用程序的输入可基于用户接口装置处于给定位置时检测到的一个或多个原始手势。例如，当用户接口装置处于向上位置时，用户可以用食指执行抬起。然后，基于该原始手势的输入被传递给第一应用程序。作为另一示例，当用户接口装置处于向下位置时，用户可以执行n
°
手腕旋转。然后，基于该原始手势的输入被传递给第二应用程序。作为另一示例，当用户接口装置处于中间位置时，用户可以执行n
°
手腕旋转，然后用食指抬起。基于该原始手势序列的输入被传递给第三应用程序。
[0186]
作为一个具体的说明性使用情况，一个人员可能在走路时携带移动计算装置(响应装置)，例如，手机，同时穿戴带有惯性测量单元和生物电位传感器的腕带(用户接口装置)。移动计算装置可以在人员的口袋中，或者握在人员的手中，或者可以戴在手腕上，或者在人员身体的其他地方。移动计算装置和用户接口装置可以组合在同一装置中。移动计算
装置可以具有显示器，但是该显示器对于人员来说可能是可见的，也可能是不可见的。移动计算装置通常具有操作系统，例如，ios操作系统或android操作系统，并且可以运行一个或多个应用程序。例如，第一应用程序可以是天气应用程序，第二应用程序可以是音乐回放应用程序，第三应用程序可以是地图应用程序。这个人员可能戴着与移动计算装置通信的耳机，或者移动计算装置可能具有扬声器，以在移动计算装置的指导和控制下回放音频。
[0187]
使用该示例设置，这个人员可将其手举过头顶，然后抬起食指。在这种情况下，移动计算装置将食指抬起，以指向天气应用程序，这又可以使得移动计算装置例如使用语音生成版本或当前天气预报的记录通过耳机播放音频。
[0188]
这个人员可使其手臂、手腕和手处于中间位置，并抬起食指。在这种情况下，移动计算装置将抬起食指，指向音频回放应用程序，这又可以使得音频回放应用程序开始回放音乐。要回放的当前音乐选择可以由各种默认设置来确定。回放开始后，音频回放应用程序可以关注进一步的输入，这将提供各种回放控制(参见下面的第二示例)。
[0189]
这个人员可将其手降低至腰部或臀部以下的较低位置，并抬起食指。在这种情况下，移动计算装置将抬起食指，指向地图应用程序，这又可以使得移动计算装置例如使用语音生成版本或用户在地图上的当前位置的描述的记录通过耳机播放音频。
[0190]
在该示例性实施方式中，移动计算装置的操作系统或在移动计算装置上运行的控制应用程序可以包括图5中的选择模块506。选择模块可以包括将检测到的手腕位置映射到应用程序。例如，选择模块可以维护诸如表格等数据结构，该数据结构存储表示检测到的手腕位置与相应应用程序的关系的数据。响应于从用户接口装置接收到指示检测到的手腕位置的数据，操作系统或控制应用程序可以基于从用户接口装置接收到的数据，选择对应于该手腕位置的应用程序，作为与检测到的原始手势相关联的任何动作的目标。
[0191]
第二示例
[0192]
作为另一示例性实施方式，考虑可选择多种功能的应用程序，例如，音频回放应用程序。音频回放操作的示例包括播放、停止、暂停、向前跳、向后跳、选择播放列表、选择播放列表中的项目等。
[0193]
在该示例性实施方式中，可将不同操作分配给m
×
n网格中的不同元件，最小网格尺寸为1
×
2或2
×
1，即最少两个网格元件。网格可以是矩形的，网格内的网格元件可以是矩形的、均匀的和相邻的。网格元件可以是非矩形的。网格元件可以是不均匀的。网格元件可以不相邻。网格元件可以具有不同的形状和尺寸。网格元件可以二维或三维排列。网格元件的形状和大小可以是用户定义的和用户可修改的，或者可以由计算机系统定义并且可以是固定的，或者是这两者的组合。网格中的每个元件都可以分配给一个或多个要执行的操作。该应用程序可以包括多个网格，其中，响应于在一个网格是活动的同时发生的原始手势，导致该应用程序激活另一个网格来处理进一步的原始手势。
[0194]
考虑到当前活动的应用程序和当前活动的操作集，可以将检测到的手腕位置可选地结合一个或多个检测到的姿势或原始手势传递给当前活动的应用程序。当前活动的应用程序又至少基于检测到的手腕位置来执行一个或多个操作。该应用程序使用检测到的位置来选择当前活动网格的网格元件，然后执行与该网格元件相关联的操作。所执行的操作可以取决于检测到的姿势或原始手势。
[0195]
表示操作集的网格及其对检测位置的映射可能对用户不可见。然而，尽管对用户
不可见，但是一个或多个网格在概念上或虚拟上是用户已知或理解的，使得用户可以选择用户知道将被解释为与网格的对应元件相关联的位置。在一些应用程序中，网格可能在显示器上可见。
[0196]
作为具体的说明性使用情况，考虑为其提供各种操作的音频回放应用程序，例如，开始、停止和暂停回放、向前跳、向后跳、音量增大和音量降低。参考图6，示出表示操作到位置的概念性空间映射的示例性网格。在这个示例中，开始、停止和暂停被映射到中心区域600。向前跳被映射到右边的区域602；向后跳被映射到左边的区域604。音量增大被映射到顶部的区域606；音量降低被映射到底部的区域608。可以以某种方式向用户解释操作到位置的这种映射，使得用户可以在概念上理解不同区域位于何处以及与其相关联的操作。在具有显示器的装置上，可以在显示器上呈现该映射的可视化。
[0197]
当音频应用程序为用于接收输入的活动应用程序时，响应装置可基于检测到的原始手势向音频应用程序提供输入。在一个示例性实施方式中，响应于检测到原始手势，输入可以激活空间(虚拟或“真实”)菜单，如图6所示。当食指抬起时，手腕的运动(即，进行手指滑动)允许执行其他操作。例如，手指向右或向左滑动允许选择向前跳或向后跳操作。手指向上或向下滑动允许选择音量增大或音量降低操作。通过围绕肘部旋转前臂来旋转手腕，可以用于提供额外的输入。当用户停止将食指保持在抬起位置时，关于手腕运动的操作处理可以结束。
[0198]
例如，用户可将手腕置于相对于身体的中间位置，进行食指抬起，将食指保持在抬起位置，同时将手腕移向右侧，然后松开食指抬起。响应于手的手腕位置和姿势的这种组合，响应装置将手腕位置和姿势信息引导到音频应用程序。接着，音频应用程序激活网格800，并处理手腕位置和手势信息，作为来自用户的跳到播放列表上的下一首歌曲的指令。音频应用程序开始回放播放列表中的下一首歌曲。在用户停止抬起食指之后，音频应用程序停止处理关于网格的输入，并继续回放所选歌曲。作为另一示例，模拟抬起可以用于逐渐增加或减少装置上播放的声音的音量。
[0199]
应用程序可根据基于用户接口装置接收的信息维护状态信息。现在参考图7，应用程序可以处于第一收听状态700，在该状态中，诸如食指抬起并保持等第一原始手势可以激活对与第一网格的多个网格元件相关的进一步输入的监控。第一原始手势调用到第二状态704的转换702。在该第二状态下，在第一原始手势之后检测到的手腕运动可用于确定空间位置，该空间位置又被映射到一个或多个网格元件，称为所选网格元件。可以为每个网格元件分配特定的状态(例如，706、708)。在一些实施方式中，当手腕保持在对应于所选网格元件的空间位置时，例如，在状态708，可以执行与所选网格元件相关的操作，如710所示，例如，增加音量。该应用程序可以保持在这种状态，直到用户移动手腕位置，使其不再位于该网格元件上，或者直到不再激活该网格或应用程序。
[0200]
在一些实施方式中，当手腕处于对应于所选网格元件的空间位置时，例如，在状态706中，与所选网格元件相关的操作可在另一第二原始手势发生后进行处理，如到状态714的转换712所示。因此，通过用户将手腕放置在中间垂直位置(对应于处于状态700的音频应用程序)，执行食指抬起(激活命令网格并转换到状态704)，向上滑动手腕(导致转换到状态706)，然后执行另一动作，例如，n
°
旋转(导致转换到状态714)，可以将应用程序置于状态714。在处理该另一状态714的操作之后，可以发生向另一状态的转换，例如，向状态704或
700的转换。
[0201]
通过在状态之间切换，例如，在状态706和708之间切换，食指抬起时手腕的运动可使应用程序在不同网格元件之间切换其选择。例如，在用户最初向右移动手腕并且应用程序最初向右选择网格元件之后，用户可以向左移动手腕，使得应用程序向左选择网格元件。诸如结束食指抬起并保持之类的第三原始手势可以终止与空间元件相关的手腕的运动信息的处理，从而导致返回到初始状态700的转换。
[0202]
第三示例
[0203]
作为另一说明性使用情况，考虑一种用于微型无人员驾驶飞行器(即无人机)的控制器，该飞行器具有响应于通过无线电频率无线接收的命令以控制飞行器运动的控制器。对于这样的飞行器，可以提供各种控制操作来控制运动，例如，引导其向上或向下移动、悬停、向左或向右旋转、或向前或向后移动、或这些的某种组合。这种控制通常被称为“低级”控制。唤醒词可用于通过用户接口装置启动这种低级控制。
[0204]
参考图8，示出表示手腕位置到操作的空间映射的示例性网格。在该示例中，手腕运动的缺失被映射到悬停操作，如中心区域800所示。映射到右部中心的区域802的手腕向右的运动被映射到向右移动无人机。映射到左部中心的区域804的手腕向左的运动被映射到向左移动无人机。映射到顶部中心的区域806的手腕向上的运动被映射到向上或向前移动无人机。映射到底部中心的区域808的手腕向下的运动被映射到向下或向后移动无人机。向上/向前或向下/向后之间的区别可以基于检测到的手指移动来实现。例如，与向上或向下手腕位置相结合的保持可以发出向上或向下移动无人机的信号；然而，保持的缺失会导致无人机向前或向后移动。左上角和右上角以及左下角和右下角可以指示手腕的组合运动，或者可以映射到另一个命令。顺时针或逆时针的手腕n
°
旋转(图8中未示出)也是手腕运动，其可以被映射到无人机在相应方向和量上的相应旋转。
[0205]
使用地理位置的示例
[0206]
在一些实施方式中，响应装置可使用基于从一个或多个用户接口装置接收的数据的信息来确定地理位置。在一些实施方式中，使用从一个或多个其他用户接口装置或一个或多个其他传感器、或其他信息源、或这些的任意组合接收的额外传感器信息或额外上下文信息或这两者来辅助该确定。
[0207]
可确定地理位置的一些示例性场景包括但不限于以下情况。
[0208]
一个人员可以指向特定方向，例如，北或南，并可能需要关于该大致方向的对象的信息。一个人员可以指向街角或建筑物，可能想要关于该街角或建筑物的信息，或者仅仅是为了识别该街角或建筑物。一个人员可以指向一个方向，并且可能想要在地图上设置一个点。例如，一个人员可以指向他们的脚，以在地图上设置点，或者将他们的位置传送给另一装置。一个人员可以指向一个方向来识别对象，例如，在打猎时发现鹿或其他动物，或者在游戏或其他活动中进行交流。
[0209]
多个人员可以指向大致相同的位置或相同的对象。多个用户可能想要合作来选择或识别同一对象。多个用户可能想要合作来选择或识别多个对象。一个或多个对象可能正在移动。例如，多个消防队员可以指向同一窗户或建筑物上的其他位置。街道上的多个人员可以指向街道上的同一辆车。例如，几名警察可以指向同一辆车。一个场所中的多个人员可以指向大致相同的位置。城市公园里的多个人员可能会指向一个对象。例如，安全人员可以
指向同一个人员，或者指向一扇开着的门，或者指向一个对象。在搜索和救援任务中的多个人员可以识别对象或者要被救援的人员或动物或者危险或障碍物。
[0210]
所选地理位置可用于控制通信。例如，一个人员可以指向另一个人员，并直接发起与那个人员的通信。一个人员可以选择一组个人员，例如，通过单独指向他们或者用手势将他们选择为一组，以与该组进行通信。一个人员可以用手势(例如，指向天空)启动与一组预定的个人员通信。类似地，可以通过指向单个对象、选择一组对象中的对象组或选择预定的一组对象来执行与对象的通信或对对象的控制或这两者。
[0211]
地理位置可以被定义为绝对位置或相对位置。绝对位置的示例包括但不限于地图系统中的坐标、地理定位系统(gps)坐标、或各种分辨率的经度和纬度、或这些的任意组合。相对位置的示例包括但不限于参考点和方向、或者参考点和方向和距离、多个参考点和与这些参考点的相应方向、或者多个参考点和与这些参考点的相应方向和距离、或者这些的任意组合。
[0212]
可以基于来自与至少一个人员相关联的传感器的传感器数据的输入来确定地理位置。来自与一个或多个其他人员、或一个或多个其他对象、或这些的组合相关联的传感器的额外传感器数据可以用于确定地理位置。这种传感器的示例包括以下中的至少任何一个或多个：用于定位身体部位的位置传感器(如下所述)、地磁传感器、罗盘、磁力计、加速度计、陀螺仪、高度计、眼睛跟踪装置、提供指示位置变化的信息的编码器、提供图像数据或运动视频的相机、已知地标的参考、或可以提供来自人员的方向的指示的其他传感器、或这些中的一个或多个的任意组合。传感器数据可以被解释为例如人员的多个原始手势中的任何一个、预期动作、手臂角度或相对垂直位置的其他指示、方向或方位、距离或高度或这些的任意组合。可以基于从与一个或多个人员相关联的传感器接收的这种传感器数据来确定地理位置。
[0213]
在一些实施方式中，可使用上下文数据辅助确定地理位置。这种上下文数据可以包括一个或多个对象的信息(例如，地理位置)、语音、声音或文本数据、来自一个或多个相机的图像数据、地图数据或关于地图的用户输入、或者这些或其他上下文信息的任意组合。
[0214]
在一些实施方式中，可使用额外信息，例如，上下文数据，来提供输入，以选择、控制、启动或执行与地理位置或基于地理位置选择的对象相关的其他动作。例如，语音、手势或其他数据可以用作修饰语。例如，指向建筑物的消防队员可以通过语音通信，例如，“两个人员在二楼窗户附近！”。例如，语音、手势或其他数据可用于注释所选对象，不同的手势用于为该对象提供不同的标签，例如，“安全”或“危险”。例如，语音、手势或其他数据可用于激活关于对象的命令，以不同的方式激活不同的动作。这种激活可以类似于“点击”，但是可以从用户接收的任何其他数据中获得。
[0215]
图9a是确定地理位置的系统的说明性数据流程图。在图9a中，在响应装置952处接收来自一个或多个用户接口装置的接收数据950-1、950-2、
…
，以下称为“950”。在一些实施方式中，从第二用户接口装置(如果可用)接收的数据950-2可以通过其自己的响应装置954传送，该响应装置954又向响应装置952提供信息。在一些实施方式中，响应装置952和954可以向又一装置提供信息，以确定地理位置。
[0216]
为了基于从用户接口装置接收的数据帮助确定地理位置，接收的数据950至少包括来自用户接口装置上的一个或多个传感器的传感器数据。这种传感器的示例包括以下中
的至少任何一个或多个：用于定位身体部位的位置传感器(如下所述)、地磁传感器、罗盘、磁力计、加速度计、陀螺仪、高度计、眼睛跟踪装置、提供指示位置变化的信息的编码器、来自相机的图像数据、对已知地标的参考、或声音传感器(例如，一个或多个麦克风)、或可以提供来自人员的方向指示的其他传感器、或这些中的两个或更多个的任意组合。在一些实施方式中，响应装置952可以使用从用户接口装置接收的数据950来确定手的姿势和手腕的运动，从这些数据可以确定诸如指向、指向方向、带有运动的指向之类的信息。还可以检测其他原始手势来指示对对象的选择或者要相对于所选对象执行的动作。
[0217]
响应装置952还可接收其他上下文数据956。其他上下文数据956可以至少是以下类型的数据中的任何一种或多种。
[0218]
上下文数据可以包括一个或多个对象的信息，例如，地理位置。例如，可以访问关于对象的信息的数据库。
[0219]
上下文数据956可以包括来自一个或多个麦克风的语音或其他音频数据。上下文数据956可以包括从语音导出的文本或其他数据或从这种音频数据中识别的其他音频信号中。
[0220]
上下文数据956可以包括来自一个或多个相机的图像数据或视频数据。视频数据可以提供由飞行时间处理提供的深度信息。类似地，其他飞行时间传感器可以提供这样的深度信息。上下文数据956可以包括基于这种图像数据的对象识别或表面检测的结果。
[0221]
上下文数据956可以包括关于地图或与地图相关的其他信息的用户输入。这种用户输入可以包括例如相对于地图的位置、区域或曲线。与用户周围区域的地图相关联的兴趣点数据也可以作为上下文数据956。
[0222]
现转向图9b和图9c，示出可确定地理位置的示例使用情况。在图9b中，示出区域980，其中，示出三个人员982、984和986在区域980内的不同地理位置。该图不是按比例绘制的，而是旨在显示每个人员站在区域980内的地面上的某种视角或深度。每个人员都指向地面上的对象988。应当理解，提供这种信息的单个人员可以位于任何地方，而不一定在地面上，因为这些技术可以应用于地面上、交通工具中、水下(例如，潜水)或空中(例如，空中交通工具，例如，飞机或甚至跳伞)的人员。每个人员被示为指向对象988，从而从他们在区域980内的相应位置提供不同的指向。还可以提供人员手臂的角度。根据可从个人员获得的信息(即他们的位置和指向)以及可选的手臂角度，可以确定对象988的地理位置。可以使用个人员的位置和指向来确定对应于区域980的地面的二维位置。可以进一步使用来自个人员的手臂角度来确定对象的高度。
[0223]
在图9c中，以二维方式显示了示例性显示器上的对象988的地理位置。例如，其中一个人员可以具有带显示器的装置，该装置提供对象988的确定地理位置的图形指示990。该显示器可选地可以包括该人员的地理位置，例如，p1。该显示器可选地可以包括其他人员的地理位置，例如，p2和p3。
[0224]
返回图9a，考虑到接收的数据950和任何上下文数据956，响应装置可确定地理位置960。有许多计算地理位置的方法。下面是几个示例。
[0225]
可使用各种不同类型的处理技术，从传感器数据和可选的上下文数据中确定地理位置。在一些实施方式中，可以使用来自多个参考点的方向来应用各种形式的三角测量。在一些实施方式中，输入可以允许用户指定与确定的位置和方向相关的距离。在一些实施方
式中，可以应用来自计算几何的技术，例如，计算代理的位置的同时定位和绘图(slam)算法的变体，其中，待确定的地理位置被视为待计算的代理的位置。在一些实施方式中，可以使用多种形式的里程计，其中，基于传感器数据来确定位置随时间的变化。在一些实施方式中，可以对来自相机的图像执行视觉里程计。也可以使用这些实施方式的任意组合。
[0226]
用于确定地理位置的传感器数据也可以具有时间戳或其他时间标记。在使用与多个用户或装置相关联的传感器数据的实施方式中，时间信息可以用于消除或加权传感器数据。例如，可以强调或使用较新的数据，而可以不强调或丢弃不太新的数据。
[0227]
地理位置的确定还可以包括指示确定性、有效性、可信度或确定的地理位置范围的数据。例如，这种数据可以基于用于确定地理位置的输入的数量。举例来说，如果数据是从大量来源获得的，例如，指向同一大致区域的大量个人员，则该数据可能意味着该对象更加确认是预期对象或该对象更有意义或这两者。作为另一示例，数据可以基于用于计算地理位置的可用数据的分辨率。
[0228]
例如，考虑到第一人员的第一地理位置和第一方向，定义第一矢量，考虑到第二人员的第二地理位置和第二方向，定义第二矢量，第一和第二矢量的交点提供位置。第一和第二地理位置以及第一和第二方向可以基于从人员穿戴的相应用户接口检测到原始手势的时间，例如，当人员指向一个方向时发生的手指抬起。响应于原始手势，该时间前后可用的数据可用作地理位置或方向中的一个或多个。因此，两个人员可以指向一个对象，并且他们的信息可以用于确定该对象的地理位置。
[0229]
作为另一示例，考虑到人员的地理位置，可从用户接口装置接收的数据中推导出方位和距离。可以从来自地磁传感器的信号或者通过手腕的左右运动或者这两者来推导出该方位。该距离可以基于手腕的上下运动。到确定的地理位置的矢量可以显示给用户，例如，在显示器上的地图上或在平视显示器中，以向用户提供关于确定的地理位置的反馈。响应装置可以响应于来自用户的进一步输入来更新位置。
[0230]
作为另一示例，考虑到人员的地理位置，可从用户接口装置接收的数据和人员携带的另一装置接收的数据中推导出方位和距离。例如，穿戴用户接口装置的人员可能具有移动装置(例如，电话)，该移动装置具有其自己的地磁传感器或其他传感器，或者可以从中导出第一方向的传感器。穿戴用户接口装置的人员可以具有包括眼睛跟踪的平视显示器。穿戴用户接口装置的人员可以将第二用户接口装置穿戴在与第一用户接口装置不同的手臂上。可以计算第一方向，使得其旨在表示例如人员的凝视方向或者人员的头部或胸部或手指向的方向。用户接口装置还提供一个或多个信号，从中可以导出第二方向，例如，基于地磁传感器的方位，指示手指向的方向。表示第一和第二方向、投影到公共平面的矢量以及第一和第二方向的原点之间的差可以用于确定交点，从而提供从一个或两个原点到地理位置的距离。到确定的地理位置的矢量可以显示给用户，例如，在显示器上的地图上或在平视显示器中，以向用户提供关于确定的地理位置的反馈。响应装置可以响应于来自用户的进一步输入来更新位置。
[0231]
作为另一示例，考虑到人员的地理位置、方向和所选对象，所选对象的飞行时间数据可用于确定距离信息。基于人员的地理位置、他们的方向以及到所选对象的距离，到所确定的地理位置的矢量可以显示给用户，例如，在显示器上的地图上或者在平视显示器中，以向用户提供关于所确定的地理位置的反馈。响应装置可以响应于来自用户的进一步输入来
更新位置。
[0232]
在一些实施方式中，可使用上下文数据来细化计算的地理位置。例如，如果用户说“银行”，则可以选择对应于“银行”的位置。作为另一示例，在地图上选择的区域可以用于确保所确定的地理位置在该区域内。
[0233]
又可以多种方式使用地理位置，其示例包括但不限于以下各项，并可以包括以下两项或更多项的组合。地理位置可以用作应用程序的输入，例如，识别或选择对象。各种操作可由应用程序结合所选对象来执行，其非限制性示例包括调用相机对对象的跟踪，或从数据库获得关于对象的信息。地理位置可以是传递给另一用户或另一机器的数据。当结合基于从一个或多个用户接口装置接收的信号的数据来选择要执行的动作时，地理位置可以被视为上下文信息。地理位置可以作为反馈提供给用户，例如，通过在地图上显示一个点。
[0234]
考虑到地理位置960，除了在地图显示器上向用户提供反馈外，还可利用该信息进行各种操作。例如，在一些实施方式中，这种兴趣点数据可以作为反馈数据与任何确定的地理位置960一起提供。这样的地理位置960连同从用户接口装置接收的数据中导出的其他信息可以提供给应用程序，用于处理。可以检测或跟踪或选择所确定的位置附近的一个或多个对象。可以结合检测到的或选择的对象来执行操作，例如，调用相机对对象的跟踪，或者从数据库获得关于对象的信息。
[0235]
在一个示例性实施方式中，考虑人员可能在三维空间中查看对象的应用程序。观众可以穿戴虚拟现实显示器或其他沉浸式显示器。观众可能正在观看传统的二维显示器。该用户接口装置使得用户能够直观地选择和执行关于所显示的对象的动作，即使在抓取其他对象时也是如此。
[0236]
现在参考图9d，在显示虚拟场景的情况下，计算机具有正在渲染的场景的三维模型，由场景数据903表示。可以使用场景数据处理器900来处理该场景数据903，以生成表示三维表面902的数据。考虑到用户接口装置或用户在场景中的位置904以及从该位置发出的矢量906，可以确定该矢量和3d表面的交集。该交点对应于三维场景中的对象。“对象选择器”908可以处理3d表面、矢量和位置信息，来选择对象910。
[0237]
基于来自用户接口装置的信号的输入911可用于使用矢量计算模块918计算矢量906。在一些应用程序中，可以由应用程序提供矢量，例如，视频游戏中化身的视角方向。类似地，基于来自用户接口装置的信号的输入911可以用于使用位置计算模块920来计算位置904。
[0238]
考虑到所选对象910和基于来自用户接口装置的信号的输入911，可对所选对象执行操作914。操作选择模块916接收输入911和所选对象910，并确定要执行的所选操作914。
[0239]
对于每个对象，应用程序可以具有一组可能的输入和相应的动作。基于用户接口装置接收的输入可以是与所选对象相关联的一个或多个可能的输入。响应于这些输入，应用程序可以选择要在所选对象上执行的操作。
[0240]
作为另一示例性实施方式，考虑一种应用程序，其中，人员通过平视或增强现实显示器查看现实世界对象。该用户接口装置使得用户能够直观地选择并执行关于现实世界对象的动作，即使在抓取其他对象时也是如此。可以以与上面结合图9b描述的类似方式在应用程序中实现对现实世界对象的这种选择以及对该所选对象执行操作。然而，在这种情况下，没有人员造场景数据903，根据该数据已经在三维中定义了对象的表面。相反，响应装置
可以从用户穿戴的耳机接收表示真实世界位置的视频信息，例如，相机。在这种情况下，处理视频信息，以提取表面信息来提供场景数据903。
[0241]
用户接口示例如图10所示。例如，可以在平视显示器中提供该接口。在该图像中，用户可以看到腕戴式用户接口装置1000以及显示为从腕戴式装置发出到所选对象1004的线1002。可以显示二维俯视图1006。在1008和1010处指示了可以选择的其他对象。可以基于手腕的位置来选择这些对象中的任何一个，然后，另一个原始手势(例如，抬起食指)可以指定要在所选对象上执行的操作，例如，检索关于该对象的信息。在该示例中，对象1004、1008和1010可以是无人机或在使用上述技术选择之后可以控制的其他对象。
[0242]
在另一示例性实施方式中，考虑一种应用程序，其中，人员以二维第三人员称视角查看现实世界对象，如图11所示。例如，显示器可以呈现二维航空地图1100，其中，也在地图上标注用户的位置或所选对象的位置，例如，通过箭头1102标注。使用箭头允许在显示器中反射基于地磁感测的方向。用户的地理位置可以由用户输入，或者可以使用全球定位系统(gps)数据或适于确定这种地理位置的其他数据来确定，这些数据可以由用户可能随身携带的移动电话或其他移动装置来提供。gps或其他地理位置信息可以由响应装置提供，例如，用户正在使用的平板电脑。
[0243]
在这种用户接口中，响应装置可响应于手腕的运动，例如，抬起和放下手臂，改变地图上沿线位置1102与远离用户的另一地理位置1104之间的距离。响应装置可以使用来自用户接口装置上的地理定位传感器或来自另一来源的方向或航向信息，来改变该线的方向。例如，用户可以左右移动手腕来改变方位信息，并且可以上下移动手腕来改变距离。
[0244]
通过航向和与位置1102的距离操纵地图上的点后，可能基于另一原始手势，可使用原始手势选择该点处的对象，并对所选对象执行操作。例如，可以使用抬起来启动对所选对象的操作。
[0245]
作为另一示例，考虑到初始航向和距离，响应装置可响应于手指滑动，基于滑动开始时的初始位置1104和滑动结束时的结束位置1106定义弧线。响应于另一原始手势，响应装置可以允许选择由点1102、1104和1106定义的区域中的一个或多个对象。
[0246]
在上述示例中，在一些应用程序中，可有多个用户接口装置。在一些实施方式中，多个用户接口装置容纳用户接口装置的不同部分，例如，生物电位传感器和位置传感器，并且可以穿戴在同一身体部位上。在一些实施方式中，多个用户接口装置穿戴在不同的身体部位上。例如，第一用户接口装置可以穿戴在右臂的手腕顶部，而第二用户接口装置可以穿戴在左臂的手腕顶部。当使用多个用户接口装置时，这些用户接口装置通常可以是相同的，例如，具有相同的形状因子、传感器和反馈装置，但是也可以是不同的。例如，穿戴在手腕顶部的用户接口装置可以被配置为不同于穿戴在脚踝处的用户接口装置。在使用多个用户接口装置的实施方式中，对应用程序的选择或对应用程序要执行的操作的选择或者这两者还可以基于哪个用户接口装置正在提供基于生物电位信号或位置信号的数据。
[0247]
现在已经描述了人员通过用户接口装置提供的输入与响应装置进行交互的若干示例，现将提供信号处理和原始手势检测的示例性实施方式的更多细节。
[0248]
为了能够检测各种原始手势，对来自传感器的调节信号进行进一步处理，以检测与原始手势相对应的那些信号中的模式。在一些实施方式中，可以处理从生物电位传感器接收的信号，以将在某一时刻出现的生物电位信号的一部分分类为指示在该时刻出现的手
的姿势的数据。可以处理从位置传感器接收的信号，以将某一时刻的位置信号的一部分分类成指示在该时刻的手腕顶部的位置的数据。在一些实施方式中，来自生物电位传感器和位置传感器的信号一起处理，以获得在某一时刻的指示手的姿势和手腕顶部的位置的数据。可以处理关于手的姿势和手腕位置的数据，以允许检测原始手势。在一些实施方式中，从生物电位信号和位置信号中提取特征，并且可以将这些特征直接处理成指示原始手势的数据。
[0249]
来自传感器的信号可为数字样本序列的形式，具有每个样本的振幅和采样率。为了对信号执行各种信号处理操作，系统定义了一系列样本“窗口”。样本窗口可以由a.信号中的某一时刻和b.该时刻周围的一段时间或多个样本来指定。对于每个窗口，使用数字信号处理技术计算特征。任何给定的窗口或窗口集合都可以被标记为表示原始手势或不表示原始手势。
[0250]
例如，窗口可为200毫秒，相邻窗口重叠百分之五十(50％)，这意味着形成第一窗口的最后100毫秒的样本也是形成窗口序列中紧随第一窗口的第二窗口的前100毫秒的样本。不同的窗口结构可以用于数据收集和标记，而不是用于信号的实时处理和分类。例如，对于实时分类，可以使用没有重叠的200毫秒的滑动窗口。对于特定的用户接口设计和应用，可以调整窗口的大小和相邻窗口的重叠。
[0251]
考虑到经调节的传感器信号的样本窗口，对每个窗口进行处理，以提取特征，这些特征进而用于定义和区分与希望从传感器信号中提取的信息类型相关的不同模式，例如，手腕的位置或运动或手的姿势或其他特征。
[0252]
执行特征提取或手势检测的响应装置内的处理模块可实施装置接口，以从用户接口装置接收采样传感器数据，并实施应用程序接口，以向响应装置内的其他应用程序提供特征或其他数据。可以输出这些特征，作为数据流，为每个窗口指示与该窗口相关联的特征。
[0253]
可从信号中获得的特征包括例如从处理信号的时域表示中获得的特征以及从处理信号的频域表示中获得的特征。可以从信号的时域表示中获得的特征包括但不限于hudgin的时域特征。
[0254]
表i至表v中列出了可为每个窗口计算的示例性特征。并非所有列出的特征都是必需的；可能还有一些未列出的功能也可以使用：
[0255]
表i-单通道的基本特征集
[0256]
平均绝对值过零点数量斜坡标志变化的次数波形长度willison振幅
[0257]
表ii-单通道的扩展特征集(表i的补充)
[0258][0259][0260]
表ii：通过比较两个通道而导出的示例性特征：
[0261]
能量比能量差
[0262]
表iii：从imu通道提取的特征：
[0263]
陀螺仪值的平均值加速度计值的平均值陀螺仪值的标准偏差加速度计值的标准偏差
[0264]
表iv：涉及来自所有陀螺仪通道或来自所有加速度计通道的信号的特征组合：
[0265]
平均速度最大速度最小速度平均加速度最大加速度最小加速度
[0266]
通过足够的数据，信号本身可以被馈送到深度学习模型，这些模型将学习其自己
的特征。
[0267]
模型培训
[0268]
一种处理信号以检测模式的技术是使用参数化模型，基于与已知模式相对应的信号对该模型的参数进行训练。这种信号被“标记”，意味着存在与信号相关联的数据，指示信号已知包含的模式。计算机系统通过称为“训练”的过程来处理标记的数据，以生成模型。所得模型可以在来自传感器的实时信号中检测来自传感器的实时信号中是否出现了特定模式。
[0269]
训练此类模型的挑战之一是获取大量标记数据，称为训练集。训练集理想地包括阳性和阴性标记的样本。阳性标记的样本是被标记为表示信号的已知特征的样本。阴性标记的样本是已知不包括信号的已知特征的样本。在训练集中具有这样的阴性标记的样本允许训练模型，该模型可以更好地区分人员的有意活动和日常活动。
[0270]
有多种方法获得训练集的阳性标记的样本。在一个实施方式中，可以配备多个用户接口装置来接收来自计算机的信号。响应于这些信号，用户接口装置向穿戴用户接口装置的人员生成提示，以执行指定的动作。然后，用户执行指定的动作。用户接口装置将传感器信号发送到计算机，计算机根据指定的动作标记该信号。
[0271]
更具体地，根据选择的运动标记接收信号中的每个样本窗口。考虑到包括几个窗口的一组样本，窗口被标记为对应于或不对应于手的姿势或手腕位置或原始手势或这些的任意组合。考虑到一组样本和一个标签，窗口标记部件识别开始。没有标记在具有开始的窗口之前出现的样本窗口。为了训练的目的，可以丢弃在检测到开始之前没有被标记的窗口中的样本集。
[0272]
收集训练数据的另一示例性方法是使用在计算装置中运行的应用程序，该计算装置具有触摸屏或可检测实际手和手指位置的其他装置。
[0273]
模型训练通常专用于特定版本的传感器和对来自这些传感器的信号进行的信号处理。具有相同配置(即，相同的传感器、传感器配置、低电平信号处理和特征提取硬件)的装置的多个用户可以提供用于训练该配置的模型的数据。然而，考虑到包括其相应特征的多个标记的数据窗口以及可选地对应于这些窗口的额外传感器数据，传统的训练算法可以应用于已经被调整以适应正在处理的特定种类的信号的模型。
[0274]
可进行训练，以使用来自单个用户的标记数据为单个用户创建训练模型，或使用来自多个用户的标记数据为多个用户创建训练模型。可以在该单个用户的用户接口装置可访问的计算装置上执行针对单个用户的模型训练。对于多个用户，标记的数据可以被传输到通过计算机网络连接到每个用户的标记数据源的服务器计算机并存储在其中。
[0275]
在训练和测试模型后，可部署训练的模型。用户装置(无论是响应装置还是用户接口装置)从服务器计算机或从训练模型的计算装置下载训练模型。
[0276]
通过训练这种模型，可以出现一些对分类有影响的特征。例如，已经发现，第一传感器的第一和第二通道之间的能量比对于分离拇指和食指伸展非常有预测性。在某些情况下，该比率还可以用于过滤掉其他“假阳性”，例如，手腕伸展、小指伸展等。在一方面的传感器配置和信号质量与另一方面在某些姿势、位置、原始手势或其组合之间(例如，在能量比方面在拇指和食指伸展之间)进行区分的能力之间存在依赖性。
[0277]
现已描述了若干示例性实施方式，图12示出通用计算装置的示例，该通用计算装
置可用于实施响应装置或与此类响应装置结合使用的其他计算机系统。这只是计算机的一个示例，并不旨在对这种计算机的使用范围或功能有任何限制。如图12所示，上述系统可以在一个或多个这样的计算机上执行的一个或多个计算机程序中实现。
[0278]
图12是使用处理系统处理计算机程序代码的通用计算机的框图。通用计算机上的计算机程序通常包括操作系统和应用程序。操作系统是在计算机上运行的计算机程序，该程序管理应用程序和操作系统对计算机各种资源的访问。各种资源通常包括存储器、存储装置、通信接口、输入装置和输出装置。
[0279]
此类通用计算机的示例包括但不限于大型计算机系统(例如，服务器计算机、数据库计算机、台式计算机、膝上型和笔记本计算机)以及移动或手持式计算装置，例如，平板计算机、手持式计算机、智能电话、媒体播放器、个人员数据助理、音频或视频记录器或可穿戴计算装置。
[0280]
参考图12，示例性计算机1200包括处理系统，该处理系统包括至少一个处理单元1202和存储器1204。计算机可以具有多个处理单元1202和实现存储器1204的多个装置。处理单元1202可以包括一个或多个彼此独立操作的处理核心(未示出)。额外的协作处理单元(例如，图形处理单元1220)也可以存在于计算机中。存储器1204可以包括易失性装置(例如，动态随机存取存储器(dram)或其他随机存取存储装置)、非易失性装置(例如，只读存储器、闪存等)或这两者的某种组合，并且可选地包括处理装置中可用的任何存储器。诸如专用存储器或寄存器之类的其他存储器也可以驻留在处理单元中。这种存储器配置在图12中由虚线1204示出。计算机1200可以包括额外存储器(可移动或不可移动)，包括但不限于磁记录或光记录的盘或带。这种额外存储器在图12中由可移动存储器1208和不可移动存储器1210示出。图12中的各种部件通常通过互连机制(例如，一条或多条总线1230)互连。
[0281]
计算机存储介质是可由计算机在可寻址物理存储位置存储和检索数据的任何介质。计算机存储介质包括易失性和非易失性存储装置以及可移动和不可移动存储装置。存储器1204、可移动存储器1208和不可移动存储器1210都是计算机存储介质的示例。计算机存储介质的一些示例是ram、rom、eeprom、闪存或其他存储技术、cd-rom、数字多功能盘(dvd)或其他光学或磁光记录的存储装置、盒式磁带、磁带、磁盘存储器或其他磁存储装置。计算机存储介质和通信介质是相互排斥的介质类别。
[0282]
计算机1200还可以包括允许计算机通过通信介质与其他装置通信的通信连接1212。通信介质通常通过在物质上传播调制数据信号(例如，载波或其他传输机制)来通过有线或无线物质传输计算机程序代码、数据结构、程序模块或其他数据。术语“调制数据信号”是指一种信号，该信号具有以在信号中编码信息的方式设置或改变的其一个或多个特征，从而改变信号接收装置的配置或状态。通过示例而非限制的方式，通信介质包括有线介质，例如，有线网络或直接线连接，无线介质包括允许信号传播的任何非有线通信介质，例如，声、电磁、电、光、红外、射频和其他信号。通信连接1212是诸如网络接口或无线电发射机之类的装置，其与通信介质接合，以通过通信介质传播的信号发送数据并从该信号接收数据。
[0283]
通信连接可以包括一个或多个用于通过蜂窝电话网络进行电话通信的无线电发射器或用于无线连接至计算机网络的无线通信接口。例如，计算机中可能存在蜂窝连接、wi-fi连接、蓝牙连接和其他连接。这种连接支持与其他装置的通信，例如，支持语音或数据
通信。
[0284]
计算机1200可以具有各种输入装置1214，例如，各种指针(无论是单指针还是多指针)装置，例如，鼠标、书写板和笔、触摸板和其他基于触摸的输入装置、触笔、图像输入装置(例如，静态和动态相机)、音频输入装置(例如，麦克风)。计算机可以具有各种输出装置1216，例如，也可以包括显示器、扬声器、打印机等。这些装置在本领域中是众所周知的，不需要在此处详细讨论。
[0285]
各种存储器1210、通信连接1212、输出装置1216和输入装置1214可集成在计算机外壳内，或可通过计算机上的各种输入/输出接口装置连接，在这种情况下，附图标记1210、1212、1214和1216可表示连接至装置的接口或装置本身，视情况而定。
[0286]
计算机的操作系统通常包括计算机程序，通常称为驱动程序，用于管理对各种存储器1210、通信连接1212、输出装置1216和输入装置1214的访问。这种访问可以包括管理这些装置的输入和输出。在通信连接的情况下，操作系统还可以包括一个或多个计算机程序，用于实现用于通过通信连接1212在计算机和装置之间传递信息的通信协议。
[0287]
在一台或多台计算机上运行的计算机系统的每个部件(也可被称为“模块”或“引擎”等)可以被实现为由一台或多台计算机的处理系统处理的计算机程序代码。计算机程序代码包括计算机可执行指令或计算机解释指令，例如，程序模块，这些指令由计算机的处理系统处理。这些指令定义了例程、程序、对象、部件、数据结构等，当由处理系统处理时，这些指令指示处理系统对数据执行操作或者配置处理器或计算机，以实现计算机存储器中的各种部件或数据结构。在计算机程序中定义数据结构，并且规定了如何在计算机存储器中组织数据，例如，在内存装置或存储装置中，以便计算机的处理系统可以访问、操纵和存储数据。
[0288]
应当理解，所附权利要求中定义的主题不一定限于上述具体实施方式。上述具体实施方式仅作为示例公开。