用于头戴式装置中的生物特征管理的接口和处理的制作方法

用于头戴式装置中的生物特征管理的接口和处理


背景技术：

1.与虚拟现实和/或增强现实一起使用的头戴式显示(hmd)装置是在工业和消费应用中都变得大众化的装置。这些装置包括多个传感器以收集控制数据，供hmd用于控制目的。
附图说明
2.本公开的各种特征将从以下结合附图的详细描述中变得明显，附图共同图示出本公开的特征。
3.图1示出根据本公开的示例的用户特征确定模块的概述。
4.图2示出根据本公开的示例的方法。
5.图3示出根据本公开的示例的替代方法。
6.图4示出根据本公开的示例的计算机系统的示意性框图。
7.图5示出根据本公开的示例的要管理的生物特征和对应的动作的表格。
具体实施方式
8.在以下描述中，出于解释的目的，阐述了某些示例的多个具体细节。在说明书中对“示例”或者类似语言的引用意味着结合示例描述的特定特征、结构或特征被包括在至少这一个示例中，但不一定被包括在其他示例中。
9.头戴式显示(hmd)装置可以包括多个传感器，例如以收集供hmd使用的控制数据。然而，hmd也可以包括生物传感器、与生物传感器集成或连接到生物传感器，以获得关于hmd装置的用户的生物信息。类似地，生物传感器也可以用于例如独立控制器或者与hmd系统相关联的其他装置中，该其他装置可以与hmd装置结合使用，例如与由hmd提供给用户的沉浸式环境进行交互，或者用于诸如智能手表、智能腕带或者其他形式的健康跟踪器的其他装置中。因此，尽管出于所描述的示例的目的，本文中的教导是相对于hmd装置来构建的，但是可以适用于具有嵌入式或者以其他方式关联的生物传感器的一系列其他电子装置，并且特别是具有可安装在用户身上的嵌入式生物传感器的电子装置(即用户可安装装置)。
10.随着使用生物传感器的各种装置被广泛采用并部署到现场，可能遇到某些不期望的生物特征，并且随时间收集关于它们的数据。这些不期望的生物特征可能导致在hmd装置(或者主机计算系统)上运行的应用对生物传感器数据的不正确解释，因为它们被安排成在考虑正常基线用户的情况下进行操作，但是这些不期望的生物特征可能影响hmd的用户能够如何与由hmd产生的沉浸式环境进行交互，从而导致较差的用户体验(例如，在该时间由用户表现出的特定的不期望的生物特征可能阻止他们如沉浸式环境的软件开发者所期望的那样体验该沉浸式环境)。举例而言，这些不期望的生物特征可以包括身体疾病，诸如独眼(具有一只眼睛)、心律失常(不规则的心跳)、瞳孔大小不等(瞳孔大小不相同)或者斜视(眼睛错位)。在一些示例中，这些不期望的生物特征可以包括与身体疾病本身无关的其他特征，诸如佩戴隐形眼镜以改变瞳孔颜色和/或大小。在所有示例中，关于用户的这些可检
测状况(即用户的生物特征)可能显著影响由hmd提供的用户体验。
11.关于这些状况的数据可以随时间收集，因为收集生物数据的相应系统可以连接到云服务或者类似装置，然后能够收集大量用户的数据集，并从该数据中得出检测某些状况的方式，例如以经验的方式。
12.诸如hmd的装置通常充当运行来自独立软件供应商(isv)的一系列软件应用的平台。因此，由hmd装置的(或至少与hmd装置相关联的)传感器提供的数据可以被独立开发的多个软件应用使用。因此，为了考虑用户的不期望或者不常见的生物特征，每个软件应用将需要能够管理这些不常见的边缘情况(即独立设计以考虑不常见的生物特征)，并且对于给定的isv，为这些边缘情况开发软件的工作可能是不可能的(例如，由于时间、成本或者专业知识的限制)。此外，对于多个isv，对这些边缘情况的检测可以以不同的方式实现，并且具有不同的成果，尤其是例如当isv对不期望的生物特征不是特别感兴趣时。
13.因此，一般而言，本公开提供了中间件平台(即软件和硬件的组合)，该中间件平台逻辑上位于hmd或其他的用户可安装装置和与hmd(或者其他的用户可安装装置)一起操作的计算系统之间，以向用户提供由hmd(或者其他的用户可安装装置)实现的沉浸式环境。所公开的中间件平台可操作以从hmd上、周围或者内部的各种传感器(或在一些示例中，单个传感器)接收生物用户数据，并且根据该生物用户数据来检测用户特征(例如，根据与已知的、预定义的用户特征数据的比较)，并且基于检测到的用户特征采取合适的动作。合适的动作可以根据整个平台的配置数据来预定义，配置数据例如可以包括指示在给定的检测情况下要查找什么(即感兴趣的用户的生物特征数据)以及要做什么的数据或者配置参数。如下文参考图5所讨论的，配置参数可以由所公开的系统接收，或者以其他方式设置。合适的动作的种类的示例包括但不限于：发出异常或者标志、阻止进一步的动作、忽略检测到的用户特征、启动旁路(bypass)功能或者甚至应用预定补偿机制，其有效地抵消检测到的用户特征的影响，使得下游isv提供的软件可以在正常的用户基础上继续进行，即假定符合基线用户特征。后者的结果有效地使isv能够将所有检测和补救动作移交给所公开的中间件，从而使得isv可以同等地对待所有用户，并因此减少针对这些边缘情况的定制软件开发。
14.本公开可以以用于检测和管理这些不期望生物特征的系统和方法的形式提供前述中间件，中间件由在hmd系统中的合适点执行的后台进程或者守护进程操作。在一个示例中，中间件平台可以是在hmd附接到的主机计算系统上执行的软件驱动模块，并且该软件驱动模块提供处理资源以生成和操作显示在hmd上或由该hmd启用的用户沉浸式环境。因此，每个isv可以将他们的开发工作指向他们感兴趣的生物数据集(在大多数示例中，这可能是“正常的”用户基线特征)，并且将不期望的或者不常见的、边缘情况的用户的生物特征的管理留给中间件平台的后台进程。这种新的方法消除了多个isv为解决这些边缘情况而进行的重复工作，并且从而简化了在hmd平台上运行的独立软件的开发处理。在一些示例中，对不期望的生物特征的管理可以以更一致的方式来执行，并且总体上，随时间可以考虑更多的边缘情况的用户特征，因为所有的开发都是由中间件平台提供者集中执行的。在任何情况下，根据本公开的示例可以进一步允许isv在合适的情况下管理一些边缘情况的原始生物传感器数据(而不是中间件平台管理它们)，例如，当特定软件应用的isv对检测到的用户的指定(即预定)的不期望的或者不常见的生物特征感兴趣时。
15.根据示例，客户端应用(即由isv开发的软件应用)可以将配置参数(以预定格式)
提供给所公开的中间件平台的用户特征确定模块。用户特征模块可以是当hmd是可操作的时通常在后台中操作的可执行进程。所提供的配置参数还可以指示客户端应用不感兴趣并且因此应当由用户特征确定模块在后台中管理的用户的生物特征。
16.为了捕获具有多个生物传感器的hmd可能检测到的所有已知生物特征，统一接口(包括根据本公开的用户特征确定模块)可以被配置成根据检测到的用户特征采取合适的动作。这些可以包括但不限于：在将数据发送到客户端应用之前阻止和/或忽略和/或旁路和/或补救与某些生物特征相关的数据。也可以提供其他操作结果。例如，通过标志的方式让客户端应用了解情况，使得客户端应用可以采取它自己的合适的动作。例如，在客户端应用提供计算机游戏的情况下，如果检测到异常心率，则客户端应用可以向用户发出通知，告知患有异常心脏状况的人不应玩计算机游戏。在一些示例中，可以改变计算机游戏的执行以减少在玩游戏期间导致用户心率增加的机会(例如，调整内容或者如何将其显示等)。
17.更详细地，如果检测到特定的预定义生物特征，则用户特征确定模块可以执行对应的动作。由用户特征确定模块执行的对应的动作可以是：向客户端应用发出异常，使得客户端应用可以中止执行；将原始生物传感器数据直接输出到客户端应用，因为客户端应用具有管理特定生物特征本身的能力；将补偿应用于原始生物传感器数据以生成补偿后的生物传感器数据，以便在发送到客户端应用之前修正、优化和/或补救所捕获的关于用户的生物数据；回放生物传感器数据的记录样本来代替真正的实时生物传感器数据。生物传感器数据的记录样本可以由客户端应用记录，或者可以由用户特征确定模块记录。
18.用户特征确定模块由一个或多个配置参数配置。一个或多个配置参数可以在配置文件中从客户端应用提供给用户特征确定模块，或者在操作之前设置。应用编程接口(api)可以用于客户端应用以合适的形式形成和/或发送配置参数，并且这可以动态地执行，从而提供在客户端应用的执行期间的任何时间改变用户特征确定模块对生物传感器数据的管理的能力。
19.本文中描述的用户特征确定模块可以被部署为通用安全协议的解决方案。例如，在使用计算机游戏应用之前，可以筛选用户的生物特征以检测异常。在一些示例中，在玩游戏的整个过程中，可以连续监测(即检测)用户的生物特征的变化，并且相应地采取动作。因此，由于用户使用hmd而引起的不希望的或者不期望的情况(例如，在身体活动的软件体验中的心律失常)可以被滤除、报告，并且相应地采取潜在的补救措施。
20.图1图示出根据本公开的用户特征确定模块100，其可以管理来自一个或多个传感器162、164的传感器数据，并且在一些示例中，用于一个或多个输入输出(i/o)装置172、174，所有这些由客户端应用150使用，客户端应用150驱动由hmd装置提供的沉浸式环境。传感器162、164可以是能够检测hmd装置的用户的特征的任何形式的生物传感器。在图1中所示的示例中，用户特征确定模块100包括可以经由来自一个或多个传感器162、164的一个或多个输入接收原始生物传感器数据的生物传感器数据收集器110。可以使用的生物传感器的种类的示例包括心跳传感器、眼部传感器或者任何其他传感器，这些传感器可以用于检测关于用户的某些生理情况并且可以指示用户如何能够与由与用户特征确定模块100连接的hmd装置提供的沉浸式环境进行交互。生物传感器数据收集器110然后可以向生物特征管理器120提供原始(即未改变的)生物传感器数据，然后生物特征管理器120可以确定原始生物传感器数据是否指示用户的预定义生物特征。用户的预定义生物特征可以是在客户端应
用的控制下影响hmd装置的用户如何感知由hmd提供的沉浸式环境或者以其他方式与沉浸式环境进行交互的任何东西，例如独眼(具有一只眼睛)、心律失常(具有不规则的心跳)、佩戴隐形眼镜、瞳孔大小不等(瞳孔大小不相同)或者斜视(具有不对齐的眼睛)。所列出的预定义生物特征是示例，并且其他可检测的生物特征也是可以想到的。如果生物特征管理器120确定原始生物传感器数据指示用户的预定义生物特征，则确定逻辑130可以确定用户特征确定模块100对客户端应用的合适的输出，客户端应用控制或者生成由hmd装置提供的沉浸式环境。合适的输出可以是对检测到的用户的预定义生物特征的任何预定义响应。这里，“预定义响应”的使用是指示在其(首次)使用之前已知的或者以其他方式设置的响应形式。响应可以在整体系统的初始化时被预定义，或者可以在使用期间被动态地定义，例如由客户端应用通过应用编程接口(api)来定义。类似地，“用户的预定义生物特征”用来表示任何已知的和设置/定义形式的用户特征。确定逻辑可以包括电路(例如，处理器、关联的存储器等)和可执行指令的组合，可执行指令当由电路执行时使电路基于用户的预先已知的即预定义的生物特征来执行关于生物传感器数据的确定。确定逻辑的输出可以是对用户的检测到出现的所述预定义生物特征的任何合适形式的响应，并且这些响应也可以在初始化时或者在使用期间经由api来定义。
21.在图1中，i/o装置172、174可以是与托管由客户端应用驱动的hmd装置的计算系统一起使用的任何合适的i/o装置，以便向用户提供沉浸式环境。典型的示例包括但不限于：输入控制器(例如，游戏手柄、操作杆等)、音频装置(扬声器、麦克风等)、显示器(例如，lcd、led等-这里我们注意到这些可以独立于hmd装置本身的显示器)、通信链路(例如，网络连接等)等。来自一个或多个输入或输出装置的数据可以由补偿模块140用来对原始生物传感器数据应用补偿，或者对由i/o装置提供的数据应用补偿。
22.用户特征确定模块100还可以包括耦接到传感器162、164并且在一些示例中耦接到i/o装置172、174的补偿模块140，补偿模块140可以应用合适的补偿处理，如下文更详细地描述。
23.对确定用户具有(已知的)显著影响用户如何能够与由连接到所描述的用户特征确定模块的hmd装置提供的沉浸式环境进行交互的已知生物特征的预定义响应的种类的示例可以包括：向客户端应用发出(即输出)指令(或者任何其他形式的消息以传送信息)以中止客户端应用；发出异常指令，该异常指令也可以向客户端应用指示检测到的问题(在一些示例中，与原始生物数据一起，使得客户端应用可以以其自身的方式管理该问题)；发出处理指令，其中处理指令促使补偿模块140对用户生物数据应用补偿处理；或者替代地输出用户生物数据的某种形式的预记录版本。
24.在上文中，中止指令可以指示客户端应用150终止执行，使得由hmd提供的沉浸式环境结束，或者至少暂停。例如，当用户的检测到的生物特征使得沉浸式环境的进行对于用户而言可能仅仅是次优的(例如，检测到具有单眼的用户，并且对于驱动沉浸式环境的该给定客户端应用而言，三维方面是不可用的)到完全危险的(例如，检测到的心脏状况，意味着如果用户在沉浸式环境中继续则可能存在健康问题)的任何地方时，这可以被使用。
25.发出异常指令可以用于通知客户端应用150已经检测到给定的预定义生物特征，并且可以用在客户端应用本身可以对该信息采取动作的情况下，使得客户端应用150可以替代地确定合适的(进一步的)响应。在一些示例中，该异常管理可以伴随着用户特征确定
模块100也输出原始的(即未被用户特征确定模块100接触的)生物传感器数据，以供客户端应用在其认为合适时使用。以这种方式，在一些示例中，用户特征确定模块100可以对驱动hmd提供的沉浸式环境的整体系统是透明的。
26.如上所提及，在一些示例中，用户特征确定模块100可以包括补偿模块140。补偿模块140可以对原始生物传感器数据应用补偿，以生成补偿后的生物传感器数据。补偿可以基于对用户的预定义生物特征的检测，以及可以抵消(完全抵消，或者仅仅是减轻，或者其他改善)用户的检测到的生物特征的影响的某种形式的进一步处理的应用。例如，如果检测到具有单眼的用户，则可以相应地改变由hmd装置提供的沉浸式体验(例如，对这种发现的预定义响应可以是仅复制两个hmd屏幕的内容，而没有景深，并且这将具有减少处理开销的效果)。另一示例可以是当检测到不同大小的瞳孔时，使得以不同的水平驱动两个hmd屏幕的显示亮度是有益的，以给予用户均匀亮度的感知。应当注意，所公开的用户特征确定模块100和关联的控制完全可以由客户端应用开发者结合hmd系统来定义，使得在任何给定的情况下，可以合适地管理任何可以想到的方式来管理关于用户的任何给定差异的检测。此外，在任何给定的检测到的情况下，可以由isv容易地定义在查找什么(用户的生物特征)以及需要做什么(在检测到该特征存在于用户中时的动作)，并且因此可以管理任何和所有情况。此外，当它们出现时，可以添加新的。此外，由于这是共享的中间件平台，后续的用户和isv可以从先前的用户和isv的经历中获益。在一些示例中，对于驱动hmd提供的沉浸式环境的给定形式或者类型的客户端应用，来自用户自身的反馈可以用于更好地定义可检测的特征以及作为其检测的结果可以做什么。
27.补偿后的生物数据可以作为用户特征确定模块100的输出提供给客户端应用150。补偿后的生物数据可以进一步提供给生物特征管理器120以供进一步处理。
28.在一些示例中，输出可以是预先记录的一组生物传感器数据，例如用于替换实时传感器数据，因为这可以在这种情况下提供益处。例如，客户端应用可以使用检测到的瞳孔大小或者心跳来确定用户的情绪状态是平静还是紧张，以自动调整游戏环境的难度，然而，如果来自用户的真实生物数据丢失或者在其他情况下(例如，由于心律失常)不适合使用，则用户特征确定模块可以替代地加载指示简单、中等或者困难的游戏环境的预先记录的生物数据馈送以代替实际生物数据提供给客户端应用，而不是中断应用。
29.用户特征确定模块100可以使用一个或多个配置参数来配置。一个或多个配置参数可以在配置文件中被提供给用户特征确定模块100。配置文件可以作为整个主机计算系统、客户端应用、hmd的初始化或者主机计算系统的耦接到hmd的任何其他部分的初始化的一部分而被访问，以驱动由hmd装置提供的沉浸式环境。配置文件可以由客户端应用150本身提供或者更新，并且可以经由api访问。
30.图2示出管理预定义生物特征的基本方法。在框210处，在生物特征管理器120处接收生物传感器数据。该生物传感器数据可以经由诸如生物传感器数据收集器110的生物传感器数据收集器接收。在一些示例中，生物传感器数据可以由生物特征管理器120直接接收。在框220处，确定接收到的生物传感器数据是否指示hmd装置的用户的预定义生物特征。该确定可以由生物特征管理器120执行，并且可以由例如在一段时间内未能识别一只眼睛的信息(指示独眼)的附接的眼部传感器来执行。另一示例可以是眼部传感器检测到瞳孔大小变化超过预定义阈值(指示瞳孔大小不等)，瞳孔大小并不响应于显示在hmd上的内容的
不同亮度等级而改变(指示佩戴圆隐形眼镜)，或者心跳传感器检测到小于或者大于预定义阈值的心跳(分别指示心动过缓和心动过速)。在框230处，基于用户的检测到的预定义生物特征，基于如下文参考图5详细描述的配置参数确定输出预定义响应。输出可以由诸如确定逻辑130的确定逻辑来确定。输出可以被提供给客户端应用，因此客户端应用可以采取合适的动作(例如，中止、自行管理检测到的问题或者替代地使用补偿后的或者预先记录的传感器数据)。
31.图3示出根据本公开的管理生物特征的方法的可替代的、更详细的版本。在框310处，接收配置参数。配置参数可以由客户端应用150经由api提供给生物特征管理器120。在一些示例中，配置参数可以由客户端应用150提供给确定逻辑130。配置参数可以在配置文件中提供。配置参数可以包括要检测的一个或多个预定义生物特征。配置参数还可以包括由用户特征确定模块100响应于检测到用户的一个或多个预定义生物特征而采取的一个或多个预定义动作。配置参数可以进一步包括与一个或多个动作或者整个主机计算系统、hmd装置等的控制或者操作的其他方面相关的其他参数。
32.在框320处，接收生物传感器数据。生物传感器数据可以从一个或多个传感器162、164接收。生物传感器数据可以由生物传感器数据收集器110接收，生物传感器数据收集器110可以在将生物传感器数据传递给生物特征管理器120之前对生物传感器数据应用任何预处理。在一些示例中，生物传感器数据可以由生物特征管理器120直接接收。
33.在框330处，确定接收到的生物传感器数据是否指示用户的预定义生物特征，该预定义生物特征是根据配置参数来定义的。因此，可以预先定义用户的任何合适的生物特征，并相应地进行检测。
34.在框340处，确定是否检测到预定义生物特征。如果确定没有检测到预定义生物特征，则该方法进行到框345，并输出原始的、未调整的传感器数据。同时，如果确定检测到用户的预定义生物特征，则该方法进行到框350。
35.在框350处，确定对预定义生物特征的检测的响应是否被配置(例如，使用配置参数)成中止指令355的输出，或者它可以替代地输出补偿后的生物传感器数据。然而，如果确定配置参数没有将响应配置成中止指令的输出，则该方法进行到框360，在框360中测试合适的动作是否是将补偿处理应用于生物传感器数据(或者i/o装置数据以及生物传感器数据或者仅代替生物传感器数据)。
36.因此，在框360处，确定对用户的预定义生物特征的检测的响应是否已经被配置成传感器和/或i/o装置数据的补偿。响应配置可以通过配置参数来设置。如果确定配置参数已经将用户特征确定模块100配置成将补偿应用于生物传感器数据(和/或i/o装置数据)，则该方法进行到框370。否则，该方法进行到框365。在框365处，原始生物传感器数据被输出到客户端应用150。
37.在框370处，补偿处理被应用于生物传感器数据，以生成补偿后的生物传感器数据。可以使用执行合适的补偿处理的补偿模块来应用补偿处理。补偿处理可以包括应用机器学习来考虑用户的检测到的生物特征(即检测到的状况、异常或者与用户基线的差异等)。例如，机器学习可以被应用以提供任何合适形式的补偿，并且这样做可以减少或者消除检测到的用户状况的影响，或者以其他方式调整相关数据以允许在客户端应用的控制下由hmd提供的沉浸式环境以对该用户有用的方式进行。因此，所应用的补偿处理可以用于修
正、优化或者补救生物传感器数据。补偿可以消除生物传感器数据的任何不想要的或者不期望的特征。
38.在框380处，补偿后的生物传感器数据从用户特征确定模块100输出到客户端应用150。
39.应当注意，图2和图3的流程图的操作图示出一些可能的情况。在一些示例中，在合适的情况下可以删除或者移除一些操作，或者可以改变这些操作的顺序。在一些示例中，一些操作可以与其他操作同时或者并行执行。
40.如本文中描述的设备、模块、方法和系统可以由处理器实现，该处理器处理并执行从非暂时性存储介质中检索的程序代码。图4示出了这种处理装置400的示例，处理装置400包括耦接到至少一个处理器420的计算机可读存储介质430。计算机可读介质430可以是能够包含、存储或者维护程序和/或数据的任何介质，以供指令执行系统或用于执行指令的其他系统使用或与其结合使用。计算机可读介质可以包括多个物理介质中的任一种，诸如例如电子、磁性、光学、电磁或者半导体介质。合适的机器可读介质的更具体的示例包括但不限于硬盘驱动、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器或者便携式存储器(诸如例如usb驱动或者盘)。其他机器可读介质的示例可以不受其特定形式的限制，而是受其存储用于操纵的数据和/或控制相同、相似或者不同的数据的操纵的功能的限制。在一些示例中，程序代码可以由处理核、协处理器等来执行。
41.在图4中，计算机可读存储介质430包括用于执行如本文中描述的方法或者实现装置或模块的程序代码。例如，当程序代码被执行时，可以实现与图2中所示的示例相对应的方法，即：接收402生物传感器数据，确定404生物传感器数据是否指示用户的预定义生物特征；并且确定406并输出对确定的预定义生物特征的预定义响应。
42.如上所描述，所公开的用户特征确定模块100可以在操作之前或者操作期间提供或者以其他方式设置配置参数，其中配置参数可以确定在关于用户的每个可检测情况下做什么。
43.图5示出如何提供这种配置参数的示例形式。在该示例中，对用户的检测到的生物特征的不同响应可以使用要管理的生物特征的表格以及可以由用户特征确定模块提供的对应的动作来传送，或者以其他方式来设置/定义。例如，对于独眼(即具有一只眼睛)的生物特征，可以提供的可能的对应动作包括：发出异常或者中止消息、仅通知客户端应用检测到的情况并输出原始生物传感器数据，或者将补偿应用于生物传感器数据以生成补偿后的生物传感器数据，该补偿后的生物传感器数据消除或者至少减少用户具有一只眼睛的影响。对于心律失常(即具有不规则的心跳)的生物特征，可以提供的可能的对应动作包括：发出异常或者中止消息、仅通知客户端应用检测到的情况并输出原始生物传感器数据，或者向客户端应用150输出预先记录的默认数据集。对于佩戴圆隐形眼镜的生物特征，可以提供的可能的对应动作包括：发出异常或者中止消息、仅通知客户端应用检测到的情况并输出原始生物传感器数据，或者向客户端应用150输出预先记录的默认数据集。对于瞳孔大小不等(即瞳孔大小不相同的情况)的生物特征，可以提供的可能的对应动作包括：发出异常或者中止消息、仅通知客户端应用检测到的情况并输出原始生物传感器数据，或者对生物传感器数据应用补偿以生成补偿后的生物传感器数据。对于斜视(即眼睛未对齐的情况)的生物特征，可以提供的可能的对应动作包括：发出异常或者中止消息，仅通知客户端应用检测
到的情况并输出原始生物传感器数据，或者对生物传感器数据应用补偿以生成补偿后的生物传感器数据，补偿后的生物传感器数据消除或者至少减少用户具有一只眼睛的影响。应当理解，可以考虑多个进一步的生物特征，以及多个其他可能的对应动作。实际上，可以定义和使用关于用户的任何和所有可检测的状况，以及所公开的中间件或者甚至驱动hmd沉浸式环境本身的客户端应用可以采取的关联的补救、通知或者任何其他动作。响应于特定生物特征的检测的可能的对应动作不应当被认为受图5的表格中提供的特定组合的限制，图5的表格应当被认为是示例。
44.图5的表格中的信息可以由isv使用，以确定在他们的软件应用的操作期间可能出现哪些期望的、不期望的或者不常见的生物特征。因此，他们可以基于软件应用的要求，响应于特定的生物特征而选择最合适的对应动作。以这种方式，所描述的示例提供了完全可配置但统一的框架(例如，中间件平台)来管理不同的用户能力的检测，以及对被收集的数据或者客户端应用本身的执行的任何后续调整的控制，使得沉浸式环境可以考虑检测到的用户差异。这允许简化整个处理，同时还利用对异常或者低概率用户特征偏差的检测的改进，以供所有相关方使用。
45.如现在将从本公开的以上详细描述中理解的，提供了在hmd装置与运行客户端应用的主机计算装置之间操作的中间件的形式，该客户端应用提供由hmd投影/显示的沉浸式环境。中间件采用独立的用户特征确定模块的形式，该模块接收来自可用于系统(可以在hmd上，或者以其他方式，诸如在控制器等上)的生物传感器的输入，并且从这些输入中能够确定用户是否表现出已知影响他们如何与沉浸式体验交互(或者以其他方式享受沉浸式体验)的某种形式的预定特征，并且然后根据有效的配置参数采取合适的动作。这些配置参数可以预先提供，或者在运行中提供，即在使用期间动态地提供。
46.所公开的用户特征确定模块可以采取软件的形式(例如，在主机计算系统上运行的软件驱动程序)，或者可以采取放置在整个主机系统中合适的节点处的专用硬件模块的形式。模块或者软件也可以直接运行在hmd装置上，或者是hmd装置的一部分。所描述的模块可以位于(包括内置或者独立的传感器的)hmd与运行驱动hmd的沉浸式环境的客户端应用的主机计算系统之间的处理(和数据收集)路径内的任何合适的点处。实现可以包括与传感器的直接通信形式，例如直接存储器访问(dma)等。模块或者软件可以位于hmd或者支持hmd以提供沉浸式环境的主机计算系统的远程，并且可以经由网络连接或者通过云计算环境来访问。
47.通过提供所公开的用户特征确定模块以及关联的配置和控制机制，本公开提供了用于管理所有可预定的用户特征类型的方式，以在合适的情况下独立于客户端应用进行相应的管理。因此，本公开能够实现更一致的管理，并且能够从客户端应用程序开发周期中抽象出来，从而降低开发复杂性。
48.因此，所描述的用户特征确定模块和关联的配置和控制机制可以被视为投影(即显示)沉浸式环境的hmd装置与运行在主机计算系统上以驱动该环境的客户端应用之间的抽象层，其代表客户端应用来管理用户检测，使得可以采取任何合适的动作。合适的动作在初始开发、沉浸式环境的初始化期间或者稍后的使用期间是完全可配置的。
49.本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征可以以任何组合方式进行组合，其中这样的特征中的一些互斥的组合除外。除非另有明确说明，否则本说
明书(包括任何所附的权利要求、摘要和附图)中公开的每个特征可以被用于相同、等同或者类似目的的特征所替换。因此，除非另有明确声明，否则所公开的每个特征是等同或者类似的特征的通用系列的一个示例。
50.本教导不限于任何前述示例的细节。可以设想本说明书(包括任何所附权利要求、摘要和附图)中公开的特征的任何新颖组合。权利要求不应被解释为仅涵盖前述示例，而是涵盖落入权利要求范围内的任何变型。
51.在一些示例中，用户特征确定模块是运行在主机计算系统上的软件应用，主机计算系统与hmd一起操作以提供由用户体验的沉浸式环境。
52.在一些示例中，用户特征确定模块可以自行输出异常指令，而不发送任何生物数据(原始的或者其他的)。
53.在一些示例中，用户的生物特征由hmd装置的开发者、客户端应用的独立软件开发者、运行数据收集服务的独立第三方或者这些实体的组合或者具有能够执行定义的数据的类似实体来预先定义。在一些示例中，用户的生物特征实际上是hmd装置的当前用户如何偏离基线或者“正常”用户的定义(例如，在客户端应用的控制或者生成下，没有可辨别的状况来防止或者以其他方式改变他们完全参与hmd装置提供的沉浸式环境并由此与该沉浸式环境交互的能力的用户)。
54.在一些示例中，配置参数用于定义用户特征确定模块正在查找的用户的生物特征，即，可能被认为在标称基线用户之外的用户的生物特征的种类。
55.在一些示例中，配置参数可以是硬件定义的，例如通过硬件开关、跳线等。在一些示例中，仅特定硬件(连接到hmd，或者包含在其中)的存在可以用于设置配置参数。例如，配置参数可以指示特定的生物特征无法基于某些硬件缺失或者从hmd脱离而被检测到。
56.如本文中使用的“沉浸式环境”可以是任何计算机生成的或者增强的视觉、听觉或者其他人类感官驱动的体验，其通过在用户上使用hmd装置来实现。这种沉浸式体验的示例可以包括虚拟现实游戏和增强现实开发平台等，其中计算机生成的对象被放置在hmd装置的用户的视野内。“沉浸式环境”可以替代地被称为(用户的)沉浸式体验。
57.在一些示例中，hmd可以用于虚拟现实系统、增强现实系统、混合现实系统、加强(enhanced)现实系统或者扩展现实系统。在一些示例中，hmd可以用于空间计算系统。
58.眼部传感器的示例可以是相机或者任何其他合适的成像装置，当hmd就位时，其指向用户的眼睛，准备向用户提供沉浸式环境。可以使用多个这样的传感器或者能够检测用户双眼生物特征的单个传感器。
59.在一些示例中，生物特征管理器、生物传感器数据收集器、补偿模块、确定逻辑和所公开系统的任何其他可定义模块或者部件可以是在处理资源(例如，处理器和关联的存储器)上执行的一组软件例程、专用硬件实现或者两者的组合。
60.用户的预定义生物特征可以被认为是用户的状况(身体的或者其他的)，或者关于用户的任何其他可检测的参数，其指示所述用户与典型用户的基线特征具有差异，该差异可能阻碍、改变或者甚至阻止沉浸式环境的正确使用。由给定用户表现出的与基线特征数据集的该差异可以被称为异常。对检测到与基线的这种差异(异常)的预定义响应可以包括采取已经或者可以被定义为在检测到用户的这种类型的预定义生物特征之后采取的任何合适的动作(中止、补偿等)。用户的生物特征可以被认为是用户能力简档的形式，其指示用
户能够利用由hmd和运行/支持hmd的操作的关联的主机计算系统所提供的资源在沉浸式环境内进行交互的程度。因此，用户的预定义生物特征指示用户如何能够与通过头戴式显示装置提供沉浸式环境的客户端应用进行交互。
61.如本文中所使用的，“预定义”简单地表示“预先定义”的时间点，相应的数据在该时间点将被测试、评估或者以其他方式用于根据所描述的示例的后续处理。因此，相应的数据(例如，预定义响应、(被查找)的预定义特征等)可以在从预先初始化到动态地在模块的操作期间(即在运行中)的任何地方被定义。因此，预定义还涵盖在使用期间重定义的数据，以及由开发者或者硬件制造商等预先设置的任何内容。
62.在一些示例中，客户端应用驱动或者生成由hmd显示的沉浸式环境。
63.在一些示例中，确定生物传感器数据是否指示用户的预定义生物特征可以包括将生物传感器数据与模板数据进行比较。在一些示例中，模板数据可以是表现出预定义生物特征的预先记录的数据。在一些示例中，确定生物传感器数据是否指示用户的预定义生物特征可以包括模式识别。
64.在一些示例中，配置参数可以定义在传感器数据中被查找的用户的生物特征。在一些示例中，配置参数可以存储在数据库中。
65.在一些示例中，用户的检测到的生物特征可以存储在用户数据库中。在一些示例中，检测到的生物特征可以用于生成用户的简档。在一些示例中，用户的检测到的生物特征可以与存储在用户数据库中的用户的先前检测到的生物特征进行比较。存储在用户数据库中的关于用户的数据可以基于从在现场操作的hmd装置的大量不同用户收集的数据或者数据本身。用户的数据可以存储在云中或者本地主机装置上。
66.在一些示例中，补偿后的生物传感器数据可以被改变，使得它不包含用户的检测到的生物特征，从而补偿掉该特征。在一些示例中，补偿可以包括相对于预定义的基线生物传感器数据集来归一化生物传感器数据值。在一些示例中，可以对生物传感器数据的高于或者低于所定义的阈值的部分应用补偿。在一些示例中，补偿可以包括将生物传感器数据值与可以存储在存储器中的预先记录的生物传感器数据进行平均。
67.根据示例，提供了与头戴式显示装置一起使用的用户特征确定模块，包括：生物特征管理器，用于：从传感器接收关于用户的生物传感器数据；并且确定生物传感器数据是否指示用户的预定义生物特征；以及确定逻辑，用于确定并输出对用户的确定的生物特征的预定义响应；其中用户的预定义生物特征指示用户如何能够与通过头戴式显示装置提供沉浸式环境的客户端应用进行交互。
68.根据一些示例，提供了一些其他示例的用户特征确定模块，其中预定义响应是以下之一：输出中止指令以停止客户端应用的进一步执行；输出处理指令来提供生物传感器数据的补偿，以生成补偿后的生物传感器数据，并将补偿后的生物传感器数据输出到客户端应用；向客户端应用输出异常指令和生物传感器数据；以及向客户端应用输出预先记录的生物传感器数据。
69.根据一些示例，提供了一些其他示例的用户特征确定模块，其中用于用户的给定生物特征的预定义响应基于配置参数。
70.根据一些示例，提供了一些其他示例的用户特征确定模块，其中配置参数在初始化时提供。
71.根据一些示例，提供了一些其他示例的用户特征确定模块，其中配置参数经由应用编程接口api来提供。
72.根据一些示例，提供了一些其他示例的用户特征确定模块，其中进一步包括补偿模块，其中处理指令使补偿模块将补偿应用于生物传感器数据以生成补偿后的生物传感器数据。
73.根据一些示例，本文提供了一些其他示例的用户特征确定模块，其中应用于生物传感器数据的补偿基于预定义处理来确定。
74.根据一些示例，本文提供了一些其他示例的用户特征确定模块，其中补偿模块进一步从输入或输出装置接收数据，并且其中处理指令进一步使补偿模块生成补偿后的输入或输出装置数据。
75.根据示例，提供了用于管理关于头戴式显示装置的用户的生物传感器数据的方法，该方法包括：从传感器接收生物传感器数据；确定生物传感器数据是否指示用户具有预定义生物特征；并且如果生物传感器数据指示用户具有预定义生物特征，则输出预定义响应；其中用户的预定义生物特征指示用户如何能够与通过头戴式显示装置提供沉浸式环境的客户端应用进行交互。
76.根据一些示例，本文提供了一些其他示例的方法，其中预定义响应是以下之一：输出中止指令以停止客户端应用的进一步执行；输出处理指令来提供生物传感器数据的补偿，以生成补偿后的生物传感器数据并将补偿后的生物传感器数据输出到客户端应用；向客户端应用输出异常指令和生物传感器数据；以及向客户端应用输出预先记录的生物传感器数据。
77.根据一些示例，本文提供了一些其他示例的方法，进一步包括从客户端应用接收配置参数。
78.根据一些示例，本文提供了一些其他示例的方法，进一步包括经由应用编程接口api接收配置参数。
79.根据一些示例，本文提供了一些其他示例的方法，其中响应于处理指令，补偿模块将补偿处理应用于生物传感器数据，以生成补偿后的生物传感器数据。
80.根据一些示例，本文提供了一些其他示例的方法，进一步包括从输入或输出装置接收数据；以及通过补偿模块对输入或输出装置数据应用补偿处理，以生成补偿后的输入或输出装置数据。
81.根据示例，提供了包括指令的计算机可读存储介质，该指令在由处理器执行时使处理器执行本文中描述的一些其他示例的方法的操作。