利用基于用户交互的优先级的低延迟姿态估计系统的制作方法

本技术涉及人机交互领域，具体涉及对在交互显示器前方的用户运动和手势进行跟踪和解释的系统及方法。本技术与交互式演示尤其相关，在这些交互式演示中，用户通过其身体运动和手势与数字内容进行交互。

背景技术：

1、交互式应用（例如，向数字白板提供输入时所用的交互式应用）通常需要实时跟踪用户的运动和手势，以提供沉浸且直观的用户体验。实现这一点的常见方法是基于实时相机数据计算并跟踪用户的骨架模型。这些骨架模型表示与用户和系统的交互相关的各种身体部位（例如手、头部和四肢）的位置和运动。

2、然而，基于实时相机数据计算骨架模型涉及复杂算法和计算，需要强大的处理能力。这对于低功耗计算系统而言尤其具有挑战性，这些低功耗计算系统被设计为消耗较少的能量，并且通常具有有限的处理能力。因此，这些系统可能难以高效处理实时相机数据并计算骨架模型，从而导致交互式应用中的长延迟。用户输入与系统响应之间的这种延迟会对用户体验和参与度产生负面影响。

3、现有技术的系统通常涉及需要大量计算资源的游戏应用。

4、因此，需要一种改进的方法和系统，用于在交互式应用中计算和跟踪骨架模型，该方法和系统尤其适用于低功耗计算系统，其能够减少延迟和计算负载，尤其是在向数字白板或类似交互系统提供输入时的延迟和计算负载。

技术实现思路

1、根据本公开的第一方面，提供了一种交互系统，该交互系统包括控制器。控制器被配置为：接收交互显示器前方的用户位置的空间数据，基于空间数据确定用户的骨架模型，并且当确定骨架模型的特征的位置和/或运动与用于在交互显示器的显示坐标系中发起用户输入的预定触发条件相匹配时，跟踪用户的骨架模型。在已经确定匹配所述触发条件时，控制器生成映射区域，所述映射区域限定用户前方区域内的交互空间。控制器将映射区域映射至显示坐标系，由此映射区域内的输入坐标在显示坐标系中具有关联的显示坐标。控制器随后跟踪用户的骨架模型，以在用户提供用户输入时确定映射区域内的后续输入坐标和交互显示器的显示坐标系中相关联的显示坐标。控制器被配置为在第一模式下以第一帧率、在第二模式下以第二帧率跟踪骨架模型，第二帧率高于第一帧率。控制器被配置为：在已经确定匹配所述触发条件时，在第二模式下跟踪骨架模型。这一方面允许降低计算负载，因为骨架模型仅在用户触发所述触发条件时才以增加的帧率在第二模式下被跟踪，而非一直被跟踪。该特征减少了用户主动提供输入时的交互延迟，在用户主动提供输入的情况下，对低延迟的需求最为重要。

2、可选地，在一些示例中，控制器被配置为在第一模式下跟踪骨架模型，直至已确定匹配所述触发条件，随即，控制器被配置为在第二模式下跟踪骨架模型。该特征实现了在降低计算负载的同时提供两种模式之间的过渡，以实现流畅的用户体验。

3、可选地，在一些示例中，控制器被配置为在第二模式下跟踪骨架模型，直至提供输入坐标的检测到的输入特征移出映射区域，随即，控制器被配置为在第一模式下跟踪骨架模型。因为较高帧率的跟踪仅在必要时使用，因此该特征实现了计算资源的高效使用。

4、可选地，在一些示例中，控制器被配置为：确定位于交互显示器前方的多个用户的骨架模型，并且当已经针对活动用户子集中的各用户分别确定匹配所述触发条件时，在第二模式下跟踪已识别的活动用户子集的骨架模型子集。该特征实现了多个用户与系统同时交互，对计算资源的需求较少，同时仍保持对活动用户的高水平响应性。

5、可选地，在一些示例中，第一模式下的帧率基于尚未确定匹配所述触发条件的已识别的非活动用户子集中的用户数量。因为帧率基于非活动用户的数量进行调整，因此该特征实现了计算资源的高效使用。

6、可选地，在一些示例中，控制器被配置为：在第一模式下，按照循环的方式，每推进一帧，为非活动用户子集内的一个用户确定对应的骨架模型。该特征实现了计算资源的高效使用，同时还在一个完整循环内确定非活动用户的位置。

7、可选地，在一些示例中，控制器被配置为在第二模式下逐帧跟踪骨架模型。该特征实现了用户主动提供输入时的高水平响应性。

8、可选地，在一些示例中，控制器被配置为在第三模式下跟踪已识别的预活动用户子集的骨架模型子集。控制器被配置为在第三模式下以第三帧率跟踪骨架模型，其中第三帧率高于第一帧率且低于第二帧率。该特征对将要活动的用户带来了响应更迅速的交互，从而提供更流畅的用户体验。

9、可选地，在一些示例中，控制器被配置为：在已经确定匹配所述触发条件时，持续接收空间数据，以在一段时间内跟踪用户的骨架模型以及用户在映射区域内相关联的运动。控制器被配置为：确定运动对应的输入坐标，并生成控制信号，以在显示坐标系中显示运动对应的输出。该特征实现了对用户运动的连续跟踪，从而提供与系统更自然且直观的交互。

10、可选地，在一些示例中，控制器被配置为：当提供输入坐标的检测到的输入特征移出映射区域时，生成控制信号以停止在显示坐标系中显示输出。该特征实现了用户输入的明确结束，从而提供与系统更直观的交互。

11、可选地，在一些示例中，控制器被配置为：检测骨架模型的多个特征和/或其运动的组合，使得一旦特征的组合与用于在显示坐标系中触发用户输入的预定用户命令相匹配，就确定匹配触发条件。该特征能够减少用户输入的误触发的发生。

12、可选地，在一些示例中，基于从空间数据检测到如下特征组合来触发用户输入，所述特征组合至少包括与用户的身体相关联的骨架模型的第一特征以及与触控笔等输入对象相关联的第二特征。该特征能够减少用户输入的误触发的发生，同时实现更宽范围的用户输入。

13、可选地，在一些示例中，基于检测到按定义顺序的特征组合来触发用户输入，和/或基于检测到满足定义空间关系的特征组合来触发用户输入。该特征能够进一步减少用户输入的误触发的发生。

14、根据本公开的第二方面，提供了一种用于交互系统的方法。该方法包括：接收交互显示器前方的用户位置的空间数据，基于空间数据确定用户的骨架模型，并且当确定骨架模型的特征的位置和/或运动与用于以在交互显示器的显示坐标系中发起用户输入的预定触发条件相匹配时，跟踪骨架模型。在已经确定匹配触发条件时，该方法包括：生成映射区域，其中映射区域限定用户前方区域内的交互空间；将映射区域映射至显示坐标系，由此映射区域内的输入坐标在显示坐标系中具有关联的显示坐标；以及跟踪用户的骨架模型，以在用户提供用户输入时确定映射区域内的后续输入坐标和交互显示器的显示坐标系中相关联的显示坐标。该方法包括在第一模式下以第一帧率、在第二模式下以第二帧率跟踪骨架模型，第二帧率高于第一帧率。该方法包括：在已经确定匹配触发条件时，在第二模式下跟踪骨架模型。该方法能够降低计算负载，因为骨架模型仅在用户触发所述触发条件时才被跟踪，而非一直被跟踪。

1.一种交互系统（100），包括：

2.根据权利要求1所述的交互系统，其中，所述控制器被配置为在所述第一模式下跟踪所述骨架模型，直至已确定匹配所述触发条件，随即，所述控制器被配置为在所述第二模式下跟踪所述骨架模型。

3.根据权利要求1或2所述的交互系统，其中，所述控制器被配置为在所述第二模式下跟踪所述骨架模型，直至提供所述输入坐标(xi,yi)的检测到的输入特征（202）移出所述映射区域，随即，所述控制器被配置为在所述第一模式下跟踪所述骨架模型。

4.根据权利要求1至3中任一项所述的交互系统，其中，所述控制器被配置为：

5.根据权利要求1至4中任一项所述的交互系统，其中，所述第一模式下的帧率基于尚未确定匹配所述触发条件的已识别的非活动用户子集（206）中的用户数量。

6.根据权利要求5所述的交互系统，其中，所述控制器被配置为：在所述第一模式下，按照循环的方式，每推进一帧，为所述非活动用户子集内的一个用户确定对应的骨架模型。

7.根据权利要求1至6中任一项所述的交互系统，其中，所述控制器被配置为在所述第二模式下逐帧跟踪所述骨架模型。

8.根据权利要求1至7中任一项所述的交互系统，其中，所述控制器被配置为在第三模式下跟踪已识别的预活动用户子集的骨架模型子集，其中，所述控制器被配置为在所述第三模式下以第三帧率跟踪所述骨架模型，其中，所述第三帧率高于所述第一帧率且低于所述第二帧率。

9.根据权利要求1至8中任一项所述的交互系统，其中，所述控制器被配置为：在已经确定匹配所述触发条件时，持续接收所述空间数据，以在一段时间内跟踪所述用户的骨架模型以及所述用户在所述映射区域内相关联的运动；

10.根据权利要求9所述的交互系统，其中，所述控制器被配置为：当提供所述输入坐标(xi,yi)的检测到的输入特征（202）移出所述映射区域时，生成控制信号以停止在所述显示坐标系中显示所述输出。

11.根据权利要求1至10中任一项所述的交互系统，其中，所述控制器被配置为：检测所述骨架模型的多个所述特征和/或其运动的组合，使得一旦所述特征的组合与用于在所述显示坐标系中触发用户输入的预定用户命令相匹配，就确定匹配所述触发条件。

12.根据权利要求11所述的交互系统，其中，基于从所述空间数据检测到如下特征组合来触发所述用户输入，所述特征组合至少包括与所述用户的身体相关联的骨架模型的第一特征（106）以及与触控笔等输入对象相关联的第二特征。

13.根据权利要求11或12所述的交互系统，其中，基于检测到按定义顺序的特征组合来触发所述用户输入，和/或，基于检测到满足定义空间关系的特征组合来触发所述用户输入。

14.一种用于交互系统（100）的方法（300），包括：