用于手势检测和分类的方法和装置与流程

技术特征：
1.一种系统，包括：头戴式设备，其被配置为向用户呈现人工现实视图；控制设备，其包括多个肌电图(emg)传感器，所述肌电图(emg)传感器包括当所述用户佩戴所述控制设备时接触所述用户的皮肤的电极；至少一个物理处理器；和物理存储器，其包括计算机可执行指令，所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器：处理如由所述emg传感器检测到的一个或更多个emg信号；将经处理的一个或更多个emg信号分类为一种或更多种手势类型；基于所述手势类型提供控制信号，其中，所述控制信号触发所述头戴式设备来修改所述人工现实视图的至少一个方面。2.根据权利要求1所述的系统，其中，所述至少一个物理处理器位于所述控制设备内。3.根据权利要求1所述的系统，其中，所述至少一个物理处理器位于所述头戴式设备内，或者位于与所述控制设备通信的外部计算机设备内。4.根据权利要求1所述的系统，其中，所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器使用分类器模型将经处理的emg信号分类为一种或更多种手势类型。5.根据权利要求4所述的系统，其中，所述分类器模型是使用训练数据来训练的，所述训练数据包括针对所述手势类型的多个emg训练信号。6.根据权利要求5所述的系统，其中，所述训练数据是从多个用户获得的。7.根据权利要求1所述的系统，其中，所述头戴式设备包括虚拟现实头戴装置或增强现实设备。8.一种方法，包括：从用户获得一个或更多个肌电图(emg)信号；处理所述一个或更多个emg信号以生成相关联的特征数据；使用分类器模型将所述相关联的特征数据分类为一种或更多种手势类型；和基于所述一种或更多种手势类型，向人工现实(ar)设备提供控制信号，其中，所述分类器模型是使用训练数据来训练的，所述训练数据包括针对所述一种或更多种手势类型的多个emg训练信号。9.根据权利要求8所述的方法，其中，所述分类器模型是通过对从emg训练信号确定的特征数据进行聚类来训练的。10.根据权利要求8所述的方法，其中，所述分类器模型是使用从多个用户获得的emg训练信号来训练的。11.根据权利要求10所述的方法，其中，所述多个用户不包括所述用户。12.根据权利要求8所述的方法，还包括通过以下步骤来训练所述分类器模型：获得对应于手势类型的emg训练信号；通过对从所述emg训练信号获得的emg训练数据进行聚类来训练所述分类器模型。13.根据权利要求8所述的方法，其中，所述分类器模型还通过以下步骤进行训练：确定emg训练信号相对于相应的emg训练信号最大值的时间的时间依赖性；通过向多个emg训练信号中的至少一个emg训练信号添加时间偏移来使所述多个emg训
练信号的所述时间依赖性对齐；从对齐的多个emg训练信号中获得信号特征；和训练所述分类器模型以检测具有所述信号特征的emg信号。14.根据权利要求8所述的方法，其中，所述分类器模型还通过以下步骤进行训练：获得包括对应于手势类型的emg训练信号的训练数据；和将对应于所述手势类型的每次出现的所述emg训练信号进行平均，以获得针对所述手势类型的手势模型，其中，所述分类器模型使用所述手势模型对emg信号进行分类。15.根据权利要求14所述的方法，其中，所述手势模型是针对所述手势类型的特定于用户的手势模型。16.根据权利要求14所述的方法，其中，所述手势模型是基于从多个用户获得的emg训练数据的多用户手势模型，所述多用户手势模型是多个特定于用户的手势模型的组合。17.根据权利要求8所述的方法，其中，所述人工现实设备包括被配置为向用户呈现人工现实图像的头戴式设备，所述方法还包括基于所述控制信号来修改所述人工现实图像。18.根据权利要求17所述的方法，其中，修改所述人工现实图像包括基于所述手势类型选择或控制所述人工现实图像中的对象。19.一种非暂时性计算机可读介质，其包括一个或更多个计算机可执行指令，所述计算机可执行指令在由计算设备的至少一个处理器执行时使所述计算设备：接收如由emg传感器检测到的一个或更多个肌电图(emg)信号；处理所述一个或更多个emg信号以识别对应于用户手势类型的一个或更多个特征；使用所述一个或更多个特征来将所述一个或更多个emg信号分类为所述手势类型；基于所述手势类型提供控制信号；和将所述控制信号传输到头戴式设备，以响应于所述控制信号来触发对人工现实视图的修改。20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述计算机设备被配置为对所述emg信号进行分类，以基于根据从多个用户获得的训练数据确定的手势模型来识别所述手势类型。

技术总结
示例系统可以包括：头戴式设备，其被配置为向用户呈现人工现实视图；控制设备，其包括多个肌电图(EMG)传感器；以及至少一个物理处理器，其被编程为接收基于由EMG传感器检测到的信号的EMG数据，检测EMG数据内对应于用户手势的EMG信号，对EMG信号进行分类以识别手势类型，并基于手势类型提供控制信号，其中，控制信号触发头戴式设备以修改人工现实视图。还公开了各种其他方法、系统和计算机可读介质。系统和计算机可读介质。系统和计算机可读介质。


技术研发人员：亚历山大
受保护的技术使用者：脸谱科技有限责任公司
技术研发日：2020.03.30
技术公布日：2021/11/14