使用射频检测无接触手势的制作方法

使用射频检测无接触手势


背景技术：

1.一些无线音频附件(诸如无线耳塞式耳机)具有能够在空中传送信号的天线。耳塞式耳机通常配备有若干传感器以与用户交互并且支持智能特征。容纳传感器和天线两者可能是具有挑战性的。例如，由于设备的小形状因子的约束，耳塞式耳机中可用的空间小。耳塞式耳机的紧凑大小对于诸如舒适的配合、运动期间的稳定性的人类因素是重要的。另一个挑战是无线耳塞式耳机的成本，其可以很大程度上受传感器或感测结构的部件成本或制造成本的影响。还有一个挑战是天线和其它感测部件之间的物理间隙小。小的间隙导致天线和其它感测部件(尤其是触摸传感器)之间的高射频(rf)耦合。这导致天线性能劣化、由于组装中的其它部件的大公差而引起的天线性能的大变形、以及对感测性能的潜在影响。
2.用于感测对诸如耳塞式耳机之类的无线音频附件的输入的当前技术包括电容器传感器、红外(ir)传感器等。传统电容器传感器使用电容感测来查看是否有任何手指/手在附近。传统的ir传感器使用红外光来检测诸如皮肤的表面的接近。但是，它不能分辨它是什么特定表面，因此如果传感器被手指/其它物体覆盖，则检测可能是错误的肯定。此外，这些技术需要特定硬件部件来实现感测，这是昂贵的并且占用大量宝贵的空间。


技术实现要素：

3.本公开提供使用rf信号来检测对诸如无线耳塞式耳机之类的无线设备的输入。例如，由于天线是无线耳塞式耳机中的基本部件，因此感测耳塞式耳机的状态并且替换或辅助传统传感器可以是多功能的。
4.本公开的一个方面提供一种用于检测输入的方法，该方法包括由第一设备检测所述第一设备与无线地耦合到所述第一设备的第二设备之间的信号强度；由所述第一设备标识所检测的信号强度的改变；以及由所述第一设备基于所检测的信号强度的改变确定对应于所检测的信号强度的改变的用户输入手势。所述第一设备可以是耳塞式耳机对中的第一耳塞式耳机而所述第二设备是所述耳塞式耳机对中的第二耳塞式耳机。所述方法还可以包括由所述第一设备检测所述第一设备与主机设备之间的第二信号强度，以及由所述第一设备标识所述第二信号强度的改变，其中确定所述用户输入手势进一步基于所述第二信号强度的改变。用户输入手势可以是非接触手势，诸如第一设备附近的轻扫手势或保持手势。
5.根据一些示例，该方法还可以包括由所述第一设备的一个或多个传感器检测用户输入；以及将由所述一个或多个传感器对用户输入的检测与所标识的所检测的信号强度的改变相关。例如，一个或多个传感器可以包括触摸传感器、红外传感器等。
6.根据一些示例，该方法还可以包括由所述第一设备接收用于训练机器学习模型的训练用户输入手势；由所述第一设备在接收到所述训练用户输入手势时检测所述信号强度的改变；以及在所述第一设备的存储器中存储所述训练用户输入手势和所检测的信号强度的改变的指示。此外，当接收到后续用户输入时可以更新所存储的指示和所检测的信号强度的改变。
7.本公开的另一方面提供一种系统，包括可穿戴无线设备，该可穿戴无线设备包括
存储器、一个或多个处理器、以及用于与至少一个第二设备无线地通信的无线接口。可穿戴无线设备的一个或多个处理器被配置为检测所述第一设备与无线地耦合到所述第一设备的第二设备之间的信号强度；标识所检测的信号强度的改变；以及基于所检测的信号强度的改变确定对应于所检测的信号强度的改变的用户输入手势。可穿戴无线设备可以是耳塞式耳机对中的第一耳塞式耳机，并且第二设备可以是该对耳塞式耳机中的第二耳塞式耳机。可穿戴无线设备的一个或多个处理器还可以被配置为检测所述第一设备与主机设备之间的第二信号强度以及标识所述第二信号强度的改变，其中确定所述用户输入手势进一步基于所述第二信号强度的改变。用户输入手势可以是非接触手势，诸如第一设备附近的轻扫手势或保持手势。
8.根据一些示例，可穿戴无线设备还可以包括一个或多个传感器，并且可穿戴无线设备的一个或多个处理器还可以被配置为使用所述一个或多个传感器来检测用户输入，并且将由所述一个或多个传感器对用户输入的检测与所标识的所检测的信号强度的改变相关。传感器可以包括触摸传感器或红外传感器或各种其他传感器中的任一个。
9.根据一些示例，可穿戴无线设备的一个或多个处理器还可以被配置为接收用于训练机器学习模型的训练用户输入手势；在接收到所述训练用户输入手势时检测所述信号强度的改变；以及在所述存储器中存储所述训练用户输入手势和所检测的信号强度的改变的指示。可穿戴无线设备的一个或多个处理器还可以被配置为当接收到后续用户输入时更新所存储的指示和所检测的信号强度的改变。
10.本公开的又一方面提供了一种存储指令的非暂时性计算机可读介质，所述指令由一个或多个处理器可执行以用于执行用于检测输入的方法。此方法可以包括由第一设备检测所述第一设备与无线地耦合到所述第一设备的第二设备之间的信号强度；由所述第一设备标识所检测的信号强度的改变；以及由所述第一设备基于所检测的信号强度的改变确定对应于所检测的信号强度的改变的用户输入手势。第一设备可以是耳塞式耳机对中的第一耳塞式耳机，并且第二设备可以是该对耳塞式耳机中的第二耳塞式耳机，并且该方法还可以包括由所述第一设备检测所述第一设备与主机设备之间的第二信号强度以及由所述第一设备标识所述第二信号强度的改变，其中确定所述用户输入手势进一步基于所述第二信号强度的改变。
附图说明
11.图1是示出根据本公开的方面的示例系统的框图。
12.图2是图1的系统的示例图示。
13.图3a-c是示出根据本公开的方面的通过信号强度的变化所检测的示例手势的示意图。
14.图4是示出根据本公开的方面的示例系统的功能框图。
15.图5至图8示出根据本公开的方面的对应于不同手势的信号强度的示例变形。
16.图9示出根据本公开的方面的与可穿戴设备的穿戴状态相对应的信号强度的示例变形。
17.图10是示出根据本公开的方面的示例方法的流程图。
具体实施方式
18.本公开提供基于耳塞式耳机之间和/或耳塞式耳机与诸如主机设备之类的其他设备之间的rf信号来检测对诸如耳塞式耳机或其他可穿戴设备之类的无线设备的输入。例如，可以使用信号强度，诸如通过使用两个耳塞式耳机之间和/或耳塞式耳机与主机设备之间的接收信号强度指示符(rssi)，来检测手势。
19.手势可以是例如非接触手势，诸如将用户的手指保持在耳塞式耳机附近，或者在耳塞式耳机附近以诸如轻扫的指定运动移动用户的手指。在其他示例中，耳塞式耳机之间或耳塞式耳机与另一设备之间的所检测的信号强度可以用于增加由诸如触摸传感器、红外传感器等其他传感器进行的输入检测的准确度。例如，所检测的信号强度的变化可以与从其他传感器接收到的输入相关。
20.机器学习和其它后处理技术可用于使用信号强度来改进感测准确度。例如，可以使用作为训练数据输入的初始用户输入集合来训练无线设备。此外，当检测到用户输入手势时，无线设备可以更新与输入手势相关的所存储的信号强度变形。
21.示例系统
22.图1示出包括通信地耦合到第一附件设备110的主机设备105的示例系统100。第一附件设备110可以是一对附件设备(例如耳塞式耳机、无线扬声器等)中的一个。第一设备110可以以主要角色操作。这样，除了耦合到主机设备之外，第一设备110还通信地耦合到以辅助角色操作的第二附件设备120。
23.设备105、110、120之间的连接可以是例如短程无线配对，诸如蓝牙。例如，主机设备105可以经由诸如第一异步无连接(acl)链路之类的主机通信链路152耦合到第一设备110。第一设备110可以经由中继通信链路154(诸如第二acl链路)耦合到第二设备120。
24.尽管未示出，但是第一和第二设备还可以包括附加部件，诸如电池、麦克风、用于检测与第一和第二设备相关的状况的传感器、存储器等。例如，每个设备可以包括用于检测设备是否正被穿戴的传感器。这样的传感器可以包括电容传感器、热传感器、运动传感器、光传感器、加速计或任何其他类型的传感器。作为另一个示例，每个设备可以包括存储与该设备的先前使用有关的历史信息的存储器。例如，设备可以存储关于其使用的典型日期或时间、其典型使用的持续时间、信号强度、与主机设备的接近度等的信息。在一些示例中，可以单独地或组合地使用来自这些其他部件中的任何部件的信息，以帮助检测用户输入命令。
25.图2示出示例系统，其中主机设备是移动电话205，以主要角色操作的第一设备是第一耳塞式耳机210，并且以辅助角色操作的第二设备是第二耳塞式耳机220。主机通信链路252存在于电话205和第一耳塞式耳机210之间，而中继通信链路254存在于第一耳塞式耳机210和第二耳塞式耳机220之间。
26.虽然主机设备在该示例中被示为移动电话，但是应当理解，主机设备可以是适于传送音频信号的各种类型的设备中的任何一种。例如，主机设备可以是平板计算机、智能手表、游戏系统、音乐播放器、膝上型计算机、个人数字助理设备或任何其他计算设备。类似地，第一附件和第二附件，虽然在此被示出为耳塞式耳机210、220，但是在其他示例中可以是扬声器或其他音频设备、视频输出显示器等的任何组合。第一和第二附件可以在制造期间配对，或者可以单独出售并且稍后由用户配对。
27.虽然在一些示例中，用户输入命令的检测可以由第一设备210和第二设备220两者进行，但是在其他示例中，检测可以仅由设备中的一个或设备的子集进行。
28.图3a-c示出由不同设备之间的信号强度的变化所检测的示例手势。在这些示例中，手势包括将手指保持在第一耳塞式耳机210附近而不接触第一耳塞式耳机210。然而，应当理解，其他手势也是可能的，诸如手或手指的特定移动。这样的其他手势的示例包括轻扫、捏、轻击、握紧等。
29.如图3a中所见，穿戴第一耳塞式耳机210和第二耳塞式耳机220的用户201通过将手指放置在第一耳塞式耳机210附近来执行非接触保持手势。当这样做时，中继通信链路254上的信号强度改变。以下结合图5至图8描述不同手势的信号强度如何改变的示例，信号强度的改变可以通过监视rssi、rf信号电平、或与信号强度有关的各种其他标记中的任一个来检测。信号强度的改变可以由例如第一耳塞式耳机210、第二耳塞式耳机220或两者检测。虽然结合第一和第二耳塞式耳机描述了本示例，但是应当理解，可以在其他类型的无线配对的设备(诸如智能眼镜上的左侧和右侧音频输出、智能摩托车头盔、无线扬声器等)之间检测信号强度的改变。此外，可以在两种不同类型的设备之间(诸如在智能眼镜和耳塞式耳机之间)检测信号强度。
30.图3b示出通过主机通信链路252上的信号强度的变化所检测的用户手指的保持手势。例如，当用户201将手指放置在第一耳塞式耳机210的外部附近时，主机通信链路252上的信号强度将改变。信号强度的改变可以由例如第一耳塞式耳机210、主机设备205或两者来检测。第一耳塞式耳机210可以例如将所检测的信号强度的改变与存储在存储器中的对应于一个或多个手势的信号强度改变的指示进行比较。基于该比较，第一耳塞式耳机210可以标识所执行的手势。
31.图3c示出使用中继链路254上的信号强度和主机通信链路252上的信号强度的组合所检测的非接触保持手势。作为示例，第一耳塞式耳机210可以检测中继链路254上的信号强度的第一改变，以及主机通信链路252上的信号强度的第二改变。基于第一和第二改变的定时和幅度，第一耳塞式耳机210可以确定信号强度的改变对应于保持手势。例如，第一耳塞式耳机210可以将两个所检测的信号强度的改变相关，并且基于该相关来确定所执行的手势。作为一个示例，如果信号强度的两个改变同时发生并且持续相同持续时间，则第一耳塞式耳机210可以确认已经检测到手势。第一和第二改变发生的程度，诸如信号强度的降低的程度，可以用于标识特定手势。例如，保持手势可以与轻扫手势相比以不同程度和/或不同持续时间影响信号强度。
32.图4示出第一设备110和第二设备120的内部部件的示例。虽然示出多个内部部件，但是应当理解，可以包括附加或更少部件。仅作为示例，设备可以包括通常在回放设备中找到的部件，诸如扬声器、麦克风等。所述设备可以是例如无线附件，诸如耳塞式耳机、扬声器、显示器等。下面主要针对第一设备110描述这些设备。虽然在一些示例中第二设备120可以与第一设备110相似或相同，但是在其他示例中第二设备120可以是不同类型的设备。另外或替代地，第二设备120可以具有不同的内部部件。
33.第一设备110可以包括一个或多个处理器416、一个或多个存储器412以及其他部件。例如，计算设备110可以包括一个或多个传感器418、无线配对接口419和电池417。
34.存储器412可以存储由一个或多个处理器416可访问的信息，包括数据414、可以由
一个或多个处理器416执行或以其他方式使用的指令415。例如，存储器412可以是能够存储由一个或多个处理器可访问的信息的任何类型，包括计算设备可读介质或存储可以借助于电子设备读取的数据的其他介质，诸如易失性存储器、非易失性以及其他可写和只读存储器。仅作为示例，存储器412可以是被配置为提供快速查找的静态随机存取存储器(sram)。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
35.数据414可以由一个或多个处理器416根据指令415来检索、存储或修改。例如，数据414可以包括短距离无线通信简档，诸如蓝牙简档。数据414可进一步包括经缓冲的包，诸如具有从主机设备接收到的包的音频缓冲器。尽管所要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中，在关系数据库中作为具有多个不同字段和记录的表，xml文档或平面文件。数据也可以以任何计算设备可读格式来格式化。
36.指令415可以是要由一个或多个处理器416直接执行(诸如机器代码)或间接执行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储以便由处理器直接处理，或者以任何其它计算设备语言存储，包括脚本或根据需要解释或预先编译的独立源代码模块的集合。下面更详细地解释指令的功能、方法和例程。
37.一个或多个处理器416可以是硬连线到设备110本身中的微处理器、逻辑电路(例如，逻辑门、触发器等)，或者可以是专用集成电路(asic)。应当理解，一个或多个处理器416不限于硬连线逻辑电路，而是还可以包括任何商业上可获得的处理单元，或任何基于硬件的处理器，诸如现场可编程门阵列(fpga)。在一些示例中，一个或多个处理器416可以包括状态机。处理器416可以被配置为执行指令415，以例如执行诸如以下结合图5所描述的方法。
38.一个或多个传感器418可以包括用于执行各种功能的各种机械或机电传感器中的任何一种。这样的传感器可以包括例如加速度计、陀螺仪、开关、光传感器、气压计、音频传感器(例如麦克风)、振动传感器、热传感器、射频(rf)传感器等。
39.短程无线配对接口419可以用于形成与其他设备的连接，所述其他设备诸如配对的第二设备120或者主机设备，诸如提供音频包的移动电话。该连接可以是例如蓝牙连接或任何其他类型的无线配对。仅作为示例，每个连接可以包括acl链接。短程无线配对接口419可以包括例如天线、收发器或用于与另一耳塞式耳机、与主机设备和/或与其他类型的附近设备建立无线连接的其他工具。根据一些示例，短程无线配对接口419还可以适于检测这样的设备之间的无线连接上的信号强度的改变。
40.尽管图4在功能上将处理器、存储器和设备110的其它元件示为在同一块内，但是本领域的普通技术人员将理解，处理器和存储器实际上可以包括可以或可以不存储在同一物理外壳内的多个处理器和存储器。例如，存储器412可以是易失性存储器或位于与计算设备110的壳体不同的壳体中的其他类型的存储器。此外，上述各种部件可以是一个或多个电子设备的一部分。
41.在该示例中，第二设备120具有与设备110的内部架构类似的内部架构。例如，第二设备120包括存储数据424和可以由一个或多个处理器426执行的指令425的存储器422。第二设备120还包括电池427、传感器428、通信接口429(诸如蓝牙接口)等。
42.如上文所提及，可以执行指令415和425以确定由第一设备和第二设备的用户输入的手势。例如，第一设备110和第二设备120中的一个或两者可以检测第一设备110和第二设备120之间的信号强度的改变。在一些示例中，第一设备110或第二设备120可以附加地或替换地检测与其他设备的通信链路上的信号强度的改变。所检测的信号强度的改变可以用于标识由第一设备110和第二设备120的用户做出的输入手势，诸如非接触输入手势。例如，可以将所检测的信号强度的改变与存储在数据414中的信息(诸如与特定手势相对应的信号强度改变的简档)进行比较。基于所述比较，所述设备可以确定输入了哪个手势。
43.根据一些示例，可以结合其他输入检测，诸如对触摸传感器、ir传感器等的输入，来分析所检测的信号强度的改变。例如，所检测的信号强度的改变可以与由其他传感器接收到的输入相关。这可以包括确认信号强度改变的定时对应于其他传感器输入的接收的定时，并且信号强度改变的程度对应于与输入其他传感器的输入一致的手势。例如，信号强度的改变可以指示将用户的手指保持在第一设备上的手势，并且可以用于确认用户按压了第一设备的外表面上的触摸传感器。在这点上，可以减少输入的错误的肯定检测。
44.图5示出与无线设备(诸如耳塞式耳机)附近的非接触保持手势相对应的信号强度的示例改变。信号552指示耳塞式耳机和主机设备之间的信号强度，而信号554指示两个耳塞式耳机之间的信号强度。对于图5至图9中的每一个，x轴指示时间，而y轴表示rssi。通常，耳塞式耳机和主机设备之间的rssi高于两个耳塞式耳机之间的rssi。然而，在与非接触保持手势的输入相对应的部分560处，两个连接的rssi都下降。耳塞式耳机和主机设备之间的rssi在手势的开始和结束处显著下降，有时下降到等于或低于两耳塞式耳机连接的rssi的程度。两耳塞式耳机连接的rssi在手势开始时下降，然后保持相对稳定，直到它在接近手势结束时再次增加。
45.图6示出与触摸和保持手势相对应的信号强度的示例改变，其中用户的手指直接接触耳塞式耳机的表面以提供输入。与图5类似，信号652表示在耳塞式耳机-主机连接上的rssi，而信号654表示在耳塞式耳机-耳塞式耳机连接上的rssi。部分660对应于手势的输入，其中当手势结束时信号652、654两者下降且然后再次增加。
46.图7示出与轻扫手势相对应的信号强度的示例变化。如从对应于手势的输入时间的部分760所见，手势的持续时间相对于图5-6中的手势的持续时间较短。这样，耳塞式耳机-主机连接的信号752和耳塞式耳机-耳塞式耳机连接的信号754的信号强度的改变由在时间97500之后不久的更多向下尖峰表示，与延长的下降相反。
47.图8示出对应于单个轻击手势的信号强度的示例改变。类似于图7的轻扫手势，对应于轻击手势的时间的部分860在持续时间上相对短。在该部分中，在不久上升回到其正常水平之前，与耳塞式耳机-主机rssi相对应的信号852和与耳塞式耳机-耳塞式耳机rssi相对应的信号854快速且显著地下降。
48.尽管以上描述了手势的若干示例，但应当理解，这些示例不是限制性的，并且可以通过信号强度的改变来检测许多其他类型的手势。除了检测手势之外，信号强度的改变可以用于确定耳塞式耳机或其他可穿戴设备的穿戴状态。穿戴状态指示用户是否穿戴耳塞式耳机或其他无线设备。
49.图9示出与可穿戴设备的穿戴状态相对应的信号强度的示例变形。在时间902，两个耳塞式耳机之间的rssi处于与两个耳塞式耳机都在壳体内相对应的第一水平。在时间
904，当两个耳塞式耳机都插入到用户的耳朵中时，rssi下降到第二水平。当仅穿戴一个耳塞式耳机时，例如在时间906，rssi增加到第三水平。当在时间908将两个耳塞式耳机都放回到壳体中时，rssi返回到第一水平。因此，除了用于检测用户输入之外，rssi也可以用于检测无线设备的穿戴状态。
50.示例方法
51.图10是示出使用rf信号检测用户的手势输入的示例方法900的流程图。尽管以特定顺序示出和描述了操作，但是应当理解，可以修改该顺序并且可以添加或省略操作。
52.在框1010中，在第一无线配对设备和第二无线配对设备之间检测信号强度。该设备可以是例如耳塞式耳机对。根据一些示例，可以附加地或替代地检测其他设备之间(诸如耳塞式耳机和主机设备或电话之间)的信号强度。
53.在框1020中，确定在所检测的信号强度中是否存在改变。如果是，则可以进一步确定该改变是否是用户输入手势的结果。如果没有改变，则该方法可以返回到框1010以继续检测信号强度。
54.如果检测到信号强度的改变，则框1030提供确定对应于该改变的输入手势。作为示例，设备可以存储针对不同输入手势的简档，每个简档包括当执行输入手势时信号强度如何改变的指示。在这点上，设备可以将所检测的信号强度的改变与一个或多个存储的简档进行比较，并且选择最接近地对应于所检测的改变的简档。对应于所选简档的手势可以被确定为输入到设备的手势。每个手势还可以对应于特定输入命令。例如，输入命令可以指令设备增加/减小音量、输出不同内容(例如，跳到下一首歌曲)、改变模式，诸如通过切换到低功率模式、音频空间化模式等。因此，一旦确定了输入手势，则设备可以执行对应于该手势的命令。
55.根据一些示例，机器学习技术可以用于使用所检测的信号强度的改变来更准确地检测用户手势输入。作为示例，用户可以输入训练数据以用于由设备进行训练检测。例如，可以提示用户执行各种手势。设备可以检测用户执行的每个手势，并且存储与执行手势时的信号强度的改变相对应的信息。在这点上，检测可以更特定于用户。因此，如果一个用户在执行手势时倾向于具有略微不同的手指放置或手指移动，或者如果用户的手的大小/形状或其它因素影响信号强度，则仍然可以准确地检测特定用户的手势。此外，设备可以随着手势的执行而持续更新。例如，随着时间的推移，当用户多次执行手势时，用户的移动可能倾向于变得更偶然或更不显著。设备可以更新存储在存储器中的信号强度简档以对应于用户的更偶然或更不明显的移动。
56.前述系统和方法的优点在于能够检测来自用户的无接触输入手势同时还保持设备的小形状因数。通过使用天线来接收内容(例如，音频包)以及检测输入手势两者，可以减少或消除传统上用于输入检测的其它传感器。
57.除非另有说明，前述替代示例不是相互排斥的，而是可以以各种组合来实现以实现独特的优点。由于在不背离权利要求所限定的主题的情况下可以利用上述特征的这些和其他变形和组合，因此应当通过说明而不是通过限制权利要求所限定的主题来理解实施例的上述描述。另外，本文所述的示例的提供以及措辞为“诸如”、“包括”等的语句不应被解释为将权利要求的主题限制到具体示例；相反，这些示例旨在仅示出许多可能实施例中的一个。此外，不同附图中的相同附图标记可以标识相同或相似的元件。