将手机用作体感传感器的方法、存储介质及手机与流程

1.本发明涉及体感传感技术，具体而言，涉及一种将手机用作体感传感器的方法、存储介质及手机。


背景技术：

2.随着科技的不断进步，具备计算处理功能且能够提供各种不同类型服务的主机逐渐出现并成为人们生活和工作的助手，例如游戏机、个人电脑、电子绘画板等，这些设备为人们提供了丰富和便捷的用户体验。
3.为了便于用户操控主机所提供的各种功能，根据主机所提供的服务的类型，其往往需要配备不同的体感传感器，例如游戏机需要配套的游戏操控手柄、电脑需要配套的鼠标、电子绘画板需要配套的电子画笔等，不便于整理和使用。


技术实现要素：

4.本发明的目的是提供一种将手机用作体感传感器的方法、存储介质及手机，其将手机用作体感传感器，至少部分地克服了现有技术中的不足。
5.根据本发明的一个方面，提供了一种将手机用作体感传感器的方法，该方法包括：向一主机发出将所述手机作为体感传感器的请求；响应于所述主机对所述请求的确认信息，进行以下体感探测处理：利用所述手机的惯性传感单元对所述手机的位姿进行探测，采集得到多个第一位姿；利用所述手机的摄像头对所述手机的位姿进行探测，采集得到多个第二位姿；将所述第一位姿与所述第二位姿融合，以获得所述手机的实时位姿信息；向所述主机实时地输出所述实时位姿信息。
6.在一些有利的实施例中，所述体感传感器为3d鼠标或游戏操控手柄。
7.优选地，所述将所述第一位姿与所述第二位姿融合包括：获取第一时刻采集的第一位姿和第二时刻采集的第二位姿，其中所述第一时刻与所述第二时刻的时差小于预定时间间隔；将所述第一时刻的第一位姿与所述第二时刻的第二位姿进行加权运算，并将所述加权运算的结果作为经校准的所述第一时刻的第一位姿；以及根据所述第一位姿的采集频率与所述第二位姿的采集频率，利用所述经校准的第一时刻的第一位姿对所述第一时刻之前采集的若干个第一位姿进行校准。
8.在一些实施例中，所述方法还包括：建立用户对手机的特定操作与对体感传感器的操作之间的映射关系；以及响应于所述主机对所述请求的确认信息，根据所述映射关系进行操作变换处理，以将用户对手机的特定操作变换为用户对体感传感器所进行的操作。
9.优选地，所述操作变换处理包括：采集用户对手机的操作；识别所述用户对手机的操作中属于所述映射关系中的特定操作的操作，并根据所述映射关系将其变换为一操作信号，该操作信号表示对体感传感器的操作；以及将所述操作信号发送给所述主机。
10.优选地，所述将用户对手机的特定操作变换为对体感传感器所进行的操作包括：将用户对手机的触屏动作和按键动作变换为对体感传感器的按键操作。
11.在一些有利的实施例中，所述将用户对手机的特定操作变换为对体感传感器所进行的操作包括：将用户操控手机使之产生特定运动模式的操作变换为对体感传感器的按键操作。
12.根据本发明的另一个方面，还提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法。
13.根据本发明的另一个方面，还提供了一种手机，包括处理器、存储介质、摄像头和惯性传感单元，所述存储介质存储有计算机程序，所述程序被所述处理器执行时实现如上所述的方法，所述惯性传感单元用于探测所述手机的位姿并采集得到所述第一位姿，所述摄像头用于探测所述手机的位姿并采集得到所述第二位姿。
14.根据本发明实施例，建立手机和主机之间的响应机制，将手机转变为与该主机协同工作的体感传感器，同时通过将手机本身具备的惯性传感单元和摄像头所探测的不同精度和密度的位姿信号进行融合得到符合体感传感要求的实时位姿信息，从而实现了将手机用作服务于其他信息处理设备的体感传感器，并能够提供良好的体感探测性能，大大方便和丰富人们的工作和生活，减少使用专用体感设备带来的不便和局限。
附图说明
15.通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
16.图1为根据本发明实施例的将手机用作体感传感器的方法的流程图；
17.图2为当手机以图1所示的方法工作时的简单示意图，其中示意性地示出所采集的第一位姿及第二位姿被融合得到实时位姿信息的过程；
18.图3为将手机用作体感传感器的一个示例性场景的示意图；
19.图4为图1所示的将第一位姿与第二位姿融合得到实时位姿信息的方法的一个示例的流程图；
20.图5为根据本发明实施例的将手机用作体感传感器的方法的一个示例的流程图，其中包括同时进行体感探测处理和操作变换处理；
21.图6为实现图5所示操作变换处理的方法的一个示例的流程图；
22.图7为将用户对手机的触屏动作变换为鼠标或游戏操控手柄的按键动作的示意图；
23.图8为将用户对手机的摇动动作变换为鼠标或游戏操控手柄的按键动作的示意图；以及
24.图9为根据本发明实施例的手机的示意性框图。
具体实施方式
25.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。为了便于描述，附图中仅示出了与发明相关的部分。
26.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
27.首先，将结合图1至图3介绍根据本发明实施例所提供的将手机用作体感传感器的方法100，其中图1示出了将手机用作体感传感器的方法100的总流程。如图1所示，方法100包括下列处理：
28.s110：向一主机发出将手机作为体感传感器的请求；
29.s120：响应于主机对请求的确认信息，进行体感探测处理，其中将手机的惯性传感单元和摄像头所探测得到的手机位姿信息融合以得到手机实时位姿信息；以及
30.s130：向主机实时地输出实时位姿信息。
31.在根据本发明实施例的将手机用作体感传感器的方法100中，首先在处理s110中向一主机发出将手机用作体感传感器的请求。这里，“主机”是指需要体感传感器与之协同工作从而获取对用户的体感探测信息的信息处理设备，其可以是电脑、头戴式装备、游戏机、电子画板等等，甚至可以是另一台手机；本发明在此方面不受限制。在一些实施例中，可以由手机向主机发出上述将手机作为体感传感器的请求，例如通过启动安装在手机上的应用程序向主机发出请求。在另一些实施例中，也可以例如通过运行于主机上的程序由例如用户直接向主机发出邀请手机作为体感传感器的请求。
32.如果主机对上述请求予以确认(同意)，则进入处理s120，利用手机进行体感探测。具体而言，体感探测过程中，利用手机的惯性传感单元和摄像头分别探测手机的位置以及/或者姿态，得到两个系列的探测信号(以下称为“第一位姿”和“第二位姿”)，进而利用信号融合技术将第一位姿和第二位姿融合得到手机的实时位姿信息。这里“位姿”包含有关位置以及姿态的信息，也可以进一步包含例如运动速度、加速度、位移等与位置、姿态或者它们的变化相关的信息。
33.仅为示例而非限制的目的，图2给出了手机以图1所示的方法工作时的简单图示，其中示意性地示出了惯性传感单元所采集的第一位姿和摄像头所采集的第二位姿被融合得到实时位姿信息。在图2所示示例中，例如由手机10向主机20发出请求作为体感传感器的请求并且主机20予以确认；之后用户通过比如握持手机10并活动，使手机10运动从而改变位置以及/或者姿态；在手机10的运动过程中，手机10的惯性传感单元探测手机10的位姿，得到第一位姿信号p1，手机10的摄像头探测手机10的位姿，得到第二位姿信号p2，并由第一位姿p1与第二位姿p2融合得到实时位姿信息p3。
34.在处理s130中，将在手机对第一位姿和第二位姿融合得到的实时位姿信息发送给主机，使得主机能够根据实时位姿信息进行下一步处理和应用。
35.用于实施根据本发明实施例的方法100的手机中的惯性传感单元可以具有通常的结构，一般包括陀螺仪和加速度计，能够实现三个旋转自由度和三个平移自由度上的加速度探测和速度及位移的积分运算。通常惯性传感单元能够具有很高的信号采样频率，从而较为实时、连续地反映出手机的位姿变化。而且惯性传感单元的角速度探测精度高。然而，惯性传感单元也存在不足之处，即其零点漂移较大，同时积分导致误差累计。因此，仅仅基于手机上的惯性传感单元不足以支持手机作为体感传感器使用。
36.基于手机摄像头也可以进行定位探测，这属于视觉定位技术。视觉定位技术的优势在于能够直接测量平移，无需积分计算，不会产生漂移误差；其不足之处包括易受图像遮挡的干扰，单目摄像头无法探测纯旋转运动等等，特别是受到摄像头拍摄频率限制而无法实现密集的探测，无法描绘出实时连续的位姿变化情况。所以，仅仅基于手机摄像头的探测
信号也不足以支持手机作为体感传感器使用。
37.而且，即使将基于手机摄像头的视觉定位技术与基于惯性传感单元的定位技术融合以得到改善的位姿探测结果，人们长期以来也从来没有提出将手机用作体感传感器。这其中的一个原因是，体感传感器对于位姿探测的实时性、灵敏度、准确度的要求显著高于手机中实现的其它应用(例如ar显示)对于位姿探测的要求。值得注意的是，随着现代手机的更新换代，手机摄像头的性能得到大幅提高，特别是，本技术的发明人发现，有些手机摄像头的拍摄频率能够达到每秒上千幅，这为基于视觉定位技术利用手机自身的摄像头更加迅速、实时地探测手机位姿提供了可能性。另一个原因是，手机用于例如ar显示是与其常用的拍照和显示功能密切相关的，在ar显示过程中通过手机获得的实时定位信息(位姿信息)是为了该手机自身使用的需要，人们有理由想到利用手机自身的硬件来实现所需的位姿探测。然而，对于将手机“变身”为服务于其它信息处理装置的体感传感器，需要创造性的思维才能想到。
38.图3示意性地示出了将手机用作体感传感器的一个示例性场景。在图3所示示例中，“主机”为头戴式装备20，该头戴式装备20具有接受体感传感器探测信号并加以处理和利用的信息处理能力；手机10被用作与头戴式装备20协同工作的体感传感器，该体感传感器探测到的用户对手机的操控动作被用于控制通过所述头戴式装备20被显示给用户的游戏画面中的道具，例如图3所示的手枪30。仅作为示例，当用户挥动手机10时，手机10的位姿变化经由以上介绍的处理s120被实时获取并被提供给头戴式装备。头戴式装备根据上述手机的实时三维位姿信息可以显示出游戏中的手枪30发生相应的运动。可以看到，在这种应用场景里，手机10可以被用作游戏操控手柄。在其它应用中，主机20还可以是能够实现三维显示的电脑，手机10被用作3d鼠标，其实时位姿信息通过上述处理s120被探测获得并被提供给主机20，主机20可以根据该实时位姿信息对鼠标对应的光标进行3d控制。应该理解，上述示例中通过头戴式装备或电脑实现的3d显示都仅仅是示例性的，根据本发明实施例的方法100的实现不限于结合有3d显示的情况。例如，手机可以用作体感传感器，替代wii游戏中的游戏手柄，而游戏显示可以是2d的。甚至，根据本发明实施例的方法100的实现不限于结合有显示功能的情况。
39.手机现在已经日益成为人们随身携带的设备。手机能够用作服务于其它信息处理设备的体感传感器，将大大方便和丰富人们的工作和生活，减少使用专用体感设备带来的不便和局限。
40.接下来，将具体说明将第一位姿p1与第二位姿p2融合得到实时位姿信息的一种示例性的实现方式。
41.如图4所示，在一些实施例中，将第一位姿与第二位姿融合得到实时位姿信息的方法200包括如下处理：
42.s210：获取第一时刻采集的第一位姿和第二时刻采集的第二位姿，其中第一时刻与第二时刻的时差小于预定时间间隔；
43.s220：将第一时刻的第一位姿与第二时刻的第二位姿进行加权运算，并将加权运算的结果作为经校准的第一时刻的第一位姿；以及
44.s230：根据第一位姿的采集频率与第二位姿的采集频率，利用经校准的第一时刻的第一位姿对第一时刻之前采集的若干个第一位姿进行校准，以获得手机的实时位姿信
息，以及向主机实时地输出实时位姿信息。
45.由于手机的惯性传感单元和摄像头在探测手机位姿时，采集第一位姿的时刻和采集第二位姿的时刻往往不同，所以无法找到完全处于同一时刻的第一位姿和第二位姿。例如在图2中，借助标示为带箭头的射线的时间轴可以看出，第一位姿p1和第二位姿p2在时间上并无对应关系。而若将两个时间间隔较大的第一位姿与第二位姿进行融合，由于在此时间间隔中手机可能发生较大的位姿变化，所以所得到的结果是不准确的。因此在处理s210中，选择时差小于预定时间间隔的第一时刻和第二时刻采集的第一位姿和第二位姿进行融合。在一些有利的实施例中，将该预定时间间隔设置为小于获取前后两个第一位姿p1的时间间隔，由此例如可以将图2中以虚线圆圈标示出的四个第一位姿p1分别与虚线圆圈标示的四个第二位姿p2融合。这样由于被融合的第一位姿p1和第二位姿p2之间的时间间隔较小，因此能够得到较为准确的实时位姿信息。
46.在图4所示示例中，在处理s220中，将符合处理s210中预设时间间隔条件的第一位姿和第二位姿进行加权运算得到经校准的第一时刻的第一位姿。这是由于惯性传感单元是通过对手机的加速度进行探测得到第一位姿，在手机静止不动或匀速运动时，惯性传感单元所采集的第一位姿可能不准确，这时可以使用第二位姿对第一位姿利用加权运算进行校准。应该理解的是，这里的加权运算可以包括取平均值的计算方法(即第一位姿和第二位姿各自的权重为0.5)，也可以包括以第二位姿作为经校准的第一位姿的计算方法(即第一位姿的权重为0，第二位姿的权重为1)。
47.惯性传感单元在探测手机位姿的过程中，零点的漂移是一直都会发生的，而且一系列位姿探测结果是通过积分得到的，所以误差随着时间而累积，因此不仅仅是与第二位姿相隔时差小的第一位姿需要校准，其它多个第一位姿也需要校准。在优选的实施例中，在获得了经校准的第一时刻的第一位姿后，在处理s230中，可使用该经校准的第一位姿对第一时刻之前的若干第一位姿进行校准。
48.根据不同的应用，体感传感器除了可以提供用户的位姿信息之外，有时候还需要提供其它操控功能。仅作为示例，作为射击游戏操控手柄的体感传感器，还要能够被用户操作以提供表示扣动扳机的操作信息，例如该体感传感器上可以设置一按钮，用户按下按钮表示扣动扳机。相应地，根据本发明的一些实施例，将手机用作体感传感器的方法可以进一步包括操作变换处理，其中将用户对手机的操作变换为对体感传感器的操作。
49.接下来，将结合图5至图8介绍根据本发明实施例的将手机用作体感传感器的方法的一个示例，其中除了进行体感探测处理还进行操作变换处理。
50.图5示出了一种将手机用作体感传感器的方法300，具体包括如下处理：
51.s310：建立用户对手机的特定操作与对体感传感器的操作之间的映射关系；
52.s320：向一主机发出将手机作为体感传感器的请求；
53.s330：响应于主机对请求的确认信息，进行体感探测处理和操作变换处理，获得手机的实时位姿信息和对手机的特定操作变换得到的操作信号；以及
54.s340：向主机实时地输出实时位姿信息和操作信号。
55.首先，在处理s310中，建立手机的特定操作与对体感传感器的操作之间的映射关系。之所以要执行处理s310，是因为手机的传统功能为通信功能，包括通话、发送简讯，现在还常用于照相和浏览网页等；但是手机在作为体感传感器使用时，体感传感器的很多操作
在手机上可能找不到对应的一致操作。例如，3d鼠标的左右按键的操作或wii游戏操控手柄的前侧按键和后侧按键的操作等在手机上可能找不到对应的一致操作，特别是例如无按键的触屏手机根本不具备实体的按键，是不可能对其进行按键操作的。即使对于具备按键的手机，对于手机的按键的操作与对于体感传感器的按键的操作之间的对应关系也是需要建立的。
56.以上仅以“按键”为例说明对手机的操作与对体感传感器的操作的不同，应该理解的是，本发明实施例中涉及的“操作”并不限于对按键的操作。
57.处理s310中建立的这种映射关系，可以是手机的触屏滑动操作与3d鼠标的按键操作之间的映射关系，可以是手机的按键动作与游戏操控手柄的按键动作之间的映射关系，也可以是任何其他合适的手机操作与体感传感器操作之间的映射关系。例如，在图3所示场景中，对手机触摸屏的双击操作可以被映射为扣动手枪扳机的操作。所建立的映射关系例如可以以查询表的形式保存在手机或者手机可以访问的其他设备中。
58.方法300中的处理s320与图1所示方法100中的处理s110相同，在此不再赘述。
59.接下来，如图5所示，在处理s330中，一旦主机对于处理s320中发出的请求予以确认(同意)，则手机进行体感探测处理和操作变换处理。这里，体感探测处理与参照图1介绍的方法100中的处理s120中的体感探测处理相同，其中将手机的惯性传感单元和摄像头所探测得到的位姿信息进行融合，获得手机的实时位姿信息。具体可以参照以上对方法100的介绍。操作变换处理包括根据上述在处理s310中建立的映射关系将用户对手机的特定操作变换为用户对体感传感器所进行的操作。例如在图3所示应用场景中，在处理s330中，用户对手机10的触摸屏的双击操作被变换为表示射击游戏中的扳机扣动操作的操作信号。
60.在处理s340中，实时地将在处理s330中获得的手机位姿信息和经过操作变换得到的操作信息发送给主机。例如，在图3所示应用场景中，手机10的实时位姿信息被发送给主机20，主机20可以根据该实时位姿信息控制显示给用户的手枪30的位置和姿态；同时，在处理s330中通过操作变换获得的表示扳机扣动操作的操作信号被发送给主机20，主机20可以根据该操作信号向用户显示手枪射击的情形。
61.应该理解的是，图5示出的仅仅是一个示例，根据本发明实施例的、在手机位姿探测的同时还进行操作变换处理的方法并不限于图5所示的实现方式。例如，图5所示处理s310，即建立用户对手机的特定操作与对体感传感器的操作之间的映射关系的处理，并不限于在处理s320(即向主机发出请求)之前进行，而是可以在此之前或者之后或者与之同时进行，只要在进行操作变换处理(处理s330)之前完成建立映射关系即可。此外，应该理解，处理s330和处理s340是实时、连续地进行的，所以并非所有的体感探测处理和操作变换处理都完成之后才向主机发送信息。
62.根据本发明实施例，在将手机用作体感传感器的方法中，通过在完成体感探测处理的同时进一步提供操作变换处理，能够提供更加丰富和便利的功能，有利于手机作为体感传感器的更为广泛和有效的使用。
63.为了便于理解，下面将参照图6至图8介绍根据本发明实施例的方法中的操作变换处理。图6示出了用于实现操作变换处理的方法的一个示例(即方法400)的流程图。图7示意性地示出将用户对手机的触屏动作变换为鼠标或游戏操控手柄的按键动作。图8示意性地示出将用户对手机的摇动动作变换为鼠标或游戏操控手柄的按键动作。
64.如图6所示，方法400包括如下处理：
65.s410：采集用户对手机的操作；
66.s420：识别用户对手机的操作中属于映射关系中的特定操作的操作，并根据映射关系将其变换为一操作信号，该操作信号表示对体感传感器的操作；以及
67.s430：将所述操作信号发送给所述主机。
68.处理s410中的采集用户对手机的操作可以通过i/o端口(例如触摸屏、按键等)实现，也可以例如通过传感器对手机运动的探测和处理器的计算处理来实现。例如，在图7所示场景下，在处理s410中，可以通过手机10的触摸屏10a采集用户对触摸屏10a的操作，例如点击或滑动操作等；在图8所示场景下，在处理s410中，可以通过手机10的惯性传感单元获取手机的运动数据并经过处理器处理而识别手机的运动模式，例如左右摇动。
69.在处理s420中，首先判断处理s410中所采集的对手机的操作是否属于前述映射关系中已经被映射到对体感传感器的操作的、对手机的特定操作，识别出其中属于映射关系中的特定操作；然后根据映射关系，将该对手机的特定操作变换为一操作信号，该操作信号代表对体感传感器的操作。
70.例如，在图7所示场景下，在处理s410中采集到对手机触摸屏10a的点击操作，在处理s420中识别出该触摸屏点击操作属于映射关系中的特定操作，并根据映射关系将该点击操作变换成表示对3d鼠标的按键操作(见图7中右上角所示)的操作信号，或者变换成表示对游戏手柄的按键操作(见图7中右下角所示)的操作信号。
71.类似地，又例如，在图8所示场景下，在处理s410中采集到用户对手机10操控使之产生的左右摇动动作模式，在处理s420中识别出该摇动动作模式属于映射关系中的特定操作，并进一步地根据映射关系将该摇动动作模式变换成表示对3d鼠标的按键操作(见图8中右上角所示)的操作信号，或者变换成表示对游戏手柄的按键操作(见图8中右下角所示)的操作信号。
72.应当理解的是，图7及图8仅为示例性的说明，手机的特定操作及体感传感器的操作均可以有多种不同的类型。
73.根据本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被执行时实现上述的将手机用作体感传感器的方法。应该理解，在本发明实施例中，存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
74.所述存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。存储介质的更具体的例子(非穷举的列表)包括：硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明所提供的将手机用作体感传感器的方法的程序代码。
75.根据本发明实施例还提供了一种手机。图9为根据本发明实施例的手机10的示意性框图，如图9所示，手机10包括处理器11、惯性传感单元12、摄像头13和存储介质14。惯性传感单元12用于探测手机10的位姿并采集得到第一位姿信号，摄像头13用于探测手机10的位姿并采集得到第二位姿信号。存储介质14存储有计算机程序，该程序被处理器11执行时
实现根据本发明实施例的将手机用作体感传感器的方法，其中将上述第一位姿信号和第二位姿信号进行融合并得到手机10的实时位姿信息并发送给将手机作为体感传感器的主机设备；并且在另一些有利的实施例中，所述程序在被处理器11执行时所实现的方法中，还进一步实现如上介绍的手机操作的操作变换处理。
76.如上所述，存储介质14例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
77.惯性传感单元12可以包括陀螺仪和加速度计。
78.摄像头13可以是单目摄像头，也可以是双目、多目摄像头；可以是可见光摄像头，也可以是红外摄像头等非可见光摄像头。在一些有利的实施例中，摄像头13优选为拍摄频率能够达到每秒上千幅的高频相机。
79.手机10可以是全屏手机，也可以是具有机械键盘的手机。
80.应该理解，尽管图中没有示出，根据本发明实施例的手机10还可以包括更多的其它需要的部件。
81.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。