基于指向操作的设备之间的交互方法及电子设备与流程

1.本技术涉及电子技术领域，尤其涉及一种基于指向操作的设备之间的交互方法及电子设备。


背景技术：

2.在海量终端的环境下，对于每一个用户，可能拥有智能手机、个人电脑、智能电视、平板和音箱等不同类型的电子设备。在家庭场景中，用户还可能拥有智能影音设备、路由器、无线保真(wireless fidelity，wifi)盒子、智能清洁设备、智能厨电设备，智能照明系统等多种家居设备。随着技术的发展，在万物互联的场景中，用户可以控制的设备越来越多，同时，多个设备之间进行互联的需求也越来越多。
3.在多个设备时间进行互联交互的过程中，往往需要用户选择特定的一个或多个目标设备，再对选择的目标设备执行如设备发现、配对、数据传输、投屏等不同的操作。该过程操作繁琐，交互流程多，用户体验差。


技术实现要素：

4.本技术提供一种基于指向操作的设备之间的交互方法及电子设备，该方法根据用户的指向操作，帮助用户选择并控制较远的设备，简化了设备之间的交互操作的流程，提高了用户体验。
5.第一方面，提供了一种设备之间的交互方法，应用于第一电子设备，该方法包括：获取该第一电子设备在第一轴线方向上的加速度、第二轴线上的加速度和第三轴线上的加速度，其中，该第一轴线平行于该第一电子设备的长边，该第二轴线平行于该第一电子设备的短边，该第三轴线垂直于该第一轴线和该第二轴线确定的平面；确定用户手持该第一电子设备，以第一位置为起始位置运动到第二位置的运动过程中，该第一轴线方向上的加速度大于或等于第一阈值或该第一轴线方向上的加速度大于或等于该第一阈值的持续时长大于或等于第一预设时长，该第二轴线方向上的加速度小于或等于第二阈值，该第三轴线方向上的加速度小于或等于第三阈值；检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交；接收该第二电子设备发送的该第二电子设备登录的账号信息和设备信息；根据该第二电子设备登录的账号信息和设备信息，显示第一窗口，该第一窗口显示用于控制该第二电子设备的界面。
6.可选地，该用户的指向操作可以描述为用户手持第一电子设备，以第一位置为起始位置运动到第二位置的指向操作，且在第二位置处，第一电子设备长边所在的轴线和一个或多个其他设备相交或近似相交。这里相交可以理解为用户指向的方向上正好存在其他设备；近似相交可以理解为用户指向的方向上的预设精度范围内存在其他设备，这两种情况都可以理解为检测到了用户的指向操作。
7.在判断用户手持第一电子设备指向第二电子设备的指向操作的过程中，在第一电
子设备上建立坐标系o-xyz。具体的，该坐标系o-xyz以第一电子设备的重心为坐标原点o，以经过坐标原点o的第一电子设备长边框所在直线为y轴，即第一轴线；第一电子设备短边框所在直线为x轴，即第二轴线；以垂直于地面或xoy平面的直线为z轴，即第三轴线。
8.应理解，第一电子设备的轴线与第一电子设备的天线布局有关。当天线布局在第一电子设备前端边框处时，用户可以将长边所在的轴线指向第二电子设备，或者当天线布局在第一电子设备壳的里面时，也可以类似于拍照的姿势将第一电子设备立起来，将垂直于第一电子设备显示屏的法线为轴线，使得该法线所在的轴线指向第二电子设备，本技术实施例对此不作限定。
9.一种可能的实现方式中，可以借助于第一电子设备的一个或多个传感器、或者第一电子设备的摄像头等识别用户的指向操作。在后续实施例的描述中，可以将用户的指向操作称为“指一指操作”。
10.可选地，第一电子设备的传感器可以包括加速度传感器、陀螺仪、磁力计(magnetometer sensor，m-sensor)、惯性检测单元(inertial measurement unit，imu)等。第一电子设备的摄像头不限于第一电子设备的前置摄像头或后置摄像头；或者，第一电子设备的摄像头不限于第一电子设备的主摄像头、广角摄像头、长焦摄像头中的一个或多个，根据摄像头获取的画面识别用户的指向操作，本技术实施例对此不作限定。
11.结合第一方面，在第一方面的某些实现方式中，获取该第一电子设备在第一轴线方向上的加速度、第二轴线上的加速度和第三轴线上的加速度，包括：基于加速度传感器、惯性检测单元imu、陀螺仪中的一种或多种，获取该第一轴线方向上的加速度、该第二轴线上的加速度和该第三轴线上的加速度。
12.应理解，当用户的手臂前伸运动过程中，第一电子设备沿y轴所在的直线进行加速，通过第一电子设备的加速度传感器检测到第一电子设备沿y轴所在的直线的加速度大于或等于第一预设阈值aa。同时，检测到第一电子设备在x轴所在的直线，以及z轴所在的直线的加速度小于或等于第二预设阈值ab。
13.可选地，第一电子设备在不同方向上的加速度可以由第一电子设备的imu进行检测。或者，第一电子设备在不同方向上的加速度可以基于第一电子设备前置摄像头采集的画面以及常开光流算法进行检测。具体地，利用第一电子设备前置摄像头获取画面中的相邻帧，其中相邻帧中特征点在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场。即可以根据该物体点三维运动的速度场反映一定时间间隔内，由于该物体点的运动形成的图像变化，以确定图像上该物体点的运动方向和运动速率，进而确定第一电子设备的运动轨迹是否为直线或者类直线。
14.一种可能的实现方式中，在用户使用第一电子设备指向第二电子设备的操作过程中，第一电子设备可以通过引导图标、声音反馈、震动反馈等不同的方式，引导用户执行正确的指向操作，以实现本技术实施例提供的通过指向操作控制第二电子设备。
15.可选地，该声音反馈的方式可以由第一电子设备发出，或者由被指向的第二电子设备发出，例如第一电子设备以语音的方式提示用户“请向右移动”。
16.可选地，该震动反馈可以由第一电子设备发出，以更快更灵敏的被用户感知到，应理解，本技术实施例对此不作限定。
17.或者，当用户使用第一电子设备成功指向第二电子设备之后，还可以在第一电子
设备或者被指向的第二电子设备上提供反馈，该反馈用于告知用户指向操作成功。该反馈信息可以包括视觉反馈、声音反馈、震动反馈等一种或多种。示例性的，当用户使用第一电子设备成功指向音箱之后，第一电子设备可以震动以告知用户指向操作完成。
18.应理解，当用户使用第一电子设备成功指向第二电子设备之后，第二电子设备可以将当前登录的账号信息、设备信息传输给第一电子设备，进而在第一电子设备上显示第二电子设备控制窗口。
19.还应理解，当确定第一电子设备是否指向第二电子设备的过程中，识别第一电子设备的轴线和第二电子设备的位置在预设范围之内时，即可以确定用户指向的第二电子设备。具体地，识别第一电子设备的轴线以一定的预定精度与第二电子设备的物理位置基本相交，或者识别到第一电子设备与第二电子设备对准时，就可以确定用户指向的第二电子设备，即可以在第一电子设备或者被指向的第二电子设备上提供反馈，并传输第二电子设备的登录的账号信息、设备信息给第一电子设备，并在第一电子设备上显示第二电子设备控制窗口或者与第二电子设备相关的界面。
20.综上所述，本技术实施例提供的一种基于指向操作实现跨设备交互的方法，用户可以使用第一电子设备指向第二电子设备，基于第一电子设备的加速度传感器、陀螺仪、imu等一种或多种传感器和/或摄像头检测用户的指向操作，触发第一电子设备的无线定位功能。第一电子设备根据无线定位功能确定第一电子设备与其他设备的距离、以及其他设备的所处的位置和方向。当识别到第一电子设备的轴线与第二电子设备的物理位置以预定精度判断为相交或基本相交时，还可以在第一电子设备和/或第二电子设备上提供视觉反馈、声音反馈、震动等至少一种反馈，并传输第二电子设备的登录的账号信息、设备信息给第一电子设备，在第一电子设备上显示该第二电子设备的控制窗口，用户可以通过第一电子设备上的该控制窗口实现对该第二电子设备的控制。当识别到第一电子设备的轴线与第二电子设备的物理位置不相交时，还可以在第一电子设备和/或第二电子设备上提供视觉引导、声音引导、震动等至少一种引导方式，以引导用户执行正确的指向操作，进一步实现在第一电子设备上显示该第二电子设备的控制窗口以及对该第二电子设备的控制功能。
21.结合第一方面和上述实现方式，在第一方面的某些实现方式中，检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交之前，该方法还包括：通过该第一电子设备的摄像头采集运动过程中的画面；确定该第一电子设备在该第一位置处采集的该画面包括用户的人脸特征信息，在该第二位置处采集的该画面不包括该用户的人脸特征信息。
22.可选地，第一电子设备可以通过摄像头获取的图像检测远离用户的身体或者远离用户的身体。具体地，第一电子设备的摄像头可以实时获取图像，并根据获取的图像进行人脸特征检测。一定时段内，第一电子设备先在获取的图像中检测到人脸信息，确定为靠近用户的身体的状态；随后又在获取的图像中未检测到人脸信息，确定为远离用户的身体的状态。当出现上述的变化过程，可以确定第一电子设备从靠近用户的身体，逐渐转变为远离用户的身体。
23.结合第一方面和上述实现方式，在第一方面的某些实现方式中，检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交之前，该方法还包括：通过该第一电子设
备的磁力计采集运动过程中的磁感应强度；确定该第一电子设备在该第一位置处采集的该磁感应强度大于或等于第四阈值，在该第二位置处采集的该磁感应强度小于或等于第五阈值，且该第四阈值大于该第五阈值。
24.可选地，第一电子设备可以通过磁力计检测远离用户的身体或者靠近用户的身体。由于人体本身是磁场，第一电子设备远离人体或者靠近人体时，磁力计检测到的磁场强度会产生明显的变化。因此，可以根据磁力计检测的磁场强度确定第一电子设备为远离用户的身体或者靠近用户的身体的状态。
25.结合第一方面和上述实现方式，在第一方面的某些实现方式中，检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交之前，该方法还包括：确定该第一电子设备在该第二位置悬停的持续时长大于或等于第二预设时长。
26.具体地，第一电子设备的imu检测到第一电子设备加速停止时，且第一电子设备悬停的时间达到第二预设时长t
dwell
时，就可以确定用户指向了第二电子设备。
27.当检测到指向操作，进而触发第一电子设备通过无线定位技术确定用户指向的设备的位置。该过程可以结合多个传感器采集的数据，更精确的判断出用户执行了指向操作。
28.结合第一方面和上述实现方式，在第一方面的某些实现方式中，当该第一轴线方向上的加速度大于或等于该第一阈值时，该方法还包括：显示第一提示信息，该第一提示信息用于引导用户沿着该第一轴线的方向继续加速，该第一提示信息包括文字、图标、声音和震动中的一种或多种。
29.应理解，由于用户在指向第二电子设备的过程中，会出现手眼分离的现象，即眼睛看不到第一电子设备的界面的情况。因此，本技术实施例对上述任意一种提示信息(前述第一提示信息、第二提示信息、第三提示信息、第四提示信息等)的提示方式不作限定，例如可以是用户可识别有差异的视觉或非视觉提示，如不同的界面提示、震动、指示灯、语音等多种提示方式。
30.一种可能的实现方式中，在用户使用第一电子设备指向第二电子设备的操作过程中，可以在第一电子设备上显示提示信息，该提示信息用于引导用户执行正确的指向操作，以实现本技术实施例提供的通过指向操作控制第二电子设备。
31.可选地，该提示信息可以通过第一电子设备上显示的窗口进行显示，或者以图标的形式显示在第一电子设备上，或者以箭头等其他视觉引导的方式，引导用户执行正确的指向操作，以实现本技术实施例提供的通过指向操作控制第二电子设备。可选地，可以根据用户当前所处的不同位置，箭头或图标的显示位置发生变化。
32.结合第一方面和上述实现方式，在第一方面的某些实现方式中，当该第一轴线方向上的加速度大于或等于该第一阈值的持续时长大于或等于该第一预设时长时，该方法还包括：显示第二提示信息，该第二提示信息用于提示用户沿着该第一轴线的方向的加速时长达到该第一预设时长，该第二提示信息包括文字、图标、声音和震动中的一种或多种。
33.结合第一方面和上述实现方式，在第一方面的某些实现方式中，当该第一电子设备在该第二位置悬停的持续时长大于或等于第二预设时长时，该方法还包括：显示第三提示信息，该第三提示信息用于指示该第一电子设备检测在该第二位置处，该第一轴线是否和该第二电子设备相交，该第三提示信息包括文字、图标、声音和震动中的一种或多种。
34.结合第一方面和上述实现方式，在第一方面的某些实现方式中，检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交之后，该方法还包括：显示第四提示信息，该第四提示信息用于指示该第一电子设备指向了该第二电子设备，该第四提示信息包括文字、图标、声音和震动中的一种或多种。
35.一种可能的实现方式中，为了精准识别用户的指向操作，降低误触率，本技术实施例可以在预设场景下，才触发第一电子设备检测用户的指向操作，该预设场景包括：第一电子设备为亮屏状态；和/或，第一电子设备为解锁状态；和/或，第一电子设备显示为主界面；和/或，检测到垂直于第一电子设备的显示屏的法线方向和地面有一定的夹角。其中，第一电子设备的显示屏的发现方向和地面有一定的夹角可以理解为显示屏的法线方向不垂直于于地面。
36.又一种可能的实现方式中，当第一电子设备的imu检测到第一电子设备加速停止时，且第一电子设备悬停的时间达到第二预设时长t
dwell
时，可以在第一电子设备出现第三提示信息，第三提示信息用户提示用户被指向的第二电子设备，当用户指向的方向上检测到至少2个设备时，第三提示信息可以为用户显示该至少2个设备的信息。用户可以从中选择第二电子设备。
37.或者，可选地，此时在被指向的设备上也可以出现第四提示信息，用于提示用户要指向该设备的正确的指向操作。示例性的，如果用户通过第一电子设备指向智慧屏，由于用户在指向过程中会注视着智慧屏，因此可以在智慧屏出现弹窗，该弹窗包括第四提示信息，用于指示用户控制智慧屏所需要执行的正确的指向操作。
38.以上通过视觉和非视觉的提示方式，在第一电子设备和指向的第二电子设备上进行指向操作的引导和反馈，提升了指向操作的成功率，提高了用户体验。
39.通过上述预设场景的设置，限定第一电子设备可以一种预设场景或者同时满足多种场景才识别用户是否执行了指向操作，例如第一电子设备仅在亮屏状态和/或解锁状态才识别用户是否执行了指向操作，或者限定第一电子设备显示为主界面才识别用户是否执行了指向操作，或者限定第一电子设备同时满足处于亮屏状态且解锁状态且显示了第一电子设备的主界面时才识别用户是否执行了指向操作，该预设场景的设置可以增加识别用户指向操作的精确性，避免用户只是将第一电子设备递给其他人等可能的场景中的检测，从而降低误触率，提高了用户体验。
40.结合第一方面和上述实现方式，在第一方面的某些实现方式中，检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交，包括：根据定位器件，检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交，其中，该定位器件是独立安装的定位传感器，或者，该定位器件是安装于该第一电子设备和该第二电子设备上的定位芯片，该定位芯片包括蓝牙定位芯片、超宽带uwb定位芯片、无线保真wifi定位芯片中的任意一种。
41.一种可能的实现方式中，在家庭场景中，可以安装至少3个固定的定位器件，并保证该3个定位器件为通电工作状态，且该至少3个定位器件可以和用户的第一电子设备进行通信。
42.可选地，该定位器件可以是具有定位功能的传感器或者具有定位功能的结构等，例如传感器可以是激光传感器、红外传感器等；具有定位功能的结构可以是定位芯片。例如，具有定位功能的结构可以是蓝牙定位芯片、超宽带uwb定位芯片、无线保真wifi定位芯片等。
43.可选地，除了在家庭场景中预先布局上述列举的定位器件之外，该定位器件还可以被安装在家庭场景中的智能电视(智慧屏)、空调、音箱、路由器等设备上。示例性的，如果智慧屏、空调、音箱等设备本身具有uwb芯片，在家庭场景中不需要额外再布局至少3个固定的定位器件，就可以通过第一电子设备和智慧屏、空调、音箱等设备之间的交互实现对家庭场景中的任意一个设备的定位功能，具体的定位算法请参考后续介绍的过程。应理解，本技术实施例对定位器件的数量、实现形式不作限定。
44.通过上述方案，第一电子设备作为第一电子设备，可以通过家庭场景中布局的3个定位器件检测用户指向的第二电子设备，或者，第一电子设备通过定位芯片检测用户指向的第二电子设备，进一步在检测到用户指一指的快捷手势之后，第二电子设备可以被用户的第一电子设备控制。
45.结合第一方面和上述实现方式，在第一方面的某些实现方式中，当该第一电子设备的该第一轴线和一个或多个该第二电子设备相交或近似相交时，该方法还包括：显示第二窗口，该第二窗口包括该一个或多个该第二电子设备的信息；在该第二窗口中，检测第一操作；响应于该第一操作，该第一电子设备显示该第一窗口。
46.通过上述过程，对于位置临近的多个第二电子设备，第一电子设备可能识别到多个被用户指向的设备，或者用户期望控制该临近的多个设备时，可以为用户显示多个设备的卡片，供用户根据自己的需求选择其中的至少一个第二电子设备。该设计更加人性化，更能满足用户的不同需求，提高了用户体验。
47.结合第一方面和上述实现方式，在第一方面的某些实现方式中，该方法还包括：在该第一窗口中，检测第二操作；响应于该第二操作，该第一电子设备向该第二电子设备发送控制指令，该控制指令用于控制该第二电子设备的行为。
48.一种可能的情况中，该第二阈值等于该第三阈值。
49.第二方面，提供了一种第一电子设备，包括：处理器和存储器，该存储器存储有一个或者多个指令，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：获取在第一轴线方向上的加速度、第二轴线上的加速度和第三轴线上的加速度，其中，该第一轴线平行于该第一电子设备的长边，该第二轴线平行于该第一电子设备的短边，该第三轴线垂直于该第一轴线和该第二轴线确定的平面；确定用户手持该第一电子设备，以第一位置为起始位置运动到第二位置的运动过程中，该第一轴线方向上的加速度大于或等于第一阈值或该第一轴线方向上的加速度大于或等于该第一阈值的持续时长大于或等于第一预设时长，该第二轴线方向上的加速度小于或等于第二阈值，该第三轴线方向上的加速度小于或等于第三阈值；检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交；接收该第二电子设备发送的该第二电子设备登录的账号信息和设备信息；根据该第二电子设备登录的账号信息和设备信息，显示第一窗口，该第一窗口显示用于控制该第二电子设备的界面。
50.结合第二方面，在第二方面的某些实现方式中，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：基于加速度传感器、惯性检测单元imu、陀螺仪中的一种或多种，获取该第一轴线方向上的加速度、该第二轴线上的加速度和该第三轴线上的加速度。
51.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：通过该第一电子设备的摄像头采集运动过程中的画面；确定在该第一位置处采集的该画面包括用户的人脸特征信息，在该第二位置处采集的该画面不包括该用户的人脸特征信息。
52.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：通过该第一电子设备的磁力计采集运动过程中的磁感应强度；确定在该第一位置处采集的该磁感应强度大于或等于第四阈值，在该第二位置处采集的该磁感应强度小于或等于第五阈值，且该第四阈值大于该第五阈值。
53.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：确定该第一电子设备在该第二位置悬停的持续时长大于或等于第二预设时长。
54.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该第一轴线方向上的加速度大于或等于该第一阈值时，该一个或者多个指令被该处理器执行时，该电子设备还用于执行以下步骤：显示第一提示信息，该第一提示信息用于引导用户沿着该第一轴线的方向继续加速，该第一提示信息包括文字、图标、声音和震动中的一种或多种。
55.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该第一轴线方向上的加速度大于或等于该第一阈值的持续时长大于或等于该第一预设时长时，该一个或者多个指令被该处理器执行时，该电子设备还用于执行以下步骤：显示第二提示信息，该第二提示信息用于提示用户沿着该第一轴线的方向的加速时长达到该第一预设时长，该第二提示信息包括文字、图标、声音和震动中的一种或多种。
56.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该第一电子设备在该第二位置悬停的持续时长大于或等于第二预设时长时，该一个或者多个指令被该处理器执行时，该电子设备还用于执行以下步骤：显示第三提示信息，该第三提示信息用于指示该第一电子设备检测在该第二位置处，该第一轴线是否和该第二电子设备相交，该第三提示信息包括文字、图标、声音和震动中的一种或多种。
57.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：显示第四提示信息，该第四提示信息用于指示该第一电子设备指向了该第二电子设备，该第四提示信息包括文字、图标、声音和震动中的一种或多种。
58.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：根据定位器件，检测在该第二位置处，该第一电子设备的该第一轴线和第二电子设备相交，或者该第一电子设备的该第一轴线和第二电子设备在预设精度范围内近似相交，其中，该定位器件是独立安装的定位传感器，或者，该定位器件是安装于该第一电子设备和该第二电子设备上的定位芯片，该定位
芯片包括蓝牙定位芯片、超宽带uwb定位芯片、无线保真wifi定位芯片中的任意一种。
59.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该第一电子设备的该第一轴线和一个或多个该第二电子设备相交或近似相交时，该一个或者多个指令被该处理器执行时，该电子设备还用于执行以下步骤：显示第二窗口，该第二窗口包括该一个或多个该第二电子设备的信息；在该第二窗口中，检测第一操作；响应于该第一操作，该第一电子设备显示该第一窗口。
60.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个指令被该处理器执行时，使得该电子设备执行以下步骤：在该第一窗口中，检测第二操作；响应于该第二操作，该第一电子设备向该第二电子设备发送控制指令，该控制指令用于控制该第二电子设备的行为。
61.结合第二方面和上述实现方式，在第二方面的某些实现方式中，该第二阈值等于该第三阈值。
62.第三方面，本技术提供了一种装置，该装置包含在电子设备中，该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，显示模块或单元、检测模块或单元、处理模块或单元等。
63.第四方面，本技术提供了一种电子设备，包括：触摸显示屏，其中，触摸显示屏包括触敏表面和显示器；定位芯片；一个或多个摄像头；一个或多个处理器；一个或多个存储器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被一个或多个处理器执行时，使得电子设备执行上述任一方面任一项可能的实现中的基于指向操作的设备之间的交互方法。
64.第五方面，本技术提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述任一方面任一项可能的实现中的基于指向操作的设备之间的交互方法。
65.第六方面，本技术提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述任一方面任一项可能的快捷功能启动的方法。
66.第七方面，本技术提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述任一方面任一项基于指向操作的设备之间的交互方法。
附图说明
67.图1是本技术实施例提供的一例电子设备的结构示意图。
68.图2是本技术实施例的一例电子设备的软件结构框图。
69.图3是本技术实施例的一例设备互联的图形用户界面示意图。
70.图4是本技术实施例的又一例设备互联的图形用户界面示意图。
71.图5是本技术实施例提供的一例开启设备之间快捷交互功能的图形用户界面示意图。
72.图6是本技术实施例提供的一例定位器件安装示意图。
73.图7是本技术实施例提供的一例为手持设备和定位器件建立连接的示意图。
74.图8是本技术实施例提供的一例确定家庭场景中的设备位置的示意图。
75.图9是本技术实施例提供的一例设置家庭场景中的设备的示意图。
76.图10是本技术实施例提供的一例用户指向音箱的示意图。
77.图11是本技术实施例提供的一例用户指向音箱的示意图。
78.图12是本技术实施例提供的一例用户通过手持设备控制音箱的示意图。
79.图13是本技术实施例提供的一例用户指向智慧屏的示意图。
80.图14是本技术实施例提供的一例用户通过手持设备控制智慧屏的示意图。
81.图15是本技术实施例提供的一例用户指向空调的示意图。
82.图16是本技术实施例提供的一例用户通过手持设备控制空调的示意图。
83.图17是本技术实施例提供的又一例用户通过手持设备控制音箱的示意图。
84.图18是本技术实施例提供的又一例用户通过手持设备控制音箱的示意图。
85.图19是本技术实施例提供的一例基于指向的设备之间的交互方法的示意性流程图。
具体实施方式
86.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
87.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
88.本技术实施例提供的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等电子设备上，本技术实施例对电子设备的具体类型不作任何限制。
89.示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
90.可以理解的是，本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部
件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
91.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
92.其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
93.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
94.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
95.i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。
96.i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
97.pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
98.uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
99.mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。
100.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
101.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
102.可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
103.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
104.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
105.电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
106.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
107.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
108.调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
109.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
110.在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
111.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
112.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
113.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
114.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传
递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
115.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
116.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
117.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
118.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
119.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
120.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
121.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
122.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
123.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
124.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
125.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
126.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
127.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
128.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
129.气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
130.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
131.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
132.距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。
133.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确
定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
134.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
135.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
136.温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
137.触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
138.骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
139.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
140.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
141.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
142.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim
卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
143.电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本技术实施例以分层架构的android系统为例，示例性说明电子设备100的软件结构。
144.图2是本技术实施例的一例电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
145.如图2所示，应用程序包可以包括相机、音乐、设置、蓝牙、查找、智慧生活等应用程序。
146.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
147.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
148.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
149.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括手机界面上相机应用的图标的显示，可以包括显示文字的视图以及显示图片的视图。
150.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
151.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
152.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
153.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
154.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
155.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线
程管理，安全和异常的管理，以及垃圾回收等功能。
156.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，二维图形引擎(例如：sgl)等。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了二维图层和三维图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。二维图形引擎是二维绘图的绘图引擎。图像处理库可以提供针对各种图像数据的分析以及提供多种图像处理算法等，例如可以提供图像切割、图像融合、图像模糊、图像锐化等处理，此处不再赘述。
157.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
158.为了便于理解，本技术以下实施例将以具有图1和图2所示结构的手机为例，结合附图和应用场景，对本技术实施例提供的基于指向的设备之间的交互方法进行具体阐述。
159.图3是一例设备互联的图形用户界面(graphical user interface，gui)示意图，用户可以通过图3所示的过程，发现其他电子设备并和目标电子设备建立连接。其中，图3中的(a)图示出了解锁模式下，手机当前显示的主界面301，该主界面301显示了多款应用程序(application，app)，例如音乐、相机、设置和智慧生活等应用程序。应理解，该主界面301还可以包括其他更多的应用程序，本技术实施例对此不作限定。
160.如图3中的(a)图所示，用户可以在该主界面301的执行从手机底部向上的滑动操作，例如黑色箭头示出的滑动轨迹，响应于用户的滑动操作，手机进入如图3中的(b)图所示的控制中心界面302。该控制中心界面302可以包括不同的控制菜单或控制选项，例如“airplay镜像”、“airdrop接收关闭”、“无线局域网(wireless local area networks，wlan)”、“静音”、“自动旋转”、“相机”等不同的控制菜单或控制选项，本技术实施例对此不作限定。
161.示例性的，用户可以执行如图3中的(b)图所示的操作，点击该控制中心界面302上的“airplay镜像”选项，响应于用户的点击操作，手机进入如图3中的(c)图所示的airplay镜像详情界面303。在该airplay镜像详情界面303上，可以显示手机发现的设备列表。应理解，该设备列表中可以包括之前和手机已经建立过连接的电子设备，或者包括基于同一用户账号注册的电子设备，或者包括连接在同一网络中的电子设备，又或者包括当前设备扫描发现的电子设备等，本技术实施例对此不作限定。
162.如果在家庭场景中，用户当前期望手机连接并控制智能电视，用户可以点击“user a’stv”，手机进入智能电视的控制中心界面403。在该控制中心界面403上，可以包括用于控制智能电视的各类菜单或者按键等，例如退出连接开关、播放进度条、暂停按键、选集按键等，用户可以通过该控制中心界面403的菜单或者按键对家庭场景中的智能电视进行控制。
163.上述方法通过在手机上进行多设备的设备发现与选择，进而将可以被手机控制的设备显示在列表中，用户可以根据需要在该列表中选择某个设备并进行相应的控制。该过程中，当列表中可选的设备超过一定数量时，用户可以根据设备的图标、设备的名称等进行识别，结合滚屏操作等从多个设备中选择目标设备。一种可能的情况中，设备列表中的设备排列顺序和设备的信号强弱有关，当信号不稳定或用户所处的位置发生变化时，设备列表
中的设备排列顺序可能会发生变化，用户需要多次滑动，查找到目标设备，增加了用户的操作成本；此外，由于手机系统无法感知用户期望选择的目标设备，只能把所有扫描到的设备都显示给用户，也增加了用户的操作成本和选择目标设备的时间；再者，在用户从设备列表中选择目标设备时，容易出现误触等误操作。
164.图4是又一例设备互联的图形用户界面示意图，用户还可以通过图4所示的过程，发现其他电子设备并和目标电子设备建立连接。其中，图4中的(a)图示出了解锁模式下，手机当前显示的主界面401，该主界面401显示了多款应用程序(application，app)，例如音乐、相机、设置和查找等应用程序。
165.如图4中的(a)图所示，用户点击查找应用，响应于用户的点击操作，手机进入如图4中的(b)图所示查找界面402。在该查找界面402上，可以通过地图的方式展示多个设备的位置，示例性的，如图4中的(b)图所示，手机可以查找到设备1、设备2、设备3、设备4和设备5并显示每个设备的位置标签，用于标记每个设备的位置。用户可以通过点击目标设备的位置标签，从而和该目标设备建立连接，或者显示该目标设备的控制中心界面，进一步对目标设备进行控制。
166.通过查找应用的地图显示多个设备的过程中，地图需要占据手机屏幕的大部分区域，那么设备列表的显示区域相比之下变小，可以显示更少的电子设备。此外，在地图中，设备之间距离较近时会导致多个设备的位置重合，用户点击目标设备时容易误触其他设备；或者该过程需要结合用户执行缩放，拖拽等复杂的交互操作或辅助操作来选择目标设备，增加了用户的操作成本和选择目标设备的时间。
167.又一种可能的实现方式中，用户还可以通过近距离无线通信技术(near field communication，nfc)的方式，在两个设备在贴有nfc贴片的地方进行接触，实现设备的发现和选择。该过程用户需要将手机接近目标设备，通过物理接触特定的区域进行设备之间的发现和选择，但是不是所有的设备都支持nfc功能，且要求手机和目标设备必须在设备的外观显示nfc贴片，一定程度上影响了设备的外观。
168.综上所述，现有的设备发现、设备连接或者设备之间控制的过程都需要用户执行复杂的交互操作，增加了用户的操作成本和选择目标设备的时间。鉴于此，本技术实施例将提供一种快捷的设备交互方法，在减少用户操作的情况下，实现设备之间的发现、连接或者设备之间控制等。
169.应理解，在后续实施例的描述中，将以手机作为用户的手持设备，或者称为“控制设备”，介绍如何通过手机控制家庭场景中的其他电子设备，或者连接其他电子设备，可以将其他电子设备称为“被控制设备”。在家庭场景中，用户的手持设备可以是具有图1和图2所示结构的手机、平板等设备，被控制设备可以包括智能电视(智慧屏)、空调、音箱、个人电脑、路由器等，此处不再一一举例。下面将以手机控制家庭场景中的智能电视(智慧屏)、空调、音箱为例，详细介绍如何通过快捷手势实现本技术实施例的设备之间的控制过程。
170.图5是本技术实施例提供的一例开启设备之间快捷交互功能的图形用户界面示意图。其中，图5中的(a)图示出了解锁模式下，手机当前显示的主界面501，用户点击主界面501上设置应用的图标，响应于用户的点击操作，手机显示如图5中的(b)图所示的设置应用的主界面502。具体地，如图5中的(b)图所示，在该设置应用的主界面502上，包括多个用于设置手机网络连接、蓝牙连接、桌面于壁纸、显示与亮度、声音和智能辅助功能的菜单。
171.用户点击智能辅助与手势控制菜单，响应于用户的点击操作，手机显示如图5中的(c)图所示的智能辅助与手势控制的详情界面503。在界面503上，可以进一步包括多种用于实现智能化控制手机的子菜单，例如旅行助手、单手操作、手势控制、智慧识屏、皮套操作、手写笔操作等子菜单，该界面503还可以包括防误触模式等不同功能的开关，应理解，本技术实施例对界面上显示的菜单或者开关的种类、数量不作限定，每一种菜单或者开关的功能可以参照现有技术的实现，这里不再赘述。
172.一种可能的实现方式中，本技术实施例可以在智能辅助与手势控制菜单中增加“指一指操控功能”开关，用户可以执行如图5中的(c)图所示的操作，点击该“指一指操控功能”开关，开启本技术实施例将要介绍的设备之间快捷交互功能，即通过快捷手机控制设备之间的交互。
173.应理解，上述介绍了在设置应用开启该“指一指操控功能”开关，还可以在其他应用中增加该“指一指操控功能”开关，例如在智慧生活应用中增加该“指一指操控功能”开关，用户可以通过智慧生活的“指一指操控功能”开关开启设备之间快捷交互功能，本身实施例对此不作限定。
174.或者，除了在手机安装的设置应用、智慧生活应用中开启设备之间快捷交互功能之外，还可以通过在手机的通知栏中增加“指一指操控功能”开关。示例性的，用户可以在手机任意的界面上执行从手机顶端向下的下拉操作，响应于用户的下拉操作，手机显示如图3中的(b)图所示的通知界面302，并在该通知界面302中增加“指一指操控功能”开关，用户可以点击该“指一指操控功能”开关，开启设备之间快捷交互功能，本技术实施例对开启设备之间快捷交互功能的方式不作限定。
175.通过图5介绍的方法，用户开启了本技术实施例提供的通过快捷手势实现设备之间交互功能，在详细介绍快捷手势之前，手机作为用户的手持设备，还需要实现对家庭场景中的智能电视(智慧屏)、空调、音箱、路由器等设备进行定位，即手机需要确定每一个设备的位置，进而更精确的通过快捷手势进行控制。
176.一种可能的实现方式中，在家庭场景中安装至少3个固定的定位器件，并保证该3个定位器件为通电工作状态，且该至少3个定位器件可以和用户的手持设备进行通信。
177.可选地，该定位器件可以是具有定位功能的传感器或者具有定位功能的结构等，例如传感器可以是激光传感器、红外传感器等；具有定位功能的结构可以是芯片。例如，具有定位功能的结构可以是基于蓝牙模块的定位结构、基于超宽带(ultra wide-band，uwb)无线感知能力的定位芯片、基于全球卫星定位系统(global positioning system，gps)的定位结构、基于无线保真(wireless fidelity，wifi)模块的定位结构等。
178.可选地，除了在家庭场景中预先布局上述列举的定位器件之外，该定位器件还可以被安装在家庭场景中的智能电视(智慧屏)、空调、音箱、路由器等设备上。示例性的，如果智慧屏、空调、音箱等设备本身具有uwb芯片，在家庭场景中不需要额外再布局至少3个固定的定位器件，就可以通过手机和智慧屏、空调、音箱等设备之间的交互实现对家庭场景中的任意一个设备的定位功能，具体的定位算法请参考后续介绍的过程。应理解，本技术实施例对定位器件的数量、实现形式不作限定。
179.图6是本技术实施例提供的一例定位器件安装示意图。具体地，以在家庭场景中安装3个固定的定位器件为例，介绍定位器件的安装规则，具体安装规则可以包括：
180.(1)无障碍通信规则。
181.具体地，在定位器件的安装过程中，确保每一个定位器件可以与家庭场景的任意一个设备进行通信，使得手机作为手持设备，可以和每一个定位器件进行通信，进而手机可以精确定位家庭场景中的每一个设备的位置。
182.示例性的，图6中的(a)图示出了一种错误的安装方式，定位器件1和设备a之间有障碍物阻隔，可能会导致定位器件1和设备a的通信，进而无法通过3个定位器件对家庭场景中的设备a进行定位。在定位器件的安装过程中，可以图6中的(b)图所示，确保家庭场景的任意一个设备b可以与定位器件1、定位器件2、定位器件3分别进行通信，设备b和任意一个定位器件之间没有障碍物的影响。
183.(2)定位器件的安装高度规则。
184.具体地，在定位器件的安装过程中，确保每一个定位器件与地面所在平面的高度大于或等于2米，或者称为最小安装高度h-min。该最小安装高度h-min可以确保3个定位器件具有更大的覆盖范围，可以对家庭场景中的任意一个设备进行定位。
185.示例性的，图6中的(c)图示出了一种错误的安装方式，定位器件2和地面所在平面的高度h2、以及定位器件3和地面所在平面的高度h3小于2米，进而可能导致3个定位器件的覆盖范围小，无法通过3个定位器件对家庭场景中的任意一个设备进行定位。在定位器件的安装过程中，可以图6中的(d)图所示，确保定位器件1、定位器件2、定位器件3分别与地面所在平面的高度大于h-min，即定位器件1、定位器件2、定位器件3安装在距离地面所在平面的大于h-min的阴影区域。
186.(3)定位器件的大覆盖范围规则。
187.具体地，在定位器件的安装过程中，确保3个定位器件联合的覆盖范围可以最大化，即尽可能覆盖整个家庭场景中的智慧屏、空调、音箱等设备。
188.示例性的，图6中的(e)图示出了一种错误的安装方式，定位器件1、定位器件2、定位器件3连接之后形成的三角区域面积小，进而可能导致3个定位器件的覆盖范围小，无法通过3个定位器件对家庭场景中的任意一个设备进行定位。在定位器件的安装过程中，可以图6中的(f)图所示，确保定位器件1、定位器件2、定位器件3连接之后形成的三角区域面积最大化。
189.(4)定位器件的垂直安装规则。
190.具体地，在定位器件的安装过程中，确保3个定位器件安装在竖直墙面上，避免将定位装置安装在于地面所在平面具有倾斜角度的墙面上。
191.示例性的，图6中的(g)图示出了一种错误的安装方式，定位器件1安装在倾斜的墙面上，进而可能导致3个定位器件的覆盖范围小，无法通过3个定位器件对家庭场景中的任意一个设备进行定位。在定位器件的安装过程中，可以图6中的(h)图所示，确保定位器件1、定位器件2、定位器件3都安装在竖直墙面上。
192.(5)定位器件的均匀安装规则。
193.具体地，在定位器件的安装过程中，确保3个定位器件安装在不同的墙面上，避免将同一墙面上安装了两个或两个以上的定位器件。
194.示例性的，图6中的(i)图示出了一种错误的安装方式，定位器件1和定位器件2安装在同一墙面上，进而可能导致3个定位器件的覆盖范围小，无法通过3个定位器件对家庭
场景中的任意一个设备进行定位。在定位器件的安装过程中，可以图6中的(h)图所示，确保定位器件1、定位器件2、定位器件3都安装在不同的墙面上。
195.(6)定位器件之间没有障碍物(墙壁或物体)
196.具体地，该规则(1)中介绍的无障碍通信规则保证了家庭场景中的任意一个设备和每一个定位器件之间没有障碍物阻隔，可以进行通信。此外，在定位器件的安装过程中，还应该确保3个定位器件之间没有障碍物阻隔，且在垂直于地面所在平面的方向、和平行于地面所在平面的方向都没有障碍物阻隔，进一步保证3个定位器件的尽可能大的覆盖范围，进而可以通过3个定位器件对家庭场景中的任意一个设备进行定位。
197.示例性的，图6中的(j)图示出了一种错误的安装方式，定位器件1和定位器件3之间有障碍物阻隔，应该保证3个之间没有障碍物阻隔。
198.以上介绍了6种安装定位器件的规则，应理解，本技术实施例在保证3个定位器件可以对家庭场景中的任意一个设备进行定位的情况下，可以包括更多或更少的规则，本技术实施例对此不作限定。
199.安装了3个定位器件之后，还需要建立手持设备和3个定位器件之间的连接，以使得手持设备可以和3个定位器件进行交互，进一步确定家庭场景中每一个设备的位置以及手持设备和每一个设备之间的距离等。
200.一种可能的实现方式中，可以通过智慧生活应用为手持设备和3个定位器件之间建立连接。示例性的，图7是本技术实施例提供的一例为手持设备和定位器件建立连接的示意图。其中，图7中的(a)图示出了解锁模式下，手机当前显示的主界面701，用户点击主界面701上智慧生活应用的图标，响应于用户的点击操作，手机显示如图7中的(b)图所示的智慧生活应用的主界面702。具体地，如图7中的(b)图所示，在该智慧生活应用的主界面702上，可以包括虚拟体验菜单和添加设备菜单，以及包括“家居”、“商城”、“智能”和“我的”等功能区域。
201.如图7中的(a)图所示，用户点击该智慧生活应用的主界面702上的“添加设备”菜单，响应于用户的点击操作，手机显示如图7中的(c)图所示的自动扫描界面703。具体地，手机可以自动扫描周围可以进行连接的设备或器件。应理解，在过程中，必须保证安装在家庭场景中的3个定位器件为通电的工作状态，可以被手机搜索发现。
202.可选地，用户还可以通过该智慧生活应用的主界面702上的“手动添加”或者“扫码添加”等方式发现该3个定位器件，本技术实施例对手机发现定位器件的方式不作限定，此处不再赘述。
203.当手机扫描到3个定位器件之后，可以显示如图7中的(d)图所示的界面704。在该界面704上，可以显示3个定位器件的名称，例如tag 1、tag 2和tag 3。用户点击定位器件tag 1，响应于用户的点击操作，该tag 1可以直接与手机进行连接。或者，可选地，手机可以显示如7中的(e)图所示的网络配置界面705。在该网络配置界面705，用户可以输入当前的网络名称和密码，并点击“下一步”按键，进而手机跳转到如7中的(f)图所示的连接成功界面706。
204.通过上述步骤，实现了手机和定位器件1的连接，同样地，重复图7中的(d)、(e)和(f)图所示的过程，可以实现手机和定位器件2、定位器件3的连接。或者，手机和定位器件还可以通过“碰一碰”等快捷方式进行连接，本技术实施例对此不再赘述。
205.当在家庭场景中布局了3个定位器件之后，手持设备可以根据3个定位器件确定家庭场景中每一个设备的位置以及手持设备和每一个设备之间的距离等。
206.图8是本技术实施例提供的一例确定家庭场景中的设备位置的示意图。其中，在房间所在的空间建立空间坐标系，例如以房间的长、宽和高为坐标轴建立空间坐标系，本技术实施例对建立空间坐标系的方式不作限定。应理解，只要在通过3个定位器件计算家庭场景中每一个设备的位置时使用的是同一个空间坐标系即可。
207.已知定位器件1的空间坐标(x1,y1,z1)，定位器件2的空间坐标(x2,y2,z2)，定位器件3的空间坐标(x3,y3,z3)，且已知可以测得设备a和定位器件1之间的距离d1，设备a和定位器件2之间的距离d2，设备a和定位器件3之间的距离d3。获取以上的已知参数之后，假设家庭场景中的任意一个设备a的空间坐标(x0,y0,z0)，并根据以下计算过程确定x0，y0，z0的值。
208.(x1-x0)2 (y1-y0)2 (z1-z0)2＝d
12
209.(x2-x0)2 (y2-y0)2 (z2-z0)2＝d
22
210.(x3-x0)2 (y3-y0)2 (z3-z0)2＝d
32
211.求得d1,d2,d3之后，以定位器件1所在位置为圆心、d1为半径作圆，以定位器件2所在位置为圆心、d2为半径作圆，以定位器件3所在位置为圆心、d3为半径作圆，三个圆的交点的位置坐标即为设备a的位置坐标，即可以通过3个定位器件3确定了家庭场景中任意一个设备的位置，手机作为手持设备，可以获取以上的已知参数，并根据以上计算过程确定出任意一个设备的位置。
212.综上，手机作为手持设备，已经可以和家庭场景中布局的3个定位器件进行通信，要实现进一步基于用户指一指的快捷手势，使用用户手持设备控制家庭场景中的其他设备，还需要赋予家庭场景中的其他设备被控制的能力，下面结合图9介绍一种实现方式，可以赋予家庭场景中的其他设备在检测到用户指一指的快捷手势之后，可以被用户的手持设备控制的能力。
213.图9是本技术实施例提供的一例设置家庭场景中的设备的示意图。其中，图9中的(a)图示出了解锁模式下，手机当前显示的主界面901，用户点击主界面901上智慧生活应用的图标，响应于用户的点击操作，手机显示如图9中的(b)图所示的智慧生活应用的主界面902。
214.可选地，该智慧生活应用的主界面902上已经添加了家庭场景中红外遥控器、我的音箱、华为路由器、我的空调和华为智慧屏，换言之，该智慧生活应用的主界面902上可以显示多个与手持设备已经配对过的设备的卡片。
215.应理解，在生活应用中添加家庭场景中多种电子设备的方式可以参照现有技术中的方式，例如扫描添加、手动添加、碰一碰添加等多种可能的方式，此处不再赘述。
216.一种可能的实现方式中，在该智慧生活应用的主界面902上，用户通过预设操作选中某个家庭场景中的设备的卡片所在区域，再把手持设备指向该卡片所在区域对应的设备，从而激活该设备，以约定该设备可以在检测到用户的指一指手势时被手持设备控制。
217.示例性的，如图9中的(b)图所示，在该智慧生活应用的主界面902上，用户长按“我的音箱”卡片所在区域，并且同时或者一定时段内用户使用手机指向该音箱所放置的位置。
218.应理解，该长按操作可以触发激活音箱，再通过把手机指向音箱所放置的位置可
以使得手机和音箱之间进行信息交互，以约定在手机检测到用户的指一指手势时，音箱可以被手机控制。
219.还应理解，该过程中，用户通过把手机指向音箱所放置的位置可以使得手机和音箱之间进行信息交互，还可以理解为，手机此时通过前述连接的3个定位器件对音箱进行定位，确定了音箱在家庭场景中的具体位置。
220.可选地，该触发激活音箱的方式不限于图9中的(b)图示出的长按该“我的音箱”卡片所在区域和手机指向音箱所放置的位置的操作，还可以通过划动操作等其他预设操作或手势，以及手机指向音箱所放置的位置的操作实现，本技术实施例对此不作限定。
221.另一种可能的实现方式中，用户可以选中某个家庭场景中的设备的卡片所在区域，进入该设备的详情界面，开启该设备的指一指操控功能开关，在检测到用户的指一指手势时，该设备可以被手持设备控制。应理解，在该实现方式中，用户也可以把手持设备指向该卡片所在区域对应的设备，从而激活该设备，手机此时通过前述连接的3个定位器件对该设备进行定位，确定了该设备在家庭场景中的具体位置，并且约定在手持设备检测到用户的指一指手势时，该设备可以被手持设备控制。
222.可选地，用户可以在该智慧生活应用的主界面902上选中某个家庭场景中的设备的卡片所在区域，或者通过快捷入口选中某个家庭场景中的设备的卡片所在区域。
223.示例性的，如图9中的(c)图所示，在手机的主界面903上，用户在该界面903上执行如黑色箭头所示的下拉操作，响应于用户的下拉操作，手机显示如图9中的(d)图所示的控制中心界面904，该控制中心界面904上可以显示已经添加的家庭场景中我的音箱和华为智慧屏卡片。
224.用户点击华为智慧屏卡片所在区域，手机可以进入如图9中的(e)图所示的华为智慧屏的详情界面905。在该华为智慧屏的详情界面905上，可以增加“指一指操控功能”开关，用户点击打开该“指一指操控功能”开关，使得该开关为打开状态，就可以激活该华为智慧屏，手机此时通过前述连接的3个定位器件对该华为智慧屏进行定位，确定了该华为智慧屏在家庭场景中的具体位置，并且以约定在手机检测到用户的指一指手势时，华为智慧屏可以被手机控制。
225.又一种可能的实现方式中，当用户通过手持设备激活了家庭场景中的某个设备之后，可以向用户展示提示信息，该提示信息用于指示已经将该设备成功激活。
226.可选地，当手机完成家庭场景中的某个设备的定位后，可以在某个特定的应用或者界面上，以弹窗等方式显示该提示信息，告知用户该设备已经定位完成，被成功激活。
227.可选地，如果手机激活某设备的过程中，发现该设备和手机的距离很近，可以提示用户“手机和被定位好的xx设备距离较近，建议移开手机或xx设备”，或者，还可以显示多个可能的设备，用户在实际操作中进一步选择当前被定位的设备，本技术实施例对此不作限定。
228.同理，重复上述操作，手机可以对家庭场景中的智慧屏等其他任意一个设备进行定位和激活，此处不再一一赘述。
229.结合图9中介绍多种可能的方法，该方法可以在某个特定的应用或界面(例如如智慧生活)，或者手持设备的控制中心界面，或者某个设备的设备详情界面等，通过预设操作(长按、划动等操作)或点击预设开关等方式，使得已经与手持设备配对过的、该家庭场景中
用户正在使用手持设备指向的其他设备，进入激活状态，以约定在手持设备检测到用户的指一指手势时，该设备可以被手持设备控制。
230.综上所述，通过图5至图9的介绍，当前的家庭场景中，已经布局了至少3个定位器件，且用户已经开启了手机的指一指操控其他设备的功能，并激活了该家庭场景中的多个设备，约定在手机检测到用户的指一指手势时，该被用户指向的设备可以被手机控制。下面结合图10至图19详细介绍用户通过指一指操作控制家庭场景中的其他设备的实现过程。
231.图10是本技术实施例提供的一例用户指向音箱的示意图，其中，图10中的(a)图至(c)图的过程示出了用户一种可能的指向操作过程。
232.示例性的，用户可以以如图10中的(a)图所示的姿势手握手机，并经由如图10中的(b)图所示的姿势，最终以如图10中的(c)图所示的姿势指向家庭场景中的音箱。且手机可以检测到用户手持手机发生了如图所示的位移变化过程，最终指向音箱所在位置。
233.一种可能的实现方式中，手机作为用户的手持设备，可以借助于手机的一个或多个传感器、或者手机的摄像头等识别用户的指向操作。在后续实施例的描述中，可以将用户的指向操作称为“指一指操作”。
234.可选地，手机的传感器可以包括加速度传感器、陀螺仪、磁力计(magnetometer sensor，m-sensor)、惯性检测单元(inertial measurement unit，imu)等。手机的摄像头不限于手机的前置摄像头或后置摄像头；或者，手机的摄像头不限于手机的主摄像头、广角摄像头、长焦摄像头中的一个或多个，根据摄像头获取的画面识别用户的指向操作，本技术实施例对此不作限定。
235.在判断用户发生指向音箱的动作的过程中，建立如图10中的(d)图所示的坐标系o-xyz。具体的，该坐标系o-xyz以手机的重心为坐标原点o，以经过坐标原点o的手机长边框所在直线为y轴，手机短边框所在直线为x轴，以垂直于地面的直线为z轴。那么，在用户执行指向操作时，坐标系o-xyz的移动过程可以如图10中的(b)图、(c)图所示。
236.示例性的，在用户的指向音箱的操作过程中，可以包括以下动作变化过程：
237.(1)用户起始位置可以是如图10中的(a)图所示的用户手握手机自然伸直状态，或者如图10中的(b)图所示的用户手握手机自然放置于胸前位置。
238.换言之，用户的指向操作可以是(a)图直接到(c)图，包括不同的轨迹；或者(b)图直接到(c)图；又或者经由(a)图-(b)图-(c)图的轨迹，本技术实施例对此不作限定。
239.(2)用户的手臂前伸运动，手机沿y轴所在的直线进行加速，通过手机的加速度传感器检测到手机沿y轴所在的直线的加速度大于或等于第一预设阈值aa。加速度的变化曲线可以如图10中的(e)图所示，在t2时刻，手机沿y轴所在的直线的加速度大于或等于第一预设阈值aa。
240.同时，检测到手机在x轴所在的直线，以及z轴所在的直线的加速度小于或等于第二预设阈值ab。
241.可选地，手机在不同方向上的加速度可以由手机的imu进行检测。或者，手机在不同方向上的加速度可以基于手机前置摄像头采集的画面以及常开光流算法进行检测。具体地，利用手机前置摄像头获取画面中的相邻帧，其中相邻帧中特征点在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场。即可以根据该物体点三维运动的速度场反映一定时间间隔内，由于该物体点的运动形成的图像变化，以确定图像上该物
体点的运动方向和运动速率，进而确定手机的运动轨迹是否为直线或者类直线。
242.一种可能的实现方式中，当手持设备检测手机沿y轴所在的直线的运动，且加速度值大于或等于第一预设阈值aa时，如图10中的(e)图所示，在t2时刻可以在手持设备出现第一提示信息，引导用户沿y轴方向继续加速。
243.(3)由手机的imu检测到手机沿y轴所在的直线的加速度的加速时间达到第一预设时长ta。
244.一种可能的实现方式中，当手持设备检测手机沿y轴所在的直线的运动，加速度值大于或等于第一预设阈值aa且加速度的加速时间达到第一预设时长ta时，可以在手持设备出现第二提示信息，提示用户手持设备开启了无线定位功能。
245.(4)检测到手机远离用户的身体。
246.可选地，手机可以通过磁力计检测远离用户的身体或者靠近用户的身体。由于人体本身是磁场，手机远离人体或者靠近人体时，磁力计检测到的磁场强度会产生明显的变化。因此，可以根据磁力计检测的磁场强度确定手机为远离用户的身体或者靠近用户的身体的状态。
247.或者，手机可以通过摄像头获取的图像检测远离用户的身体或者远离用户的身体。具体地，手机的摄像头可以实时获取图像，并根据获取的图像进行人脸特征检测。一定时段内，手机先在获取的图像中检测到人脸信息，确定为靠近用户的身体的状态；随后又在获取的图像中未检测到人脸信息，确定为远离用户的身体的状态。当出现上述的变化过程，可以确定手机从靠近用户的身体，逐渐转变为远离用户的身体。
248.(5)手机的imu检测到手机加速停止时，且手机悬停的时间达到第二预设时长t
dwell
。
249.当手机检测到以上的动作变化过程(1)(2)(3)(4)(5)时，可以判定当前用户执行了指向操作，进而触发手机通过无线定位技术确定用户指向的设备的位置。该过程可以结合多个传感器采集的数据，更精确的判断出用户执行了指向操作。应理解，手机还可以在检测到以上的动作变化过程(1)(2)(3)(4)(5)中的一个或多个时，就触发手机通过无线定位技术确定用户指向的设备的位置，本技术实施例对此不作限定。
250.另一种可能的实现方式中，为了精准识别用户的指向操作，降低误触率，本技术实施例可以在预设场景下，才触发手持设备检测用户的指向操作，该预设场景包括：手持设备为亮屏状态；和/或，手持设备为解锁状态；和/或，手持设备显示为主界面；和/或，检测到垂直于手持设备的显示屏的法线方向和地面有一定的夹角。其中，手持设备的显示屏的发现方向和地面有一定的夹角可以理解为显示屏的法线方向不垂直于于地面。
251.又一种可能的实现方式中，当手机的imu检测到手机加速停止时，且手机悬停的时间达到第二预设时长t
dwell
时，可以在手持设备出现第三提示信息，第三提示信息用户提示用户被指向的目标设备，当用户指向的方向上检测到至少2个设备时，第三提示信息可以为用户显示该至少2个设备的信息。用户可以从中选择目标设备。
252.或者，可选地，此时在被指向的设备上也可以出现第四提示信息，用于提示用户要指向该设备的正确的指向操作。示例性的，如果用户通过手机指向智慧屏，由于用户在指向过程中会注视着智慧屏，因此可以在智慧屏出现弹窗，该弹窗包括第四提示信息，用于指示用户控制智慧屏所需要执行的正确的指向操作。
253.以上通过视觉和非视觉的提示方式，在手持设备和指向的目标设备上进行指向操作的引导和反馈，提升了指向操作的成功率，提高了用户体验。
254.上述实施例中介绍了在手持设备或者目标设备上显示提示信息的可能情况。应理解，由于用户在指向目标设备的过程中，会出现手眼分离的现象，即眼睛看不到手机的界面的情况。因此，本技术实施例对上述任意一种提示信息(第一提示信息、第二提示信息、第三提示信息、第四提示信息)的提示方式不作限定，例如可以是用户可识别有差异的视觉或非视觉提示，如不同的界面提示、震动、指示灯、语音等多种提示方式。
255.可选地，手持设备上提示信息的提示效果可以和用户指一指动作的方向、手持设备的加速度等进行匹配。
256.通过上述预设场景的设置，限定手机可以一种预设场景或者同时满足多种场景才识别用户是否执行了指向操作，例如手机仅在亮屏状态和/或解锁状态才识别用户是否执行了指向操作，或者限定手机显示为主界面才识别用户是否执行了指向操作，或者限定手机同时满足处于亮屏状态且解锁状态且显示了手机的主界面时才识别用户是否执行了指向操作，该预设场景的设置可以增加识别用户指向操作的精确性，避免用户只是将手机递给其他人等可能的场景中的检测，从而降低误触率，提高了用户体验。
257.另一种可能的实现方式中，当手机确定用户当前进行了针对音箱的指向操作时，可以在用户执行了如图10中的(c)图所示的操作且手机悬停时间达到第二预设时长t
dwell
时，用户可以按压物理按键，或者执行预设的屏幕手势，或者空中手势等，用于向手机发出信号，确定当前手机检测的检测结果。
258.示例性的，当如图10中的(c)图所示的操作且手机悬停时间达到第二预设时长t
dwell
时，用户按压电源键或者音量键，手机可以接收用户的按压操作之后，确定当前检测到的是用户的指向操作。应理解，本技术实施例对用户按压物理按键的次数、按压何种物理按键，或者预设的屏幕手势或空中手势等不作限定。
259.通过上述过程，可以增加手机识别用户指向操作的精准性，该过程可以理解为，用户通过上述按压操作或者预设手势向手机发送确认信息，确认手机当前检测的动作是用户指向音箱的操作，可以更精确的触发手机对音箱的定位过程。相反，如果手机检测到用户执行了如图10中的(c)图所示的操作且手机悬停时间达到第二预设时长t
dwell
时，用户没有按压物理按键或者预设收拾，手机没有接收到用户的确认信号，可以不触发对音箱的定位过程。
260.根据以上步骤，手机已经识别用户当前的指向音箱的操作之后，进一步启动手机的无线定位功能，搜索手机周边设备，并确定周边设备的位置，以及周边设备和手机的距离等，判断用户的指向方向上是否存在设备。示例性的，如图10中的(c)图所示，当手机检测用户如图所示的指向操作时，可以触发手机的无限定位技术。
261.一种可能的实现方式中，当用户指向的目标设备安装有定位结构时，手机可以根据自身和该目标设备之间的双向连接进行无线定位。示例性的，用户指向的目标设备可以安装有蓝牙定位芯片、uwb定位芯片，或者gps定位结构、wifi定位结构、以及具有定位功能的激光传感器、红外传感器等结构中的一种或多种，就可以基于该目标设备和手机之间的双向连接，对目标设备进行定位。
262.示例性的，如果智慧屏、空调、音箱等设备本身具有uwb芯片，在家庭场景中可以通
过手机和智慧屏、空调、音箱等设备之间的交互实现对家庭场景中的任意一个设备的定位。
263.应理解，手机和指向的目标设备都具备能够发射或者接受无线定位信号的硬件，并根据手机和指向的目标设备之间发射或者接受无线定位信号，计算并确定手机和指向的目标设备之间的距离和角度。
264.另一种可能的实现方式中，当家庭场景中布局有3个定位器件时，手机可以结合3个定位器件的三点定位能力，确定手机与指向的目标设备之间的距离和方向。
265.示例性的，按照图6介绍的方法，在家庭场景中安装了3个定位器件之后，再按照图7所示的方法建立手持设备和3个定位器件之间的连接，以使得手持设备可以和3个定位器件进行交互，进一步根据图8介绍的三点定位方法确定家庭场景中每一个设备的位置以及手持设备和每一个设备之间的距离等，此处不再赘述。
266.综上所述，手机可以通过在多个设备之间进行三角测量，确定手机和指向的目标设备之间的距离和角度。应理解，手机能够发射或者接受无线定位信号，只要家庭场景的空间中包括3个或3个以上固定的能够发射或者接受无线定位信号的定位器件，如图10中的(d)图所示的tag 1、tag 2和tag 3。进一步地，手机通过达到时间差(time difference of arrival，tdoa)计算手机的绝对定位(x，y，z，θ)。即可以通过三点定位方法确定家庭场景中每一个设备的位置以及手持设备和每一个设备之间的距离。
267.可选地，当家庭场景中具备能够发射或接受无线定位信号的定位器件足够多时，可以确定手机的6自由度(six degrees of freedom，6dof)的定位，此处不再赘述。
268.应理解，该定位器件可以独立存在，或者被安装于家庭场景内其他设备上，是智慧屏、空调、音箱等设备的一个组成部件，本技术实施例对此不作限定。
269.通过以上过程，手机已经识别用户当前的指向音箱的操作，且进一步启动手机的无线定位功能，并确定被用户指向的音箱的位置，响应于上述用户的指向操作之后，可以在手机上对用户指向的音箱进行控制。
270.图11是本技术实施例提供的一例用户指向音箱的示意图，图12是本技术实施例提供的一例用户通过手持设备控制音箱的示意图。
271.示例性的，图11中的(a)、(b)图和(c)图的过程示出了用户一种可能的指向操作过程。具体地，图12中的(a)图显示了手机的主界面1201，当手机为亮屏状态且显示为手机的主界面时，如果用户使用手机执行完上述指向音箱操作之后，手机可以显示如图12中的(b)图所示的界面1202。在该界面1202中，自动弹出音箱控制窗口20，该音箱控制窗口20可以悬浮在手机的主界面上。
272.可选地，该音箱控制窗口20可以包括窗口缩放选项21、窗口关闭选项22、音箱图标和名称显示区域23、歌曲播放控制区域24。用户可以通过点击窗口缩放选项21将该音箱控制窗口20进行放大全屏显示或者缩小到悬浮显示。该歌曲播放控制区域24可以显示歌手、歌手照片、专辑图片、歌曲名称、播放开关、播放进度条、上一曲、下一曲等按钮，用户可以根据自己的需要点击任意一个按钮，控制音箱的播放。该歌曲播放控制区域24还包括投音按钮，用于控制将手机音乐通过音箱播放，此处不再一一赘述。
273.应理解，该音箱控制窗口20可以包括以上列举的控制选项、菜单、按钮或者其他功能区域，或者该音箱控制窗口20还可以包括以上没有列举的其他显示内容，例如显示歌词的区域等。该音箱控制窗口20可以根据手持设备的类型和屏幕尺寸等，显示不同样式和内
容，此处不再赘述。
274.图13是本技术实施例提供的一例用户指向智慧屏的示意图，图14是本技术实施例提供的一例用户通过手持设备控制智慧屏的示意图。
275.示例性的，图13中的(a)、(b)图和(c)图的过程示出了用户一种可能的指向操作过程。具体地，图14中的(a)图显示了手机的主界面1401，当手机为亮屏状态且显示为手机的主界面时，如果用户使用手机执行完上述指向智慧屏操作之后，手机可以显示如图14中的(b)图所示的界面1402。在该界面1402中，自动弹出智慧屏控制窗口30，该智慧屏控制窗口30可以悬浮在手机的主界面上。
276.可选地，该实施例中图13的用户指向智慧屏的轨迹可以不同于图11中用户指向音箱的轨迹，也可以轨迹相同，本技术实施例对此不作限定。
277.可选地，该智慧屏控制窗口30可以包括窗口缩放选项31、窗口关闭选项32、智慧屏图标和名称显示区域、智慧屏播放控制区域33。用户可以通过点击窗口缩放选项31将该智慧屏控制窗口30进行放大全屏显示或者缩小到悬浮显示。该智慧屏播放控制区域33可以显示影片名称、选集列表、播放开关、播放进度条、上一集、下一集等按钮，用户可以根据自己的需要点击任意一个按钮，控制智慧屏上影片的播放。
278.应理解，该智慧屏控制窗口30可以包括以上列举的控制选项、菜单、按钮或者其他功能区域，或者该智慧屏控制窗口30还可以包括以上没有列举的其他显示内容，本技术实施例对此不作限定。该智慧屏控制窗口30可以根据手持设备的类型和屏幕尺寸等，显示不同样式和内容，此处不再赘述。
279.图15是本技术实施例提供的一例用户指向空调的示意图，图16是本技术实施例提供的一例用户通过手持设备控制空调的示意图。
280.示例性的，图15中的(a)、(b)图和(c)图的过程示出了用户一种可能的指向操作过程。具体地，图16中的(a)图显示了手机的主界面1601，当手机为亮屏状态且显示为手机的主界面时，如果用户使用手机执行完上述指向空调操作之后，手机可以显示如图16中的(b)图所示的界面1602。在该界面1602中，自动弹出空调控制窗口40，该空调控制窗口40可以悬浮在手机的主界面上。
281.可选地，该空调控制窗口40可以包括窗口缩放选项41、窗口关闭选项42、空调图标和名称显示区域43、空调控制区域44。用户可以通过点击窗口缩放选项41将该空调控制窗口40进行放大全屏显示或者缩小到悬浮显示。该空调控制区域44可以显示空调是否开启、制冷等工作模式、室内温度、工作功率、温度增减按钮、风速设置等按钮，用户可以根据自己的需要点击任意一个按钮，控制空调的开启以及温度设置、工作模式设置等。
282.应理解，该空调控制窗口40可以包括以上列举的控制选项、菜单、按钮或者其他功能区域，或者该空调控制窗口40还可以包括以上没有列举的其他显示内容，本技术实施例对此不作限定。该空调控制窗口40可以根据手持设备的类型和屏幕尺寸等，显示不同样式和内容，此处不再赘述。
283.通过上述方法，基于手持设备的识别功能和定位功能，当手持设备检测到用户指向目标设备的操作时，可以在手持设备上显示控制该目标设备的窗口，用户可以通过该窗口实现对目标设备的控制。该方法操作简单，减少了用户操作目标设备的步骤；此外，该方法根据用户的指向操作选择目标设备，可以帮助用户选择较远的设备。降低了距离的限制，
提高了用户体验。
284.另一种可能的实现方式中，在用户使用手持设备指向目标设备的操作过程中，可以在手持设备上显示提示信息，该提示信息用于引导用户执行正确的指向操作，以实现本技术实施例提供的通过指向操作控制目标设备。
285.可选地，该提示信息可以通过手持设备上显示的窗口进行显示，或者以图标的形式显示在手持设备上，或者以其他视觉引导的方式，引导用户执行正确的指向操作，以实现本技术实施例提供的通过指向操作控制目标设备。
286.图17是本技术实施例提供的又一例用户通过手持设备控制音箱的示意图。
287.示例性的，图17中的(a)、(b)图和(c)图的过程示出了用户一种可能的指向操作过程。具体地，图17中的(d)图显示了手机的主界面1701，当手机为亮屏状态且显示为手机的主界面1701时，如果用户使用手机执行了图17中的(a)、(b)图所示的操作，一定时段内手机没有检测到图17中的(c)图所示的指向音箱的操作以及悬停等，手机的主界面上可以显示如图17中的(e)图所示的界面1702。在该界面1702中，自动显示引导图标50，该引导图标50可以箭头的形式悬浮在手机的主界面上。
288.当用户根据该引导图标50继续执行如图17中的(c)图所示的指向操作时，手机的界面可以显示为如17中的(f)图所示的界面1703，在该界面1703上显示图标60，用于指示当前手机重新在检测用户的指向操作。当检测到如图17中的(c)图所示的用户指向音箱的操作时，可以在手持设备上显示音箱控制窗口20，此处不再赘述。
289.又一种可能的实现方式中，在用户使用手持设备指向目标设备的操作过程中，除了图17中的(e)图所示的引导图标之外，可以通过声音反馈、震动反馈等非视觉的方式，引导用户执行正确的指向操作，以实现本技术实施例提供的通过指向操作控制目标设备。
290.可选地，该声音反馈的方式可以由手持设备发出，或者由被指向的目标设备发出，例如手机以语音的方式提示用户“请向右移动”。
291.可选地，该震动反馈可以由手持设备发出，以更快更灵敏的被用户感知到，应理解，本技术实施例对此不作限定。
292.或者，当用户使用手持设备成功指向目标设备之后，还可以在手持设备或者被指向的目标设备上提供反馈，该反馈用于告知用户指向操作成功。该反馈信息可以包括视觉反馈、声音反馈、震动反馈等一种或多种。示例性的，如图17中的(f)图所示，当用户使用手机成功指向音箱之后，手机可以震动以告知用户指向操作完成。
293.应理解，当用户使用手持设备成功指向目标设备之后，目标设备可以将当前登录的账号信息、设备信息传输给手持设备，进而在手持设备上显示如图17中的(g)图所示的目标设备控制窗口。
294.还应理解，当确定手持设备是否指向目标设备的过程中，识别手持设备的轴线和目标设备的位置在预设范围之内时，即可以确定用户指向的目标设备。具体地，识别手持设备的轴线以一定的预定精度与目标设备的物理位置基本相交，或者识别到手持设备与目标设备对准时，就可以确定用户指向的目标设备，即可以在手持设备或者被指向的目标设备上提供反馈，并传输目标设备的登录的账号信息、设备信息给手持设备，并在手持设备上显示目标设备控制窗口20或者与目标设备相关的界面。
295.综上所述，本技术实施例提供的一种基于指向操作实现跨设备交互的方法，用户
可以使用手持设备指向目标设备，基于手持设备的加速度传感器、陀螺仪、imu等一种或多种传感器和/或摄像头检测用户的指向操作，触发手持设备的无线定位功能。手持设备根据无线定位功能确定手持设备与其他设备的距离、以及其他设备的所处的位置和方向。当识别到手持设备的轴线与目标设备的物理位置以预定精度判断为相交或基本相交时，还可以在手持设备和/或目标设备上提供视觉反馈、声音反馈、震动等至少一种反馈，并传输目标设备的登录的账号信息、设备信息给手持设备，在手持设备上显示该目标设备的控制窗口，用户可以通过手持设备上的该控制窗口实现对该目标设备的控制。当识别到手持设备的轴线与目标设备的物理位置不相交时，还可以在手持设备和/或目标设备上提供视觉引导、声音引导、震动等至少一种引导方式，以引导用户执行正确的指向操作，进一步实现在手持设备上显示该目标设备的控制窗口以及对该目标设备的控制功能。
296.另一种可能的实现方式中，用户在执行指向目标设备的动作时，由于同一位置可能存在两个或多个比较临近的设备。换言之，手机运动过程中y轴的轴线可能位于两个设备之间，且该轴线与两个设备的物理位置之间的精度在预定精度之内，判断手机的y轴的轴线同时和设备1或者设备2相交或基本相交时，即用户手持设备的指向操作可以被识别为指向设备1或者设备2。对于该种场景，本技术实施例还提供一种方法，可以在检测用户指向操作的过程中，为用户提供选择窗口，由用户选择其中的目标设备。
297.图18是本技术实施例提供的又一例用户通过手持设备控制音箱的示意图。示例性的，图18中的(a)图显示了手机的主界面1801，当手机为亮屏状态且显示为手机的主界面1801时，手机在检测用户的指向操作时，可以显示如图18中的(b)图所示的界面1802，在该界面1802上显示引导用户进行正确的指向操作的引导图标50。
298.如果用户使用手机指向了客厅的空调，由于空调和音箱的位置很接近，因此手机检测用户的指向操作时，判断该指向操作既可以触发空调被手机控制，又可以触发音箱被手机控制。
299.在该场景中，手机可以进一步显示如图18中的(c)图所示的界面1803，该界面1803上同时显示识别出的用户当前指向的音箱对应的音箱卡片70和空调对应的空调卡片80。可选地，该音箱卡片70可以仅显示设备名称、图标、缩放选项和窗口关闭选项中的等部分内容；同样地，空调卡片80可以仅显示设备名称、图标、缩放选项和窗口关闭选项中的等部分内容，本技术实施例对此不作限定。
300.用户可以执行如图18中的(c)图所示的操作，点击当前期望操作或控制的音箱卡片70的任意区域，响应于用户的点击操作，手机显示如如图18中的(d)图所示的界面1804。该界面1804上显示音箱控制窗口20，此处不再赘述。
301.以上介绍了手机识别到用户指向两个设备时的实现过程，当手机识别到用户指向更多的设备时，也可以根据该方法，为用户显示多个设备的卡片，供用户根据自己的需求选择其中的至少一个目标设备。此外，用户还可以同时点击选择多个设备作为目标设备，那么可以在界面1804上显示多个设备控制窗口，用户可以通过滑动切换的方式更换不同的设备控制窗口，此处不再赘述。
302.通过上述过程，对于位置临近的多个设备，手持设备可能识别到多个被用户指向的设备，或者用户期望控制该临近的多个设备时，可以为用户显示多个设备的卡片，供用户根据自己的需求选择其中的至少一个目标设备。该设计更加人性化，更能满足用户的不同
需求，提高了用户体验。
303.上述实施例结合图5至图18，从用户交互层面介绍了基于指向的设备之间的交互方法，下面将结合图19，从软件实现策略层面，介绍本技术实施例提供的设备之间的交互方法。应理解，该方法可以在如图1、图2所示的具有触摸屏、定位芯片和摄像头组件等结构电子设备(例如手机、平板电脑等)中实现。
304.图19是本技术实施例提供的一例基于指向的设备之间的交互方法的示意性流程图。以手机为作为手持设备，如图19所示，该方法可以包括以下步骤：
305.1901，用户开启手持设备的指一指操控功能。
306.示例性的，用户可以按照图5中介绍的方法，通过在设置应用开启该“指一指操控功能”开关，进一步开启手机的通过快捷手势实现设备之间交互功能。
307.或者，可以在其他应用中增加该“指一指操控功能”开关，例如在智慧生活应用中增加该“指一指操控功能”开关，用户可以通过智慧生活的“指一指操控功能”开关开启手机的通过快捷手势实现设备之间交互功能。
308.又或者，除了在手机安装的设置应用、智慧生活应用中开启设备之间快捷交互功能之外，还可以通过在手机的通知栏中增加“指一指操控功能”开关。示例性的，用户可以在手机任意的界面上执行从手机顶端向下的下拉操作，响应于用户的下拉操作，手机显示通知界面。用户可以点击该通知界面中的“指一指操控功能”开关，开启手机的通过快捷手势实现设备之间交互功能，本技术实施例对开启设备之间快捷交互功能的方式不作限定。
309.应理解，手机作为用户的手持设备，还需要实现对家庭场景中的智能电视(智慧屏)、空调、音箱、路由器等设备进行定位，即手机需要确定每一个设备的位置，进而更精确的通过快捷手势进行控制。
310.一种可能的实现方式中，在家庭场景中安装至少3个固定的定位器件，并保证该3个定位器件为通电工作状态，且该至少3个定位器件可以和用户的手持设备进行通信。
311.可选地，至少3个定位器件可以按照图6中介绍的方法和规则进行安装，在按照图7中所示的方法为手机和定位器件建立连接，即手机可以向定位器件之间发送信号或接受定位器件发送的信号。手机可以结合至少3个定位器件，按照图8介绍的过程，确定家庭场景中的任意一个设备的位置。
312.可选地，该定位器件可以是具有定位功能的传感器或者具有定位功能的结构等，例如传感器可以是激光传感器、红外传感器等；具有定位功能的结构可以是芯片。例如，具有定位功能的结构可以是基于蓝牙模块的定位结构、基于超宽带uwb无线感知能力的定位芯片、基于gps的定位结构、基于wifi模块的定位结构等。
313.可选地，除了在家庭场景中预先布局上述列举的定位器件之外，该定位器件还可以被安装在家庭场景中的智能电视(智慧屏)、空调、音箱、路由器等设备上。示例性的，如果智慧屏、空调、音箱等设备本身具有uwb芯片，在家庭场景中不需要额外再布局至少3个固定的定位器件，就可以通过手机和智慧屏、空调、音箱等设备之间的交互实现对家庭场景中的任意一个设备的定位功能。
314.1902，检测用户的指向操作。
315.示例性的，一种可能的实现方式中，手机作为用户的手持设备，可以借助于手机的一个或多个传感器、或者手机的摄像头等识别用户的指向操作。
316.可选地，手机的传感器可以包括加速度传感器、陀螺仪、磁力计、惯性检测单元imu等。手机的摄像头不限于手机的前置摄像头或后置摄像头；或者，手机的摄像头不限于手机的主摄像头、广角摄像头、长焦摄像头中的一个或多个，根据摄像头获取的画面识别用户的指向操作，本技术实施例对此不作限定。具体的检测过程可以参照前述图10中用户指向音箱的操作过程的具体描述，此处不再赘述。
317.1903，用户指向方向上存在其他设备。
318.1904，当指向方向上没有检测到其他设备时，在手持设备上通过视觉和/或非视觉的提示方式，在手持设备和指向的目标设备上对用户进行指向操作的引导和反馈。
319.应理解，由于用户在指向目标设备的过程中，会出现手眼分离的现象，即眼睛看不到手机的界面的情况。因此，本技术实施例对上述任意一种提示信息(前述第一提示信息、第二提示信息、第三提示信息、第四提示信息等)的提示方式不作限定，例如可以是用户可识别有差异的视觉或非视觉提示，如不同的界面提示、震动、指示灯、语音等多种提示方式。
320.一种可能的实现方式中，在用户指向目标设备的过程中，如图17中的(e)图所示，手机可以在界面上自动显示引导图标，该引导图标可以箭头的形式悬浮在手机的界面上。
321.又一种可能的实现方式中，在用户使用手持设备指向目标设备的操作过程中，除了引导图标之外，可以通过声音反馈、震动反馈等非视觉的方式，引导用户执行正确的指向操作，以实现本技术实施例提供的通过指向操作控制目标设备。
322.可选地，该声音反馈的方式可以由手持设备发出，或者由被指向的目标设备发出，例如手机以语音的方式提示用户“请向右移动”。
323.可选地，该震动反馈可以由手持设备发出，以更快更灵敏的被用户感知到，应理解，本技术实施例对此不作限定。
324.1905，当指向方向上检测到其他设备存在时，手持设备根据无线定位技术或在多个设备之间的三点定位技术，确定手持设备与其他设备的距离和方向。
325.示例性的，手机识别用户指向目标设备的操作之后，进一步启动手机的无线定位功能，搜索手机周边设备，并确定周边设备的位置，以及周边设备和手机的距离等，判断用户的指向方向上是否存在设备。示例性的，如图10中的(c)图所示，当手机检测用户如图所示的指向操作时，可以触发手机的无限定位技术。
326.一种可能的实现方式中，当用户指向的目标设备安装有定位结构时，手机可以根据自身和该目标设备之间的双向连接进行无线定位。示例性的，用户指向的目标设备可以安装有蓝牙定位芯片、uwb定位芯片，或者gps定位结构、wifi定位结构、以及具有定位功能的激光传感器、红外传感器等结构中的一种或多种，就可以基于该目标设备和手机之间的双向连接，对目标设备进行定位。
327.示例性的，如果智慧屏、空调、音箱等设备本身具有uwb芯片，在家庭场景中可以通过手机和智慧屏、空调、音箱等设备之间的交互实现对家庭场景中的任意一个设备的定位。
328.应理解，手机和指向的目标设备都具备能够发射或者接受无线定位信号的硬件，并根据手机和指向的目标设备之间发射或者接受无线定位信号，计算并确定手机和指向的目标设备之间的距离和角度。
329.另一种可能的实现方式中，当家庭场景中布局有3个定位器件时，手机可以结合3个定位器件的三点定位能力，确定手机与指向的目标设备之间的距离和方向。
330.1906，确定手持设备的轴线是否以预设精度与目标设备的物理位置基本相交。
331.当确定手持设备是否指向目标设备的过程中，识别手持设备的轴线和目标设备的位置在预设范围之内时，即可以确定用户指向的目标设备。具体地，识别手持设备的轴线以一定的预定精度与目标设备的物理位置基本相交，或者识别到手持设备与目标设备对准时，就可以确定用户指向的目标设备，即可以在手持设备或者被指向的目标设备上提供反馈，并传输目标设备的登录的账号信息、设备信息给手持设备，并在手持设备上显示目标设备控制窗口20或者与目标设备相关的界面。
332.可选地，该用户的指向操作可以描述为用户手持手机，以第一位置为起始位置运动到第二位置的指向操作，且在第二位置处，手机长边所在的轴线和一个或多个其他设备相交或近似相交。这里相交可以理解为用户指向的方向上正好存在其他设备；近似相交可以理解为用户指向的方向上的预设精度范围内存在其他设备，这两种情况都可以理解为检测到了用户的指向操作。
333.应理解，手机的轴线与手机的天线布局有关。当天线布局在手机前端边框处时，用户可以将长边所在的轴线指向目标设备，或者当天线布局在手机壳的里面时，也可以类似于拍照的姿势将手机立起来，将垂直于手机显示屏的法线为轴线，使得该法线所在的轴线指向目标设备，本技术实施例对此不作限定。
334.1907，手持设备上提供反馈，例如视觉反馈、声音反馈、震动反馈等。
335.应理解，根据步骤1906确定了用户指向的目标设备，即用户使用手持设备成功指向目标设备。此时还可以在手持设备或者被指向的目标设备上提供反馈，该反馈用于告知用户指向操作成功。该反馈信息可以包括视觉反馈、声音反馈、震动反馈等一种或多种。
336.示例性的，如图17中的(f)图所示，当用户使用手机成功指向音箱之后，手机可以震动以告知用户指向操作完成。
337.1908，传输目标设备的登录的账号信息、设备信息、给手持设备，并在手持设备上显示指向设备相关的界面。
338.当用户使用手持设备成功指向目标设备之后，目标设备可以将当前登录的账号信息、设备信息传输给手持设备，进而在手持设备上显示如图17中的(g)图所示的目标设备控制窗口。
339.1909，结束。
340.综上所述，本技术实施例提供的一种基于指向操作实现跨设备交互的方法，用户可以使用手持设备指向目标设备，基于手持设备的加速度传感器、陀螺仪、imu等一种或多种传感器和/或摄像头检测用户的指向操作，触发手持设备的无线定位功能。手持设备根据无线定位功能确定手持设备与其他设备的距离、以及其他设备的所处的位置和方向。当识别到手持设备的轴线与目标设备的物理位置以预定精度判断为相交或基本相交时，还可以在手持设备和/或目标设备上提供视觉反馈、声音反馈、震动等至少一种反馈，并传输目标设备的登录的账号信息、设备信息给手持设备，在手持设备上显示该目标设备的控制窗口，用户可以通过手持设备上的该控制窗口实现对该目标设备的控制。当识别到手持设备的轴线与目标设备的物理位置不相交时，还可以在手持设备和/或目标设备上提供视觉引导、声音引导、震动等至少一种引导方式，以引导用户执行正确的指向操作，进一步实现在手持设备上显示该目标设备的控制窗口以及对该目标设备的控制功能。
341.可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
342.本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
343.在采用对应各个功能划分各个功能模块的情况下，图13示出了上述实施例中涉及的电子设备1300的一种可能的组成示意图，如图13所示，该电子设备1300可以包括：显示单元1301、检测单元1302和处理单元1303。
344.其中，显示单元1301可以用于支持电子设备1300执行上述步骤1201和步骤1204等，和/或用于本文所描述的技术的其他过程。
345.检测单元1302可以用于支持电子设备1300执行上述步骤1203等，和/或用于本文所描述的技术的其他过程。
346.处理单元1303可以用于支持电子设备1300执行上述步骤1202等，和/或用于本文所描述的技术的其他过程。
347.需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
348.本实施例提供的电子设备，用于执行上述视频播放的方法，因此可以达到与上述实现方法相同的效果。
349.在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述显示单元1301、检测单元1302和处理单元1303执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。
350.其中，处理模块可以是处理器或控制器。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，dsp)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、wi-fi芯片等与其他电子设备交互的设备。
351.在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。
352.本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的基于指向的设备之间的交互方法。
353.本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行
时，使得计算机执行上述相关步骤，以实现上述实施例中的基于指向的设备之间的交互方法。
354.另外，本技术的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的基于指向的设备之间的交互方法。
355.其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
356.通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
357.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
358.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
359.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
360.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
361.以上内容，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。