人机交互的方法和电子设备与流程

本技术涉及电子，并且更具体地，涉及一种人机交互的方法和电子设备。

背景技术：

1、在用户使用电子设备的过程中，有一些用户与电子设备的交互场景能够提升用户的使用体验。例如，隔空手势、隔空传送等交互场景，然而上述交互场景比较单一，用户的可玩性较差，容易造成用户的使用疲劳。

技术实现思路

1、本技术实施例提供了一种人机交互的方法和电子设备，以期提升人机交互场景的多样性。

2、第一方面，提供一种人机交互的方法，应用于第一电子设备，包括：使用第一摄像头获取用户的第一肢体的第一图像；根据第一图像中的第一肢体显示第一提示信息，第一提示信息用于提示用户开始进行肢体动作；获取用户进行肢体动作对应的第一动作信息和用户进行肢体动作的第一媒体文件，其中，第一动作信息包括用户肢体的三维信息；在第一动作信息能够匹配到预设的目标动作的情况下，在第一媒体文件中添加目标动作对应的第一动效，以得到第二媒体文件；播放第二媒体文件。

3、用户的肢体动作可以包括单一肢体动作，如手势，也可以多个肢体动作的联合动作，如使用胳膊和手部画预设形状的动作，也可以是某种舞蹈动作等。

4、应理解，该用户肢体的三维信息可以是通过深感信息确定，也可以通过星闪方式确定的相对运动轨迹确定。

5、该目标动作以及第一动效可以是第一电子设备的系统中预设的，也可以是用户手动添加的，还可以是第一电子设备从主题市场下载的。

6、在一些情况下，第一电子设备可以在解锁状态下，使用第一摄像头获取用户的第一肢体的第一图像。或者，第一电子设备还可以在未解锁状态，在接收到另一电子设备的指示信息后，使用第一摄像头获取用户的第一肢体的第一图像。

7、基于本技术实施例，第一电子设备通过第一摄像头获取用户的第一肢体的第一图像，并根据该第一肢体显示第一提示信息，以提示用户可以开始进行肢体动作；在用户进行肢体动作时，获取用户的第一动作信息以及用户进行所述肢体动作的第一媒体文件，并且在第一动作信息能够匹配到目标动作的情况下，在该第一媒体文件中添加对应的第一动效，得到第二媒体文件，并播放该第二媒体文件。

8、这样，第一电子设备可以获取用户进行肢体动作的动作信息和第一媒体文件，并且在第一媒体文件添加动作信息匹配的目标动作对应的第一动效，不同的动作可以对应不同的动效，从而可以提升人机交互的可玩性以及应用场景的多样性。

9、在一些实现方式中，目标动作对应第一操作，该方法还包括：在第二媒体文件播放完之后，执行第一操作。

10、示例性地，该第一操作可以用户自定义的，也可以是系统默认的。例如，该第一操作可以是打电话、打开某个应用程序、添加特效、切换或添加背景音乐等。

11、基于本技术实施例，该目标动作可以对应第一操作，并且在第二媒体文件播放之后，第一电子设备可以执行该第一操作，从而可以提升人机交互的可玩性。

12、在一些实现方式中，获取用户进行肢体动作对应的第一动作信息和用户进行肢体动作的第一媒体文件，包括：使用第二摄像头获取第一动作信息，使用第三摄像头获取第一媒体文件，其中，第二摄像头为深感摄像头，第三摄像头为非深感摄像头。

13、基于本技术实施例，第一电子设备使用深感摄像头获取用户的第一动作信息，使用非深感摄像头获取用户进行肢体动作的第一媒体文件，从而可以使得第一电子设备获取的动作信息更加准确，使用不同类型的摄像头获取不同的信息，可以使得第一电子设备的获取效率更加高效。

14、在一些实现方式中，第一摄像头为第二摄像头或第三摄像头的部分或全部。

15、例如，第一摄像头与该第二摄像头为同一个摄像头，第三摄像头为单独的摄像头，这种情况下，电子设备可以包括实现该技术方案的两个摄像头。或者，该第一摄像头与该第三摄像头为同一个摄像头，第二摄像头为单独的摄像头，这种情况下，电子设备可以包括实现该技术方案的两个摄像头。

16、又如，若第二摄像头的一部分可以获取用户的第一图像，则该第一摄像头可以为该第二摄像头的一部分。或者，若第三摄像头的一部分可以获取用户的第一图像，则该第一摄像头可以为该第三摄像头的一部分。

17、在另一些示例中，该第一摄像头还可以为第二摄像头、第三摄像头之外的摄像头，这种情况下，电子设备可以包括实现该技术方案的三个摄像头。

18、在一些实现方式中，第一摄像头处于低功耗模式下，或者，第一摄像头为低功耗摄像头。

19、应理解，该第一摄像头为低功耗摄像头可以理解为，第一摄像头的功耗较低，例如，相比于普通摄像头，该第一摄像头的功耗较低，或者，相比于上一代产品，该第一摄像头的功耗较低。

20、第一摄像头处于低功耗模式，或者，第一摄像头为低功耗摄像头，在第一摄像头需要时刻检测视角内是否存在用户的第一肢体时，能够降低第一电子设备的功耗。

21、在一些实现方式中，使用第二摄像头获取第一动作信息，使用第三摄像头获取第一媒体文件，包括：在第一时刻开始使用第二摄像头获取第一动作信息，在第二时刻开始使用第三摄像头获取第一媒体文件，其中，第一时刻与第二时刻相同，或者，第二时刻位于第一时刻之前或之后，或者，第二时刻为第三摄像头接收到用于指示开始工作的指示信息的时刻。

22、示例性地，该指示信息可以是第二摄像头发送的。

23、基于本技术实施例，在第一时刻开始使用第二摄像头获取第一动作信息，在第二时刻开始使用第三摄像头获取第一媒体文件，且第二时刻位于第一时刻之后，从而第二摄像头开始工作之后，第三摄像头才开始工作。这样，可以避免用户在开始的前一段时间未进行动作，而第三摄像头已经开始工作带来的功耗浪费问题。

24、在一些实现方式中，在第一时刻开始使用第二摄像头获取第一动作信息，在第二时刻开始使用第三摄像头获取第一媒体文件之前，该方法还包括：确定通过第一摄像头获取的第一图像中的第一肢体包括预设的动作中需要的肢体，其中，第一摄像头为低功耗摄像头。

25、基于本技术实施例，在第一电子设备通过低功耗的第一摄像头获取的第一图像中的第一肢体包括预设的动作中需要的肢体时，才在第一时刻开始使用第二摄像头获取第一动作信息，在第二时刻开始使用第三摄像头获取第一媒体文件，从而可以避免第二摄像头和第三摄像头一直启动，从而可以降低第一电子设备的功耗。

26、在一些实现方式中，获取用户进行肢体动作对应的第一动作信息和用户进行肢体动作的第一媒体文件，包括：根据第二电子设备相对于第一电子设备的运动轨迹确定第一动作信息，使用第三摄像头获取第一媒体文件，其中，第二电子设备与第一电子设备通信连接。

27、例如，第一电子设备与第二电子设备通过星闪连接，或蓝牙连接等。

28、基于本技术实施例，第一电子设备通过获取第二电子设备相对于第一电子设备的运动轨迹，也可以确定用户的第一动作信息。例如，第二电子设备可以为手写笔，或穿戴设备等，这样，可以提升人机交互的应用场景，以及提升用户的交互体验。

29、在一些实现方式中，在使用第一摄像头获取用户的第一肢体的第一图像之前，该方法还包括：接收第二电子设备发送的第一指示信息，第一指示信息用于指示启动第一摄像头。

30、基于本技术实施例，第一电子设备在接收到第二电子设备发送的第一指示信息后，才启动第一摄像头获取第一图像，从而可以第一摄像头可以按需启动，避免一直启动第一摄像头，从而可以降低电子设备的功耗。

31、在一些实现方式中，在根据第二电子设备相对于第一电子设备的运动轨迹确定第一动作信息，使用第三摄像头获取第一媒体文件之前，该方法还包括：确定通过第一摄像头获取的第一图像中的第一肢体包括预设的动作中需要的肢体，其中，第一摄像头为低功耗摄像头。

32、这样，在第一电子设备通过低功耗的第一摄像头获取的第一图像中的第一肢体包括预设的动作中需要的肢体时，才在第一时刻开始使用第二摄像头获取第一动作信息，在第二时刻开始使用第三摄像头获取第一媒体文件，从而可以避免第二摄像头和第三摄像头一直启动，从而可以降低第一电子设备的功耗。

33、在一些实现方式中，在第一媒体文件中添加目标动作对应的第一动效，以得到第二媒体文件，包括：对第一媒体文件中包括的肢体动作添加第一动效，以得到第二媒体文件。

34、这样，由于用户每次的肢体动作不可能完全相同，所以，得到的第二媒体文件是不同的。从而可以提升用户的交互体验。

35、在一些实现方式中，第一电子设备处于解锁状态下的第一显示界面，播放第二媒体文件，包括：在第一显示界面之上播放第二媒体文件。

36、例如，该第二媒体文件的显示区域可以覆盖第一显示界面的部分，如位于第一显示界面的中间或上部等。

37、基于本技术实施例，在第一显示界面之上播放第二媒体文件，从而可以使得用户既能浏览到第二媒体文件，也能获知当前的具体显示界面。

38、在一些实现方式中，第一电子设备处于解锁状态下的第二显示界面，第二显示界面为第三方应用程序的显示界面，在第二媒体文件播放完之后，执行第一操作，包括：在使用第三方应用程序播放完第二媒体文件之后，使用第三方应用程序执行第一操作。

39、示例性地，该第三方应用程序可以为直播类应用程序。例如，该第一操作可以为添加背景音乐、添加特效等。从而可以在用户距离第一电子设备较远时，也能够便捷的通过肢体动作的交互方式操控第一电子设备执行一些操作。

40、这样，第三方应用程序也可以使用上述交互功能，从而可以提升该人机交互的应用多样性。

41、在一些实现方式中，在使用第一摄像头获取用户肢体的第一图像之前，该方法还包括：响应于用户的设置操作，将目标动作与第一操作进行关联。

42、基于本技术实施例，用户可以在第一电子设备中设置动作与关联的第一操作，从而可以极大提升用户的自主创造性，提升后续与用户的交互体验。

43、在一些实现方式中，目标动作为系统预置的，或者，目标动作为根据用户的操作添加的；第一操作为系统预置的，或者，为根据用户的操作添加的。

44、在其他的示例中，该目标动作和第一操作还可以是用户从应用市场中下载的。

45、在一些实现方式中，该方法还包括：播放目标动作的演示动画；使用深度摄像头获取用户进行肢体动作的第二动作信息；在确定第二动作信息指示的动作与目标动作相匹配时，显示第二提示信息，第二提示信息用于提示用户目标动作学习完成；或者，在确定第二动作信息指示的动作与目标动作不匹配时，显示第三提示信息，第三提示信息用于提示用户需要纠正肢体动作。

46、基于本技术实施例，第一电子设备还可以播放目标动作的演示动作，以让用户进行学习，并可以验证用户的学习成果，为用户提供目标动作的指导。

47、在一些实现方式中，根据第一图像中的第一肢体显示第一提示信息，包括：在第一肢体与预设的任一动作中包括的肢体相匹配时，显示第一提示信息。

48、应理解，此处的第一肢体与预设的任一动作中包括的肢体相匹配，可以理解为第一肢体包括预设的任一动作中需要的肢体。

49、例如，第一肢体为头部和手部，预设的动作1需要的肢体为头部，动作2需要的肢体为手部，则该第一肢体包括动作1和动作2需要的肢体。该第一提示信息可以是头部和/或手部，或统一的图标等。

50、基于本技术实施例，在确定第一肢体与预设的任一动作中包括的肢体相匹配时，可以确定用户可能具有进行人机交互的需求，所以可以显示第一提示信息，以提示用户可以开始进行肢体动作。避免由于第一电子设备未开始识别，导致用户做无效的动作。

51、在一些实现方式中，所述第一提示信息包括所述第一肢体的图标或动效。

52、在其他的示例中，该第一提示信息包括上述预设的任一动作中包括的肢体的图标或动效。

53、这样，第一电子设备为用户提供更加准确的动作引导。

54、第二方面，提供一种人机交互的方法，包括用于实现如第一方面及其任一种可能的实现方式中所述的方法中的模块。

55、第三方面，提供一种电子设备，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或多个程序被一个或多个处理器执行时，使得如第一方面及其任一种可能的实现方式中所述的方法被执行。

56、第四方面，提供一种芯片，所述芯片包括处理器和通信接口，所述通信接口用于接收信号，并将所述信号传输至所述处理器，所述处理器处理所述信号，使得如第一方面及其任一种可能的实现方式中所述的方法被执行。

57、第五方面，提供一种可读存储介质，所述可读存储介质中存储有指令，当所述指令在电子设备上运行时，使得如第一方面及其任一种可能的实现方式中所述的方法被执行。

58、第六方面，提供一种程序产品，所述程序产品包括程序代码，当所述程序代码在电子设备上运行时，使得如第一方面及其任一种可能的实现方式中所述的方法被执行。