一种电子设备的屏幕交互方法及装置与流程

1.本技术涉及智能大屏领域，尤其涉及一种电子设备的屏幕交互方法及装置。


背景技术：

2.随着人工智能(artificial intelligence，ai)的发展，智能设备越来越受到用户的青睐。例如，智能电视可以采用人体识别技术识别用户的肢体动作，根据用户的肢体动作控制屏幕显示的画面，从而实现屏幕与用户的交互功能。其中，识别目标用户是实现屏幕与用户的交互功能的关键。但是，智能电视等大屏电子设备一般安装在客厅等公用区域，可能存在多个用户同时做出动作，想控制屏幕的显示画面，此时智能电视根据哪个用户的肢体动作及时控制屏幕是一个亟待解决问题。


技术实现要素：

3.本技术提供一种电子设备的屏幕交互方法及装置，解决了从多个用户中确定操控屏幕的目标用户，根据目标用户的动作控制电子设备的屏幕显示画面的问题。
4.为达到上述目的，本技术采用如下技术方案：
5.第一方面，本技术提供了一种电子设备的屏幕交互方法，该方法可应用于电子设备，或者该方法可应用于可以支持电子设备实现该方法的装置，例如该装置包括芯片系统，方法包括：电子设备通过摄像头获取包括n个用户的图像，根据包括n个用户的图像识别n个用户各自的动作，将n个用户各自的动作与预设动作比较，将做出与预设动作相匹配的动作的用户确定为目标用户，从而根据目标用户的动作控制电子设备的屏幕显示画面。其中，n为大于或等于2的整数。可选的，预设动作包括挥动前臂、左臂叉腰、右臂叉腰、双臂叉腰、点头和握拳。
6.本技术实施例提供一种电子设备的屏幕交互方法，该方法可以应用于包括显示屏和摄像头的电子设备。该方法中，电子设备无需关注用户的控制权限，只要用户做出与预设动作相匹配的动作，电子设备便认为该用户为目标用户，从而尽快地确定目标用户，响应用户的动作，即电子设备根据目标用户的动作控制电子设备的屏幕显示画面，有效地提高了用户使用电子设备进行选择节目时的用户体验。
7.在一种可能的实现方式中，若目标用户包括m个用户，m为整数，2≤m≤n。可理解的，电子设备识别到两个或两个以上的目标用户，两个或两个以上的用户的动作与预设动作匹配。此时，如果m个目标用户包含具有控制权限的目标用户，电子设备根据m个目标用户中具有控制权限的目标用户的动作控制电子设备的屏幕显示画面，具有控制权限的目标用户为在预设时长内与电子设备交互过的目标用户。如果两个或两个以上的目标用户均没有控制权限，电子设备可以提示用户如何控制，电子设备根据用户指示的目标用户的动作控制电子设备的屏幕显示画面。从而解决了两个或两个以上用户同时控制电子设备的屏幕显示画面而产生的冲突问题，使电子设备能够及时响应用户的动作，根据目标用户的动作控制电子设备的屏幕显示画面，提高用户使用电子设备进行选择节目时的用户体验。
8.在一些实施例中，在两个或两个以上的目标用户均没有控制权限的情况下，如果电子设备已将控制权限分配给了其他用户，在根据目标用户的动作控制电子设备的屏幕显示画面之前，电子设备将控制权限从具有控制权限的用户转移给用户指示的目标用户。如果电子设备未将控制权限分配给任何用户，在根据目标用户的动作控制电子设备的屏幕显示画面之前，电子设备为用户指示的目标用户分配控制权限。从而以便于用户指示的目标用户具有控制权限，电子设备根据用户指示的目标用户的动作控制电子设备的屏幕显示画面。
9.在一种可能的设计中，若预设动作为选择菜单动作，根据目标用户的动作控制电子设备的屏幕显示画面，包括：根据目标用户的前臂的挥动角度控制电子设备的屏幕显示的指针的方向，使指针指向菜单中的选项。其中，电子设备的屏幕显示的菜单为环形菜单或轮盘式菜单。在一些实施例中，以极坐标系为基础操作维度的操作方式和轮盘式用户界面(user interface，ui)，以前臂为极轴，手肘为极点，以前臂指向角度作为基础操作维度，对应到轮盘式ui界面，并配合手势识别，实现快速准确的选中、确认等人机交互的功能。由于坐标原点和坐标值域难以定义，本技术以极坐标为映射关系基础区别于以直角坐标系(笛卡尔坐标系)为主的交互映射关系，解决了直角坐标系体系下，人体运动和屏幕坐标对应不自然的问题，可以天然定义坐标原点(手肘为极点)和坐标值域(0-360度)，使得人体动作和屏幕坐标系之间的映射更加自然，减小了肢体交互所需要的交互空间范围，降低了肢体交互的疲劳度。利用肢体识别和手势识别的交互方式，区别于仅利用手部信息的交互方式，提升了交互指令的多样性和灵活性，可以执行更为复杂的操作，指令效率提升。
10.第二方面，本技术提供了一种电子设备的屏幕交互方法，该方法可应用于电子设备，或者该方法可应用于可以支持电子设备实现该方法的装置，例如该装置包括芯片系统，方法包括：电子设备获取包括n个用户的图像，根据包括n个用户的图像判断n个用户是否包括具有控制权限的用户；若n个用户包括具有控制权限的用户，将具有控制权限的用户的动作与预设动作进行比较，若具有控制权限的用户的动作与预设动作相匹配，将具有控制权限的用户确定为具有控制权限的目标用户，根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面。n为大于或等于2的整数。如此，在确定具有控制权限的用户后，再识别该一个具有控制权限的用户的动作，减少了判断的时长，从而，以便于电子设备及时响应用户的操作。若n个用户不包括具有控制权限的用户，将n个用户各自的动作与预设动作比较，确定n个用户中的m个目标用户，将m个中的一个目标用户确定为具有控制权限的目标用户，目标用户的动作与预设动作相匹配。m为整数，1≤m≤n。
11.在一种可能的实现方式中，方法还包括：m≥2，将一个目标用户确定为具有控制权限的目标用户，包括：为用户指示的一个目标用户分配控制权限，将用户指示的一个目标用户确定为具有控制权限的目标用户。从而解决了两个或两个以上用户同时控制电子设备的屏幕显示画面而产生的冲突问题，使电子设备能够及时响应用户的动作，根据目标用户的动作控制电子设备的屏幕显示画面，提高用户使用电子设备进行选择节目时的用户体验。
12.第三方面，本技术还提供了一种电子设备的屏幕交互装置，有益效果可以参见第一方面的描述此处不再赘述。所述电子设备的屏幕交互装置具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述电子
设备的屏幕交互装置包括处理单元。处理单元，用于获取包括n个用户的图像，n为大于或等于2的整数；所述处理单元，还用于根据包括n个用户的图像识别n个用户各自的动作；所述处理单元，还用于根据n个用户各自的动作确定目标用户，目标用户的动作与预设动作相匹配；所述处理单元，还用于根据目标用户的动作控制电子设备的屏幕显示画面。这些单元可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
13.第四方面，本技术还提供了一种电子设备的屏幕交互装置，有益效果可以参见第二方面的描述此处不再赘述。所述电子设备的屏幕交互装置具有实现上述第二方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述电子设备的屏幕交互装置包括处理单元。处理单元，用于获取包括n个用户的图像，n为大于或等于2的整数；所述处理单元，还用于根据包括n个用户的图像判断n个用户是否包括具有控制权限的用户；所述处理单元，还用于若n个用户包括具有控制权限的用户，将具有控制权限的用户确定为具有控制权限的目标用户，具有控制权限的目标用户的动作与预设动作相匹配；所述处理单元，还用于若n个用户不包括具有控制权限的用户，n个用户包括m个目标用户，将一个目标用户确定为具有控制权限的目标用户，目标用户的动作与预设动作相匹配，m为整数，1≤m≤n；所述处理单元，还用于根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面。这些单元可以执行上述第二方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
14.第五方面，提供了一种电子设备，该电子设备可以包括：处理器、存储器、显示屏和摄像头；处理器和显示屏，摄像头，存储器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机软件指令，当计算机软件指令被电子设备执行时，使得电子设备执行如下操作：电子设备通过摄像头获取包括n个用户的图像，根据包括n个用户的图像识别n个用户各自的动作，并依据n个用户各自的动作确定目标用户，目标用户的动作与预设动作相匹配；根据目标用户的动作控制电子设备的屏幕显示画面。其中，n为大于或等于2的整数。
15.第六方面，提供一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令在电子设备中运行时，使得电子设备执行如第一方面或第一方面可能的实现方式、第二方面或第二方面可能的实现方式中任一项所述的电子设备的屏幕交互方法。
16.第七方面，提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面或第一方面可能的实现方式、第二方面或第二方面可能的实现方式中任一项所述的电子设备的屏幕交互方法。
17.第八方面，提供一种芯片系统，该芯片系统应用于电子设备；芯片系统包括接口电路和处理器；接口电路和处理器通过线路互联；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行该计算机指令时，芯片系统执行如第一方面或第一方面可能的实现方式、第二方面或第二方面可能的实现方式中任一项所述的电子设备的屏幕交互方法。
18.应当理解的是，本技术中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效
果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
19.图1为本技术一实施例提供的电子设备的结构示意图；
20.图2为本技术一实施例提供的电视机的摄像头的示意图；
21.图3为本技术一实施例提供的电子设备的屏幕交互方法的流程示意图；
22.图4为本技术一实施例提供的智能电视通过摄像头采集画幅的示意图；
23.图5为本技术一实施例提供的人体关节点识别结果示意图；
24.图6为本技术一实施例提供的预设动作的示意图；
25.图7为本技术一实施例提供的电子设备的屏幕交互方法的流程示意图；
26.图8为本技术一实施例提供的操控屏幕的过程示意图；
27.图9为本技术一实施例提供的控制权限转移的示意图；
28.图10为本技术一实施例提供的电子设备的屏幕交互方法的流程示意图；
29.图11为本技术一实施例提供的ui操作界面示意图；
30.图12为本技术一实施例提供的操控屏幕的过程示意图；
31.图13为本技术一实施例提供的电子设备的屏幕交互装置示意图。
具体实施方式
32.本技术说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。
33.在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
34.本技术实施例中的电子设备可以是电视机、平板电脑、投影仪、手机、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本，以及个人数字助理(personal digital assistant，pda)、增强现实(augmented reality，ar)\虚拟现实(virtual reality，vr)设备等包括显示屏和摄像头的设备，本技术实施例对该电子设备的具体形态不作特殊限制。
35.请参考图1，为本技术实施例提供的一种电子设备的结构示意图。如图1所示，电子设备包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，电源管理模块140，天线，无线通信模块160，音频模块170，扬声器170a，音箱接口170b，麦克风170c，传感器模块180，按键190，指示器191，显示屏192，以及摄像头193等。其中，上述传感器模块180可以包括距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器等传感器。
36.可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
37.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
38.在本技术中，处理器110用于通过摄像头193获取包括n个用户的图像，依据包括n个用户的图像识别n个用户各自的动作，将n个用户的动作中与预设动作相匹配的动作的用户确定为目标用户，根据目标用户的动作控制电子设备的显示屏192显示画面，n为大于或等于2的整数。
39.控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
40.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
41.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，和/或usb接口等。
42.电源管理模块140用于连接电源。电源管理模块140还可以与处理器110、内部存储器121、显示屏192、摄像头193和无线通信模块160等连接。电源管理模块140接收电源的输入，为处理器110、内部存储器121、显示屏192、摄像头193和无线通信模块160等供电。在一些实施例中，电源管理模块140也可以设置于处理器110中。
43.电子设备的无线通信功能可以通过天线和无线通信模块160等实现。其中，无线通信模块160可以提供应用在电子设备上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。
44.无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。在一些实施例中，电子设备的天线和无线通信模块160耦合，
使得电子设备可以通过无线通信技术与网络以及其他设备通信。
45.电子设备通过gpu，显示屏192，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏192和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
46.显示屏192用于显示图像，视频等。该显示屏192包括显示面板。显示面板可以采用液晶显示屏(1iquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。
47.电子设备可以通过isp，摄像头193，视频编解码器，gpu，显示屏192以及应用处理器等实现拍摄功能。isp用于处理摄像头193反馈的数据。在一些实施例中，isp可以设置在摄像头193中。
48.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备可以包括1个或n个摄像头193，n为大于1的正整数。例如，以电子设备是电视机为例，如图2中所示，摄像头193可以设置于电视机的显示屏192的上侧边缘处。当然，本技术实施例对摄像头193在电子设备上的位置不作限定。
49.或者，电子设备可以不包括摄像头，即上述摄像头193并未设置于电子设备(如电视机)中。电子设备可以通过接口(如usb接口130)外接摄像头193。该外接的摄像头193可以通过外部固定件(如带夹子的摄像头支架)固定在电子设备上。例如，外接的摄像头193可以通过外部固定件，固定在电子设备的显示屏192的边缘处，如上侧边缘处。
50.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样，电子设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
51.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
52.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
53.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可
存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
54.电子设备可以通过音频模块170，扬声器170a，麦克风170c，音箱接口170b，以及应用处理器等实现音频功能。例如，音乐播放，录音等。在本技术中，麦克风170c可以用于接收用户对电子设备发出的语音指令。扬声器170a可以用于向用户反馈电子设备的决策指令。
55.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。
56.音箱接口170b用于连接有线音箱。音箱接口170b可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
57.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入，产生与电子设备的用户设置以及功能控制有关的键信号输入。
58.指示器191可以是指示灯，可以用于指示电子设备处于开机状态、待机状态或者关机状态等。例如，指示灯灭灯，可指示电子设备处于关机状态；指示灯为绿色或者蓝色，可指示电子设备处于开机状态；指示灯为红色，可指示电子设备处于待机状态。
59.可以理解的是，本技术实施例示意的结构并不构成对电子设备的具体限定。其可以具有比图1中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。例如，该电子设备还可以包括音箱等部件。图1中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
60.以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。以下实施例中以上述电子设备是智能电视为例，对本技术实施例的方法进行说明。
61.图3为本技术实施例提供的一种电子设备的屏幕交互方法的流程示意图。如图3所示，该方法可以包括：
62.s301、电子设备获取包括n个用户的图像。
63.用户启动电子设备，电子设备显示主界面。在本文中，对于用户启动电子设备的方法不作限定。在一种可能的实现方式中，用户可以通过语音方式启动电子设备。比如，用户说“打开电视机”，智能电视接收到“打开电视机”的语音指令，便启动智能电视。在另一种可能的实现方式中，用户可以通过遥控器启动电子设备。用户点击“开/关”键，电视机接收到“开”的指令，便启动电视机。
64.电子设备启动后，用户可以控制电子设备启动摄像头。电子设备通过摄像头拍摄电子设备的显示屏前的图像。在本文中，对于用户可以控制电子设备启动摄像头的方法不
作限定。例如，用户可以通过语音指令控制电子设备启动摄像头，或者，用户利用遥控器控制电子设备启动摄像头。显示屏前的图像包括摄像头视角(field ofview，fov)的部分区域或全部区域内的景象。如果摄像头视角的部分区域或全部区域内的景象有人，图像包括至少一个用户的图像。在本技术实施例中，假设通过摄像头拍摄的图像包括n个用户的图像，n为大于或等于2的整数。
65.示例的，如图4所示，智能电视通过摄像头采集画幅(如图4中的扇形范围)内所有用户的图像。扇形范围内包括用户1和用户2，用户1坐在沙发上，用户2是站着的用户。智能电视通过摄像头采集到用户1的图像和用户2的图像。
66.需要说明的是，摄像头采集到的画幅内的用户图像是用户的完整图像，用户的完整图像包括头、四肢和躯干。或者，摄像头采集到的画幅内的用户图像是用户的上半身图像，用户的上半身图像包括头、上肢和躯干。或者，摄像头采集到的用户的图像是不完整的图像，不完整的图像可以是指用户的左边图像或用户的右边图像。左边图像包括头的左边部分、左上肢、左下肢和左躯干。右边图像包括头的右边部分、右上肢、右下肢和右躯干。如果摄像头采集到的用户的图像是不完整的图像，电子设备认为该用户的图像不可用，不统计该用户的图像。
67.s302、电子设备根据包括n个用户的图像识别n个用户各自的动作。
68.电子设备可以利用人体姿态检测(human pose estimation)算法，识别画幅内n个用户中每个用户的人体姿态。其中，人体姿态检测算法是一种通过训练神经网络模型检测人体关键点(keypoint)，并根据人体关键点来描述人的姿态(pose)的算法。
69.例如，人体姿态检测算法可识别人体的头、肩、肘、腕、髋、膝、踝等至少十余个点。如表1所示，为可识别的人体关节点描述。如图5所示，为本技术实施例提供的人体关节点识别结果示意图。
70.表1
71.关节序号关节描述关节序号关节描述0头顶8右髋1脖子9右膝2右肩10右踝3右肘11左髋4右手腕12左膝5左肩13左踝6左肘14人体中心7左手腕
ꢀꢀ
72.动作是角色五官位置的变化(表情变化)、角色肢体位置的变化(动作变化)和角色与所处环境相对位置的变化(运动距离的变化)的过程。电子设备可以利用人体姿态检测算法识别连续多帧内n个用户的人体姿态，根据连续多帧内n个用户各自的人体姿态确定各自用户的动作。
73.s303、电子设备根据n个用户各自的动作确定目标用户，目标用户的动作与预设动作相匹配。
74.可理解的，电子设备一般安装在客厅等公用区域，如果用户的任何动作都可以控
制电子设备的显示屏显示的画面，有可能违背了用户的意愿，导致用户体验较低。例如，用户走路经过电子设备的显示屏前，用户并没有要暂停电子设备的显示屏显示的画面，但是电子设备暂停了显示屏显示的画面。因此，电子设备可以预先配置人体肢体动作，用户做出预设动作，电子设备判断用户的动作和预设动作是否匹配，将与预设动作相匹配的动作的用户确定为目标用户，电子设备根据预设动作控制电子设备的显示屏显示的画面。所谓预设动作是电子设备预先配置的人体肢体动作。在本文中，目标用户是指做出预设动作的用户。可理解的，所谓与预设动作相匹配的动作是指与预设动作相同的动作。电子设备确定用户的动作和预设动作完全相同时，认为用户的动作与预设动作匹配，该用户为目标用户。
75.或者，所谓与预设动作相匹配的动作是指与预设动作大致相同的动作。电子设备确定用户的动作和预设动作大致相同时，认为用户的动作与预设动作匹配，该用户为目标用户。
76.例如，预设动作为挥动前臂，且挥动前臂的角度是45度。若用户挥动前臂的角度是30度，此时，电子设备确定用户的动作为挥动前臂时，认为用户的动作与预设动作匹配，该用户为目标用户。
77.又如，预设动作为左臂叉腰。叉腰是指手肘弯曲，五指放置腰间。若用户的左手并没有五指放置腰间，是握拳放置腰间，此时，电子设备也可确定用户的动作为左臂叉腰时，认为用户的动作与预设动作匹配，该用户为目标用户。
78.如果电子设备判断用户的动作和预设动作不匹配，该用户不是目标用户。如果电子设备的摄像头拍摄的图像中不包括目标用户，则重新执行s301。
79.在本文中，预设动作包括但不限于：挥动前臂、左臂叉腰、右臂叉腰、双臂叉腰、点头和握拳。
80.挥动前臂可以是指用户左右晃动前臂。如图6中的(a)所示，为挥动前臂的示意图。
81.左臂叉腰是指左臂手肘弯曲，五指放置腰间。如图6中的(b)所示，为左臂叉腰的示意图。
82.右臂叉腰是指右臂手肘弯曲，五指放置腰间。如图6中的(c)所示，为右臂叉腰的示意图。
83.双臂叉腰是指右臂手肘弯曲，五指放置腰间，且左臂手肘弯曲，五指放置腰间。如图6中的(d)所示，为双臂叉腰的示意图。
84.点头是指快速地向前低头。如图6中的(e)所示，为向下点头的示意图。
85.握拳是指手指向掌心弯曲成拳头。如图6中的(f)所示，为握拳的示意图。
86.不同的动作表示对电子设备的显示屏显示的内容的不同的操作。例如，挥动前臂表示选择菜单。又如，左臂叉腰表示返回上一级。又如，右臂叉腰表示进入下一级。又如，双臂叉腰表示返回主界面。又如，点头表示确定动作。又如，握拳表示确定动作。又如，左右挥动前臂表示释放控制权限。本技术对预设动作对应的操作不予限定。
87.s304、电子设备根据目标用户的动作控制电子设备的屏幕显示画面。
88.电子设备根据目标用户的动作控制电子设备的屏幕显示画面可包括如图7所示的步骤。如果目标用户的数量为0，表示电子设备的摄像头拍摄的图像中的用户没有做任何预设动作，则重新执行s301。如果目标用户的数量不为0，电子设备判断目标用户的人数是否大于1(即执行s701)。
89.如果目标用户的人数等于1，则电子设备确定具有控制权限的目标用户(即执行s702)，并根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面(即执行s703)。如果该具有控制权限的目标用户的动作为释放控制权限的动作，电子设备释放控制权限，重新执行s301。具有控制权限的目标用户为在预设时长内与电子设备交互过的目标用户。所谓与电子设备交互过可理解为目标用户做出了预设动作，电子设备响应了预设动作。比如预设时长是1分钟。本技术对预设时长不予限定，用户可以根据自己的需求自行设置预设时长。
90.在第一种可能的场景中，电子设备确定了一个目标用户，此时，不限于电子设备的显示屏显示的内容，以及该目标用户是否有控制权限控制电子设备，电子设备响应目标用户的动作，控制电子设备的屏幕显示画面。从而以便于电子设备及时响应于用户对电子设备的操作。
91.示例的，如图8中的(a)所示，电子设备的显示屏显示动画的画面，目标用户(用户2)的动作为双臂叉腰。假设双臂叉腰表示返回主界面。如图8中的(b)所示，电子设备响应双臂叉腰，电子设备的显示屏显示的内容从动画的画面切换到主界面。
92.又如，左臂叉腰表示返回上一级，电子设备的显示屏显示二级菜单界面，目标用户的动作为左臂叉腰(如图6中的(b)所示)，电子设备响应左臂叉腰，电子设备的显示屏显示的内容从二级菜单界面切换到一级菜单界面。
93.在一些实施例中，电子设备确定的目标用户具有控制权限，此时该电子设备将该目标用户确定为具有控制权限的目标用户。示例的，电子设备采用人脸识别技术判断目标用户是否具有控制权限。电子设备对目标用户进行人脸识别，判断目标用户的人脸图像与存储的人脸图像是否匹配，若目标用户的人脸图像与存储的人脸图像匹配，该目标用户为具有控制权限的目标用户，若目标用户的人脸图像与存储的人脸图像不匹配，该目标用户不是具有控制权限的目标用户。
94.在另一些实施例中，电子设备确定的目标用户不具有控制权限。此时，该电子设备将控制权限分配给该目标用户(即执行s704)，将该目标用户确定为具有控制权限的目标用户。
95.如果电子设备未将控制权限分配给任何用户，该电子设备将控制权限分配给该目标用户。
96.如果电子设备已将控制权限分配给了其他用户，电子设备将控制权限从具有控制权限的用户转移给目标用户。具有控制权限的用户为在预设时长内与电子设备交互过的用户。可选的，具有控制权限的用户可能在电子设备的屏幕前面，电子设备的摄像头拍摄的图像中包括具有控制权限的用户的图像，但是该具有控制权限的用户没有做任何预设动作，因此该具有控制权限的用户不是目标用户，目标用户想要控制电子设备，电子设备便将控制权限从具有控制权限的用户转移给目标用户，该目标用户成为具有控制权限的目标用户。或者，具有控制权限的用户不在电子设备的屏幕前面，电子设备的摄像头拍摄的图像中不包括具有控制权限的用户的图像，因此该具有控制权限的用户不是目标用户，目标用户想要控制电子设备，电子设备便将控制权限从具有控制权限的用户转移给目标用户，该目标用户成为具有控制权限的目标用户。
97.此外，图像内除了目标用户之外还可能包括其他用户，其他用户是不具有控制权
限的用户，其他用户可能没有做任何动作，或者，其他用户的动作与预设动作不匹配，电子设备不响应图像内除了目标用户之外的其他用户的动作。
98.如果目标用户的人数大于1，电子设备判断m个目标用户中是否有具有控制权限的目标用户(即执行s705)。其中，m为整数，2≤m≤n。
99.如果m个目标用户中存在具有控制权限的目标用户，则电子设备确定具有控制权限的目标用户(即执行s702)，即该目标用户继续持有控制权限，并根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面(即执行s703)。
100.可理解的，在第二种可能的场景中，若目标用户包括m个用户，m个目标用户包括一个具有控制权限的目标用户。在一些实施例中，电子设备采用人脸识别技术判断目标用户是否具有控制权限。示例的，如图8中的(a)所示，电子设备的显示屏显示动画的画面，目标用户(用户1)的动作为点头。目标用户(用户2)的动作为双臂叉腰。假设点头表示暂停画面。双臂叉腰表示返回主界面。用户1和用户2均为目标用户。电子设备对用户1和用户2进行人脸识别，识别用户1的人脸图像和用户2的人脸图像与存储的人脸图像是否匹配。假设电子设备可匹配出用户2的人脸图像与存储的人脸图像匹配，此时确定用户2是具有控制权限的目标用户。如图8中的(b)所示，电子设备响应双臂叉腰，电子设备的显示屏显示的内容从动画的画面切换到主界面。
101.在另一些实施例中，电子设备采用用户的标识判断目标用户是否具有控制权限。在没有用户操控电子设备时，电子设备存储的用户的标识是一个特殊值。如果有用户对电子设备进行操控时，电子设备采用人体姿态检测算法识别用户后，为用户分配标识，电子设备存储该用户的特征与用户的标识的对应关系。用户的标识的有效期可以是预设时长。如果电子设备再识别到该用户，该用户为具有控制权限的用户。例如，电子设备采用人体姿态检测算法识别用户1和用户2的动作后，查询用户的特征与用户的标识的对应关系，假设电子设备可匹配出用户2的特征与存储的标识匹配，此时确定用户2是具有控制权限的目标用户。如图8中的(b)所示，电子设备的显示屏显示的内容从动画的画面切换到主界面。特征可以是人的生物特征。生物特征包括但不限于：人脸特征和体态特征。
102.如果m个目标用户中不存在具有控制权限的目标用户，即m个目标用户均没有控制权限，电子设备提示用户重新做动作，重新执行s301。可选的，电子设备确定用户指示的目标用户(即执行s706)。电子设备将控制权限分配给该目标用户(即执行s704)。确定具有控制权限的目标用户(即执行s702)，并根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面(即执行s703)。可理解的，用户指示的目标用户是本次电子设备的摄像头拍摄到的图像中的用户。
103.在第三种可能的场景中，若m个目标用户均没有控制权限，表示该m个目标用户在预设时长内未与电子设备交互过。在一种可能的实现方式，电子设备可以播放或显示提示信息，提示用户响应于哪个目标用户的动作。例如，用户1和用户2均为目标用户，都没有控制权限。电子设备播放或显示提示信息，提示用户响应于用户1的动作还是用户2的动作。
104.假设电子设备接收到的用户指示是响应于用户2的动作，此时确定用户2是用户指示的目标用户。如图8中的(b)所示，假设用户2的动作为双臂叉腰，电子设备的显示屏显示的内容从动画的画面切换到主界面。
105.在一些实施例中，可以是电子设备已将控制权限分配给了其他用户，m个目标用户
均没有控制权限，此时，由于其他用户并没有操控电子设备，而m个目标用户需要操控电子设备，电子设备将控制权限从具有控制权限的用户转移给用户指示的目标用户(即执行s704)。示例的，如图9所示，电子设备将控制权限分配给了用户3，用户1和用户2在预设时长内未与电子设备交互过，用户1和用户2均没有控制权限。此时，由于用户3并没有操控电子设备，而用户1和用户2需要操控电子设备，电子设备将控制权限从具有控制权限的用户3转移给用户指示的用户2。
106.在另一些实施例中，可以是电子设备未将控制权限分配给任何用户，m个目标用户均没有控制权限，此时，电子设备将控制权限分配给用户指示的目标用户(即执行s704)。例如，电子设备将控制权限分配给用户指示的用户2。
107.需要说明的是，但凡电子设备重新为用户分配控制权限后，预设时长便从初始值0重新计算。如果在预设时长内，没有任何用户操控电子设备，或者，用户离开电子设备的摄像头的视角(fov)的范围，电子设备自动释放控制权限。当然，用户也可以做出释放动作，电子设备响应于释放动作，释放控制权限。等待有用户操控电子设备时，为该用户分配控制权限。从而，以便于用户及时操控电子设备。
108.在另一种可能的设计中，电子设备可以先判断用户是否具有控制权限来确定目标用户。示例的，如图10所示，该方法包括以下步骤。电子设备获取包括n个用户的图像(即执行s1001)。n为大于或等于2的整数。电子设备根据包括n个用户的图像判断n个用户是否包括具有控制权限的用户(即执行s1002)。电子设备可以采用人脸识别技术确定n个用户中具有控制权限的用户。或者，电子设备采用人体姿态检测算法识别用户的特征，根据用户的特征与用户的标识的对应关系确定n个用户中具有控制权限的用户。识别具有控制权限的用户的方法可以参考上述实施例的阐述。
109.如果n个用户中存在具有控制权限的用户，电子设备根据具有控制权限的用户的图像识别用户的动作(即执行s1003)。如果在电子设备判断n个用户中是否存在具有控制权限的用户时，采用人脸识别技术确定n个用户中具有控制权限的用户，此时电子设备可以采用人体姿态检测算法识别具有控制权限的用户的动作。
110.电子设备判断具有控制权限的用户的动作与预设动作是否匹配(即执行s1004)。如果具有控制权限的用户的动作与预设动作相匹配，将具有控制权限的用户确定为具有控制权限的目标用户(即执行s1005)。电子设备根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面(即执行s1006)。如果该具有控制权限的目标用户的动作为释放控制权限的动作，电子设备释放控制权限，重新执行s1001。如果具有控制权限的用户的动作与预设动作不匹配，确定具有控制权限的用户不是具有控制权限的目标用户，重新执行s1001。如果在预设时长内，没有任何用户操控电子设备，或者，用户离开电子设备的摄像头的视角(fov)的范围，电子设备自动释放控制权限。
111.在确定具有控制权限的用户后，再识别该一个具有控制权限的用户的动作，减少了判断用户的动作的时长，从而，以便于电子设备及时响应用户的操作。
112.可选的，如果在电子设备判断n个用户中是否存在具有控制权限的用户时，采用人体姿态检测算法识别n个用户的动作，如果n个用户中存在具有控制权限的用户，此时，无需再识别具有控制权限的用户的动作，可以根据具有控制权限的用户的动作与预设动作是否相匹配，确定具有控制权限的目标用户。
113.如果n个用户中不存在具有控制权限的用户，电子设备根据n个用户的图像识别n个用户各自的动作(即执行s1007)，即电子设备采用人体姿态检测算法识别n个用户的动作。电子设备判断n个用户的动作与预设动作是否匹配(即执行s1008)。如果n个用户中存在与预设动作相匹配的动作的用户，将n个用户中与预设动作相匹配的动作的用户确定为目标用户，电子设备判断目标用户的人数是否大于1(即执行s1009)。如果n个用户中不存在与预设动作相匹配的动作的用户，则重新执行s1001。
114.如果目标用户的人数等于1，则电子设备将控制权限分配给该目标用户(即执行s1010)，将该目标用户确定为具有控制权限的目标用户(即执行s1005)，电子设备根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面(即执行s1006)。可理解的，此时电子设备未将控制权限分配给任何用户，电子设备将控制权限分配给该目标用户。关于分配控制权限的具体阐述可以参考上述实施例的解释。
115.如果目标用户的人数大于1，例如，目标用户的人数为m个，m个目标用户均没有控制权限，电子设备提示用户重新做动作，重新执行s1001。可选的，电子设备确定用户指示的目标用户(即执行s1011)。电子设备将控制权限分配给该目标用户(即执行s1010)，即将控制权限分配给用户指示的目标用户。将该用户指示的目标用户确定为具有控制权限的目标用户(即执行s1005)，电子设备根据具有控制权限的目标用户的动作控制电子设备的屏幕显示画面(即执行s1006)。可理解的，用户指示的目标用户是本次电子设备的摄像头拍摄到的图像中的用户。关于用户指示的目标用户的解释可以参考上述实施例的阐述，不予赘述。
116.在一种可能的设计中，如图11中的(a)所示，电子设备的屏幕显示的菜单为环形菜单。如图11中的(b)所示，电子设备的屏幕显示的菜单为轮盘式菜单。电子设备的屏幕显示指针，指针指向菜单中的选项。电子设备可以根据目标用户的前臂的挥动角度控制电子设备的屏幕显示的指针的方向，使指针指向菜单中的选项。
117.如图12中的(a)所示，用户观看状态。如图12中的(b)所示，用户抬起前臂，做出预设的唤起肢体操控功能的动作，以启动肢体操控功能。如图12中的(c)所示，用户旋转前臂指向角度，电子设备可以根据图12中的(b)中的前臂和图12中的(c)中的前臂的旋转角度，将该旋转角度映射为轮盘式用户界面(user interface，ui)中的指针指向，即指针从图标1指向图标3。
118.如图12中的(d)所示，用户做出预设手势，电子设备响应于预设手势，例如用户做出抓握动作，电子设备的屏幕显示图标3的画面。如图12中的(e)所示，电子设备的屏幕显示图标3的画面，用户可以根据上述图12中的(a)～(d)重复操控。
119.在一些实施例中，以极坐标系为基础操作维度的操作方式和轮盘式ui操作界面，以前臂为极轴，手肘为极点，以前臂指向角度作为基础操作维度，对应到轮盘式ui界面，并配合手势识别，实现快速准确的选中、确认等人机交互的功能。由于坐标原点和坐标值域难以定义，本技术以极坐标为映射关系基础区别于以直角坐标系(笛卡尔坐标系)为主的交互映射关系，解决了直角坐标系体系下，人体运动和屏幕坐标对应不自然的问题，可以天然定义坐标原点(手肘为极点)和坐标值域(0-360度)，使得人体动作和屏幕坐标系之间的映射更加自然，减小了肢体交互所需要的交互空间范围，降低了肢体交互的疲劳度。利用肢体识别和手势识别的交互方式，区别于仅利用手部信息的交互方式，提升了交互指令的多样性和灵活性，可以执行更为复杂的操作，指令效率提升。
120.可以理解的是，为了实现上述实施例中功能，电子设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本技术中所公开的实施例描述的各示例的单元及方法步骤，本技术能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
121.图13为本技术的实施例提供的可能的电子设备的屏幕交互装置的结构示意图。这些电子设备的屏幕交互装置可以用于实现上述方法实施例中电子设备的功能，因此也能实现上述方法实施例所具备的有益效果。在本技术的实施例中，该电子设备的屏幕交互装置可以是如图1所示的电子设备，还可以是应用于电子设备的模块(如芯片)。
122.如图13所示，电子设备的屏幕交互装置1300包括处理单元1310、显示单元1320和存储单元1330。电子设备的屏幕交互装置1300用于实现上述图3、图7和图10中所示的方法实施例中电子设备的功能。存储单元1330用于存储处理单元1310执行的指令或存储处理单元1310运行指令所需要的输入数据或存储处理单元1310运行指令后产生的数据。处理单元1310用于通过摄像头获取包括n个用户的图像，实现上述图3、图7和图10中所示的方法实施例中电子设备的功能。显示单元1320用于显示处理单元1310根据目标用户的动作控制电子设备的屏幕显示画面。
123.有关上述处理单元1310更详细的描述可以直接参考图3、图7和图10所示的方法实施例中相关描述直接得到，这里不加赘述。处理单元1310可以执行图1所示的电子设备中处理器110的功能。
124.可以理解的是，本技术的实施例中的处理器可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
125.本技术的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，ram)、闪存、只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于网络设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
126.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专
用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，dvd)；还可以是半导体介质，例如，固态硬盘(solid state drive，ssd)。
127.在本技术的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
128.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。在本技术的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系；在本技术的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。
129.可以理解的是，在本技术的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本技术的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。