一种手势互动方法、装置、设备和介质与流程

1.本公开涉及智能控制技术领域，尤其涉及一种手势处理方法、装置、设备和介质。


背景技术：

2.随着计算机技术的发展，人机交互技术也得到了迅猛发展。目前较为成熟的人机交互方式包括：触控交互方式等。这些人机交互方式被应用于实现日常的功能，如音量、亮度、饱和度、温度、风速等参数的调节功能。
3.现有技术中，用户基于触控交互方式实现对终端设备控制的过程中，需要用户在终端设备上操作，当用户距离终端设备距离较远时，无法实现在终端设备上操作，降低了用户使用感受。
4.但现有技术中，用户通过触摸终端设备实现与终端设备的交互的方式，降低了用户的使用感受。


技术实现要素：

5.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种手势互动方法、装置、设备和介质，实现基于手势操作控制光标标识对终端设备上的内容进行操作，提高了用户的使用感受。
6.第一方面，本公开实施例提供了一种终端设备手势互动方法，包括：
7.在采集到第一手势后，在终端设备显示光标标识，其中，所述第一手势用于唤醒所述终端设备进入手势交互模式；
8.基于采集到的手势操作，控制所述光标标识执行控制操作。
9.可选的，所述基于采集到的手势操作，控制所述光标标识执行控制操作，包括：
10.基于采集到的手势操作，确定交互参数；
11.根据所述交互参数控制所述光标标识执行控制操作。
12.可选的，所述手势操作包括手势信息，所述交互参数包括交互对象和交互方式；
13.所述基于采集到的手势操作，确定交互参数，包括：
14.基于采集到的手势信息，确定交互对象和交互方式。
15.可选的，所述手势操作包括手势信息和运动参数，所述交互参数包括交互对象、交互参数和交互方式；
16.所述基于采集到的手势操作，确定交互参数，包括：
17.获取所述手势信息对应的运动参数；
18.基于所述手势信息，确定交互对象和交互方式；
19.基于所述运动参数，确定所述交互方式对应的交互参数。
20.可选的，所述获取所述手势信息对应的运动参数，包括：
21.获取所述手势信息对应的运动方向、运动距离以及运动时长；
22.根据所述运动方向、所述运动距离以及所述运动时长获取所述运动参数。
23.可选的，所述基于采集到的手势操作，控制所述光标标识执行控制操作，包括：
24.当采集到手掌握拳手势时，控制所述光标标识执行左键按下操作；
25.当采集到手掌张开手势时，控制所述光标标识执行左键抬起操作；
26.当采集到手掌握拳移动手势时，控制所述光标标识执行左键按下移动操作；
27.当采集到手掌挥手手势时，控制所述光标标识执行返回操作。
28.可选的，所述在采集到第一手势后，在所述终端设备显示光标标识，包括：
29.在采集到第一手势，且维持所述第一手势的状态时长大于或等于预设状态时长时，在所述终端设备显示光标标识。
30.第二方面，本公开实施例提供一种手势互动装置，包括：
31.光标标识显示模块，用于在采集到第一手势后，在终端设备显示光标标识，其中，所述第一手势用于唤醒所述终端设备进入手势交互模式；
32.控制模块，用于基于采集到的手势操作，控制所述终端设备执行控制操作。
33.第三方面，本公开实施例提供一种电子设备，包括：
34.一个或多个处理器；
35.存储装置，用于存储一个或多个程序，
36.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的方法。
37.第四方面，本公开实施例提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的方法。
38.本公开实施例提供的技术方案与现有技术相比具有如下优点：
39.本公开实施例提供的手势互动方法、装置、电子设备和介质，在采集到第一手势后，在终端设备显示光标标识，其中，第一手势用于唤醒终端设备进入手势交互模块，基于采集到的手势操作，控制光标标识执行控制操作，即首先基于第一手势唤醒终端设备切换至手势交互模式，当终端设备处于手势交互模式下时，基于采集到的手势操作，控制终端设备的光标标识执行对应的控制操作，实现基于手势操作控制光标标识对终端设备上的内容进行操作，交互更加便捷，提高了用户的使用感受。
附图说明
40.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
41.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1是本公开实施例提供的一种手势互动方法的流程示意图；
43.图2是本公开实施例提供的另一种手势互动方法的流程示意图；
44.图3是本公开实施例提供的又一种手势互动方法的流程示意图；
45.图4是本公开实施例提供的又一种手势互动方法的流程示意图；
46.图5是本公开实施例提供的一种手势互动装置的结构示意图；
47.图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
48.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
49.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
50.基于现有技术存在的问题，本公开实施例提供一种手势互动方法，包括：在采集到第一手势后，在终端设备显示光标标识，其中，第一手势用于唤醒终端设备进入手势交互模式；基于采集到的手势操作，控制光标标识执行控制操作，即首先基于第一手势唤醒终端设备切换至手势交互模式，当终端设备处于手势交互模式下时，基于采集到的手势操作，控制终端设备的光标标识执行对应的控制操作，实现基于手势操作控制光标标识对终端设备上的内容进行操作，提高用户的使用感受。
51.本公开实施例提供的终端设备手势互动方法应用于终端设备，本公开实施例提供的方法可由终端设备的控制模块来执行。
52.其中，终端设备可以是智能电视、智慧屏、智能音箱、智能投影仪、车辆等，其中，当终端设备为车辆时，终端设备的控制模块例如可以是车载主控模块，也可以为车载显示模块中的主控模块，本公开对电子设备的具体类型不作任何限制。
53.其中，本公开对终端设备的操作系统的类型不做限定。例如，android系统、linux系统、windows系统、ios系统等。
54.下面以几个具体的实施例对本公开的技术方案做详细描述。
55.图1是本公开实施例提供的一种手势互动方法的流程示意图，如图1所示，该方法包括：
56.s10、在采集到第一手势后，在终端设备显示光标标识。
57.其中，第一手势用于唤醒终端设备进入手势交互模式。
58.具体的，第一手势示例性可以为张开或打开的手掌，又或者可以为ok手势，本公开实施例不对此进行具体限定。
59.当终端设备为车辆时，终端设备例如可以为智能车辆前排的中控显示设备，也可以为前排副驾驶或后排座椅的娱乐显示设备，本公开实施例不对此进行具体限定。
60.光标标识示例性可以为手指，可以为箭头，本公开实施例不对此进行具体限定。
61.当用户在终端设备的光学模组可以采集到的区域内展示第一手势后，此时，终端设备的显示模块上显示光标标识，即终端设备进入手势交互模式，终端设备可以基于用户的手势操作，控制光标执行对应的控制操作。
62.需要说明的是，终端设备的示例性可以为摄像头，基于终端设备的光学模组采集用户的手势信息，当采集到用户的手势信息为第一手势时，控制终端设备进入手势交互模块，当终端设备进入手势交互模式后，终端设备的显示模块上会显示对应的光标标识。
63.本实施例公开的技术方案中，第一手势可通过对摄像头采集的用户图像进行图像处理分析得到；在获取到摄像头采集的图像后，对该采集的图像进行识别，在识别到手部时，可判定采集到的图像为手部图像，通过对手部图像进行二次图像识别，确定是否是第一
手势；或者在识别到手部时，确定手部所在的图像区域，截取采集的图像中手部所在的图像区域进行二次图像识别，确定是否是第一手势。
64.可以理解的是，为便于手势识别，可对手部图像进行二值化处理，则可根据二值化处理后得到的手部轮廓确定用户的手势信息是否为第一手势。
65.s20、基于采集到的手势操作，控制光标标识执行控制操作。
66.具体的，手势操作包括手掌握拳、手掌张开、手掌握拳移动、手掌挥手等。
67.当唤醒终端设备进入手势交互模式后，此时，终端设备的光学模组继续采集用户的手势操作，终端设备基于光学模组采集到的手势操作，控制光标标识执行控制操作。
68.本公开实施例提供的手势互动方法，在采集到第一手势后，在终端设备显示光标标识，其中，第一手势用于唤醒终端设备进入手势交互模块，基于采集到的手势操作，控制光标标识执行控制操作，即首先基于第一手势唤醒终端设备切换至手势交互模式，当终端设备处于手势交互模式下时，基于采集到的手势操作，控制终端设备的光标标识执行对应的控制操作，实现基于手势操作控制光标标识对终端设备上的内容进行操作，交互更加便捷，提高了用户的使用感受。
69.图2是本公开实施例提供的另一种手势互动方法的流程示意图，本公开实施例是在上述实施例的基础上，如图2所示，步骤s20的一种具体可实现方式包括：
70.s21、基于采集到的手势操作，确定交互参数。
71.根据手势操作确定交互参数可通过多种方式实现，当手势操作包括手势信息时，可通过手势信息确定交互对象和交互方式，具体的，可基于手势信息中的位置信息确定交互对象，基于手势信息中的手势确定交互方式，例如，基于手势信息确定的交互对象为应用程序a，交互方式为选中应用程序a；或者当手势操作包括手势信息和运动参数时，可通过手势信息确定交互对象和交互方式，通过运动参数确定交互参数，具体的，可基于手势信息中的位置信息确定交互对象，基于手势信息中的手势确定交互方式，基于运动参数确定交互参数，例如，基于手势信息确定的交互对象为应用程序a，交互方式为选中应用程序a，交互参数为移动应用程序a，其中，移动距离与交互参数有关。
72.可以理解的是，通过手势信息获取交互对象和交互方式的过程中，可以为交互对象和交互方式中的至少一个。通过预先设置手势信息与交互参数的映射关系，获取手势信息对应的数据组关联的交互对象和/或交互方式。
73.为减少用户操作，本实施例公开的技术方案中在采集到手势操作后，可不再进行手势操作对应的手势信息的识别，即可直接通过手势信息中的手势确定交互方式，根据手势信息中的位置信息确定交互对象，根据运动参数确定在对应的交互方式中的交互参数，例如手势信息为手掌握拳，此时对应的交互方式为左键按下操作，根据手势信息中的位置信息确定需要执行左键按下操作对应的交互对象；又例如手势信息为手掌握拳向左移动，此时对应的交互方式为左键按下操作，根据手势信息中的位置信息确定需要执行左键按下操作对应的交互对象，根据手势操作中的运动参数确定执行左键按下操作的移动的距离。
74.s22、根据交互参数控制光标标识执行控制操作。
75.在确定交互参数后，控制光标标识执行对应的控制操作。
76.具体的，交互参数中，交互对象为应用程序a，交互方式为左键按下操作，此时，基于交互参数控制光标标识执行控制操作的具体过程是，基于交互参数控制光标标识移动至
应用程序a，并执行按下操作，此时，应用程序a被打开。
77.本公开实施例提供的手势互动方法，基于采集到的手势操作，控制光标标识执行控制操作的过程中，首先基于采集到的手势操作，确定交互参数，然后根据交互参数控制光标标识执行控制操作，实现基于采集到的的手势操作，通过终端设备的光标标识执行对应的操作，提高操作的准确性。
78.图3是本公开实施例提供的又一种手势互动方法的流程示意图，本公开实施例是在图2对应的实施例的基础上，如图3所示，步骤s21的一种可实现方式包括：
79.s210、基于采集到的手势信息，确定交互对象和交互方式。
80.具体的，可基于手势信息中的位置信息确定交互对象，基于手势信息中的手势确定交互方式，例如，基于手势信息确定的交互对象为应用程序a，交互方式为选中应用程序a。
81.上述实施例示例性表示确定的交互对象为应用程序a，在其它具体的可实施方式中，由于交互对象是基于手势信息中的手势位置确定的，例如，手势信息中的手势位置位于应用程序a对应的位置处，则交互对象为应用程序a，而当手势信息中的手势位置位于应用程序b对应的位置处，则交互对象为应用程序b，此外，确定的应用程序不仅仅包括应用程序，可以为终端设备任意显示页面的内容，本公开实施例不对此进行具体限定。
82.图4是本公开实施例提供的又一种手势互动方法的流程示意图，本公开实施例是在图2对应的实施例的基础上，如图4所示，步骤s21的另一种可实现方式包括：
83.s211、获取手势信息对应的运动参数。
84.可选的，获取手势信息对应的运动参数包括：
85.获取手势信息对应的运动方向、运动距离以及运动时长。
86.根据运动方向、运动距离以及运动时长获取运动参数。
87.获取手势信息对应的运动参数的具体过程中，首先获取手势信息对应的运动方向、运动距离以及运动时长，具体的，可在通过获取手势操作停止运动时，将停止运动的时间点作为运动时长的结束时间点，将获取到手势操作的时间点作为起始时间点，或者在获取到手势操作后，检测到手部操作的时间点作为起始时间点，起始时间点以及结束时间点形成该运动时长，运动距离同理由起始时间点以及结束时间点对应的位置信息之间的距离得到，也可通过实际的运动轨迹得到。运动方向可基于手势操作实际的运动轨迹得到。
88.s212、基于手势信息，确定交互对象和交互方式。
89.s213、基于运动参数，确定交互方式对应的交互参数。
90.当手势操作包括手势信息和运动参数时，可通过手势信息确定交互对象和交互方式，通过运动参数确定交互参数，具体的，可基于手势信息中的位置信息确定交互对象，基于手势信息中的手势确定交互方式，基于运动参数确定交互参数，例如，基于手势信息确定的交互对象为应用程序a，交互方式为选中应用程序a，交互参数为移动应用程序a，其中，移动距离与交互参数有关。
91.需要说明的是，在获取到手势信息对应的运动参数后，基于运动参数，确定交互方式对应的互动参数指的是，基于手势信息对应的运动参数，确定在终端设备上对应的交互参数，即光标标识执行控制操作对应的交互参数。
92.具体的，通过设置运动参数与交互参数存在对应的预设关系，在确定运动参数后，
可基于运动参数直接确定互动参数。
93.需要说明的是，上述实施例示例性表示一种控制操作，以下将通过具体的实施例进行举例说明。
94.作为一种可实施方式，基于采集到的手势操作，控制光标标识执行控制操作，包括：
95.当采集到手掌握拳手势时，控制光标标识执行左键按下操作。
96.当采集到手掌握拳手势时，控制光标标识执行左键按下操作，具体的，若终端设备显示主页面时，此时，控制光标标识执行左键按下操作可以实现对主页面应用程序打开操作，当终端设备显示某一浏览器页面，此时，控制光标标识执行左键按下操作可以实现打开光标标识所在位置处的网页。
97.当采集到手掌张开手势时，控制光标标识执行左键抬起操作。
98.当采集到手掌张开手势时，控制光标标识执行左键抬起操作，具体的，若终端设备显示某个应用程序打开页面时，此时，控制光标标识执行左键抬起操作可以实现保持在该应用程序的打开页面。
99.当采集到手掌握拳移动手势时，控制光标标识执行左键按下移动操作。
100.当采集到手掌握拳移动手势时，控制光标标识执行左键按下移动操作，具体的，若终端设备显示主页面时，此时，控制光标标识执行左键按下操作可以实现对主页面应用程序移动操作，当终端设备显示某一浏览器页面，此时，控制光标标识执行左键按下操作可以实现从光标标识所在位置处的内容进行选中操作，选中操作的移动距离与左键按下移动操作的距离相同。
101.当采集到手掌挥手手势时，控制光标标识执行返回操作。
102.当采集到手掌挥手手势时，控制光标标识执行返回操作，具体的，若终端设备显示某个应用程序打开页面时，此时，返回主页面。
103.需要说明的是，上述实施例示例性表示基于采集到的手势操作，控制光标标识执行控制操作的示例，在其它可实施方式中，手掌握拳手势、手掌张开手势等也可以实现控制光标标识执行其它对应的操作，本公开实施例不对此进行具体限定。
104.此外，本技术中，光标标识的作用类似于鼠标，即基于用户的手势操作，实现对鼠标的控制，进而使得用户基于手势操作实现对终端设备的操作，提高用户的使用感受。
105.作为一种可实现方式，在采集到第一手势后，在终端设备显示光标标识，包括：
106.在采集到第一手势，且维持第一手势的状态时长大于或等于预设状态时长时，在终端设备显示光标标识。
107.为避免出现误识别等问题，在采集到第一手势，且维持第一手势的状态时长大于或等于预设状态时长时，在终端设备显示光标标识。
108.图5是本公开实施例提供的一种手势互动装置的结构示意图，如图5所示，手势互动装置包括：
109.光标标识显示模块510，用于在采集到第一手势后，在终端设备显示光标标识，其中，第一手势用于唤醒终端设备进入手势交互模式；
110.控制模块520，用于基于采集到的手势操作，控制终端设备执行控制操作。
111.本公开实施例提供的手势互动装置，光标标识显示模块在采集到第一手势后，在
终端设备显示光标标识，其中，第一手势用于唤醒终端设备进入手势交互模块，控制模块基于采集到的手势操作，控制光标标识执行控制操作，即首先基于第一手势唤醒终端设备切换至手势交互模式，当终端设备处于手势交互模式下时，基于采集到的手势操作，控制终端设备的光标标识执行对应的控制操作，实现基于手势操作控制光标标识对终端设备上的内容进行操作，交互更加便捷，提高了用户的使用感受。
112.可选的，控制模块包括：
113.交互参数确定单元，用于基于采集到的手势操作，确定交互参数；
114.控制单元，用于根据交互参数控制光标标识执行控制操作。
115.可选的，交互参数确定单元的一种具体可实施方式包括：
116.基于采集到的手势信息，确定交互对象和交互方式。
117.可选的，交互参数确定单元的另一种具体可实施方式包括：
118.获取手势信息对应的运动参数；
119.基于手势信息，确定交互对象和交互方式；
120.基于运动参数，确定交互方式对应的交互参数。
121.可选的，获取所述手势信息对应的运动参数，包括：
122.获取手势信息对应的运动方向、运动距离以及运动时长；
123.根据运动方向、运动距离以及运动时长获取运动参数。
124.可选的，控制模块的一种具体可实施方式包括：
125.当采集到手掌握拳手势时，控制光标标识执行左键按下操作；
126.当采集到手掌张开手势时，控制光标标识执行左键抬起操作；
127.当采集到手掌握拳移动手势时，控制光标标识执行左键按下移动操作；
128.当采集到手掌挥手手势时，控制光标标识执行返回操作。
129.可选的，光标标识显示模块的一种具体可实施方式包括：
130.在采集到第一手势，且维持第一手势的状态时长大于或等于预设状态时长时，在终端设备显示光标标识。
131.本发明实施例所提供的装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
132.值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
133.图6是本公开实施例提供的一种电子设备的结构示意图，如图6所示，该电子设备包括处理器610、存储器620、输入装置630和输出装置640；计算机设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
134.存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现本发明实施例所提供的方法：
135.在采集到第一手势后，在终端设备显示光标标识，其中，第一手势用于唤醒终端设
备进入手势交互模式；
136.基于采集到的手势操作，控制光标标识执行控制操作。
137.存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
138.输入装置630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，可以包括键盘、鼠标等。输出装置640可包括显示屏等显示设备。
139.本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现本发明实施例所提供的方法：
140.在采集到第一手势后，在终端设备显示光标标识，其中，第一手势用于唤醒终端设备进入手势交互模式；
141.基于采集到的手势操作，控制光标标识执行控制操作。
142.当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的方法中的相关操作。
143.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
144.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
145.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。