一种基于手势识别的人机交互方法及装置与流程

1.本发明涉及计算机图像及人机交互技术领域，具体而言，涉及一种基于手势识别的人机交互方法及装置。


背景技术：

2.随着电子信息技术和人工智能技术的快速发展，用户与电子设备之间的交互活动在人们日常生活中越来越频繁，人机交互方式也从最初的指令输入，逐渐发展为通过语言、手势和体态等更加符合人类自然习惯的交互方式，极大地提升了人机交互的便捷性。因此，如何借助计算机视觉技术，有效地降低手势识别的硬件成本，降低手势识别算法的复杂度，进一步提升手势识别的准确性，提高基于手势指令的人机交互效率，是人机交互技术发展过程中亟待解决的技术问题之一。


技术实现要素：

3.为了解决上述技术问题至少之一，本发明的实施例提出了一种基于手势识别的人机交互方法，包括以下步骤：s101，对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；s102，将所述手势图像中的手部图像与交互界面中的光标进行关联映射；s103，根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。
4.优选地，所述步骤s101之前，还包括：获取所述手势图像。
5.优选地，所述步骤s102，具体为：将所述手势图像与所述交互界面进行等比例映射，根据所述手部图像在所述手势图像中的位置，确定所述交互界面中光标的位置。
6.优选地，所述步骤s103，具体为：在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；根据预设手势指令模型，确定手势交互指令。
7.优选地，所述步骤s103之前，还包括：建立所述手势指令模型。
8.本发明的实施例同时提出了一种基于手势识别的人机交互装置，该装置包括：手势识别模块，用于对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；光标映射模块，用于将所述手势图像中的手部图像与交互界面中的光标进行关联映射；指令确定模块，用于根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。
9.优选地，所述基于手势识别的人机交互装置，还包括：图像获取模块：用于获取所述手势图像。
10.优选地，所述光标映射模块，具体用于将所述手势图像与所述交互界面进行等比例映射，根据所述手部图像在所述手势图像中的位置，确定所述交互界面中光标的位置。
11.优选地，所述指令确定模块，具体用于在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；以及，根据预设手势指令模型，确定手势交互指令。
12.优选地，所述基于手势识别的人机交互装置，还包括：模型建立模块，用于建立所述手势指令模型。
13.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
14.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
15.图1是本发明的实施例的基于手势识别的人机交互方法的流程示意图；
16.图2是本发明的实施例的基于手势识别的人机交互装置的结构示意图。
具体实施方式
17.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
18.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
19.实施例一
20.本发明实施例提出一种基于手势识别的人机交互方法，如图1所示，包括以下步骤：s101，对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；s102，将所述手势图像中的手部图像与交互界面中的光标进行关联映射；s103，根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。
21.在该技术方案中，根据手势识别算法，对手势图像进行手势检测，手势识别算法包括openpose算法和deephand算法，确定手势图像中的手部图像的位置，记录手部图像中预设的手部关节点的坐标。将手势图像中的手部图像与交互界面中的光标进行关联映射，确定交互界面中光标的位置。根据预设间隔时间内手部图像的姿态和/或数量变化，通过手势模型匹配确定手势交互指令，实现通过手势指令对交互界面中的内容进行手势操作。
22.在上述技术方案中，步骤s101之前，还包括：获取手势图像。
23.在该技术方案中，对手势图像进行手势识别之前，通过摄像头获取手势图像，具体地，手势图像可以是摄像头根据预设时间间隔连续拍摄的图像，也可以是摄像头拍摄视频图像后通过提取预设时间间隔的视频帧得到的图像序列，同时，用于获取手势图像的摄像头可以是单独的具有摄像头的设备，也可以是用于接收手势指令进行交互界面操控的设备的摄像头。
24.在上述技术方案中，步骤s102，具体为：将手势图像与交互界面进行等比例映射，根据手部图像在手势图像中的位置，确定交互界面中光标的位置。
25.在该技术方案中，根据手势图像的尺寸、交互界面的尺寸以及手部图像在手势图像中的位置，通过等比例映射方式，确定交互界面中光标的位置。具体地，根据获取到的手势图像i，在手势图像i中识别出手部图像，确定手部图像中预设关节点的坐标，其中，预设
关节点包括手指关节和/或手腕关节，根据预设关节点确定手部图像几何中心点p在手势图像中的坐标，p＝{x,y}。根据交互界面的尺寸，采用等比例映射方式，通过手势图像i中手部图像几何中心p的坐标确定交互界面中光标的位置。具体地，交互界面的宽为sw高为sh，则交互界面中光标的位置g坐标即为：g＝{sw*p.x/i.width,sh*p.y/i.height}，其中，i.width为手势图像i的宽度，i.height为手势图像i的高度。
26.在上述技术方案中，步骤s103，具体为：在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；根据预设手势指令模型，确定手势交互指令。
27.在该技术方案中，通过检测预设时间间隔内手部图像的变化，确定手势交互指令。具体地，在预设的时间间隔内，获取两幅或两幅以上的手势图像，识别手势图像中的手部图像，确定并记录每一幅手势图像中手部图像的手部姿态、位置和/或数量变化，通过匹配预设手势指令模型，确定手势交互指令。
28.例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为t，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为t'，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为光标移动指令，通过等比例映射方式，根据第二幅手势图像中手部图像的位置，确定交互界面中光标的位置；再如，预设时间间隔内，获取到三幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为单击操作指令，即在交互界面中当前光标处执行单击操作；又如，预设时间间隔内，获取到五幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，记录第四幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，记录第五幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为双击操作指令，即在交互界面中当前光标处执行双击操作；还如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为s，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为s'，手部图像的姿态为第二手形姿态，如五指握拳，通过匹配预设手势指令模型，确定该手势交互指令为滑动操作指令，即在交互界面中执行滑动操作；再例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为2，第一手部图像位置为w1，第一手部图像的姿态为第一手形姿态，如五指张开，第二手部图像位置为w2，第二手部图像的姿态为第一手形姿态，记录第二幅手势图像中手部图像数量为2，第一手部图像位置为w1'，第一手部图像的姿态为第一手形姿态，第二手部图像位置为w2'，第二手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为缩放操作指令，即在交互界面
中执行缩放操作，根据第一幅手势图像中双手图像之间的距离与第二幅手势图像中双手图像之间的距离的变化，通过等比例映射，确定交互界面的缩放比例。
29.在上述技术方案中，步骤s103之前，还包括：建立手势指令模型。
30.在该技术方案中，建立手势指令模型，将识别确认的手势图像中手部图像通过手势指令模型进行匹配，确定手势交互指令，此处不再赘述。
31.实施例二
32.本发明实施例同时提供一种基于手势识别的人机交互装置200，如图2所示，该基于手势识别的人机交互装置200，包括：手势识别模块201，用于对手势图像进行手势识别，确定所述手势图像中的一个或多个手部图像的位置；光标映射模块202，用于将所述手势图像中的手部图像与交互界面中的光标进行关联映射；指令确定模块203，用于根据预设时间间隔内所述手部图像的姿态和/或数量变化，确定手势交互指令。
33.在该技术方案中，手势识别模块201根据手势识别算法，对手势图像进行手势检测，手势识别算法包括openpose算法和deephand算法，确定手势图像中的手部图像的位置，记录手部图像中预设的手部关节点的坐标。光标映射模块202将手势图像中的手部图像与交互界面中的光标进行关联映射，确定交互界面中光标的位置。指令确定模块203根据预设间隔时间内手部图像的姿态和/或数量变化，通过手势模型匹配确定手势交互指令，实现通过手势指令对交互界面中的内容进行手势操作。
34.在上述技术方案中，基于手势识别的人机交互装置200，还包括：图像获取模块204，用于获取所述手势图像。
35.在该技术方案中，对手势图像进行手势识别之前，图像获取模块204通过摄像头获取手势图像，具体地，手势图像可以是摄像头根据预设时间间隔连续拍摄的图像，也可以是摄像头拍摄视频图像后通过提取预设时间间隔的视频帧得到的图像序列，同时，用于获取手势图像的摄像头可以是单独的具有摄像头的设备，也可以是用于接收手势指令进行交互界面操控的设备的摄像头。
36.在上述技术方案中，光标映射模块202，具体用于将所述手势图像与所述交互界面进行等比例映射，根据所述手部图像在所述手势图像中的位置，确定所述交互界面中光标的位置。
37.在该技术方案中，光标映射模块202根据手势图像的尺寸、交互界面的尺寸以及手部图像在手势图像中的位置，通过等比例映射方式，确定交互界面中光标的位置。具体地，光标映射模块202根据获取到的手势图像i，在手势图像i中识别出手部图像，确定手部图像中预设关节点的坐标，其中，预设关节点包括手指关节和/或手腕关节，根据预设关节点确定手部图像几何中心点p在手势图像中的坐标，p＝{x,y}。根据交互界面的尺寸，采用等比例映射方式，通过手势图像i中手部图像几何中心p的坐标确定交互界面中光标的位置。具体地，交互界面的宽为sw高为sh，则交互界面中光标的位置g坐标即为：g＝{sw*p.x/i.width,sh*p.y/i.height}，其中，i.width为手势图像i的宽度，i.height为手势图像i的高度。
38.在上述技术方案中，指令确定模块203，具体用于在预设时间间隔内，获取至少两幅所述手势图像；识别所述手势图像中手部图像的姿态和数量；以及，根据预设手势指令模型，确定手势交互指令。
39.在该技术方案中，指令确定模块203通过检测预设时间间隔内手部图像的变化，确定手势交互指令。具体地，在预设的时间间隔内，获取两幅或两幅以上的手势图像，识别手势图像中的手部图像，确定并记录每一幅手势图像中手部图像的手部姿态、位置和/或数量变化，指令确定模块203通过匹配预设手势指令模型，确定手势交互指令。
40.例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为t，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为t'，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为光标移动指令，通过等比例映射方式，根据第二幅手势图像中手部图像的位置，确定交互界面中光标的位置；再如，预设时间间隔内，获取到三幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为单击操作指令，即在交互界面中当前光标处执行单击操作；又如，预设时间间隔内，获取到五幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，如五指握拳，记录第三幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，记录第四幅手势图像中手部图像数量为1，手部图像的姿态为第二手形姿态，记录第五幅手势图像中手部图像数量为1，手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为双击操作指令，即在交互界面中当前光标处执行双击操作；还如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为1，手部图像位置为s，手部图像的姿态为第一手形姿态，如五指张开，记录第二幅手势图像中手部图像数量为1，手部图像位置为s'，手部图像的姿态为第二手形姿态，如五指握拳，通过匹配预设手势指令模型，确定该手势交互指令为滑动操作指令，即在交互界面中执行滑动操作；再例如，预设时间间隔内，获取到两幅手势图像，识别每一幅手势图像中的手部图像，记录第一幅手势图像中手部图像数量为2，第一手部图像位置为w1，第一手部图像的姿态为第一手形姿态，如五指张开，第二手部图像位置为w2，第二手部图像的姿态为第一手形姿态，记录第二幅手势图像中手部图像数量为2，第一手部图像位置为w1'，第一手部图像的姿态为第一手形姿态，第二手部图像位置为w2'，第二手部图像的姿态为第一手形姿态，通过匹配预设手势指令模型，确定该手势交互指令为缩放操作指令，即在交互界面中执行缩放操作，根据第一幅手势图像中双手图像之间的距离与第二幅手势图像中双手图像之间的距离的变化，通过等比例映射，确定交互界面的缩放比例。
41.在上述技术方案中，基于手势识别的人机交互装置200，还包括：模型建立模块205，用于建立所述手势指令模型。
42.在该技术方案中，模型建立模块205建立手势指令模型，指令确定模块203将识别确认的手势图像中手部图像通过手势指令模型进行匹配，确定手势交互指令，此处不再赘述。
43.本发明的实施例提供的基于手势识别的人机交互方法及装置，对手势图像进行手
势检测，确定手势图像中的手部图像的位置，通过将手势图像中的手部图像与交互界面中的光标进行关联映射，确定交互界面中光标的位置，以及根据手部图像的变化，通过手势模型匹配确定手势交互指令，实现通过手势指令对交互界面中的内容进行手势操作。本发明提供的基于手势识别的人机交互方法及装置，通过采集手势图像识别手势操作指令，操作直观便捷，使用者在不接触电子设备的情况下实现对电子设备的交互操作，普遍适用于具有人机交互界面的各种类型的电子设备。
44.在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
45.在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
46.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。