一种基于手势识别的3D可视化模型控制方法与流程

一种基于手势识别的3d可视化模型控制方法
技术领域
1.本发明涉及手势识别领域，具体涉及一种基于手势识别的3d可视化模型控制方法。


背景技术：

2.随着科学技术的进步，人机交互已经成为人们日常生活中的重要部分。人机交互的最终目标是实现人与机器自然地交流。
3.现在越来越多的管理系统会投放到大屏进行展示，比如有些管理系统会包含3d可视化模型。传统的方式是，管理人员通过鼠标操作3d可视化模型，比如：对3d可视化模型缩放、移动3d可视化模型、旋转3d可视化模型等，虽然上述操作方式能够实现操作目的，但是在工作人员向客户展示3d可视化模型时，一边通过言语讲解，一边使用手势比划，如果再去操作鼠标，会带来较多的不便，人机交互的方式不够自然，参观者的整体体验感较差。


技术实现要素：

4.为解决上述技术问题，本发明提供一种基于手势识别的3d可视化模型控制方法。
5.为解决上述技术问题，本发明采用如下技术方案：
6.一种基于手势识别的3d可视化模型控制方法，包括以下步骤：
7.步骤一：将手部置于影像采集设备前部，通过影像采集设备采集手部图像，其中影像采集设备的有效检测区域范围为s1，当手部位于s1内进行后续的步骤，否则不进行后续步骤；
8.步骤二：通过手关键点识别网络模型识别到手部图像中的手部后，建立手部关键点t，并根据手部关键点t形成手部骨架图m；其中每个关键点t对应手识别网络模型中的一个矩阵，每个矩阵即为关键点t的概率图，通过查找概率图的最大值来找到关键点t的位置，进而识别手部的手势和动作；
9.通过单指进行平移控制时，手部的一根手指向上伸出，其他手指握拳，伸出的手指在有效检测区域范围s1内进行平移，能够带动3d可视化模型平移。
10.具体地，通过单指进行平移控制时，伸出的一根手指为食指。
11.一种基于手势识别的3d可视化模型控制方法，包括以下步骤：
12.步骤一：将手部置于影像采集设备前部，通过影像采集设备采集手部图像，其中影像采集设备的有效检测区域范围为s1，当手部位于s1内进行后续的步骤，否则不进行后续步骤；
13.步骤二：通过手关键点识别网络模型识别到手部图像中的手部后，建立手部关键点t，并根据手部关键点t形成手部骨架图m；其中每个关键点t对应手识别网络模型中的一个矩阵，每个矩阵即为关键点t的概率图，通过查找概率图的最大值来找到关键点t的位置，进而识别手部的手势和动作；
14.通过双指进行选中、取消选中控制时，手部的食指和中指向上伸出，其他手指握
拳；当伸出的食指和中指在有效检测区域范围s1内由分开状态转换为并拢状态时，所述3d可视化模型被选中；当伸出的食指和中指在有效检测区域范围s1内由并拢状态转换为分开状态时，所述3d可视化模型被取消选中。
15.具体地，3d可视化模型被选中后，食指和中指保持并拢状态并进行绕圈动作，则所述3d可视化模型进行旋转；3d可视化模型旋转过程中，如果食指与中指分开，3d可视化模型固定在食指和中指分开前的所处位置；如需继续转动，食指和中指再次保持并拢状态并进行绕圈动作。
16.一种基于手势识别的3d可视化模型控制方法，包括以下步骤：
17.步骤一：将手部置于影像采集设备前部，通过影像采集设备采集手部图像，其中影像采集设备的有效检测区域范围为s1，当手部位于s1内进行后续的步骤，否则不进行后续步骤；
18.步骤二：通过手关键点识别网络模型识别到手部图像中的手部后，建立手部关键点t，并根据手部关键点t形成手部骨架图m；其中每个关键点t对应手识别网络模型中的一个矩阵，每个矩阵即为关键点t的概率图，通过查找概率图的最大值来找到关键点t的位置，进而识别手部的手势和动作；
19.通过双指进行缩放控制时，手部的大拇指和食指伸出，其他手指握拳；当伸出的大拇指和食指在有效检测区域范围s1内相互靠近，所述3d可视化模型被缩小；当伸出的大拇指和食指在有效检测区域范围s1内相互远离，所述3d可视化模型被放大。
20.具体地，当所述3d可视化模型需要被多次缩小时，需要大拇指和食指重复进行靠近和远离的动作；在大拇指和食指每次相互靠近后，设置一个延时时间t1，在延时时间t1内大拇指和食指的相互远离不会被识别。
21.具体地，当所述3d可视化模型需要被多次放大时，需要大拇指和食指重复进行远离和靠近的动作；在大拇指和食指每次相互远离后，设置一个延时时间t2，在延时时间t2内大拇指和食指的相互靠近不会被识别。
22.优选地，影像采集设备可以选择摄像机。
23.具体地，手关键点识别网络模型识别到手部后，会显示手部的定位框s2以及关键点t。
24.与现有技术相比，本发明的有益技术效果是：
25.可通过手势识别远距离控制3d可视化模型，方便人们一边讲演，一边使用手势进行操作，人机交互的方式自然，不生硬，参观者的体验感好。
附图说明
26.图1为本发明有效检测区域范围、定位框、关键点、骨架图的示意图；
27.图2为本发明手部的食指向上伸出、其他手指握拳的示意图；
28.图3为本发明手部的食指和中指向上伸出、其他手指握拳的示意图；
29.图4为本发明手部的大拇指和食指伸出、其他手指握拳的示意图；
30.图5为本发明控制方法的流程图。
具体实施方式
31.下面结合附图对本发明的一种优选实施方式作详细的说明。
32.本发明中的控制方法是基于python语言进行设计开发，编译环境为：pycharm2021、python interpreter 3.7；使用的库和开发包：python-opencv、mediapipe、cv2、autopy。
33.手部包括大拇指11、食指12、中指13、无名指14、小拇指15。
34.握拳是指：手指末端贴紧手掌或者压在其他手指上。
35.控制方法如下：
36.1.配置一台摄像机，用于获取控制人员的手部的图像信息。
37.2.服务器内导入手关键点数据库和手关键点识别网络模型；框定摄像机的有效检测区域范围s1，在s1内的手势可以有效识别，位于s1外的手势不进行识别。
38.3.将手部置于摄像机的正前方的有效检测区域范围内，摄像机获取手部的图像；手关键点识别网络模型识别到手部后，显示手部的定位框s2和多个关键点t，并根据关键点t形成手的骨架图m；其中每个关键点t都对应手关键点识别网络模型中的一个矩阵，每个矩阵也就是关键点t的概率图，通过查找概率图的最大值来找到关键点的位置；如图1所示。
39.4.手势控制：
40.(1)单指控制：
41.将单根食指12伸出并朝上指示，其余四根手指握拳，如图2所示；单根食指12在空间内上下左右移动，则对应鼠标的移动功能。
42.(2)双指控制：
43.①
、将食指12和中指13伸出并朝上指示，其余三根手指握拳，如图3所示，食指12和中指13并拢在一起，则对应鼠标的单击功能，此时应用在3d可视化模型上，相当于使用鼠标选中该3d可视化模型；食指12和中指13由并拢逐渐分开，则对应鼠标的单击释放功能，此时应用在3d可视化模型上，相当于使用鼠标取消选中该3d可视化模型。
44.②
、如图4所示，使用大拇指11和食指12进行缩放控制，大拇指11和食指12向中间聚拢，则可以对应鼠标的滚轮的功能，此时应用在3d可视化模型上，相当于使用滚轮缩小该3d可视化模型；大拇指11和食指12由聚拢逐渐分开，则可以对应鼠标的滚轮的功能，此时应用在3d可视化模型上，相当于使用滚轮放大该3d可视化模型；在进行缩小和放大的过程中，由于大拇指11和食指12之间的位置限定，大拇指11和食指12只能移动有限的距离，通过一次缩小和放大而不能完成所需的3d可视化模型缩小和放大需求，所以需要大拇指11和食指12多次动作，在此，我们增加一个延时时间t，比如我们需要多次缩小，故需要多次进行“缩
→
放”动作。在缩
→
放
→
缩的过程中，由于增加一个延时时间t，缩
→
放
→
缩的过程时间会很短，“放”手势不会被误识别，则能够完成不断缩小的操作。同理，在3d可视化模型对进行放大时也同样适用。
45.需要对3d可视化模型进行旋转操作时，首先执行
①
，将食指12和中指13伸出并朝上指示，然后食指12和中指13进行绕圈，则3d可视化模型也对应进行旋转；食指12和中指13分开，则手势识别动作释放，3d可视化模型定在某个位置，如需要转动，再次执行
①
。
46.图5为本发明控制方法的流程图。
47.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在
不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
48.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。