一种手势识别方法、装置及车辆与流程

1.本发明涉及智能汽车技术领域，具体而言，涉及一种手势识别方法、装置及车辆。


背景技术：

2.手势识别是通过数学算法识别人类手势的技术，因其无需常规输入设备即可实现自然交互，被广泛应用在各种人机交互场景中，例如在车辆中，通过手势识别实现用户与车机之间的人机交互。
3.现有技术中，常通过摄像头拍摄用户做出手势时的图像，然后将图像输入到机器学习模型中，通过机器学习模型提取图像特征，并确定手势识别结果，但是，在图像的背景环境比较复杂时，采用机器学习模型提取特征并进行手势识别的过程耗时较长，手势识别速度较慢。


技术实现要素：

4.本发明解决的问题是如何在保证手势识别准确性的同时，提高手势识别的速度和效率。
5.为解决上述问题，本发明提供一种手势识别方法、装置及车辆。
6.第一方面，本发明提供了一种手势识别方法，包括：
7.获取用户做出手势时的红外图像和深度图像；
8.对所述红外图像进行手掌检测，确定所述红外图像中的手掌轮廓；
9.从所述深度图像中提取与所述手掌轮廓对应的当前手势特征；
10.将所述当前手势特征与预设目标手势对应的目标手势特征进行匹配，确定手势识别结果。
11.可选地，所述对所述红外图像进行手掌检测，确定所述红外图像中的手掌轮廓包括：
12.在所述红外图像中进行手掌轮廓绘制，确定目标轮廓；
13.对所述目标轮廓进行凸包检测和凹缺陷检测，确定关键点；
14.根据所述关键点确定所述目标轮廓对应的手指数量，并根据所述手指数量确定所述红外图像中的所述手掌轮廓。
15.可选地，所述关键点包括凸点和凹点，所述根据所述关键点确定所述目标轮廓对应的手指数量包括：
16.根据每两个相邻的所述凸点，以及所述目标轮廓上每两个相邻的所述凸点之间的所述凹点构建三角形；
17.基于预设规则，根据所述关键点的数量和所述三角形的参数判断各个所述三角形中与所述凹点相连的边是否为手指；
18.根据判断结果确定所述目标轮廓对应的手指数量。
19.可选地，所述基于预设规则，根据所述关键点的数量和所述三角形的参数判断各
个所述三角形中与所述凹点相连的边是否为手指包括：
20.判断所述关键点的数量和所述三角形的各个参数是否在相应的预设范围内；
21.若是，则表示所述三角形中与所述凹点相连的边为手指。
22.可选地，所述根据所述手指数量确定所述红外图像中的所述手掌轮廓包括：
23.判断所述手指数量是否在预设范围内，若是，则表示所述目标轮廓为所述手掌轮廓；若否，则表示所述目标轮廓不是所述手掌轮廓。
24.可选地，所述从所述深度图像中提取与所述手掌轮廓对应的当前手势特征包括：
25.根据所述深度图像生成点云数据；
26.从所述点云数据中提取与所述手掌轮廓对应的所述当前手势特征。
27.可选地，所述获取用户做出手势时的红外图像和深度图像包括：
28.响应于游戏界面的启动操作，获取用户做出手势时的所述红外图像和所述深度图像。
29.可选地，所述确定手势识别结果之后，所述手势识别方法还包括：
30.将所述手势识别结果传输至车机，所述车机用于根据所述手势识别结果执行相应的游戏动作，并在所述游戏界面进行显示。
31.第二方面，本发明提供了一种手势识别装置，包括：
32.获取模块，用于获取用户做出手势时的红外图像和深度图像；
33.检测模块，用于对所述红外图像进行手掌检测，确定所述红外图像中的手掌轮廓；
34.提取模块，用于从所述深度图像中提取与所述手掌轮廓对应的当前手势特征；
35.识别模块，用于将所述当前手势特征与预设目标手势对应的目标手势特征进行匹配，确定手势识别结果。
36.第三方面，本发明提供了一种车辆，包括存储器和处理器；
37.所述存储器，用于存储计算机程序；
38.所述处理器，用于当执行所述计算机程序时，实现如第一方面任一项所述的手势识别方法。
39.本发明的手势识别方法、装置及车辆的有益效果是：获取用户做出手势时的红外图像和深度图像，可通过tof等深度图像采集红外图像和深度图像。对红外图像进行手掌检测，由于红外图像为不包含深度信息的平面图像，在红外图像中确定手掌轮廓，数据处理量更少，能够提高手掌检测的速度。确定手掌轮廓后，在深度图像中提取手掌轮廓对应位置的当前手势特征，当前手势特征可包括深度图像中手掌轮廓区域中各个像素点的颜色、三维坐标和激光反射强度等，深度图像相较于红外图像，具有更多的手势特征信息，能够保证手势匹配时的准确性。将当前手势特征与预设目标手势对应的目标手势特征进行匹配，与当前手势特征相匹配的预设目标手势就是用户此时做出的手势。本发明通过红外图像确定手掌轮廓，并从深度图像中提取相应的手势特征进行手势识别，在保证手势识别准确性的基础上，提高了手势识别的速度和效率。
附图说明
40.图1为本发明实施例的一种手势识别方法的流程示意图；
41.图2为本发明实施例的手势识别方法的步骤s200细化后的流程示意图；
42.图3为本发明另一实施例的一种手势识别装置的结构示意图；
43.图4为本发明又一实施例的一种车辆的结构示意图。
具体实施方式
44.为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
45.应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
46.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
47.需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
48.本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
49.如图1所示，本发明实施例提供的一种手势识别方法，包括：
50.步骤s100，获取用户做出手势时的红外图像和深度图像。
51.具体地，可采用红外摄像头拍摄用户做出手势时的红外图像，采用深度摄像头拍摄用户做出手势时的深度图像，也可采用带红外功能的深度摄像头拍摄用户做出手势时的红外图像和深度图像，例如可采用tof(time of flight，飞行时间)摄像头，摄像头的监测范围需要覆盖用户的双手。
52.可以理解的是，获取的是用户做出手势时的图像序列，包括红外图像序列和深度图像序列，以进行手势动态识别。本实施例中采用的是当前帧的红外图像和深度图像进行手势识别，通过对每帧的图像进行手势识别，就可跟踪用户的手势变化过程。
53.步骤s200，对所述红外图像进行手掌检测，确定所述红外图像中的手掌轮廓。
54.具体地，可根据手掌肤色与背景颜色之间的区别在红外图像中检测出手掌轮廓，也可通过canny算子等边缘检测算法在红外图像中确定手掌轮廓，具体方法在此不做限制。
55.红外图像为不包含深度信息的平面图像，在红外图像中确定手掌轮廓，数据处理量更少，能够提高手掌检测的速度和效率，进而提高手势识别的速度和效率。
56.步骤s300，从所述深度图像中提取与所述手掌轮廓对应的当前手势特征。
57.具体地，深度图像为包含深度信息的3d图像，能够反应目标的几何形状等，从深度图像中提取手掌轮廓处对应的当前手势特征，当前手势特征可包括各个像素点的三维坐
标、激光反射强度和颜色信息等。
58.深度图像能够反应出更多的手势信息，例如手掌的角度等，从深度图像中提取手掌轮廓对应的当前手势特征，用于进行手势识别，能够提高手势识别精度。
59.步骤s400，将所述当前手势特征与预设目标手势对应的目标手势特征进行匹配，确定手势识别结果。
60.具体地，可预先建立手势数据库，手势数据库可包括多个预设目标手势，且与各个预设目标手势相对应的目标手势特征。将当前手势特征与手势数据库中的各个预设目标手势的目标手势特征进行匹配，根据匹配结果就可确定手势识别结果。
61.可将手势识别结果传输至手势状态机，通过手势状态机记录用户做出手势时各个时刻的手势状态等，实现动态手势识别。
62.本实施例中，获取用户做出手势时的红外图像和深度图像，可通过tof等深度图像采集红外图像和深度图像。对红外图像进行手掌检测，由于红外图像为不包含深度信息的平面图像，在红外图像中确定手掌轮廓，数据处理量更少，能够提高手掌检测的速度。确定手掌轮廓后，在深度图像中提取手掌轮廓对应位置的当前手势特征，当前手势特征可包括深度图像中手掌轮廓区域中各个像素点的颜色、三维坐标和激光反射强度等，深度图像相较于红外图像，具有更多的手势特征信息，能够保证手势匹配时的准确性。将当前手势特征与预设目标手势对应的目标手势特征进行匹配，与当前手势特征相匹配的预设目标手势就是用户此时做出的手势。本发明通过红外图像确定手掌轮廓，并从深度图像中提取相应的手势特征进行手势识别，在保证手势识别准确性的基础上，提高了手势识别的速度和效率。
63.可选地，如图2所示，所述对所述红外图像进行手掌检测，确定所述红外图像中的手掌轮廓包括：
64.步骤s210，在所述红外图像中进行手掌轮廓绘制，确定目标轮廓。
65.需要说明的是，在进行手掌轮廓绘制之前，可预先对红外图像进行预处理，预处理可包括滤波等，然后根据预处理后的红外图像进行手掌轮廓绘制。
66.具体地，可根据手掌肤色与背景颜色之间的区别在红外图像中检测目标轮廓，也可通过canny算子等边缘检测算法在红外图像中确定目标轮廓，并绘制出目标轮廓。
67.步骤s220，对所述目标轮廓进行凸包检测和凹缺陷检测，确定关键点。
68.可以理解的是，绘制得到的所有目标轮廓中，可能有部分轮廓并不属于手掌轮廓，因此需要对目标轮廓进行进一步的筛选，以提高最终得到的手掌轮廓的精确性。
69.具体地，可采用凸包检测算法进行凸包检测，并采用凹缺陷检测算法进行凹缺陷检测，其中，凹缺陷也可看作为向内凸出的凸缺陷。具体检测过程为现有技术，例如先确定目标轮廓的外接多边形，然后对于任意两个相邻的顶点，在两个顶点之间的目标轮廓上确定凹缺陷点，然后对所有的顶点和凹缺陷点进行筛选，确定凸点和凹点，即关键点。
70.步骤s230，根据所述关键点确定所述目标轮廓对应的手指数量，并根据所述手指数量确定所述红外图像中的所述手掌轮廓。
71.具体地，关键点可包括手指对应的凸点和相邻的两个手指之间的凹点，可根据凸点的数量和凹点的数量来确定手指数量等。根据手指数量确定对应的目标轮廓是否为手掌轮廓，例如筛除手指数量大于5的目标轮廓。
72.本可选的实施例中，在红外图像中绘制出所有可能的手掌轮廓，得到至少一个目
标轮廓，然后对各个目标轮廓进行凸包检测和凹缺陷检测，确定各个目标轮廓上的关键点，根据关键点确定各个目标轮廓对应的手指数量，筛除手指数量不符合要求的目标轮廓，保留手指数量符合要求的目标轮廓为手掌轮廓，提高了最终确定的手掌轮廓的准确性，并且在红外图像中确定手掌轮廓，速度更快，效率更高。
73.可选地，所述关键点包括凸点和凹点，所述根据所述关键点确定所述目标轮廓对应的手指数量包括：
74.步骤s231，根据每两个相邻的所述凸点，以及所述目标轮廓上每两个相邻的所述凸点之间的所述凹点构建三角形。
75.具体地，以两个相邻的凸点，和该两个凸点之间目标轮廓上的凸点为三个顶点，构建三角形。
76.步骤s232，基于预设规则，根据所述关键点的数量和所述三角形的参数判断各个所述三角形中与所述凹点相连的边是否为手指。
77.具体地，当关键点的数量和三角形的参数满足预设规则时，表示凹点为两个手指之间的凹陷点，与该凹陷点相连的两条边为两根手指。
78.步骤s233，根据判断结果确定所述目标轮廓对应的手指数量。
79.示例性地，假设对于一个目标轮廓，其有一个三角形的参数符合预设规则，则该目标轮廓的手指数量可能为2，对应的手势可能为“剪刀手”。
80.对于一个目标轮廓，若没有三角形的参数符合预设规则，可能没有手指。
81.可选地，所述基于预设规则，根据所述关键点的数量和所述三角形的参数判断各个所述三角形中与所述凹点相连的边是否为手指包括：
82.判断关键点的数量和所述三角形的各个参数是否在相应的预设范围内；
83.若是，则表示所述三角形中与所述凹点相连的边为手指。
84.可以理解的是，关键点的数量需要在一定的范围内，例如凸点的数量为零，则该目标轮廓对应的手指数量为零，其对应的预设范围可根据实际情况具体设置。
85.凹点数量为零时，手指数量可能为零，此时所有手指可能并拢在一起，或所有手指握拳在一起。
86.具体地，三角形参数可包括与凹点相连的边的长度，与凹点对应的内角的角度等，则需要判断与凹点相连的边的长度是否在手指对应的长度范围内，以及与凹点对应的内角的角度是否在预设角度范围内。若是，则表示该三角形中与凹点对应的边为手指；若否，则表示该三角形中与该凹点相连的边不是手指。
87.可选地，所述根据所述手指数量确定所述红外图像中的所述手掌轮廓包括：
88.判断所述手指数量是否在预设范围内，若是，则表示所述目标轮廓为所述手掌轮廓；若否，则表示所述目标轮廓不是所述手掌轮廓。
89.具体地，预设范围可为0至5，0可对应为手掌处于握拳状态，即没有手指张开；5可对应为五根手指全部张开。若手指数量大于5，则表示对应的目标轮廓不是手掌轮廓；若手指数量在预设范围内，则表示对应的目标轮廓为手掌轮廓。
90.本可选的实施例中，可预先统计不同情况下的关键点数量和三角形的参数，构建关键点数量对应的预设范围，和三角形的参数对应的预设范围。通过判断关键点的数量和三角形的参数是否在对应的预设范围内，来判断对应的三角形边是否为手指，能够快速确
定目标轮廓对应的手指数量，通过判断手指数量是否在预设范围内来确定目标轮廓是否为手掌轮廓，处理过程快速便捷，能够提高后续手势识别的效率。
91.可选地，所述从所述深度图像中提取与所述手掌轮廓对应的当前手势特征包括：
92.根据所述深度图像生成点云数据；
93.从所述点云数据中提取与所述手掌轮廓对应的所述当前手势特征。
94.具体地，在红外图像中确定手掌轮廓后，在深度图像中确定手掌轮廓区域的当前手势特征，当前手势特征可包括该区域内各个像素点的三维坐标、激光反射强度和颜色信息等。
95.本可选的实施例中，从点云数据中提取的手掌轮廓处的当前手势特征，相较于从平面图形中提取特征，能够提取到更多的特征信息，更全面的反应手势状态等，进而采用该当前手势特征进行手势匹配识别手势时，手势识别的准确性更高。
96.可选地，所述获取用户做出手势时的红外图像和深度图像包括：
97.响应于游戏界面的启动操作，获取用户做出手势时的所述红外图像和所述深度图像。
98.具体地，仅在进入游戏界面后，根据用户的手势进行游戏操作，避免在车机主界面做出手势时，误触发车机交互等功能，以提高交互安全性。
99.可选地，所述确定手势识别结果之后，所述手势识别方法还包括：
100.将所述手势识别结果传输至车机，所述车机用于根据所述手势识别结果执行相应的游戏动作，并在所述游戏界面进行显示。
101.具体地，所述手势识别结果可包括手势形状、手的实时绝对位置、当前时刻的手掌相对于起始时刻的手掌的相对转角和当前时刻的手掌相对于起始时刻的手掌的相对位移。
102.将手势识别结果传输至车机系统，例如hmi(human machine interface，人机界面)系统和audio(音频)系统，车机系统执行相应的游戏动作，并再游戏界面显示对应的动效和音效等，实现用户与车机之间的手势交互。
103.示例性地，可识别用户的抓取手势，在游戏界面上执行相应的抓取动作，例如抓取啤酒瓶、砖块和棍子等，然后识别到用户的抛掷手势时，在游戏界面上执行相应的抛掷动作，例如砸向屏幕，同时可在游戏界面上显示相应的碎裂特效和音效。并且，可通过外接图库，在游戏界面上导入图库中不同的人物图片。
104.也可识别用户的划动手势，在游戏界面上执行相应的动作，例如将图片按照划动路线撕裂。并且，用户利用手势进行体感游戏时，可利用车辆现有的vpa(virtual personal assistant，虚拟个人助理)与用户进行互动，例如在游戏界面执行相应的动作时，vpa主动发起对话。
105.通过手势进行体感游戏，也可在一定程度上帮助用户在高压环境下释放压力。
106.通过上述手势识别方法能够实现多个不同的交互功能，例如同一个手势，在游戏界面中可实现相应的游戏动作，而在车机主界面中可实现各个屏幕之间的内容共享，即将中控屏上的显示内容分享给副驾屏，或将中控屏上的显示内容分享给仪表屏等。因此，主机厂在开发软件时，仅需开发一个实现该手势识别方法的sdk(software development kit，软件开发工具包)，就可实现多个功能，能够节约开发成本，并且增加亮点功能。
107.如图3所示，本发明另一实施例提供的一种手势识别装置，包括：
108.获取模块，用于获取用户做出手势时的红外图像和深度图像；
109.检测模块，用于对所述红外图像进行手掌检测，确定所述红外图像中的手掌轮廓；
110.提取模块，用于从所述深度图像中提取与所述手掌轮廓对应的当前手势特征；
111.识别模块，用于将所述当前手势特征与预设目标手势对应的目标手势特征进行匹配，确定手势识别结果。
112.本实施例的手势识别装置用于实现如上所述的手势识别方法，其相对于现有技术的优势与手势识别方法相对于现有技术的优势相同，在此不再赘述。
113.可选地，检测模块具体用于：在所述红外图像中进行手掌轮廓绘制，确定目标轮廓；对所述目标轮廓进行凸包检测和凹缺陷检测，确定关键点；根据所述关键点确定所述目标轮廓对应的手指数量，并根据所述手指数量确定所述红外图像中的所述手掌轮廓。
114.可选地，检测模块具体用于：根据每两个相邻的所述凸点，以及所述目标轮廓上每两个相邻的所述凸点之间的所述凹点构建三角形；基于预设规则，根据所述三角形的参数判断各个所述三角形中与所述凹点相连的边是否为手指；根据判断结果确定所述目标轮廓对应的手指数量。
115.可选地，检测模块具体用于：判断所述三角形的各个参数是否在相应的预设范围内；若是，则表示所述三角形中与所述凹点相连的边为手指。
116.可选地，检测模块具体用于：判断所述手指数量是否在预设范围内，若是，则表示所述目标轮廓为所述手掌轮廓；若否，则表示所述目标轮廓不是所述手掌轮廓。
117.可选地，提取模块具体用于：根据所述深度图像生成点云数据；从所述点云数据中提取与所述手掌轮廓对应的所述当前手势特征。
118.可选地，获取模块具体用于：响应于游戏界面的启动操作，获取用户做出手势时的所述红外图像和所述深度图像。
119.可选地，还包括输出模块，所述输出模块用于：将所述手势识别结果传输至车机，所述车机用于根据所述手势识别结果执行相应的游戏动作，并在所述游戏界面进行显示。
120.如图4所示，本发明又一实施例提供的一种车辆，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的手势识别方法。
121.可选地，该车辆还包括摄像头和显示装置，摄像头和显示装置分别与处理器连接。摄像头用于拍摄用户做出手势时的红外图像和深度图像，显示装置可包括显示屏等，用于显示相应的游戏界面等。
122.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。在本技术中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单
元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
123.虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。