一种基于区域优化策略的手势误识降低方法与流程

1.本发明属于座舱交互技术领域，尤其涉及一种基于区域优化策略的手势误识降低方法。


背景技术：

2.智能化的浪潮已经席卷全球，在汽车领域也进行着从大屏时代向智能座舱时代的迭代。智能座舱改变的并非是汽车，而是用户与汽车的交流方式。智能座舱给用户带来的是更好的便利性和更人性化的互动。传统的座舱交互方式都是基于物理按键，慢慢发展到车机端的触屏操控，再后来发展到语音和手势交互控制。车载语音交互已经比较普及，很多新车型均有搭载。但它还是有自己的局限性，比如识别率、识别速度、对自然话术的支持等均还不完善。其中，手势识别因其自然且符合用户操控逻辑，能给用户带来无感交互体验的优势，能够很好的弥补语音操控不便和尴尬的缺点，使得交互方式愈发便捷和智能。因此，提高手势识别率，准确判断出用户手势意图，对提高用户智能操控体验尤为重要。
3.得益于计算机视觉和机器学习，特别是深度学习中卷积神经网络等相关科学的快速发展，手势识别领域研究成果较为成熟。运用在智能家居、智能娱乐等设备的场景中现已常见。在汽车智能座舱领域，基于手势识别的交互技术比较成熟。例如：cn104933408b公开的“手势识别的方法及系统”，适用于人机交互技术领域。所述方法包括：当检测到手势起始坐标时，记录从所述手势起始坐标开始的运动轨迹信息；从所述运动轨迹信息中提取固定特征信息；通过预设的手势识别模型对所述固定特征信息进行识别，并输出识别结果；判断所述识别结果中是否存在错误识别的样本；若存在，从所述错误识别的样本中提取特定特征信息；通过所述预设的手势识别模型对所述特定特征信息进行识别，并输出识别结果。该发明不仅可以保证手势识别的实时性，而且可以极大的提高手势识别的正确率。又如cn201810811365.0公开“一种基于手势关键点的动态手势识别方法和系统”此方法解决了现有动态手势识别方法中存在的由于需要人工设计模板所导致的拓展性差、准确率低的技术问题，以及由于需要大量训练样本所导致的训练周期长的技术问题。但是，此方法难以应付车内环境干扰较强(如光线变换、人为干扰、遮挡等)、关键区域不确定、以及用户操作手势不规范性等诸多问题导致的手势误识别。


技术实现要素：

4.针对现有技术存在的上述不足，本发明的目的在于提供一种基于区域优化策略的手势误识降低方法，解决现有技术受车内环境干扰较强、关键区域不确定等诸多问题，造成手势误识别率高，造成用户体验感不好，甚至存在安排隐患等问题。
5.为实现上述目的，本发明采用如下技术方案：
6.一种基于区域优化策略的手势误识降低方法，在实车内设置手势响应区域，与车载摄像头对应的有效摄像区域范围对应；通过响应区域的手势识别将输入事件输出到相应的应用接口进行功能响应，降低误触发率提升用户座舱手势操控功能体验；所述手势响应
区域为车辆中控位及后排中间的位置；通过车载摄像头的位置设置，采集手势响应区域内的动态手势。
7.所述动态包含根据手势定义做的正样本数据，以及根据用户场景考虑的接近手势定义，并建立动态手势识别模型。
8.进一步，所述对动态手势动分为左滑、右滑和ignore三个类别的分类识别。
9.将动态手势识别模型输出的手势动作的前n帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势；否则，此手势为无效手势。所述动态手势识别模型输入包含同一个track id n帧的21个手部关键点位置和置信度信息。
10.进一步，本发明方法，包括如下误识降低流程：
11.1)数据采集：在实车内，通过车载摄像头采集手势响应区域内的动态手势；
12.2)手部检测：将采集到的动态手势数据通过手部检测模块，获取图像中手势区域的位置，左上角(x1,y1),右下角(x2，y2)和手部框置信度；
13.3)手部跟踪：由于手部检测器可输出手部位置，车内摄像头相对固定，同时手势执行过程中用户手部位置也相对固定，因此利用手部的大小变化关系、图片的相似度关系、与手部在图片中的相对位置关系等，对图像中的手部区域进行追踪并给予track id，确保动作执行者的手势能够被正确识别；
14.若已检测到手，根据手部检测阶段检测出的手部图片，输入关键点检测模型，得出手部关键点的位置和置信度；
15.所述动态手势识别模型基于卷积神经网络，将手部跟踪模型和关键点检测模型处理好的数据输入到模型进行多次迭代训练和模型参数，训练好的动态手势分类模型能有效学习不同类别图像特征并进行识别；其中，动态手势识别模型主要包含同一个track id n帧的21个手部关键点位置和置信度信息。
16.4)连续帧识别：如果连续n(4)帧都是同一动作，且置信度均大于score_limit(0.9)，则确认此动作。其中此处的n和score_limit均为阈值，可参数化，需要经过实验调整至合适值；
17.5)区域优化限制策略：动态手势识别模型输出的手势动作的前n帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势；否则，此手势为无效手势；
18.6)车机应用事件响应：将事件输出到相应的应用接口应用对输入事件进行功能响应。
19.进一步，为了降低因手部检测对分类准确率的影响，将手势框向外扩大0.5倍，外扩方法如下：
20.x1'＝max(0,x1-(x2-x1)*0.5),y1'＝max(0,y1-(y2-y1)*0.5),
21.x2'＝min(w,x2-(x2-x1)*0.5),y2'＝min(h,y2 (y2-y1)*0.5)。
22.其中，w和h分别为图片分辨率的宽和高，x1和y1是手势区域框左上角的坐标位置，x2和y2是右下角的坐标位置；
23.根据外扩后的区域位置，将手势图片单独裁剪下来保存，并形成训练集、验证集和测试集。
24.相比现有技术，本发明具有如下有益效果：
25.1、本发明基于区域优化限制策略，在实车内设置手势响应区域，与车载摄像头对
应的有效摄像区域范围对应；通过响应区域的手势识别将输入事件输出到相应的应用接口进行功能响应，降低误触发率提升用户座舱手势操控功能体验；规定车内手势有效操控区域以降低误识别，大大减少了手势误识别，提高了用户体验。
26.2、本发明基于用户手部动作信息，对动态手势动作进行分类。同时结合动态手势用户使用场景，增加动态手势响应区域，减少如打方向盘、摸肚子、拍手臂和无意识手部挥动等相似手势的误识别情况，降低误触发率，从而提升用户座舱手势操控功能体验。
27.3、结合用户实际手势操控习惯，将动态手势识别模型输出的手势动作的前n帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势；否则，此手势为无效手势。
附图说明
28.图1是本发明基于区域优化限制策略动态手势有效区域示意图(整车俯视图的虚线框内)；
29.图2是本发明基于区域优化策略的动态手势识别模型输入图；
30.图3是本发明基于区域优化策略应用误识降低流程图。
具体实施方式
31.为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的说明，但本发明的实施方式不仅限于此。
32.参见图1，本发明提供一种基于区域优化限制策略的手势误识别降低方法，在实车内将车辆中控位及后排中间的位置设置为动态手势的有效区域，图中虚线框为动态手势的有效区域，通过车载摄像头的位置设置，采集有效区域内的动态手势；同时结合动态手势用户使用场景，增加动态手势响应区域，减少如打方向盘、摸肚子、拍手臂和无意识手部挥动等相似手势的误识别情况，降低误触发率，从而提升用户座舱手势操控功能体验。
33.其中，采集动态手势不仅包含根据手势定义做的正样本数据，还需要根据用户场景考虑接近手势定义，但又不能响应的负样本数据。同时，还需要采集大量车辆的自然驾驶数据，用于测试误识。
34.为了提高模型鲁棒性，数据采集时需不同光照、不同角度、不同用户习惯等场景下进行数据采集，以提高数据的丰富性。并且，还需要对采集的数据进行数据清洗及数据预处理。在用户的实际使用场景中，规定车内手势有效操控区域以降低误识别，大大减少了手势误识别，提高了用户体验。
35.进一步，本发明基于用户手部动作信息，对动态手势动作进行分类，包括左滑、右滑、ignore三个类别的分类识别。
36.参见图2，结合用户实际手势操控习惯，将动态手势识别模型输出的手势动作的前n帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势；否则，此手势为无效手势。动态手势识别模型输入主要包含同一个track id n帧的21个手部关键点位置和置信度信息。
37.参见图3，为本发明基于区域优化策略应用误识降低流程，具体包括如下步骤：
38.1)数据采集：在实车内，通过车载摄像头采集。为提高模型鲁棒性，数据采集时需
不同光照、不同角度、不同用户习惯等场景下进行数据采集，以提高数据的丰富性。并且，还需要对采集的数据进行数据清洗及数据预处理。其中，数据采集中不仅包含根据手势定义做的正样本数据，还需要根据用户场景考虑接近手势定义，但又不能响应的负样本数据。且还需要采集大量车辆的自然驾驶数据，用于测试误识。
39.2)手部检测：将采集到的数据通过手部检测模块，获取图像中手势区域的位置，左上角(x1,y1),右下角(x2，y2)和手部框置信度。为了降低因手部检测对分类准确率的影响，将手势框向外扩大0.5倍,外扩方法如下：
40.x1'＝max(0,x1-(x2-x1)*0.5),y1'＝max(0,y1-(y2-y1)*0.5),
41.x2'＝min(w,x2-(x2-x1)*0.5),y2'＝min(h,y2 (y2-y1)*0.5)。
42.其中，w和h分别为图片分辨率的宽和高，x1和y1是手势区域框左上角的坐标位置，x2和y2是右下角的坐标位置。根据外扩后的区域位置，将手势图片单独裁剪下来保存，并形成训练集、验证集和测试集。
43.3)手部跟踪：由于手部检测器可输出手部位置，车内摄像头相对固定，同时手势执行过程中用户手部位置也相对固定，因此利用手部的大小变化关系、图片的相似度关系、与手部在图片中的相对位置关系等，对图像中的手部区域进行追踪并给予track id，确保动作执行者的手势能够被正确识别。
44.若已检测到手，根据手部检测阶段检测出的手部图片，输入关键点检测模型，得出21个手部关键点的位置和置信度。其中21个手部关键点的分布如下：手腕处一个；每个手指从手指根部到指尖，每个关节处布一个关键点，即每个手指定义4个关键点(含大拇指)。
45.动态手势识别模型基于卷积神经网络，将手部跟踪模型和关键点检测模型处理好的数据输入到模型进行多次迭代训练和模型参数，训练好的动态手势分类模型能有效学习不同类别图像特征并进行识别。其中，动态手势识别模型主要包含同一个track id n帧的21个手部关键点位置和置信度信息。
46.因为单帧手势的分类结果可靠性不足，因此需要对分类结果做处理。如果连续n(4)帧都是同一动作，且置信度均大于score_limit(0.9)，则确认此动作。其中此处的n和score_limit均为阈值，可参数化，需要经过实验调整至合适值。
47.5)区域优化限制策略：在用户的实际使用场景中，有很多无意识的动作的特征与动态手势的特征基本一致，导致手势误识别。如主驾打方向盘，摸肚子，谈话的时候无意识手部挥动等。本发明为进一步降低误识别情况，结合用户实际手势操控习惯，规定车内手势有效操控区域。动态手势识别模型输出的手势动作的前n帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势。否则，此手势为无效手势。动态手势的有效区域主要包含车辆中控及后排中间的位置。此策略大大减少了手势误识别，提高了用户体验。
48.6)车机应用事件响应：将事件输出到相应的应用接口，例如上、下曲切歌，回家、上班、开窗户等车机应用对输入事件进行功能响应。
49.本发明在不增加硬件成本的情况下，在原有左右滑动态手势识别模型的基础上，仅增加左右滑动态手势响应区域。如果动态手势识别模型判断出当前时刻的动作为左滑或右滑时，前面n帧至少有一帧手部所有关键点落在响应区域内，则判断该手势为用户有意图的有效手势，将相应指令下发至车端，车端相应控制器响应对应手势功能。否则，则认为该手势为无效手势，车端相应控制器不响应此功能。
50.综上，本发明基于区域优化限制策略的手势误识别降低方法，在用户的实际使用场景中，规定车内手势有效操控区域以降低误识别，大大减少了手势误识别，提高了用户体验。基于用户手部动作信息，并对动态手势动作进行分类。同时，增加动态手势响应区域，减少如打方向盘、摸肚子、拍手臂和无意识手部挥动等相似手势的误识别情况，降低误触发率，从而提升用户座舱手势操控功能体验。结合用户实际手势操控习惯，将动态手势识别模型输出的手势动作的前n帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势；否则，此手势为无效手势。本发明有效解决了现有技术受车内环境干扰较强、关键区域不确定以及用户操作手势不规范性等诸多问题，造成手势误识别率高，导制用户体验感不好，甚至存在安排隐患等问题。
51.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。