基于手势检测的智能座舱内的游戏控制方法与流程

1.本发明涉及基于手势检测的智能座舱内的游戏控制方法。


背景技术：

2.手势姿态估计通过手势动作感应识别并加以特定的含义可实现更高效的交互性，从而消除大部分电子控制设备物理连接的必要性，除了便捷性的特点，设备轻量化用户体验也有很大提升，目前该技术可用于驾驶中的辅助驾驶功能，智能家居中的手势控制，视频直播中的手势表情，智能制造中的机械臂的远程操纵等诸如汽车，医疗及其他智能硬件相关领域。
3.所能识别的手势定义举例与游戏操纵手柄或游戏中部分动作的定义进行对应示例如下，图1a是常规游戏手柄，其中“上”，“下”，“左”，“右”按键如图所示，一般在游戏中，人物向前后左右的移动操作由上述按键进行，目前我们可以通过手势识别控制座舱内的游戏娱乐系统，例如图1b的手势示例中标有上下左右箭头的手势姿势通过相机采集并经过图像处理和识别，识别出食指方向，从而映射为常规游戏手柄中的“上”，“下”，“左”，“右”类按键操作，从而控制游戏。
4.目前在智能座舱内的游戏控制主要通过娱乐主机与相应的物理操作设备连接，有两种方法处于分别处于量产和研究当中，首先，处于量产的方法是如通过操作手柄等物理连接线的方式实现在车载终端的游戏娱乐，此方法仍然为传统的物理连接。
5.另外一种尚处于实验阶段的控制方法是，联动座舱内的方向盘，油门脚踏板，刹车踏板等固有设施，例如通过判断油门踏板的下压有效深度从而推断加速度等物理信号效用并经转换进而控制车载游戏执行相应的动作，或者通过当时车辆的挂载挡位判断游戏模式，通过方向盘的有效转向度数操纵游戏中的特定行为，这种方式的优点在于可以给玩家沉浸式游戏体验但是整体安全性能不高。
6.通过游戏手柄等线控模式操作游戏的方法仍然为传统的物理连接，按键单一不能基于客户定制多样化控制方案且由于仍需客户直接触摸操作柄，其操纵柄的清洁及维护也会影响用户游戏体验。
7.联动座舱内的方向盘，油门脚踏板，刹车踏板等固有设施这种方式操作座舱内车载娱乐系统的优点在于可以给玩家沉浸式游戏体验但是整体安全性能不高。因为在线游戏的控制系统和整车驾驶系统连通易受网络攻击存在一定的安全隐患，此外此方法的市场推广性有待考证，因目前大部分主机厂均不会开放整车核心控制系统与娱乐系统联动，故上述第二种方法的商用价值及可落地性需要提升。


技术实现要素：

8.为克服上述缺点，本发明的目的在于提供一种在整体安全性及客户体验感之间寻找一个平衡，而且需要一种切实可落地易于商用的基于手势检测的智能座舱内的游戏控制方法。
9.为了达到以上目的，本发明采用的技术方案是：一种基于手势检测的智能座舱内的游戏控制方法，包括：视频输入步骤，通过摄像头采集视频流中玩家手势及动作，经过图像预处理送入卷积神经网络进行手势检测；手势检测步骤，通过迁移学习训练所述卷积神经网络并微调模型后通过手势识别模型识别定位手势关键点，完成关键点坐标的回归，通过不同关键点之间的相对位置识别手势动作；手势检测步骤，判定是否为功能相关手势，将识别的手势动作与预定义的游戏场景动作完成映射，此过程需进行图像增强的抗干扰处理，同时在训练的模型中使用基于局部注意力机制的低光照视频图像增强网络，将光线过暗或者质量不佳的图片进行图像增强恢复成高质量的图片再识别；若此帧没有检测到手势或者检测到与目前游戏不相关的手势，则进入等待后续帧输入步骤：不对当前车载游戏执行任何操作，返回至手势检测步骤并等待下一帧的判断；若是功能相关手续，进入游戏操作步骤，根据识别的手势进行游戏操作，并可根据玩家游戏表现适当调节游戏的速度及模式。
10.优选地，所述手势识别模型生成的步骤包括搭建神经网络模型，分别进行模型微调和机器学习方法，所述模型微调基于可分离卷积的浅层网络架构，微调预训练模型分别冻结前1/3，2/3和3/4层并分别输出20、26、32、54个关键点，取准确率最高的3个模型；所述机器学习方法采用gbdt、svm回归、线性回归器、类dlib级联回归器，取准确率最高的2个模型;将该5个模型做adaboost级联，继而生成手势识别模型。
11.优选地，所述机器学习方法包括：步骤一，首先将机器学习模型中最高准确率的模型1号和4号做级联投票，确定权重
ɑ
1和
ɑ
4构成第二级模型，
ɑ
的确定方式如下式（1），其中e为每个子模型的测试误差率，误差率越低的模型在下一轮级联训练中会获得更高的权重；（1）；步骤二，将步骤一产生的第二级模型2号与神经网络生成模型中准确率最高者（5号模型）做再一次的级联，由此确定模型权重
ɑ
2和
ɑ
5，由此生成第三级模型，
ɑ
的确定方式同步骤一；步骤三，将第三级模型与后续准确率第二高的深度学习模型6做级联生成第四级模型，以此类推，指导穷尽topn的深度学习模型，最终生成的模型m由n个子模型级联而成，则：m=
ɑn(
ɑ
n-1
*(m
n-1
)
ɑ
n-1
*(m
n-2
)) mnn≥1。
12.优选地，所述卷积神经网络的模型中，手势识别神经网络主干网络backbone由6个卷积层和3个全连接层组成，在模型中，卷积核的形状是3
×
3，所有池化内核的大小为2
×
2，步幅与内核的大小相同，为2，softmax最后输出54个值，分别为手势中个点关节处的回归坐标。
13.优选地，所述图像预处理采用视频流逐帧处理，并对图像预处理与数据增强处理，最后件图片resize后送入卷积神经网络。
14.优选地，所述微调模型的过程使用可分离卷积结构，分别冻结模型后对其余层进行下述流程的训练：步骤一，样本采用 48*48 作为输入，来训练cnn卷积层，然后在训练后，采用更高分辨率的图像再次微调除了全连接层以外层数的参数，此时分辨率的突然切换对模型性能有一定影响；步骤二，使用类似yolo的训练方法，采用 224*224 图像进行模型预训练后，再采用 448*448 的高分辨率样本对分类模型进行微调（10个epoch），使网络特征逐渐适应 448*448 的分辨率，然后再使用 448*448 的检测样本进行训练，缓解了分辨率突然切换造成的影响。
15.步骤三，使用上述两种方法分别冻结不同程度的模型后预训练，并将softmax输出改为20，26，32，54四种情况对模型进行级联训练。
16.优选地，所述更高分辨率的图像包括128*128、224*224、448*448。
17.优选地，所述摄像头支持usb接口、gige千兆网接口。
18.本发明基于手势检测的智能座舱内的游戏控制方法的有益效果是：基于手势识别及姿态估计完成智能座舱内的人机交互，通过所述手势控制方法，可实现座舱内软硬件设备的联动，操纵各类游戏及舱内娱乐设备，调节氛围灯光及完成部分设备的基于手势姿态的响应；通过多模交互等诸如声音感知，视线追踪等方式辅助手势识别实现座舱内生物特征指令的多样化控制及协调，并可以个性化定制用户指令，为用户提供个性化的座舱控制体验，提高整个智能座舱智能化，定制化，个性化的系统配置。
附图说明
19.图1a为现有的常规游戏手柄的示意图；图1b为现有的游戏中部分动作的示意图；图2为本实施例基于手势检测的智能座舱内的游戏控制方法的流程图；图3为本实施例中视频输入步骤的流程图；图4为本实施例中手势识别模型的生成流程图；图5为本实施例中双手组合手势的示意图；图6为本实施例中单手手势的示意图。
具体实施方式
20.下面对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
21.参阅附图2-4所示，本实施例的一种基于手势检测的智能座舱内的游戏控制方法，包括：视频输入步骤，通过摄像头采集视频流中玩家手势及动作，经过图像预处理送入卷积神经网络进行手势检测；具体的，图像预处理采用视频流逐帧处理，并对图像预处理与数据增强处理，最后件图片resize后送入卷积神经网络，本实施例中的摄像头支持usb接口、gige千兆网接口；手势检测步骤，通过迁移学习训练卷积神经网络并微调模型后通过手势识别模型
识别定位手势关键点，完成关键点坐标的回归，通过不同关键点之间的相对位置识别手势动作；手势检测步骤，判定是否为功能相关手势，将识别的手势动作与预定义的游戏场景动作完成映射，此过程需进行图像增强的抗干扰处理，同时在训练的模型中使用基于局部注意力机制的低光照视频图像增强网络，将光线过暗或者质量不佳的图片进行图像增强恢复成高质量的图片再识别；若此帧没有检测到手势或者检测到与目前游戏不相关的手势，则进入等待后续帧输入步骤：不对当前车载游戏执行任何操作，返回至手势检测步骤并等待下一帧的判断；若是功能相关手续，进入游戏操作步骤，根据识别的手势进行游戏操作，并可根据玩家游戏表现适当调节游戏的速度及模式。
22.其中，手势识别模型生成的步骤包括搭建神经网络模型，分别进行模型微调和机器学习方法。
23.模型微调基于可分离卷积的浅层网络架构，微调预训练模型分别冻结前1/3，2/3和3/4层并分别输出20、26、32、54个关键点，取准确率最高的3个模型；机器学习方法采用gbdt、svm回归、线性回归器、类dlib级联回归器，取准确率最高的2个模型;将该5个模型做adaboost级联，继而生成手势识别模型。
24.机器学习方法包括如下步骤：步骤一，首先将机器学习模型中最高准确率的模型1号和4号做级联投票，确定权重
ɑ
1和
ɑ
4构成第二级模型，
ɑ
的确定方式如下式（1），其中e为每个子模型的测试误差率，误差率越低的模型在下一轮级联训练中会获得更高的权重；（1）；步骤二，将步骤一产生的第二级模型2号与神经网络生成模型中准确率最高者（5号模型）做再一次的级联，由此确定模型权重
ɑ
2和
ɑ
5，由此生成第三级模型，
ɑ
的确定方式同步骤一；步骤三，将第三级模型与后续准确率第二高的深度学习模型6做级联生成第四级模型，以此类推，指导穷尽topn的深度学习模型，最终生成的模型m由n个子模型级联而成，则：m=
ɑn(
ɑ
n-1
*(m
n-1
)
ɑ
n-1
*(m
n-2
)) mnn≥1。
25.本实施例中的卷积神经网络的模型中，手势识别神经网络主干网络backbone由6个卷积层和3个全连接层组成，在模型中，卷积核的形状是3
×
3，所有池化内核的大小为2
×
2，步幅与内核的大小相同，为2，softmax最后输出54个值，分别为手势中个点关节处的回归坐标，如下表所示。网络结构输出特征图核尺寸及步长输入捕获图像48*48*1 卷积层148*48*323*3,k=32卷积层248*48*323*3,k=32池化层124*24*322*2卷积层324*24*643*3,k=64
卷积层424*24*643*3,k=64池化层212*12*642*2卷积层512*12*1283*3,k=128卷积层612*12*1283*3,k=128池化层36*6*1282*2全连接层164 全连接层264 全连接层36 softma*54 26.本实施例中的微调模型的过程使用可分离卷积结构，分别冻结模型后对其余层进行下述流程的训练：步骤一，样本采用 48*48 作为输入，来训练cnn卷积层，然后在训练后，采用更高分辨率的图像再次微调除了全连接层以外层数的参数，此时分辨率的突然切换对模型性能有一定影响；步骤二，使用类似yolo的训练方法，采用 224*224 图像进行模型预训练后，再采用 448*448 的高分辨率样本对分类模型进行微调（10个epoch），使网络特征逐渐适应 448*448 的分辨率，然后再使用 448*448 的检测样本进行训练，缓解了分辨率突然切换造成的影响。
27.步骤三，使用上述两种方法分别冻结不同程度的模型后预训练，并将softmax输出改为20，26，32，54四种情况对模型进行级联训练。
28.本实施例，通过软件定义完成座舱内游戏等多模系统的交互，其方案的迁移能力，可拓展性及新款游戏或者对整个智能座舱内的范娱乐系统及硬件配饰的支持性更高，便于客户的个性化定制及升级维护。
29.本实施例基于深度学习模型和集成学习算法来实现对手势姿态的识别与估计，后根据检测结果将其对应于游戏中的不同动作进行游戏控制及操作。这与之前，通过物理连接的操纵柄或者联动车机主设备的方法有本质不同，本发明是通过将手势姿态或者其他生物特征经软件及相关算法定义转化为游戏接口可接受的控制信号，二此前的其他技术方案更多的是通过硬件操作传递控制信号。
30.如图5所示，关于用户可定义的双手组合手势，设备可以识别相机视场范围内的横向可变距离手势(如图中直线a所示的蓝色箭头延虚线两侧拓展的可伸缩距离)，手的360度旋转下的显著变化，双手之间组成直线(如直线a,b,c,d所示)的不同角度倾角变化。
31.如图6所示，单手手势举例如“点赞”，“比心”，“单手握拳”，“单手比耶”，“剪刀手”及阿拉伯数字一到十等手势造型，注，本模型可识别包括但不限于上述方式的手势，并将其应用于操作游戏，下图为部分示例手势，从左到右依次为“点击”，“左右划动”，“双指右倾斜运动”，“挥动手掌”，“顺时针旋转”，“双指左倾斜运动”。
32.整车安全性能提高，驾驶主系统软硬件与车载娱乐控制系统解耦合，相互独立，不涉及到潜在的驾驶事故风险及隐患同时能实现智能化，交互式的现代座舱体验。
33.商用化程度高，支持不同车型，不同平台的敏捷开发。
34.本实施例的迁移学习轻量化模型squeezenet、mobilenet、shufflenet、*ception
的设计思想，进行可分离卷积设计，并基于模块化思想根据不同模块所在网络的深度不同，将对应的卷积核个数进行翻倍处理（*2，*4及*8倍）。
35.采用relu，elu等激活函数并设置相应的动量参数，学习率进行模型的优化，使目前判别准确率达到99%左右，根据不同场景下例如，黑暗，强光，遮挡等条件下的识别进行针对性优化。
36.进行模型的剪枝及优化控制模型大小并支持多款国产芯片及多计算平台的算法移植部署。
37.增量学习算法，支持多种手势的学习和适配，可单手，双手组合不同手势，动态，静态手势的多重识别，故个性化定制程度大幅提升，可适应目前市场上绝大部分游戏的迁移及拓展。
38.以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。