基于手势检测的智能座舱内的游戏控制方法与流程

技术特征：
1.一种基于手势检测的智能座舱内的游戏控制方法，其特征在于，包括：视频输入步骤，通过摄像头采集视频流中玩家手势及动作，经过图像预处理送入卷积神经网络进行手势检测；手势检测步骤，通过迁移学习训练所述卷积神经网络并微调模型后通过手势识别模型识别定位手势关键点，完成关键点坐标的回归，通过不同关键点之间的相对位置识别手势动作；手势检测步骤，判定是否为功能相关手势，将识别的手势动作与预定义的游戏场景动作完成映射，此过程需进行图像增强的抗干扰处理，同时在训练的模型中使用基于局部注意力机制的低光照视频图像增强网络，将光线过暗或者质量不佳的图片进行图像增强恢复成高质量的图片再识别；若没有检测到手势或者检测到与目前游戏不相关的手势，则进入等待后续帧输入步骤，不对当前车载游戏执行任何操作，返回至手势检测步骤并等待下一帧的判断；若是功能相关手续，进入游戏操作步骤，根据识别的手势进行游戏操作，并可根据玩家游戏表现适当调节游戏的速度及模式。2.根据权利要求1所述的基于手势检测的智能座舱内的游戏控制方法，其特征在于：所述手势识别模型的生成包括搭建神经网络模型，分别进行模型微调和机器学习方法，所述模型微调基于可分离卷积的浅层网络架构；微调预训练模型分别冻结前1/3，2/3和3/4层并分别输出20、26、32、54个关键点，取准确率最高的3个模型；所述机器学习方法采用gbdt、svm回归、线性回归器、类dlib级联回归器，取准确率最高的2个模型;将该5个模型做adaboost级联，继而生成手势识别模型。3.根据权利要求2所述的基于手势检测的智能座舱内的游戏控制方法，其特征在于，所述机器学习方法包括：步骤一，首先将机器学习模型中最高准确率的模型1号和4号做级联投票，确定权重
ɑ
1和
ɑ
4构成第二级模型，
ɑ
的确定方式如下式（1），其中e为每个子模型的测试误差率，误差率越低的模型在下一轮级联训练中会获得更高的权重；（1）；步骤二，将步骤一产生的第二级模型2号与神经网络生成模型中准确率最高者（5号模型）做再一次的级联，由此确定模型权重
ɑ
2和
ɑ
5，由此生成第三级模型，
ɑ
的确定方式同步骤一；步骤三，将第三级模型与后续准确率第二高的深度学习模型6做级联生成第四级模型，以此类推，指导穷尽topn的深度学习模型，最终生成的模型m由n个子模型级联而成，则：m=
ɑ
n
(
ɑ
n-1
*(m
n-1
)
ɑ
n-1
*(m
n-2
)) m
n
n≥1。4.根据权利要求1所述的基于手势检测的智能座舱内的游戏控制方法，其特征在于：所述卷积神经网络的模型中，手势识别神经网络主干网络backbone由6个卷积层和3个全连接层组成，在模型中，卷积核的形状是3
×
3，所有池化内核的大小为2
×
2，步幅与内核的大小相同，为2，softma*最后输出54个值，分别为手势中个点关节处的回归坐标。5.根据权利要求1所述的基于手势检测的智能座舱内的游戏控制方法，其特征在于：所述摄像头输入视频流后，所述图像预处理采用视频流逐帧处理，并对图像预处理与数据增
强处理，最后件图片resize后送入所述卷积神经网络。6.根据权利要求1所述的基于手势检测的智能座舱内的游戏控制方法，其特征在于：所述微调模型的过程使用可分离卷积结构，分别冻结模型后对其余层进行下述流程的训练：步骤一，样本采用48*48 的分辨率作为输入，来训练cnn卷积层，然后在训练后，采用更高分辨率，如128*128、224*224、448*448的图像再次微调除了全连接层以外层数的参数，此时分辨率的突然切换对模型性能有一定影响；步骤二，使用类似yolo的训练方法，采用 224*224 图像进行模型预训练后，再采用 448*448 的高分辨率样本对分类模型进行微调，使网络特征逐渐适应 448*448 的分辨率，然后再使用 448*448 的检测样本进行训练，缓解了分辨率突然切换造成的影响；步骤三，使用上述两种方法分别冻结不同程度的模型后预训练，并将softmax输出改为20，26，32，54四种情况对模型进行级联训练。7.根据权利要求6所述的基于手势检测的智能座舱内的游戏控制方法，其特征在于：所述更高分辨率的图像包括128*128、224*224、448*448。8.根据权利要求1所述的基于手势检测的智能座舱内的游戏控制方法，其特征在于：所述摄像头支持usb接口、gige千兆网接口。

技术总结
本发明公开了一种基于手势检测的智能座舱内的游戏控制方法，包括：视频输入步骤；手势检测步骤，通过迁移学习训练所述卷积神经网络并微调模型后通过手势识别模型识别定位手势关键点；手势检测步骤，判定是否为功能相关手势；若此帧没有检测到手势或者检测到与目前游戏不相关的手势，则进入等待后续帧输入步骤，不对当前车载游戏执行任何操作，返回至手势检测步骤并等待下一帧的判断；若是功能相关手续，进入游戏操作步骤，根据识别的手势进行游戏操作，并可根据玩家游戏表现适当调节游戏的速度及模式。本发明通过所述手势控制方法，可实现座舱内软硬件设备的联动，操纵各类游戏及舱内娱乐设备，调节氛围灯光及完成部分设备的基于手势姿态的响应。基于手势姿态的响应。基于手势姿态的响应。


技术研发人员：赵静宇 欧阳洵
受保护的技术使用者：苏州市日深智能科技有限公司
技术研发日：2022.04.12
技术公布日：2022/7/15