一种基于卷积神经网络的手势识别方法

1.本发明涉及模式识别技术领域，特别是涉及一种基于卷积神经网络的手势识别方法。


背景技术：

2.当前的手势识别系统广泛应用于人机交互中，并朝着高精度、高效率、低设计成本不断发展。而手势识别人机交互系统的智能化、高效化、自动化直接影响了系统的使用性能，为了提高手势识别设计知识的重用度以及手势识别的设计效率，满足该领域对于手势识别的高质量需求，研制一种基于卷积神经网络的手势识别方法具有重要的现实意义。
3.从现阶段的专利公开以及文献资料显示，一种用于表面肌电信号手势识别的快速适配方法(cn202210183516.9)利用同一设备采集不同用途的手部表面肌电信号，并对表面肌电信号数据进行分割样本，将处理后的表面肌电信号数据进行训练进行手势识别，该方法将造成手势识别设计过程过于复杂，每设计一个手势识别就需要一次表面肌电信号数据参数，而且往往结果很难达到较高的精度；一种毫米波雷达微动手势识别方法(cn202210164177.x)，该方法通过信号接收器接收人体手部反射的回波信号，根据线性调频信号构成的发射信号集和回波信号构成的回波信号集获取差频组合集，计算获取的差频组合集与差频样本集的匹配度，将匹配度与差频样本集构成的匹配范围进行筛选，得到人体手势的识别结果，该方法不能准确的描绘出手势识别中的细节部分，造成手势识别设计不完整；一种基于多视角三维骨骼信息融合的动态手势识别方法(cn202210276784.5)采用基于滑动窗口的检测方法对原始动态多手势序列进行分割和处理得到多个等长的单手势序列，对单手势序列进行分类，获得对应手势分类结果，该方法精度较低、适应性较差。
4.综上，现有的发明在手势识别设计中，在一定程度上可以实现手势识别，但存在只能通过现有编程完成设计要求、准备时间长、识别率低、错误率高等诸多问题，而在手势识别中，很多时候需要计算机的自主判断，因此，现有技术实施效果未能满足手势识别应用高质量、高效率的发展要求。


技术实现要素：

5.本发明针对复杂手势识别设计，提出一种基于卷积神经网络的手势识别方法，辅助设计人员进行设计，提高手势识别设计效率，提高手势识别设计质量、减少设计反复，提升手势识别设计能力，积累设计经验与知识、重用设计知识，提升手势识别研发能力，缩短手势识别研制周期。本文成果可推广应用到其它复杂装备产品设计，有利于提高其设计质量和设计效率，提升研发能力，积累重用设计知识。
6.本发明通过以下技术方案来实现上述目的：
7.本发明提供一种基于卷积神经网络的手势识别方法，该方法包含以下阶段：使用yolov5进行特征提取阶段、利用opencv特征的分类剥离阶段、特征数据深度学习阶段，所述特征提取阶段是根据手势识别设计需要部署特征甄别函数、特征控制函数；所述分类剥离
阶段是将opencv特征识别功能用于手势识别上，使其将肤色、手纹、轮廓特征进行剥离；所述深度学习阶段是将提取出来的手势识别特征作为训练集用在学习中，其中使用的深度学习系统包含特征提取系统、特征分离系统、特征表达形式数据化系统、特征深度学习优化系统、特征自动完善系统；所述特征提取系统包含yolov5的识别函数库、opencv图像识别库、静态模型识别库，所述特征分离系统包含matlab图像处理库、opencv特征分离函数库、python特征校验函数库，所述特征表达形式数据化系统包含yolov5内自动数据转换函数及特征可视化辅助函数，所述特征深度学习优化系统包含pytorch框架下的cnn神经网络特征学习函数，所述特征自动完善系统包含yolov5特征知识库、yolov5知识工程库、特征改进库；所述一种基于卷积神经网络的手势识别方法具体包含以下步骤：(1)根据手势识别的形状特性、复杂手势结构特征提取装置、分类剥离、深度学习控制系统对手势特征进行解析；(2)通过不同的手势组成部分的特征表现剥离特征，并为每个特征进行命名；(3)将识别出来的特征作为深度学习的训练库，再次通过手势结构识别知识库验证深度学习训练出来的结果，如果训练结果基本符合要求，则将训练结果加入知识库，作为其中的一种识别方式；(4)将完成当前手势识别的深度学习知识体系转移至下一个手势识别的标准，然后循环(2)、(3)步骤，直至所有的手势识别特征识别工作保质保量完成。
8.进一步的，所述特征提取系统通过yolov5的识别函数库使用矩阵以及点数据的形式进行手势识别，特征识别采用卷积神经网络的方法，基于机理的遗传算法对异常数据进行识别和处理，将特征信息从手势识别的各个手势中提取出来。
9.进一步的，所述特征分离系统通过matlab图像处理、opencv特征分离函数、python特征校验函数，将一个个特征分离出来，通过深度学习函数控制手势识别的形状特征，自动调节手势识别中符合用户要求的结构特征，包含手势识别的肤色、手纹、轮廓。
10.进一步的，所述特征表达形式数据化系统可以通过特征可视化函数将手势的各种特征值以数值形式表现出来，同时将用于信息转化的模型按照模型的建模信息、建模结果进行模型库的建立，并保存在深度学习模型库中。
11.进一步的，所述特征深度学习优化系统可以将点数据或者矩阵数据使用cnn神经网络进行训练，可使用深度学习功能实现建模后的手势识别参数自主优化。
12.进一步的，所述特征自动完善系统可以根据深度学习的训练结果通过yolov5特征库自动更新数据库中的数据，根据手势识别的建模手势尺寸参数变成参数化建模过程中进行驱动的特征参数和利用特征之间的约束关系完成的手势尺寸参数，自动对手势识别的特征进行优化并重新建模。
13.进一步的，所述yolov5内自动数据转换函数可以将yolov5的特征转化成矩阵数据，该数据记录yolov5特征位置和特征值。
14.更进一步的，所述特征可视化辅助函数可以在虚拟的特征识别函数作用下模拟出识别过程中是否会造成重叠，并将产生重叠的特征从系统中剔除掉。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根
据这些附图获得其它的附图。
16.图1是本发明提供的一种基于卷积神经网络的手势识别方法的执行流程图；
17.图2是本发明提供的一种基于卷积神经网络的手势识别方法的技术架构图；
18.图3是本发明提供的一种基于卷积神经网络的手势识别方法的特征识别图；
19.图4是本发明提供的一种基于卷积神经网络的手势识别方法的软件界面图。
具体实施方式
20.下面结合附图对本发明做进一步的详细说明。此处所说明的附图是本技术的一部分，用来对本发明作进一步解释，但并不构成对本发明的限定。
21.如图1-图4所示，一种基于卷积神经网络的手势识别方法，包含以下步骤：
22.(1)使用yolov5进行特征提取，使计算机可以自主识别手势识别特征并根据用户提出的请求自主设计及改良手势识别；提取出来的手势识别特征是相互关联的，同时特征之间的关系必须是完全约束关系。
23.(2)将opencv特征识别功能作用于手势识别上，进行特征的初步识别，可以识别和分析包含肤色、手纹、轮廓特征，并可以根据制定的深度学习规则对手势的结构特征进行分析，通过可视化交互界面的方式将未通过的深度学习规则分析并显示出来。
24.(3)将提取出来的手势识别特征作为训练集使用在深度学习中，通过yolov5的识别函数库使用矩阵和点数据的形式进行手势识别，特征识别采用卷积神经网络的方法，基于机理的遗传算法对异常数据进行识别和处理，从手势识别的各个手势中提取出来；通过深度学习模型库进行手势识别类型、手势参数、分类名称、模板信息等特征的查询，同时通过深度学习界面能够看到待设计的手势识别模型，根据手势识别设计要求进行参数化设计，将设计出的手势识别模型保存到模型库中；通过手势检测程序开发的包含模型几何信息、存储信息和预览信息作为深度学习的反馈信息，辅助深度学习数据库进行更新。
25.(4)通过matlab图像处理、opencv特征分离函数、python特征校验函数，将一个个特征分离出来，通过深度学习系统控制手势识别的形状特征，根据手势识别的类型、面积、结构以及检测精度和效率要求自动调节手势识别中符合用户要求的结构特征，包含手势识别的肤色、手纹、轮廓，得到各个类型的手势识别深度学习特征检测标准。
26.(5)yolov5内自动数据转换函数可以将yolov5的特征转化成矩阵数据，通过特征可视化系统将手势的各种特征值以数值形式表现出来，该数据记录yolov5特征位置和特征值配合特征可视化辅助函数可以在虚拟的识别特征识别函数作用下模拟出识别过程中是否会造成重叠，将产生重叠的特征从系统中剔除掉。
27.(6)使用pytorch框架下的深度学习优化系统将点数据或者矩阵数据使用卷积神经网络进行训练，通过人机交互界面将信息输入到相应的控件中，系统根据输入的信息进行深度学习规则推理，若能够推理结果，则可以查看相应的推理的结果是否满足要求；若不能推出相应的结果，则系统将启动自学习功能，将输入的信息保存到深度学习知识库中，扩充并完善深度学习知识库。
28.(7)最后，包含yolov5特征知识库、yolov5知识工程库、特征改进库的特征自动完善系统可以根据深度学习的训练结果通过yolov5特征库自动更新数据库中的数据；根据手势识别的形状特性、复杂手势结构通过不同的手势组成部分的特征表现优化特征，并为每
个优化后的特征进行重新命名，将识别出来的特征作为深度学习的训练库，再次通过手势识别结构的知识库验证深度学习训练出来的结果，如果训练结果基本符合要求，则将训练结果加入知识库，将完成当前手势识别的深度学习知识体系转移至下一个手势识别的标准，其中，使用的知识体系转移方法有两种：一种是将手势识别的手势尺寸参数根据结构的特征进行分类，然后进行相应的编号保存到excel数据表格中，然后运用yolov5训练程序调用表格中的数据，将深度学习优化后的手势尺寸参数载入到人机交互界面进行显示，从而实现手势识别特征的创建，如果载入的参数不同，生成的结构特征尺寸也是不同的；另一种实现尺寸驱动的方法是利用yolov5软件中的知识工程模块将手势识别的建模过程设置成相应的公式，这个公式可以表示手势识别各个尺寸之间的关系，当公式建立完成之后，将深度学习优化后的手势尺寸参数输入到公式的变量中，就可以完成模型的建立，如果修改公式变量的值，手势识别的模型尺寸就会发生相应的变化，方便将从前一个手势识别上的优化特征自动匹配到下一个手势识别上，达到深度学习数据库自动更新优化的目的。
29.最后应说明的是：以上实施例仅用于说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细说明，所属领域的普通技术人员依然可以对本发明的具体实施方案进行修改或者等同替换，而这些并未脱离本发明精神和范围的任何修改或者等同替换，其均在申请待批的本发明的权利要求保护范围之内。