一种基于电荷感应的数字9宫格手势动作识别的装置和方法与流程

1.本发明涉及数字识别、方向识别和非接触按键识别领域，具体涉及一种新型的实时非接触识别手写数字、方向、按键的装置和方法。


背景技术：

2.在信息时代的今天，随着科技的进步人们的信息安全越来越重要。在使用数字密码键盘的环境下，如手机的虚拟数字键盘、保险柜密码键盘等大多使用接触面板键盘作为主要输入设备。但是接触式的输入会留下指纹信息，从而可能造成个人信息的泄露，也有公共输入设备的卫生问题。所以需要一个非接触的输入设备，且可以识别输入信息，如手写数字，手势和隔空按键输入等。
3.《development of a prototype for non
‑
contact keyboard》文献中采用leapmotion实现非接触的pc端非接触式键盘，虽然仪器精密，但成本很高，而且仅能追踪10个手指的运动姿态。leap传感器根据内置的两个摄像头从不同角度捕捉的画面，重建出手掌在真实世界三维空间的运动信息。检测的范围大体在传感器上方25毫米到600毫米之间，检测的空间大体是一个倒四棱锥体。
4.对于手写数字识别，多是基于摄像头采集数据，使用神经网络算法和深度学习算法进行识别或者应用数字图像处理算法进行识别。。《recognition of english and arabic numerals using a dynamic number of hidden neurons》文献中介绍了一种确定单隐层误差反向传播神经网络最优隐神经元数邻域的方法，该方法避免了局部极小，保证了收敛性。
5.关于手势识别，目前也大多都基于图像和视频进行手势信号采集，并使用深度学习算法进行识别。在《real
‑
time gesture recognition by learning and selective control of visual interest points》文献中针对任意人对未指定手势的实时识别，提出了一个综合框架，应用四重视觉兴趣点策略和选择性控制方法，使识别系统具有自负荷监控功能，实现了包括服装的类型、姿势类型、运动轨迹的范围以及运动特性的个体差异等因素下的鲁棒识别。
6.综上所述，目前对于手写数字信号的采集，大多基于图像方法，但是成本和复杂度较高。为此，本文提出一种基于电荷感应的数字9宫格手势动作识别的装置和方法，该方法通过感应手部运动时产生的空间电荷并采用反向(bp)神经网络进行分类识别数字、按键和左右上下滑动等组合手势。该方法具有非接触、抗遮挡、成本低、系统简单等显著优势。


技术实现要素：

7.本发明的目的在于克服上述现有技术中存在的不足，提出一种基于电荷感应的数字9宫格手势动作识别的装置和方法。
8.为实现上述发明目的，本发明提出的技术方案为：一种基于电荷感应的数字9宫格手势动作识别的装置，如附图1所示，所述硬件采集电路，包括电荷传感器、放大滤波电路、
单片机，用于采集人指尖的运动信号，并通过单片机串口连接上位机；所述上位机，包括手写、方向、按键三种工作模式，手写模式下对指尖在探测电极阵列上方描绘的数字轨迹进行数字识别，包括数字0
‑
9，对数据预处理后运用bp神经网络进行识别，方向模式下对指尖在探测电极阵列上方描绘的方向轨迹进行方向识别，包括上下左右四个方向，对数据预处理后运用bp神经网络进行识别，按键模式下对指尖在探测电极阵列上方选中的按键进行识别，对信号的幅值进行分析进行识别。
9.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的装置，其特征在于，探测电极为金属或其他导电材质，由9个圆形电极组成，大小一致，直径范围为1cm
‑
2cm，且按照三行三列在同一水平平面等间距布放，间距范围为1cm
‑
2cm。
10.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的装置，其特征在于，上位机运用多线程技术，将耗时的信号分析处理和人机交互显示界面分开，主线程用于读取采集信号数据并展示波形，子线程用于调用算法进行识别。
11.一种基于电荷感应的数字9宫格手势动作识别的方法，其特征在于，包括如下步骤：
12.(1)搭建硬件采集电路：按照三行三列在同一水平平面等间距摆放探测电极，间距范围为1cm
‑
2cm，并开启硬件采集电路；
13.(2)上位机初始化：打开上位机后，设置串口信息，并打开子窗口；
14.(3)模式选择：可以选择“手写模式”、“方向模式”、“按键模式”；
15.(4)手写模式：点击“手写模式”按钮，根据上位机提示，在电极阵列平面5cm
‑
10cm范围处完成0
‑
9数字中的一种数字轨迹，通过数据预处理和bp神经网络算法进行手写数字识别，同时实时显示信号波形和识别结果；
16.(5)方向模式：点击“方向模式”按钮，根据上位机提示，在电极阵列平面5cm
‑
10cm范围处完成上下左右方向中的一种方向轨迹，通过数据预处理和bp神经网络算法进行方向识别，同时实时显示信号波形和识别结果；
17.(6)按键模式：点击“按键模式”按钮，根据上位机提示，在电极阵列平面5cm
‑
10cm范围处接近电极阵列中的一个电极，并通过每个电极信号的幅度进行按键识别，同时实时显示信号波形和识别结果；
18.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的方法，其特征在于，不同手写模式信号、方向模式信号、按键模式信号具有明显不同的信号特征。
19.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的方法，其特征在于，对不同模式进行不同的数据预处理，数据预处理在手写模式下按照有效信号产生的电极数量进行预分类，可以分为多类，再对有多个标签的分类进行bp神经网络算法运算，数据预处理在方向模式下按照垂直和水平方向有无有效信号产生进行预判断，并将垂直和水平方向有无信号和同一方向信号产生的时间顺序作为特征，利用bp神经网络算法二次验证。
20.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的方法，其特征在于，bp神经网络采用三层结构，即输入层、一层隐藏层、输出层，输入层节点为预处理后的数据段，隐藏层节点数与输入层相当，输出层节点数与输入样本的种类一致。
21.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的方法，其特征在于，输入层节点的数据段，在手写模式下为每个电极第一次产生有效信号的时间，在方向模
式下根据每个电极是否产生有效信号和有效信号电极之间的时间差确定。
22.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的方法，其特征在于，按键模式的下，可以直接通过比较9个电极有效信号的幅度来确定按键位置进行按键识别。
23.进一步地，所述的一种基于电荷感应的数字9宫格手势动作识别的方法，其特征在于，每个信号的每次采集时间为固定时间4s。
24.本发明提出一种基于电荷感应的数字9宫格手势动作识别的装置和方法，该方法通过感应手部运动时产生的空间电荷并采用bp神经网络进行分类识别数字、按键和左右上下滑动等组合手势。该方法具有非接触、抗遮挡、成本低、系统简单等显著优势。
附图说明
25.图1为数字9宫格手势动作识别的装置结构图。
26.图2为上位机页面设计图(a)主窗口页面(b)子窗口页面。
27.图3为探测目标数字9动作的波形图。
28.图4为探测目标方向左动作的波形图。
29.图5为探测目标按键5的波形和识别结果图。
具体实施方式
30.为进一步详细表述本发明的效果和优势，下面将结合附图对本发明识别数字0
‑
9，上下左右四个方向，按键1
‑
9的识别过程详细描述。
31.本实施例的一种基于电荷感应的数字9宫格手势动作识别的装置，包括硬件采集电路、上位机，其特征在于，所述硬件采集电路，包括9个直径为1cm的圆形表面镀锡电极、输入阻抗大于100gω电荷传感器、增益10倍，带宽0.5
‑
20hz放大滤波电路、stm32单片机，用于采集人指尖运动信号，并通过单片机串口连接上位机；所述上位机如附图2所示，设有串口设置区来设置串口信息，包括手写、方向、按键三种工作模式，手写模式下对指尖在探测电极阵列上方描绘的数字轨迹进行数字识别，包括数字0
‑
9，对数据预处理后运用bp神经网络进行识别，方向模式下对指尖在探测电极阵列上方描绘的方向轨迹进行方向识别，包括上下左右四个方向，对数据预处理后运用bp神经网络进行识别，按键模式下对指尖在探测电极阵列上方选中的按键进行识别，对信号的幅值进行分析进行识别。
32.系统中已经存在样本数据1320组，其中手写模式970组，方向模式350组，本例对数字0
‑
9，上下左右四个方向，按键1
‑
9进行识别验证。
33.一种基于电荷感应的数字9宫格手势动作识别的方法，包括如下步骤：
34.(1)搭建硬件采集电路：按照三行三列在同一水平平面等间距摆放电极，间距范围为1cm
‑
2cm，9个电极连接硬件采集电路的9个通道，并开启硬件采集电路，电源为5v供电；
35.(2)上位机初始化：打开上位机后，设置串口信息，选择硬件采集电路对应的com口，串口波特率为115200，并点击按钮打开子窗口；
36.(3)模式选择：可以选择“手写模式”、“方向模式”、“按键模式”；
37.(4)手写模式：点击“手写模式”按钮，根据上位机提示，在电极阵列平面5cm
‑
10cm范围处完成0
‑
9数字中的一种数字轨迹，然后进行数据预处理，按照有效信号产生的电极数
量进行预分类，可以分为3个电极、5个电极、6个电极、7个电极、8个电极和9个电极，其中3电极、5电极、6电极、7电极和8电极都唯一对应一个数字，直接判断即可，有9个电极有效信号的标签有数字2、3、5、6，利用bp神经网络算法继续进行手写数字识别，输入节点数为9，输出节点数为4，隐藏层为1层，同时主窗口实时显示信号波形和子窗口实时识别结果，如附图3所示数字9的波形图，每个数字各50组，共500组；
38.(5)方向模式：点击“方向模式”按钮，根据上位机提示，在电极阵列平面5cm
‑
10cm范围处完成上下左右方向中的一种方向轨迹，通过数据预处理，在方向模式下按照垂直和水平方向有无有效信号产生进行预判断，根据2号和8号电极有无峰值判断水平方向还是垂直方向，若是水平方向，根据4号电极和6号电极的时间顺序确定具体方向，同理可得垂直反向；继续将垂直和水平方向有无信号和同一方向信号产生的时间顺序作为特征，利用bp神经网络算法二次验证，输入节点数为4，输出节点数为4，隐藏层为1层，同时主窗口实时显示信号波形和子窗口实时识别结果，如附图4所示方向左的波形图，每个方向各50组，共200组；
39.(6)按键模式：点击“按键模式”按钮，根据上位机提示，在电极阵列平面5cm
‑
10cm范围处接近电极阵列中的电极，并通过每个电极信号的幅度进行按键识别，9个电极中在信号采集期间幅值最高的即为对应的按键，同时主窗口实时显示信号波形和子窗口实时识别结果，如附图5所示按键5的波形图，每个电极各50组，共450组；
40.(7)统计各个模式下的正确率，手写模式正确识别数字468组，共500组，识别准确率93.6％，方向模式正确识别方向188组，共200组，识别准确率94％，按键模式正确识别按键450组，共450组，识别准确率100％；
41.上述实施例表明，本发明所提的一种基于电荷感应的数字9宫格手势动作识别的装置和方法具有有效性。
42.需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所做出的同等变换或替换及以此为基础扩充为实时数字、方向、按键识别等若干改进均落入本发明权利要求所保护的范围。