一种手势识别方法、装置及系统

1.本发明涉及手势识别技术领域以及生物电阻抗测量领域，特别是涉及一种手势识别方法、装置及系统。


背景技术：

2.手势作为自然语言的一种表现形式，是人际交往过程中不可缺少的一部分。作为跨越人机交互障碍的新技术之一，手势将取代传统的键鼠交互方式来控制自己的计算机，长期以来，一直被认为能够使人与机器之间的交互显得更加智能化、自然化。大多手势交互系统可以分为接触式传感与非接触式传感两类，前者通常基于多个传感器、加速度计或陀螺仪等技术，包括数据手套、操作手柄、触摸屏等；后者则基于雷达探测、光学传感等获取手势信息，如微型雷达、机器视觉等，要求在特定的场合使用。这些方法或需求极强的计算能力，或需要高精度的传感设备，成本高，穿戴不便、使用复杂，影响用户的使用体验，因此手势识别仍未被大范围应用于消费电子产品中。
3.近年来随着5g技术与物联网技术的发展，手势识别依然是人机交互的研究热点，且逐渐倾向于与可穿戴设备集成。目前基于可穿戴设备的手势识别技术一般有肌电信号传感、光传感(红外光)、压力传感。在此三种方法之外，我们设计了一种基于生物电阻抗测量技术的手势识别方法及可穿戴手环装置，该方法使用接触式传感电极，成本低、功耗低，体积小，易集成，降低了手势识别的要求。
4.生物电阻抗测量主要是利用生物组织的电特性及其在不同频段的弛豫效应提取人体生理、病理特征的生物医学信息检测技术。该技术通常是由分布在体表的电极向检测对象施加安全电流，并测量响应电压，从而检测相应电阻抗及其变化。手掌做出不同手势时，手腕内部组织如肌肉、血管等的分布及电特性也会随之发生变化，因此可以对不同手势带来的变化进行区分，从而进行手势识别。该技术更多的被应用于生物医学领域，鲜有将生物电阻抗传感与可穿戴设备相结合应用于手势识别以及人机交互中。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种手势识别方法、装置及系统，用于解决现有的手势识别方案中需求高精度传感器或强大计算能力所导致的成本高、不易普及等问题，并为可穿戴的手势识别技术提供一种新的方法，扩大生物电阻抗测量技术的应用领域。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种手势识别方法，包括：
8.构建训练集，其包括：标定多个手势，并且采集在标定手势时，使用者手腕处的生物电阻信号；
9.训练神经网络分类器，其包括：使用所述的训练集对所述神经网络分类器执行训练，得到训练后的神经网络分类器；
10.执行手势识别，其包括：针对任一手势，获取其对应的生物电阻信号且输入至所述
训练后的神经网络分类器中进行识别。
11.进一步的，通过如下的方法来采集使用者手腕处的生物电阻信号，其包括：
12.通过在使用者手腕处设置接触式传感电极；
13.再通过该接触式传感电极向人体手腕处输入激励信号并采集响应信号。
14.进一步的，采用多个电极来执行响应信号的采集，其包括：
15.在相邻的电极对之间注入激励电流，与此同时，在除激励电极外的其他相邻电极对上测量响应电压，并循环此过程，直至所有电极对上都被施加过激励信号。
16.进一步的，所述的神经网络分类器被配置在线下或者线上，当其被配置在线下时，其被配置在pc端、智能手机端或者平板电脑端，当其被配置在线上时，其被配置在云端。
17.一种手势识别装置，所述装置包括：
18.训练集构建模块，其用于构建训练集，其包括：标定多个手势，并且采集在标定手势时，使用者手腕处的生物电阻信号；
19.训练模块，其用于训练神经网络分类器，其包括：使用所述的训练集对所述神经网络分类器执行训练，得到训练后的神经网络分类器；
20.识别模块，其用于执行手势识别，其包括：针对任一手势，获取其对应的生物电阻信号且输入至所述训练后的神经网络分类器中进行识别。
21.一种手势识别系统，所述系统包括：
22.终端装置，其包括：可穿戴手环，以及与之电连接的pcb板，其中，该可穿戴手环包括腕带以及该腕带上设置的多个接触式传感电极，该pcb板用于产生电流激励并且传输至接触式传感电极中，再采集接触式传感电极获取的反馈信号，并对该信号进行解调计算，从而获得反应手腕截面处的生物电阻抗信号，最后将该信号传输至神经网络分类器中；
23.神经网络分类器，其配置在线下或者线上，当配置在线上时，其配置在云端中，当配置在线下时，其配置在pc端中，并且该pc端中还配置有如下的软件模块，其包括：
24.通信控制模块，其用于控制pc端与终端装置之间的通信功能的启停，接收由终端装置传输的生物电阻抗信号序列；
25.数据可视化模块，其用于将所接收的生物电阻抗信号序列执行可视化操作，将其进行展示；
26.手势校准模块，其用于控制对任意一名使用者初次使用所述装置时执行校准操作，该校准操作具体包括：显示标定手势、采集不同手势信息，校准神经网络分类器以及学习数据特征；
27.手势测试模块，其用于在完成校准后，控制神经网络分类器工作，对由终端装置传输而来的生物电阻抗信号序列进行识别，最终的结果在结果显示模块中进行显示。
28.进一步的，所述的pcb板中，设置有如下的模块：
29.激励源模块，其用于产生电流激励，并且该电流激励为人体安全电流范围内的频率可调的单极性正弦电流激励；
30.信号采集模块，其用于实现人体手腕处的生物电阻抗信号测量，采集接触式传感电极上的电压信号；
31.多路开关模块，其用于实现数个电极的切换选通，实现激励源模块和信号采集模块的多路复用；
32.供电模块，其用于为整个系统提供所需的工作电压；
33.通信模块，其用于向pc端或者云端传输所采集的生物电阻抗信号；
34.控制模块，其用于控制其他模块正常工作。
35.进一步的，所述的接触式传感电极为：方块电极、柔性电极、纽扣电极或者贴片电极；
36.所述接触式传感电极的数目为16个，均匀分布在腕带周围；
37.所述腕带为硅胶材质。
38.进一步的，所述控制模块，在mcu中实现，具体为stm32系列；
39.所述通信模块采用蓝牙模块；
40.所述信号采集模块在采集到电压信号之后，再通过前置放大电路以及模数转换电路进行微弱信号放大、提取、滤波及采集，并对采集的信号进行解调计算，从而获得反应手腕截面处的生物电阻抗信号。
41.本发明的有益效果是：(1)不同于采用摄像头采集图像进行识别的方式，该系统对计算能力的要求更低，且体积小，方便集成；(2)不需要大量的传感器同时也不需要高精度的传感设备，一方面成本低，另一方面配合手环使用，相比数据手套等设备体验感更佳；(3)提供了新的手势识别的思路。
附图说明
42.图1为实施例1中提供的手环设计图；
43.图2为实施例1中提供的终端装置的示意图，以及使用者的正确佩戴方法；
44.图3为实施例1中提供的手势识别系统的逻辑框图；
45.图4为实施例1中提供的激励测量模式之一，相邻激励测量方法的示意图；
46.图5为实施例1中提供的pc端软件的布局；
47.图6为实施例1中提供的pc端神经网络分类器的结构；
48.附图中：
49.100-手环、200-pcb板、300-pc端；110-接触式传感电极、120-腕带；201-激励源模块、202-多路开关模块、203-信号采集模块、204-控制模块、205-通信模块；311-通信控制模块、312-数据可视化模块、313-手势校准模块、314-手势测试部分、315-结果显示模块；320-神经网络分类器、321-输入层、322-隐藏层、323-输出层。
具体实施方式
50.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.实施例1
52.参见图1-图6，本实施例提供一种基于生物电阻抗测量技术的手势识别系统，该系统具体包括：
53.终端装置，其包括：可穿戴手环100，以及与之电连接的pcb板200，具体如图2所示；
54.具体的说，在本实施例中，该可穿戴手环100包括腕带120，其如图1所示，该腕带120上设置有多个接触式传感电极110，以该多个接触式传感电极110作为前端传感器件，用于向人体手腕处输入激励信号并采集响应信号；
55.该腕带120用于将终端装置固定在手腕处，防止上述的多个接触式传感电极110脱落。
56.该pcb板200，其结构具体如图3所示，其包括：激励源模块201、多路开关模块202、信号采集模块203、控制模块204、供电模块和通信模块205；
57.其中，具体的说：
58.激励源模块201用于产生电流激励，更具体的说，该激励源模块201用于产生在人体安全电流范围内的频率可调的单极性正弦电流激励，该模块由正弦电压信号发生电路和电压控制电流源电路组成。正弦电压信号发生电路输出的是单极性正弦电压信号，电压控制电流源电路则实现电压/电流(v/i)变换，从而得到激励电流信号。
59.多路开关模块202用于实现数个电极的切换选通，更具体的说，该模块目的是实现激励源模块201和信号采集模块203的多路复用，在控制模块204的协调下，通过选通控制电路实现特定的激励测量模式将激励电流施加到不同电极上，并选通其它电极实现电压信号的测量。该电路的核心是多路模拟开关，其通道数与手环电极传感阵列上的电极数目一致。
60.信号采集模块203用于实现人体手腕处的生物电阻抗信号测量，其用于采集接触式传感电极110上的电压信号，该信号是包含噪声干扰的微弱正弦信号，该信号通过前置放大电路以及模数转换电路进行微弱信号放大、提取、滤波及采集，并对采集的信号进行解调计算，从而获得反应手腕截面处的生物电阻抗信号。
61.控制模块204用于控制其他模块正确工作，更具体的说，该控制模块204主要用于控制通信模块205与pc端300进行通信，控制多路开关模块202进行切换，控制其他模块工作的启停，以及模数转换后的数据计算。
62.供电模块用于为整个系统提供所需的工作电压。
63.通信模块205用于向pc端300或者云端传输所采集的生物电阻抗信号。
64.具体的说，上述的通过选通控制电路实现特定的激励测量模式，该特定的激励测量模式包括：
65.即在相邻的电极对之间注入激励电流，与此同时，在除激励电极外的其他相邻电极对上测量响应电压，并循环此过程，直至所有电极对上都被施加过激励信号，该过程可获得n
×
(n-3)个测量值，n为电极数目。激励测量模式还可以采用其他符合生物电阻抗测量技术原理的方法，比如相对激励相邻测量：在相对的电极之间注入激励电流，在除激励电极外的其他相邻电极对上测量响应电压，并循环此过程，循环测量后，可得到n
×
(n-4)个测量数据。以此类推相对激励相对测量或间隔测量等方式均可采用。
66.针对图4中所示的可穿戴手环100，采用相邻激励测量方法，即在相邻的电极对101、102之间注入激励电流，同时在除激励电极101、102外的其他相邻电极对上测量响应电压，循环激励循环测量，获得208个测量数据。激励测量模式还可以采用其他符合生物电阻抗测量技术原理的方法，比如相对激励相邻测量等。数模转换采用精度为14bit的adc(模数转换器)，提供相对较高的精度以及相对较低的成本，可以根据不同的应用需求选用更高或者更低精度的adc。
67.本实施例提供的一种基于生物电阻抗测量技术的手势识别系统，其还包括：
68.云端或者pc端300，并且该云端或者pc端300与上述的终端装置进行通讯连接；
69.在本实施例中，该pc端300可以采用普通台式电脑或笔记本电脑，具体何种并不限定，其是用于接收由终端传送来的生物电阻抗测量信号，并运行神经网络分类算法获得手势识别结果。
70.具体的说，在本实施例中，当该手势识别系统采用pc端300时，该pc端300中配置有如图5所示的软件模块和如图6所示的神经网络分类器320；
71.其中，该软件模块具体包括如下的子模块：
72.通信控制模块311，其用于控制pc端300与终端装置之间的通信功能的启停，接收由终端装置传输的生物电阻抗信号序列；
73.数据可视化模块312，其用于将所接收的生物电阻抗信号序列执行可视化操作，将其更直观的呈现给测试者，方便测试者直观的感受不同手势下手腕截面处生物电阻抗信号的变化；
74.手势校准模块313，其用于控制对任意一名使用者初次使用所述装置时执行校准操作，该校准操作具体包括：显示标定手势、采集不同手势信息，校准神经网络分类器以及学习数据特征；
75.手势测试模块314，其用于在完成校准后，控制神经网络分类器320工作，对由终端装置传输而来的生物电阻抗信号序列进行识别，最终的结果在结果显示模块315中进行显示。
76.其中，该神经网络分类器320由三层结构组成，具体包括输入层321、隐藏层322以及输出层323；本实施例中所使用的网络结构简洁，仅消耗较短的计算时间以及较少的硬件资源，便于将其迁移至集成asic芯片(专用集成电路芯片)或fpga芯片的其他具备计算能力电子设备上。
77.具体的说，在本实施例中，当该手势识别系统采用云端时，该云端配置有经过预先训练的神经网络分类器320，pcb板200中的通信模块205与云端进行通信，完成信号与计算结果的传输，由此可以提供更好的便携性以及更多的使用场景。神经网络分类器320可根据不同应用场景所能提供的算力，更改结构层数，以获得更高精度的识别准确度。
78.更具体的说，在本实施例中，上述的接触式传感电极110可以采用方块电极，大小约0.5cm2，使用铜材质制备，提供良好的导电性能以及较低的成本，腕带120可以采用纺织材料制备，提供良好的束缚能力。根据不同的应用场景，接触式传感电极110还可以使用其他方式，如柔性电极、纽扣电极、贴片电极等形式，腕带120还可以采用硅胶等合理方案制备。可穿戴手环100上的接触式传感电极110数目可以为16个，均匀分布在腕带120周围，提供一定手势识别精确度的同时不过于影响可穿戴手环100的佩戴舒适度，设计者可根据不同的需求，选择合适数量的电极作为传感器件。
79.更具体的说，在本实施例中，上述的通信模块205用于接收来自pc端软件310中通信模块控制部分301的启停信号，并将按照pcb板200上的多路开关模块202中的选通控制电路所规定的激励测量模式组合成的时序序列依次传送至pc端300。
80.更具体的说，在本实施例中，上述的控制模块204主要在mcu中实现，选用的mcu为stm32系列，型号为stm32h743zit6。除此之外，还可以选用其他系列符合条件的mcu或fpga
作为主控芯片完成所述装置的控制和硬件计算部分。通信模块205采用蓝牙，提供一定的数据传输速率并保证装置的便携性。所述通信模块还可以采用其他可行的通信方案，如串口通信。由未在附图中显示的供电模块提供各模块器件满负荷工作下的工作电压以及功率消耗，保证装置正常工作。
81.更具体的说，在本实施例中，数据可视化部分312可以采用波形图、网格式数据分布图或手腕截面电阻抗分布图像等绘图方式，提供了良好的分析特性，便于调试与测试。此外，所述数据可视化部分在其他特定条件下的实施例中可以省去。
82.实施例2
83.对应于实施例1中提供的一种基于生物电阻抗测量技术的手势识别系统，本实施例提供该识别系统的使用方法，该使用方法具体包括：
84.步骤s1、执行校准操作，其包括：由一名使用者佩戴可穿戴手环，并且使得其上设置的多个接触式传感电极与手腕截面处皮肤充分接触，并运行该系统完成校准；
85.具体的的说，在本实施例中，该步骤s1包括：
86.步骤s101、标定需要识别的手势动作，其包括：
87.本实施例采用的基于生物电阻抗测量技术进行的手势识别方法，其基本原理为检测手势所引起的手腕截面处电阻抗变化，因此该方法所反应的手势变化主要为手臂远心端即手掌、手指及手腕前端的变化，所标定的手势变化应不超过该方法所能反应的变化范围，按照此约定，标定第一手势、第二手势等。
88.步骤s102、使用者初次佩戴手环时需对该使用者的手势特征进行一次校准，其包括：
89.在使用过程中由于人体手腕处电阻抗分布尚未有完整的研究，不同的人手腕处电阻抗分布不同，同一个人在不同的环境下电阻抗分布也有所差异，且每次使用者佩戴所述装置的位置略有差异，导致手腕表面与电极的接触位置也有所不同，如果使用事先训练好神经网络分类器，会带来较大的误差。因此，所谓校准，指的是使用者佩戴手环并使手环上的传感电极与皮肤充分接触后，做出全部标定手势的动作并完成多帧数据采集，所采集的数据作为神经网络分类器的训练集进行一次训练，以获得更高的识别准确度。需要说明的是，作为本发明的基于生物电阻抗测量技术的手势识别手环装置的一种优选方案，所述装置在大规模商用时，可在云端建立由使用者手势信息组成的大数据库，在此情况下，所述校准过程则可进一步简化。
90.步骤s2、上述的使用者做出任意一个所提供的需要识别的手势并随机变换，系统的终端装置实时采集该使用者手腕处的生物电阻信号，pc端将显示手势识别的结果。
91.具体的的说，在本实施例中，该步骤s2包括：
92.使用者做出所标定的第一手势、第二手势等，此时，手腕截面处的生物电阻抗信号由所述装置终端实时采集并传送至pc端，pc端接收数据并运行神经网络分类器，手势识别结果则显示在pc端软件的结果显示部分。
93.综上所述，该系统的的工作过程是：由pc端通信控制部分启动装置工作，激励源模块产生频率、幅度合适的单极性正弦电流作为激励信号，激励电流经过多路模拟开关从电极注入使用者手腕，由于手腕内部组织具备一定的电特性，因此体表其他电极上会出现微弱的响应信号，通过多路模拟开关进入信号采集模块进行采集。由控制模块协调以上流程
并将采集完毕的数据进行简要组合计算后由通信模块传送给pc端，pc端运行核心软件，识别不同手势。
94.本发明未详述之处，均为本领域技术人员的公知技术。
95.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。