一种基于声波与传感器的手势识别系统及识别方法

1.本发明属于无线传感技术领域，尤其涉及一种基于声波与传感器的手势识别系统及识别方法。


背景技术：

2.用cir(channel impulse response，信道冲激响应)实现对信道状态估计的技术，主要是通过发射预先生成的同步码，然后经过反射后，由接收机接收，通过对发射信号与接收信号进行关联，能够估计出当前对应的信道信息。
3.通过此技术可以得到因手势运动改变的信道信息，因此可以利用这种特征进行手势识别。
4.现阶段的手势识别主要可以分为三种：
5.(1)使用基于视觉的方法，通过对视频进行分析得到对应的手势类别，但是这种方法易受到光照环境的影响，而且对设备要求较高。
6.(2)使用基于声波的方法，通过对发射的声波进行调制，计算距离特征，提取手势运动信息，但是这些方法易受到外界噪声的干扰。
7.(3)使用基于imu(惯性传感器)的方法，通过智能设备内置的传感器，记录手势的运动特征，然而这些方法往往需要佩戴特殊的智能设备，往往造价昂贵难以推广普及。


技术实现要素：

8.发明目的：本发明的目的在于提供一种基于声波与传感器的手势识别系统及方法，利用信道估计技术，提取因手势运动而改变的信道信息，通过融合陀螺仪记录的数值，利用神经网络模型实现手势识别，从而为智能设备提供一种新型输入方式。
9.技术方案：本发明的基于声波与传感器的手势识别系统，包括信号发射器和信号接收器；所述信号发射器为佩戴于手腕的智能手表，智能手表佩戴于用户手腕上，发射调制的超声波，并记录陀螺仪数据；所述信号接收器为固定位置的麦克风；当麦克风接收到对应的声波信号后，通过互相关的方法进行信道估计，即手势的动态信息；融合陀螺仪记录的手势运动信息；利用神经网络模型提取并融合两种手势特征，并完成最终的手势分类。
10.进一步地，所述发射调制的超声波的公式为：
11.s(t)＝a(t)cos(2πfct)
12.其中a(t)为巴克码序列，fc为调制载波；
13.所述麦克风接收到对应的声波信号表示为：
[0014][0015]
τi表示第i条路径对应的时延，n表示所有的路径数量；
[0016]
对接收声波信号进行解调，公式为：
[0017][0018]
其中r(t)为接收信号，然后经过低通滤波后，得到信号的实部与虚部，singali表示解调的实信号，singalq表示解调的虚信号；
[0019]
最后利用互相关计算公式，得到信道信息：
[0020][0021]
c(m)＝r
xy
(m-n)m∈[1，2n-1]
[0022]
其中y，x分别表示解调后的接收信号于发射信号，c(m)为输出，n为信号长度；
[0023]
为了获取手势的动态特征，进行前后两帧相减：
[0024]
h(t)＝h(t)-h(t-1)
[0025]
其中h(t)为当前时刻的信道信息，而h(t-1)为上一时刻的信道信；
[0026]
通过计算固定时刻内的信道信息，结合智能手表中记录的运动信息作为手势特征；设计一种基于cnn的神经网络模型，在离线训练后，可对当前的手势进行识别。
[0027]
本发明还公开一种基于声波与传感器的手势识别系统的识别方法，包括如下步骤：
[0028]
(1)基于信道估计的手势特征提取：通过信道估计技术，提取因手势运动而改变的信道特征；
[0029]
(2)基于陀螺仪的特征提取：通过记录手表内置的陀螺仪的三轴特征，在经过卡尔曼滤波后能够得到手势的运动特征；
[0030]
(3)基于神经网络模型的手势分类：在收集数据后，进行网络模型训练得到对应的离线模型，然后对提取到的手势特征进行分类；
[0031]
(4)手势交互：通过识别手势丰富系统输入，提高用户体验。
[0032]
进一步地，在步骤(1)中，通过发射器发射调制的巴克码，在接收机接收后，对信号进行滤波操作，然后进行iq解调。利用发射信号与接收信号进行互相关操作，得到每个时刻的信道信息，然后利用前后两帧相减的方法得到因手势运动而变化的动态特征。所述步骤(1)具体包括：
[0033]
首先手表发射调制后的声波信号公式：
[0034]
s(t)＝a(t)cos(2πfct)
[0035]
其中a(t)为巴克码序列，fc为调制载波；
[0036]
所述麦克风接收到对应的声波信号表示为：
[0037][0038]
τi表示第i条路径对应的时延，n表示所有的路径数量；
[0039]
对接收声波信号进行解调，公式为：
[0040][0041]
其中r(t)为接收信号，然后经过低通滤波后，得到信号的实部与虚部，singali表
示解调的实信号，singalq表示解调的虚信号；
[0042]
最后利用互相关计算公式，得到信道信息：
[0043][0044]
c(m)＝r
xy
(m-n)m∈[1，2n-1]
[0045]
其中y，x分别表示解调后的接收信号于发射信号，c(m)为输出，n为信号长度；
[0046]
为了获取手势的动态特征，进行前后两帧相减：
[0047]
h(t)＝h(t)-h(t-1)
[0048]
其中h(t)为当前时刻的信道信息，而h(t-1)为上一时刻的信道信。
[0049]
进一步地，步骤(2)中，通过一种能量检测的方法定位手势运动的位置，如公式：
[0050]
e(t)＝x(t)2 y(t)2 z(t)2[0051]
其中x(t)，y(t)，z(t)分别为陀螺仪三轴的数值；通过设置阈值找到超过该阈值的位置为手势运动的起点，然后利用卡尔曼滤波平滑数据，滤去因为手部本身的抖动而出现的噪声干扰。
[0052]
进一步地，步骤(3)中，所述对提取到的手势特征进行分类为利用卷积神经网络模型进行分类，其方法如下：在提取到信道特征后，将其看作是一同到的图像。然后通过设置多个卷积核进一步提取特征，如公式：
[0053][0054]
其中x，h，y分别表示输入，卷积核以及输出。而k0,k1,k2分别表示输入特则的宽度，长度与通道数，*表示卷积操作；经过卷积后，选择激活函数：
[0055]
relu(x)＝max(x，0)
[0056]
其中x为输入，增强网络的拟合能力；将提取到的陀螺仪特征看作是三通道的图片，并利用相似的方法提取特征；将两种特征融合，然后利用一层全连接成作为输出，最后通过公式：
[0057][0058]
其中zi第i个神经元的输出，si为第i类的最终概率，而k为类别数；得到最终的手势类别概率输出，并选择最大概率的类别作为识别手势。
[0059]
利用卷积神经网络模型进行分类，将两种特征分别看作一通道与三通道的图片，然后设计卷积层自动提取特征，通过合并的方法融合两种特征，最后使用全连接实现概率输出。
[0060]
在步骤(4)中，通过对用户手势的识别，实现对设备进行控制，实现了更为灵活的输入方式，极大的提高了用户体验。
[0061]
有益效果：与现有技术相比，本发明具有如下显著优点：本发明通过使用信道估计技术提取因手势运动而改变的信道信息，同时通过融合陀螺仪中记录的运动信息，能够提取手势运动的多维特征，两种特征互补，能够有效提高手势识别精度，为智能设备提供一种新的输入方式。不同于目前广泛使用的基于视觉的方案，本发明不受限于光照条件的影响，
同时减少了对设备性能的依赖。本发明仅需利用商用设备中普遍配备的麦克风、扬声器以及imu传感器，能够有效减少部署成本，提高发明实用性。
附图说明
[0062]
图1为本发明的系统流程图；
[0063]
图2为本发明的基带信号图；
[0064]
图3为本发明的系统示意图。
具体实施方式
[0065]
下面结合附图对本发明的技术方案作进一步说明。
[0066]
本发明为一种基于声波与传感器的手势识别系统，包括智能手表，以及麦克风，其中：
[0067]
智能手表佩戴于用户手腕上，发生调制的超声波，并记录陀螺仪数据。
[0068]
固定位置的麦克风负责接收声波信号。
[0069]
本发明使用13位的巴克码作为基带信号。事实上，为了提高信号能量，本发明对其进行上采样操作，对每个点复制多次后，利用低通滤波器进行滤波，同时为了避免帧间干扰，在最后补零。为了避免对人耳造成干扰，利用高频的载波对信号进行上变频。最后通过一个带通滤波器，平滑数据，避免频谱泄露。
[0070]
当麦克风接收到对应的声波信号后，通过互相关的方法进行信道估计，即手势的动态信息；融合陀螺仪记录的手势运动信息；利用神经网络模型提取并融合两种手势特征，并完成最终的手势分类。
[0071]
基于上述系统的手势识别方法，包括以下步骤：
[0072]
基于信道估计的手势特征提取：通过信道估计技术，提取因手势运动而改变的信道特征；通过发射器发射调制的巴克码，在接收机接收后，对信号进行滤波操作，然后进行iq解调。利用发射信号与接收信号进行互相关操作，得到每个时刻的信道信息，然后利用前后两帧相减的方法得到因手势运动而变化的动态特征。
[0073]
(1)手表发射调制后的声波信号公式:
[0074]
s(t)＝a(t)cos(2πfct)
[0075]
其中a(t)为巴克码序列，fc为调制载波
[0076]
接收信号表示为
[0077][0078]
τi表示第i条路径对应的时延，n表示所有的路径。
[0079]
对接收信号进行解调，公式为：
[0080][0081]
然后经过低通滤波后，得到信号的实部与虚部。
[0082]
最后利用信道估计计算公式，得到信道信息：
[0083][0084]
c(m)＝r
xy
(m-n)m∈[1，2n-1]
[0085]
其中y，x分别表示解调后的接收信号于发射信号，c(m)为输出，n为信号长度。
[0086]
为了获取手势的动态特征，进行前后两帧相减：
[0087]
h(t)＝h(t)-h(t-1)
[0088]
其中h(t)为当前时刻的信道信息，而h(t-1)为上一时刻的信道信息。
[0089]
通过计算固定时刻内的信道信息，获取一次手势的动态信息
[0090]
(2)基于陀螺仪的特征提取：通过一种能量检测的方法定位手势运动的位置，如公式：
[0091]
e(t)＝x(t)2 y(t)2 z(t)2[0092]
其中x(t)，y(t)，z(t)分别为陀螺仪三轴的数值。通过设置固定大小的滑动窗口，检测每个窗口中的能量的标准差如公式：
[0093][0094]
其中window表示窗口大小，而表示当前窗口的平均值。具体而言，通过设置阈值找到超过该阈值的位置为手势运动的起点。然后利用卡尔曼滤波平滑数据，滤去因为手部本身的抖动而出现的噪声干扰。
[0095]
在提取到信道信息与陀螺仪信息后，通过局域网传输到服务器中，进行手势位置校正，通过陀螺仪提取的手势位置，可以得到对应的时间点，在信道信息中找到相同的位置，从而有效定位手势特征。
[0096]
(3)基于神经网络模型的手势识别：利用卷积神经网络模型进行分类，其方法如下：
[0097]
在提取到信道特征后，将其看作是一同到的图像。然后通过设置多个卷积核进一步提取特征，如公式：
[0098][0099]
其中x，h，y分别表示输入，卷积核以及输出。而k0,k1,k2分别表示输入特则的宽度，长度与通道数，*表示卷积操作。经过卷积后，选择激活函数：
[0100]
relu(x)＝max(x，0)
[0101]
其中x为输入，增强网络的拟合能力。
[0102]
与之类似，将提取到的陀螺仪特征看作是三通道的图片，并利用相似的方法提取特征。
[0103]
将两种特征融合，然后利用一层全连接成作为输出，最后通过公式：
[0104][0105]
其中zi第i个神经元的输出，si为第i类的最终概率，而k为类别数。得到最终的手势类别概率输出，并选择最大概率的类别作为识别手势。
[0106]
(4)手势交互：通过对用户手势的识别，实现对设备进行控制，实现了更为灵活的
输入方式，极大的提高了用户体验。
[0107]
实施例
[0108]
本发明利用现有的智能手表以及商业麦克风分别作为信号反射器与信号接收器对系统进行了初步的实现与验证。智能手表的扬声器与麦克风都能够支持48khz的采样率。在麦克风接收到信号后，通过带通滤波器，提取有效频段，然后利用iq解调，得到对应的实部与虚部信息，通过与发射信号进行互相关操作得到信道的估计。通过融合陀螺仪记录的运动信息，输入到神经网络模型中进行手势分类。