基于毫米波雷达的环境鲁棒的手语识别方法及系统

1.本发明属于无线感知领域，涉及无线信号处理、特征融合、特征提取，以 及手语分类。


背景技术：

2.据资料统计，我国听力语言残疾居视力残疾，肢残，智残等五大残疾之首， 超过2000万人。聋哑人在生活中会遇到各种各样的问题，其中一个问题是，他 们不能与正常人方便的进行沟通。聋哑人之间可以通过手语来进行交流，但是 大部分正常人是不会手语的，需要开发出手语翻译系统，来解决聋哑人与正常 人之间的交流问题。
3.现有的大部分手语翻译系统，分为以下几类：基于计算机视觉，基于可穿 戴设备，基于wi-fi设备等等。其中，基于计算机视觉的，会需要采集人的身 体全部信息，在使用过程中，会侵犯人的隐私，造成隐私泄露问题，同时在光 照条件不理想的情况下，识别效率会明显的降低。基于可穿戴设备的手语翻译 系统，需要手语执行者佩戴一些特殊定制的手套，或者手表等设备，从而获取 到手臂的移动信息，从而识别手语。但是，这种设备，需要手语执行者全程佩 戴该设备，会造成用户的不适感，降低用户的体验。基于wi-fi设备的手语识 别，当用户执行手语动作时，csi值会发生一定程度的变化。基于wi-fi设备的 手语识别采用csi作为原始的特征，再在上面进行处理，从而对手语进行分类。 然而，csi对环境的要求较高，当用户换了一个环境之后，比如，用户与wifi 设备的相对角度，相对距离，以及wifi设备部署在另外一个环境时，识别率会 显著下降。
4.综上所述，现有方法存在以下问题：1.侵犯隐私，在光照条件不理想时， 识别率降低；2.需要用户一直佩戴，降低用户舒适性；3.对环境不鲁棒，环境 变化识别率会降低。


技术实现要素：

5.针对以上技术存在的不足，本发明的目的在于，提供一种基于毫米波雷达 的环境鲁棒的手语翻译系统，来解决上述方法中存在的问题。
6.为了解决上述技术问题，本发明采用如下技术方案予以实现：
7.一种基于毫米波雷达的环境鲁棒的手语识别方法，该方法包括以下步骤：
8.步骤1：设计毫米波雷达信号方案
9.确定毫米波雷达型号、频段、使用带宽、斜率、采样率、帧数、帧间隔和 adc采样点数；
10.步骤2：毫米波雷达设备部署
11.确定毫米波雷达设备的部署高度，确定毫米波雷达设备与人之间的距离和 角度以及确定毫米波雷达摆放的场景；
12.步骤3：毫米波雷达信号的采集
13.根据确定的毫米波雷达设备的部署高度，在毫米波雷达设备与人之间的不 同距离、不同角度，以及毫米波雷达所处的不同场景进行数据收集；
14.步骤4：手语无线信号特征处理
15.选择采用原始无线信号经过两次傅里叶变换同时再经过去噪，去除静态物 体信息的无线信号range，doppler特征作为分类网络的特征；
16.步骤5：手语单词分类
17.使用分类网络对手语的回波无线信号进行分类，所述的分类网络为无线信 号的frame-range，frame-doppler特征以及手语符号即对应的标签经过训练得 到深度神经网络学习模型；
18.所述的分类网络包括特征提取部分和分类部分，特征提取部分将range， doppler特征输入到两个特征提取器进行特征提取，将提取到的特征形成融合特 征，最后在融合特征的基础上提取特征；分类部分将融合特征，输入到全连接 层中，对特征进行分类，输出预测的概率结果。
19.进一步地，所述的步骤4手语无线信号特征处理，具体包括：
20.将原始无线信号经过两次傅里叶变换之后，得到一个frame-range-doppler的 三维数据，然后经过去除静态物体，即去除掉doppler在0附近的信号，再分 别沿着range维度和doppler维度进行压缩，得到frame-range、 frame-doppler两个特征图像。
21.进一步地，步骤5手语单词分类步骤中训练得到的深度神经网络模型，其 中深度神经网络的输入样本为：
[0022][0023]
式中：
[0024]
d为输入到神经网络中数据样本的集合表示；
[0025]
i为输入到神经网络的第i个样本；
[0026]
f为经过两次fft以及静态物体消除的三维无线信号特征；
[0027]
|x(f)|i为无线信号特征沿着range维度压缩得到的frame-doppler特征图 像；
[0028]
|r(f)|i为无线信号特征沿着doppler维度压缩得到的frame-range特征图 像；
[0029]
yi为第i个样本的类别标签；
[0030]
n为输入到神经网络的样本总数。
[0031]
所述的深度神经网络模型采用resnet的网络框架作为其特征提取层，将两 个特征分别输入到两个基于resnet的特征提取器中，用于提取信息，再将提取 到的特征进行融合，不断进行特征提取以及特征分类。
[0032]
进一步地，基于resnet的特征融合的分类网络，其深度神经网络的激活函 数为relu。
[0033]
所述的基于resnet的特征融合的分类网络，其深度神经网络的优化函数选 择adamdelta。
[0034]
步骤4手语无线信号特征处理去除静态信号，只提取出手势的动态信息。
[0035]
本发明还公开了一种基于毫米波雷达的环境鲁棒的手语识别系统，包括数 据采集板、处理器，还包括毫米波雷达板，所述的毫米波雷达板与数据采集板 相连，数据采集板与处理器相连，毫米波雷达板与处理器相连；毫米波雷达板 包括发送天线和接收天线；所述的处理器执行权利要求1-7任意一项所述的方 法。
[0036]
本发明与现有技术相比，具有如下技术效果：
[0037]
(ⅰ)本发明的方法通过去除静态物体的影响，只提取手势动作的特征信 号，同时，可以通过对特征图像的平移来消除距离的影响。从而，对环境距离 鲁棒性好、抗干扰强。
[0038]
(ⅱ)本发明的方法相对于现有大部分采用frame-range-doppler作为输入 特征相比，使用frame-range，frame-doppler作为输入特征，降低了输入的维 度，极大的压缩了需要使用的数据大小，同时，输入到神经网络的数据量也减 少，可以更快的进行计算，提升性能。
[0039]
(ⅲ)本发明的方法通过采用resnet的基本网络架构，对两个特征进行提 取融合，相较于单个特征，能够有效的提升识别率。
[0040]
(ⅳ)本发明的方法所需要的神经网络模型小，占用的资源较小，模型的 处理速度较快，系统延迟低。
附图说明
[0041]
图1为本发明的方法流程图
[0042]
图2为本发明无线手势信号处理与分类方法的流程示意图
[0043]
图3为无线手势分类网络结构示意图
[0044]
图4为本发明在不同环境下的识别性能图
[0045]
图5为本发明在不同距离下的识别性能图
[0046]
图6为本发明在不同角度下的识别性能图图7为本发明对照实验默认环境布置条件
[0047]
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
[0048]
与本发明技术方案相关的相关名词解释：frame代表的是毫米波雷达的帧， doppler代表的是多普勒，range代表的是距离，pc指的是个人电脑，fmcw指 的是调频连续波，fft指的是快速傅里叶变换，relu指的是线性整流单元。
[0049]
遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明 并不局限于以下具体实施例，凡在本技术技术方案基础上做的等同变换均落入 本发明的保护范围。
[0050]
实施例1：
[0051]
参见图1，本实施例给出一种基于毫米波雷达的环境鲁棒的手语识别分类方 法，该方法包括以下步骤：
[0052]
步骤1：设计毫米波雷达信号方案
[0053]
确定毫米波雷达型号、频段、使用带宽、斜率、采样率、帧数、帧间隔和 adc采样点数；
[0054]
步骤2：毫米波雷达设备部署
[0055]
确定毫米波雷达设备的部署高度，确定毫米波雷达设备与人之间的距离和 角度以及确定毫米波雷达摆放的场景；
[0056]
步骤3：毫米波雷达信号的采集
[0057]
根据确定的毫米波雷达设备的部署高度，在毫米波雷达设备与人之间的不 同距
离、不同角度，以及毫米波雷达所处的不同场景进行数据收集；
[0058]
步骤4：手语无线信号特征处理
[0059]
选择采用原始无线信号经过两次傅里叶变换同时再经过去噪，去除静态物 体信息的无线信号range，doppler特征作为分类网络的特征；
[0060]
步骤5：手语单词分类
[0061]
使用分类网络对手语的回波无线信号进行分类，所述的分类网络为无线信 号的frame-range，frame-doppler特征以及手语符号即对应的标签经过训练得 到深度神经网络学习模型；
[0062]
所述的分类网络包括特征提取部分和分类部分，特征提取部分将range， doppler特征输入到两个特征提取器进行特征提取，将提取到的特征形成融合特 征，最后在融合特征的基础上提取特征；分类部分将融合特征，输入到全连接 层中，对特征进行分类，输出预测的概率结果。
[0063]
参见图2，步骤4手语无线信号特征处理具体过程如下，将原始无线信号经过两 次傅里叶变换之后，得到一个frame-range-doppler的三维数据，然后经过去 除静态物体，即去除掉doppler在0附近的信号，再分别沿着range维度和 doppler维度进行压缩，得到frame-range、frame-doppler两个特征图像。
[0064]
参见图3，步骤5手语单词分类步骤中训练得到的深度神经网络模型，所述 深度神经网络的输入样本为：
[0065][0066]
式中：
[0067]
d为输入到神经网络中数据样本的集合表示；
[0068]
i为输入到神经网络的第i个样本；
[0069]
f为经过两次fft以及静态物体消除的三维无线信号特征；
[0070]
|x(f)|i为无线信号特征沿着range维度压缩得到的frame-doppler特征图 像；
[0071]
|r(f)|i为无线信号特征沿着doppler维度压缩得到的frame-range特征图 像；
[0072]
作为本实施例的一种优选方案，深度神经网络采用resnet框架作为特征提 取的基础框架，随着网络深度增加,会出现一种退化问题,也就是当网络变得越 来越深的时候,训练的准确率会趋于平缓,但是训练误差会变大,这明显不是过 拟合造成的,因为过拟合是指网络的训练误差会不断变小,但是测试误差会变 大。为了解决这种退化现象,resnet被提出，resnet也即为残差网络。残差网络 与普通网络不同的地方就是引入了跳跃连接,这可以使上一个残差块的信息没 有阻碍的流入到下一个残差块,提高了信息流通,并且也避免了由与网络过深所 引起的消失梯度问题和退化问题，残差网络是由多个浅的网络融合而成，浅的 网络在训练时不会出现消失的梯度问题,所以它能够加速网络的收敛。
[0073]
作为本实施例的一种优选方案，基于resnet的深度神经网络的优化函数选 择adamdelta。adadelta是对adagrad的扩展，最初方案依然是对学习率进行自 适应约束，但是进行了计算上的简化。adagrad会累加之前所有的梯度平方，而adadelta只累加固定大小的项，并且也不直接存储这些项，仅仅是近似计算对 应的平均值。adadelta在训练初中期，加速效果不错，较快。
[0074]
本实施例中，神经网络的选择，输入数据特征选择、激活函数选择、优化 函数的选
择、相互协同增效使得识别率最优，分类效果最佳、使得神经网络拓 扑最小化。
[0075]
使得分类效果最优，通过调整卷积核大小、卷积步长等参数，观察组数据 的分类效果，选择分类效果最高的作为网络的超参数。
[0076]
参见图4-图6，为了进一步验证本发明的直接技术效果，申请人结合不同 环境、不同距离、不同角度，进行试验对比效果。具体对照试验条件及对照方 案如下：
[0077]
本实验默认条件为：毫米波雷达放置在实验受试者的正前方，距离受试者 1.4米，距离地面0.9米，具体如图7所示。
[0078]
1、验证不同环境下的性能
[0079]
本实验设置三个环境(受试者所处的环境)进行验证，分别为走廊、 大厅、办公室，其他条件与默认条件保持一致。
[0080]
2、验证不同距离下的性能
[0081]
本实验设置三个不同距离(毫米波雷达距离受试者的距离)进行验证， 距离分别为：1米，1.4米，1.8米，其他条件与默认条件保持一致。
[0082]
3、验证不同角度的性能
[0083]
本实验设置5个角度(毫米比雷达与受试者的水平方位角)进行验证， 分别为：-40
°
，-20
°
，0
°
，20
°
，40
°
，其他条件与默认条件保 持一致。
[0084]
与此同时，本发明还给出了一种基于毫米波雷达的环境鲁棒的手语识别系 统，包括数据采集板、处理器，还包括毫米波雷达板，所述的毫米波雷达板与 数据采集板相连，数据采集板与处理器相连，毫米波雷达板与处理器相连；毫 米波雷达板包括发送天线和接收天线；所述的处理器执行本发明的基于毫米波 雷达的环境鲁棒的手语识别方法。