基于毫米波雷达的环境鲁棒的手语识别方法及系统

技术特征：
1.一种基于毫米波雷达的环境鲁棒的手语识别方法，其特征在于，该方法包括以下步骤：步骤1：设计毫米波雷达信号方案确定毫米波雷达型号、频段、使用带宽、斜率、采样率、帧数、帧间隔和adc采样点数；步骤2：毫米波雷达设备部署确定毫米波雷达设备的部署高度，确定毫米波雷达设备与人之间的距离和角度以及确定毫米波雷达摆放的场景；步骤3：毫米波雷达信号的采集根据确定的毫米波雷达设备的部署高度，在毫米波雷达设备与人之间的不同距离、不同角度，以及毫米波雷达所处的不同场景进行数据收集；步骤4：手语无线信号特征处理选择采用原始无线信号经过两次傅里叶变换同时再经过去噪，去除静态物体信息的无线信号range，doppler特征作为分类网络的特征；步骤5：手语单词分类使用分类网络对手语的回波无线信号进行分类，所述的分类网络为无线信号的frame-range，frame-doppler特征以及手语符号即对应的标签经过训练得到深度神经网络学习模型；所述的分类网络包括特征提取部分和分类部分，特征提取部分将range，doppler特征输入到两个特征提取器进行特征提取，将提取到的特征形成融合特征，最后在融合特征的基础上提取特征；分类部分将融合特征，输入到全连接层中，对特征进行分类，输出预测的概率结果。2.如权利要求1所述的基于毫米波雷达的环境鲁棒的手语识别方法，其特征在于：所述的步骤4手语无线信号特征处理，具体包括：将原始无线信号经过两次傅里叶变换之后，得到一个frame-range-doppler的三维数据，然后经过去除静态物体，即去除掉doppler在0附近的信号，再分别沿着range维度和doppler维度进行压缩，得到frame-range、frame-doppler两个特征图像。3.如权利要求1所述的基于毫米波雷达的环境鲁棒的手语识别方法，其特征在于：步骤5手语单词分类步骤中训练得到的深度神经网络模型，其中深度神经网络的输入样本为：式中：d为输入到神经网络中数据样本的集合表示；i为输入到神经网络的第i个样本；f为经过两次fft以及静态物体消除的三维无线信号特征；|x(f)|
i
为无线信号特征沿着range维度压缩得到的frame-doppler特征图像；|r(f)|
i
为无线信号特征沿着doppler维度压缩得到的frame-range特征图像；y
i
为第i个样本的类别标签；n为输入到神经网络的样本总数。4.如权利要求3所述的基于毫米波雷达的环境鲁棒的手语识别方法，其特征在于：所述
的深度神经网络模型采用resnet的网络框架作为其特征提取层，将两个特征分别输入到两个基于resnet的特征提取器中，用于提取信息，再将提取到的特征进行融合，不断进行特征提取以及特征分类。5.如权利要求4所述的基于毫米波雷达的环境鲁棒的手语识别方法，其特征在于：所述的基于resnet的特征融合的分类网络，其深度神经网络的激活函数为relu。6.如权利要求4所述的基于毫米波雷达的环境鲁棒的手语识别方法，其特征在于：所述的基于resnet的特征融合的分类网络，其深度神经网络的优化函数选择adamdelta。7.如权利要求1所述的基于毫米波雷达的环境鲁棒的手语识别方法，其特征在于：步骤4手语无线信号特征处理去除静态信号，只提取出手势的动态信息。8.一种基于毫米波雷达的环境鲁棒的手语识别系统，包括数据采集板、处理器，其特征在于：还包括毫米波雷达板，所述的毫米波雷达板与数据采集板相连，数据采集板与处理器相连，毫米波雷达板与处理器相连；毫米波雷达板包括发送天线和接收天线；所述的处理器执行权利要求1-7任意一项所述的方法。

技术总结
本发明提供了一种基于毫米波雷达的环境鲁棒的手语识别系统，其中包括：步骤4，手语无线信号特征处理：选择采用原始无线信号经过两次傅里叶变换同时再经过去噪，去除静态物体信息的无线信号range，dopp l er特征作为分类网络的特征。步骤5，手语单词分类：使用分类网络对手语的回波无线信号进行分类，所属的分类网络为无线信号的frame-range，frame-dopp l er特征以及手语符号即对应的标签经过训练得到一个好的深度学习模型。一个好的深度学习模型。一个好的深度学习模型。


技术研发人员：刘宝英 刘彤 李昊育 王旋 王夫蔚 陈晓江 房鼎益
受保护的技术使用者：西北大学
技术研发日：2022.05.17
技术公布日：2022/8/30