一种基于毫米波雷达的手势识别方法、装置、介质和设备

本发明涉及毫米波雷达点云特征处理与深度学习手势识别领域，特别涉及一种基于毫米波雷达的手势识别方法、装置、介质和设备。

背景技术：

1、人机交互技术正朝着非接触式、智能化与普适化方向持续演进，手势交互凭借操作自然、使用便捷的特点，已在智能家居控制、车载座舱操作、公共智能终端交互等领域得到广泛应用。视觉摄像头感知方案易受环境光照干扰且存在用户隐私泄露隐患，而毫米波雷达具备全天候稳定工作、环境抗干扰能力突出、隐私保护性良好以及非接触感知的固有优势，成为多场景手势交互的优选感知载体。ti iwr6843毫米波雷达可直接输出包含空间坐标、回波强度与运动速度的原始点云数据，精准捕捉手势细微运动特征，为多场景基于毫米波雷达的手势识别任务提供高质量原始数据支撑。

2、然而，现有毫米波雷达手势识别方法大多采用空间坐标与速度融合的双通道特征图，该方法由于雷达的角度分辨率有限，对于短距（小幅度）画叉，其波动范围与点击时手部自然微颤或前后移动导致的轻微抖动，在数值上处于同一噪声量级，这两个动作在二维平面上的“轨迹投影”几乎完全重叠，导致相似手势混淆率偏高，限制了多场景下的基于毫米波雷达的手势识别精度。

技术实现思路

1、本发明提供了一种基于毫米波雷达的手势识别方法、装置、介质和设备，用以解决现有技术中存在的上述问题，即现有技术中如何提升跨场景的手势识别精度的问题，本发明提供一种基于毫米波雷达的手势识别方法，该方法包括：

2、基于通过毫米波雷达获取的历史的人体手势动作的中频回波数据，生成包含空间域、速度域和回波强度域的增强型点云数据；

3、将增强型点云数据中的空间域和回波强度域分别和速度域进行融合投影，构建三通道点云特征图像序列；对三通道点云特征图像序列进行时序切片处理，生成固定长度的时序特征样本；

4、通过时序特征样本对构建的时序神经网络进行训练，将待测手势的三通道时序特征输入至训练后的时序神经网络，逐帧提取三通道时序特征中的手势底层空间轮廓特征，确定时序空间特征；通过提取时序空间特征中的手势高层语义与细节运动特征，确定深层空间特征；对深层空间特征进行正向和反向时序特征分析并融合，确定全局时序特征，将全局时序特征映射至多维手势类别空间，获取对应的动作类别概率，将动作类别概率最大值对应的类别作为最终的手势识别结果。

5、可选的，所述所述增强型点云数据的获取，具体包括：

6、对获取的中频回波数据进行滤波处理，将滤波后的中频回波数据；

7、对滤波后的中频回波数据进行快速傅里叶变换，生成包含目标距离与速度信息的距离-多普勒矩阵；

8、基于提取的距离-多普勒矩阵的幅值信息，生成候选检测点，采用dbscan密度聚类算法对候选检测点进行聚类处理，生成包含时间、空间、速度和强度信息的增强型点云。

9、可选的，所述对三通道点云特征图像序列进行时序切片处理，生成固定长度的时序特征样本，具体包括：

10、采用滑动窗口策略对三通道点云特征图像序列进行时序切片处理，设置窗口长度为20帧、滑动步长为10帧，从三通道点云特征图像序列的起始位置开始，依次截取连续20帧特征图像作为一个独立子序列，直至遍历完所有可截取的有效窗口，最终生成格式为(20,32,32,3)的固定长度的时序特征样本。

11、可选的，所述时序神经网络，具体包括：底层特征提取模块、高层语义特征提取模块、时序依赖学习模块和全连接分类输出模块；其中，所述底层特征提取模块逐帧提取三通道时序特征中的手势底层空间轮廓特征，确定时序空间特征；所述高层语义特征提取模块通过提取时序空间特征中的手势高层语义与细节运动特征，确定深层空间特征；所述时序依赖学习模块对深层空间特征进行正向和反向时序特征分析并融合，确定全局时序特征；所述全连接分类输出模块将全局时序特征映射至多维手势类别空间，获取对应的动作类别概率，将动作类别概率最大值对应的类别作为最终的手势识别结果。

12、可选的，通过时序特征样本对构建的时序神经网络进行训练之前，对所述时序特征样本进行数据增强处理。

13、可选的，所述时序神经网络训练时，模型编译采用adam优化器，学习率为0.002，损失函数为分类交叉熵。

14、可选的，所述毫米波雷达为ti iwr6843毫米波雷达，采用两路发射天线与四路接收天线配置。

15、本发明提供了一种基于毫米波雷达的手势识别装置，实现上述基于毫米波雷达的手势识别方法。

16、本发明提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于毫米波雷达的手势识别方法。

17、本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于毫米波雷达的手势识别方法。

18、相对于现有技术，本发明的有益效果如下：本发明提供了一种基于毫米波雷达的手势识别方法，该方法基于获取的人体手势动作的中频回波数据，生成包含空间域、速度域和回波强度域的增强型点云数据，然后，将增强型点云数据中的空间域、回波强度域、速度域的两两融合投影，构建时序特征样本，结合轻量化时序神经网络，充分挖掘多维度手势特征，从输入层面提升跨场景基于毫米波雷达的手势识别精度；此外，通过采用time-distributed cnn+bidirectional lstm架构来构建轻量化时序神经网络，实现卷积参数时序共享，通过底层与高层两级卷积网络逐级提取手势的空间轮廓特征与细节运动特征，并双向捕捉手势连续动作的前后关联与时序变化规律，在保证特征提取能力的同时大幅压缩模型参数量，进而提升跨场景的手势识别精度。

1.一种基于毫米波雷达的手势识别方法，其特征在于，包括：

2.如权利要求1所述基于毫米波雷达的手势识别方法，其特征在于，所述所述增强型点云数据的获取，具体包括：

3.如权利要求1所述基于毫米波雷达的手势识别方法，其特征在于，所述对三通道点云特征图像序列进行时序切片处理，生成固定长度的时序特征样本，具体包括：

4.如权利要求1所述基于毫米波雷达的手势识别方法，其特征在于，所述时序神经网络，具体包括：底层特征提取模块、高层语义特征提取模块、时序依赖学习模块和全连接分类输出模块；其中，所述底层特征提取模块逐帧提取三通道时序特征中的手势底层空间轮廓特征，确定时序空间特征；所述高层语义特征提取模块通过提取时序空间特征中的手势高层语义与细节运动特征，确定深层空间特征；所述时序依赖学习模块对深层空间特征进行正向和反向时序特征分析并融合，确定全局时序特征；所述全连接分类输出模块将全局时序特征映射至多维手势类别空间，获取对应的动作类别概率，将动作类别概率最大值对应的类别作为最终的手势识别结果。

5.如权利要求1所述基于毫米波雷达的手势识别方法，其特征在于，通过时序特征样本对构建的时序神经网络进行训练之前，对所述时序特征样本进行数据增强处理。

6.如权利要求1所述基于毫米波雷达的手势识别方法，其特征在于，所述时序神经网络训练时，模型编译采用adam优化器，学习率为0.002，损失函数为分类交叉熵。

7.如权利要求1所述基于毫米波雷达的手势识别方法，其特征在于，所述毫米波雷达为ti iwr6843毫米波雷达，采用两路发射天线与四路接收天线配置。

8.一种基于毫米波雷达的手势识别装置，其特征在于，实现上述权利要求1-7任一项所述基于毫米波雷达的手势识别方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述基于毫米波雷达的手势识别方法。

10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-7任一所述基于毫米波雷达的手势识别方法。