一种基于超声阵列与深度学习的手势识别方法及相关装置

本发明属于非接触式人机交互与超声电子，涉及一种基于超声阵列与深度学习的手势识别方法及相关装置。

背景技术：

1、手势识别是自然人机交互的重要入口，可用于智能家居、车载控制、虚拟现实和机器人控制等场景。传统视觉方案容易受到光照和隐私风险影响；可穿戴传感方案通常依赖人体佩戴或接触；毫米波雷达方案虽然具备非接触优势，但系统成本、算法复杂度和功耗较高。

2、超声传感技术具有硬件成本低、结构紧凑、对可见光环境不敏感和隐私风险较低等优点。单个超声换能器的角度分辨率有限，随着传播距离增加，空气衰减还会降低回波信噪比。因此，仅依赖单发单收结构或简单阈值判断，难以稳定区分复杂动态手势。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供了一种基于超声阵列与深度学习的手势识别方法及相关装置，该方法及相关装置能够稳定区分复杂动态手势。

2、为达到上述目的，本发明公开了一种基于超声阵列与深度学习的手势识别方法，包括：

3、通过超声阵列获取用户的按压信息，将所述按压信息转换为回波信号；

4、对所述回波信号进行预处理，得到模拟回波信号；

5、将模拟回波信号转换为具有时空连续性的二维灰度图像；

6、将所述具有时空连续性的二维灰度图像输入到训练后的识别模型中，得到各类动态手势的概率，将概率最高的动态手势作为最别结果。

7、进一步的，所述超声阵列包括八个pzt压电陶瓷发射换能器及一个pzt接收换能器，其中，八个pzt压电陶瓷发射换能器沿圆周均匀分布，一个pzt接收换能器位于圆心区域，通过pzt接收换能器输出模拟电信号，对所述模拟电信号进行调理，得到一维回波时序信号。

8、进一步的，所述动态手势的类别包括上移、下移、左移、右移、从左向右往上滑、从左向右往下滑、从右向左往上滑以及从右向左往下滑。

9、进一步的，所述对所述回波信号进行预处理的过程为：

10、对所述回波信号进行前置放大、40khz附近带通滤波及末级放大后输出调理后的模拟回波信号。

11、进一步的，所述将模拟回波信号转换为具有时空连续性的二维灰度图像的过程为：对所述调理后的模拟回波信号进行模数转换、幅值提取、时窗分割和归一化处理，并针对动态手势，生成二维灰度图像，以表征手势在阵列前方的移动方向、速度或轨迹变化。

12、进一步的，识别模型包括卷积神经网络、残差网络及轻量化卷积网络，采用基于resnet-50的迁移学习模型对超声幅值图像进行分类，并通过冻结部分基础层、替换分类层和小样本增广训练实现模型收敛，在训练时，对训练样本进行幅值缩放、轻微旋转、轻微平移、噪声扰动或时间裁剪，实现数据增强，所述数据增强受阵列物理坐标和图像时空语义约束。

13、本发明公开了一种基于超声阵列与深度学习的手势识别系统，包括：

14、超声阵列，用于获取用户的按压信息，将所述按压信息转换为回波信号；

15、接收调理电路，用于对所述回波信号进行预处理，得到模拟回波信号；

16、幅值成像模块，用于将模拟回波信号转换为具有时空连续性的二维灰度图像；

17、微控制器，用于将所述具有时空连续性的二维灰度图像输入到训练后的识别模型中，得到各类动态手势的概率，将概率最高的动态手势作为最别结果；

18、微控制器与超声阵列相连接，超声阵列经接收调理电路及幅值成像模块与微控制器相连接。

19、进一步的，微控制器与超声发射阵列之间设置有发射升压驱动电路。

20、本发明公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于超声阵列与深度学习的手势识别方法的步骤。

21、本发明公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于超声阵列与深度学习的手势识别方法的步骤。

22、本发明具有以下有益效果：

23、本发明所述基于超声阵列与深度学习的手势识别方法及相关装置在具体操作时，通过超声阵列获取用户的按压信息，将所述按压信息转换为回波信号，并以此构建具有时空连续性的二维灰度图像，将所述具有时空连续性的二维灰度图像输入到训练后的识别模型中，得到各类动态手势的概率，将概率最高的动态手势作为最别结果，从而稳定区分复杂动态手势。

1.一种基于超声阵列与深度学习的手势识别方法，其特征在于，包括：

2.根据权利要求1所述的基于超声阵列与深度学习的手势识别方法，其特征在于，所述超声阵列包括八个pzt压电陶瓷发射换能器及一个pzt接收换能器，其中，八个pzt压电陶瓷发射换能器沿圆周均匀分布，一个pzt接收换能器位于圆心区域，通过pzt接收换能器输出模拟电信号，对所述模拟电信号进行调理，得到一维回波时序信号。

3.根据权利要求1所述的基于超声阵列与深度学习的手势识别方法，其特征在于，所述动态手势的类别包括上移、下移、左移、右移、从左向右往上滑、从左向右往下滑、从右向左往上滑以及从右向左往下滑。

4.根据权利要求1所述的基于超声阵列与深度学习的手势识别方法，其特征在于，所述对所述回波信号进行预处理的过程为：

5.根据权利要求1所述的基于超声阵列与深度学习的手势识别方法，其特征在于，所述将模拟回波信号转换为具有时空连续性的二维灰度图像的过程为：对所述调理后的模拟回波信号进行模数转换、幅值提取、时窗分割和归一化处理，并针对动态手势，生成二维灰度图像，以表征手势在阵列前方的移动方向、速度或轨迹变化。

6.根据权利要求1所述的基于超声阵列与深度学习的手势识别方法，其特征在于，识别模型包括卷积神经网络、残差网络及轻量化卷积网络，采用基于resnet-50的迁移学习模型对超声幅值图像进行分类，并通过冻结部分基础层、替换分类层和小样本增广训练实现模型收敛，在训练时，对训练样本进行幅值缩放、轻微旋转、轻微平移、噪声扰动或时间裁剪，实现数据增强，所述数据增强受阵列物理坐标和图像时空语义约束。

7.一种基于超声阵列与深度学习的手势识别系统，其特征在于，包括：

8.根据权利要求7所述的基于超声阵列与深度学习的手势识别系统，其特征在于，微控制器与超声发射阵列之间设置有发射升压驱动电路。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述基于超声阵列与深度学习的手势识别方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述基于超声阵列与深度学习的手势识别方法的步骤。