一种基于深度学习与传感器技术的战术手语识别手套系统及实现方法

技术特征：
1.一种基于深度学习与传感器技术的战术手语识别手套系统，其特征在于，包括：a.树莓派模块，用于数据接收与处理，并传输指令音频文件或位置信息，是整个设备的核心；b.arduino开发板，用于将传感模块采集到的数据进行ad转换，并将数字信号传递至树莓派模块；c.v5扩展板，插在arduino开发板上，用于扩展arduino开发板接口，与开关模块、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块直接相连；d.弯曲传感模块，用于采集手指弯曲度数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；e.陀螺仪传感模块，用于采集手掌偏转角度数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；f.压力传感模块，用于采集指尖压力数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；g.卫星定位模块，用于实时获取使用者的位置，并依次通过v5扩展板、arduino开发板、树莓派将位置上传至pc界面端；h.接收者耳机端，用于与树莓派模块进行蓝牙连接，接收并播放树莓派模块发送的指令音频文件；i.pc端界面模块，用于指挥部接收使用者手语指令，并于地图上展现使用者的位置信息，便于进行作战部署；j.开关模块，用于开启设备采集一批次数据，采集完成后会自动关闭系统，防止系统长时间开启采集到无效数据；k.电源模块，用于给上述模块供电。2.根据权利要求1所述的一种基于深度学习与传感器技术的战术手语识别手套系统，其特征在于：开关模块选取压力传感器，通过3s持续按压激活，进行一次手语的识别。3.一种基于深度学习与传感器技术的战术手语识别手套系统的实现方法，其特征在于，包括:(1)打开电源模块为设备供电，对弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块进行校准处理；(2)构建、训练并生成手语识别的数学模型；(3)将生成模型在树莓派模块上部署；(4)设计pc端界面及功能；(5)将pc端和树莓派连接网络，双方以mysql数据库为中转站进行数据传输，防止传输大量数据造成堵塞、丢包的情况，同时消除了将pc终端和树莓派连接至同一局域网才能互相发送数据这一限制条件，扩大了本设备的应用范围。pc端可通过vnc远程控制工具以可视化方式查看树莓派内部工程文件，并定时执行该相应工程文件获取卫星传感模块的位置信息，在界面地图上实时更新；(6)将树莓派端和接收者耳麦端进行蓝牙连接，使树莓派可以向接收者耳麦端发送指令音频文件；(7)穿戴设备，在做出手语动作之前，触碰压力传感开关，弯曲传感模块、陀螺仪传感模
块、压力传感模块会自动采集50组数据通过v5扩展板传送至arduino开发板中；(8)arduino开发板对采集到的数据进行ad转换，将输出的数字信号传送至树莓派模块；(9)树莓派模块将接收到的50组数字信号进行预处理；(10)处理后的数据通过树莓派模块预先布置好的的模型处理后输出手语指令编号；(11)树莓派模块通过输出的手语指令编号查找到对应指令的音频文件，并通过蓝牙发送至接收者耳麦端；(12)树莓派模块将手语指令上传至mysql数据库中，pc端具有导出权限。4.根据权利要求2所述的一种基于深度学习与传感器技术的战术手语识别手套系统的实现方法，其特征在于，所述(2)包括以下步骤：(2-1)人工采集数据集，寻找不同年龄、身高、体重、性别的志愿者穿戴手套做出48种战术手语，并打好标签分类，再提取为excel文件并进行打乱处理。将得到的数据集分为训练集和测试集两部分；(2-2)对数据集进行预处理，将每组数据列表转换为16*360大小的二维张量形式；(2-3)对标签使用one-hot编码，即将每个标签表示为长度为48的全零向量，只有标签对应的索引位值为1；(2-4)采用keras框架搭建单标签多分类神经网络模型；(2-5)将epochs设为9，batch设为512，进行模型训练；(2-6)在训练过程中，每个batch作为一个step，每200个step进行一次测试和验证；(2-7)经过训练后得到长度为48的概率分布列表，和为1，输出最大概率的索引，即为手语编号。5.根据权利要求2所述的一种基于深度学习与传感器技术的战术手语识别手套系统的实现方法，其特征在于，所述(4)包括以下步骤：(4-1)使用pyqt对界面进行整体布局；(4-2)编写导出功能对应的槽函数，pc端读取mysql数据库中的手语名称，并以下拉框的形式展现；(4-3)编写定位功能对应的槽函数，采用多线程的方式定时接收使用者的位置信息，并在等比例地图上更新显示；(4-4)编写接收功能对应的槽函数，pc端会和接收者耳机端一同接收播放树莓派模块发送的音频文件；(4-5)编写命令功能对应的槽函数，pc端会通过树莓派模块向所有接收者耳麦端发送音频指令；(4-6)编写退出功能对应的槽函数，界面系统完全退出。6.根据权利要求2所述的一种基于深度学习与传感器技术的战术手语识别手套系统的实现方法，其特征在于，所述(9)中包括以下步骤：(9-1)将50组数字信号组合成一组50*16的二维张量；(9-2)寻找二维张量每一列的众数，如果存在多个符合项则任意选取其中之一；(9-3)将得到的16个众数按照顺序组合成1个长度为16的列表，作为待处理的手语信息。

技术总结
本发明属于通信领域，具体公开了一种基于深度学习与传感器技术的战术手语识别手套系统及实现方法，包括树莓派模块、arduino开发板、V5扩展板、电源模块、开关模块、PC端界面模块、接收者耳机端、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块。本发明基于keras搭建单标签多分类的神经网络手势识别模型以及传感器技术建立基于手套采集数据的手语识别系统，能够实时利用手语传递信息，并基于手语识别的信息交流；能够实现使用者之间远距离的信息传输，并建立使用者在障碍物阻挡下的精确信息交互；能够实时获取各个使用者的位置情况；能够建立突发状况的应急措施预案的自动选择，同时方便使用者进行应急交流，进而实现整个系统完整、准确、实时性强的通信功能。实时性强的通信功能。实时性强的通信功能。


技术研发人员：张恒嘉 陈园 张纪元 张若涵 熊生韬
受保护的技术使用者：吉林大学
技术研发日：2022.02.21
技术公布日：2022/5/31