一种基于深度学习与传感器技术的战术手语识别手套系统及实现方法

1.本发明属于通信领域，具体公开了一种基于深度学习与传感器技术的战术手语识别手套系统及实现方法。


背景技术：

2.21世纪是信息的时代。随着机械化战争向信息化战争的悄然转变，信息战已成为了21世纪新型的战争形势。采集，利用，处理，交流信息是信息战中至关重要的决定性因素。战术的决策，决策的传递，队友的交流，都需要依靠信息为媒介来实现。
3.在战术手语方面，为满足特殊战斗环境下具有隐蔽性和准确性的无声信息交流，军队的各个行动分队之间通常会采用战术手语交流。例如武警特种部队为确保安全、秘密地完成人物，行动分队内部通常采用战术手语交流。
4.但是我们注意到，在实际的战场环境下，行动分队之间可能会误读某些手语，对作战造成一定影响，对此，已经有使用计算机视觉的方法对手语信息进行解读，但在某些条件下，这一方法仍具有很强的局限性。例如在夜间、极端天气或障碍物繁多的场景作战，无论是传统手语手势还是计算机视觉识别的方法都会受到可见度的限制。同时使用计算机视觉识别手语的方式在实际作战中也会影响使用者的效率。
5.针对以上问题，研制一种轻量级、适应多场合作战的穿戴类设备是急需解决的难题。


技术实现要素：

6.本发明的目的在于提供一种基于深度学习与传感器技术的战术手语识别手套系统及实现方法，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：一种基于深度学习与传感器技术的战术手语识别手套系统，用于实现战术手语交流功能、指挥部远程指挥功能以及卫星定位功能，包括树莓派模块、arduino开发板、v5扩展板、弯曲传感模块、陀螺仪传感模块、压力传感模块、卫星定位模块、接收者耳机端、pc端界面模块、开关模块以及电源模块。
8.所述树莓派模块，用于数据接收与处理，并传输指令音频文件或位置信息，是整个设备的核心；
9.所述arduino开发板，用于将传感模块采集到的数据进行ad转换，并将数字信号传递至树莓派模块；
10.所述v5扩展板，插在arduino开发板上，用于扩展arduino开发板接口，与开关模块、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块直接相连；
11.所述弯曲传感模块，用于采集手指弯曲度数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；
12.所述陀螺仪传感模块，用于采集手掌偏转角度数据，并依次通过v5扩展板、
arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；
13.所述压力传感模块，用于采集指尖压力数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；
14.所述卫星定位模块，用于实时获取使用者的位置，并依次通过v5扩展板、arduino开发板、树莓派将位置上传至pc界面端；
15.所述接收者耳机端，用于与树莓派模块进行蓝牙连接，接收并播放树莓派模块发送的指令音频文件；
16.所述pc端界面模块，用于指挥部接收使用者手语指令，并于地图上展现使用者的位置信息，便于进行作战部署；
17.所述开关模块，用于开启设备采集一批次数据，采集完成后会自动关闭系统，防止系统长时间开启采集到无效数据；
18.所述电源模块，用于给上述模块供电。
19.本发明还提供一种基于深度学习与传感器技术的战术手语识别手套系统的实现方法，包括:
20.步骤1、打开电源模块为设备供电，对弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块进行校准处理；
21.步骤2、构建、训练并生成手语识别的数学模型；
22.步骤3、将生成模型在树莓派模块上部署；
23.步骤4、设计pc端界面及功能；
24.步骤5、将pc端和树莓派连接网络，双方以mysql数据库为中转站进行数据传输，防止传输大量数据造成堵塞、丢包的情况，同时消除了将pc终端和树莓派连接至同一局域网才能互相发送数据这一限制条件，扩大了本设备的应用范围。pc端可通过vnc远程控制工具以可视化方式查看树莓派内部工程文件，并定时执行该相应工程文件获取卫星传感模块的位置信息，在界面地图上实时更新；
25.步骤6、将树莓派端和接收者耳麦端进行蓝牙连接，使树莓派可以向接收者耳麦端发送指令音频文件；
26.步骤7、穿戴设备，在做出手语动作之前，触碰压力传感开关，弯曲传感模块、陀螺仪传感模块、压力传感模块会自动采集50组数据通过v5扩展板传送至arduino开发板中；
27.步骤8、arduino开发板对采集到的数据进行ad转换，将输出的数字信号传送至树莓派模块；
28.步骤9、树莓派模块将接收到的50组数字信号进行预处理；
29.步骤10、处理后的数据通过树莓派模块预先布置好的的模型处理后输出手语指令编号；
30.步骤11、树莓派模块通过输出的手语指令编号查找到对应指令的音频文件，并通过蓝牙发送至接收者耳麦端；
31.步骤l2、树莓派模块将手语指令上传至mysql数据库中，pc端具有导出权限。
32.进一步的，所述步骤2包括：
33.步骤2-1、人工采集数据集，寻找不同年龄、身高、体重、性别的志愿者穿戴手套做出48种战术手语，并打好标签分类，再提取为excel文件并进行打乱处理。将得到的数据集
分为训练集和测试集两部分；
34.步骤2-2、对数据集进行预处理，将每组数据列表转换为16*360大小的二维张量形式；
35.步骤2-3、对标签使用one-hot编码，即将每个标签表示为长度为48的全零向量，只有标签对应的索引位值为1；
36.步骤2-4、采用keras框架搭建单标签多分类神经网络模型；
37.步骤2-5、将epochs设为9，batch设为512，进行模型训练；
38.步骤2-6、在训练过程中，每个batch作为一个step，每200个step进行一次测试和验证；
39.步骤2-7、经过训练后得到长度为48的概率分布列表，和为1，输出最大概率的索引，即为手语编号。
40.进一步的，所述步骤2-2包括：
41.步骤2-2-1、编写函数，生成一个16*360全零张量；
42.步骤2-2-2、对于函数输入参数的一组数据列表，对于数据列表中第n项m，将全零张量中第n行第m列元素置为1，将数据列表中全部16项进行这般处理；
43.步骤2-2-3、调用函数将全部数据集进行上述处理并存储，并作为模型的输入。
44.作为本发明的一种优选方案，所述传感器模块可通过弯曲传感模块、陀螺仪模块、压力传感模块获取使用者的手指弯曲信息、加速度信息、角度信息以及指尖压力信息。
45.作为本发明的一种优选方案，所述数据预处理模块采用arduino开发板及v5扩展板，将数据整理后交付树莓派进行发送、处理。
46.作为本发明的一种优选方案，所述手势识别模块采用基于keras搭建单标签多分类的神经网络手势识别模型。
47.与现有技术相比，本发明的有益效果如下：
48.(1)便于穿戴，使用者可将本发明穿戴在手上使用，既不影响手语交流，也不影响直接作战。
49.(2)解除了在能见度受限场景作战的限制，满足实际需要。
50.(3)在不影响穿戴的前提下增加了卫星定位模块，结合界面使用使本发明具备更多功能。
51.(4)采用mysql数据库作为与pc端数据传输的中转站，解除了树莓派必须和pc端连接同一局域网的限制，即指挥部可以在后方指挥作战，满足实际需要。
52.(5)树莓派模块使用蓝牙与接收者耳机端进行音频传输，增强了数据传输效率及准确率，同时考虑到实际情况下队员之间距离较近，在蓝牙范围内，满足实际需要。
附图说明
53.图1为本发明的整体结构示意图。
54.图2为本发明的流程图。
55.图3为本发明的实物图。
56.图4为本发明的实物图。
具体实施方式
57.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.本实施例公开了一种基于深度学习与传感器技术的战术手语识别手套系统，可以实现手语识别功能、无线传输手语指令音频功能以及卫星定位功能，系统硬件结构如附图1所示，实物图如附图3、4所示。包括：
59.树莓派模块，用于数据接收与处理，并传输指令音频文件或位置信息，是整个设备的核心；
60.arduino开发板，用于将传感模块采集到的数据进行ad转换，并将数字信号传递至树莓派模块；
61.v5扩展板，插在arduino开发板上，用于扩展arduino开发板接口，与开关模块、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块直接相连；
62.弯曲传感模块，用于采集手指弯曲度数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；
63.陀螺仪传感模块，用于采集手掌偏转角度数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；
64.压力传感模块，用于采集指尖压力数据，并依次通过v5扩展板、arduino开发板、树莓派将数据上传至mysql数据库中，组建数据集；
65.卫星定位模块，用于实时获取使用者的位置，并依次通过v5扩展板、arduino开发板、树莓派将位置上传至pc界面端；
66.接收者耳机端，用于与树莓派模块进行蓝牙连接，接收并播放树莓派模块发送的指令音频文件；
67.pc端界面模块，用于指挥部接收使用者手语指令，并于地图上展现使用者的位置信息，便于进行作战部署；
68.开关模块，用于开启设备采集一批次数据，采集完成后会自动关闭系统，防止系统长时间开启采集到无效数据；
69.还包括给上述模块供电的电源模块。
70.本实施例还提供一种基于深度学习与传感器技术的战术手语识别手套系统的实现方法，流程图如附图2所示，包括:
71.步骤a、打开电源模块为设备供电，对弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块进行校准处理；
72.步骤b、构建、训练并生成手语识别的数学模型；
73.步骤c、将生成模型在树莓派模块上部署；
74.步骤d、设计pc端界面及功能；
75.步骤e、将pc端和树莓派连接网络，双方以mysql数据库为中转站进行数据传输，防止传输大量数据造成堵塞、丢包的情况，同时消除了将pc终端和树莓派连接至同一局域网才能互相发送数据这一限制条件，扩大了本设备的应用范围。pc端可通过vnc远程控制工具
以可视化方式查看树莓派内部工程文件，并定时执行该相应工程文件获取卫星传感模块的位置信息，在界面地图上实时更新；
76.步骤f、将树莓派端和接收者耳麦端进行蓝牙连接，使树莓派可以向接收者耳麦端发送指令音频文件；
77.步骤g、穿戴设备，在做出手语动作之前，触碰压力传感开关，弯曲传感模块、陀螺仪传感模块、压力传感模块会自动采集50组数据通过v5扩展板传送至arduino开发板中；
78.步骤h、arduino开发板对采集到的数据进行ad转换，将输出的数字信号传送至树莓派模块；
79.步骤i、树莓派模块将接收到的50组数字信号进行预处理；
80.步骤j、处理后的数据通过树莓派模块预先布置好的的模型处理后输出手语指令编号；
81.步骤k、树莓派模块通过输出的手语指令编号查找到对应指令的音频文件，并通过蓝牙发送至接收者耳麦端；
82.步骤l、树莓派模块将手语指令上传至mysql数据库中，pc端具有导出权限。
83.进一步的，所述步骤b包括：
84.步骤b1、人工采集数据集，寻找不同年龄、身高、体重、性别的志愿者穿戴手套做出48种战术手语，并打好标签分类，再提取为excel文件并进行打乱处理。将得到的数据集分为训练集和测试集两部分；
85.步骤b2、对数据集进行预处理，将每组数据列表转换为16*360大小的二维张量形式；
86.步骤b3、对标签使用one-hot编码，即将每个标签表示为长度为48的全零向量，只有标签对应的索引位值为1；
87.步骤b4、采用keras框架搭建单标签多分类神经网络模型；
88.步骤b5、将epochs设为9，batch设为512，进行模型训练；
89.步骤b6、在训练过程中，每个batch作为一个step，每200个step进行一次测试和验证；
90.步骤b7、经过训练后得到长度为48的概率分布列表，和为1，输出最大概率的索引，即为手语编号。
91.进一步的，所述步骤d包括：
92.步骤d1、使用pyqt对界面进行整体布局；
93.步骤d2、编写导出功能对应的槽函数，pc端读取mysql数据库中的手语名称，并以下拉框的形式展现；
94.步骤d3、编写定位功能对应的槽函数，采用多线程的方式定时接收使用者的位置信息，并在等比例地图上更新显示；
95.步骤d4、编写接收功能对应的槽函数，pc端会和接收者耳机端一同接收播放树莓派模块发送的音频文件；
96.步骤d5、编写命令功能对应的槽函数，pc端会通过树莓派模块向所有接收者耳麦端发送音频指令；
97.步骤d6、编写退出功能对应的槽函数，界面系统完全退出。
98.进一步的，所述步骤i包括：
99.步骤i1、将50组数字信号组合成一组50*16的二维张量；
100.步骤i2、寻找二维张量每一列的众数，如果存在多个符合项则任意选取其中之一；
101.步骤i3、将得到的16个众数按照顺序组合成1个长度为16的列表，作为待处理的手语信息。
102.可以看出，通过本实施例提供的系统和方法，能够实时利用手语传递信息，并基于手语识别的信息交流；能够实现使用者之间远距离的信息传输，并建立使用者在障碍物阻挡下的精确信息交互；能够实时获取各个使用者的位置情况；能够建立突发状况的应急措施预案的自动选择，同时方便使用者进行应急交流，进而实现整个系统完整、准确、实时性强的通信功能。
103.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。