一种基于CNN-LSTM的假手触觉信息识别方法、设备及存储介质

一种基于cnn-lstm的假手触觉信息识别方法、设备及存储介质
技术领域
1.本发明涉及仿生假手感知技术领域，尤其是涉及一种基于cnn-lstm的假手触觉信息识别方法、设备及存储介质。


背景技术：

2.手是人体最为重要的肢体部位之一，人们的各种日常活动均离不开手。意外伤害和疾病导致的肢体残缺，不仅影响外表的美观而且也会严重影响患者的生活质量。假手的研究作为康复医疗中的重要环节得到了各界学者的广泛关注，在漫长的发展过程中，假手渐渐开始具备自然手的功能，并不断改进和完善。
3.触觉反馈对于假手功能的实现有重要意义，可以防止抓握过程中物体的滑落，显著提高抓取的成功率。此外，触觉反馈有助于减轻肢体疼痛，缓解肌肉疲劳，并使假肢使用者产生身体归属感。
4.现有假手的触觉反馈技术通常是通过假手握力大小带来的单一振动或者电刺激反馈，忽略了真实抓取物体时感受到的多种因素的影响，如：物体硬度、假手握力、物体温度等。因此，需要考虑和弄清楚不同因素对于人体感觉的复杂影响。对于影响的分析，大多数方法采用回归分析，但是一些数学模型预测的人体感觉是有争议的，预测的人体感觉偏差可能是由于忽视了多种属性因素对个体因素感觉的交叉作用造成的。
5.此外，现有的假手触觉识别算法多是传统的支持向量机，knn邻近算法等，识别准确率不高，难以识别出准确的触觉信息。


技术实现要素：

6.本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种准确性高的基于cnn-lstm的假手触觉信息识别方法、设备及存储介质。
7.本发明的目的可以通过以下技术方案来实现：
8.根据本发明的第一方面，提供了一种基于cnn-lstm的假手触觉信息识别方法，所述方法包括以下步骤：
9.步骤s1、在假手上配置压力传感器阵列以及温度传感器，执行设定动作后采集传感器数据，预处理后得到握力数据、硬度数据以及温度数据；
10.步骤s2、基于握力数据、硬度数据以及温度数据，采用概率分布分进行人体感觉投票，将假手不同的抓取因素与人体感觉进行数值关联；
11.步骤s3、基于假手不同的抓取因素与人体感觉的数值关联，构建基于cnn-lstm的假手触觉信息识别模型，对假手的触觉信息进行识别。
12.优选地，所述步骤s1中的传感器阵列包括11个压力传感器。
13.优选地，所述11个压力传感器的位置具体为：假手的每个手指上均设置2个压力传感器，假手的掌心设置1个压力传感器。
14.优选地，所述假手的每个手指上均设置2个压力传感器，具体为：假手掌面侧的每个手指指尖设置1个压力传感器，每个手指关节处设置1个压力传感器。
15.优选地，所述步骤s1中的执行设定动作后采集传感器数据，预处理后得到握力数据、硬度数据以及温度数据，具体为：
16.1)假手正常缓慢抓握住物体，直至正好能够抬起，假手上的压力传感器阵列采集压力数据，预处理后得到握力数据；
17.2)假手进行倾斜摇晃，假手上的压力传感器阵列采集压力数据，预处理后得到硬度数据；
18.3)假手上的温度传感器采集温度信息，预处理后得到温度数据。
19.优选地，所述步骤s2中的人体感觉投票为7点感觉投票，具体为：
20.热感觉投票：-3为寒冷，-2为冷，-1为微冷，0为中性，1为微热，2为温暖，3为热；
21.硬度感觉投票：-3为柔软，-2为软，-1为微弱，0为中性，1为微强，2为强，3为很强；
22.握力感觉投票：-3为很弱，-2为弱，-1为中性，0为强，1为微强，2为强，3为很强。
23.优选地，所述步骤s2中的人体感觉投票对应的概率质量函数分别为：
24.热感觉投票：
[0025][0026]
硬度感觉投票：
[0027][0028]
握力感觉投票：
[0029]
[0030]
式中，下标s
t
、sh、sf为离散随机变量，分别描述受控测试中采用的7点热感觉、硬度感觉、握力感觉投票。
[0031]
优选地，所述步骤s3具体为：
[0032]
假手正常抓取的握力数据，假手摇晃物体时的硬度数据，以及抓取过程中的温度数据作为cnn-lstm的三种输入，经过cnn的卷积和池化后提取出特征信息后，再次输入到lstm网络中，根据抓取的信息提取出帧间信息，然后经过全连接网络，最后通过softmax函数输出最终预测结果
[0033]
根据本发明的第二方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现任一项所述的方法。
[0034]
根据本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现任一项所述的方法。
[0035]
与现有技术相比，本发明具有以下优点：
[0036]
1)采用质量概率函数分析法，评估不同假手抓握物体属性因素对人体因素感觉的交叉复杂影响，通过变量控制对物体硬度、物体温度、假手握力对人体感觉的影响方向和影响大小进行了数值表达；
[0037]
2)采用cnn-lstm算法，通过特征提取和学习抓取过程中的帧间信息，提高了假手对于触觉信息的识别准确率的问题。
附图说明
[0038]
图1为假手传感器安装位置示意图；
[0039]
图2为本发明的方法流程图；
[0040]
图3为cnn-lstm模型。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0042]
实施例
[0043]
本实施例给出了一种基于cnn-lstm的假手触觉信息识别方法，所述方法包括以下步骤：
[0044]
步骤s1、如图1所示，在假手上配置11个压力传感器阵列以及1个温度传感器；其中，假手的每个手指上均设置2个压力传感器，假手的掌心设置1个压力传感器；假手掌面侧的每个手指指尖设置1个压力传感器，每个手指关节处设置1个压力传感器。
[0045]
执行设定动作后采集传感器数据，预处理后得到握力数据、硬度数据以及温度数据，具体为：
[0046]
1)假手正常缓慢抓握住物体，直至正好能够抬起，假手上的压力传感器阵列采集压力数据，这时因为物体质量不同，传感器阵列得到的数据也是不同的，预处理后得到握力数据；
[0047]
2)假手进行倾斜摇晃，假手上的压力传感器阵列采集压力数据，因为物体的硬度不同，得到的数据也会有所差别，预处理后得到硬度数据；
[0048]
3)假手上的温度传感器采集温度信息，预处理后得到温度数据。
[0049]
步骤s2、基于握力数据、硬度数据以及温度数据，采用概率分布分进行人体感觉投票，将假手不同的抓取因素与人体感觉进行数值关联；
[0050]
其中，人体感觉投票为7点感觉投票，具体为：
[0051]
热感觉投票：-3为寒冷，-2为冷，-1为微冷，0为中性，1为微热，2为温暖，3为热；
[0052]
硬度感觉投票：-3为柔软，-2为软，-1为微弱，0为中性，1为微强，2为强，3为很强；
[0053]
握力感觉投票：-3为很弱，-2为弱，-1为中性，0为强，1为微强，2为强，3为很强。
[0054]
人体感觉投票对应的概率质量函数分别为：
[0055]
热感觉投票：
[0056][0057]
硬度感觉投票：
[0058][0059]
握力感觉投票：
[0060][0061]
式中，下标s
t
、sh、sf为离散随机变量，分别描述受控测试中采用的7点热感觉、硬度感觉、握力感觉投票。
[0062]
步骤s3、结合图2和图3，基于假手不同的抓取因素与人体感觉的数值关联，构建基
于cnn-lstm的假手触觉信息识别模型，对假手的触觉信息进行识别，具体为：
[0063]
对于cnn-lstm模型：输入层是3种抓取物体因素，分别是物体温度、物体硬度、假手握力。输出层为因变量，由7个神经元组成，可视为回归问题，将抓取因素转化为7点投票的概率。
[0064]
每个单独的网络模型的输出层每个输出神经元代表一个类别投票的概率。由于要分别关联热感觉投票、硬度感觉投票和握力感觉投票的概率，因此采用三个独立的网络模型。
[0065]
其中cnn-lstm模型的具体结构如图3所示。假手正常抓取的握力数据，假手摇晃物体时的硬度数据，以及抓取过程中的温度数据作为cnn-lstm的三种输入，经过cnn的卷积和池化后提取出特征信息，再次输入到lstm网络中，根据抓取的信息提取出帧间信息，然后经过全连接网络，最后通过softmax函数输出最终预测结果。
[0066]
具体来说，假手通过压力传感器阵列和温度传感器获取到11个压力数据和温度数据，经过归一化处理，将它们数值转化为0～255之间。
[0067]
本实施例中压力传感器的压力获取范围是0～1000g，因为假手抓取物体的质量和材料的不同，压力传感器的数值也是不相同的。因此对这些数据进行编码，通过正常抓取和倾斜摇晃的方法可以辨别出不同的压力数值变化，以此为启发可以间接得到假手抓取物体时握力和硬度的感觉尺度等级。
[0068]
此时的压力数值变成握力数值和硬度数值，将两者首先输入到cnn网络中，经过卷积和池化操作，得到不同的物体特征信息，将这些特征信息输入到lstm网络，提取出帧间信息，最终结果经过softmax函数输出每种感觉尺度的最大预测概率，根据输出的最大概率可以推测握力感觉和硬度感觉信息等级。
[0069]
例如，根据图2所示的握力感觉尺度图，最终输出的7种握力的概率为10％，44％，60％，25％，20％，76％，96％，那么最终的预测结果是最强的握力感觉。温度数据也是同样的道理，温度传感器的数值范围是-10～60℃，因为假手在抓取物体的过程中变化不大，可以认为是一个常数，最终网络的输出也是一个最大温度获取概率，根据此概率可以得到热感觉信息等级。
[0070]
本发明电子设备包括中央处理单元(cpu)，其可以根据存储在只读存储器(rom)中的计算机程序指令或者从存储单元加载到随机访问存储器(ram)中的计算机程序指令，来执行各种适当的动作和处理。在ram中，还可以存储设备操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
[0071]
设备中的多个部件连接至i/o接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0072]
处理单元执行上文所描述的各个方法和处理，例如方法s1～s3。例如，在一些实施例中，方法s1～s3可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由rom和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到ram并由cpu执行时，可以执行上文描述的方法s1～s3的一个或多个步骤。备选地，在其他实施例中，cpu可以通过其他任何适当的方式(例
如，借助于固件)而被配置为执行方法s1～s3。
[0073]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
[0074]
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0075]
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0076]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。