一种基于深度学习的按摩手法识别方法与流程

1.本发明属于人工智能领域，具体涉及一种基于深度学习的按摩手法识别方法。


背景技术：

2.按摩是用手法作用于人体体表的特定部位以调节机体生理、病理状况，达到理疗目的的方法。传统人工按摩需按摩师的大量体力，同时需要大量的培训成本。
3.随着机器人技术发展，机器人可代替人工用于按摩服务。为实现机器人按摩，首先需要系统了解专业按摩师的按摩手法，探究按摩手法的特征，为机器人复现按摩师的按摩手法提供参考。
4.目前国内外手法识别，大多采用视觉传感器采集手法图像、给其打上标签，并用二维卷积神经网络训练单帧的手法图像数据已达到识别手法类别效果。然而视觉传感器只能采集到手法的动作信息，不能采集到按摩手法的力信息；二维卷积神经网络只能训练提取出按摩手法的空间域信息，而不能提取与按摩手法密切相关的时序信息；此外，传统的传感器数据采集也需大量的成本。因此，需要一种更有效的新型的按摩手法识别方法。


技术实现要素：

5.本发明要解决的技术问题是提供一种识别医生按摩手法的方法，通过集成在手套上的柔性点阵式触觉传感器采集数据并给其打上标签，以及神经网络处理、训练数据来实现按摩手法识别的目的。
6.为达到上述发明创造目的，本发明的构思是：
7.一种基于深度学习的按摩手法识别方法，通过变分自编码器(variational auto-encoder，vae)来构建一个可以从隐变量生成目标数据的模型，在不增加人工采集数据的情况下通过对隐变量插值来获得额外的目标数据；通过帧差法来提取采集到的按摩手法图像的关键帧；通过二维卷积神经网络(convolutional neural networks，2dcnn)与循环神经网络(recurrent neural network，rnn)相结合来提取按摩力点阵图的空间域与时间域的特征；通过引入帧注意力机制给按摩力点阵图增加权重并通过神经网络来训练此权重以优化模型性能。
8.根据上述发明构思，本发明采用下述技术方案：
9.一种基于深度学习的按摩手法识别方法，操作步骤如下：
10.步骤一：通过柔性分布式触觉传感器采集按摩动作对应的数据；
11.步骤二：通过上位机将传感器数据可视化为按摩点阵热力图；
12.步骤三：通过变分自编码器vae构建一个从隐变量生成目标数据的模型来扩充原有采集数据；
13.步骤四：通过帧差法提取按摩点阵热力图的关键帧；
14.步骤五：用二维卷积神经网络来提取输入的各帧按摩力点阵图的空间特征；
15.步骤六：在卷积神经网络之后引入帧注意力机制，给数据的视频帧维度赋予权重
值；
16.步骤七：用循环神经网络来提取的各帧按摩力点阵图的时间域特征；
17.步骤八：将循环神经网络的输出接入线性层以降维数据，训练网络，实现按摩手法的识别。
18.优选地，本发明基于深度学习的按摩手法识别方法分为三大模块：数据采集模块、数据处理模块、深度学习模块。
19.优选地，在步骤一中，利用数据采集模块，通过触觉传感器及数据采集系统采集医生按摩时的手部施加的力大小及分布；实现按摩数据采集。
20.优选地，在步骤二中，利用数据处理模块，通过上位机实时接收传感器数据并将数据可视化为按摩点阵热力图保存；实现数据可视化。
21.进一步优选地，在步骤二中，将采集按摩动作对应的数据按摩数据可视化，通过matlab将触觉传感器的各传感单元按照其在手套上的实际分布位置可视化在上位机中，用热力图表示传感单元受力的大小，传感单元受力由小到大对应传感单元由冷到暖的颜色。
22.优选地，在步骤三中，利用数据处理模块，通过变分自编码器vae通过引入隐变量来间接获得真实样本数据的分布，并对隐变量插值并将其解码成生成样本，在不额外采集数据的情况下扩充按摩点阵热力图，实现数据增强。本发明通过变分自编码器(variational auto-encoder，vae)构建一个从隐变量生成目标数据的模型，隐变量与目标数据一一对应，通过对隐变量插值并将其解码为生成样本来扩充原有采集数据以减少获取新数据的大量成本；实现数据增强。
23.优选地，在步骤四中，利用数据处理模块，通过帧差法来提取按摩力点阵图组中的关键帧，提取n帧关键帧，并按照时间顺序排列好以作为神经网络的输入；实现图组的关键帧提取。
24.进一步优选地，在步骤四中，帧差法将一个按摩手法对应120帧点阵热力图的每10帧点阵热力图的像素求均值，并将均值图片与这10帧图片作对挑选出一帧与均值图片像素差最大的图片，保留这张差值最大的图片与均值图片，最后得到20帧的关键帧，将关键帧按照时间顺序排列好以作为神经网络的输入，实现数据关键帧提取。
25.优选地，在步骤五中，通过二维卷积神经网络提取按摩手法的空间域特征。
26.进一步优选地，在步骤五中，利用深度学习模块，采用二维卷积神经网络来提取输入的各帧按摩力点阵图的空间特征，神经网络原始输入数据维度为:(batch size,frames,channels,image size x,image size y)，经过二维卷积神经网络提取空间特征后数据维度变为:(batch size,frames,cnn embed dim)；实现对按摩手法空间域特征的提取。
27.优选地，在步骤六中，利用深度学习模块，在卷积神经网络之后引入帧注意力机制，通过全局池化层、线性层、归一化层将数据维度转化为:(1,1,frames)，将视频帧以外的维度均转化为1，通过神经网络的反向传播算法训练出帧的权重值frames，然后再将权重值乘到数据的frames维度上，将数据维度还原成:(batch size,frames,cnn embed dim)，给视频帧维度frames赋予范围在0-1的权重值。
28.优选地，在步骤七中，通过循环神经网络提取按摩手法的时间域特征。
29.进一步优选地，在步骤七中，利用深度学习模块，将维度为(batch size,frames,cnn embed dim)的数据输入到长短期记忆循环(long short-term memory，lstm)神经网络
中来训练学习数据的时间域特征；实现对按摩手法时间域特征的提取。
30.优选地，在步骤八中，利用深度学习模块，将循环神经网络的最后一层隐层输出接入一个线性层将数据降维成:(batch size,n categories)，得到手法识别结果；用交叉熵函数计算识别结果与数据真实标签之间的损失；每训练一轮，均用反向传播算法更新网络的各权重参数；经过n轮的训练，最终得到可识别按摩手法的神经网络；实现识别按摩手法的目的。
31.本发明基于深度学习的按摩手法识别方法利用可集成在手套上的、具有分布式传感单元的柔性触觉传感器采集专业按摩师手部的力分布及大小数据，并通过变分自编码器在不增加人工采集数据的情况下通过对隐变量插值来获得额外的目标数据，用帧差法提取数据关键帧；同时提出一种结合二维卷积神经网络与循环神经网络的新型网络来提取按摩点阵热力图的空间域及时间域信息，并在网络中引入帧注意力机制，训练出视频帧的权重以提高识别精度；采用该方法，可有效采集专业按摩师的按摩手法数据，并用神经网络对数据进行训练，达到识别按摩手法的目的，为机器人复现按摩师的按摩手法提供参考。本发明具有数据获取成本低，网络训练时间短、识别精度高、泛化能力强等优点。
32.本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著的优点：
33.1.本发明通过变分自编码器(variational auto-encoder，vae)，在不增加采集数据的情况下扩展了原有的数据库，实现了数据增强，大大降低了获取新数据的成本；
34.2.本发明通过帧差法提取了按摩力点阵图的关键帧，去除了冗余帧，减小了神经网络的训练数据量，并提高了网络的泛化能力；
35.3.本发明通过将二维卷积神经网络与循环神经网络相结合，可有效提取并训练按摩力点阵图组的空间域以及时间域特征；
36.4.本发明通过将帧注意力机制引入神经网络，为按摩力点阵图组各帧增加了权重，有效提升了手法的识别精度。
附图说明
37.图1为本发明优选实施例的基于深度学习的按摩手法识别方法的流程图。
38.图2为本发明优选实施例的数据手套的按摩点阵热力图示意图。
39.图3为本发明优选实施例的变分自编码器(variational auto-encoder，vae)示意图。
40.图4为本发明优选实施例的触觉传感器采集的数据处理示意图。
41.图5为本发明优选实施例的基于深度学习的识别方法流程图。
具体实施方式
42.以下结合附图对本发明的优选实施例进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
43.实施例一：
44.参见图1，一种基于深度学习的按摩手法识别方法，操作步骤如下：
45.步骤一：通过柔性分布式触觉传感器采集按摩动作对应的数据；
46.步骤二：通过上位机将传感器数据可视化为按摩点阵热力图；
47.步骤三：通过变分自编码器vae构建一个从隐变量生成目标数据的模型来扩充原有采集数据；
48.步骤四：通过帧差法提取按摩点阵热力图的关键帧；
49.步骤五：用二维卷积神经网络来提取输入的各帧按摩力点阵图的空间特征；
50.步骤六：在卷积神经网络之后引入帧注意力机制，给数据的视频帧维度赋予权重值；
51.步骤七：用循环神经网络来提取的各帧按摩力点阵图的时间域特征；
52.步骤八：将循环神经网络的输出接入线性层以降维数据，训练网络，实现按摩手法的识别。
53.本实施例基于深度学习的按摩手法识别方法，通过集成在手套上的柔性点阵式触觉传感器采集数据并给其打上标签，通过神经网络处理、训练数据来实现按摩手法识别的目的。
54.实施例二：
55.本实施例与实施例一基本相同，特别之处如下：
56.在本实施例中，在所述步骤二中，将采集按摩动作对应的数据按摩数据可视化，通过matlab将触觉传感器的各传感单元按照其在手套上的实际分布位置可视化在上位机中，用热力图表示传感单元受力的大小，传感单元受力由小到大对应传感单元由冷到暖的颜色。
57.在所述步骤三中，变分自编码器vae通过引入隐变量来间接获得真实样本数据的分布，并对隐变量插值并将其解码成生成样本，在不额外采集数据的情况下扩充按摩点阵热力图，实现数据增强。
58.在所述步骤四中，帧差法将一个按摩手法对应120帧点阵热力图的每10帧点阵热力图的像素求均值，并将均值图片与这10帧图片作对挑选出一帧与均值图片像素差最大的图片，保留这张差值最大的图片与均值图片，最后得到20帧的关键帧，将关键帧按照时间顺序排列好以作为神经网络的输入，实现数据关键帧提取。
59.在所述步骤五中，通过二维卷积神经网络提取按摩手法的空间域特征。
60.在所述步骤六中，帧注意力机制通过全局池化层、线性层、归一化层将数据维度转化为:(1,1,frames)，将视频帧以外的维度均转化为1，通过神经网络的反向传播算法训练出视频帧的权重值frames，然后再将权重值乘到数据的frames维度上，将数据维度复原成:(batch size,frames,cnn embed dim)，给视频帧维度frames赋予范围在0-1的权重值。
61.在所述步骤七中，通过循环神经网络提取按摩手法的时间域特征。
62.在所述步骤七中，将循环神经网络的最后一层隐层输出接入一个线性层将数据降维成:(batch size,n categories)，得到手法识别结果；用交叉熵函数计算识别结果与数据真实标签之间的损失；每训练一轮，均用反向传播算法更新网络的各权重参数；经过n轮的训练，最终得到可识别按摩手法的神经网络，实现按摩手法识别。
63.基于深度学习的按摩手法识别方法，利用具有分布式传感单元的柔性触觉传感器采集专业按摩师手部的力分布及大小数据，并通过变分自编码器在不增加人工采集数据的情况下通过对隐变量插值来获得额外的目标数据，用帧差法提取数据关键帧；同时结合二维卷积神经网络与循环神经网络的新型网络来提取按摩点阵热力图的空间域及时间域信
息，并在网络中引入帧注意力机制，训练出视频帧的权重以提高识别精度；采用本实施例方法，可有效采集专业按摩师的按摩手法数据，并用神经网络对数据进行训练，达到识别按摩手法的目的，为机器人复现按摩师的按摩手法提供参考。本实施例方法具有数据获取成本低，网络训练时间短、识别精度高、泛化能力强等优点。
64.实施例三：
65.在本实施例中，如图1所示，本实施例的流程图，系统分为三大模块：数据采集模块、数据处理模块、深度学习模块，具体包括如下步骤：
66.步骤一：数据采集模块中，通过触觉传感器及数据采集系统采集医生按摩时的手部施加的力大小及分布；实现按摩数据采集。
67.步骤二：数据处理模块中，上位机通过matlab实时接收数据并将ascii码格式的数据转化为整形格式，再将数据可视化为按摩点阵热力图并保存，一个按摩动作对应多帧按时间顺序排列的按摩点阵热力图；实现数据可视化。
68.步骤三：数据处理模块中，数据通过变分自编码器(variational auto-encoder，vae)基于原有采集到的按摩点阵热力图构建一个可以从隐变量生成目标数据的模型，隐变量与目标数据一一对应，通过对隐变量插值并将其解码为生成样本来扩充原有采集数据以减少获取新数据的大量成本，对于不同的按摩手法给变分自编码器(variational auto-encoder，vae)增加不同的条件，使其变为条件变分自编码器(conditional variational auto-encoder，cvae)，通过条件变分自编码器来扩充不同手法的数据；实现数据增强。
69.步骤四：数据处理模块中，一个按摩手法对应120帧左右点阵热力图，按时间次序对每10帧点阵热力图的像素求均值，并将均值图片与这10帧图片作对挑选出一帧与均值图片像素差最大的图片，保留这张差值最大的图片与均值图片，最后得到20帧左右的关键帧，将关键帧按照时间顺序排列好以作为神经网络的输入；实现图组的关键帧提取。
70.步骤五：深度学习模块中，利用二维卷积神经网络来提取输入的各帧按摩力点阵图的空间特征，二维卷积神经网络采用在数据集ilsvrc-2012-cls上预训练过的resnet-152模型，将原resnet-152模型最后一层线性层去掉，加入两层线性层，将图片的色彩通道、横纵像素三个维度降维成一个嵌入层维度512，神经网络原始输入数据维度为:(batch size,frames,channels,image size x,image size y)，经过二维卷积神经网络提取空间特征后数据维度变为:(batch size,frames,cnn embed dim)；实现对按摩手法空间域特征的提取。
71.步骤六：深度学习模块中，在卷积神经网络之后引入帧注意力机制，通过维度转置将维度为:(batch size,frames,cnn embed dim)的数据维度转化为:(batch size,cnn embed dim,frames)，通过一层全局池化层将数据维度降为:(1,1,frames)，通过一层线性层将数据维度变为:(1,1,frames/r)，再通过一层relu激活函数来给网络引入非线性，再经过一层线性层将数据维度还原为:(1,1,frames)，之后再经过一层sigmoid函数将frames的值归一化在0-1之间，此时数据维度为:(1,1,frames)，将此时的数据分别按维度乘到原数据上，原数据的视频帧维度frames被赋予了0-1之间的权重，再经过一次维度转置，最后得到维度被还原成:(batch size,frames,cnn embed dim)的数据。
72.步骤七：深度学习模块中，将视频帧维度已被赋予权重的维度为：(batch size，frames，cnnembed dim)的数据输入到长短期记忆(long short-term memory，lstm)循环神
经网络中来训练学习数据的时间域特征，lstm通过独特的门结构可以存储和访问长时间段内的信息，lstm的输入由上一时刻的细胞状态c
t-1
与这一时刻的时序输入x
t
组成，输出为这一时刻的细胞状态c
t
和隐层h
t
；实现对按摩手法时间域特征的提取。
73.步骤八：深度学习模块中，将长短期记忆(long short-term memory，lstm)循环神经网络最后一个时间序列对应的输出隐层hn输出接入一个线性层将数据降维成：(batch size，n categories)，网络的损失函数采用交叉熵损失函数，网络的优化器采用adam优化器，并对网络进行训练；实现识别按摩手法的目的。
74.进一步的，上述步骤二中的按摩点阵热力图，如图2所示，通过上位机将医生的按摩力大小及分布可视化为点阵热力图形式，各传感单元受力从小到大对应颜色从冷到暖。
75.进一步的，上述步骤三中的变分自编码器(variational auto-encoder，vae)示意图如图3所示，传感器采集到的真实样本为：{x1，x2...xn}；引入隐变量z，对于给定的一个真实样本xk，假设存在一个专属于xk的分布p＝(z|xk)，进一步假设这个专属于xk的分布是独立多元的正态分布，每个正态分布有两个参数：均值μ和方差σ2，分别构建两个神经网络：μk＝f1(xk)，来计算均值和方差；从分布p＝(z|xk)中采样一个zk，经过一个由神经网络构造的生成器得到通过最小化来训练生成器的神经网络；由此便可从隐变量z的分布来间接得到原始数据的分布，通过对隐变量插值并将其解码为生成样本，如此可在不额外采集数据的情况下扩充按摩点阵热力图，实现数据增强。
76.进一步的，系统中数据处理模块的传感器数据处理示意图，如图4所示，将采集到的对应不同手法的每组按摩点阵热力图用条件变分自编码器(conditional variational auto-encoder，cvae)进行数据扩充，此时每个按摩手法的样本数增多而每个样本对应的视频帧数量不变；用帧差法提取扩充过的传感器数据，将每个样本对应的120帧按摩点阵热力图用帧差法提取至20帧左右作为卷积神经网络的输入。
77.进一步的，系统中深度学习模块的深度学习方法流程图，如图5所示，首先将预处理好的数据作为神经网络的输入，并设置网络的迭代次数；用二维卷积神经网络提取按摩数据的空间域特征，用长短期记忆循环神经网络提取按摩数据的时间域特征，并在两个神经网络之间引入帧注意力机制；所述二维卷积神经网络采用在数据集ilsvrc-2012-cls上预训练过的resnet-152模型，在网络训练过程中可将预训练过的resnet-152模型中的部分权重参数冻结以减少训练的计算成本，二维卷积神经网络将每个按摩手法样本对应的20帧左右按摩点阵热力图分别降维、提取特征以编码，再将编码后的按摩点阵热力图按时间顺序排列，经过二维卷积神经网络编码后的数据维度变为:(batch size,frames,cnn embed dim)；编码后的数据经过由全局池化层、两个线性层以及两个激活函数的帧注意力机制后，其视频帧维度frames获得了范围在0-1之间的权重值，此时数据维度为:(batch size,frames,cnn embed dim)；将数据按照frames维度的顺序输入长短期记忆(long short-term memory，lstm)循环神经网络中来训练学习数据的时间域特征，在循环神经网络后加入线性层将数据维度降维为:(batch size,frames)；再经过softmax层，数据输出被归一化在0-1之间，并用交叉熵损失函数来计算识别结果与真实标签之间的损失，每训练一轮，均用反向传播算法更新网络的各权重参数；经过n轮的训练，最终得到可识别按摩手法的神经网络。
78.上述实施例所述的按摩手法识别方法，具有如下显著优点：
79.1.实施例通过变分自编码器(variational auto-encoder，vae)，在不增加采集数据的情况下扩展了原有的数据库，实现了数据增强，大大降低了获取新数据的成本；
80.2.实施例通过帧差法提取了按摩力点阵图的关键帧，去除了冗余帧，减小了神经网络的训练数据量，并提高了网络的泛化能力；
81.3.实施例通过将二维卷积神经网络与循环神经网络相结合，可有效提取并训练按摩力点阵图组的空间域以及时间域特征；
82.4.实施例通过将帧注意力机制引入神经网络，为按摩力点阵图组各帧增加了权重，有效增加了手法的识别精度。
83.综上所述，本发明上述实施例基于深度学习的按摩手法识别方法，通过柔性触觉传感器采集专业按摩师按摩时手部的力分布及力大小信息，并采用神经网络探究专业按摩师按摩时的手法特征，实现对专业按摩师按摩手法的识别；采用变分自编码器，实现数据增强；利用帧差法提取输入数据的关键帧，去除输入的冗余帧；通过二维卷积神经网络与循环神经网络相结合的方法，先后提取并训练按摩点阵热力图组的空间域、时间域特征；通过在卷积神经网络后引入帧注意力机制，进一步提高网络对按摩手法的识别精度。本发明上述实施例方法在不增加采集数据成本的情况下，扩充原有的传感器数据；提取图组数据的关键帧，减少网络的过拟合现象，增加网络泛化能力；神经网络进一步提取视频帧之间的时间域信息，获取按摩手法重要的时间域特征；通过引入帧注意力机制，有效提高识别精度。
84.以上所述仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，在形式上和细节上可以对本发明做出各种变化，凡是依据本发明的技术实质，对以上实施例做任何简单修改和同等变化，均落入本发明的保护范围内。