一种基于可穿戴设备的人体动作预测方法

1.本发明涉及传感器信号处理和基于多维序列信号动作预测网络的技术领域，并且更具体地，涉及一种基于可穿戴设备的人体动作预测方法。


背景技术：

2.近年来智能可穿戴设备逐渐进入到人们的生活中，智能可穿戴设备以极快的速度进行更新换代，智能可穿戴设备已经不仅仅局限于智能手环、智能手表等载体，将会应用在更多地方如智能服装、智能织物等。目前的智能可穿戴设备普通监测功能已经无法满足需求，需要与人工智能算法结合起来将监测到的数据进行更深一步的处理。
3.目前，国内外很多研究机构都在做人体动作预测工作，首先是通过图像对人体动作进行分类预测，仅仅依靠图像训练出来的数据不够准确，且依靠外部监测设备也不能很好的应用到可穿戴设备领域；人体处于一个三维的现实世界，并且需要与人体的体能状态结合才能得到比较真实的效果。其次有很多基于动作捕捉的人体动作预测，需要在人体关键部位贴满传感器，无法应用于日常生活，且预测过程繁琐，不具有实用性。本发明涉及几种关键传感器信息处理，并应用序列信息记忆多维序列信号动作预测网络更具有实用性且效果更趋近现实。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于可穿戴设备的人体动作预测方法，其目的在于解决可穿戴设备对人体运动动作的预测，利用可传感设备中几种传感器的信号进行多维序列信号动作预测网络有监督的训练达到实时的预测人体在运动状态下可能会做出的动作，提前预防人体在运动状态下可能会出现的危险动作情况。
5.为实现上述目的，按照本发明的一个方面，提供了一种基于可穿戴设备的人体动作预测方法，包括如下步骤：步骤（1），获取穿戴设备获得的人体体温数据、心率数据、三轴角度数据、三轴加速度数据和三轴磁场数据，利用去异常点算法对这五个维度的信息数据进行预处理，得到五维运动状态数据的平滑序列，该平滑序列为一个5行n列的矩阵；步骤（2），将预处理后的平滑序列通过匀速运动特征与动作运动特征融合的方式进行处理，并输入至多维序列信号动作预测网络模块，获得用于分类的时序特征数据；所述多维序列信号动作预测网络模块，是由向前传播和向后传播的两个序列信息记忆模块组成，一个从序列数据头部往后开始处理，一个从序列数据尾部往前开始处理，两个独立的序列信息记忆模块原理相同，但方向不同，向前与向后的两个信息记忆模块无相互的连接，形成了两个相互独立的隐藏层之间的信息数据的双向传播；步骤（3），通过注意力机制模块对时序特征数据进行重要性评判，得到带注意力权重的特征向量；步骤（4），利用分类器输出每个动作标签的概率，对应概率值最高的为最终的输出
类别。
6.进一步的，步骤（1）中去异常点算法的处理过程如下；给定窗口长度，计算窗口子序列与其同样长度的子序列的映射关系g，通过滑动窗口，计算出整个序列的映射关系g的值；其中g值大于给定阈值的点认定为异常点序列，然后继续在选出的子序列中继续滑动窗口进行映射值计算，找到异常点并去除这个异常点；用公式表达如下：其中0表示为正常状态，1表示为异常状态，δ为给定的阈值，给定一个序列，x
t
为t时刻序列的点，为x序列的一个子序列， k表示维度大小，z表示窗口大小。
7.进一步的，步骤（2）中针对平滑序列数据中的三轴加速度序列数据，在数据变化之前与动作结束之后插补进一段匀速运动的序列，用公式表示为：其中z'表示原始的序列数据，y表示给出的一个匀速运动数据，把y中的匀速运动数据插入到原始序列中，选择z'序列t时刻的数据x
t
与y序列相同时刻的点a
t
，将a
t
到a
t p
之间的数据插入到原始序列中，其中p值根据序列长度决定；由于序列为五维数据，为了使其他维度的数据的长度与插入匀速运动之后的三轴加速度序列数据长度一致，其他维度数据按t时刻的标准进行数据补齐，使得输入后续网络模块中的序列中每一列的数据长度相等。
8.进一步的，步骤（2）中序列信息记忆模块的处理过程如下；根据输入的人体动作数据序列，数据被分成t个部分，每个部分为x
t
的向量，t也表示时刻，那么t时刻第l维数据的公式表达为：
其中，下标l表示五维中第l维，f
t,l
表示遗忘门中第l维数据在t时刻的值，i
t,l
表示输入门中第l维数据在t时刻的值，o
t,l
表示输出门中第l维数据在t时刻的值，c
t,l
表示候选门中第l维数据在t时刻的值，σ是sigmoid激活函数，w是权重矩阵；h
t-1,l
表示为t-1时刻的信息， h
t,l
表示输出层；b代表偏置量，tanh表示tanh激活函数；w
f,l
是遗忘门中第l维数据的权重矩阵，b
fl
是遗忘门中第l维数据的偏置量， w
i,l
表示输入门中第l维数据的权重，b
il
表示输入门中第l维数据的偏置，w
o,l
表示输出门的sigmoid层的权重矩阵，b
ol
表示输出门sigmoid层的偏置，w
c,l
，b
cl
分别表示候选门中第l维数据的权重和偏置，
⊙
表示点积运算。
9.进一步的，步骤（3）的具体实现过程如下；针对正向序列信息记忆模块的输出的h
t,l
，将其拉伸为一个长度为f的一维矩阵h1，通过注意力机制模块中的加权变换得到hf，同样针对反向序列信息记忆模块的输出的，也将其拉伸为一个长度为b一维矩阵h2，通过注意力机制模块中的加权变换得到hb，注意力机制中重点是通过softmax函数与tanh函数不断调整计算出合理的重要性得分值，计算公式如下：其中，f和b的取值相同，由输入的序列长度决定，w
fi
、w
bi
和b
fi
、b
bi
为注意力机制模块中的权重和偏置，α
fi
和α
bi
为重要性得分值。
10.进一步的，步骤（4）的具体实现方式如下；设定正向序列通过注意力机制模块后的输出为，反向序列通过注意力机制模块后输出为，通过将两个输出的进行融合得到最终的h
t
，最后将输出值h
t
通过softmax
分类器分类输出，即：最后输出层使用softmax函数，对动作进行判断，输出每个动作标签的概率，对应概率值最高的为最终的输出类别。
11.进一步的，步骤（1）中通过体温传感器获取体温数据信息，通过心率传感器获取心率数据信息，通过九轴传感器获取三轴角度信息、三轴加速度信息和三轴磁场信息。
12.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：（1）通过传感器输入的五个维度的人体状体信息，减小实际状态下的运动动作与网络模型预测的误差率，采用人体实时状态数据更能保证预测运动动作的真实性。
13.（2）采用双向序列信息记忆模块的结构既考虑了时序数据的正向信息，又考虑到了时序数据的反向信息，使得训练出来的网络更加全面，在预测中能够得到更准确的分类。
14.（3）引入注意力机制模块，突出了运动状态中做出动作时的时序数据点的信息，降低了对不明显信息数据点的关注度，从而提取整个序列中关键数据点，提升了整个网络的运算效率。
附图说明
15.图1为本发明实施例提供的一种基于可穿戴设备的人体动作预测方法的流程示意图；图2为本发明实施例提供的一种基于可穿戴设备的人体动作预测方法的核心网络结构图。
具体实施方式
16.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
17.如图1所示，是实施例提供的一种基于可穿戴设备的人体动作预测方法的流程示意图；实施例提供的一种基于可穿戴设备的人体动作预测方法包括如下步骤：（1）输入体温传感器的体温信息，心率传感器的心率信息，九轴传感器的三轴角度信息、三轴加速度信息、三轴磁场信息，利用去异常点算法对这五个维度的信息预处理，得到五维运动状态数据的平滑序列，该序列为一个5行n列的矩阵；v=(r1,r2,
…
,r5)
t
，r1,r2,
…
,r5分别代表体温信息、心率信息、三轴角度信息、三轴加速度信息、三轴磁场信息，并使用人工标注的方式生成人体动作标签，包括走、跑、跳、坐、躺等动作；其中将五个维度的数据序列采用去异常点算法进行数据预处理过程包括：首先，预处理的意义是由于在采集数据的过程中因干扰产生的数据随机波动会造
成序列的大小差异；三轴加速度，三轴角度和三轴磁场状态数据在运动过程中应该是连续序列，噪声可能会导致序列不够平滑；所以需要去掉序列中会对预测结果产生影响的异常点，利用序列去异常点算法提升整个序列数据的精度。
18.那么去异常点算法主要过程如下，给定窗口长度，计算窗口子序列与其同样长度的子序列的映射关系g，通过滑动窗口，计算出整个序列的映射关系g的值。其中g值大于给定阈值的点可以认为此处的子序列对整个序列的平滑性造成扰动，可以认定为异常点序列，然后继续在选出的子序列中继续滑动窗口进行映射值计算，找到异常点并去除这个异常点。那么用公式表达如下：其中0表示为正常状态，1表示为异常状态，δ为给定的阈值，给定一个序列，x
t
为t时刻序列的点，为x序列的一个子序列， k表示维度大小，z表示窗口大小。
19.（2）将预处理后的平滑序列通过匀速运动特征与动作运动特征融合的方式进行处理，并输入至多维序列信号动作预测网络模块，得到用于分类的时序特征数据。
20.其中所述的匀速运动特征与动作运动特征融合的方式过程如下：每个人体动作的特征是一个五维的数据，数据长度因每个动作的变化不同而不同，为了突出运动动作的特征，在序列数据变化之前与动作结束之后插补进一段匀速运动的序列（序列数据在没有做出动作之前一直是稳定平滑的，做出了跑、跳、等动作后就会有相应的波动，当动作结束后序列数据又会恢复平滑，由此判断是序列数据变化之前或动作结束之后）。既能突出运动的特征，也能使序列的长度统一，公式表达如下：其中z'表示原始的序列数据，y表示给出的一个匀速运动数据，把y中的匀速运动数据插入到原始序列中，选择z'序列t时刻的数据x
t
与y序列相同时刻的点a
t
，将a
t
到a
t p
之间的数据插入到原始序列中，其中p值根据序列长度决定，目的是将五维数据变成五个宽度相同的一维矩阵。由于序列为五维数据，上述操作主要是在三轴加速度序列中插入一段匀速运动时的数据，为了使其他维度的数据的长度与插入匀速运动之后的三轴加速度序列数据长度一致，其他维度数据按t时刻的标准进行数据补齐，使得输入后续网络模块中的序列中每一列的数据长度相等。
21.其中，多维序列信号动作预测网络模块，是由向前传播和向后传播的两个序列信息记忆模块组成，一个从序列数据头部往后开始处理，一个从序列数据尾部往前开始处理，两个独立的序列信息记忆模块原理相同，但方向不同。向前与向后两个模块无相互的连接，形成了两个相互独立的隐藏层之间的信息数据的双向传播， 其中序列信息记忆模块的特征如下，根据输入的人体动作数据序列，数据被分成t个部分，每个部分为x
t
的向量；第一个步骤是决定需要从序列状态中丢弃哪些信息，由sigmoid层组成的遗忘门实现，然后是由一个sigmoid组成的输入门，决定需要更新哪些信息；下一步是由tanh层组成的候选层，决定了哪些信息能够被加到运动状态中，然后要将运动状态c
t-1
更新到c
t
，用来丢弃需要遗忘的信息，再加上，就能得到新的候选值；最后通过输出门o
t
运行一个sigmoid层来决定要输出的信息，再将状态信息通过tanh层与sigmoid层的运算进行输出。那么t时刻第l维数据的公式表达为：公式表达为：其中，下标l表示五维中第l维，f
t,l
表示遗忘门中第l维数据在t时刻的值，i
t,l
表示输入门中第l维数据在t时刻的值，o
t,l
表示输出门中第l维数据在t时刻的值，c
t,l
表示候选门中第l维数据在t时刻的值，σ是sigmoid激活函数，w是权重矩阵；h
t-1,l
表示为t-1时刻的信息，h
t,l
表示输出层；b代表偏置量，tanh表示tanh激活函数；w
f,l
是遗忘门中第l维数据的权重矩阵，b
fl
是遗忘门中第l维数据的偏置量， w
i,l
表示输入门中第l维数据的权重，b
il
表示输入门中第l维数据的偏置，w
o,l
表示输出门的sigmoid层的权重矩阵，b
ol
表示输出门sigmoid层的偏置，w
c,l
，b
cl
分别表示候选门中第l维数据的权重和偏置，
⊙
表示点积运算。
22.对比普通的多维序列信号动作预测网络，采用序列信息记忆模块训练更快，处理的序列长度更长；采用两个方向的序列信息记忆模块可以缩短的衡量前后时刻信息的时间，因为向前与向后计算的所有神经元内权重参数相同，能够权值共享。同时从前后两个维度同时训练，提取的信息更全面，针对运动动作预测的效果更好。
23.（3）通过注意力机制对步骤（2）中得到的时序特征数据进行重要性评判，找出动作识别的关键信息点，得到带注意力权重的特征向量，提升网络模型效率；所述的注意力机制模块是通过注意力机制提升数据序列对人体动作判断的重要性，通过加权求和找出人体动作的最重要的序列数据点。针对正向序列信息记忆模块的输出的h
t,l
，将其拉伸为一个长度为f的一维矩阵h1，通过注意力机制模块中的加权变换得到
hf，同样针对反向序列信息记忆模块的输出的，也将其拉伸为一个长度为b一维矩阵h2，通过注意力机制模块中的加权变换得到hb，注意力机制中重点是通过softmax函数与tanh函数不断调整计算出合理的注意力权重，计算公式如下：其中，f和b的取值相同，均为5*(n p)，w
fi
、w
bi
和b
fi
、b
bi
为注意力机制模块中的权重和偏置，是可学习的网络参数，α
fi
和α
bi
为重要性得分值；（4）最后通过分类器分类输出运动动作结果；通过将步骤（3）的输出进行融合后经分类器分类输出，因为网络结构的特殊性所以输出为两个值，设定正向序列通过注意力机制模块后的输出为，反向序列通过注意力机制模块后输出为，通过将两个输出的进行融合得到最终的h
t
，最后将输出值h
t
通过softmax分类器分类输出，即：最后输出层使用softmax函数，对动作进行判断，输出每个动作标签的概率，对应概率值最高的为最终的输出类别。
24.本发明不仅使得多维序列信号动作预测网络的预测的精度更高，还运用了人体数据信息来作为输入值和数据集，比图像作为输入更能体现真实度，而且本发明使用轻量的传感器就能够收集到的信息，大大提高了智能可穿戴设备领域的实用性，保证了智能可穿戴设备的舒适度的同时增加了智能性。
25.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
26.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流
程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
27.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
28.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
29.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
30.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。