一种面向含缺失数据的手势动作分类方法

1.本发明涉及数据挖掘和机器学习技术领域，具体涉及一种面向含缺失数据的手势动作分类方法。


背景技术：

2.手势动作分类是人机交互技术的重要基础，也是相关智能设备和工业领域中不可忽视的技术。然而，由于传感器故障、障碍物阻挡和操作失误等，导致实际采集获取的手势动作数据常常包含缺失值。与此同时，已有的手势动作分类方法往往是基于数据是完整的假设，难以合理地对含缺失数据的手势动作执行分类。因此，设计面向含缺失数据的手势动作分类方法具有重要的意义。
3.现有的处理含缺失数据的手势动作分类方法可以简单地分为两类：直接删除包含缺失值的数据和先对缺失数据进行填补然后执行分类的方法。直接删除包含缺失值的手势动作数据容易导致观察值信息的丢失，特别是当缺失率比较高的时候。此外，在现实复杂场景中，采集的每条数据均可能不同程度都会包含缺失值，从而导致完整的数据数量极少。采用零、均值和最近邻等方法先对包含缺失值得手势动作数据进行填补，然后进行手势动作分类方法是现有方法的常见策略。然而，手势动作数据的填补和分类的过程是独立的，并且填补的过程往往是基于无监督的设定，导致填补的缺失值不可避免地引入了分类错误。


技术实现要素：

4.本发明的目的是为了解决现有技术中的上述缺陷，提供一种面向含缺失数据的手势动作分类方法，该方法设计了一种基于类别感知最优运输的神经网络，在网络训练过程中采用分类器的类别感知信息对缺失数据进行填补，从而降低填补到分类的偏差。同时，为了使得填补的值更加适合分类，本发明采用最优运输理论来降低同类手势动作数据分布的差异，促使填补后的同类数据分布更加相似。
5.本发明的目的可以通过采取如下技术方案达到：
6.一种面向含缺失数据的手势动作分类方法，所述手势动作分类方法包括以下步骤：
7.s1、获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集；
8.s2、利用观察值集中每一列变量的均值对缺失值集中每一列变量进行预填补，得到预填补的完整数据集；
9.s3、基于预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，所述手势动作分类器包括一个基于类别感知最优运输的填补模块和一个基于感知机的分类模块；
10.s4、在所述基于类别感知最优运输的填补模块中对预填补数据中的观察值进行重构，并隐式地利用基于感知机的分类模块中的类别感知信息对缺失值进行填补；
11.s5、采用最优运输理论减少从同类别内随机选取的两组数据分布距离，使得同类数据分布相似，显式地利用手势动作类别感知信息对缺失值进行填补；
12.s6、将经过基于类别感知最优运输的填补模块填补后的完整数据作为基于感知机的分类模块的输入，训练类别感知最优运输神经网络，并将含缺失数据的测试集作为训练好的类别感知最优运输神经网络的输入，输出最终的手势动作分类结果。
13.进一步地，所述步骤s1过程如下：
14.s11、获取含缺失数据的手势动作数据集z，表示为其中yn表示第n个样本xn的标签，n的取值范围为[1,n]，n为数据集z中包含的样本总数，第n个样本xn表示为(x1,x2,null,
…
,xd,
…
,xd)，其中null表示缺失值，xd表示第d个变量，d的取值范围为[1,d]，在现实生活场景中采集得到的手势动作数据集z，样本xn中至少都会包含一个值为null的变量；
[0015]
s12、依据数据集z中每个样本xn中标记为null的缺失信息，数据集z中所有样本包含的缺失信息定义为一个n行d列的掩码矩阵m∈{m
nd
}n×d，m
nd
的取值为1或者0，如果m
nd
等于1表示样本xn的第d个变量xd为缺失值，m
nd
等于0表示为观察值，依据掩码矩阵m中m
nd
值全为0的对应样本的变量划分为观察值集，将m
nd
值全为1的对应样本的变量划分为缺失值集。对观察值集中同一列变量进行归一化处理，减少异常数值和噪声数值对整体数据分布的影响。
[0016]
进一步地，所述步骤s2过程如下：
[0017]
s21、利用步骤s12中获取的观察值集，计算观察值集中所有样本同列变量数值的均值，得到一个长度为d的数组b，数组b中的每一个元素表示对应变量所在列的均值；
[0018]
s22、利用步骤s21中获取的数组b对步骤s12中获取的缺失值集进行均值预填补，采用数组b中所在列对应的值对缺失值集中所有样本对应列变量值为null的变量进行预填补，将经过预填补后的缺失值集和观察值集合并得到预填补的完整数据集。
[0019]
进一步地，所述步骤s3过程如下：
[0020]
利用步骤s22中得到的预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，采用基于类别感知最优运输的填补模块执行缺失值填补任务优化的同时，将上述填补模块得到的完整数据输入到基于感知机的分类模块进行分类训练，实现对包含缺失值数据的填补任务和分类任务的联合优化，隐式地利用分类模块的类别感知信息对填补任务进行优化，降低填补数值引入的分类错误率；其中，所述基于类别感知最优运输的填补模块包括三层全连接神经网络，分别是输入层、隐藏层和输出层，输入层和输出层的维度设定为手势动作数据的变量数，隐藏层的维度为手势动作数据变量数的两倍，输出层对缺失值位置的变量进行填补；所述基于感知机的分类模块由三层神经网络组成，其输入数据是基于类别感知最优运输的填补模块执行缺失值填补后的完整数据。
[0021]
进一步地，所述步骤s4过程如下：
[0022]
s41、在所述基于类别感知最优运输的填补模块的输入层与输出层中观察值位置构建一对一的映射关系，对观察值进行重构，促使输出层在缺失位置得到的填补值获取观察值的分布信息，映射关系定义如下：
[0023]
[0024]
其中，表示全1的行向量，
⊙
表示向量间的元素积，其中样本表示经过步骤s22中均值预填补的数据，表示所述基于类别感知最优运输的填补模块中输入层的输入值，x
imp
表示所述基于类别感知最优运输的填补模块中输出层的输出值，mn表示步骤s12中定义的缺失掩码矩阵m中的一个行向量，表示样本的缺失掩码信息；
[0025]
s42、对x
imp
中观察值位置的变量，采用经过均值预填补的数据中观察值变量对x
imp
中对应观察值位置的数值进行替换，获取对含缺失值数据xn执行填补后的完整手势动作数据x
com
表示如下：
[0026][0027]
将数据集z中所有样本xn对应的x
com
作为基于感知机的分类模块的输入数据，参与分类任务的训练，在分类任务优化过程中隐式地利用感知机的类别感知信息对缺失位置变量的填补任务进行优化，通过利用感知机的类别感知信息促使缺失位置填补的变量数值向有利于分类任务的方向进行更新。
[0028]
进一步地，所述步骤s5过程如下：
[0029]
s51、依据步骤s42中得到的数据集z中所有样本xn对应的完整手势动作数据x
com
，将所有完整手势动作数据x
com
组成的数据集记为z
com
，首先从z
com
中同类手势动作数据内部随机选取两组样本数量均为t的数据子集和其中，k表示数据集z
com
中第k类手势动作数据，a和b分别表示随机选取的不同数据子集，最优运输理论能够衡量两个离散测度α和β的分布差异，数据子集和依据最优运输理论转换为离散测度和依据最优运输理论，采用表示同类手势动作数据内选取的两个数据子集在物理空间层面上的数据分布距离，且的值越小，表示从同类手势动作数据内选的两个数据子集和间的数据分布差异越小，同类数据分布差异越小能够增加不同类别手势动作数据分布间的差异；
[0030]
s52、由于数据集z
com
中所有数据x
com
中的观察值一直保持不变，通过减小同类手势动作数据子集和之间分布差异，能使得同类手势动作数据分布更加相似，上述过程转换为对同类手势动作数据的进行填补的损失函数具体如下：
[0031][0032]
其中，k表示数据集z
com
中的类别数，l表示在类别k内重复随机取数据子集的次数，上式采用表示随机从类别k内选取的两个数据子集和sinkhorn表示最优运输理论中的sinkhorn算法，能够求取离散测度变换和之间的最优运输方案，使得随机选取的数据子集和之间的数据分布差异变小。和
中的观察值集在最优运输优化过程中一直保持不变，促使缺失位置填补的值向观察值集分布靠拢，从而使得填补后的同类样本更加相似。
[0033]
进一步地，所述步骤s6包括：
[0034]
s61、将s52中经过最优运输理论对同类别数据进行约束后的所有数据x
com
输入到基于感知机的分类模块中进行分类，分类的学习目标表示如下：
[0035][0036]
其中，n表示数据集z
com
中的样本数，k表示数据集z
com
中的类别数，表示对含缺失值数据xn进行填补后的x
com
是类别k的二进制标签，p(yn|x
com
)k表示分类器预测样本x
com
为类别k的概率；
[0037]
s62、x
com
中缺失位置的变量信息在基于类别感知最优运输的填补模块中受到步骤s41中的和步骤s52中的约束进行填补任务的训练，同时x
com
的缺失位置变量信息也会受到步骤s61中基于感知机的分类器模块中的的约束进行分类任务的训练，使得x
com
中缺失位置的变量信息能够同时进行填补和分类任务，基于类别感知最优运输神经网络的手势动作分类器的整体学习目标表示如下：
[0038][0039]
通过上述学习目标基于类别感知最优运输神经网络的分类器能够对填补和分类任务的进行联合优化，能够利用上和的类别信息对缺失位置的变量数据进行填补，缩减同类内手势动作数据分布差异的同时提高不同类间手势动作数据分布差异，使得填补的缺失值有利于手势动作的分类。
[0040]
本发明相对于现有技术具有如下的优点及效果：
[0041]
1、本发明首次将最优运输理论应用于含缺失数据的手势动作分类领域，使得填补的缺失值更加有利于分类，能够直接对含缺失值的手势动作数据进行分类；
[0042]
2、本发明隐式地利用分类器在训练过程的类别感知信息对缺失值进行填补，并显式地采用最优运输理论减少同类手势动作数据分布差异，能够有效缓解填补引入的分类误差；
[0043]
3、本发明将缺失数据的填补和分类任务进行联合优化，能够利用缺失数据中的观察值分布信息进行训练，从而避免直接删除含缺失值数据导致的信息丢失问题；
[0044]
4、本发明直接使用含缺失值的手势动作数据进行训练，无需额外的人工专业知识协助，能够直接对含缺失数据的手势动作进行分类；
[0045]
5、本发明的手势动作分类算法在数据缺失率达到了99％的motion capture hand postures手势动作数据集进行测试，其手势动作分类准确率达到了97.7％。
附图说明
[0046]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发
明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0047]
图1是本发明实施例公开的一种面向含缺失数据的手势动作分类方法的流程图；
[0048]
图2是本发明实施例公开的一种面向含缺失数据的手势动作分类方法中三层神经网络的结构图；
[0049]
图3是motion capture hand postures数据集采用的手势动作数据采集感知手套示意图，用于采集握拳、撑开手、用食指点、用食指和中指点以及抓这五种手势动作数据；
[0050]
图4是motion capture hand postures数据集中的五种手势动作示意图；
[0051]
图5是从motion capture hand postures数据集中选取的600个测试样本中观察值集的均值对缺失值集进行填补得到的完整手势动作数据，并将其由原始36维降低到2维进行可视化的五种手势动作类别数据分布示意图；
[0052]
图6是对motion capture hand postures数据集中选取的600个测试样本采用本发明实施例公开的一种面向缺失数据的手势动作分类方法进行填补得到的完整手势动作数据，并将其由原始36维降低到2维进行可视化的五种手势动作类别数据分布示意图。
具体实施方式
[0053]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
实施例1
[0055]
本实施例公开了一种面向含缺失数据的手势动作分类方法，具体流程图参照附图1所示，包括下列步骤：
[0056]
s1、获取含缺失数据的手势动作数据集motion capture hand postures，依据缺失信息将其划分为观察值集和缺失值集。
[0057]
本实施例中，步骤s1过程如下：
[0058]
s11、获取含缺失数据的手势动作数据集motion capture hand postures，该数据集的数据缺失率为99％，该数据集采用感知手套进行采集，包含有握拳、撑开手、用食指点、用食指和中指点以及抓这五种手势动作，具体的示意图见图3和图4，其中每个样本x包含36个变量；
[0059]
s12、依据数据集motion capture hand postures中每个样本x中标记为null的缺失信息，可以将其定义为一个n行d列的掩码矩阵m∈{m
nd
}n×d，m
nd
的取值为1或者0，如果m
nd
等于1表示样本xn的第d个变量xd为缺失值，m
nd
等于0表示为观察值，依据掩码矩阵m中m
nd
值全为0的对应样本的变量划分为观察值集，将m
nd
值全为1的对应样本的变量划分为缺失值集，对观察值集中同一列变量进行归一化处理，减少异常数值和噪声数值对整体数据分布的影响，在motion capture hand postures数据集中有99％的样本包含变量为null的缺失值。
[0060]
s2、利用步骤s1观察值集中每一列变量的均值对缺失值集中每一列变量进行预填补，得到预填补的完整数据集；
[0061]
本实施例中，步骤s2过程如下：
[0062]
s21、利用步骤s12中获取的观察值集，计算观察值集中所有样本同列变量数值的
均值，得到一个长度为d的数组b，数组b中的每一个元素表示对应变量所在列的均值；
[0063]
s22、利用步骤s21中获取的数组b对步骤s12中获取的缺失值集进行均值预填补，采用数组b中所在列对应的值对缺失值集中所有样本对应列变量值为null的变量进行预填补，将经过预填补后的缺失值集和观察值集合并得到预填补的完整数据集。
[0064]
s3、基于预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，所述手势动作分类器包括一个基于类别感知最优运输的填补模块和一个基于感知机的分类模块；
[0065]
本实施例中，步骤s3过程如下：
[0066]
s31、利用步骤s22中得到的预填补的完整数据集，将该数据集中的60％数据划分为训练集，20％数据划分为验证集，剩下的20％数据划分为测试集，采用训练集训练一个基于类别感知最优运输神经网络的手势动作分类器，采用基于类别感知最优运输的填补模块执行缺失值填补任务优化的同时，将上述填补模块得到的完整数据输入到基于感知机的分类模块进行分类训练，实现对包含缺失值数据的填补任务和分类任务的联合优化，隐式地利用分类模块的类别感知信息对填补任务进行优化，降低填补数值引入的分类错误率；其中，所述基于类别感知最优运输的填补模块包含三层全连接神经网络，分别是输入层、隐藏层和输出层，输入层和输出层的维度设定为手势动作数据的变量数，隐藏层的维度为手势动作数据变量数的两倍，输出层对缺失值位置的变量进行填补；所述基于感知机的分类模块由三层神经网络组成，其输入数据是基于类别感知最优运输的填补模块执行缺失值填补后的完整数据。
[0067]
s4、在所述基于类别感知最优运输的填补模块中对预填补数据中的观察值进行重构，并隐式地利用基于感知机的分类模块中的类别感知信息对缺失值进行填补；
[0068]
本实施例中，步骤s4过程如下：
[0069]
s41、在基于类别感知最优运输的填补模块的输入层与输出层网络中观察值位置构建一对一的映射关系，对观察值进行重构，促使输出层网络在缺失位置得到的填补值获取更多观察值的分布信息，映射关系定义如下：
[0070]
其中，表示全1的行向量，
⊙
表示向量间的元素积，其中样本表示经过步骤s22中均值预填补的数据，表示所述基于类别感知最优运输的填补模块中输入层的输入值，x
imp
表示所述基于类别感知最优运输的填补模块中输出层的输出值，mn表示步骤s12中定义的缺失掩码矩阵m中的一个行向量，表示样本的缺失掩码信息；
[0071]
s42、对x
imp
中观察值位置的变量，采用经过均值预填补的数据中观察值变量对x
imp
中对应观察值位置的数值进行替换，获取对含缺失值数据xn执行填补后的完整手势动作数据x
com
表示如下：
[0072][0073]
将数据集z中所有样本xn对应的x
com
作为基于感知机的分类模块的输入数据，参与分类任务的训练，在分类任务优化过程中隐式地利用感知机的类别感知信息对缺失位置变
量的填补任务进行优化，通过利用感知机的类别感知信息促使缺失位置填补的变量数值向有利于分类任务的方向进行更新。
[0074]
s5、采用最优运输理论减少从同类别内随机选取的两组数据分布距离，使得同类数据分布相似，显式地利用手势动作类别感知信息对缺失值进行填补；
[0075]
本实施例中，步骤s5过程如下：
[0076]
s51、依据步骤s42中得到的数据集z中所有样本xn对应的完整手势动作数据x
com
，将所有完整手势动作数据x
com
组成的数据集记为z
com
，首先从z
com
中同类手势动作数据内部随机选取两组样本数量均为t的数据子集和其中，k表示数据集z
com
中第k类手势动作数据，a和b分别表示随机选取的不同数据子集，最优运输理论能够衡量两个离散测度α和β的分布差异，数据子集和依据最优运输理论可转换为离散测度和依据最优运输理论采用表示同类手势动作数据内选取的两个数据子集在物理空间层面上的数据分布距离，且的值越小，表示从同类手势动作数据内选的两个数据子集和间的数据分布差异越小；
[0077]
s52、由于数据集z
com
中所有数据x
com
中的观察值一直保持不变，通过减小同类手势动作数据子集和之间分布差异，能使得同类手势动作数据分布更加相似，上述过程转换为对同类手势动作数据的进行填补的损失函数具体如下：
[0078][0079]
其中，k表示数据集z
com
中的类别数，l表示在类别k内重复随机取数据子集的次数，上式采用表示随机从类别k内选取的两个数据子集和sinkhorn表示最优运输理论中的sinkhorn算法，sinkhorn算法由marco cuturi于2013年发表的论文《sinkhorn distances:lightspeed computation of optimal transport》中提出，sinkhorn算法在上述论文的第5页有记载，能够求取离散测度变换和之间的最优运输方案，使得随机选取的数据子集和之间的数据分布差异变小，和中的观察值集在最优运输优化过程中一直保持不变，促使缺失位置填补的值向观察值集分布靠拢，从而使得填补后的同类样本更加相似。为了验证采用上述最优运输理论约束后的数据分布和简单采用均值预填补的差异，本发明采用了轮廓系数来衡量不同手势动作类别间的数据分布差异，轮廓系数值取值区间为[-1,1]，其值越接近1表示同类数据分布更加紧促，不同类别间数据分布更加远离。采用均值进行预填补得到的完整数据的轮廓系数值为-0.0239，而采用基于类别感知最优运输填补得到的完整数据轮廓系数值为0.0717，图5和图6中的1、2、3、4、5的点型标记分别表示握拳、撑开手、用食指点、用食指和中指点以及抓这五种手势动作数据，图5表示采用均值进行缺失值填补后的五种手势动
作数据可视化图，图6表示采用本发明提出的手势动作分类方法进行缺失值填补后的五种手势动作数据可视化图，对比图5和图6可知，图6能够有效区分点型标记为1(握拳)和2(撑开手)的手势动作数据，并且在整体五种手势动作分布上计算得到的轮廓系数值比图5更小，可知采用本发明填补的数据能够增加不同类别手势动作数据间的分布距离。
[0080]
s6、将经过基于类别感知最优运输的填补模块填补后的完整数据作为基于感知机的分类模块的输入，训练类别感知最优运输神经网络，并将含缺失数据的测试集作为训练好的类别感知最优运输神经网络的输入，输出最终的手势动作分类结果。
[0081]
本实施例中，步骤s6过程如下：
[0082]
s61、将s52中经过最优运输理论对同类别数据进行约束后的所有数据x
com
输入到基于感知机的分类模块中进行分类，分类的学习目标表示如下：
[0083]
其中，n表示数据集z
com
中的样本数，k表示数据集z
com
中的类别数，表示对含缺失值数据xn进行填补后的x
com
是类别k的二进制标签，p(yn|x
com
)k表示分类器预测样本x
com
为类别k的概率；
[0084]
s62、x
com
中缺失位置的变量信息在基于类别感知最优运输的填补模块中受到步骤s41中的和步骤s52中的约束进行填补任务的训练，同时x
com
的缺失位置变量信息也会受到步骤s61中基于感知机的分类器模块中的的约束进行分类任务的训练，使得x
com
中缺失位置的变量信息能够同时进行填补和分类任务，基于类别感知最优运输神经网络的手势动作分类器的整体学习目标表示如下：
[0085][0086]
通过上述学习目标基于类别感知最优运输神经网络的分类器能够对填补和分类任务的进行联合优化，能够利用上和的类别信息对缺失位置的变量数据进行填补，缩减同类内手势动作数据分布差异的同时提高不同类间手势动作数据分布差异，使得填补的缺失值有利于手势动作的分类。
[0087]
最后采用从motion capture hand postures手势动作数据集中划分的20％测试集对模型进行了测试分析，采用传统的零填补、均值填补、最近邻填补和多重填补后的分类准确率分别为20.8％，82.4％，82.9％和92.7％，而本发明提出的方法分类准确率达到了97.7％，相比传统方法本发明有效提高了手势动作分类准确率。
[0088]
实施例2
[0089]
本发明公开的一种面向含缺失数据的手势动作分类方法与传统的先对缺失值进行填补然后采用基于感知机的分类算法对填补后的完整数据进行分类的方法(零填补，均值填补，最近邻填补和多重填补)，在两种手写数字手势动作的开源数据集optical recognition of handwritten digits和pen-based recognition of handwritten digits上，对所有样本进行了人工合成随机缺失率分别为10％，30％，50％和70％的手势动作数据上进行了分类实验，具体实验结果如表1所述：
[0090]
表1.本发明与其它传统缺失数据分类方法在手写数字动作数据集上的分类准确
率
[0091][0092]
表1是本发明与其它传统的先填补后对完整数据进行分类的方法在手写数字动作数据集上的分类准确率对比参照，表1中的缺失率表示在上述数据集的样本中包含null的缺失值变量在所有样本变量中的占比。从表1的实验结果对比可以看到，相比传统采用零填补、均值填补、最近邻填补和多重填补方法对缺失值进行填补后，再采用基于感知机的分类算法对完整数据进行分类的方法，本发明公开的一种面向含缺失数据的手势动作分类方法在手写数字动作数据集的不同人工合成缺失率上均能够取得更优的分类准确率，验证了本发明的有效性和实用性。
[0093]
综上所述，本实施例提出的一种面向含缺失数据的手势动作分类方法，利用基于类别感知最优运输的填补模块和基于感知机的分类模块实现对含缺失值得手势动作数据进行分类，通过最优运输理论显式地利用手势动作类别感知信息减少同类别内数据分布距离，并隐式地利用基于感知机得分类模块中得类别感知信息对缺失值填补任务进行优化，使得填补得缺失值有利于分类，提高了手势动作分类的准确率。
[0094]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。