一种面向含缺失数据的手势动作分类方法

技术特征：
1.一种面向含缺失数据的手势动作分类方法，其特征在于，所述手势动作分类方法包括以下步骤：s1、获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集；s2、利用观察值集中每一列变量的均值对缺失值集中每一列变量进行预填补，得到预填补的完整数据集；s3、基于预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，所述手势动作分类器包括一个基于类别感知最优运输的填补模块和一个基于感知机的分类模块；s4、在所述基于类别感知最优运输的填补模块中对预填补数据中的观察值进行重构，并隐式地利用基于感知机的分类模块中的类别感知信息对缺失值进行填补；s5、采用最优运输理论减少从同类别内随机选取的两组数据分布距离，使得同类数据分布相似，显式地利用手势动作类别感知信息对缺失值进行填补；s6、将经过基于类别感知最优运输的填补模块填补后的完整数据作为基于感知机的分类模块的输入，训练类别感知最优运输神经网络，并将含缺失数据的测试集作为训练好的类别感知最优运输神经网络的输入，输出最终的手势动作分类结果。2.根据权利要求1所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤s1过程如下：s11、获取含缺失数据的手势动作数据集z，表示为其中y
n
表示第n个样本x
n
的标签，n为数据集z中包含的样本总数，第n个样本x
n
表示为(x1，x2，null，...，x
d
，...，x
d
)，其中null表示缺失值，x
d
表示第d个变量，d的取值范围为[1，d]，d为样本x
n
包含的变量总数；s12、依据数据集z中每个样本x
n
中标记为null的缺失信息，数据集z中所有样本包含的缺失信息定义为一个n行d列的掩码矩阵m∈{m
nd
}
n
×
d
，m
nd
的取值为1或者0，如果m
nd
等于1表示样本x
n
的第d个变量x
d
为缺失值，m
nd
等于0表示为观察值，依据掩码矩阵m中m
nd
值全为0的对应样本的变量划分为观察值集，将m
nd
值全为1的对应样本的变量划分为缺失值集。3.根据权利要求2所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤s2过程如下：s21、利用步骤s12中获取的观察值集，计算观察值集中所有样本同列变量数值的均值，得到一个长度为d的数组b，数组b中的每一个元素表示对应变量所在列的均值；s22、利用步骤s21中获取的数组b对步骤s12中获取的缺失值集进行均值预填补，采用数组b中所在列对应的值对缺失值集中所有样本对应列变量值为null的变量进行预填补。4.根据权利要求3所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤s3过程如下：利用步骤s22中得到的预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，采用基于类别感知最优运输的填补模块执行缺失值填补任务优化的同时，将上述填补模块得到的完整数据输入到基于感知机的分类模块进行分类训练，实现对包含缺失值数据的填补任务和分类任务的联合优化；其中，所述基于类别感知最优运输
的填补模块包括三层全连接神经网络，分别是输入层、隐藏层和输出层，输入层和输出层的维度设定为手势动作数据的变量数，隐藏层的维度为手势动作数据变量数的两倍，输出层对缺失值位置的变量进行填补；所述基于感知机的分类模块由三层神经网络组成，其输入数据是基于类别感知最优运输的填补模块执行缺失值填补后的完整数据。5.根据权利要求4所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤s4过程如下：s41、在所述基于类别感知最优运输的填补模块的输入层与输出层中观察值位置构建一对一的映射关系，对观察值进行重构，促使输出层在缺失位置得到的填补值获取观察值的分布信息，映射关系定义如下：其中，表示全1的行向量，
⊙
表示向量间的元素积，其中样本表示经过步骤s22中均值预填补的数据，表示所述基于类别感知最优运输的填补模块中输入层的输入值，x
imp
表示所述基于类别感知最优运输的填补模块中输出层的输出值，m
n
表示步骤s12中定义的缺失掩码矩阵m中的一个行向量，表示样本的缺失掩码信息；s42、对x
imp
中观察值位置的变量，采用经过均值预填补的数据中观察值变量对x
imp
中对应观察值位置的数值进行替换，获取对含缺失值数据x
n
执行填补后的完整手势动作数据x
com
表示如下：将数据集z中所有样本x
n
对应的x
com
作为基于感知机的分类模块的输入数据，参与分类任务的训练，在分类任务优化过程中隐式地利用感知机的类别感知信息对缺失位置变量的填补任务进行优化。6.根据权利要求5所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤s5过程如下：s51、依据步骤s42中得到的数据集z中所有样本x
n
对应的完整手势动作数据x
com
，将所有完整手势动作数据x
com
组成的数据集记为z
com
，首先从z
com
中同类手势动作数据内部随机选取两组样本数量均为t的数据子集和其中，k表示数据集z
com
中第k类手势动作数据，a和b分别表示随机选取的不同数据子集，通过最优运输理论衡量两个离散测度α和β的分布差异，数据子集和依据最优运输理论转换为离散测度和依据最优运输理论，采用表示同类手势动作数据内选取的两个数据子集在物理空间层面上的数据分布距离，且的值越小，表示从同类手势动作数据内选的两个数据子集和间的数据分布差异越小；s52、由于数据集z
com
中所有数据x
com
中的观察值一直保持不变，通过减小同类手势动作数据子集和之间分布差异，使得同类手势动作数据分布更加相似，上述过程
转换为对同类手势动作数据的进行填补的损失函数具体如下：其中k表示数据集z
com
中的类别数，l表示在类别k内重复随机取数据子集的次数，上式采用表示随机从类别k内选取的两个数据子集和sinkhorn()表示最优运输理论中的sinkhorn算法，求取离散测度变换和之间的最优运输方案，使得随机选取的数据子集和之间的数据分布差异变小。7.根据权利要求6所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤s6过程如下：s61、将s52中经过最优运输理论对同类别数据进行约束后的所有数据x
com
输入到基于感知机的分类模块中进行分类，分类的学习目标表示如下：其中n表示数据集z
com
中的样本数，k表示数据集z
com
中的类别数，表示对含缺失值数据x
n
进行填补后的x
com
是类别k的二进制标签，p(y
n
|x
com
)
k
表示分类器预测样本x
com
为类别k的概率；s62、x
com
中缺失位置的变量信息在基于类别感知最优运输的填补模块中受到步骤s41中的和步骤s52中的约束进行填补任务的训练，同时x
com
的缺失位置变量信息也会受到步骤s61中基于感知机的分类器模块中的的约束进行分类任务的训练，使得x
com
中缺失位置的变量信息能够同时进行填补和分类任务，基于类别感知最优运输神经网络的手势动作分类器的整体学习目标表示如下：

技术总结
本发明公开了一种面向含缺失数据的手势动作分类方法，过程如下：获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集；利用观察值集中每一列变量的均值对缺失值集进行预填补；基于预填补的数据，训练一个基于类别感知最优运输神经网络的手势动作分类器；利用手势动作分类器对预填补数据中的观察值进行重构，隐式地利用分类器的类别感知信息对缺失值进行填补；同时，采用最优运输理论减少同类别手势动作数据分布距离，显式地利用类别感知信息对缺失值进行填补；将填补后的数据作为感知机的输入，并最终输出分类结果。本发明将类别感知和最优运输理论应用于含缺失数据的手势动作分类领域，有效提高了分类的准确率和效率。类的准确率和效率。类的准确率和效率。


技术研发人员：马千里 柳真
受保护的技术使用者：华南理工大学
技术研发日：2022.02.25
技术公布日：2022/6/3