基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法与流程

技术特征：
1.一种基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法，其特征在于，该方法包括：步骤一，通过可穿戴设备中的传感器采集人体姿态动作信号数据，得到不同类别的动作属性，其中所述采集过程使用phyphox软件实时采集传感器数据，采集数据时采样频率为20hz，采集3轴加速度传感器和陀螺仪数据，分别为身体各个方向加速大小和转动角度，得到带有时间序列的传感器数据；步骤二，对采集到的动作信号进行数据预处理，数据归一化，1范数处理，固定步长的滑窗处理，按照数据属性划分并添加相应的动作标签；步骤三，将人体姿态动作信号数据输入到卷积神经网络模型中，以不同类别的动作属性作为输出，训练得到自主判断人体当前姿态的卷积神经网络模型；所述卷积神经网络模型为带有协方差矩阵的卷积神经网络，训练时设置超参数以及数据批次，将带有时间序列的传感器数据送入网络训练，利用梯度下降反向传播来更新卷积核的权重值，达到最优网络性能；步骤四，将训练好的网络模型迁移到android客户端，可以利用智能手机的加速度传感器实时检测人体所处状态。2.根据权利要求1所述的基于协方差矩阵变换卷积神经网络姿态识别方法，其特征在于，所述步骤二中，对数据进行1范数处理，剔除噪声数据，将所有数据压缩在0
‑
1之间，不改变数据包含的传感器信息，然后滑窗处理使数据带有标签，且增加数据量，处理后的数据被分为70％的训练集和30％的测试集。3.根据权利要求1所述的基于协方差矩阵变换卷积神经网络姿态识别方法，其特征在于，所述步骤三中，卷积神经网络中搭建三层卷积层和两层全连接层，每层卷积核大小被设置成3x3，滑动步长为1，依次为64层卷积—128层卷积—256层卷积—全连接层，其中卷积层均加入协方差矩阵变换消除数据相关性，协方差矩阵变换基本公式为：对于获得的传感器数据矩阵x
m*n
，其中n是样本数，m是特征数，μ是x的矩阵均值，一个动作采样n次，每次包含m个特征，是多个随机张量x1……
x
n
之间的协方差的一种矩阵表示，对于不同动作之间的相互干扰，此时计算协方差矩阵，利用矩阵的可逆性质，消除卷积网络中动作的相关性，对于逆运算的数学公式，计算协方差矩阵d的近似平方根：其中，cov是协方差变换，对于获得的传感器数据可以通过协方差矩阵的转换从而消除了数据方向和通道方向两者的相关影响，具体过程如下：当人体姿态数据被采集，送入卷积层之前通过矩阵变换不影响数据包含的特征，输入数据x的转化过程可以看做是带有协方差的恒等矩阵式：其中，i是单位矩阵，表明这一步骤并不改变动作特征，在运算过程中将协方差应用到卷积过程中处理数据，带有动作信息的传感器数据首先会通过矩阵逆变换，将数据之间相关性降低，消除不同动作之间的干扰，然后再进行卷积操作，乘以w，w为卷积核，加上偏置矩
阵b，用于减少数据的偏移，这一过程的完整的表达式为：y＝(x
‑
μ)*d*w b由于神经网络处理数据有三层卷积层，将第i层中的协方差运算表示为d
i
，此时对每一层的输入数据而言，都被简化成上一层的数据和当前层之间的卷积运算，下一卷积层x
i 1
的输入变为：x
i 1
＝f
i
*w
i
*d
i
*x
i
f(x)＝max(0,x)其中，矩阵运算方式均为右乘矩阵运算，x
i
是来自第i层的输入数据，d
i
是在该输入上进行协方差矩阵运算，w
i
是每一卷积层中的权重矩阵，而f
i
是激活函数用来使网络具有非线性分类的能力，放在卷积操作之后，采用relu激活函数，将传感器数据携带的信息传入下一层，最终通过线性分类器，可以对传感器数据进行分类，使自动识别人体当前所处动作。

技术总结
本发明公开了一种基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法，涉及人工智能的应用领域，该方法包括利用智能手机采集关于人体姿态的传感器时间序列，并且对原始数据进行归一化，滑窗等操作切分数据集并固定动作属性标签，然后利用协方差矩阵变换搭建卷积神经网络系统，利用协方差矩阵的逆变换来消除数据的相关性，在每层卷积之前均加入协方差操作可以避免数据的相关性，用训练数据集来训练网络参数，测试数据集来验证网络精度，最后固化网络模型生成pb文件通过Android studio迁移到android客户端，可以使移动设备利用自带的加速度计和陀螺仪来识别用户当前所处状态。的加速度计和陀螺仪来识别用户当前所处状态。的加速度计和陀螺仪来识别用户当前所处状态。


技术研发人员：权威铭 端越峰 张雷
受保护的技术使用者：南京师范大学
技术研发日：2021.07.30
技术公布日：2021/11/14