可穿戴设备的交互控制系统及其工作方法与流程

技术特征：
1.一种可穿戴设备的交互控制系统，其特征在于，包括：骨骼时序数据获取单元，用于获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据；矩阵构造单元，用于将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵；第一神经网络单元，用于将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；生物信号获取单元，用于获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图；第二神经网络单元，用于将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；尺度归一单元，用于将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l；高斯分布构造单元，用于基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；离散化单元，用于对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；手势类别单元，用于将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率；手势确定单元，用于所述分类特征图归属于预定手势的概率，确定手势类型；以及交互单元，用于基于所述手势类型，确定交互指令。2.根据权利要求1所述的可穿戴设备的交互控制系统，其中，所述第一神经网络单元，包括：特征图提取子单元，用于使用所述第一卷积神经网络从所述输入矩阵获得运动特征图；以及全局池化子单元，用于对所述运动特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述运动特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量。3.根据权利要求2所述的可穿戴设备的交互控制系统，其中，所述全局池化子单元，进一步用于对所述运动特征图的沿通道维度的每个特征矩阵进行全局最大值池化处理或者全局平均值池化处理以获得一个所述全局特征值。4.根据权利要求3所述的可穿戴设备的交互控制系统，其中，所述第二神经网络单元，包括：卷积处理子单元，用于将所述信号波形图输入所述第二卷积神经网络以获得信号特征图；以及通道池化子单元，用于对所述信号特征图进行沿通道维度的池化处理以获得所述特征矩阵。
5.根据权利要求4所述的可穿戴设备的交互控制系统，其中，所述尺度归一单元，进一步用于通过线性变换将所述特征向量和所述特征矩阵转化相同尺度。6.根据权利要求5所述的可穿戴设备的交互控制系统，其中，所述高斯分布构造单元，进一步用于：基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的所述向量化的高斯分布；其中，所述向量化的高斯分布的均值向量，用公式表示为：μ＝v
×
m
t
⊕
m
t
×
v其中，所述向量化的高斯分布的方差矩阵，用公式表示为：∑＝v
×
((v
×
m-μ)
⊙
(m
×
v-μ))
t
其中，
⊕
表示点加，而
⊙
表示点乘。7.根据权利要求6所述的可穿戴设备的交互控制系统，其中，所述手势类别单元，包括：全连接编码子单元，用于使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以获得分类特征向量；以及概率生成子单元，用于将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于预定手势的概率。8.一种可穿戴设备的交互控制系统的工作方法，其特征在于，包括：获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据；将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵；将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图；将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l；基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率；所述分类特征图归属于预定手势的概率，确定手势类型；以及基于所述手势类型，确定交互指令。9.根据权利要求8所述的可穿戴设备的交互控制系统的工作方法，其中，将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量，包括：使用所述第一卷积神经网络从所述输入矩阵获得运动特征图；以及对所述运动特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述运动特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的
所述特征向量。10.根据权利要求8所述的可穿戴设备的交互控制系统的工作方法，其中，将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度，包括：将所述信号波形图输入所述第二卷积神经网络以获得信号特征图；以及对所述信号特征图进行沿通道维度的池化处理以获得所述特征矩阵。

技术总结
本申请涉及可穿戴设备交互的领域，其具体地公开了一种可穿戴设备的交互控制系统及其工作方法。其采用基于深度学习技术的卷积神经网络模型来挖掘出粘贴在手臂上的多个传感器所采集的各个数据项之间和各个时间点之间的关联特征，同时还提取出预定时间段内的肌电传感器所捕捉的生物电信号的信号波形图中的局部关联特征，进一步再采用基于似然性最大化的高斯密度图以提高在高维空间中的融合度，以使得分类结果更为准确。通过这样的方式，可以更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。备时的体验。备时的体验。


技术研发人员：赵家伟
受保护的技术使用者：杭州芮科科技有限公司
技术研发日：2022.04.22
技术公布日：2022/7/15