一种多模态传感器数据的合成方法、装置及存储介质与流程

技术特征：
1.一种多模态传感器数据的合成方法，其特征在于，包括以下步骤：获取原始多模态传感器数据；所述原始多模态传感器数据包括加速度计数据、陀螺仪数据以及磁力计数据中的至少两种，所述原始多模态传感器数据具有行为类别标签；将所述原始多模态传感器数据输入语义编码器，得到第一本征向量；根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器；根据所述训练后的生成器以及所述行为类别标签生成第二本征向量；将所述第二本征向量输入语义解码器，得到合成多模态传感器数据。2.根据权利要求1所述多模态传感器数据的合成方法，其特征在于：所述语义编码器具有注意力机制，所述将所述原始多模态传感器数据输入语义编码器，得到第一本征向量，包括：将所述原始多模态传感器数据输入语义编码器，通过所述注意力机制确定所述原始多模态传感器数据的注意力权重向量，并根据所述注意力权重向量计算得到第一本征向量。3.根据权利要求2所述多模态传感器数据的合成方法，其特征在于：所述通过所述注意力机制确定所述原始多模态传感器数据的注意力权重向量，并根据所述注意力权重向量计算得到第一本征向量，包括：根据所述原始多模态传感器数据与第一权重矩阵的乘积，确定查询向量；根据所述原始多模态传感器数据与第二权重矩阵的乘积，确定键值向量；根据所述原始多模态传感器数据与第三权重矩阵的乘积，确定价值向量；根据所述查询向量与所述键值向量，确定所述注意力权重向量；根据所述注意力权重向量以及所述价值向量，计算得到所述第一本征向量。4.根据权利要求1所述多模态传感器数据的合成方法，其特征在于：所述语义编码器包括输入层和本征向量表征层，所述语义编码器通过以下步骤训练所得：将所述原始多模态传感器数据输入所述输入层，并基于第一约束条件对初始语义编码器进行训练；所述第一约束条件为所述原始多模态传感器数据与第一初始权重向量的乘积等于类别向量，类别向量基于所述行为类别标签进行编码而成，所述第一初始权重向量为所述输入层到所述本征向量表征层的权重向量；在训练的过程中对所述第一初始权重向量进行更新，得到更新后的第一权重向量；根据所述第一权重向量，得到所述语义编码器。5.根据权利要求4所述多模态传感器数据的合成方法，其特征在于：所述语义解码器包括映射表征层和数据输出层，所述语义解码器通过以下步骤训练所得：将所述本征向量表征层的输出输入至所述映射表征层，并基于第二约束条件对初始语义解码器进行训练；所述第二约束条件为类别向量等于第二初始权重向量与所述数据输出层所输出的输出数据的乘积，所述第二初始权重向量为所述映射表征层到所述数据输出层的权重向量；在训练的过程中对所述第二初始权重向量进行更新，得到更新后的第二权重向量；所述第二权重向量与所述第一权重向量满足对称转置关系，所述第二权重向量使得所述输出数据与所述原始多模态传感器数据之间的差异满足预设条件；根据所述第二权重向量，得到所述语义解码器。6.根据权利要求1所述多模态传感器数据的合成方法，其特征在于：所述生成对抗网络
还包括判别器，根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器，包括：获取类别向量和随机噪声；类别向量基于所述行为类别标签进行编码而成；根据所述类别向量和随机噪声，通过生成器生成合成本征向量；将所述第一本征向量以及合成本征向量所述输入至所述判别器对判别器进行训练，并在训练过程中更新所述判别器的模型参数；根据更新后的模型参数进行生成器的训练，得到训练后的生成器。7.根据权利要求1所述多模态传感器数据的合成方法，其特征在于：所述根据所述训练后的生成器以及所述行为类别标签生成第二本征向量，包括：对所述行为类别标签进行编码得到类别向量；根据所述类别向量，通过所述训练后的生成器生成第二本征向量。8.一种多模态传感器数据的合成装置，其特征在于，包括：获取模块，用于获取原始多模态传感器数据；所述原始多模态传感器数据包括加速度计数据、陀螺仪数据以及磁力计数据中的至少两种，所述原始多模态传感器数据具有行为类别标签；第一处理模块，用于将所述原始多模态传感器数据输入语义编码器，得到第一本征向量；训练模块，用于根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器；第二处理模块，用于根据所述训练后的生成器以及所述行为类别标签生成第二本征向量；第三处理模块，用于将所述第二本征向量输入语义解码器，得到合成多模态传感器数据。9.一种多模态传感器数据的合成装置，其特征在于，包括处理器以及存储器；所述存储器存储有程序；所述处理器执行所述程序以实现如权利要求1
‑
7中任一项所述方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行时实现如权利要求1
‑
7中任一项所述方法。

技术总结
本发明公开了一种多模态传感器数据的合成方法、装置及存储介质，本发明将包含有加速度计数据、陀螺仪数据以及磁力计数据中的至少两种的原始多模态传感器数据输入至语义编码器中，得到第一本征向量，将原始多模态传感器数据映射至本征向量空间以充分反应多模态传感器数据的本征特征；根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器，并进一步根据行为类别标签生成第二本征向量，训练后的生成器所生成的第二本征向量能够充分反映原始多模态传感器数据的时空关联性；将所述第二本征向量输入语义解码器，得到合成多模态传感器数据，提高了合成数据的多样性且强化了合成数据的应用效果，本发明可广泛应用于深度学习技术领域。深度学习技术领域。深度学习技术领域。


技术研发人员：季文翀 张忠平 肖益珊 王永斌 刘廉如 丛煜华 郑涛
受保护的技术使用者：宜通世纪科技股份有限公司
技术研发日：2021.07.05
技术公布日：2021/11/4