一种多模态传感器数据的合成方法、装置及存储介质与流程

1.本发明涉及深度学习技术领域，尤其是一种多模态传感器数据的合成方法、装置及存储介质。


背景技术：

2.近年来随着深度学习技术的发展，目前已经越来越受研究人员的关注，被广泛应用于其他各个领域，如视频合成、音乐合成、文本生成、自然语言合成、异常检测等。近年来在传感器数据合成领域也开始得到推广和应用，通过深度学习技术来学习传感器数据潜在的数据分布，然后通过生成器根据学习的结果合成带标签的传感器数据，从而在很大程度上避免数据采集带来的巨大工作量以及标注数据的成本。
3.而目前，现有的基于生成对抗网络的传感器数据合成方法主要关注一种传感器数据的合成任务，并不能够同时挖掘多个传感器数据之间的模态关联性，也不能充分挖掘和利用多模态传感器数据之间本征时空关系,通常通过递归神经网络、卷积神经网络以及全连接神经网络的组合来构建生成对抗网络框架来简单地学习单个或多个传感器数据中潜在的时序关系，这会导致所训练的生成对抗网络框架并不能充分学习多模态传感器数据中潜在的各类特征，弱化了合成的多模态传感器数据的能力。


技术实现要素：

4.有鉴于此，为了解决上述技术问题，本发明的目的是提供一种多模态传感器数据的合成方法、装置及存储介质，以提高合成数据的多样性以及强化应用效果。
5.本发明采用的技术方案是：
6.一种多模态传感器数据的合成方法，包括：
7.获取原始多模态传感器数据；所述原始多模态传感器数据包括加速度计数据、陀螺仪数据以及磁力计数据中的至少两种，所述原始多模态传感器数据具有行为类别标签；
8.将所述原始多模态传感器数据输入语义编码器，得到第一本征向量；
9.根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器；
10.根据所述训练后的生成器以及所述行为类别标签生成第二本征向量；
11.将所述第二本征向量输入语义解码器，得到合成多模态传感器数据。
12.进一步，所述语义编码器具有注意力机制，所述将所述原始多模态传感器数据输入语义编码器，得到第一本征向量，包括：
13.将所述原始多模态传感器数据输入语义编码器，通过所述注意力机制确定所述原始多模态传感器数据的注意力权重向量，并根据所述注意力权重向量计算得到第一本征向量。
14.进一步，所述通过所述注意力机制确定所述原始多模态传感器数据的注意力权重向量，并根据所述注意力权重向量计算得到第一本征向量，包括：
15.根据所述原始多模态传感器数据与第一权重矩阵的乘积，确定查询向量；
16.根据所述原始多模态传感器数据与第二权重矩阵的乘积，确定键值向量；
17.根据所述原始多模态传感器数据与第三权重矩阵的乘积，确定价值向量；
18.根据所述查询向量与所述键值向量，确定所述注意力权重向量；
19.根据所述注意力权重向量以及所述价值向量，计算得到所述第一本征向量。
20.进一步，所述语义编码器包括输入层和本征向量表征层，所述语义编码器通过以下步骤训练所得：
21.将所述原始多模态传感器数据输入所述输入层，并基于第一约束条件对初始语义编码器进行训练；所述第一约束条件为所述原始多模态传感器数据与第一初始权重向量的乘积等于类别向量，类别向量基于所述行为类别标签进行编码而成，所述第一初始权重向量为所述输入层到所述本征向量表征层的权重向量；
22.在训练的过程中对所述第一初始权重向量进行更新，得到更新后的第一权重向量；
23.根据所述第一权重向量，得到所述语义编码器。
24.进一步，所述语义解码器包括映射表征层和数据输出层，所述语义解码器通过以下步骤训练所得：
25.将所述本征向量表征层的输出输入至所述映射表征层，并基于第二约束条件对初始语义解码器进行训练；所述第二约束条件为类别向量等于第二初始权重向量与所述数据输出层所输出的输出数据的乘积，所述第二初始权重向量为所述映射表征层到所述数据输出层的权重向量；
26.在训练的过程中对所述第二初始权重向量进行更新，得到更新后的第二权重向量；所述第二权重向量与所述第一权重向量满足对称转置关系，所述第二权重向量使得所述输出数据与所述原始多模态传感器数据之间的差异满足预设条件；
27.根据所述第二权重向量，得到所述语义解码器。
28.进一步，所述生成对抗网络还包括判别器，根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器，包括：
29.获取类别向量和随机噪声；类别向量基于所述行为类别标签进行编码而成；
30.根据所述类别向量和随机噪声，通过生成器生成合成本征向量；
31.将所述第一本征向量以及合成本征向量所述输入至所述判别器对判别器进行训练，并在训练过程中更新所述判别器的模型参数；
32.根据更新后的模型参数进行生成器的训练，得到训练后的生成器。
33.进一步，所述根据所述训练后的生成器以及所述行为类别标签生成第二本征向量，包括：
34.对所述行为类别标签进行编码得到类别向量；
35.根据所述类别向量，通过所述训练后的生成器生成第二本征向量。
36.本发明还提供一种多模态传感器数据的合成装置，包括：
37.获取模块，用于获取原始多模态传感器数据；所述原始多模态传感器数据包括加速度计数据、陀螺仪数据以及磁力计数据中的至少两种，所述原始多模态传感器数据具有行为类别标签；
38.第一处理模块，用于将所述原始多模态传感器数据输入语义编码器，得到第一本
征向量；
39.训练模块，用于根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器；
40.第二处理模块，用于根据所述训练后的生成器以及所述行为类别标签生成第二本征向量；
41.第三处理模块，用于将所述第二本征向量输入语义解码器，得到合成多模态传感器数据。
42.本发明还提供一种装置，包括处理器以及存储器；
43.所述存储器存储有程序；
44.所述处理器执行所述程序以实现所述方法。
45.本发明还提供一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行时实现所述方法。
46.本发明的有益效果是：将包含有加速度计数据、陀螺仪数据以及磁力计数据中的至少两种的原始多模态传感器数据输入至语义编码器中，得到第一本征向量，将原始多模态传感器数据映射至本征向量空间以充分反应多模态传感器数据的本征特征；根据所述第一本征向量对生成对抗网络进行训练，得到训练后的生成器，并进一步根据行为类别标签生成第二本征向量，训练后的生成器所生成的第二本征向量能够充分反映原始多模态传感器数据的时空关联性；将所述第二本征向量输入语义解码器，得到合成多模态传感器数据，提高了合成数据的多样性且强化了合成数据的应用效果。
附图说明
47.图1为本发明多模态传感器数据的合成方法的步骤流程示意图；
48.图2为本发明具体实施例多模态表征向量的生成步骤示意图；
49.图3为本发明具体实施例生成对抗网络的示意图；
50.图4为本发明具体实施例语义编码器和语义解码器的示意图；
51.图5为本发明具体实施例合成方法的合成框架示意图。
具体实施方式
52.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
53.本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
54.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包
含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
55.如图1所示，本发明实施例提供一种多模态传感器数据的合成方法，包括步骤s100
‑
s500：
56.s100、获取原始多模态传感器数据。
57.本发明实施例中，原始多模态传感器数据包括加速度计数据、陀螺仪数据以及磁力计数据中的至少两种，具体地包括加速度计数据、陀螺仪数据以及磁力计数据。可选地，将加速度计、陀螺仪和磁力计等传感器佩戴于受试者的身上，包括但不限于手腕部位，作出各种动作，例如：(1)走路摆臂；(2)手掌翻转；(3)手臂平移；(4)手臂垂直移动；(5)手臂平举；(6)摆臂；(7)曲臂；(8)指鼻；(9)坐；(10)站；(11)走；(12)跑等，从而通过不同传感器收集到加速度计数据、陀螺仪数据以及磁力计数据。需要说明的是，根据不同的动作给收集到加速度计数据、陀螺仪数据以及磁力计数据添加不用的行为类别标签，行为类别标签即表示每种动作，每种动作下均具有对应的加速度计数据、陀螺仪数据以及磁力计数据。由上可知，传感器设置于同一部位，因此行为类别标签下，即同一动作下的加速度计数据、陀螺仪数据以及磁力计数据之间是存在时空关联性的(例如时空一致性及各个维度数据之间的空间一致性)，需要分析多模态传感器数据之间的潜在关系，进而后续生成符合其时空关联性的合成多模态传感器数据，若每种传感器的数据单独分析和合成，最终生成的数据违背了其存在的关联关系，生成的数据会失去应用价值。
58.s200、将原始多模态传感器数据输入语义编码器，得到第一本征向量。
59.可选地，语义编码器具有注意力机制，可以通过注意力机制来学习原始多模态传感器数据之间的重要性及关联性，充分利用不同模态传感器数据自身的时序特性、多轴间的空间特征以及多个模态之间的时空关联特性等，从而更好地分析原始多模态传感器数据潜在的数据分布特性，第一本征向量很好地反映原始多模态传感器数据的本征特征。具体地，潜在的数据分布特性是加速度计数据、陀螺仪数据以及磁力计数据之间的内在相关影响和相互作用及对外呈现出的一致性，从而使最终合成的合成多模态传感器数据更加真实逼真且具有多样性，具有真正意义上的应用价值。
60.具体地，步骤s200包括步骤s210：
61.s210、将原始多模态传感器数据输入语义编码器，通过注意力机制确定原始多模态传感器数据的注意力权重向量，并根据注意力权重向量计算得到第一本征向量。
62.本发明实施例中，将包含加速度计数据、陀螺仪数据以及磁力计数据的原始多模态传感器数据一起输入至语义编码器中，通过注意力机制来学习原始多模态传感器数据之间的重要性及关联性从而确定原始多模态传感器数据的注意力权重向量，然后利用注意力权重向量能够计算得到第一本征向量。
63.可选地，如图2所示，通过一维卷积神经网络分别构建查询卷积层、键值卷积层和价值卷积层，分别进行查询卷积、键值卷积和价值卷积，得到查询向量q、键值向量k、价值向量v，根据查询向量q和键值向量k通过softmax激活函数计算获得注意力权重向量，再结合价值向量v向得到多模态表征向量，即第一本征向量。具体地，步骤s210包括步骤s211
‑
s215，其中步骤s211
‑
s213不限定执行顺序：
64.现有的研究方案中，仅能通过生成对抗网络来学习和合成较短时间长度的传感器数据，如几十个样本点或几百个样本点的传感器时间序列样本，对于几千个样本点的长时间传感器时间序列的学习效果并不好，而在现实应用场景下，较短时间长度的传感器序列样本往往不能完全表征出某一具体的感知对象的实际状态，如不能覆盖完成一个手势动作的时间周期，这就会降低了所合成数据的实际应用效果和价值。针对上述缺点，本发明实施例通过引入自注意力机制一方面使语义编码器增强多个模态中的重要信息，抑制无效或冗余信息，并且学习多模态传感器数据之间全局、长时序依赖关系，具体地，全局是指卷积网络能够提升原始多模态传感器数据的高层的表征向量；长时序是指采用注意力机制构建的模型能够学习更长的时间序列，比如采用lstm或gru的传感器gans能学习一段时间长度为140个样本点的时间序列，而本发明实施例的方法使用了注意力机制构建的功能模块，能够仅通过卷积网络，使用更优的训练参数学习序列长度为400多模态传感器数据。
65.s211、根据原始多模态传感器数据与第一权重矩阵的乘积，确定查询向量。
66.具体地，计算查询向量q的公式为：
67.q＝w
q
x
68.其中，x为原始多模态传感器数据，w
q
为第一权重矩阵。
69.s212、根据原始多模态传感器数据与第二权重矩阵的乘积，确定键值向量。
70.具体地，计算键值向量k的公式为：
71.k＝w
k
x
72.其中，x为原始多模态传感器数据，w
k
为第二权重矩阵。
73.s213、根据原始多模态传感器数据与第三权重矩阵的乘积，确定价值向量。
74.具体地，计算价值向量v的公式为：
75.v＝w
v
x
76.其中，x为原始多模态传感器数据，w
v
为第三权重矩阵。
77.s214、根据查询向量与键值向量，确定注意力权重向量。
78.具体地，计算注意力权重向量的公式为：
[0079][0080]
α
j，i
＝q
t
k
[0081]
其中，注意力权重向量表示合成第i个区域时模型对第j个位置的关注程度，k为键值向量，q为查询向量，t为转置，α
j，i
为表示乘积，i表示区域，j表示位置，n表示每个训练批次的样本大小。可选地，利用softmax激活函数计算获得注意力权重向量用于表示各个模态数据(即加速度计数据、陀螺仪数据以及磁力计数据)对输出的第一本征向量的贡献能力的大小。
[0082]
s215、根据注意力权重向量以及价值向量，计算得到第一本征向量。
[0083]
具体地，计算第一本征向量的公式为：
[0084][0085]
其中，o
j
为第一本征向量，t为转置，v
i
为第i个价值向量。
[0086]
s300、根据第一本征向量对生成对抗网络进行训练，得到训练后的生成器。
[0087]
具体地，生成对抗网络还包括判别器，生成器用于学习原始多模态传感器数据的潜在分布特性，从而能够具备不断合成逼真数据的能力，而判别器则用于甄别输入的数据的真假，两者之间存在生成对抗且共生关系，其生成器的性能提升的动力来自判别器反向传播的梯度信息，而判别器的能力提升受到生成器合成数据的逼真程度的影响。本发明实施例中，生成器和判别器是通过一维卷积、二维卷积和三维卷积构建而成，并通过设置不同的卷积核、步长等参数，使得生成对抗网络框架具有多尺度的时空学习能力，而不需要通过递归神经网络(以lstm为代表)构建，通过多尺度多维度的卷积网络构建就能够对原始多模态传感器数据内部的多轴数据以及多模态传感器数据之间的时空特性进行有效学习和利用。
[0088]
如图3所示，具体地，步骤s300包括步骤s310
‑
s340：
[0089]
s310、获取类别向量和随机噪声。
[0090]
本发明实施例中，类别向量基于行为类别标签进行编码而成，为编码后得到的控制向量。需要说明的是，随机噪声可以为各种类似或者近似于加速度计数据、陀螺仪数据以及磁力计数据的数据，或者通过某种函数所生成的数据等等，不作具体限定。
[0091]
s320、根据类别向量和随机噪声，通过生成器生成合成本征向量。
[0092]
具体地，将类别向量以及随机噪声输入至生成器中，通过生成器生成合成本征向量。需要说明的是，合成本征向量通过类别向量控制合成而得到的向量。
[0093]
s330、将第一本征向量以及合成本征向量输入至判别器对判别器进行训练，并在训练过程中更新判别器的模型参数。
[0094]
具体地，将合成本征向量以及真实本征向量(即第一本征向量)输入至判别器对判别器进行训练，判别器会输出1或0，1代表真，0代表假，从而根据输出的结果结合损失函数计算损失，然后在训练过程中不断地对判别器的模型参数进行更新，例如更新至计算的损失小于损失阈值。
[0095]
s340、根据更新后的模型参数进行生成器的训练，得到训练后的生成器。
[0096]
具体地，利用更新的模型参数作为反向传播的梯度信息对生成器进行训练，对生成器中的模型参数进行更新，从而得到训练后的生成器。可选地，判别器的模型参数以及生成器中的模型参数可以为丰富数据库的参数(enrich data)、数据泛化处理的参数(feature normalization and scaling)和bn处理的参数(batch normalization)；训练过程与训练相关的参数包括但不限于训练动量、学习率、衰减函数、权值初始化和正则化相关方法；网络相关参数包括但不限于分类器的选择参数、神经元数量、过滤器数量和网络层数。需要说明的是，判别器和生成器的训练可以同步进行，判别器和生成器存在对抗且共生关系，能够相互影响。
[0097]
s400、根据训练后的生成器以及行为类别标签生成第二本征向量。
[0098]
具体地，步骤s400包括步骤s410
‑
s420：
[0099]
s410、对行为类别标签进行编码得到类别向量。
[0100]
s420、根据类别向量，通过训练后的生成器生成第二本征向量。
[0101]
具体地，根据原始多模态传感器数据中的类别向量控制训练后的生成器生成第二本征向量。需要说明的是，第二本征向量与第一本征向量类似，其能够反映原始多模态传感
器数据之间的重要性及关联性，能够反映原始多模态传感器数据潜在的数据分布特性，具体地为是加速度计数据、陀螺仪数据以及磁力计数据之间的内在相关影响和相互作用及对外呈现出的一致性。
[0102]
s500、将第二本征向量输入语义解码器，得到合成多模态传感器数据。
[0103]
本发明实施例中，如步骤s420所描述第二本征向量具有多模态传感器数据的关联性、能够反映原始多模态传感器数据潜在的数据分布特性以及一致性，因此将第二本征向量输入至语义解码器最终得到的合成多模态传感器数据与多模态传感器数据类似，一方面包含行为类别标签，另一方面满足数据多样性，具有更强真实性以及具有更加实际的应用效果，能够更充分有效地利用多模态传感器数据中潜在的重要信息属性和特征。
[0104]
如图4所示，本发明实施例中，语义编码器包括输入层501和本征向量表征层502，本发明实施例的方法还包括语义编码器的训练步骤s610
‑
s630：
[0105]
s610、将原始多模态传感器数据输入输入层，并基于第一约束条件对初始语义编码器进行训练。
[0106]
具体地，第一约束条件为原始多模态传感器数据与第一初始权重向量的乘积等于类别向量，即wx＝s，x为原始多模态传感器数据(即原始传感器数据)，w为第一初始权重向量，s为类别向量，或者称作类别向量条件。需要说明的是，类别向量s基于行为类别标签进行编码而成，第一初始权重向量w为输入层501到本征向量表征层502的权重向量，本征向量表征层502用于输出本征向量，而通过第一约束条件的设置会使得本征向量具有行为类别语义。本发明实施例中，将原始多模态传感器数据输入输入层501，并基于上述第一约束条件对初始语义编码器进行训练。
[0107]
s620、在训练的过程中对第一初始权重向量进行更新，得到更新后的第一权重向量。
[0108]
具体地，在训练的过程中对语义编码器的模型参数进行调整更新，其中包括对第一初始权重向量进行更新，本发明实施例中语义编码器的目标函数为：
[0109]
s.t.wx＝s
[0110]
其中，w为第一初始权重向量，为第二初始权重向量，x为原始多模态传感器数据(即原始传感器数据)，为输出数据(即复原传感器数据)，f为frobenius norm(f
‑
范数，弗罗宾尼斯范数)是一种矩阵范数，通常记为(i表示矩阵的行标，j表示矩阵的列标，a
i，j
表示矩阵a中的元素，a
h
表示矩阵a的共轭转置矩阵，tr表示矩阵的迹)，min表示同时训练优化参数w，使得x和尽可能逼近一致。
[0111]
而在语义(自)编码器中，需要保证编码器的权重向量与解码器的权重向量保持一种权值镜像共享关系，即w和之间成对称转置关系t为转置。因此，可以原目标函数转换为：
[0112]
s.t.wx＝s
[0113]
为了便于优化求解，将语义约束条件(即第一约束条件)嵌入目标函数，从而使语义编码器能够更高地学习不同行为类别特征：
[0114][0115]
其中，λ为常用参数，可以根据需要进行取值。根据目标函数进行第一初始权重向量的更新，得到更新后的第一初始权重向量，即得到更新后的第一权重向量。
[0116]
s630、根据第一权重向量，得到语义编码器。
[0117]
具体地，将更新后的第一权重向量代入至目标函数中，确定训练后得到的目标函数，从而确定具有训练后得到的目标函数的语义编码器。
[0118]
如图4所示本发明实施例中，语义解码器包括映射表征层503和数据输出层504，本发明实施例的方法还包括语义解码器的训练步骤s710
‑
s730：
[0119]
s710、将本征向量表征层的输出输入至映射表征层，并基于第二约束条件对初始语义解码器进行训练。
[0120]
具体地，第二约束条件为类别向量s等于第二初始权重向量与数据输出层所输出的输出数据(即复原传感器数据)的乘积，第二初始权重向量为映射表征层503到数据输出层504的权重向量。
[0121]
s720、在训练的过程中对第二初始权重向量进行更新，得到更新后的第二权重向量。
[0122]
具体地，第二权重向量与第一权重向量满足对称转置关系，同需要说明的是，语义编码器和语义解码器的训练过程可以一起进行，在训练的过程中对第二初始权重向量进行更新，对第二初始权重向量进行调整，得到更新后的第二权重向量，而更新后的第二权重向量使得输出数据与原始多模态传感器数据之间的差异满足预设条件，预设条件包括但不限于使得输出数据与原始多模态传感器数据之间的差异小于差异阈值。
[0123]
s730、根据第二权重向量，得到语义解码器。
[0124]
具体地，类似于语义编码器，语义解码器同样具有基于第二初始权重向量确定的目标函数，其构建方式可以参照步骤s610
‑
s630不再赘述，将更新后的第二权重向量代入即可以确定语义解码器。
[0125]
对本发明实施例的多模态传感器数据的合成方法进行详细说明,包括以下步骤s801
‑
s807：
[0126]
s801、训练数据采集。
[0127]
具体地，训练数据采集基于实验室模拟环境建立的行为识别数据采集研究平台，采集过程包含的数据信息有：1)三轴加速度传感器数据；2)三轴陀螺仪数据；3)三轴磁力计数据。采取数据时，测试人员被要求做指定的行为动作，加速度、陀螺仪和磁力计等传感器被穿戴在受试者的手腕部位，指定的动作和手势主要包括：(1)走路摆臂；(2)手掌翻转；(3)手臂平移；(4)手臂垂直移动；(5)手臂平举；(6)摆臂；(7)曲臂；(8)指鼻；(9)坐；(10)站；(11)走；(12)跑，训练数据包括不同行为类别的标签。需要说明的是，训练数据相当于原始传感器数据、原始多模态传感器数据。
[0128]
s802、数据预处理。
[0129]
具体地，训练数据采集后，需要对原始传感器数据进行数据预处理工作，包括但不限于插值、滤波及归一化等操作，对于一些存在缺失数据的传感器数据要对数据进行删减或补齐操作，同时要对数据进行切分操作，将其转换成所需要的数据维度。
[0130]
s803、模型训练。
[0131]
具体地，经过数据预处理后，可以直接利用这些切分好的传感器数据进行端到端的训练，首先通过自编码器将原始传感器数据转换为本征向量，然后将这些本征向量作为训练数据基于卷积网络的生成对抗网络的学习对象和目标，其中生成对抗网络的训练参照步骤s610
‑
s630、s710
‑
s730，在生成对抗网络完成训练后，利用训练好的生成器根据指定的条件(例如类别向量)输入合成目标行为的第一本征向量，然后再利用训练好的解码器将这些合成的第一本征向量映射会真实传感器数据空间，从而最终达到充足数量和多样性的行为识别的传感器数据，即合成多模态传感器数据。
[0132]
如图5所示，为本发明实施例的多模态传感器数据的合成方法的合成框架示意图，将原始传感器数据输入至编码器，得到本征向量并结合条件向量(即类别向量输入至判别器进行0/1的输出进行真假判断，从而通过反向传递训练生成器，生成器结合条件向量与输入噪声(未图示)生成本征向量，输入至解码器，从而得到合成传感器数据。
[0133]
s804、模型判断。
[0134]
具体地，为了验证通过本发明实施例所合成的多模态传感器数据的逼真程度，可以分别绘制同一种行为类别的真实数据和合成的数据，然后通过视觉图灵测试评估合成数据的效果及多样性，主要对比评测真实传感器和合成传感器时序图的变化趋势、幅值范围、噪声程度等视觉特性。同时为了定量评估合成数据的质量，本发明实施例可以使用欧式距离、余弦距离等多种距离评估指标评价同一种类别的合成多模态传感器数据与训练数据之间的距离。
[0135]
综上，本发明实施例的多模态传感器数据的合成方法包括但不限于以下优点：1)基于多尺度的时空卷积设计生成对抗网络的模型，使得模型能够更充分地学习传感器数据自身以及传感器数据之间的时空特性，有效地利用了多模态传感器数据之间的相关性、冗余性和互补性等多方面的优势；2)通过语义编码器将原始传感器数据映射到本征向量空间，提取传感器数据中最具代表性的特征作为生成对抗网络学习的目标数据，避免了无效特征以及传感器数据内在噪声对训练生成对抗网络的不利影响，从而提高生成器学习潜在数据分布的效果。
[0136]
本发明还提供一种多模态传感器数据的合成装置，包括：
[0137]
获取模块，用于获取原始多模态传感器数据；原始多模态传感器数据包括加速度计数据、陀螺仪数据以及磁力计数据中的至少两种，原始多模态传感器数据具有行为类别标签；
[0138]
第一处理模块，用于将原始多模态传感器数据输入语义编码器，得到第一本征向量；
[0139]
训练模块，用于根据第一本征向量对生成对抗网络进行训练，得到训练后的生成器；
[0140]
第二处理模块，用于根据训练后的生成器以及行为类别标签生成第二本征向量；
[0141]
第三处理模块，用于将第二本征向量输入语义解码器，得到合成多模态传感器数据。
[0142]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也
相同。
[0143]
本发明实施例还提供了一种模态数据的合成装置，该设备包括处理器以及存储器；
[0144]
存储器用于存储程序；
[0145]
处理器用于执行程序实现本发明实施例的多模态传感器数据的合成方法。本发明实施例的装置可以实现多模态传感器数据的合成的功能。该装置可以为包括手机、平板电脑、个人数字助理(personal digital assistant，简称pda)、销售终端(point of sales，简称pos)、车载电脑等任意智能终端。
[0146]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0147]
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序被处理器执行完成如前述发明实施例的多模态传感器数据的合成方法。
[0148]
本发明实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述发明实施例的多模态传感器数据的合成方法。
[0149]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0150]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0151]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0152]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0153]
以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。