基于循环重建网络的惯性传感器语义信息识别方法及系统

1.本发明涉及惯性传感器语义信息识别技术领域，特别是涉及一种基于循环重建网络的惯性传感器语义信息识别方法及系统。


背景技术：

2.mems惯性传感器具有体积小、易佩戴、功耗低、成本低、易批量生产等优势，市场上常见的惯性传感器单价可以低至0.2-0.5元不等，因此基于惯性传感器的人机交互不仅更为自然(与语音、图像等方式相比不受距离以及场景的限制)，且对硬件配置要求较低，因此具有巨大的市场前景。然而，惯性传感器的精度较差，特别是廉价的惯性传感器信号中包含大量的随机误差，因此很难对信号中包含的语义信息实现精确的识别，特别是在语义信息种类较为丰富，且运动习惯差异较大的情况，借助惯性传感器采集到的运动数据进行语义信息识别会产生非常大的误差。


技术实现要素：

3.本发明的目的是提供一种基于循环重建网络的惯性传感器语义信息识别方法及系统，准确识别用户基于惯性传感器在空中做出的特定轨迹的运动。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于循环重建网络的惯性传感器语义信息识别方法，包括：
6.构建多源信号循环重建网络；所述多源信号循环重建网络包括：卷积神经网络模型、第一小波编码网络模型和第二小波编码网络模型；
7.通过训练好的多源信号循环重建网络对惯性传感器信号进行重建；
8.基于重建后的惯性传感器信号还原运动轨迹；
9.将还原后的运动轨迹与重建后的惯性传感器信号合并，得到多个时刻的特征向量；
10.将各时刻的特征向量中的位置信息与时间信息合并，得到编码四元数；
11.对所述编码四元数进行归一化处理，得到单位编码四元数；
12.基于各时刻的特征向量中的加速度分量、角速度分量和轨迹分量，构建多个特征四元数；
13.基于所述单位编码四元数和所述特征四元数确定特征编码向量；
14.将特征编码向量输入至transformer中进行语义信息识别。
15.可选地，所述多源信号循环重建网络的训练过程如下：
16.确定多个信息源的惯性传感器多轴信号数据的最优小波变换模式；
17.通过所述最优小波变换模式标注对应的惯性传感器多轴信号数据构建训练集；
18.通过所述训练集对所述多源信号循环重建网络进行训练。
19.可选地，所述确定多个信息源的惯性传感器多轴信号数据的最优小波变换模式，具体包括：
20.对每个信息源的每轴信号进行变分模态分解，得到每轴信号的imf分量；
21.对每个imf分量进行多种小波变换；
22.将小波变换结果替换原始imf分量，并基于替换后的imf分量重建原始信号，得到原始信号的重建结果；
23.基于所述重建结果进行姿态解算；
24.将姿态解算结果与真实记录数据进行对比，得到姿态解算误差；并将最小的姿态解算误差所对应的小波变换模式作为最优小波变换模式。
25.可选地，所述通过所述训练集对所述多源信号循环重建网络进行训练，具体包括：
26.对于第一个信息源a的第一轴信号a1所分解出的第一个imf分量将其与原始信号x并联后，再并联一个等长的零向量形成输入矩阵；所述原始信号为多个信息源的惯性传感器多轴信号数据；
27.将输入矩阵输入所述卷积神经网络模型，所述卷积神经网络模型输出小波选择向量
28.将所述小波选择向量输入softmax函数后，与预先得到的的最优小波变换模式的ont-hot编码计算交叉熵损失，记为
29.将所述小波选择向量输入第一小波编码网络模型，得到当前回合的小波编码将上一回合的小波编码乘以权重ω1后与当前回合的小波编码相加，得到联合小波编码向量
30.将联合小波编码向量与下一个imf分量以及原始信号x并联，生成一个新的输入矩阵，再次输入卷积神经网络模型，得到新的小波选择向量
31.将小波选择向量输入softmax函数，与对应的最优小波变换模式的ont-hot编码计算交叉熵损失，记为
32.将小波选择向量输入第一小波编码网络模型，得到当前回合的小波编码将上一回合的联合小波编码向量乘以权重ω2后与当前回合的小波编码相加，得到联合小波编码向量
33.将联合小波编码与下一回合的imf分量以及原始信号x并联，构成下一回合的输入；
34.重复上述过程，直到信息源a的最后一个imf分量；
35.设信息源a的最后一个imf分量对应的小波选择向量为将小波选择向量输入softmax函数，与对应的最优小波变换模式的one-hot编码计算交叉熵损失，记
为：
36.将小波选择向量输入第二小波编码网络模型，得到当前回合的小波编码将上一回合的联合小波编码向量乘以权重ω
15
后与当前回合的小波编码相加，得到当前回合之前的联合小波编码向量
37.将联合小波编码向量与信息源g的第一个imf分量以及原始信号x并联，形成一个8
×
n的输入矩阵，并输入卷积神经网络模型，得到新的小波选择向量
38.将小波选择向量输入softmax函数，与对应的最优小波变换模型的one-hot编码计算交叉熵损失，记为
39.将小波选择向量为输入第二小波编码网络模型，得到当前回合的小波编码将上一回合的联合小波编码向量乘以权重ω
16
后与当前回合的小波编码相加，得到当前回合之前的联合小波编码向量
40.将小波编码向量与信息源g的第二个imf分量以及原始信号x并联，形成一个8
×
n的输入矩阵，并输入卷积神经网络模型，不断重复上述过程，直到对所有imf分量完成操作；
41.对于每个imf分量都得到一个对应的小波选择向量以及一个对应的损失项，将所有的损失项相加，得到所述多源信号循环重建网络的小波选择总损失；
42.将所述总损失进行反向传播实现对所述多源信号循环重建网络的训练。
43.可选地，在通过所述训练集对所述多源信号循环重建网络进行训练之后，还包括：对训练好的第一小波编码网络模型和第二小波编码网络模型进行正则化。
44.可选地，所述第一小波编码网络模型的正则项ra为：
[0045][0046]
所述第一小波编码网络模型的辅助正则项为：
[0047][0048]
所述第二小波编码网络模型的正则项rg为：
[0049][0050]
所述第二小波编码网络模型的辅助正则项为：
[0051]
[0052]
其中，表示第一小波编码矩阵wa的α阶renyi信息熵，分别表示第一小波编码矩阵的第i种和第j种小波变换模式的编码向量，表示第二小波编码矩阵wg的α阶renyi信息熵，分别表示第一小波编码矩阵的第i种和第j种小波变换模式的编码向量
[0053]
可选地，所述基于所述单位编码四元数和所述特征四元数确定特征编码向量，具体包括：
[0054]
将所述单位编码四元数乘以学习矩阵，得到四元数；
[0055]
将所述四元数与所述特征四元数相乘，得到特征编码四元数；
[0056]
将所述特征编码四元数进行拼接，得到特征编码向量。
[0057]
可选地，所述基于所述单位编码四元数和所述特征四元数确定特征编码向量，具体包括：
[0058]
将所述单位编码四元数以四元数乘法作用于所述特征四元数，得到特征编码向量。
[0059]
本发明还提供了一种基于循环重建网络的惯性传感器语义信息识别系统，包括：
[0060]
网络构建模块，用于构建多源信号循环重建网络；所述多源信号循环重建网络包括：卷积神经网络模型、第一小波编码网络模型和第二小波编码网络模型；
[0061]
信号重新模块，用于通过训练好的多源信号循环重建网络对惯性传感器信号进行重建；
[0062]
轨迹还原模块，用于基于重建后的惯性传感器信号还原运动轨迹；
[0063]
第一合并模块，用于将还原后的运动轨迹与重建后的惯性传感器信号合并，得到多个时刻的特征向量；
[0064]
第二合并模块，用于将各时刻的特征向量中的位置信息与时间信息合并，得到编码四元数；
[0065]
归一化处理模块，用于对所述编码四元数进行归一化处理，得到单位编码四元数；
[0066]
特征四元数构建模块，用于基于各时刻的特征向量中的加速度分量、角速度分量和轨迹分量，构建多个特征四元数；
[0067]
特征编码向量确定模块，用于基于所述单位编码四元数和所述特征四元数确定特征编码向量；
[0068]
语义信息识别模块，用于将特征编码向量输入至transformer中进行语义信息识别。
[0069]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0070]
本发明通过构建的多源信号循环重建网络进行信号重新，实现运动轨迹的还原，然后并将轨迹形态信息融入以惯性传感器为基础的手势动作的语义信息识别任务中，从而能够准确识别用户基于惯性传感器在空中做出的特定轨迹的运动。
附图说明
[0071]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0072]
图1为本发明实施例基于循环重建网络的惯性传感器语义信息识别方法的流程图；
[0073]
图2为模型驱动式信号重建流程图；
[0074]
图3为多源信号循环重建网络结构；
[0075]
图4为经数据增强得到的轨迹还原结果；
[0076]
图5为一维光栅位置编码；
[0077]
图6为具有多模态特征的输入数据；
[0078]
图7为四元数位置编码；
具体实施方式
[0079]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0080]
本发明的目的是提供一种基于循环重建网络的惯性传感器语义信息识别方法及系统，准确识别用户基于惯性传感器在空中做出的特定轨迹的运动。
[0081]
基于惯性传感器语义信息识别本质上是一种时间序列分析技术，现有的时间序列分析技术大都依赖于信号在时域或频域上特征，这类特征可以归结为“波形特征”。而在动作的语义信息识别任务中，不同动作语义信息的差别本质上由不同动作对应的轨迹形态所决定，因此轨迹的形态信息是极为重要的。高精度还原惯性传感器轨迹，并将轨迹形态信息融入以惯性传感器为基础的下游任务，特别是手势动作的语义信息识别任务，该策略将是惯性传感器领域一项十分有价值的方案。
[0082]
为了实现精准的轨迹还原，本发明设计了“多源信号循环重建网络”，它可以显著提升惯性传感器数据在姿态解算以及轨迹还原任务上的精度。
[0083]
为了利用解算得到的轨迹信息，与惯性传感器时序信息，本发明设计了一种四元数位置编码，并由此对transformer结构进行了改进，形成了一种新的quaterformer模型。
[0084]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0085]
如图1所示，本发明提供的一种基于循环重建网络的惯性传感器语义信息识别方法，包括以下步骤：
[0086]
步骤101：构建多源信号循环重建网络；所述多源信号循环重建网络包括：卷积神经网络模型、第一小波编码网络模型和第二小波编码网络模型。
[0087]
步骤102：通过训练好的多源信号循环重建网络对惯性传感器信号进行重建。所述多源信号循环重建网络的训练过程如下：确定多个信息源的惯性传感器多轴信号数据的最优小波变换模式；通过所述最优小波变换模式标注对应的惯性传感器多轴信号数据构建训练集；通过所述训练集对所述多源信号循环重建网络进行训练。
[0088]
步骤103：基于重建后的惯性传感器信号还原运动轨迹。
[0089]
步骤104：将还原后的运动轨迹与重建后的惯性传感器信号合并，得到多个时刻的特征向量。
[0090]
步骤105：将各时刻的特征向量中的位置信息与时间信息合并，得到编码四元数。
[0091]
步骤106：对所述编码四元数进行归一化处理，得到单位编码四元数。
[0092]
步骤107：基于各时刻的特征向量中的加速度分量、角速度分量和轨迹分量，构建多个特征四元数。
[0093]
步骤108：基于所述单位编码四元数和所述特征四元数确定特征编码向量。具体包括：将所述单位编码四元数乘以学习矩阵，得到四元数；将所述四元数与所述特征四元数相乘，得到特征编码四元数；将所述特征编码四元数进行拼接，得到特征编码向量。
[0094]
步骤109：将特征编码向量输入至transformer中进行语义信息识别。
[0095]
其中，步骤102利用多源信号循环重建网络实现惯性传感器信号重建可以分为两步：模型驱动式信号重建(即数据标注构建训练集)和数据驱动式信号重建(即模型训练)，前者为后者提供训练所需的数据集。
[0096]
(1)模型驱动式信号重建
[0097]
模型驱动式信号重建方案如图2所示，将惯性传感器置于转台上进行多次转动，每次运动结束时借助转台记录本次运动过程中传感器姿态的变化情况。设某次运动过程中，惯性传感器采集到的6轴原始信号样本为其中为加速度信号，为角速度信号，则信号x的模型驱动式重建过程如下：
[0098]
1)输入来自多个信息源的多轴信号数据，如图2所示，输入3轴加速度计信号以及3轴角速度计信号
[0099]
2)对每个信息源的每轴信号分别进行变分模态分解(variational mode decomposition,vmd)，模态数设置为j(本问题中，j设置为5)，因此信息源的第i轴信号被分解为j个本征模态函数(imf分量)：
[0100]
3)依次对得到的每一个imf分量分别进行15种小波变换(不同的小波基，即视作一种小波变换模式，本发明设置了15种不同的小波基函数，它们分别是：'bior1.1','bior1.3','bior1.5','bior2.2','bior2.4','bior2.6','bior2.8','bior3.1','bior3.3','bior3.5','bior3.7','bior3.9','bior4.4','bior5.5','bior6.8')，此外，对该imf分量不做小波变换也是一种小波变换的结果，如图2中“null”所示。此时，本发明得到了任意一个imf分量i＝1,2,3；j＝1,2,3
…
j)的16种小波变换结果；
[0101]
4)将这16种小波变换结果分别替换原始imf分量再分别重建原始信号，得到原始信号的16种重建结果。
[0102]
5)使用这16种原始信号重建结果分别进行姿态解算(姿态解算过程已有成熟算法，见惯性制导相关理论)，得到16种姿态解算结果，将这16种姿态解算结果与测量数据时记录的真实的姿态变化进行对比，得到16个信号的姿态解算误差；
[0103]
6)将最小的姿态误差所对应的小波变换模式βk(βk∈{'bior1.1','bior1.3','bior1.5','bior2.2','bior2.4','bior2.6','bior2.8','bior3.1','bior3.3','bior3.5','bior3.7','bior3.9','bior4.4','bior5.5','bior6.8','null'},k＝1,2,3
…
16)记录下来，同时用该小波对imf分量的处理结果替换原始的imf分量；
[0104]
7)重复步骤2)—6)继续对下一个imf分量进行操作。
[0105]
经过模型驱动式信号重建之后，对于一组双源三轴信号本发明共分解出30个imf分量(30＝2
×3×
5，双源三轴信号，每轴分解出5个imf分量)，每个imf分量对应一种最优的小波变换模式βk(βk∈{'bior1.1','bior1.3','bior1.5','bior2.2','bior2.4','bior2.6','bior2.8','bior3.1','bior3.3','bior3.5','bior3.7','bior3.9','bior4.4','bior5.5','bior6.8','null'},k＝1,2,3
…
16)。因此，这30个imf分量与对应的30个最优小波变换模式构成了一组“输入输出匹配关系”：其中经过模型驱动式信号重建，本发明共得到了7000组这样的“输入输出匹配关系”。
[0106]
(2)数据驱动式信号重建
[0107]
模型驱动式信号重建的目的是：获取每个imf分量最理想的小波变换类型。而数据驱动式信号重建则是训练深度学习模型(这里本发明选择一维卷积神经网络1dcnn)学习如何为不同imf分量选择最合适的小波变换类型。此前得到的7000组“输入输出匹配关系”将作为训练集对本发明设计的神经网络模型(深度学习模型)进行训练。
[0108]
为了实现对不同imf分量的理想小波模式的精准预测，进而更好地重建原始信号，本发明设计了“多源信号循环重建网络(recurrent reconstruction network,rrn)”，如图3所示，双源三轴信号被分解成了30个imf分量3所示，双源三轴信号被分解成了30个imf分量对每个imf分量(1
×
n，n为信号长度)操作如下：
[0109]
1)对于第一个信息源a的第一轴信号a1所分解出的第一个imf分量将其与原始信号x(6
×
n)并联后，再并联一个等长的零向量此时可以形成一个8
×
n的输入矩阵。并联等长零向量的作用是：保证最终可以生成数据结构是8
×
n的矩阵，以便输入后续的网络结构；
[0110]
2)将该8
×
n的矩阵输入一个一维卷积神经网络模型(1dcnn)，模型会输出一个1
×
16的小波选择向量该向量表示模型根据输入的imf分量以及原始数据x所判断出的16种小波变换模式的重要性大小；
[0111]
3)将小波选择向量输入softmax函数后，与本发明预先得到的该imf分量最优小波变换模式的ont-hot编码计算交叉熵损失，记为
[0112]
4)将小波选择向量输入第一小波编码网络(一个单层的神经网络wa)，即将小波选择向量乘以矩阵wa(16
×
n)，得到当前回合的小波编码将上一回合的小波编码乘以一个可学习的权重ω1后与当前回合的小波编码相加，得到当前回合之前
的联合小波编码向量
[0113][0114]
值得注意的是：由于是一个稀疏向量，因此矩阵wa每一行会被训练为不同小波变换模式对应的编码向量。因此联合小波编码向量的意义是：对此回合及之前所有的imf分量的小波选择结果以编码的形式进行汇总；
[0115]
5)将联合小波编码向量与下一个imf分量以及原始信号x(6
×
n)并联，生成一个新的8
×
n的输入矩阵，再次输入1dcnn模型，得到新的小波选择向量
[0116]
6)将小波选择向量输入softmax函数，与该imf分量最优小波变换模式的ont-hot编码计算交叉熵损失，记为
[0117]
7)将小波选择向量输入第一小波编码网络(一个单层的神经网络wa)，即将小波选择向量乘以矩阵wa(16
×
n)，得到当前回合的小波编码将上一回合的联合小波编码向量乘以一个可学习的权重ω2后与当前回合的小波编码相加，得到当前回合之前的联合小波编码向量将当前回合的联合小波编码与下一回合的imf分量以及原始信号x并联，构成下一回合的输入；
[0118]
8)重复上述过程，直到信息源a的最后一个imf分量
[0119]
9)设信息源a的最后一个imf分量对应的小波选择向量为将小波选择向量输入softmax函数，与该imf分量最优小波变换模式的one-hot编码计算交叉熵损失，记为：
[0120]
10)将小波选择向量输入第二小波编码网络wg(一个单层的神经网络wg)，即将小波选择向量乘以矩阵wg(16
×
n)，得到当前回合的小波编码将上一回合的联合小波编码向量乘以一个可学习的权重ω
15
后与当前回合的小波编码相加，得到当前回合之前的联合小波编码向量
[0121]
11)将联合小波编码向量与信息源g的第一个imf分量以及原始信号x并联，形成一个8
×
n的输入矩阵，将其输入1dcnn模型，得到新的小波选择向量
[0122]
12)将小波选择向量输入softmax函数，与该imf分量最优小波变换模型的one-hot编码计算交叉熵损失，记为
[0123]
13)将小波选择向量为输入小波编码网络wg，即将小波选择向量乘以矩阵
wg(16
×
n)，得到当前回合的小波编码将上一回合的联合小波编码向量乘以一个可学习的权重ω
16
后与当前回合的小波编码相加，得到当前回合之前的联合小波编码向量
[0124]
14)继续将小波编码向量与信息源g的第二个imf分量以及原始信号x并联，形成一个8
×
n的输入矩阵，将其输入1dcnn模型，不断重复上述过程，直到对所有imf分量完成操作；
[0125]
15)最终，对于每个imf分量都可以得到一个对应的小波选择向量以及一个对应的损失项将所有的30个损失项相加，即可得到该循环重建网络的小波选择总损失loss
classification
：
[0126][0127]
16)将该损失进行反向传播(现有技术)，即可实现对循环重建网络中的三个子网络(一维卷积神经网络1dcnn、小波编码网络wa、小波编码网络wg)的训练。
[0128]
为了使得两个小波编码网络wa与wg可以更好地在训练中对16种小波变换模式进行编码，本发明需要对其进行正则化。“更好的编码”主要应满足两点要求：
[0129]
(1)不同小波变换模式的编码应尽可能多地反映不同模式之间的差异性，因此不同编码向量之间应尽可能正交；
[0130]
(2)每个编码向量都应尽可能多地储存信息；
[0131]
下面以wa为例对正则项的设计进行说明。为了使训练后的小波编码网络(小波编码矩阵)wa能够尽可能满足上述要求，本发明借助矩阵的α阶renyi信息熵来衡量wa中的信息量。由于小波编码矩阵的每一行即表示一种小波变换的编码向量，因此用与分别表示两个矩阵的第k行，即第k种小波变换模式的编码向量，k＝1，2，3，
…
，16。由此得到矩阵wa的α阶renyi信息熵表达式：
[0132][0133][0134]
其中，表示矩阵的第i个特征值，表示矩阵的迹。在类似问题下，一般取α＝2。
[0135]
应注意到，越大，矩阵wa所包含的信息量越大，而此时恰好与
的内积越小，且二者的变化正好与本发明对小波编码网络(矩阵)wa的要求吻合。因此，本发明将正则项ra设置为：
[0136][0137]
当ra减小，则小波编码矩阵wa的信息量增加，即每一行小波编码向量所包含的信息量增加，与此同时，矩阵不同行(即不同小波编码向量)与之间内积恰好随之减小，彼此之间更为正交。
[0138]
然而，在实际的训练过程中，正则项ra很难依照本发明的设想减小到理想的程度，因此本发明继续为矩阵添加了辅助正则项
[0139][0140]
可以发现，辅助正则项本质上是矩阵非对角线元素的l1范数。该操作可以使小波编码矩阵不同行之间的内积以更快的速度减小，并能够减小到理想的程度。
[0141]
同理，矩阵wg的信息熵s
α
(wg)表达式如下：
[0142][0143][0144]
信息源g对应的正则项为：
[0145][0146][0147]
综上，循环重建网络的最终损失函数loss
final
表达式如下：
[0148][0149]
其中γh(h＝1，2，3，4)为人为设置的权重，用于控制四个正则项在总的损失函数中的比重。
[0150]
在训练完成后，循环编码网络可以输出不同源原始信号的不同轴子信号经变分模态分解后的每个imf分量对应的最优小波变化模式。对每个imf分量进行最优小波变换之后，即可实现对原始信号的重建。重建之后的惯性传感器信号可以实现更为精确的运动轨迹还原，如图4所示。
[0151]
上一部分的多源信号循环重建网络的最终目的是通过数据增强的方式获取到精准的运动轨迹。尽可能获取精准运动轨迹的原因在于：在手势动作的语义信息识别任务中，核心且直观的信息是不同手势动作所对应的轨迹，不同的动作正是由不同轨迹的几何形态所定义的，而非由惯性传感器所测得的原始加速度、角速度波形所定义。因此，为了达到高
精度的动作语义信息识别，仅仅向分类器中输入加速度、角速度数据是远远不够的，将运动的轨迹信息与传感器测得的加速度、角速度数据相结合才是未来惯性传感器动作语义识别与人机交互控制的标准范式。
[0152]
因此，本发明通过设计多源信号循环重建网络实现数据增强，并基于增强之后的数据借助惯性制导理论实现了三维运动轨迹的还原。本发明将三维运动轨迹s与六轴惯性传感器信号x并联，构成了9轴的时间序列信号即在每个时刻t(t＝1，2，3，
…
，t)，都有一个1
×
9的特征向量f
t
，其中包含了3维加速度、3维角速度以及3维轨迹坐标。
[0153]
为了识别信号中所包含的语义信息，本发明使用了transformer结构作为分类器，然而，当信号输入transformer结构时，transformer结构会将信号中每个时刻的特征向量f
t
看成是彼此独立的，这样会浪费掉特征之间的时间相关性信息。为此，本发明设计了一种四元数位置编码，并将其与transformer结构进行融合，形成了quaterformer模型，显著提升了transformer结构对于惯性传感器数据的语义信息识别能力。
[0154]
其中，步骤105-步骤108具体包括：
[0155]
传统的位置编码只能为特征提供一维位置编码，然而，这种位置编码具有明显的缺陷，首先，对于二维乃至更高维特征，一维位置编码显然无法为其提供足够的位置信息，事实上，用一维位置编码对高维数据特征进行编码会引入明显的错误，如图5所示。对于输入数据，a
11
与a
12
，a
11
与a
21
的空间距离均为1，然而他们获得的位置编码分别是“1”，“2”和“5”，在此编码下，a
11
与a
12
，a
11
与a
21
的空间距离分别是1和4，这与实际情况显然不符。
[0156]
传统位置编码的第二个主要问题是，它只能关注特征之间的一种特定类别的关系，还是以图5所展示的一维光栅位置编码为例进行说明，该编码方式仅能关注输入数据在位置上的近邻关系(仅在这种近邻关系上都存在大量的错误编码，如前文所述)，若输入的特征之间除了位置关系外，还存在其他类别的关系，例如时间关系、密度关系、能量关系、稀疏性关系，则该编码方式仅能对其中的一种进行编码，如图6所示。这是该编码方式的第二个主要缺陷。
[0157]
为了解决该问题，本发明提出了四元数位置编码。一个四元数既可以表示三维空间中的一个姿态，也可以表示三维空间中的一种姿态旋转方式。用四元数为特征编码，本质上是赋予特征一个空间姿态，位置接近的特征则姿态接近。三维空间中的姿态信息可以容纳多个类别的特征关系，且每种特征之间的相对关系都可以在四元数编码过程中被保持。
[0158]
本发明已知的编码信息有两大类：一维时间信息t(t＝1，2，3，
…
，n)，三维空间信息[s
x
，sy，sz]。它们正好可以构成一组四元数，将其归一化后本发明得到了由已知编码信息生成的“单位编码四元数”q＝[q0，q1，q2，q3]，它将以四元数乘法的方式作用于需要被编码的特征向量f
t
。
[0159]
需要被编码的特征向量f
t
主要由3种信号构成，加速度信号f
t
[1：3]＝[a
x
，ay，az]，角速度信号f
t
[4：6]＝[g
x
，gy，gz]；在每个信号向量前填充“1”以构成3个特征四元数。将“单位编码四元数”以“四元数乘法”的方式分别作用于3个特征四元数，即可得到3个“特征编码四元数”，将其拼接之后即可得到最终的1
×
12的特征编码向量。
[0160]
然而，四元数的乘法计算规则是比较复杂的，设两个四元数分别为q＝[q0，q1，q2，q3]，f＝[f0，f1，f2，f3]，将q以四元数乘法
☆
作用于f，其结果可表示为：
[0161][0162]
可以发现，该计算过程较为复杂，且当编码信息存在偏差时，该编码方式很难自适应地做出调整，因此，本发明在两个四元数之间设置一个可学习的权重矩阵w，并以矩阵相乘的方式代替四元数乘法，即q
☆
f＝q
×w×
f，其中
“☆”
表示四元数乘法，
“×”
表示矩阵乘法，如图7所示。
[0163]
综上，对于一组包含特定语义信息的惯性传感器原始6轴数据具体的识别流程可以总结如下：
[0164]
(1)通过第一部分(多源信号循环重建网络)对惯性传感器原始6轴数据x进行数据增强，并基于增强后的惯性传感器数据进行运动轨迹还原(现有技术)，得到的3维轨迹信息记为s；
[0165]
(2)将解算出的3维运动轨迹s与增强后的惯性传感器数据进行合并，对合并得到的9
×
t的信号进行转置，得到t
×
9的信号
[0166]
(3)将信号输入本发明提出的quaterformer，具体计算过程如下：
[0167]
1)构建编码信息：对于每一时刻的特征向量f
t
，将其中包含的位置信息[s
x
，sy，sz]取出与时间信息t合并，构成编码四元数
[0168]
2)对编码四元数进行归一化，得到单位编码四元数q＝[q0，q1，q2，q3]；
[0169]
3)将特征向量f
t
中的加速度分量f
t
[1：3]＝[a
x
，ay，az]，角速度分量f
t
[4：6]＝[g
x
，gy，gz]，以及轨迹分量f
t
[7：9]＝[s
x
，sy，sz]分别取出，在每个向量前填充“1”以构成3个特征四元数：qa＝[1，a
x
，ay，az]，qg＝[1，g
x
，gy，gz]，qs＝[1，s
x
，sy，sz]；
[0170]
4)为编码四元数q分别乘以三个可学习的矩阵wa，wg，ws，将得到的三个四元数分别乘以对应的特征四元数qa，qg，qs，得到3个特征编码四元数
[0171]
5)将3个特征编码四元数进行拼接，得到t时刻最终的特征编码向量
[0172]
6)将t个时刻的特征向量分别按照1)—5)所述操作进行计算，将所得结果输入传统的transformer中，完成最终的语义信息识别。
[0173]
本发明的主要优点如下：
[0174]
1、提出了一种惯性传感器研究领域的通用研究范式，即：
[0175]
数据增强
→
轨迹还原
→
信号波形与轨迹形态特征融合
→
下游任务
[0176]
而传统的研究方案则是：
[0177]
波形信号特征
→
下游任务
[0178]
该方案引入了对轨迹形态信息的关注，而轨迹信息往往是下游任务的核心，例如在动作语义信息识别的下游任务中，语义信息的差别主要来自于不同动作轨迹形态的差
别。因此该研究范式具有着一定的推广价值。
[0179]
2、设计了多源信号循环重建网络。该模型可以显著增强多源时间序列信号在特定任务中的性能表现，在除惯性传感器语义信息识别之外的其他任务中也具有很高的价值；
[0180]
3、设计了四元数位置编码，并将其与transformer结构进行融合，形成了quaterformer模型，显著提升了transformer模型对于惯性传感器数据的特征提取能力；该四元数位置编码打破了深度学习研究领域中现有位置编码方式仅针对单一类型、低维特征关系起效的劣势，在很多任务中都具有广泛的应用价值。
[0181]
本发明还提供了一种基于循环重建网络的惯性传感器语义信息识别系统，包括：
[0182]
网络构建模块，用于构建多源信号循环重建网络；所述多源信号循环重建网络包括：卷积神经网络模型、第一小波编码网络模型和第二小波编码网络模型；
[0183]
信号重新模块，用于通过训练好的多源信号循环重建网络对惯性传感器信号进行重建；
[0184]
轨迹还原模块，用于基于重建后的惯性传感器信号还原运动轨迹；
[0185]
第一合并模块，用于将还原后的运动轨迹与重建后的惯性传感器信号合并，得到多个时刻的特征向量；
[0186]
第二合并模块，用于将各时刻的特征向量中的位置信息与时间信息合并，得到编码四元数；
[0187]
归一化处理模块，用于对所述编码四元数进行归一化处理，得到单位编码四元数；
[0188]
特征四元数构建模块，用于基于各时刻的特征向量中的加速度分量、角速度分量和轨迹分量，构建多个特征四元数；
[0189]
特征编码向量确定模块，用于基于所述单位编码四元数和所述特征四元数确定特征编码向量；
[0190]
语义信息识别模块，用于将特征编码向量输入至transformer中进行语义信息识别。
[0191]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0192]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。