一种基于残差网络的带不确定性评估的行人航迹推算方法与流程

1.本发明涉及室内定位技术领域，尤其涉及一种基于残差网络的带不确定性评估的行人航迹推算方法。


背景技术：

2.在手机、手表，手环等移动智能设备逐渐普及的今天，可以预见室内定位技术具备良好的应用前景。
3.目前国内外已经有大量关于定位技术的研究，包含卫星导航定位技术(如gps等)，基于射频信号的定位技术(如移动蜂窝网络，wifi，蓝牙，rfid等)，以及近年来较为热门的基于自包含传感器的定位技术。卫星导航定位的室内信号强度极大程度的受到墙体的影响，基于射频信号的定位则大多需要部署特定设备，大型室内场所内的铺设和维护成本过高。因此抗干扰能力较强、数据更新较快且成本低廉的pdr技术受到广泛关注。
4.pdr主要可以分为传统pdr方法和基于深度学习的pdr方法两种。自1997年judd博士首先提出pdr(pedestrian dead reckoning,行人航迹推算)方法之后，由imu采集的加速度、角速度和磁力等数据精确推算出人员运动的步长和方向始终是传统pdr的主要难点。随着近年深度学习方法的发展，基于深度学习的pdr方法逐渐成为主流。chen等人设计了一个lstm网络，分别训练了手持、裤兜和背包三个姿态下的模型，但是该方法在混合姿态场景下的表现都不甚理想，精度也无法满足商业化要求，并且缺少一种对行人航迹不确定度的估计手段。
5.由此可知，现有的方法存在无法在混合姿态场景下无法工作或是表现较差的技术问题。


技术实现要素：

6.本发明提出一种基于残差网络的带不确定性评估的pdr方法，用于解决或者至少部分解决现有的方法存在的无法在混合姿态场景下无法工作或是表现较差的技术问题。
7.为了解决上述技术问题，本发明提供了一种基于残差网络的带不确定性评估的行人航迹推算方法，包括：
8.s1：采集不同姿态下的传感器数据，不同姿态包括手持、裤兜和摆臂三种模式；对采集的传感器数据进行预处理，并采用滑动窗口机制将预处理后的传感器数据作为训练数据；对卷积神经网络进行训练，得到三种模式对应的姿态分类模型，用于识别对应的姿态；
9.s2：采集不同姿态下的传感器数据，同时使用ilocator激光雷达采集的数据作为真值，将不同姿态下的传感器数据和真值作为训练数据；对残差网络resnet-18的部分网络层进行覆写，作为混合姿态下的pdr模型，将训练数据输入混合姿态下的pdr模型，并引入假定密度滤波方法及蒙特卡洛采样法以输出不确定度，并根据不确定度数对混合姿态下的pdr模型进行训练，得到训练好的混合姿态下的pdr模型，用于识别混合姿态。
10.在一种实施方式中，步骤s1中对采集的传感器数据进行预处理包括卡尔曼滤波和
转轴处理。
11.在一种实施方式中，步骤s1卡尔曼滤波包括时间更新部分和状态更新部分，时间更新部分包括：
12.系统前后状态之间的转化更新：
13.x
k|k-1
＝ax
k-1|k-1
bukꢀꢀꢀꢀ
(1)
14.其中，x
k-1|k-1
表示k-1时刻在滤波后的状态估计值，x
k|k-1
表示k时刻的系统状态值，a和b为体系参数，uk为k时刻对系统的控制量，公式(1)表示用k-1时刻得到的最优值来估计下一时刻的系统状态；
15.对系统的误差协方差进行预测与更新：
16.p
k|k-1
＝ap
k-1|k-1at
q
ꢀꢀꢀ
(2)
17.其中，p
k-1|k-1
表示k-1时系统状态误差协方差矩阵，是上一时刻x
k-1|k-1
的误差协方差，p
k|k-1
则表示k时刻的状态误差，a表示状态转移矩阵，q表示过程噪声，用以表示状态转换矩阵与实际过程之间产生的误差，公式(2)表示通过对上一时刻误差协方差的处理加上期间过程噪声的影响来完成该时刻误差协方差的更新；
18.状态更新部分包括公式(3)：
[0019][0020]
其中，kk称为卡尔曼增益，表示时刻k时预测值和测量值之间的权重关系，r为观测误差协方差；h为观测矩阵；
[0021]
系统状态的更新公式：
[0022]
xk＝x
k|k-1
kk(m
k-hx
k|k-1
)
ꢀꢀꢀ
(4)
[0023]
其中，mk为观测变量，xk为k时刻系统观测状态；
[0024]
对xk的协方差进行更新：
[0025]
p
k|k
＝(i-kkh)p
k|k-1
ꢀꢀꢀꢀ
(5)
[0026]
其中i为单位矩阵，p
k|k
为k时刻系统状态误差协方差矩阵，最终由公式(2)和(5)得到p
k-1|k-1-》p
k|k-1-》p
k|k
的递推式。
[0027]
在一种实施方式中，转轴处理包括：
[0028]
获取采集的传感器数据，为一串标准四元数组，分别对应四元数的w、x、y、z，其中，
[0029]
w＝cos(a/2)
[0030]
x＝sin(a/2)cos(β
x
)
[0031]
y＝sin(a/2)cos(βy)
[0032]
z＝sin(a/2)cos(βz)
[0033]
w表示旋转角度，x，y，z表示空间坐标系中的三条旋转轴；
[0034]
将手机坐标系下的加速度和陀螺仪转换到全球坐标系中：
[0035]
[r
x r
y rz]＝r(q)[a
x a
y az]
[0036]
旋转矩阵r如下所示：
[0037][0038]
其中，[a
x a
y az]为手机坐标系下的三轴加速度，[r
x r
y rz]为全球坐标系下的三轴加速度。
[0039]
在一种实施方式中，s2中对残差网络resnet-18的部分网络层进行覆写，包括覆写resnet-18中的卷积层conv1d、归一化层batchnorm1d、激活层relu,线性变换层linear,sequential,dropout以及最大池化层maxpool1d。
[0040]
在一种实施方式中，步骤s2中混合姿态下的pdr模型中，
[0041]
数据的传输为：
[0042]
y＝f(x；θ)＝f
(l)
(f
(l-1)
（
…f(1)
（x；v
(1)
)))
[0043]
其中，x为网络输入，v
(1)
为数据噪声，所有指数部分都指代所在网络层数；
[0044]
不确定度包括数据不确定度和模型不确定度，公式为：
[0045][0046][0047]
σ
data
表示数据不确定度，σ
model
表示模型不确定度，其中，计算均值和方差所需的样本来源于dropout层采用蒙特卡洛采样法采用后的网络输出。
[0048]
本技术实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
[0049]
本发明提供的一种基于残差网络的带不确定性评估的行人航迹推算方法，通过引入adf(assumed density filtering，假定密度滤波)方法和蒙特卡洛采样对网络输出的不确定度进行评估，在具备高精度pdr输出的同时，提供了判断pdr轨迹段置信程度的方法，训练得到了三种模式对应的姿态分类模型以及混合姿态下的pdr模型，配合实时姿态分类器应对混合姿态场景，三种模式对应的姿态分类模型可以用于单独姿态的行人航迹推算(pdr)。混合姿态下的pdr模型，通过覆写resnet1d-18中的部分网络层以引入adf方法，使网络输出预测值的同时输出不确定性方差，提高混合姿态场景下姿态识别以及pdr的效果。
[0050]
本发明引入了贝叶斯置信网络和蒙特卡洛采样对网络输出的不确定性进行评估，提供了判断pdr轨迹段的置信程度的方法，具备了较高的可用性。
附图说明
[0051]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0052]
图1为本发明实施例中基于残差网络的带不确定性评估的pdr方法的整体工作流程；
[0053]
图2为本发明实施例中实时姿态检测方法的工作流程图；
[0054]
图3为本发明实施例中行人速度和不确定性计算的工作流程。
具体实施方式
[0055]
本发明的主要目的在于提出并实现了一种基于残差网络的带不确定性评估的pdr方法，通过引入adf(assumed density filtering，假定密度滤波)方法和蒙特卡洛采样对网络输出的不确定度进行评估，在具备高精度pdr输出的同时，提供了判断pdr轨迹段置信程度的方法。该方法能够对实时姿态进行分类，分为手持、裤兜和摆臂三种姿态，同时训练了三种单独姿态分类模型以及混合姿态下的pdr模型，配合实时姿态分类器应对混合姿态场景。在构建混合姿态下的pdr模型时，覆写了resnet1d-18中的部分网络层以引入adf方法，使网络输出预测值的同时输出不确定性方差，提供了一种判断网络输出置信度的方法。
[0056]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
本发明实施例提供了一种基于残差网络的带不确定性评估的行人航迹推算方法，包括：
[0058]
s1：采集不同姿态下的传感器数据，不同姿态包括手持、裤兜和摆臂三种模式；对采集的传感器数据进行预处理，并采用滑动窗口机制将预处理后的传感器数据作为训练数据；对卷积神经网络进行训练，得到三种模式对应的姿态分类模型，用于识别对应的姿态；
[0059]
s2：采集不同姿态下的传感器数据，同时使用ilocator激光雷达采集的数据作为真值，将不同姿态下的传感器数据和真值作为训练数据；对残差网络resnet-18的部分网络层进行覆写，作为混合姿态下的pdr模型，将训练数据输入混合姿态下的pdr模型，并引入假定密度滤波方法及蒙特卡洛采样法以输出不确定度，并根据不确定度数对混合姿态下的pdr模型进行训练，得到训练好的混合姿态下的pdr模型，用于识别混合姿态。
[0060]
具体来说，不同姿态是根据人员持手机的动作特性进行划分的。monte-carlo采样法是一种近似推断的方法，就是通过大量采样，将概率密度函数的求解问题转换为样本的分布问题。
[0061]
具体实施过程中，步骤s1中，可以将手机姿态分为手持(平端，朝向与行进方向相同)，裤兜(竖直贴大腿放于前侧裤兜)，摆臂三类。利用智能手机内置加速度传感器、陀螺仪及游戏旋转矩阵以固定频率收集数据；然后利用卡尔曼滤波对收集到的数据做降噪处理，另外，为降低个体持握手机的差异性带来的影响，需要对降噪后的数据做进一步的转轴处理，转轴到同一坐标系下。
[0062]
步骤s2中，首先利用智能手机内置加速度传感器、陀螺仪及游戏旋转矩阵以固定频率收集数据，同时使用ilocator激光雷达标定速度真值共同作为训练数据；本发明使用的是resnet1d-18的网络结构，同时在网络中引入了adf及蒙特卡洛采样法以输出不确定度。深度学习模型中的不确定性包括数据不确定性和模型不确定性两种，前者是观测数据中的噪声产生的，后者是由于模型参数的不确定性、模型结构的不确定性产生的。
[0063]
在一种实施方式中，步骤s1中对采集的传感器数据进行预处理包括卡尔曼滤波和转轴处理。
[0064]
在一种实施方式中，步骤s1卡尔曼滤波包括时间更新部分和状态更新部分，时间更新部分包括：
[0065]
系统前后状态之间的转化更新：
[0066]
x
k|k-1
＝ax
k-1|k-1
bukꢀꢀꢀ
(1)
[0067]
其中，x
k-1|k-1
表示k-1时刻在滤波后的状态估计值，x
k|k-1
表示k时刻的系统状态值，a和b为体系参数，uk为k时刻对系统的控制量，公式(1)表示用k-1时刻得到的最优值来估计下一时刻的系统状态；
[0068]
对系统的误差协方差进行预测与更新：
[0069]
p
k|k-1
＝ap
k-1|k-1at
q
ꢀꢀꢀ
(2)
[0070]
其中，p
k-1|k-1
表示k-1时系统状态误差协方差矩阵，是上一时刻x
k-1|k-1
的误差协方差，p
k|k-1
则表示k时刻的状态误差，a表示状态转移矩阵，q表示过程噪声，用以表示状态转换矩阵与实际过程之间产生的误差，公式(2)表示通过对上一时刻误差协方差的处理加上期间过程噪声的影响来完成该时刻误差协方差的更新；
[0071]
状态更新部分包括公式(3)：
[0072][0073]
其中，kk称为卡尔曼增益，表示时刻k时预测值和测量值之间的权重关系，r为观测误差协方差；h为观测矩阵；
[0074]
系统状态的更新公式：
[0075]
xk＝x
k|k-1
kk(m
k-hx
k|k-1
)
ꢀꢀꢀꢀ
(4)
[0076]
其中，mk为观测变量，xk为k时刻系统观测状态；
[0077]
对xk的协方差进行更新：
[0078]
p
k|k
＝(i-kkh)p
k|k-1
ꢀꢀꢀꢀꢀ
(5)
[0079]
其中i为单位矩阵，p
k|k
为k时刻系统状态误差协方差矩阵，最终由公式(2)和(5)得到p
k-1|k-1-》p
k|k-1-》p
k|k
的递推式。
[0080]
具体来说，卡尔曼滤波处理含有噪声的输入，并尽最大程度求取预测状态与实际状态之间的差别，分析并不断减小其差距。这是一套以状态空间方法和射影理论为基础推导出来的最优递推滤波算法。时间更新部分包括：对于系统前后状态之间的转化更新(公式1)、对系统的误差协方差进行预测与更新(公式2)。状态更新部分包括：公式3、系统状态的更新(公式4)以及协方差的更新(公式5)。
[0081]
公式(1)表示用k-1时刻得到的最优值来估计下一时刻的系统状态，a和b的类型取决于系统是单模型系统还是多模型系统。由于卡尔曼滤波的目的是要不断减小误差，因此我们可以修正误差的协方差这一对误差的描述来完成。所以还要对系统的误差协方差进行预测与更新，即公式(2)，表示的就是通过对上一时刻误差协方差的处理加上期间过程噪声的影响来完成该时刻误差协方差的更新。通过公式(3)可以得到卡尔曼增益，有了卡尔曼增益，我们就可以对预测和观测结果取加权平均值，用来更新系统状态以及获得最小误差协方差，即系统状态的更新公式(公式4)，如果要使得预测结果更加准确，则需要m
k-hx
k|k-1
尽可能小。
[0082]
接下来采用滑动窗口机制将长数据切割为固定的窗口大小并设置真值label，滑
动窗口大小根据采样频率设置，窗口重叠率设置为50％。估计k时刻的状态需要考虑到观测与估计误差之间哪个影响最大：若观测误差大，则k时刻的预测值约等于该时刻的估计值；反之更倾向于观察的数据。系统状态更新后，最后还需要对xk的协方差进行更新(公式5)。
[0083]
在一种实施方式中，转轴处理包括：
[0084]
获取采集的传感器数据，为一串标准四元数组，分别对应四元数的w、x、y、z，其中，
[0085]
w＝cos(a/2)
[0086]
x＝sin(a/2)cos(β
x
)
[0087]
y＝sin(a/2)cos(βy)
[0088]
z＝sin(a/2)cos(βz)
[0089]
w表示旋转角度，x，y，z表示空间坐标系中的三条旋转轴；
[0090]
将手机坐标系下的加速度和陀螺仪转换到全球坐标系中：
[0091]
[r
x r
y rz]＝r(q)[a
x a
y az]
[0092]
旋转矩阵r如下所示：
[0093][0094]
其中，[a
x a
y az]为手机坐标系下的三轴加速度，[r
x r
y rz]为全球坐标系下的三轴加速度。
[0095]
具体来说，将进行卡尔曼滤波和转轴结束之后的数据，采用滑动窗口机制对其进行切分，滑动窗口大小根据采样频率设置，窗口重叠率设置为50％，同时给每个数据片段赋予真值label，对于姿态分类模型，label为姿态类型，对于混合姿态下的pdr模型，label是(v
x
,vy)，即真实路面环境下的水平、竖直速度。
[0096]
具体实施过程中，基于cnn的姿态分类模型的构造和训练过程包括：
[0097]
将预处理后的真值数据按照8：2的比例划分训练集和测试集，一个长度为t(长度不足则补齐)的窗口数据可以表示成一个矩阵x∈r
t
×k，矩阵x的列标签为[a
xayaz
ω
x
ωyωz]，分别为加速度和角速度的三轴数据。
[0098]
抽取特征时首先要对数据做卷积操作：
[0099]
卷积核filter：wc∈rk×
t
,对句子中h大小窗口内的连续数据做卷积：
[0100]
c＝f(x*wc b)#
[0101]
其中，f(
·
)是一个非线性激活函数，*是卷积操作，b为padding填充量，最终可以得到一个特征向量c，然后对特征向量c中的元素xi做归一化操作：
[0102][0103]
∈为偏移量，目的是提升计算的稳定性。
[0104][0105]
其中，γ为缩放因子，β为平移因子，yi即为batchnorm层输出。batchnorm的目的是减小batch内数据间的绝对差异，突出相对差异，加快训练速度。接下来对特征向量做最大
池化操作：
[0106][0107]
最大池化的目的是为了获取最重要的特征最后将映射到全连接层的三个神经元上，应用一个softmax层映射为输出d(x)∈[0，1]，表示窗口数据x分属三种姿态的可能性。若网络输出的softmax值没有高于0.5的项，则使用混合姿态下的pdr模型。
[0108]
在一种实施方式中，s2中对残差网络resnet-18的部分网络层进行覆写，包括覆写resnet-18中的卷积层conv1d、归一化层batchnorm1d、激活层relu，线性变换层linear，sequential，dropout以及最大池化层maxpool1d。
[0109]
在一种实施方式中，步骤s2中混合姿态下的pdr模型中，
[0110]
数据的传输为：
[0111]
y＝f(x；θ)＝f
(l)
(f
(l-1)
(
…f(1)
(x；v
(1)
)))
[0112]
其中，x为网络输入，y为网络输出，也可视为网络参数θ下的x函数；f
(1)
(x；v
(1)
)表示网络的第一层中将x和数据噪声v
(1)
一同作为网络输入，递归式的含义则表示下一层的输入为上一层的输出；
[0113]
不确定度包括数据不确定度和模型不确定度，公式为：
[0114][0115][0116]
σ
data
表示数据不确定度，σ
model
表示模型不确定度，其中，计算均值和方差所需的样本来源于dropout层采用蒙特卡洛采样法采用后的网络输出。
[0117]
具体来说，不确定的计算相关理论包括：
[0118]
概率逼近：
[0119][0120][0121]
p(z(i)|z
(i-1)
)＝δ[z
(i)-f(i)(z
(i-1)
)]
[0122]
其中，vy为数据噪声，z为带噪声的x版本，z(i)＝(x(i)，v(i))，δ代表dirac delta function。f(x；θ)代表网络参数为θ，输入为x时的网络映射，用概率表示就是输入为x的条件下获得输出，即p(
·
|x)；p(y|x)为输入x的条件下输出y的概率，其带数据噪声的版本为p(y|x；vy)；p(z
(0；l)
)表示从0到l层下z(i)的联合概率分布，经条件概率函数计算公式可转化为而条件概率p(z(i)|z
(i-1)
)为输入i-1层的带噪x版本之后，输入下一层z的概率，用dirac delta function表示就是δ[z
(i)-f(i)(z
(i-1)
)]形式，其中f(i)(z
(i-1)
)表示将i-1层的输出z
(i-1)
输入第i层网络得到的第i层输出。
[0123]
在给定的先验假设和噪声正态分布的前提下，即q(z)正态分布的情况下
[0124][0125]
由于正态分布的特性，就将中条件概率的累乘转化为普通概率表达式的累乘减少了运算量。
[0126]
z(i)＝(μ(i)，v(i))＝f(i)(z
(i-1)
)
[0127]
相对于现有技术，本发明的有益效果是：
[0128]
1、传统的pdr方法主要针对单一姿态的行人数据，这些方法无法在混合姿态场景下无法工作或是表现较差，可用性较低。本发明添加了实时姿态分类模块，并针对不同的姿态分别训练了适用的pdr模型，使得混合姿态场景下的应用得到实现。
[0129]
2、本发明通过来源于10个志愿者的2.6gb传感器数据训练了一个resnet1d-18模型，最终精度达到50m误差0.625m。
[0130]
3、本发明引入了贝叶斯置信网络和蒙特卡洛采样对网络输出的不确定性进行评估，提供了判断pdr轨迹段的置信程度的方法，具备了较高的可用性。
[0131]
本发明提出的基于残差网络的带不确定性评估的pdr方法是一个高精度的、适用混合姿态和提供不确定度计算的高可用pdr方案。为了使本发明的目的、技术方案以及有益效果更加清楚明确，下面结合附图和具体示例，对本发明做进一步的详细说明。
[0132]
图1显示了本pdr方案的整体工作流程，本发明的方法包含两个主要模块：1、针对单独姿态识别的姿态分类模型，2、在数据经过实时姿态分类模块后进入带不确定性的pdr模块，最终输出行人速度和不确定度。
[0133]
图2显示了实时姿态检测方法的工作流程，对输入数据进行一系列的预处理之后，训练并使用一个cnn实时姿态分类模型，包含以下步骤：
[0134]
a1：本发明将手机姿态分为手持(平端，朝向与行进方向相同)，裤兜(竖直贴大腿放于前侧裤兜)，摆臂三类。首先利用智能手机内置加速度传感器、陀螺仪及游戏旋转矩阵以固定频率200hz收集数据，安卓api分别为：
[0135]
android sensor.type_accelerometer，
[0136]
android sensor.type_gyroscope_uncalibrated，
[0137]
android sensor.type_game_rotation_vector。
[0138]
a2：利用卡尔曼滤波对收集到的数据做降噪处理，为降低个体持握手机的差异性带来的影响，需要对降噪后的数据做进一步的转轴处理，转轴到同一坐标系下。再将进行卡尔曼滤波和转轴结束之后的数据，采用滑动窗口机制对其进行切分，滑动窗口大小根据采样频率设置，窗口重叠率设置为50％，同时给每个数据片段赋予真值label，对于姿态分类模型，label为姿态类型，对于pdr模型，label是(v
x
,vy)，即真实路面环境下的水平、竖直速度。
[0139]
a3：构建并训练得到三种模式对应的姿态分类模型，用于识别对应的姿态。
[0140]
图3显示了行人速度的输出以及根据蒙特卡洛采样结果得到adf不确定度输出的流程图。
[0141]
本发明使用的是resnet1d-18的网络结构，输入窗口设置为200帧数据，同时通过
覆写resnet-18中的conv1d,batchnorm1d,relu,linear,sequential,dropout以及maxpool1d，在网络中引入了adf及蒙特卡洛采样法以输出不确定度。
[0142]
本发明在网络传播中引入了一个初始的噪声v
(1)
＝10-3
，即网络输入为z＝(x,ν
(1)
)，每经过一个网络层，v(i)自增10-3
以防止下越界；在上文提及的传播过程中，新增了噪声v(i)的传播方法，使网络层中的输入为(x，ν
(1)
)而非x；在dropout层中，增加了形同x的mask矩阵，用于随机挂起一部分的输入。
[0143]
混合姿态下的pdr模型中的不确定性包括数据不确定性和模型不确定性两种，前者是观测数据中的噪声产生的，后者是由于模型参数的不确定性、模型结构的不确定性产生的。
[0144]
本发明通过在dropout层按照0.5的比例随机丢弃部分网络参数，随后收集网络输出z(i)，最后根据z(i)分别计算数据不确定度和模型不确定度。
[0145]
行人速度的获得则不需要经过蒙特卡洛采样，网络输出中，对pdr模型输出的v
x
,vy做积分即可得到行人航迹。
[0146]
以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、补充和修改，并能够在本发明权利要求所保护的范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不偏离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。