一种融合视觉里程计和BP网络的自适应行人航迹推算方法与流程

一种融合视觉里程计和bp网络的自适应行人航迹推算方法
技术领域
1.本发明涉及一种融合视觉里程计和bp网络的自适应行人航迹推算方法，属于机器视觉以及行人导航技术领域。


背景技术：

2.现有行人导航技术主要分为基于惯性导航传感器追踪定位，基于全球定位系统(gnss)定位，基于无线射频信号，基于红外探测定位，基于超声波探测定位，基于激光雷达探测定位，基于wifi组网定位，基于uwb组网定位，以及基于机器视觉追踪定位。其中，基于gnss定位在室外能够有效提高定位精度，但对于室内场景，该技术路线则无法有效应用。基于wifi、uwb定位技术，则需要提前布局定位基站，无法满足紧急响应的定位要求；基于红外、激光雷达、射频、超声波的定位技术，功耗较高，且要求环境相对简单，降低在其探测时所产生的干扰。而基于惯性测量单元(inertial measurement unit，imu)因其连续自主检测，不易受外界环境信息干扰的特性更为广泛的被应用于行人导航领域，但同时因为其误差累计问题，对长时间的轨迹追踪提出了挑战。基于机器视觉的定位技术，符合人类自然观察环境的逻辑，但机器视觉容易受到环境光、烟雾雨雪、图像信息丰富程度、动态场景等影响，造成追踪精度降低。
3.视觉里程计vo一般通过视觉单元或移动机器人的运动所引起的图像的变化，以逐步估计视觉单元的三维运动。但是，一般要求环境照明充足，有足够的纹理来提取明显的特征点，且连续帧之间有足够共视点。视觉惯性里程计vio融合视觉单元和imu数据实现slam的方法，充分利用了传感器数据，可以实现更好的效果。但是在实际应用中，同样视觉和惯性在长时间未闭环的情况下会产生累计误差。
4.在基于imu的行人导航技术中，目前主要有基于步长估计的行人航迹推算(pedestrian dead reckoning，pdr)和基于零速修正的行人导航方法(zupt)。行人航迹推算利用惯性测量单元实时采集加速度和角速度数据，并通过步伐检测修正步间数据，然后通过积分方法推算行人位置的一种方法，优势在于其不需要外部设施的辅助就可以完成自身的定位，这在很多场景下能够得到广泛的应用。缺点在于主要依靠imu自身对步伐检测，进零速时机做判断，通常会因系统噪声造成误判；同时在步长估计的预测中，同样有仅靠imu自积分无法补偿噪声所带来的累计误差。所以本发明提出一种融合视觉里程计(visual odometry，vo)、反向传播神经网络(back propagation neural network，bp nn)和行人航迹推算即联合视觉的行人航迹推算里程计(visual pdr odometry，vpo)，并基于此进行扩展卡尔曼滤波(extended kalman filter,ekf)的一种融合视觉里程信息的pdr方法。在胸口装备惯性传感器和rgb-d深度相机采集行进数据，输入vo和pdr模块得出各自的运动位姿。将有效的步长、航向角、加速度幅值、角速度平均值及步频作为bp神经网络的训练数据集进行网络训练。当vo失效时，bp预测结果可作为备选观测值，与pdr数据导入扩展卡尔曼滤波器中进行数据融合，从而提高行人导航的轨迹追踪精度，以及导航鲁棒性。


技术实现要素：

5.本发明的目的在于克服纯imu行人导航系统自身误差累计问题，提高行人导航的轨迹追踪精度以及导航鲁棒性，提出了一种融合视觉里程计和bp网络的自适应行人航迹推算方法，该方法将在线学习反向传播神经网络的卡尔曼滤波相结合，以rgb-d相机的vo测量数据和imu数据作为样本集训练bp神经网络，在vo失效时充当其替身实现多源数据融合，从而使得vpo提高了不同使用者和使用环境下航迹追踪的鲁棒性和精度。
6.为了达到上述目的，本发明采取如下技术方案：
7.所述融合视觉里程计和bp网络的自适应行人航迹推算方法依托的行人导航系统包括imu模块、vo模块、pdr模块、bp神经网络、序列对齐单元及扩展卡尔曼滤波器；
8.其中，imu模块包含加速度传感器、角速度传感器，vo模块包含视觉单元和视觉里程计单元，pdr模块包括数据处理单元、步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元；视觉单元，包括但不限于rgb-d相机、单目相机以及双目视觉；
9.所述行人导航系统中各组成部件的连接关系如下：
10.imu模块中的加速度传感器、温度、角速度传感器和pdr模块相连；pdr模块中数据处理单元与步伐检测单元、航向角预测单元相连，步伐检测单元与航向角预测单元、步长预测单元相连；pdr模块中航向角预测单元、步长预测单元、轨迹更新单元和序列对齐单元相连；vo模块中视觉单元和视觉里程计单元相连；序列对齐单元和bp神经网络相连；bp神经网络和vo模块相连后与扩展卡尔曼滤波器相连；
11.所述融合视觉里程计的行人导航系统中各组成部件的功能如下：
12.imu模块获得三轴加速度值和方向角感知行人在行进过程中的加速度和方向角，即获取步频相关数据；vo模块负责采集图像信息供前端进行特征匹配处理，视觉单元在不同时刻获取图像，并对其进行图像预处理后，提取其特征；再对两帧图像的特征点进行匹配筛选，利用共视关系计算得出采集设备的位姿转换关系，从而得到了基于观察的步长和航向角；pdr模块利用imu模块获取的步频相关数据对行走路线进行相对定位，从而达到对行人进行定位跟踪的目的；bp神经网络接收来自pdr模块处理后的加速度、角速度和步频相关数据，同时接收相对应vo模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新；序列对齐单元将imu模块和视觉单元的输出数据进行时刻对齐，并将对齐的数据输入bp神经网络；扩展卡尔曼滤波器耦合来自vo、pdr的步长、航向角数据和bp神经网络的数据，基本思想则是将pdr所得到的步长和航向角作为估测量，将vo模块所得的步长和航向角为观测量，通过协方差矩阵调整两者的权重值从而获得新的输出值；另一方面，通过计算估测值和观测值之间的差值，推算imu模块自身存在的噪声和偏置，作为系统补偿，以供视觉失效时更精准的估计步长；
13.所述融合视觉里程计和bp网络的自适应行人航迹推算方法，包括如下步骤：
14.步骤1：vo模块的视觉单元采集图像，然后计算图像中每个关键帧所对应的行人位姿，得到最小化重投影误差值；同时，pdr模块对imu模块采集的加速度和角速度数据进行处理，通过步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元计算每一步的更新位置信息；
15.其中，vo模块采集图像并计算行人位姿，具体包括如下子步骤：
16.步骤1.1、视觉单元采集行人所经场所的连续图像，并记录图像中每个关键帧的采
集时间点，并提取特征得到位姿信息并进行优化，得到最小化重投影误差值，具体如下：
17.步骤1.1.1、根据orb特征点及深度数据找出对应的三维空间点，并根据orb特征点像素坐标和空间点三维坐标获得位姿信息；
18.步骤1.1.2、vo模块的视觉里程计单元通过构建最小二乘问题，优化视觉单元的位姿信息，使其误差最小，并记录该最小误差为最小化重投影误差值；
19.步骤1.2：vo模块的视觉里程计单元将最小化重投影误差值进行比较判断，使视觉单元的当前位置更加精确，输出误差值最小的视觉单元位姿作为当前帧图像的输出航向及同时刻估计的步长；
20.且连续多帧图像的输出航向及同时刻估计的步长组成了位姿数据序列；
21.其中，pdr模块对imu模块采集的加速度和角速度数据进行处理，计算每一步的更新位置信息，具体为：pdr模块检测到行人移动后，进行如下子步骤：
22.步骤1a:pdr模块中的数据预处理单元处理imu模块输出每个采集时间点对应的传感器测量值，进行滤波和平滑处理，输出步长及航向预处理后数据，且连续时刻的行人步长和航向组成了步伐数据序列；
23.步骤1b：pdr模块对步骤1a输出的步长及航向预处理后数据分别进行积分得到行人行走的动态步长及航向，再将动态步长及航向代入航位推算公式得到该步的更新位置信息，即该时刻的行人步伐和航向：
24.其中，行人步伐，包括步长、步间加速度幅值、角速度幅值以及步频；
25.步骤2、将pdr模块输出的步伐数据序列和vo模块输出的位姿数据序列对齐；
26.其中，步伐数据序列由步骤1b输出的连续时刻的行人步伐和航向组成；位姿数据序列由步骤1.2输出的连续帧图像的航向及同时刻估计的步长组成；
27.步骤3、将经步骤2对齐后的步伐数据序列和位姿数据序列作为bp神经网络的训练集进行训练；其中，训练数据包括pdr模块处理后的加速度、角速度和步频相关数据，和相对应的vo模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新；
28.同时，利用评价函数来判断网络质量，当该网络质量符合要求后，则pdr模块输出的步频、角速度、角速度来预测步长和航向角；
29.步骤4、比较vo和bp神经网络输出数据的可信度，选择更可靠的数据作为测量值，而pdr模块输出的位置信息、步长、航向角则作为预测值，将两组数据放入ekf中进行数据融合后得到最终的位置信息、步长、航向角估计值；
30.步骤5、步骤4计算得到的最终的步长和航向估计值作为反馈值用于步长估计的校准系数和步伐检测阈值的自适应调节。
31.有益效果
32.本发明提出的一种融合视觉里程计和bp网络的自适应行人航迹推算方法，与现有技术相比，具有如下有益效果：
33.1.所述行人导航依托的行人导航系统中利用滤波器的输出偏置值作为反馈值提供pdr模块的步伐检测单元做自适应阈值调整，能提高步伐检测的成功率和补偿估计；
34.2.所述方法利用步长周期估计单元记忆步长和偏置的关系，从而在视觉失效时，能较为精确的计算步长；
35.3.所述方法采用松耦合融合，状态向量为二维向量，降低了卡尔曼滤波计算量，降
低了可穿戴设备算力负担，具有成本低、能耗低且实时性好的优势；
36.4.所述方法引入bp神经网络，提升行人导航系统的鲁棒性和对不同装备者的自适应性。
附图说明
37.图1是本发明一种融合视觉里程计和bp网络的自适应行人航迹推算方法依托的行人导航系统的组成及连接示意图；
38.图2是本发明一种融合视觉里程计和bp网络的自适应行人航迹推算方法的测试集步长误差对比图；
39.图3是本发明一种融合视觉里程计和bp网络的自适应行人航迹推算方法的测试集航向角误差对比图；
40.图4本发明一种融合视觉里程计和bp网络的自适应行人航迹推算方法的vpo追踪精度实验轨迹图。
具体实施方式
41.下面结合附图和实施例对本发明一种融合视觉里程计和bp网络的自适应行人航迹推算方法做进一步说明和详细描述。
42.实施例1
43.所述融合视觉里程计和bp网络的自适应行人航迹推算方法依托的行人导航系统包括vo模块、pdr模块、bp神经网络及扩展卡尔曼滤波器；具体连接如图1所示；所述融合视觉里程计和bp网络的自适应行人航迹推算方法，包括如下步骤：
44.步骤1：vo模块的视觉单元采集图像，vo模块基于rgb-d图像信息计算每个关键帧所对应行人位姿tk，得到最小化重投影误差值；同时，pdr模块对imu模块高频采集的加速度ai和角速度gi数据进行处理，通过步伐检测、步长估计、航向角估计计算每一步的更新位置信息；此步骤对应有益效果1和2中，pdr模块和vo模块相结合在视觉失效时，能较为精确的计算步长和航向；
45.其中，vo模块采集图像并计算行人位姿，具体包括如下子步骤：
46.步骤1.1、视觉单元采集行人所经场所的连续图像，并记录图像中每个关键帧的采集时间点，并提取特征得到位姿信息并进行优化，得到最小化重投影误差值，具体如下：
47.步骤1.1.1、根据orb特征点及深度数据找出对应的三维空间点，并根据orb特征点像素坐标和空间点三维坐标获得位姿信息；
48.步骤1.1.2、vo模块的视觉里程计单元通过构建最小二乘问题，优化视觉单元的位姿信息，使其误差最小，并记录该最小误差为最小化重投影误差值；
49.步骤1.2：vo模块的视觉里程计单元将最小化重投影误差值进行比较判断，使视觉单元的当前位置更加精确，输出误差值最小的视觉单元位姿作为当前帧图像的输出航向及同时刻估计的步长；
50.且连续多帧图像的输出航向及同时刻估计的步长组成了位姿数据序列；
51.其中，pdr模块对imu模块采集的加速度和角速度数据进行处理，计算每一步的更新位置信息，具体为：pdr模块检测到行人移动后，进行如下子步骤：
52.步骤1a:pdr模块中的数据预处理单元处理imu模块输出每个采集时间点对应的传感器测量值，进行滤波和平滑处理，输出步长及航向预处理后数据，且连续时刻的行人步长和航向组成了步伐数据序列；
53.步骤1b：pdr模块对步骤1a输出的步长及航向预处理后数据分别进行积分得到行人行走的动态步长及航向，再将动态步长及航向代入航位推算公式得到该步的更新位置信息，即该时刻的行人步伐和航向：
54.其中，行人步伐，包括步长、步间加速度幅值、角速度幅值以及步频；
55.步骤2、将pdr模块的步伐数据序列和vo模块输出的位姿数据序列对齐，再计算步间vo模块的行进距离和航向角；
56.其中，步伐数据序列由步骤1b输出的连续时刻的行人步伐和航向组成；位姿数据序列由步骤1.2输出的连续帧图像的航向及同时刻图1估计的步长组成；
57.步骤3、将vo模块数据质量qv评估后的步长、航向角以及对应的pdr模块输出步间加速度幅值a
t
、角速度幅值g
t
、步频f
t
作为bp神经网络的训练集；其中，训练数据包括pdr模块处理后的加速度、角速度和步频相关数据，和相对应的vo模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新；
58.利用评价函数来判断网络质量q
bp
，当该网络质量符合要求后，则根据pdr模块所输出的f
t
，a
t
，g
t
来预测步长和航向角神经网络品质用q
bp
表示，采用平均绝对误差(mean absolute error,mae)来评价拟合程度：
[0059][0060]
其中，为网络输出预测值，y为真实值。
[0061]
步骤4、通过比较vo模块和bp神经网络测试输出数据的可信度，选择更可靠的数据作为测量值而pdr模块输出的位置信息则作为预测值将两组数据放入扩展卡尔曼滤波器中进行数据融合后得到最终的估计值
[0062]
图2为bp神经网络测试集步长误差对比图，图3为bp神经网络测试集航向角误差对比图，对应有益效果3和有益效果4，引入bp神经网络提升行人导航系统的鲁棒性和对不同装备者的自适应性。
[0063]
步骤5、步骤4计算得到的最终的步长和航向估计值作为反馈值用于步长估计的校准系数和步伐检测阈值的自适应调节；图4为vpo追踪精度实验轨迹图，从图4可以看出相较其他方法，所提出vpo方法比较接近真实的运行轨迹。
[0064]
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。