一种融合视觉里程计和BP网络的自适应行人航迹推算方法与流程

技术特征：
1.一种融合视觉里程计和bp网络的自适应行人航迹推算方法，其特征在于：依托的行人导航系统包括imu模块、vo模块、pdr模块、bp神经网络、序列对齐单元及扩展卡尔曼滤波器；其中，imu模块包含加速度传感器、角速度传感器，vo模块包含视觉单元和视觉里程计单元，pdr模块包括数据处理单元、步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元；视觉单元，包括但不限于rgb-d相机、单目相机以及双目视觉；所述行人导航系统中各组成部件的连接关系如下：imu模块中的加速度传感器、温度、角速度传感器和pdr模块相连；pdr模块中数据处理单元与步伐检测单元、航向角预测单元相连，步伐检测单元与航向角预测单元、步长预测单元相连；pdr模块中航向角预测单元、步长预测单元、轨迹更新单元和序列对齐单元相连；vo模块中视觉单元和视觉里程计单元相连；序列对齐单元和bp神经网络相连；bp神经网络和vo模块相连后与扩展卡尔曼滤波器相连；所述自适应行人航迹推算方法，包括如下步骤：步骤1：vo模块的视觉单元采集图像，然后计算图像中每个关键帧所对应的行人位姿，得到最小化重投影误差值；同时，pdr模块对imu模块采集的加速度和角速度数据进行处理，通过步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元计算每一步的更新位置信息；步骤1中，vo模块采集图像并计算行人位姿，具体包括如下子步骤：步骤1.1、视觉单元采集行人所经场所的连续图像，并记录图像中每个关键帧的采集时间点，并提取特征得到位姿信息并进行优化，得到最小化重投影误差值；步骤1.2：vo模块的视觉里程计单元将最小化重投影误差值进行比较判断，使视觉单元的当前位置更加精确，输出误差值最小的视觉单元位姿作为当前帧图像的输出航向及同时刻估计的步长；且连续多帧图像的输出航向及同时刻估计的步长组成了位姿数据序列；步骤1.2中，pdr模块对imu模块采集的加速度和角速度数据进行处理，计算每一步的更新位置信息，具体为：pdr模块检测到行人移动后，进行如下子步骤：步骤1a:pdr模块中的数据预处理单元处理imu模块输出每个采集时间点对应的传感器测量值，进行滤波和平滑处理，输出步长及航向预处理后数据，且连续时刻的行人步长和航向组成了步伐数据序列；步骤1b：pdr模块对步骤1a输出的步长及航向预处理后数据分别进行积分得到行人行走的动态步长及航向，再将动态步长及航向代入航位推算公式得到该步的更新位置信息，即该时刻的行人步伐和航向：步骤2、将pdr模块输出的步伐数据序列和vo模块输出的位姿数据序列对齐；步骤3、将经步骤2对齐后的步伐数据序列和位姿数据序列作为bp神经网络的训练集进行训练；同时，利用评价函数来判断网络质量，当该网络质量符合要求后，则pdr模块输出的步频、角速度、角速度来预测步长和航向角；步骤4、比较vo和bp神经网络输出数据的可信度，选择更可靠的数据作为测量值，而pdr模块输出的位置信息、步长、航向角则作为预测值，将两组数据放入ekf中进行数据融合后得到最终的位置信息、步长、航向角估计值；
步骤5、步骤4计算得到的最终的步长和航向估计值作为反馈值用于步长估计的校准系数和步伐检测阈值的自适应调节。2.根据权利要求1所述的一种融合视觉里程计和bp网络的自适应行人航迹推算方法，其特征在于：步骤1.1，具体如下：步骤1.1.1、根据orb特征点及深度数据找出对应的三维空间点，并根据orb特征点像素坐标和空间点三维坐标获得位姿信息；步骤1.1.2、vo模块的视觉里程计单元通过构建最小二乘问题，优化视觉单元的位姿信息，使其误差最小，并记录该最小误差为最小化重投影误差值。3.根据权利要求2所述的一种融合视觉里程计和bp网络的自适应行人航迹推算方法，其特征在于：步骤1b中，行人步伐，包括步长、步间加速度幅值、角速度幅值以及步频。4.根据权利要求3所述的一种融合视觉里程计和bp网络的自适应行人航迹推算方法，其特征在于：步骤2中，步伐数据序列由步骤1b输出的连续时刻的行人步伐和航向组成；位姿数据序列由步骤1.2输出的连续帧图像的航向及同时刻估计的步长组成。5.根据权利要求4所述的一种融合视觉里程计和bp网络的自适应行人航迹推算方法，其特征在于：步骤3中，训练集包括pdr模块处理后的加速度、角速度和步频相关数据，和相对应的vo模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新。

技术总结
本发明涉及一种融合视觉里程计和BP网络的自适应行人航迹推算方法，属于机器视觉以及行人导航技术领域。包括：提出了一种融合视觉里程计和BP网络的自适应行人航迹推算方法，该方法将在线学习反向传播神经网络的卡尔曼滤波相结合，以RGB-D相机的VO测量数据和IMU数据作为样本集训练BP神经网络，在VO失效时充当其替身实现多源数据融合，从而使得VPO提高了不同使用者和使用环境下航迹追踪的鲁棒性和精度。所述方法提高了步伐检测的成功率和补偿估计；在视觉失效时，能较为精确的计算步长；具有成本低、能耗低且实时性好的优势；有效提升了行人导航系统的鲁棒性和对不同装备者的自适应性。应性。应性。


技术研发人员：冯立辉 陈威 卢继华 杨爱英 杨景宏 郭睿琦 王欢 巩柯汝 董哲涛
受保护的技术使用者：北京理工大学
技术研发日：2021.09.09
技术公布日：2022/1/10