一种基于多目标跟踪的移动机器人预见性导航方法与流程

技术特征：
1.一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，包括以下步骤：1)输入相机实时视频流，对图像帧作预处理；2)将步骤1)预处理后得到的图像帧输入开源的在线多目标跟踪jde模型，采集历史轨迹点，得到多目标的历史轨迹数据集合；3)对步骤2)得到的多目标的历史轨迹数据集合进行合规平稳性检验，得到检验通过的多组数据；4)收集步骤3)中检验通过的多组数据，得到有效历史轨迹数据集合，通过有效历史轨迹数据集合，预测得到未来轨迹点集合；5)通过ros服务端节点，对步骤4)中预测得到的未来轨迹点进行坐标系转换，创建局部代价地图，将创建好的局部代价地图发布到ros话题\local_costmap上；6)订阅ros话题\local_costmap，通过move_base导航节点，提前影响导航规划。2.根据权利要求1所述的一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，所述步骤1)包括以下步骤：1.1)利用opencv
‑
python库中的cv2.videocapture函数启动相机驱动并获取cmos相机视频流；1.2)获取视频流数据中的图像帧，对图像帧作预处理操作：利用opencv
‑
python中的letterbox函数，在保持图像纵横比的前提下对图像做尺度重调，剩余空白区用灰度值为0像素进行填充，根据车载相机分辨率参数，预处理后得到尺寸为864*480的图像帧。3.根据权利要求1所述的一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，所述步骤2)包括以下步骤：2.1)将步骤1)中预处理后得到的图像帧输入开源的在线多目标跟踪jde模型，该在线多目标跟踪jde模型通过特征金字塔网络fpn，从多尺度进行预测；2.2)在训练过程中，在线多目标跟踪jde模型以1/32、1/16和1/8的尺度对特征图分别进行降采样，建立多任务学习目标建模，作加权线性损失和进行降采样，建立多任务学习目标建模，作加权线性损失和其中，m是预测头数，是i＝1,...,m且j＝α,β,γ下的损失权重，是i＝1,...,m且j＝α,β,γ下的损失值，α,β,γ是不同尺度分支的权重值；2.3)对于采样得到的特征，在线多目标跟踪jde模型根据每个目标的边界框和外观特征，通过匈牙利算法计算当前帧检测目标和已存在的目标轨迹之间的关联矩阵，再通过如下公式对轨迹进行更新：f
t
＝ηf
t
‑1 (1
‑
η)f'其中，f'是被关联目标的外观特征，f
t
是当前时刻检测目标的外观特征，f
t
‑1是前一时刻检测目标的外观特征，η是自设的加权移动平均系数；2.4)在线多目标跟踪jde模型输出的单个目标的单点轨迹数据p为：p(fid,oid,x,y)
其中，fid表示图像帧id，oid表示目标id，x表示目标边界框下底边中心点横坐标，y表示目标边界框下底边中心点纵坐标；目标v的轨迹数据集合k
v
为：k
v
＝{p1,p2,p3,...,p
t
}其中，t表示在采样周期内采集到的目标v轨迹点的最大数量；2.5)以设定帧数图像为一采样周期，整理得到该周期内捕获到的包含多个目标信息的历史轨迹数据集合m：m＝{k1,k2,k3,...,k
n
}其中，集合k1表示目标id为1的目标的轨迹数据集合，n为该采样周期内捕获到的最大目标数。4.根据权利要求1所述的一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，所述步骤3)包括以下步骤：3.1)对步骤2)中得到多目标的历史轨迹数据集合m中不同目标的轨迹数据集合k
v
逐一进行合规平稳性检验；首先是进行合规性检验，实质是集合数据量检查；由于时序预测需要足够的数据作为基准，在此设定数量阈值为4，得到判断式如下：其中，n
v
表示目标id为v的目标的轨迹数据集合k
v
中的轨迹点数量；设定阈值为4，根据阈值作判断轨迹点数据量是否足够进行预测，若数量足够，则检验通过，进入下一步；若数量不足，则检验不通过，并清除该数据；3.2)经过合规性检验的数据集合需要再进行平稳性检验，用单位根检验adf方法，其实质是判断数据序列是否存在单位根：其中，b是回归函数中的自回归系数，若b为1，则表示存在单位根，检验不通过，进入步骤3.3)；若b不为1，则表示不存在单位根，检验通过，则进入步骤4)；3.3)对于adf检验不通过的数据，利用差分法进行平稳化处理；然后，对数据再次进行adf平稳性检验，若检验不通过，则彻底清除该数据；若检验通过，则进入步骤4)。5.根据权利要求1所述的一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，所述步骤4)包括以下步骤：4.1)收集步骤3)中检验通过的多组数据，得到有效历史轨迹数据集合m
′
：m
′
＝{k
′1,k
′2,k
′3,...,k
′
n'
}其中，n'是轨迹有效的目标数，k'
v
表示通过检验的目标id为v的目标的轨迹数据集合；4.2)将m'中的数据集合k
′
v
不同目标的横坐标序列和纵坐标序列逐一输入arma模型中进行预测，arma模型公式为：x
t
＝β1u
t
‑1 β2u
t
‑2
···
β
q
u
t
‑
q
u
t
α1x
t
‑1 α2x
t
‑2
···
α
p
x
t
‑
p
其中，x
t
是预测的坐标数值，x
t
‑1是前一个坐标数值，u
t
表示当前状态下的白噪声，u
t
‑1表示前一状态下的白噪声，β是噪声权重，α是回归系数，p是自回归阶数，q是移动平均阶数；4.3)整理得到未来轨迹点集合，通过信息包远程方法调用mprpc将数据传给对应的底层ros服务端节点。6.根据权利要求1所述的一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，所述步骤5)包括以下步骤：5.1)ros系统是一个常用的机器人软件平台，在这一系统中，程序以节点形式运行，数据通信以ros话题订阅和发布的方式进行；在ros服务端节点中，首先对步骤4)中预测获得的未来轨迹点进行坐标系转换，分为两步，一是从像素坐标系转换到机器人坐标系，二是结合机器人当前位姿，从机器人坐标系转换到世界坐标系；5.2)根据轨迹点的坐标，判断轨迹点是否处于预设地图的范围内，若判断通过，则世界坐标系下的轨迹点添加到构建的局部代价地图中；5.3)以一个采样周期为数据更新频次，将创建好的局部代价地图发布到ros话题\local_costmap上。7.根据权利要求1所述的一种基于多目标跟踪的移动机器人预见性导航方法，其特征在于，所述步骤6)的具体情况如下：在move_base导航节点中订阅ros话题\local_costmap，得到步骤5)中添加的局部代价地图，根据预设的障碍物半径和膨胀系数，将轨迹点数据以障碍物的形式更新到障碍地图层和膨胀层；move_base导航节点中的本地规划器local planner能够根据周期中的预判障碍物信息进行规避路线规划，故此，移动机器人能够对未来的行人状态进行预判，提前做好避让的导航线规划，达到预见性导航的目标。

技术总结
本发明公开了一种基于多目标跟踪的移动机器人预见性导航方法，包括：1)输入相机实时视频流，对图像帧作预处理；2)通过在线多目标跟踪模型，采集历史轨迹点；3)轨迹数据合规平稳性检验；4)通过历史轨迹点，预测得到未来轨迹点；5)通过ROS服务端节点，创建局部代价地图；6)通过move_base导航节点，提前影响导航规划。本发明采用在线多目标跟踪结合时序预测模型进行行人轨迹预测的思路，对于动态环境下移动机器人导航过程中导航线频繁变化的情况，提供一种预见性导航的方法，利用预测得到的行人未来轨迹创建局部代价地图，更新加入到move_base导航节点，从而提前影响机器人的导航路径规划。规划。规划。


技术研发人员：毕盛 洪瀚思 董敏
受保护的技术使用者：华南理工大学
技术研发日：2021.07.14
技术公布日：2021/11/21