一种人类视频引导的机器人拥挤导航方法

本发明涉及移动机器人领域，尤其涉及一种人类视频引导的机器人拥挤导航方法。

背景技术：

1、移动机器人在商场，车站，校园，医院，展馆等开放人群环境中执行配送，巡检，引导和陪伴任务时，需要在动态行人流中同时满足安全性，通行效率和运动可执行性。传统模型规划方法通常基于速度障碍，人工势场，模型预测控制或手工规则实现避障，其优点是形式清晰，计算代价可控，但面对交叉流，逆向流和多方向混合人群时往往表现为保守停滞，局部震荡或难以利用人群间隙。

2、学习型导航方法能够从示教数据中学习人类在人群中的预判，让行，跟随和穿行行为，但其性能依赖大规模机器人视角示教。直接在真实拥挤场景中遥操作机器人采集数据成本高，周期长，且存在碰撞和干扰行人的安全风险。以仿真强化学习获取策略虽然能够降低采集成本，但训练样本效率低，且从仿真到真实环境迁移时容易受到人群行为模型，传感器误差和动力学差异影响。

3、公开的人类视频，如无人机航拍视频或固定摄像头视频，能够低成本记录大量自然人群运动模式，但此类数据并不包含机器人动作命令，且行人运动与机器人运动之间存在明显本体差异。具体而言，人类可进行侧向步行，原地转身，急转弯和短时非完整约束不明显的运动，而差速机器人，阿克曼底盘机器人和四足机器人分别受到最大速度，最大加速度，最小转弯半径，最大角速度和曲率等约束。若直接把人类轨迹作为机器人轨迹模仿，容易得到不可执行甚至不安全的轨迹。

4、现有的人类视频到机器人策略学习方法多集中在机械臂操作或人体动作迁移，通常需要动作重定向，成对机器人数据或专门的后处理模块。对于拥挤场景导航，现有方法仍缺少一种能够直接利用人类视频学习群体导航先验，并在测试时根据不同机器人平台约束生成可行轨迹的统一技术方案。生成式轨迹模型，包括扩散模型和流匹配模型，可以刻画多模态轨迹分布，但若未显式引入机器人可行性约束，生成结果仍可能违反具体平台的动力学边界。

5、因此，本领域需要一种面向异构机器人的拥挤场景导航方法，能够将人类视频中的自然人群交互运动转化为机器人可用的导航策略，并在无需针对每种机器人重新训练模型的情况下，于推理阶段将平台运动约束嵌入轨迹生成过程，从而生成安全，高效且可执行的导航轨迹。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何设计一种面向异构机器人的拥挤场景导航方法。

2、为实现上述目的，本发明提供了一种人类视频引导的机器人拥挤导航方法，其特征在于，所述方法利用航拍或固定摄像头视频，经行人检测跟踪、单应性投影构建统一鸟瞰导航样本；在se(2)空间搭建条件流匹配模型，学习人群交互运动先验，复现绕行、让行等多模态人群行为；推理阶段引入可行性引导机制，叠加速度、曲率等动力学约束代价迭代优化轨迹，同一预训练模型可适配差速、阿克曼、四足等异构机器人。

3、进一步地，所述方法包括以下步骤：

4、步骤s1、数据样本构建步骤，获取第三方视角人类视频，通过行人姿态检测、多目标轨迹关联得到带位置与朝向的行人时序轨迹，利用平面单应性矩阵将图像坐标投影至统一度量鸟瞰图坐标系，构建包含鸟瞰图栅格、目标点、人类行人轨迹的导航训练样本集；

5、步骤s2、模型离线训练步骤，基于se(2)李群空间对轨迹进行统一建模，以鸟瞰图栅格、目标位置作为条件变量构建条件流匹配导航模型，采用se(2)空间测地线插值构造概率路径，以条件流匹配损失训练模型，学习人群交互运动对应的条件向量场；

6、步骤s3、可行性约束推理步骤，推理阶段读取预训练条件流匹配模型、实时鸟瞰图观测、导航目标及目标机器人平台运动约束，初始化轨迹引导项并沿模型向量场积分生成候选轨迹；计算候选轨迹的速度、加速度、角速度、曲率约束惩罚代价，通过协态反向传播迭代更新引导项，在保留人类人群运动先验的前提下修正候选轨迹；

7、步骤s4、轨迹执行步骤，筛选满足机器人平台动力学边界的可行轨迹，下发至机器人底层控制器完成跟踪导航。

8、进一步地，所述步骤s1具体包括：

9、步骤s101、采集无人机航拍视频或场景固定摄像头视频，对视频帧进行统一时间戳同步；

10、步骤s102、采用中心点检测网络检测行人身体、头部中心坐标，同步回归行人身体朝向角；

11、步骤s103、通过多目标关联算法匹配相邻帧行人检测结果，生成连续时序行人轨迹；

12、步骤s104、标定场景平面单应性矩阵，将图像二维坐标映射为世界度量坐标；

13、步骤s105、基于映射后的世界坐标构建鸟瞰图栅格，配对导航目标点与行人轨迹，生成模型训练样本。

14、进一步地，所述步骤s2中条件流匹配模型训练过程包括：

15、步骤s201、输入鸟瞰图栅格和目标位置，并将二者编码为条件变量；

16、步骤s202、从基础分布中采样初始状态，从人类轨迹样本中取目标状态；

17、步骤s303、在se(2)空间中通过测地线插值保持位置和朝向的一致性；

18、步骤s304、使用条件网络预测流场速度；

19、步骤s305、计算条件流匹配损失；

20、步骤s306、根据损失更新模型参数。

21、进一步地，所述步骤s3还包括：

22、步骤s401、输入鸟瞰图栅格和目标位置，并将二者编码为条件变量；

23、步骤s402、从基础分布中采样初始状态，从人类轨迹样本中取目标状态；

24、步骤s403、在se(2)空间中通过测地线插值保持位置和朝向的一致性；

25、步骤s404、使用条件网络预测流场速度；

26、步骤s405、计算条件流匹配损失；

27、步骤s406、根据损失更新模型参数。

28、进一步地，所述步骤s4还包括：

29、步骤s501、读取差速机器人约束；

30、步骤s502、读取阿克曼机器人约束；

31、步骤s503、读取四足机器人约束；

32、步骤s504、统一human2nav推理模型根据鸟瞰图观测和目标点生成候选轨迹；

33、步骤s505、输出满足当前平台边界的可执行轨迹。

34、步骤s506、将轨迹发送至低层控制器跟踪执行。

35、进一步地，在所述步骤s2中，为轨迹状态和条件变量定义，用于统一表示机器人平面位置，朝向，人群观测和目标点；其中，x_k表示第k个轨迹状态；p_{x，k}和p_{y，k}表示平面位置；psi_k表示机器人朝向；b表示鸟瞰图栅格；g表示目标点；e表示局部行人状态编码；c表示模型条件变量。

36、进一步地，在所述步骤s2中，为条件流匹配训练目标，用于学习从基础分布到人类视频轨迹分布的条件向量场；其中，theta表示模型参数；t表示连续生成时间；x_0表示基础分布采样状态；x_1表示人类视频轨迹样本；x_t表示se(2)空间中的插值状态；v_theta表示待学习的条件向量场；u_t表示目标概率路径速度。

37、进一步地，在所述步骤s3中，为测试时可行性约束代价，用于度量候选轨迹是否违反机器人平台运动边界；其中，tau表示候选轨迹；k表示轨迹离散步数；v_k，a_k，omega_k和kappa_k分别表示第k步速度，加速度，角速度和曲率；v_max，a_max，omega_max和kappa_max分别表示对应平台约束上限；phi表示软边界惩罚函数。

38、进一步地，在所述步骤s3中，为测试时引导项更新规则，用于在保持人类视频导航先验的同时降低可行性约束代价；其中，u_t^i表示第i次迭代的推理引导项；eta表示更新步长；alpha表示人类轨迹先验保持权重；d表示生成轨迹与人类视频先验轨迹之间的偏离度量；tau_h表示由人类视频得到的先验轨迹。

39、本方法具备以下技术效果：

40、本发明提供一种从人类视频到异构机器人导航策略的端到端技术路线。该路线不要求为每个机器人平台采集大规模遥操作示教数据， 而是利用无人机视频或固定摄像头视频中天然存在的大量人群运动样本， 将行人轨迹转化为统一 bev 导航样本， 再训练条件流匹配模型学习人群交互运动先验。

41、本发明的核心优势在于训练阶段和推理阶段职责清晰。训练阶段只学习与平台无关的人群导航分布， 推理阶段再将平台约束注入轨迹生成过程。由此， 同一模型可面向差速底盘， 阿克曼底盘， 四足机器人等不同平台输出可执行轨迹， 避免针对每种机器人重复训练和标注。