基于风险感知的条件流匹配无碰撞视觉导航方法及系统

摘要: 本发明属于视觉导航的,具体涉及一种基于风险感知的条件流匹配无碰撞视觉导航方法及系统。背景技术:1、视觉导航是自主移动机器人在现实世界环境中执行任务的关键技术。在...
基于风险感知的条件流匹配无碰撞视觉导航方法及系统

本发明属于视觉导航的,具体涉及一种基于风险感知的条件流匹配无碰撞视觉导航方法及系统。

背景技术:

1、视觉导航是自主移动机器人在现实世界环境中执行任务的关键技术。在常规方案中,具身智能体基于接收到的视觉观测信息生成控制动作,以期安全到达目标地点。早期的具身导航算法多采用确定性端到端映射,将视觉输入直接转化为单一动作,但这极大限制了模型捕捉复杂环境中多模态动作分布的能力。为了解决多模态轨迹建模问题,近期技术引入了基于扩散模型或条件流匹配(conditional flow matching, cfm)的生成式策略,通过拟合大量人类演示数据来预测未来的多条可行轨迹,从而提高了导航成功率。

2、然而,现有的生成式视觉导航方法仍存在显著缺陷。最主要的问题在于,这些方法缺乏显式的安全相关建模,无法从人类演示数据中有效提取和内化鲁棒的安全约束特征,导致移动机器人在密集杂乱或未知的复杂环境中部署时,其行进轨迹缺乏对显式安全边界的感知,容易产生高频碰撞和不安全行为。这一问题的根源在于,人类演示数据中往往隐含且交织了多元的个人操作偏好以及不断变化的物理上下文,导致单纯的行为克隆策略难以在隐空间内解耦并提取出鲁棒、泛化性强的安全分布。因此,标准生成式模仿策略在面对未见过的陌生环境时,所输出的未来候选轨迹分布不确定性较高,容易生成紧贴障碍物边界、安全间距极小的“擦边”轨迹,造成严重的安全隐患。此外,现有的一些尝试通过轨迹筛选来强制对齐安全的方案,其奖励函数多采用0和1的硬性指示函数形式,导致策略在微调(fine-tuning)阶段面临反馈信号断层、梯度过于稀疏以及参数优化不稳定的技术瓶颈。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于风险感知的条件流匹配无碰撞视觉导航方法及系统,通过构建障碍物感知网格实现多维度风险显式表征,结合条件流匹配生成多候选轨迹,并采用仅训练阶段启用的组相对策略优化完成软性安全对齐,在不增加在线推理时延的前提下,提升复杂环境导航成功率、降低碰撞频率,同时保障策略优化过程梯度连续稳定。

2、为了达到上述目的,本发明采用以下技术方案:

3、第一方面,本发明提供了一种基于风险感知的条件流匹配无碰撞视觉导航方法,包括下述步骤:

4、s1、获取多模态特征,所述多模态特征包括时序观测特征、导航目标特征和显式障碍物拓扑特征;

5、s2、将所述时序观测特征、导航目标特征和显式障碍物拓扑特征在通道维度级联,输入 多层transformer 编码器进行长程依赖聚合,输出最终的控制上下文向量;

6、s3、以控制上下文向量作为条件约束项,通过条件流匹配模型将标准高斯噪声轨迹样本在连续时间步内平滑输运变换,并行输出候选轨迹控制组;

7、s4、基于离线组相对轨迹对齐机制,对所述候选轨迹控制组内的各候选轨迹进行安全评估与偏好对齐,使得优化后的网络在相同环境下输出的轨迹分布向安全模式收敛。

8、作为优选的技术方案,步骤s1中,获取多模态特征具体为:

9、将当前帧图像输入至场景编码器,输出时序观测特征;

10、在处于目标驱动模式时,将目标图像输入至目标编码器,输出导航目标特征;

11、将当前帧图像通过单目相对深度估计网络,转化为估计深度图,将估计深度图通过投影模块执行三维反投影与局部水平网格化,动态构建出障碍物感知网格,通过网格编码器对所述障碍物感知网格的几何统计量进行降维映射,输出显式障碍物拓扑特征。

12、作为优选的技术方案,所述障碍物感知网格的具体实施例步骤如下:

13、三维点云反投影,利用相机内参矩阵将单目深度图像素逆投影至机器人坐标系,生成局部3d点云;

14、水平空间离散栅格化,将机器人前方的地面区域离散化为二维水平栅格,所述二维栅格包括多个栅格单元;

15、栅格多维风险指标提取,对每个栅格单元并行提取几何指标:点密度、最小与最大深度区间、归一化最大高度;

16、栅格特征编码,将单个栅格单元的指标拼接后输入多层感知机,输出单个栅格单元的拓扑特征,全部网格特征拼接共同组成了显式障碍物拓扑特征。

17、作为优选的技术方案,所述点密度具体为:

18、统计落入栅格单元内的3d点云总数,并执行对数平滑算子处理,用以指示该空间被实体占用的概率并消除离群噪点;

19、所述最小与最大深度区间具体为:记录归一化后的轴向深度界限,分别代表当前栅格单元中最近的障碍物反射表面与最远的视线可达边界;

20、所述归一化最大高度具体为:统计格内点云相对于地面的最大高度并归一化至 区间,用于表征栅格单元内是否存在高出地面的立体障碍物。

21、作为优选的技术方案,步骤s3具体为:

22、所述条件流匹配模型通过拟合连续输运流动力学,学习如何将标准高斯分布的初始噪声轨迹样本在连续时间步内平滑输运并变换为包含多个自车坐标系下的二维未来路点的动作轨迹,所述动作轨迹共同组成候选轨迹控制组。

23、作为优选的技术方案,步骤s4中,所述离线组相对轨迹对齐机制具体为:

24、组划分与双重软性安全奖励评估:在微调阶段,针对同一时刻的视觉观测、目标条件和局部障碍布局,由条件流匹配模型重复采样得到多条候选轨迹;组划分模块将基于同一条件上下文生成的多条候选轨迹划分为一个候选轨迹控制组,不同观测条件下生成的候选轨迹分别划入不同控制组;随后利用同步的特权几何布局信息,通过复合安全奖励函数对每个控制组内的候选轨迹进行并行打分,所述复合安全奖励函数包括碰撞惩罚奖励和开阔空间激励评估;

25、组内相对优势优胜劣汰更新:在奖励结算阶段,计算组内条轨迹的总奖励,并在该独立的控制组内部实施规范化,算得各个候选轨迹相对于组内平均表现的相对优势;

26、偏好对齐反向传播:将该相对优势通过 softmax 算子转化为最终的偏好优化权重,对条件流匹配的流损失函数进行加权惩罚或激励。

27、作为优选的技术方案,所述碰撞惩罚奖励通过遍历计算候选轨迹中各路点到附近障碍物的最小欧氏距离,当该距离小于预设安全阈值时,触发二次型连续惩罚。

28、作为优选的技术方案,所述开阔空间激励评估通过计算候选轨迹的方向向量与从所述显式障碍物拓扑特征中提取的最宽敞可通行中央轴向向量的余弦相似度得到,并将所述碰撞惩罚奖励作为连续指数门控对所述开阔空间激励评估进行衰减抑制。

29、作为优选的技术方案,步骤s4中,针对某一个特定的多模态视觉观测上下文向量,条件流匹配头并不输出单一动作,而是并行采样提取出一个包含多条异质路点候选轨迹的控制组。

30、第二方面,本发明提供了一种基于风险感知的条件流匹配无碰撞视觉导航系统,应用于所述的基于风险感知的条件流匹配无碰撞视觉导航方法,包括图像采集模块、多模态特征融合模块、条件流匹配轨迹生成模块以及轨迹输出与控制模块;

31、所述图像采集模块,用于获取多模态特征,所述多模态特征包括时序观测特征、导航目标特征和显式障碍物拓扑特征;

32、所述多模态特征融合模块,用于将所述时序观测特征、导航目标特征和显式障碍物拓扑特征在通道维度级联,输入 多层transformer 编码器进行长程依赖聚合,输出最终的控制上下文向量;

33、所述条件流匹配轨迹生成模块,用于以控制上下文向量作为条件约束项,通过条件流匹配模型将标准高斯噪声轨迹样本在连续时间步内平滑输运变换,并行输出候选轨迹控制组;

34、所述轨迹输出与控制模块,用于基于离线组相对轨迹对齐机制,对所述候选轨迹控制组内的各候选轨迹进行安全评估与偏好对齐,使得优化后的网络在相同环境下输出的轨迹分布向安全模式收敛。

35、本发明与现有技术相比,具有如下优点和有益效果:

36、显著提升密集杂乱环境下的导航成功率。本发明采用障碍物感知栅格与条件流匹配导航策略融合的技术方案,将单目深度信息转换为空间风险表征并引入轨迹生成过程,解决了现有视觉导航方法缺乏显式障碍物风险建模、在密集静态障碍和不规则室外地形中易生成高风险轨迹的问题,从而使具身机器人的目标导航成功率由传统基线方法的30%提升至70%。

37、显著降低碰撞频率。本发明采用离线组相对轨迹对齐机制,并结合碰撞惩罚奖励和开阔空间激励对候选轨迹进行组内偏好优化,解决了现有模仿学习导航策略仅拟合人工示范轨迹、难以主动区分安全轨迹与贴近障碍物轨迹的问题,从而使机器人在目标导航任务中的平均单次运行碰撞次数由2.5次降低至1.1次;在无目标自由探索任务中,碰撞频率降低约70%,提升了未知环境下的避障泛化能力。

38、有效提升轨迹安全裕度。本发明通过显式空间风险建模与开阔空间奖励约束,使轨迹生成过程在多条行为合理的候选轨迹中优先选择障碍物间距更大的可通行区域,解决了现有基于模仿学习的生成式导航策略缺乏显式安全偏好、难以稳定区分不同安全裕度轨迹的问题,从而使机器人在窄廊场景中保持约0.24m的侧向安全裕度,明显高于基线方法的0.03m,并在存在多个可行通行区域时优先选择更开阔的安全通行区域。