基于多模态视觉的四足机器人巡检路径规划方法及系统与流程

本发明涉及巡检路径规划，具体涉及基于多模态视觉的四足机器人巡检路径规划方法及系统。

背景技术：

1、四足机器人开展自主巡检作业高度依赖视觉感知信息进行路径决策，现有巡检路径规划方案大多未对视觉盲区进行几何补全，环境表征方式单一，无法充分表达环境语义与物理属性；同时传统路径搜索策略计算负载较高，难以在六自由度姿态空间内快速权衡观测收益与通行风险，容易出现感知信息不完备、规划求解速度慢、复杂环境适应性不足等问题，难以满足四足机器人在真实场景下持续自主巡检的使用需求。

2、现有技术机器人路径规划运算耗时高，难以应对存在视觉盲区的复杂巡检环境的技术问题。

技术实现思路

1、本申请提供了基于多模态视觉的四足机器人巡检路径规划方法及系统，用于针对解决了现有技术机器人路径规划运算耗时高，难以应对存在视觉盲区的复杂巡检环境的技术问题。

2、鉴于上述问题，本申请提供了基于多模态视觉的四足机器人巡检路径规划方法及系统。

3、本申请的第一个方面，提供了基于多模态视觉的四足机器人巡检路径规划方法，所述方法包括：

4、获取四足机器人搭载的多模态视觉传感器采集的当前环境数据，并结合四足机器人当前时刻的六自由度位姿节点对多模态点云进行时空拼接，通过几何外推补全所述四足机器人在近距视觉盲区内的视野盲区三维几何结构；将所述当前环境数据以及视野盲区三维几何结构共同映射为三维高斯原语集合，其中，根据环境语义识别结果与预设物理映射表，为每个三维高斯原语赋予包含观测新颖度属性和表面物理摩擦属性的多模态向量；在机器人六自由度姿态空间中对未来的候选位姿进行采样，并将候选位姿序列输入图形处理器中的渲染管线，通过渲染三维高斯原语集合中各三维高斯原语对应的多模态向量，实时并行计算各候选位姿下的视野观测增益和碰撞风险成本；基于所述视野观测增益和碰撞风险成本，采用束搜索算法在时空连续空间内推演评估多条长程路径候选树，解算获得全局最优六自由度巡检路径。

5、本申请的第二个方面，提供了基于多模态视觉的四足机器人巡检路径规划系统，所述系统包括：

6、环境数据获取模块，用于获取四足机器人搭载的多模态视觉传感器采集的当前环境数据，并结合四足机器人当前时刻的六自由度位姿节点对多模态点云进行时空拼接，通过几何外推补全所述四足机器人在近距视觉盲区内的视野盲区三维几何结构；三维高斯原语集合映射模块，用于将所述当前环境数据以及视野盲区三维几何结构共同映射为三维高斯原语集合，其中，根据环境语义识别结果与预设物理映射表，为每个三维高斯原语赋予包含观测新颖度属性和表面物理摩擦属性的多模态向量；视野观测增益计算模块，用于在机器人六自由度姿态空间中对未来的候选位姿进行采样，并将候选位姿序列输入图形处理器中的渲染管线，通过渲染三维高斯原语集合中各三维高斯原语对应的多模态向量，实时并行计算各候选位姿下的视野观测增益和碰撞风险成本；路径候选树评估模块，用于基于所述视野观测增益和碰撞风险成本，采用束搜索算法在时空连续空间内推演评估多条长程路径候选树，解算获得全局最优六自由度巡检路径。

7、本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

8、获取四足机器人搭载的多模态视觉传感器采集的当前环境数据，并结合四足机器人当前时刻的六自由度位姿节点对多模态点云进行时空拼接，通过几何外推补全所述四足机器人在近距视觉盲区内的视野盲区三维几何结构；将所述当前环境数据以及视野盲区三维几何结构共同映射为三维高斯原语集合；在机器人六自由度姿态空间中对未来的候选位姿进行采样，并将候选位姿序列输入图形处理器中的渲染管线，通过渲染三维高斯原语集合中各三维高斯原语对应的多模态向量，实时并行计算各候选位姿下的视野观测增益和碰撞风险成本；采用束搜索算法在时空连续空间内推演评估多条长程路径候选树，解算获得全局最优六自由度巡检路径。达到了实现基于多模态视觉与三维高斯原语的束搜索路径规划，提高了四足机器人巡检轨迹规划效率与环境适应能力的技术效果。

1.基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，所述方法包括：

2.如权利要求1所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，所述多模态视觉传感器包括可见光相机、红外热成像仪和深度相机；

3.如权利要求1所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，通过几何外推补全所述四足机器人在近距视觉盲区内的视野盲区三维几何结构，包括：

4.如权利要求1所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，将所述当前环境数据以及视野盲区三维几何结构共同映射为三维高斯原语集合，其中，根据环境语义识别结果与预设物理映射表，为每个三维高斯原语赋予包含观测新颖度属性和表面物理摩擦属性的多模态向量，包括：

5.如权利要求1所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，在机器人六自由度姿态空间中对未来的候选位姿进行采样，包括：

6.如权利要求1所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，并将候选位姿序列输入图形处理器中的渲染管线，通过渲染三维高斯原语集合中各三维高斯原语对应的多模态向量，实时并行计算各候选位姿下的视野观测增益和碰撞风险成本，包括：

7.如权利要求1所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，基于所述视野观测增益和碰撞风险成本，采用束搜索算法在时空连续空间内推演评估多条长程路径候选树，解算获得全局最优六自由度巡检路径，包括：

8.如权利要求7所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，根据各候选位姿下的视野观测增益与碰撞风险成本，结合局部时空记忆更新机制，在时空连续空间内对所述长程路径候选树中的多条候选分支进行并行推演与剪枝评估，包括：

9.如权利要求7所述的基于多模态视觉的四足机器人巡检路径规划方法，其特征在于，当推演深度达到预设的预测时域长度后，从保留的多条候选分支中提取综合评估得分最高的一条离散位姿序列，并进行平滑插值，解算获得所述全局最优六自由度巡检轨迹，包括：

10.基于多模态视觉的四足机器人巡检路径规划系统，其特征在于，所述系统用于实施权利要求1-9任一项所述的基于多模态视觉的四足机器人巡检路径规划方法，所述系统包括：