基于双目视觉的巡检机器人三维建图与避障系统的制作方法

摘要: 本发明涉及机器人视觉避障,具体为基于双目视觉的巡检机器人三维建图与避障系统。背景技术:1、随着巡检机器人在配电室、变电站开关柜通道、厂区设备通道和室内机房等场景...
基于双目视觉的巡检机器人三维建图与避障系统的制作方法

本发明涉及机器人视觉避障,具体为基于双目视觉的巡检机器人三维建图与避障系统。

背景技术:

1、随着巡检机器人在配电室、变电站开关柜通道、厂区设备通道和室内机房等场景中的应用增多,利用视觉传感器获取巡检环境信息并辅助机器人完成自主行进和避障,已经成为较为常见的技术路线。现有巡检机器人通常会配置单目相机、双目相机、深度相机、激光雷达或多传感器组合,通过采集前方环境图像、距离信息或点云信息,对通道内的柜体边缘、地面凸起、门槛、临时摆放物、人员遮挡以及其他通行干扰进行识别,并据此进行路径保持、减速、绕行或停止等控制。对于采用双目视觉的方案而言,其能够根据左右目图像获取前方环境的深度信息,形成局部三维点云或局部环境模型,在成本、安装体积和近距离空间感知方面具有一定适用性,因此常用于室内巡检机器人、移动作业机器人和狭窄通道巡检设备中。

2、但是,在实际巡检现场中,机器人并不是在固定位置对静态物体进行单次识别,而是在连续行进、转向、靠近柜体边缘或经过窄通道时持续获取图像。现有双目视觉避障方式通常更侧重于由图像或点云直接识别前方是否存在障碍,或者直接根据单帧深度结果判断是否可通行,而对图像采集时刻、机器人位姿、行进速度、转向状态、车体宽度、车体高度、底盘离地间隙和转弯半径之间的对应关系考虑不足。尤其是在开关柜通道、设备夹缝、通道端部转弯位置和临时遮挡较多的场景中,同一物体在不同帧图像中的深度位置可能发生轻微波动,反光柜门、弱纹理地面、人员短时经过或工具箱边缘也可能造成局部点云缺失或短时空间点出现。如果仅依据相机视角下的单帧点云或单次障碍识别结果进行避障判断,容易出现将短时噪声误认为障碍、将缺失区域误认为可通行区域,或者在机器人转向过程中未能准确反映车体外侧扫掠空间的问题。

3、因此,现有技术在双目视觉巡检避障中仍存在这样的问题:前方三维感知结果与机器人当前车体边界、行进方向和运动状态之间缺少稳定对应关系,导致机器人在狭窄通道、转弯区域、柜体边缘和临时遮挡场景下,对障碍占用状态和通行空间约束的判断不够稳定,进而影响避障控制的可靠性和连续巡检过程中的可追溯性。这个问题并非单纯提高图像识别精度即可解决,而是涉及双目图像采集、三维环境片段形成、机器人自身通行空间建模、连续占用确认以及执行结果反馈之间的现场关联关系。

技术实现思路

1、针对现有技术的不足,本发明提供了基于双目视觉的巡检机器人三维建图与避障系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:基于双目视觉的巡检机器人三维建图与避障系统,包括:

3、双目视觉时空采集模块,用于采集巡检机器人前方双目图像,并同步记录采集时刻、机器人位姿、行进速度和转向状态;

4、局部三维环境片段生成模块,用于根据双目图像生成局部三维点云,并转换至机器人本体坐标系,形成对应当前行进方向的局部三维环境片段;

5、动态通行包络建模模块,用于依据机器人车体宽度、机器人车体高度、底盘离地间隙、转弯半径、行进速度和转向状态生成当前通行包络;

6、三维占用稳定确认模块,用于将局部三维环境片段同当前通行包络进行空间匹配,依据高度层、横向偏移、前向距离和连续观测状态确定稳定障碍占用和可疑占用;

7、通行约束分区模块,用于依据稳定障碍占用和可疑占用,将机器人前方通行空间划分为禁止通行区、受限通行区、待复核区和可通行区;

8、避障执行回写模块,用于依据禁止通行区、受限通行区、待复核区和可通行区同当前巡检路径的位置关系生成避障控制指令,并将执行后的位姿变化、通行结果和障碍区域变化回写至三维占用稳定确认模块。

9、进一步的,双目视觉时空采集模块依据相机标定版本确定左目图像和右目图像的成对关系;

10、在每次成对采集时为左目图像和右目图像写入相同帧序号、采集标识和采集时刻;

11、按照采集时刻绑定机器人位姿、行进速度和转向状态;

12、在左目图像和右目图像的采集时刻差超过成对允许时间差、统一时间基准冲突、机器人位姿来源冲突、转向状态冲突中的至少一种情形出现时,将对应帧标记为待核查。

13、进一步的,局部三维环境片段生成模块依据相机标定版本确认左目图像和右目图像的成对关系;

14、由左右图像对应位置形成深度距离,并将具有深度距离的图像位置整理为局部三维点云;

15、依据相机安装位置和左右目相对位置将局部三维点云转换至机器人本体坐标系;

16、按照同帧转向状态确认的当前行进方向对空间点进行范围整理,形成局部三维环境片段,并将未形成可靠三维点的图像区域记录为缺失区域。

17、进一步的,动态通行包络建模模块读取同一巡检任务下的机器人车体宽度、机器人车体高度、底盘离地间隙和转弯半径;

18、按照当前巡检任务锁定的车体参数版本确认机器人车体宽度、机器人车体高度、底盘离地间隙和转弯半径;

19、读取与局部三维环境片段同帧的行进速度和转向状态;

20、在机器人本体坐标系中依据机器人车体宽度形成车体横向边界,依据机器人车体高度形成车体高度边界,依据底盘离地间隙形成底部通过边界,并依据行进速度和转向状态形成前方生效边界和转向扫掠边界,以生成当前通行包络。

21、进一步的,三维占用稳定确认模块在同一帧序号、同一采集时刻和同一机器人本体坐标系版本下,将局部三维环境片段中的空间点同当前通行包络进行空间匹配;

22、依据高度层、横向偏移和前向距离,将位于当前通行包络内部、边界上以及边界邻近范围内的空间点归并为占用候选区域。

23、进一步的,三维占用稳定确认模块依据占用候选区域的连续观测状态,将在连续确认区间内保持存在且高度层、横向偏移和前向距离变化未超过允许变化范围的占用候选区域确定为稳定障碍占用;

24、将未满足稳定障碍占用条件,且位于当前通行包络内部、边界上以及边界邻近范围内的占用候选区域确定为可疑占用。

25、进一步的,通行约束分区模块依据稳定障碍占用与当前通行包络的位置关系,将与稳定障碍占用重合的机器人前方通行空间划分为禁止通行区;

26、将稳定障碍占用位于当前通行包络边界邻近范围内的区域,以及稳定障碍占用与当前通行包络之间存在有限通过间隙的区域划分为受限通行区;

27、将与可疑占用重合的区域和位于可疑占用边界邻近范围内的区域划分为待复核区。

28、进一步的,通行约束分区模块将未被禁止通行区、受限通行区和待复核区覆盖,位于局部三维环境片段有效范围内并且未处于缺失区域的机器人前方通行空间划分为可通行区;

29、同一空间位置满足多个分区条件时,按照禁止通行区、待复核区、受限通行区和可通行区的顺序确定唯一分区结果。

30、进一步的,避障执行回写模块依据禁止通行区、受限通行区、待复核区和可通行区相对于当前巡检路径的前向距离、横向偏移和路径重合状态生成避障控制指令;

31、在多个通行区域同时影响当前巡检路径时,按照禁止通行区、待复核区、受限通行区和可通行区的顺序生成唯一主控制指令;

32、并将执行后的位姿变化、通行结果和障碍区域变化回写至三维占用稳定确认模块,且不改写原始稳定障碍占用记录和原始可疑占用记录。

33、与现有技术相比,本发明具有以下有益效果:

34、1、通过双目视觉时空采集模块同步记录前方双目图像、采集时刻、机器人位姿、行进速度及转向状态,并由局部三维环境片段生成模块将双目图像转换为机器人本体坐标系下对应当前行进方向的局部三维环境片段,再由动态通行包络建模模块结合机器人车体宽度、车体高度、底盘离地间隙、转弯半径、行进速度及转向状态生成当前通行包络,使三维环境信息不再仅以相机视角或单帧图像结果进行判断,而是与机器人当前车体边界、运动状态和行进方向相对应,从而达到提高巡检机器人在狭窄通道、转弯区域、柜体边缘和临时遮挡场景下三维建图与障碍判断一致性的效果,降低因双目图像单帧抖动、视角变化或转向状态未同步而造成的误判风险。

35、2、通过三维占用稳定确认模块将局部三维环境片段同当前通行包络进行空间匹配,并依据高度层、横向偏移、前向距离及连续观测状态确定稳定障碍占用和可疑占用,再由通行约束分区模块将机器人前方通行空间划分为禁止通行区、受限通行区、待复核区和可通行区,最后由避障执行回写模块生成避障控制指令并将执行后的位姿变化、通行结果及障碍区域变化回写至三维占用稳定确认模块,从而达到将障碍识别、通行约束、避障执行和结果反馈形成闭环关联的效果,避免将反光、弱纹理、短时遮挡或单帧噪声直接作为确定障碍,同时提高巡检机器人避障决策的稳健性和现场连续运行的可追溯性。