一种多坑洞路面环境下视觉导航算法

1.本发明一种多坑洞路面环境下视觉导航算法，属于机器人视觉技术领域。


背景技术：

2.自动引导小车(agv)，指装备有电磁或光学等自动导航装置，能够沿规定的导航路径行驶，具有安全保护以及各种移载功能的运输车。凭借其机动性强、可控性强、工作效率高、节约时间和人力资源等优势，已广泛应用于仓储物流、智能泊车等领域。
3.现有技术中，agv导航方式主要有以下几种：电磁导航、光学导航、磁带导航、激光导航、超声波导航等。但这几种导航方式对环境的要求较高，对于复杂环境下常用的是视觉导航。
4.针对视觉导航技术，公开号为cn111580520a公开了一种基于二维码导航的四轮转向agv轨迹纠偏方法，通过获取二维码中的agv姿态偏差数据，进行agv偏角矫正和位移矫正，根据初始偏移和agv固有参数规划纠偏路径，能够在无法实时获得位置信息反馈的情况下开环完成运动纠偏，但依赖于agv固有参数，纠偏精度受参数影响较大。
5.公开号为cn107632602a公开了一种基于二维码agv小车运行轨道纠偏方法及系统、以及一种地标二维码获取装置。agv小车通过可横向移动的摄像装置，无需旋转车身及大幅度前进或后退的方式平移车身即可寻找到地标二维码，以上专利及其他类似现有技术中，agv小车的导航方式和精度受环境的影响较大，无法满足实际应用中多坑洞路面等复杂环境的自动导航。


技术实现要素：

6.本发明针对白酒地缸固态发酵车间地缸以阵列形式密集分布，数量大、形状相似，且地缸口与路面基本处于同一水平面，属于多坑洞路面环境的特点，提供了一种多坑洞路面环境下视觉导航算法，通过在地缸间过道道路间粘贴二维码，二维码中携带地缸列序信息，通过识别二维码标识地缸序列，然后根据二维码信息引导agv运动到指定地缸序列前方，粗定位agv小车的位置；当agv到达指定地缸前方后，结合边缘检测、椭圆拟合等图像处理算法对地缸的位置进行二次精定位，同时规划地缸间道路的导引轨迹，引导agv在多坑洞路面环境中自主导航行走。
7.为了解决上述技术问题，本发明采用的技术方案为：一种多坑洞路面环境下视觉导航算法，按下述步骤实施：
8.第一步，环境中有多排的坑洞，在每排坑洞前方的小车行进道路上铺设地标二维码，1号相机为二维彩色相机即可；假设坑洞规则排列，坑洞直径为d，坑洞间隙为l，agv底盘宽度为w，1号相机安装于agv底盘的前方中心位置，相邻两个坑洞的位置设为(x0,y0)和(x1,y1),规则排列时y0＝y1,x1＝x0 d l，则二维码的位置(x,y)为：(x方向为沿着小车行进道路的方向，y方向为垂直于道路的方向，即坑洞行进道路方向)；
9.x＝(x0 x1)/2；
10.y＝y0-d/2-w/2；
11.第二步，给定agv运行的速度和加速度参数，控制agv沿着小车行进道路，即x轴方向直线行走，在行走过程中1号相机不断采集二维码图像，识别图像中的二维码信息，通过比较目标坑洞的序列数与识别到的二维码中的序列数，相同的话代表agv到达指定目标坑洞前方；不一致的话，控制agv继续前行，直到到达目标坑洞前方停下；
12.第三步，到达目标坑洞前方后，1号相机继续采集识别二维码图像，获取二维码相对于1号相机的位姿矩阵，根据位置和姿态信息确定二维码相对于相机中心位置的距离偏差和角度偏差，不断微调agv的位置和姿态，使距离和角度偏差都处于可接受的偏差范围之内；
13.第三步，控制agv在原地旋转90度，使其正对坑洞行进道路方向，即y轴方向；
14.第四步，2号相机为深度相机，可以同时获取彩色和深度信息，2号相机位于机械臂的末端位置，控制agv底盘上面的机械臂使相机移动到坑洞上方的初始位置，对坑洞进行拍照；
15.第五步，采集坑洞的深度图片，由于彩色图片受光线、环境影响较大，因此采用深度图像进行处理；
16.根据深度图像中的距离信息进行阈值分割，假设地面距离相机的距离是dg(设为阈值),由于坑洞距离地面较低，因此坑洞距离相机的距离dk远大于dg,遍历图像中的距离像素值dis，满足以下条件的提取出来：
17.dis》dg e；
18.其中，e代表深度相机的测距精度误差值；然后再将提取出来的坑洞信息利用sobel算子进行边缘检测，提取出坑洞的边缘信息；
19.第六步，由于坑洞多是椭圆或圆形，因此采用椭圆拟合对坑洞外轮廓进行拟合，拟合得到精定位的坑洞中心位置以及坑洞直径信息，结合相机的内、外参矩阵参数以及手眼标定结果，获得坑洞距离小车中心的实际位置(x’，y’)及直径d，单位为mm；
20.判断坑洞直径d和agv小车宽度w，如果d《w-ε,其中ε为小车的运动误差，则判断该坑洞小车可跨越，否则不可跨越；
21.第七步，根据以下公式计算小车的旋转角度θ和直行距离l：
22.θ＝arctan(x’/y’)；
[0023][0024]
第七步，根据旋转角度θ和直行距离l控制规划agv的运动路径，引导agv在多坑洞的环境中自主导航行走。
[0025]
所述二维码的位置根据坑洞位置、坑洞尺寸、坑洞间隙、agv底盘尺寸、1号相机安装位置实际参数可调整，且所述二维码信息中包含坑洞的序列数、该排坑洞个数、坑洞直径尺寸信息。
[0026]
本发明与现有技术相比具有的有益效果是：本发明能够实现在复杂的多坑洞环境中，通过视觉感知环境的方式对坑洞进行多次定位，从而确定坑洞的精确位置，引导agv自主导航行走，提高agv的导航精度。
附图说明
[0027]
下面结合附图对本发明做进一步的说明。
[0028]
图1为本发明的场景示意图。
[0029]
图2为本发明中agv行进示意图。
[0030]
图3为本发明中多坑洞环境下agv导航方法流程示意图。
具体实施方式
[0031]
如图1、图3所示，本发明涉及的工作环境中有多排的坑洞，在每排坑洞前方的道路上铺设地标二维码，二维码的位置可调，主要由坑洞位置、坑洞尺寸、坑洞间隙、agv底盘尺寸、1号相机安装位置等参数决定，二维码信息中包含坑洞的序列数、该排坑洞个数、坑洞直径尺寸信息；1号相机为二维彩色相机即可；假设坑洞规则排列，坑洞直径为d，坑洞间隙为l，agv底盘宽度为w，1号相机安装于agv底盘的前方中心位置，相邻两个坑洞的位置设为(x0,y0)和(x1,y1),规则排列时y0＝y1,x1＝x0 d l，则二维码的位置(x,y)为：(x方向为沿着道路的方向，y方向为垂直于道路的方向)
[0032]
x＝(x0 x1)/2；
[0033]
y＝y0-d/2-w/2。
[0034]
给定agv运行的速度和加速度参数，控制agv沿着道路直线行走，在行走过程中1号相机不断采集二维码图像，识别图像中的二维码信息，通过比较目标坑洞的序列数与识别到的二维码中的序列数，相同的话代表agv到达指定目标坑洞前方；不一致的话，控制agv继续前行，直到到达目标坑洞前方停下；
[0035]
到达目标坑洞前方后，1号相机继续采集识别二维码图像，获取二维码相对于1号相机的位姿矩阵，根据位置和姿态信息确定二维码相对于相机中心位置的距离偏差和角度偏差，不断微调agv的位置和姿态，使距离和角度偏差都处于可接受的偏差范围之内；
[0036]
控制agv在原地旋转90度，使其正对坑洞的行进道路，如图2所示；
[0037]
2号相机为深度相机，可以同时获取彩色和深度信息，2号相机位于机械臂的末端位置，控制agv底盘上面的机械臂使相机移动到坑洞的上方初始位置，对坑洞进行拍照；
[0038]
采集坑洞的深度图片，由于彩色图片受光线、环境影响较大，因此采用深度图像进行处理，首先，根据深度图像中的距离信息进行阈值分割，假设地面距离相机的距离是dg(设为阈值),由于坑洞距离地面较低，因此坑洞距离相机的距离dk远大于dg,遍历图像中的距离像素值dis，满足以下条件的提取出来：
[0039]
dis》dg e
[0040]
其中，e代表深度相机的测距精度误差值；然后再将提取出来的坑洞信息利用sobel算子进行边缘检测，提取出坑洞的边缘信息；
[0041]
由于坑洞多是椭圆或圆形，因此采用椭圆拟合对坑洞外轮廓进行拟合，拟合得到精定位的坑洞中心位置以及坑洞直径信息，结合相机的内、外参矩阵参数以及手眼标定结果，获得坑洞距离小车中心的实际位置(x’,y’)及直径d，单位为mm，首先判断坑洞直径d和agv小车宽度w，如果d《w-ε,其中ε为小车的运动误差，则判断该坑洞小车可跨越，否则不可跨越；
[0042]
根据以下公式计算小车的旋转角度和直行距离：
[0043]
θ＝arctan(x’/y’)；
[0044][0045]
根据角度和距离控制规划agv的运动路径，引导agv在多坑洞的环境中自主导航行走。
[0046]
该方法不仅限于图1中规则排列的坑洞环境，对于任意排布的坑洞环境也同样适用。
[0047]
本发明能够实现在复杂的多坑洞环境中，通过视觉感知环境的方式对坑洞进行多次定位，从而确定坑洞的精确位置，引导agv自主导航行走，提高agv的导航精度。
[0048]
上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。