堆垛机物体搬运定位方法与流程

摘要: 本技术涉及自动化控制与视觉识别领域,具体地提出一种应用于立体仓库货物出入库管理的堆垛机物体搬运定位方法。背景技术:1、随着计算机视觉技术的快速发展,已广泛应用于...
堆垛机物体搬运定位方法与流程

本技术涉及自动化控制与视觉识别领域,具体地提出一种应用于立体仓库货物出入库管理的堆垛机物体搬运定位方法。

背景技术:

1、随着计算机视觉技术的快速发展,已广泛应用于各种工业检测和自动化控制领域。如在工业自动化、物流仓储行业的输送与分拣现场,为提高作业准确性与效率,普遍地采用相机进行货位或货物的识别与定位检测。

2、例如应用自动化搬运技术的高精度堆垛机,在物体搬运过程中扮演着关键角色。然而在实际生产过程中,簇架的摆放位置难以做到一致,且受制造公差、运输振动或装配误差等因素影响。簇架往往会发生位置偏移、角度倾斜甚至轻微形变。若堆垛机无法对此类异常情况进行精准定位,极易引发碰撞、卡滞甚至设备损坏,严重威胁作业安全与生产效率。因此,实现堆垛机入簇的高精度定位与状态感知已成为提升产线智能化水平和运行可靠性的关键技术需求。

3、目前,针对堆垛机物体搬运定位的技术方案普遍地采用2d视觉系统,通过在固定位置部署2d相机拍摄簇架图像并基于图像特征识别计算其在平面内的偏移量。然而,该方法存在明显局限性:一方面,2d图像缺乏深度信息,无法准确获取簇架在z轴(深度方向)上的位移偏差;另一方面,2d视觉系统对环境光照极为敏感。在堆垛机运行现场常见的强光、阴影或低照度条件下,图像质量易受干扰,导致特征提取失败或定位精度显著下降。而维持恒定、理想的光照环境在实际工业场景中往往难以实现,限制了该技术的鲁棒性与适用范围。

4、下述国内在先申请专利,申请号为cn202510530727.9,名称为一种堆垛机货位视觉示教方法,在堆垛机载货台上集成双目相机,通过相机标定建立三维坐标系,并以标准托盘作为参考基准获取初始偏差值;在作业过程中,通过实时拍摄计算当前货位相对于标准位置的x、y、z三向位移偏差,并据此对堆垛机运动进行补偿。尽管该方法在一定程度上实现了三维空间的位置校正,但仍存在关键缺陷:该方法仅能处理平移偏差,无法识别和补偿簇架在俯仰、偏航或滚转等方向上的角度偏移,而此类姿态偏差在实际工况中普遍存在。若忽略角度偏移,极易产生碰撞风险。

5、如上所述,现有技术在应对簇架位置偏差、姿态变化及异物存在的复杂工况时,仍难以兼顾定位精度、环境适应性与作业安全性。因此,亟需一种融合高精度三维视觉感知、支持引导五自由度堆垛机的定位技术,以有效解决上述问题。有鉴于此,特提出本技术。

技术实现思路

1、本技术所述的堆垛机物体搬运定位方法,在于解决上述现有技术存在的问题而基于从点云中提取簇架特征并解算其完整六自由度位姿以应用于五自由度的高精度定位,以期实现三维视觉定位解决方案,达到对簇架六自由度位姿进行精确识别、提升堆垛机搬运入簇作业的定位精度、运行安全性与环境适应性的目的。

2、为实现上述设计目的,所述堆垛机物体搬运定位方法,基于识别簇架在三维空间中的具体坐标数据,针对五自由度堆垛机的运动约束将无法直接执行的俯仰角度偏差等效转换为z轴方向上的位移补偿;包括下述步骤,

3、步骤(1)、手眼标定;

4、在堆垛机的载货台左右两侧对称地安装两台3d相机,以分别采集簇架左右两侧的三维点云数据,确保对簇架整体结构的完整覆盖;

5、采用“眼在手上”的标定方式,分别对左、右3d相机进行手眼标定,获得各自相对于堆垛机末端执行器的标定矩阵;

6、步骤(2)、坐标转换;

7、设定堆垛机末端的空间位姿是由各个关节的局部坐标变换并按照拓扑顺序级联相乘得到齐次变换矩阵链:;

8、其中,表示从末端坐标系到基坐标系的变换;

9、步骤(3)、示教点位建立;

10、在系统示教阶段,确定好拍照位置和搬运位置,建立标准作业参考状态,作为后续偏差计算的基准;

11、步骤(4)、点云数据获取;

12、实际运行中,当堆垛机到达指定的簇架以后续进行叉放货物操作时,依次触发左、右3d相机针对簇架进行拍照并获取点云数据q;

13、步骤(5)、簇架定位检测;

14、基于点云配准算法,分别对簇架左右两侧点云与标准模型进行匹配,计算出各自对应的六自由度位姿参数;

15、步骤(6)、定位结果融合与修正;

16、将左3d相机的六自由度位姿结果和右3d相机的六自由度位姿结果进行融合,取其均值作为簇架整体的最终位姿估计,融合公式为:

17、

18、将俯仰角引起的末端位置偏移等效转换并补偿至z轴方向,生成适用于堆垛机控制系统的五自由度运动指令。

19、所述的步骤(1)包括,步骤(1.1)、在堆垛机工作区域内设置一棋盘格标定板,标定板位置固定且已知其在世界坐标系下的精确坐标,相机安装完成后确保相机视野中能够完整捕捉到完整的标定板;

20、步骤(1.2)、控制堆垛机沿x、y、z轴三个方向进行多次不同位置与姿态的运动,采集多组图像和位姿数据;每次运动过程都需要使用棋盘格角点检测算法,计算出标定板在相机坐标系下的位姿矩阵和记录堆垛机在该时刻的末端执行器位姿矩阵 ;

21、步骤(1.3)、通过方程组,对上述多组(,)数据以最小二乘法

22、求解计算得出手眼变换矩阵;其中,左3d相机相对于堆垛机末端坐标系的变换矩阵为,右3d相机相对于堆垛机末端坐标系的变换矩阵为;

23、将标定结果存入上位控制系统,用于将定位结果从相机坐标系转换至堆垛机基坐标系。

24、所述的步骤(2),五自由度堆垛机的各轴关节变换矩阵依次为,

25、1轴关节变换矩阵:

26、2轴关节变换矩阵:

27、3轴关节变换矩阵:

28、4轴关节变换矩阵:

29、5轴关节变换矩阵:

30、整体坐标转换矩阵为:

31、

32、所述的步骤(4),将获取到的点云数据q进行下采样处理。

33、所述的步骤(5),将簇架模型点云与获取到的点云数据进行配准;

34、采用icp算法寻找最优刚体变换 (r,t),使得变换后的点云p尽可能接近目标点云q中的对应点,公式为:

35、由此得到的最优刚体变换矩阵,

36、根据坐标转换矩阵和手眼标定矩阵将相机坐标系下的叉放位姿转换到堆垛机坐标系下的叉放位姿,以得到左3d相机计算结果和右3d相机计算结果,计算公式为:

37、

38、其中,左上3x3为旋转矩阵,右侧前三元为平移分量,使用下列公式将叉放矩阵转换为叉放位姿(x,y,z,rx,ry,rz)形式:

39、x=,x=,x=,,,。

40、所述的步骤(6),z轴距离计算公式为:

41、其中,l为堆垛机旋转中心到簇架的水平距离,即为堆垛机最终的叉取位姿。叉取位姿中的rx仅用于显示角度,不参与实际叉取。

42、综上,本技术较之于现有技术主要具有以下优点和有益效果:

43、1、 本技术实现了高精度三维视觉感知、支持引导五自由度定位技术的有机融合,能够高效且准确地从点云中提取簇架特征并解算其完整六自由度位姿,从而针对性地应用于五自由度堆垛机而实现了高精度定位,本技术具有较高的技术创新价值。

44、2、 针对现有技术在堆垛机搬运定位过程中无法有效处理簇架在三维空间中的角度偏移问题,本技术提出了一种高精度、鲁棒性强的三维视觉定位方法以实现对簇架六自由度位姿(包括x、y、z方向的平移及绕xyz轴的角度)的精确识别,并能将其修正到五自由度堆垛机中(缺少绕x轴的角度偏转,即俯仰角),从而显著地提高了堆垛机搬运入簇作业的定位精度、运行安全性与环境适应性。

45、3、 与现有技术仅能检测x、y、z三个方向上的平移偏差、无法处理簇架因安装或运输导致的俯仰、偏航或滚转等角度偏移相比,本技术通过建立类机械臂的运动学模型,能够实现视觉位姿与堆垛机电控指令的无缝对接,同时基于双侧3d点云配准可完整解算簇架的六自由度位姿,显著提升对复杂摆放状态的适应能力。

46、4、 本技术针对现有堆垛机缺少俯仰自由度的结构限制,通过将俯仰角引起的末端位置偏差合理地映射并补偿至z轴方向,从而使六自由度感知结果可有效地驱动五自由度执行机构,能够兼顾定位精度与工程可行性。

47、5、 相较于现有技术单侧或2d视觉方法,本技术通过在堆垛机两侧对称地布置3d相机,不仅扩大了观测视野,减少遮挡盲区,还能通过左右点云数据交叉验证以显著地提高位姿估计的稳定性和抗干扰能力;采取3d相机能够直接获取深度信息且不受环境光照影响,可克服现有2d视觉在明暗变化剧烈工况下易失效的问题,显著提升系统在真实产线环境中的可靠性。