一种多目相机和线激光辅助机械臂跟踪目标的方法和装置与流程

技术特征：
1.一种多目相机和线激光辅助机械臂跟踪目标的方法，包括：s100,对多目相机进行内参标定和外参标定；s200,对线激光与机械臂之间的位置关系进行标定；s300，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；s400,使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(x1,y1,z1)；s500，将机械臂末端移至目标物体第一个角点所在的空间位置(x1,y1,z1)；s600,用线激光扫描目标物体的边缘，得到边缘点的三维坐标(x
p
,y
p
,z
p
)；s700,将机械臂末端移动至目标物体边缘点的三维坐标(x
p
,y
p
,z
p
)；s800,重复步骤s600和步骤s700，直至跟踪扫描完目标物体的所有轮廓。2.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：所述的s200对线激光与机械臂之间位置关系标定，包括：s210，移动机械臂，使机械臂上连接的工具头末端接触到平面标定板；s220，记录下此时机械臂上的工具头末端在机械臂坐标系下的位置p1；s230，移动工具头末端，使得接触平面标定板的位置改变，重复步骤s210和步骤s220，得到新的坐标点p2；s240，重复s230五次以上，记录工具头末端在平面标定板上的坐标点p1、p2、p3、p4、p5…
；s250，通过p1、p2、p3、p4、p5…
，拟合出平面标定板在机械臂坐标下的方程为ax by cz d＝0；s260，使用线激光扫描平面标定板，记录下所有打在平面标定板上的三维坐标点p
laser
；s270，调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点p
laser
；s280，不断调整机械臂姿态，重复步骤s270十次以上，记录不同机械臂姿态下线激光所有的三维坐标点p
laser
；s290，根据p
laser
和平面方程：ax by cz d＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。3.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：所述的s300线激光与双目相机之间的位置关系标定，包括：s310多目相机拍摄圆点凸台标定板得到图片；s320通过多目相机测量原理，得到圆点凸台标定板上每个凸起圆的中心点三维坐标p
camera
；s330使用线激光扫描圆点凸台标定板，得到三维坐标点云；s340处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标p
base
；s350将p
camera
和p
base
进行比对，计算出线激光与双目相机之间的位置关系。4.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：对线激光与机械臂之间的位置关系进行标定采用平面度误差在0.1mm以下，大小为80cm*80cm的正方形平面标定板。
5.如权利要求1所述的多目相机和线激光辅助机械臂跟踪目标的方法，其特征在于：对线激光与机械臂之间的位置关系进行标定方法，包括步骤：机械臂去探测平面标定板上的不同坐标点，通过平面拟合得到平面标定板方程；点云数据与平面标定板的方程进行匹配，通过谷歌ceres优化库，得到线激光坐标系与机械臂坐标系之间的位置关系。6.一种多目相机和线激光辅助机械臂跟踪目标的系统，包括：多目相机、线激光和机械臂内参标定单元，用于对多目相机进行内参标定；外参标定单元，用于对多目相机进行外参标定；第一标定单元，用于对线激光与机械臂之间的位置关系进行标定；第二标定单元，对线激光与多目相机之间的位置关系进行标定，得到双目相机与机械臂的位置关系；粗定位单元,用于：使用多目相机同时对目标物体拍摄照片，对每个相机拍摄的照片进行特征匹配，得到目标物体第一个角点在每个相机内的图像坐标系坐标(x,y)，基于双目视觉测量方法，计算出目标物体第一个角点在机械臂坐标系下的三维坐标(x1,y1,z1)；移动单元，用于将机械臂末端移至目标物体第一个角点所在的空间位置(x1,y1,z1)；扫描单元,用于：用线激光扫描目标物体的边缘，得到边缘点的三维坐标(x
p
,y
p
,z
p
)；精定位单元,用于将机械臂末端移动至目标物体边缘点的三维坐标(x
p
,y
p
,z
p
)；跟踪单元,用于：重复扫描单元和精定位单元的任务，直至跟踪扫描完目标物体的所有轮廓。7.如权利要求6所述的多目相机和线激光辅助机械臂跟踪目标的系统，其特征在于：所述的第一标定单元，包括：模块一，用于控制机械臂的移动，使机械臂上连接的工具头末端接触到平面标定板；模块二，用于记录此时机械臂上的工具头末端在机械臂坐标系下的位置p1；模块三，用于：移动工具头末端，使得接触平面标定板的位置改变，重复模块一和模块二的任务，得到新的坐标点p2；模块四，用于：重复模块三的任务五次以上，记录工具头末端在平面标定板上的坐标点p1、p2、p3、p4、p5…
；模块五，用于：通过p1、p2、p3、p4、p5…
，拟合出平面标定板在机械臂坐标下的方程为ax by cz d＝0；模块六，用于：使用线激光扫描平面标定板，记录下所有打在平面标定板上的三维坐标点p
laser
；模块七，用于：调整机械臂姿态，使线激光以不同的姿态扫描平面标定板，记录得到三维坐标点p
laser
；模块八，用于：调整机械臂姿态，重复模块七的任务十次以上，记录不同机械臂姿态下线激光所有的三维坐标点p
laser
；模块九，用于：根据p
laser
和平面方程：ax by cz d＝0，计算出线激光坐标系与机械臂坐标系之间旋转偏移位置关系。8.如权利要求6所述的多目相机和线激光辅助机械臂跟踪目标的系统，其特征在于：所述的第二标定单元，包括：
模块一，用于控制多目相机拍摄圆点凸台标定板得到图片；模块二，用于：通过多目相机测量原理，得到圆点凸台标定板上每个凸起圆的中心点三维坐标p
camera
；模块三，用于：使用线激光扫描圆点凸台标定板，得到三维坐标点云；模块四，用于：处理三维坐标点云，得到每个凸起圆的中心点在机械臂坐标系下的三维坐标p
base
；模块五，用于：将p
camera
和p
base
进行比对，计算出线激光与双目相机之间的位置关系。9.一种多目相机和线激光辅助机械臂跟踪目标的装置或终端，包括一个或多个处理器、存储装置；存储装置，用于存储一个或多个程序；当所述的一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明中任意可选的一种利用多目相机和线激光辅助机械臂跟踪目标的方法。还可以包括通信接口，用于与其它设备或通信网络进行通信。10.一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述本发明中提供的任一一种多目相机和线激光辅助机械臂跟踪目标的方法。

技术总结
本发明提供了一种多目相机和线激光辅助机械臂跟踪目标的方法，通过下述几个部分来实现：包括双目相机内外参数标定、线激光与机械臂位置关系标定、线激光与相机之间位置关系标定、双目相机拍摄目标得到初始点坐标和线激光跟踪扫描目标物体轮廓三维坐标。根据双目相机给定的初始目标点，将机械臂移动至初始位置，使得线激光传感器可以实时扫描到目标物体轮廓，可以精确得到目标物体轮廓的三维坐标，达到机械臂完成跟踪目标物体轮廓的目标,精度可达到毫米级别，易于得到机械臂需要行走的精确坐标。坐标。坐标。


技术研发人员：孟浩 左其友 袁子意 张建
受保护的技术使用者：上海大界机器人科技有限公司
技术研发日：2020.10.22
技术公布日：2022/4/22