一种基于双目视觉的机械臂目标物体抓取方法与流程

1.本发明涉及双目视觉跟踪技术领域，具体地，涉及一种基于双目视觉的机械臂目标物体抓取方法。


背景技术：

2.双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法，从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。通过目标物体距离双目视觉相机的深度信息，就可以计算出物体与相机之间的实际距离、物体3维大小、两点之间实际距离。目前也有很多研究机构进行3维物体识别，来解决2维算法无法处理遮挡，姿态变化的问题，提高物体的识别率。
3.双目视觉技术是当前计算机视觉研究的重点和热点，双目视觉对物体的感知过程主要是模仿人眼对物体的感知过程，简便可靠，具有较大的应用前景，一直以来也是受到国内外专家学者的重视。由于双目视觉技术直接模仿人眼，并且可以满足实时性要求，所以越来越广泛的运用到计算机视觉，机器人跟踪识别，车导航等领域，实现未知场景感知，空间位置定位灯功能，因此对于双目视觉的跟踪算法的研究具有十分重要的现实意义。
4.双目视觉是目标检测与跟踪技术常采用的方法，但目前的技术对于检测中的不连续点、断边不能有效的进行处理，从二维图像中获取空间三维信息时会出现精度不准确，数据丢失等问题。


技术实现要素：

5.针对现有技术中存在的问题，本发明提供了一种基于双目视觉的机械臂目标物体抓取方法，克服现有机械臂系统无法根据复杂的现场环境自主抓取和对于手眼标定eye-in-hand深度信息的丢失而导致控制系统和伺服操作无法正常工作的问题。
6.为了实现上述目的，本发明采取的技术方案是：一种基于双目视觉的机械臂目标物体抓取方法，具体包括如下步骤：
7.步骤1、将双目视觉相机水平放置，使得所述双目视觉相机与机械臂底座处于同一水平面上，通过双目视觉相机获取带有目标物体的rgb图像；
8.步骤2、将带有目标物体的rgb图像转换成hsv颜色空间，获得目标物体距离双目视觉相机的深度信息；
9.步骤3、将带有目标物体的rgb图像的像素坐标结合深度信息得到目标物体在双目视觉相机坐标系中的三维空间坐标；
10.步骤4、将双目视觉相机的坐标系原点转换成机械臂基座坐标系的笛卡尔坐标，结合目标物体在双目视觉相机坐标系中的三维空间坐标，计算目标物体在机械臂基座坐标系的三维坐标；
11.步骤5、通过目标物体在机械臂基座坐标系中的方位角、极角、机械臂末端旋转角
获取机械臂末端的抓取姿态；
12.步骤6、将目标物体在机械臂基座的三维坐标及抓取时机械臂末端的抓取姿态作为控制信息发送至机械臂控制器，实现目标物体的抓取。
13.进一步地，所述双目视觉相机的识别区域为机械臂工作半径范围，且所述双目视觉相机位置与识别区域的距离为0.8-20.0m。
14.进一步地，所述双目视觉相机获取带有目标物体的rgb图像前需要先矫正双目视觉相机中左、右摄像机的左、右内参。
15.进一步地，步骤2的具体过程为：将带有目标物体的rgb图像转换成hsv颜色空间，根据目标物体在hsv颜色空间中的饱和度区间和色调区间的阈值来分割目标物体，同时将识别到的目标区域位置与目标物体的深度图像进行匹配，获得目标物体距离双目视觉相机的深度信息。
16.进一步地，所述目标物体距离双目视觉相机的深度信息d为：
[0017][0018]
其中，n表示识别区域像素点个数，i为识别区域像素点的索引，di为识别区域中每个像素点的深度信息。
[0019]
进一步地，步骤3包括如下子步骤：
[0020]
步骤31、建立图像平面坐标系，将带有目标物体的rgb图像的像素坐标(u,v)转换到图像平面坐标系下，得到对应的图像物理坐标(x,y)：
[0021][0022]
其中，dx表示像素在x轴上的物理尺寸，dy表示像素在y轴上的物理尺寸；
[0023]
步骤32、建立双目视觉相机坐标系，根据双目视觉相机成像原理将图像物理坐标(x,y)转换成目标物体在双目视觉相机坐标系中的三维空间坐标(x,y,z)：
[0024][0025]
其中，f表示双目视觉相机的整体焦距，d为目标物体距离双目视觉相机的深度信息，f
x
为图像像素坐标系转图像物理坐标系的过程中，x方向上单位像素的缩放倍数，fy为图像像素坐标系转图像物理坐标系的过程中，y方向上单位像素的缩放倍数。
[0026]
进一步地，所述目标物体在机械臂基座坐标系的三维坐标(x2,y2,z2)的计算过程为：
[0027][0028]
其中，θ为机械臂基座坐标系相对于双目视觉相机坐标系在z轴上的旋转角，(x1,y1,z1)为双目视觉相机的坐标系原点转换成的机械臂基座坐标系的笛卡尔坐标，(x,y,z)为目标物体在双目视觉相机坐标系中的三维空间坐标。
[0029]
进一步地，步骤5包括如下子步骤：
[0030]
步骤51、以机械臂基座指向双目视觉相机方向为x轴正方向，x轴正方向逆时针旋转90度为机械臂基座y轴正方向，计算目标物体在机械臂基座坐标系中的方位角α、极角β和机械臂末端旋转角ω；
[0031]
步骤52、将计算的方位角α、极角β和机械臂末端旋转角ω进行zyz的欧拉旋转，得到四元数(x
′
,y
′
,z
′
,w
′
)作为机械臂末端的抓取姿态：
[0032][0033]
进一步地，若目标物体(x2,y2)位于机械臂基座坐标系的第一象限，方位角α为：
[0034][0035]
若目标物体(x2,y2)位于机械臂基座坐标系的第二象限，方位角α为：
[0036][0037]
若目标物体(x2,y2)位于机械臂基座坐标系的第三象限，方位角α为：
[0038][0039]
若目标物体(x2,y2)位于机械臂基座坐标系的第四象限，方位角α为：
[0040][0041]
若x2＝0，y2》0时，α＝π/2；x2＝0，y2《0时，α＝3π/2，
[0042]
若y2＝0，x2》0时，α＝0；y2＝0，x2《0时，α＝π。
[0043]
与现有技术相比，本发明具有如下有益效果：本发明基于双目视觉的机械臂目标物体抓取方法通过图像像素坐标系、图像平面坐标系、双目视觉相机坐标系以及机械臂基座坐标系的转换，将目标物体的图像像素坐标转换成机械臂基座坐标，相比传统的接触式测量坐标的方法，更为准确和高效；传统的多传感器目标物体抓取方法存在信息不易耦合、稳定性及准确性差的问题，而本发明基于双目视觉的机械臂目标物体抓取方法利用双目视觉进行跟踪抓取更为快捷、准确和智能，双目视觉相机相比于单目相机而言，获取的深度信
息更为准确；相比于rgb-d相机，成本更为廉价，在保证准确性的前提下，更加节约成本，能够适用于工业生产和日常生活。本发明基于双目视觉的机械臂目标物体抓取方法具有较高的鲁棒性，与传统的单目跟踪算法相比，由于其确定的双目间距，提升了识别的准确性，其次由于算法中只要求相对亮度信息，而非绝对亮度信息，即使在较为恶劣的场景下，如光线突变也能准确识别及跟踪物体，完成抓取任务。本发明基于双目视觉的机械臂目标物体抓取方法将视觉跟踪引入工业机器人控制中，大大提高了工业自动化的水平，对本行业的发展革新有着较为深刻的意义。
具体实施方式
[0044]
下面对本发明的技术方案作进一步地解释说明。
[0045]
本发明提供了一种基于双目视觉的机械臂目标物体抓取方法，具体包括如下步骤：
[0046]
步骤1、将双目视觉相机水平放置，使得双目视觉相机与机械臂底座处于同一水平面上，通过双目视觉相机获取带有目标物体的rgb图像；本发明中双目视觉相机的识别区域为机械臂工作半径范围，且双目视觉相机位置与识别区域的距离为0.8-20.0m，并确保识别区域不被遮挡。同时，双目视觉相机获取带有目标物体的rgb图像前需要先矫正双目视觉相机中左、右摄像机的左、右内参，双目视觉相机的左、右内参是与双目视觉相机自身特性有关的参数，以此确定其焦距和像素大小，根据双目视觉相机提供的校准程序得到双目视觉相机中左、右摄像机的左、右内参：
[0047][0048]
其中，表示左摄像机图像横轴方向上以像素为单位的焦距，为左摄像机图像纵轴方向上以像素为单位的焦距，为左摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为左摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，为右摄像机图像横轴方向上以像素为单位的焦距，为右摄像机图像纵轴方向上以像素为单位的焦距，为右摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为右摄像机光轴与图像中心在纵轴方向上以像素为单位的差距。
[0049]
步骤2、利用三角测量的原理，通过双目相机输出深度图像，深度图像根据颜色深浅来区分深度大小。随后，将带有目标物体的rgb图像转换成hsv颜色空间，将两张图片进行匹配，进而获得目标物体距离双目视觉相机的深度信息。利用此种方法，能够迅速且稳定地获取深度，深度信息准确。具体地，将带有目标物体的rgb图像转换成hsv颜色空间，根据目标物体在hsv颜色空间中的饱和度区间和色调区间的阈值来分割目标物体，同时将识别到的目标区域位置与目标物体的深度图像进行匹配，获得目标物体距离双目视觉相机的深度信息d：
[0050]
[0051]
其中，n表示识别区域像素点个数，i为识别区域像素点的索引，di为识别区域中每个像素点的深度信息。
[0052]
步骤3、机器人的抓取动作均是基于机器人基坐标下完成的，故为让机器人能够对目标工件进行抓取，需要将工件的图像坐标转换成机器人基坐标系下的三维坐标。坐标系的统一有利于避免后续繁琐的坐标转换运算，同时也便于进行后续旋转角的计算。通过将带有目标物体的rgb图像的像素坐标结合深度信息得到目标物体在双目视觉相机坐标系中的三维空间坐标；具体包括如下子步骤：
[0053]
步骤31、建立图像平面坐标系，将带有目标物体的rgb图像的像素坐标(u,v)转换到图像平面坐标系下，得到对应的图像物理坐标(x,y)：
[0054][0055]
其中，dx表示像素在x轴上的物理尺寸，dy表示像素在y轴上的物理尺寸；由公式(2)得到从图像物理坐标到图像像素坐标变换的矩阵形式：
[0056][0057]
步骤32、建立双目视觉相机坐标系，根据双目视觉相机成像原理将图像物理坐标(x,y)转换成目标物体在双目视觉相机坐标系中的三维空间坐标(x,y,z)：
[0058][0059]
其中，f表示双目视觉相机的整体焦距，d为目标物体距离双目视觉相机的深度信息，f
x
为图像像素坐标系转图像物理坐标系的过程中，x方向上单位像素的缩放倍数，fy为图像像素坐标系转图像物理坐标系的过程中，y方向上单位像素的缩放倍数。
[0060]
步骤4、在步骤1中安装双目视觉相机时，它相对于机械臂的位置关系是确定的，其中机械臂基座的坐标系与基于双目视觉相机的坐标系x轴相互平行但方向相对，y轴相互平行但方向相向，z轴相互平行且方向一致，且已知双目视觉相机的坐标系原点在机械臂基座坐标系的笛卡尔坐标，结合目标物体在双目视觉相机坐标系中的三维空间坐标，计算目标物体在机械臂基座坐标系的三维坐标(x2,y2,z2)：
[0061][0062]
其中，θ为机械臂基座坐标系相对于双目视觉相机坐标系在z轴上的旋转角，根据已知双目视觉相机与机械臂的安装位置关系，可得θ＝π；(x1,y1,z1)为双目视觉相机的坐标系原点转换成的机械臂基座坐标系的笛卡尔坐标，(x,y,z)为目标物体在双目视觉相机坐标系中的三维空间坐标。
[0063]
获取机械臂基座坐标系的三维坐标是为了进行机械臂抓取操作，其次坐标系的统一有利于避免后续繁琐的坐标转换运算，同时也便于进行后续旋转角的计算。
[0064]
步骤5、通过目标物体在机械臂基座坐标系中的方位角、极角、机械臂末端旋转角获取机械臂末端的抓取姿态，采用方位角、极角、机械臂末端旋转角获取目标物体姿态的原因是因为其直观且容易获取，也便于对后续转换成四元数；具体包括如下子步骤：
[0065]
步骤51、以机械臂基座指向双目视觉相机方向为x轴正方向，x轴正方向逆时针旋转90度为机械臂基座y轴正方向，计算目标物体在机械臂基座坐标系中的方位角α、极角β和机械臂末端旋转角ω；
[0066]
本发明中方位角α表示从x轴正方向开始，逆时针方向旋转与目标物体到坐标原点连线之间的夹角，若目标物体(x2,y2)位于机械臂基座坐标系的第一象限，方位角α为：
[0067][0068]
若目标物体(x2,y2)位于机械臂基座坐标系的第二象限，方位角α为：
[0069][0070]
若目标物体(x2,y2)位于机械臂基座坐标系的第三象限，方位角α为：
[0071][0072]
若目标物体(x2,y2)位于机械臂基座坐标系的第四象限，方位角α为：
[0073][0074]
若x2＝0，y2》0时，α＝π/2；x2＝0，y2《0时，α＝3π/2，
[0075]
若y2＝0，x2》0时，α＝0；y2＝0，x2《0时，α＝π。
[0076]
本发明中极角β表示正z轴到目标物体矢量的角度，代表目标物体的倾斜程度；旋转角ω表示机械臂末端抓取物体时旋转的角度，由于目标物体竖直放置，则：
[0077][0078][0079]
步骤52、将计算的方位角α、极角β和机械臂末端旋转角ω进行zyz的欧拉旋转，得
到四元数(x
′
,y
′
,z
′
,w
′
)作为机械臂末端的抓取姿态：
[0080][0081]
四元数作为一种描述姿态的方法，能够避免欧拉角的“死锁”问题，且能与其他姿态表示形式进行快速转换。步骤6、将目标物体在机械臂基座的三维坐标及抓取时机械臂末端的抓取姿态作为控制信息发送至机械臂控制器，实现目标物体的抓取。
[0082]
本发明基于双目视觉的机械臂目标物体抓取方法相比于传统的单目跟踪算法而言，更为简便，本发明中的双目视觉相机的位置固定好即可完成任务，而传统的单目跟踪算法需要将相机不停更换位置才能达到三角测量的要求。此外，由于单目获得的相邻图像间的位置的不确定容易产生误差。而本发明基于双目视觉的机械臂目标物体抓取方法则克服了该弊端，通过双目间的距离固定，使得获取的结果精度更高。其次，本发明基于双目视觉的机械臂目标物体抓取方法的鲁棒性较好，本发明要求的图像只需要相对的亮度信息，故双目视觉相机在左右目光线差异较大时也能成功获取到深度信息。综上，本发明基于双目视觉的机械臂目标物体抓取方法实用性好，为机械臂完成目标物体的抓取提供了一种方便、快捷且智能的优良方案。
[0083]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。