一种视觉机器人抓取系统及其控制方法

1.本发明涉及计算机视觉和机器人智能控制技术领域，特别是一种视觉机器人抓取系统及其控制方法。


背景技术：

2.机器人是一种可以自动执行工作的机器装置。它既可以接受人类的指令，又可以运行预先设定的程序，同时可以根据以人工智能技术指定的原则纲领行动。它的任务是协助甚至代替人类在实际生产中的工作地位，例如在服务业、建筑业、工厂生产中，或是危险的工作。
3.目前，市场上视觉公司的视觉控制软件专业性非常强，主要的使用人群是专业的视觉工程师，还要具备一定的专业知识，了解复杂的图像处理算法。此类视觉控制软件系统的缺陷在于：一方面，专业性强，使用人群针对的是专业的技术人员，普通工人的学习成本非常高，很难大规模推广应用；另一方面，易用性很低，即使是专业的技术人员，创建一项任务也需要很长的调试时间，降低生产效率。市场上缺乏操作简单以及抓取系统可以通过调整参数适应不同工件的控制方法。


技术实现要素：

4.本发明的目的在于提供一种能够对不同尺寸的工件进行识别和抓取且操作简单、适应性强、自动化程度高的视觉机器人抓取系统及其控制方法。
5.实现本发明目的的技术解决方案为：一种视觉机器人抓取系统，包括主控制系统、从控制系统、视觉系统、抓取系统，所述的主控制系统用来发送指令，分别控制从控制系统、视觉系统、抓取系统；
6.所述主控制系统包括主处理器、存储器、数据采集模块、数据处理模块、坐标系转换模块、显示屏和通信接口；
7.所述从控制系统包括机器人工作环境建模、机器人路劲规划、机器人控制器、仿真环境模拟抓取；
8.所述视觉系统包括相机标定模块、图像预处理、图像识别与匹配；
9.所述抓取系统包括转换工件姿态、映射工件抓取、末端执行器模块；
10.所述主控制系统中的主处理器内设有主控制系统程序模块，从控制系统中的主处理器内设有从控制系统程序模块，视觉系统中的主处理器内设有视觉系统程序模块。
11.进一步地，所述主控制系统包括主处理器、存储器、数据采集模块、数据处理模块、坐标系转换模块、显示屏和通信接口，具体操作如下：
12.所述主处理器为主控制系统、从控制系统的控制核心；
13.所述存储器用于存储整个抓取系统工作过程中产生的数据和程序模块；
14.所述数据采集模块包括两个ccd相机，这两个ccd相机固定在工件经过的传送带正上方，用于采集ccd相机视野区域内的工业生产场景的所述工件图像信息，并将所述图像信
息发送至所述存储器，所述主处理器根据所述图像信息计算出执行数据信号，所述末端执行器模块根据执行数据信号执行相应的动作；
15.所述数据处理模块将经过数据采集模块中的两个ccd相机采集到的工件图像信息进行值域化成为二值图像，然后进行高斯平滑处理、形态学边界提取处理，计算工件轮廓矩和外接最小矩形来识别和匹配工件，同时得到工件的中心坐标；
16.所述坐标系转换模块将所述数据采集模块的两个ccd相机与所述视觉机器人的数据互联，以得到相机坐标系和机器人坐标系的坐标参数转换；
17.所述显示屏用于实时显示上位机图形用户控制界面，匹配到的工件中心坐标数据；
18.所述通信接口用于对所述主处理器进行升级时信息的接入，同时和从控制系统进行通信。
19.进一步地，所述从控制系统包括机器人工作环境建模、机器人路径规划、机器人控制器、仿真环境模拟抓取，其中：
20.所述机器人工作环境建模是对所述机器人工作环境障碍物已知的前提中，机器人初始位置到目标点的行进过程中能够安全、不与已知环境发生碰撞的情况下，为机器人搜索的最优路径，其中包括了机器人工作环境的建模、最优路径的搜索；
21.所述机器人路径规划是指，坐标系转换模块将所述数据采集模块的两个ccd相机与所述机器人的数据互联之后，计算得到相机坐标系到机器人坐标系的坐标参数转换，机器人根据得到的当前坐标参数和目标坐标参数通过路径规划算法得到可行的路径点；
22.所述机器人控制器用于控制机器人的动作执行和运动规划；
23.所述仿真环境模拟抓取是指，机器人工作环境建模、机器人路径规划行为完成后，在与机器人对应的仿真软件中，对机器人工作环境的工件和障碍物进行建模，再将计算得到的规划路径输入机器人对应的仿真软件中，机器人在仿真环境中完成模拟抓取。
24.进一步地，所述视觉系统包括相机标定模块、图像预处理、图像识别与匹配；
25.所述相机标定模块，用于还原ccd相机中成像的物体在真实世界的位置，通过计算转换矩阵将世界坐标系转换到图像坐标系；
26.所述图像预处理，是将数据采集模块采集的工件图像，进行值域化成为二值图像，然后进行高斯平滑处理、形态学边界提取处理；
27.所述图像识别与匹配，数据处理模块通过计算工件轮廓矩和外接最小矩形来识别和匹配工件，同时得到工件的中心坐标，将数据处理模块计算得到的工件轮廓与实际的工件轮廓进行识别与匹配。
28.进一步地，所述抓取系统包括转换工件姿态、映射工件抓取、末端执行器模块；
29.所述转换工件位姿是指，在完成仿真环境中机器人抓取工件从当前位置至目标位置的最优规划路径前提下，将机器人动作转换到工件姿态；
30.所述映射工件抓取是指，在完成转换工件姿态之后，将仿真环境模拟抓取动作映射到世界坐标系的工件抓取；
31.所述末端执行器模块，用于对工件抓取进行映射，同时执行将工件从当前位置抓取到目标位置的动作。
32.进一步地，所述主控制系统中的主处理器内设有主控制系统程序模块，从控制系
统中的主处理器内设有从控制系统程序模块，视觉系统中的主处理器内设有视觉系统程序模块，具体如下：
33.(1)所述主控制系统程序，包括变量参数初始化程序、自检测程序、相机启动程序、机器人启动程序、相机与机器人协同控制程序、故障诊断与故障处理程序、上位机界面控制程序；
34.所述变量参数初始化程序，视觉机器人抓取系统中定义的变量包括，链表中的计数变量、位置变量、计时器变量、最小外接矩形变量，对以上变量进行初始化；
35.所述自检测程序，用于进行开机自动检测，检测各个控制器的所有控制对象是否在原点，若存在控制对象不在原点的问题，则自动调用复位程序对所有控制对象进行复位，若复位程序执行后仍有控制对象未回到原点则报警；
36.所述相机启动程序，用于启动相机，对相机的参数进行校准，同时进行相机拍照；
37.所述相机与机器人协同控制程序，是满足定义的计时器变量，进行拍照，将照片发送到视觉系统程序，同时机器人根据视觉系统处理获得的坐标完成抓取动作；
38.所述故障诊断与故障处理程序，用于检测和处理控制系统所产生的故障，故障处理程序根据检测到的不同的故障类型进行不同的处理，同时在所述上位机界面显示，同时启动报警装置进行报警；
39.所述上位机界面控制程序，是将所述变量参数初始化程序、自检测程序、相机启动程序、机器人启动程序、相机与机器人协同控制程序、故障诊断与故障处理程序，显示在上位机界面，同时通过上位机界面上定义的按钮来调整；
40.(2)所述从控制系统程序，通过所述视觉系统程序处理，获得工件起始坐标，通过机器人逆运动学方程建立从系统控制程序，控制机器人从起始位置将工件搬运到目标位置；
41.(3)所述视觉系统程序，通过相机拍照获得的工件图像采用进行值域化成为二值图像，然后进行高斯平滑处理、形态学边界提取处理，匹配工件的位置坐标。
42.一种视觉机器人抓取系统的控制方法，利用数据采集模块对工件图像进行采集，利用图像预处理环节得到预处理之后的工件图像数据，利用视觉系统对工件进行识别和匹配，利用路径规划算法求取机器人行进路径的最优解，利用主控制系统给从控制系统中机器人控制器发送信号，控制末端执行器模块执行工件的抓取和搬运；具体包括以下步骤：
43.步骤1、对视觉机器人抓取系统的相机进行标定；
44.步骤2、图像预处理对图像数据进行平滑和边界提取：通过所述步骤1的相机标定后，对ccd相机拍摄的工件图像进行二值化处理，并对图像进行高斯滤波平滑处理，最后使用形态学边界提取方法对平滑处理之后的图像进行边界提取处理；
45.步骤3、图像识别与匹配：通过所述步骤2对图像进行的平滑和边界提取处理后，对图像进行绘制最小外接矩形，同时找到面积最大的轮廓与工件图像进行匹配；
46.步骤4、在机器人仿真软件中完成机器人运动路径的模拟抓取：通过所述步骤3对工件图像识别与匹配之后，得到工件的中心点坐标，在机器人仿真软件中对机器人工作环境建模，同时在机器人仿真软件中进行模拟抓取工件动作；
47.步骤5、完成智能机器人在真实环境下的抓取：通过所述步骤4机器人仿真软件中模拟抓取动作完成，把仿真环境中的动作映射到真实环境下，同时完成智能机器人对工件
的抓取动作。
48.进一步地，步骤1所述对视觉机器人抓取系统的相机进行标定，具体如下：
49.根据视觉系统中相机标定模块用于工件图像的世界坐标系和相机坐标系之间转换以及矫正图像畸变，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立摄像机成像的几何模型，这些几何模型参数是摄像机参数；
50.图像坐标系与平面坐标系的关系为：
[0051][0052]
其中，u,v表示图像坐标系中像素点行向量和列向量坐标值，x,y表示平面坐标系下的坐标值，d
x
,dy表示单个像素点在x和y方向上的物理尺寸；
[0053]
机器人坐标系与双目ccd相机的深度坐标系的转换模型为：
[0054][0055]
其中，[x
c y
c zc]为相机坐标系下的坐标值，[x
w y
w zw]为世界坐标系下的坐标值，[δt
x δt
y δtz]为坐标系平移增量；
[0056]
平面坐标系与像素坐标系转换模型为：
[0057][0058]
其中，f
x
＝f/dx、fy＝f/dy；m是3
×
4的投影矩阵，内参数f
x
、fy、c
x
、cy决定了相机的内参m1，f
x
、fy分别表示图像u轴和v轴上的尺度因子，(c
x
,cy)为主点坐标，m2是相机的外参数。
[0059]
本发明与现有技术相比，其显著优点为：(1)使用定义参数的方法，通过调整定义参数来抓取不同尺寸的工件，增强了抓取系统的适应性；(2)以应用于抓取不同尺寸的工件和适应不同的工业自动化生产场景，简化工作编程的复杂性，提高机器人的应用范围和实际生产中的工作效率；(3)在仅有视觉传感器作为输入时，能够在多个物体中对指定物体执行自适应抓取，也可完成对移动物体的视觉追踪，实时性强、检测率高、鲁棒性强，通用性好。
附图说明
[0060]
图1是本发明视觉机器人抓取系统的结构示意图。
[0061]
图2是本发明的整体程序架构图。
[0062]
图3是本发明的程序控制流程图。
具体实施方式
[0063]
下面结合附图及具体实施例对本发明作进一步详细说明。
[0064]
本发明的结构模块架构如图1所示，此一种视觉机器人抓取系统，包括主控制系统、从控制系统、视觉系统、抓取系统，所述的主控制系统来发送指令，分别控制从控制系统、视觉系统、抓取系统；
[0065]
所述主控制系统包括主处理器、存储器、数据采集模块、数据处理模块、坐标系转换模块、显示屏和通信接口；
[0066]
所述主处理器为主控制系统、从控制系统的控制核心；
[0067]
所述存储器是用于存储整个抓取系统工作过程中产生的数据和程序；
[0068]
所述数据采集模块包括两个ccd相机，这两个ccd相机固定在工件经过的传送带正上方，负责采集ccd相机视野区域内的工业生产场景的所述工件图像信息，并将所述图像信息发送至所述主控制系统，所述主控制系统分局所述图像信息计算出执行数据信号，所述末端执行器模块根据执行数据信号执行相应的动作；
[0069]
所述数据处理模块对于经过所述数据采集模块中的两个ccd相机采集到的所述工件图像信息发送给所述主控制系统，所述主控制系统中的数据处理模块将所述工件图像信息进行值域化成为二值图像，然后进行高斯平滑处理、形态学边界提取处理，计算工件轮廓矩和外接最小矩形来识别和匹配工件，同时得到工件的中心坐标；
[0070]
所述坐标系转换模块是将所述数据采集模块的两个ccd相机与所述机器人的数据互联，以得到相机坐标系和机器人坐标系的坐标参数转换；
[0071]
所述显示屏用于实时的显示上位机图形用户控制界面，匹配到的工件中心坐标数据；
[0072]
所述通信接口用于对所述主处理器进行升级时信息的接入，同时和从控制系统进行通信。
[0073]
所述从控制系统包括机器人工作环境建模、机器人路劲规划、机器人控制器、仿真环境模拟抓取；
[0074]
所述机器人工作环境建模是对所述机器人工作环境障碍物已知的前提中，机器人初始位置到目标点的行进过程中能够安全、不与已知环境发生碰撞的情况下，为机器人搜索的最优路径，其中包括了机器人工作环境的建模、最优路径的搜索。
[0075]
所述机器人路径规划是在所述坐标系转换模块将所述数据采集模块的两个ccd相机与所述机器人的数据互联之后计算得到相机坐标系到机器人坐标系的坐标参数转换，机器人根据得到的当前坐标参数和目标坐标参数通过路径规划算法得到可行的路径点。
[0076]
所述机器人控制器用于控制机器人的动作执行和运动规划；
[0077]
所述仿真环境模拟抓取是对所述机器人工作环境建模、机器人路径规划行为完成后，在所述机器人对应的仿真软件中，对机器人工作环境的工件和障碍物进行建模，再将计算得到的规划路径输入所述机器人对应的仿真软件中，所述机器人再仿真环境中完成模拟抓取。
[0078]
所述视觉系统包括相机标定模块、图像预处理、图像识别与匹配；
[0079]
所述相机标定模块，用于还原所述ccd相机中成像的物体在真实世界的位置，通多计算转换矩阵将世界坐标系转换到图像坐标系；
[0080]
所述图像预处理是将所述的视觉机器人抓取系统中所述数据采集模块采集的工件图像，进行值域化成为二值图像，然后进行高斯平滑处理、形态学边界提取处理；
[0081]
所述图像识别与匹配，是将所述视觉机器人抓取系统中所述数据处理模块，计算工件轮廓矩和外接最小矩形来识别和匹配工件，同时得到工件的中心坐标，将所述数据处理模块计算得到的工件轮廓与实际的工件轮廓进行识别与匹配。
[0082]
所述抓取系统包括转换工件姿态、映射工件抓取、末端执行器模块；
[0083]
所述转换工件位姿是将所述仿真环境模拟抓取完成仿真环境中机器人抓取工件从当前位置至目标位置的最优规划路径前提下，将所述机器人动作转换到工件姿态；
[0084]
所述映射工件抓取在完成所述转换工件姿态之后，将所述仿真环境模拟抓取动作映射到世界坐标系的工件抓取；
[0085]
所述末端执行器模块用于对所述工件抓取进行映射，同时执行将所述工件从当前位置抓取到目标位置的动作。
[0086]
本发明的整体程序架构图如图2所示，所述主控制系统中的主处理器内设有主控制系统程序，所述从控制系统中的主处理器内设有从控制系统程序，所述主控制系统中的主处理器内设有视觉系统程序；
[0087]
所述主控制系统程序，包括变量参数初始化程序、自检测程序、相机启动程序、机器人启动程序、相机与机器人协同控制程序、故障诊断与故障处理程序、上位机界面控制程序；
[0088]
所述变量参数初始化程序，视觉机器人抓取系统中定义的变量包括，链表中的计数变量、位置变量、计时器变量、最小外接矩形变量，对以上变量进行初始化；
[0089]
所述自检测程序，用于进行开机自动检测，检测各个控制器的所有控制对象是否在原点，若存在控制对象不在原点的问题，则自动调用复位程序对所有控制对象进行复位，若复位程序执行后仍有控制对象未回到原点则报警；
[0090]
所述相机启动程序，用于进行启动相机，对相机的参数进行校准，同时进行相机拍照；
[0091]
所述相机与机器人协同控制程序，是满足定义的计时器变量，进行拍照，将照片发送到视觉系统程序，同时机器人根据视觉系统处理获得的坐标完成抓取动作；
[0092]
所述故障诊断与故障处理程序，用于检测和处理控制系统所产生的故障，故障处理程序根据检测到的不同的故障类型进行不同的处理，同时在所述上位机界面显示，同时启动报警装置进行报警；
[0093]
所述上位机界面控制程序，是将所述变量参数初始化程序、自检测程序、相机启动程序、机器人启动程序、相机与机器人协同控制程序、故障诊断与故障处理程序，显示在上位机界面，同时可以通过上位机界面上定义的按钮来调整。
[0094]
所述从控制系统程序，包括机器人工作环境建模程序、机器人运动路径规划程序程序、机器人抓取程序；
[0095]
所述机器人工作环境建模程序，是对机器人工作环境和机器人进行建模；
[0096]
所述机器人运动路径规划程序，通过所述视觉系统程序处理，获得的工件起始坐
标，通过机器人逆运动学方程建立方程，控制机器人从起始位置将工件搬运到目标位置；
[0097]
所述机器人抓取程序，是将抓取信号给到继电器，同时接通工件机械手抓取工件。
[0098]
所述视觉系统程序，包括相机标定程序、图像预处理程序、图像识别与匹配程序；
[0099]
所述相机标定程序，将相机的内参和外参以及相机的畸变矫正，将世界坐标系转换到图像坐标系；
[0100]
所述图像预处理程序，通过相机拍照获得的工件图像采用进行值域化成为二值图像，然后进行高斯平滑处理、形态学边界提取处理；
[0101]
所述图像识别与匹配程序，通过计算工件轮廓矩和外接最小矩形，同时得到工件的中心坐标，将所述数据处理模块计算得到的工件轮廓与实际的工件轮廓进行识别与匹配。
[0102]
本发明的程序控制流程图如图3所示，视觉机器人抓取系统的控制方法，包括以下步骤：
[0103]
步骤1、完成抓取系统的相机标定；
[0104]
根据所述视觉系统中所述相机标定模块用于工件图像的世界坐标系和相机坐标系之间转换以及矫正图像畸变，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立摄像机成像的几何模型，这些几何模型参数是摄像机参数；
[0105]
图像坐标系与平面坐标系的关系为：
[0106][0107]
其中，u,v表示图像坐标系中像素点行向量和列向量坐标值，x,y表示平面坐标系下的坐标值，d
x
,dy表示单个像素点在x和y方向上的物理尺寸；
[0108]
机器人坐标系与双目ccd相机的深度坐标系的转换模型为：
[0109][0110]
其中，[x
c y
c zc]为相机坐标系下的坐标值，[x
w y
w zw]为世界坐标系下的坐标值，[δt
x δt
y δtz]为坐标系平移增量；
[0111]
平面坐标系与像素坐标系转换模型为：
[0112][0113]
其中，f
x
＝f/dx和fy＝f/dy。m是3
×
4的投影矩阵，内参数f
xfycxcy
决定了相机的内参m1，f
xfy
分别表示图像u轴和v轴上的尺度因子，(c
x
,cy)为主点坐标，m2是相机的外参数。
[0114]
步骤2、图像预处理对图像数据进行平滑和边界提取；
[0115]
通过所述的相机标定后，对ccd相机拍摄的工件图像进行二值化处理，并对图像进行高斯滤波平滑处理，最后使用形态学边界提取方法对平滑处理之后的图像进行边界提取处理；
[0116]
步骤3、图像识别与匹配；
[0117]
通过所述的图像进行的平滑和边界提取处理后，通过计算工件轮廓矩和外接最小矩形，同时得到工件的中心坐标，将所述数据处理模块计算得到的工件轮廓与实际的工件轮廓进行识别与匹配。
[0118]
步骤4、在机器人仿真软件中完成机器人运动路径的模拟抓取；
[0119]
通过所述的工件图像识别与匹配之后，得到工件的中心点坐标，在机器人仿真软件中对机器人工作环境建模，同时在机器人仿真软件中进行模拟抓取工件动作。
[0120]
步骤5、完成智能机器人在真实环境下的抓取；
[0121]
通过所述的机器人仿真软件中模拟抓取动作完成，把仿真环境中的动作映射到真实环境下，同时完成智能机器人对工件的抓取动作。
[0122]
综上所述，本发明使用了定义参数的方法，可以通过调整定义参数来抓取不同尺寸的工件，增强了抓取系统的适应性。并且此抓取系统操作简单，不需要太多的专业性理论知识，即可操作此抓取系统。此发明抓取系统可以提高工业产线的自动化程度和安全性，节省了人力，降低了生产成本，提高了工作效率。