一种基于视觉识别的机器人分拣中控系统的制作方法

1.本发明涉及机器人分拣技术领域，更具体地说，本发明涉及一种基于视觉识别的机器人分拣中控系统。


背景技术：

2.传统的分拣作业存在效率低下和劳动强度大等诸多缺点，已逐渐被工业机器人所替代，工业机器人是集机械、电子、计算机和运动控制等技术于一体，可模仿人的部分动作，根据不同的执行程序、轨迹和要求实现自动抓取、搬运工件和操作工具的机电一体化系统，它具有智能化和自动化的特点，能显著提高生产效率，改善工作条件，工业机器人的应用将大大提高我国制造业的技术水平、自动化程度、产品竞争力，促进制造业的转型升级，带来整个工业水平的提高，机器人视觉技术就是把光学电子系统拍摄的影像转换成电子图像并传送到计算机系统进行图像处理，实现对物体的颜色、尺寸、形状和位置等特征的识别，并把识别结果送到计算机以控制其他执行机构完成动作的工业系统，由于它具有非接触、识别精度高、速度快、自动化程度高及易和其他系统集成等特点，目前已广泛应用在轻工、化工、纺织、医疗、电子和汽车等行业，将机器人和机器视觉系统结合起来，是一种非常有前途的应用。
3.将机器视觉应用于分拣机器人上，对于实现机器人智能分拣有着重要的现实意义，机器视觉技术与信息技术一样，在强化产业竞争力方面极为重要，此外，具有视觉能力的工业机器人比传统的工业机器人在生产效率方面会有提高，还能够感知环境的变化，当作业环境发生变化时，通过相机视野做出应对，同时，生产安全的问题也会得到改善，分拣机器人是一种应用范围非常广且技术附加值很高的数字控制装备，随着工业领域中自动化生产越来越普及，机器人被广泛地应用到各种各样的工业化流水线上，完成种类繁多的工作。
4.相关技术中所提供的机器人基于视觉识别的机器人分拣系统，仅仅可以完成简单工件的分拣工作，而且在实际使用时抓取精确度较低，难以及时的发现异常和解决，难以根据产品的位置快速的规划机器的最优运行轨迹，移动机器人无效运行时间长，使得抓取效率较低，而且现有的机器人分拣系统一般是直接根据预设的动作控制指令，控制机器人进行运动，完成与动作控制指令相对应的动作，控制机器人运动的过程中可能会出现控制异常的情况，不能及时的进行发现并处理，而且传统的自动化分拣系统灵活性差，且可靠度低，因此，研究一种基于视觉识别的机器人分拣中控系统来解决上述问题具有重要意义。


技术实现要素：

5.为了克服现有技术的上述缺陷，本发明提供了一种基于视觉识别的机器人分拣中控系统，本发明所要解决的技术问题是：相关技术中所提供的机器人基于视觉识别的机器人分拣系统，仅仅可以完成简单工件的分拣工作，而且在实际使用时抓取精确度较低，难以及时的发现异常和解决，难以根据产品的位置快速的规划机器的最优运行轨迹，移动机器
人无效运行时间长，使得抓取效率较低，而且现有的机器人分拣系统一般是直接根据预设的动作控制指令，控制机器人进行运动，完成与动作控制指令相对应的动作，控制机器人运动的过程中可能会出现控制异常的情况，不能及时的进行发现并处理，而且传统的自动化分拣系统灵活性差，且可靠度低的问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于视觉识别的机器人分拣中控系统，包括视觉识别单元、无线通信单元、中控系统和机器人执行单元，所述视觉识别单元的输出端与无线通信单元的输入端电连接器，所述无线通信单元的输出端与中控系统的输入端电连接，所述中控系统的输出端与机器人执行单元的输入端电连接。
7.所述视觉识别单元包括视觉采集模块、图像获取模块、图像处理模块和定位模块，所述视觉采集单元的输出端与图像获取模块的输入端电连接，所述图像获取模块的输出端与图像处理模块的输入端电连接，所述图像处理模块的输出端与无线通信单元的输入端电连接，所述定位模块的输出端与无线通信单元的输入端电连接。
8.所述中控系统包括产品匹配模块和运动轨迹生成模块，所述无线通信单元的输出端与产品匹配模块的输入端电连接，所述产品匹配模块的输出端与运动轨迹生成模块的输入端电连接。
9.所述机器人执行单元包括机器执行模块、异常检测模块、异常处理模块和声光警示模块，所述运动轨迹生成模块的输出端与机器执行模块的输入端电连接，所述机器执行模块的输出端与异常检测模块的输入端电连接，所述异常检测模块的输出端与异常处理模块的输入端电连接，所述异常处理模块的输出端与声光警示模块的输入端电连接。
10.作为本发明的进一步方案：所述定位模块：用于对产品及机器人的坐标位置进行获取定位。
11.所述无线通信单元：用于对数据的采集及数据信息传输发送。
12.所述声光报警模块：用于在异常操作过程中发出强烈的声光报警信号，以达到提醒相关人员注意的目的。
13.作为本发明的进一步方案：所述中控系统为plc可编程控制器，所述视觉采集模块为工业智能相机，图像分辨率为1600
×
1200。
14.作为本发明的进一步方案：所述图像处理模块包括灰度处理和边缘特征提取：
15.所述灰度处理用于对图像进行处理，处理过程为：对含有目标物体的图像进行灰度化处理，然后对可抓取区域进行阈值处理，最后使用fill-up算子做区域填充，并拟合其轮廓，从而得到目标物体，即产品，在阈值处理阶段，调用halcon软件中专用的阈值分割算子进行处理，格式为threshold，该算子将image图像中灰度值在15-20之间的区域输出。
16.所述边缘特征提取用于对产品的边缘特征进行提取，提取方法为ro-berts算子、sobel算子、canny算子和laplacian算子其中的一种。
17.作为本发明的进一步方案：所述图像获取模块：用于获取机器人的工作空间信息，所述工作空间信息包括产品的位置、产品的大小、障碍物的位置、障碍物的大小以及机器人的起始位置。
18.作为本发明的进一步方案：所述运动轨迹生成模块的运动轨迹生产包括以下步骤：
19.s1、假设机器人工作在二维空间，将该二维空间分为20*20个大小相同的栅格，使
机器人能够在该空间中自由移动，在这些栅格中，如果没有障碍物，则称为自由栅格，如果具有障碍物，则称为障碍物栅格，并采用直角坐标法对每个栅格创建唯一标识。
20.s2、分别获取机器人和产品在栅格中的位置，将要规划的路径合成由n个点组成的点集，将机器人的起始位置所在的栅格作为起始点，将产品的位置所在的栅格作为目标点，除去起始点和目标点，具有n-2个栅格{(xi,yi)}(i＝2,3,4,
…
,n-1)。
21.s3、将最短路径作为优化目标，得到：
[0022][0023]
其中，n＝20，且点(xi,yi)不包含障碍物栅格，将适应度函数设计为优化目标的倒数，得到适应度函数：
[0024]
s4、采用联赛选择机制，从群体中任意选择一定数目的个体，其中适应度最高的个体保存到下一代，反复执行，知道保存到下一代的个体数达到预先设定的数目为止，然后采用部分匹配交叉法依据均匀随机分布产生两个位串交叉点，定义这两个点之间的区域为一匹配区域。
[0025]
s5、使用位置交换操作交换两个副串的匹配区域，并采取随机在20个目标中选取两个点，将其对换位置，引进多次连续的单方向进化逆转操作，对于每一个目标体进行交叉变异，代入适应度函数进行评估，选择适应度最大的个体进行下一代的交叉、变异以及进化逆变操作，直到满足设定的最大遗传代数。
[0026]
作为本发明的进一步方案：所述采用直角坐标法对每个栅格创建唯一标识的方法为：将20*20的栅格在直角坐标系中进行放置，并以左下角的坐标(0，0)作为坐标原点，以水平向右为x轴的正方向，垂直向上为y轴的正方向，每一个单元格表示一个栅格，因此，栅格可以用坐标(x,y)来进行唯一标识。
[0027]
作为本发明的进一步方案：所述异常检测模块：用于获取机器人执行目标动作时的状态信息，根据所述状态信息，判断所述机器人执行所述目标动作是否存在异常，若存在异常，通过异常处理模块控制机器人执行所述目标动作匹配的保护动作，所述机器人执行目标动作时的状态信息包括：判断所述机器人驱动设备电流信息是否超过预设电流阈值，若超过，则确定所述机器人执行所述目标动作存在异常，若未超过，则确定所述机器人执行所述目标动作不存在异常。
[0028]
作为本发明的进一步方案：所述产品匹配模块：用于对目标产品进行识别，具体匹配算法如下：
[0029]
目标图像上的每个点以模板图像相同尺寸进行搜索，以像素点(u，v)为中心的搜索区域中的每一个像素点在x和y方向上的梯度为像素点(u，v)处的相似度测度计算公式如下:
[0030][0031]
模板图像与目标搜索区域完全匹配则返回1，完全不同则返回0。
[0032]
作为本发明的进一步方案：所述机器执行模块：用于根据接收到的产品类别信息
将不同形状工件抓取至相应放置区，未接收到类别信息则保持初始状态。
[0033]
本发明的有益效果在于：
[0034]
1、本发明通过视觉识别技术进行灰度处理及边缘特征的提取，可以提高产品外形捕捉的准确度，并通过中控系统对流出产品进行识别决策，其采用像素点搜索的方式结合相似度测度算法对产品符合度进行决策，实现提高抓取精确度的操作，并且通过获取机器人执行目标的轨迹状态信息判断是否存在异常，对于异常状态则执行动作匹配保护动作，并通过声光报警的方式进行信号发出，则本系统可以提高产品匹配的精确度，以此达到精确分拣，确保正确投放的作业，并对于异常操作进行报警，进而可以得到及时处理解决，使得本系统具有优良的决策可靠性；
[0035]
2、本发明通过图像获取得到机器人实际工作空间及坐标信息，并结合运动轨迹生产模块对机器人运动轨迹进行预测，并采用直角坐标系创建栅格标识，结合适应度函数及联赛选择机制得到匹配区域线路，进而得到最短优化路径，使得机器人可以实现最优路径运行轨迹，减少无效运行时间较长的问题，提高运行轨迹的灵活性，进而提高抓取效率，满足生产加工需求。
附图说明
[0036]
图1为本发明系统的结构示意图。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
如图所示，本发明提供了一种基于视觉识别的机器人分拣中控系统，包括视觉识别单元、无线通信单元、中控系统和机器人执行单元，视觉识别单元的输出端与无线通信单元的输入端电连接器，无线通信单元的输出端与中控系统的输入端电连接，中控系统的输出端与机器人执行单元的输入端电连接。
[0039]
视觉识别单元包括视觉采集模块、图像获取模块、图像处理模块和定位模块，视觉采集单元的输出端与图像获取模块的输入端电连接，图像获取模块的输出端与图像处理模块的输入端电连接，图像处理模块的输出端与无线通信单元的输入端电连接，定位模块的输出端与无线通信单元的输入端电连接。
[0040]
中控系统包括产品匹配模块和运动轨迹生成模块，无线通信单元的输出端与产品匹配模块的输入端电连接，产品匹配模块的输出端与运动轨迹生成模块的输入端电连接。
[0041]
机器人执行单元包括机器执行模块、异常检测模块、异常处理模块和声光警示模块，运动轨迹生成模块的输出端与机器执行模块的输入端电连接，机器执行模块的输出端与异常检测模块的输入端电连接，异常检测模块的输出端与异常处理模块的输入端电连接，异常处理模块的输出端与声光警示模块的输入端电连接。
[0042]
定位模块：用于对产品及机器人的坐标位置进行获取定位。
[0043]
无线通信单元：用于对数据的采集及数据信息传输发送。
[0044]
声光报警模块：用于在异常操作过程中发出强烈的声光报警信号，以达到提醒相关人员注意的目的。
[0045]
中控系统为plc可编程控制器，视觉采集模块为工业智能相机，图像分辨率为1600
×
1200。
[0046]
图像处理模块包括灰度处理和边缘特征提取：
[0047]
灰度处理用于对图像进行处理，处理过程为：对含有目标物体的图像进行灰度化处理，然后对可抓取区域进行阈值处理，最后使用fill-up算子做区域填充，并拟合其轮廓，从而得到目标物体，即产品，在阈值处理阶段，调用halcon软件中专用的阈值分割算子进行处理，格式为threshold，该算子将image图像中灰度值在15-20之间的区域输出。
[0048]
边缘特征提取用于对产品的边缘特征进行提取，提取方法为ro-berts算子、sobel算子、canny算子和laplacian算子其中的一种。
[0049]
图像获取模块：用于获取机器人的工作空间信息，工作空间信息包括产品的位置、产品的大小、障碍物的位置、障碍物的大小以及机器人的起始位置。
[0050]
运动轨迹生成模块的运动轨迹生产包括以下步骤：
[0051]
s1、假设机器人工作在二维空间，将该二维空间分为20*20个大小相同的栅格，使机器人能够在该空间中自由移动，在这些栅格中，如果没有障碍物，则称为自由栅格，如果具有障碍物，则称为障碍物栅格，并采用直角坐标法对每个栅格创建唯一标识。
[0052]
s2、分别获取机器人和产品在栅格中的位置，将要规划的路径合成由n个点组成的点集，将机器人的起始位置所在的栅格作为起始点，将产品的位置所在的栅格作为目标点，除去起始点和目标点，具有n-2个栅格{(xi,yi)}(i＝2,3,4,
…
,n-1)。
[0053]
s3、将最短路径作为优化目标，得到：
[0054][0055]
其中，n＝20，且点(xi,yi)不包含障碍物栅格，将适应度函数设计为优化目标的倒数，得到适应度函数：
[0056]
s4、采用联赛选择机制，从群体中任意选择一定数目的个体，其中适应度最高的个体保存到下一代，反复执行，知道保存到下一代的个体数达到预先设定的数目为止，然后采用部分匹配交叉法依据均匀随机分布产生两个位串交叉点，定义这两个点之间的区域为一匹配区域。
[0057]
s5、使用位置交换操作交换两个副串的匹配区域，并采取随机在20个目标中选取两个点，将其对换位置，引进多次连续的单方向进化逆转操作，对于每一个目标体进行交叉变异，代入适应度函数进行评估，选择适应度最大的个体进行下一代的交叉、变异以及进化逆变操作，直到满足设定的最大遗传代数。
[0058]
采用直角坐标法对每个栅格创建唯一标识的方法为：将20*20的栅格在直角坐标系中进行放置，并以左下角的坐标(0，0)作为坐标原点，以水平向右为x轴的正方向，垂直向上为y轴的正方向，每一个单元格表示一个栅格，因此，栅格可以用坐标(x,y)来进行唯一标识。
[0059]
异常检测模块：用于获取机器人执行目标动作时的状态信息，根据状态信息，判断
机器人执行目标动作是否存在异常，若存在异常，通过异常处理模块控制机器人执行目标动作匹配的保护动作，机器人执行目标动作时的状态信息包括：判断机器人驱动设备电流信息是否超过预设电流阈值，若超过，则确定机器人执行目标动作存在异常，若未超过，则确定机器人执行目标动作不存在异常。
[0060]
产品匹配模块：用于对目标产品进行识别，具体匹配算法如下：
[0061]
目标图像上的每个点以模板图像相同尺寸进行搜索，以像素点(u，v)为中心的搜索区域中的每一个像素点在x和y方向上的梯度为像素点(u，v)处的相似度测度计算公式如下:
[0062][0063]
模板图像与目标搜索区域完全匹配则返回1，完全不同则返回0。
[0064]
机器执行模块：用于根据接收到的产品类别信息将不同形状工件抓取至相应放置区，未接收到类别信息则保持初始状态。
[0065]
本发明的工作原理为：
[0066]
s1、首先通过视觉采集模块进行图像采集，并通过图像获取模块获取机器人工作空间信息及产品的位置，然后通过图像处理模块对获取图像进行灰度级边缘特征的提取处理，对图像进行灰度化处理，然后对可抓取区域进行阈值处理，再使用fill-up算子做区域填充，并拟合其轮廓，调用halcon软件中专用的阈值分割算子进行处理，从而得到目标物体，即产品；
[0067]
s2、然后通过定位模块进行坐标及数据信息传输给无线通信单元，则无线通信单元将信信号传递给产品匹配模块，进而对产品进行识别决策，并以图像上的每点以模板图像进行搜索，结合相似度测度算法识别产品的种类，然后根据提供的坐标位置信息，通过运动轨迹生成模块建立直角坐标栅格标识点；
[0068]
s3、最后采用联赛选择机制进行反复执行，并得到最佳轨迹线路，此时通过机器执行模块执行轨迹运动信号，使得机器人对工件抓取放置，并通过异常检测模块获取机器人运行状态信息，检测机器人工作状态是否存在异常行为，若存在异常行为，则将信号传递给声光报警模块进行报警处理。
[0069]
最后应说明的几点是：虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明的基础上，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。