一种基于单目视觉的搬箱机械手

1.本发明涉及自动化设备，具体是一种基于单目视觉的搬箱机械手。


背景技术：

2.箱式散货搬运工作是很多企业的生产过程中会遇到的工作任务，由运货车送来的箱式货物散乱堆放于地上，需要运送到传送带上以便进入后续工序流程。虽然很多大型企业已经定制了适用本企业工作情况的智能机械手辅助完成工作以节省人力，但对于很多中小企业而言，定制专门的智能机械手成本过高，不少企业仍旧利用固定工作模式的机械手和人工辅助工作。工人将货物搬运至机械手下方固定位置，再由机械手搬运至传动带上。甚至很多企业仍旧采用完全人工搬运的方式。因此，需要研究一种经济实用的方法，将固定位置机械手进行改造，利用视觉识别系统自动的识别货物所在位置，然后自主的抓取货物放到传送带上。
3.现有技术通过双目摄像头结合一定的算法能够还原出箱子的三维轮廓，再控制搬箱机械手进行抓取和搬运。但这种方式需要高清摄像头和强大的算力才能实现，将导致整个机械手造价不菲，一般中小微企业难以企及。


技术实现要素：

4.为克服现有技术的缺陷或缺陷之一，本发明提供一种基于单目视觉的搬箱机械手，所采取的技术方案是：
5.一种基于单目视觉的箱式货物搬运机械手，包括计算机，3轴机械手，其特征在于，还包括安装在搬运场地上方、与计算机相连的单目摄像头和超声波传感器，按照如下步骤执行：
6.s1，机械手初始位置坐标记定义为(0,0)，单目摄像头对场地内的箱子进行俯视采集图像；
7.s2，计算机对单目摄像头采集的箱子的图像进行处理和识别，得到一个适合搬运的箱子；
8.s3，计算机根据第一个箱子的图像，确定待搬运箱子的平面质心坐标(xc,yc)；
9.s4，计算机控制3轴搬运机械手到达待搬运箱子的平面质心正上方；
10.s5，超声波传感器对待搬运箱子的顶面进行距离测量，计算机计算出机械手下降的距离；
11.s6，3轴机械手搬运该箱子；
12.重复步骤s1-s5，直至搬运完所有的箱子。
13.与现有技术相比，本发明方法独特，造价低廉，但能够达到搬运要求，非常适合中国国情，让普通企业也能实现自动化。
附图说明
14.图1是本发明具体实施例中第一组图片经图像处理的分步效果图。
15.图2本发明具体实施例中第二组图片经图像处理后得到的质心效果图。
16.图3是3轴机械臂求逆解模型示意图。
具体实施方式
17.下面通过具体实施例对本发明作详细说明。
18.1.系统整体设计思路
19.实际工作中，箱式货物散乱堆放在地面上，箱子表面不光滑，颜色可能不均匀甚至混杂。机械手搬运时应优先搬运位置在上的或者单独散落在旁边不与其他货物交叠的箱子。因此，在图像识别时，应识别出具有完整轮廓的箱子，然后进行搬运。一轮搬运完毕后机械手回到箱子堆上方初始位置再次采集图像，重新选择合适搬运的箱子，直至搬完。由于使用单目视觉只能通过图像识别算法识别出平面图像中箱子的质心坐标，无法识别出所要搬运箱子在垂直高度方向上的数据，因此本系统采用超声波模块辅助测试箱子的高度。
20.机械手初始位置坐标记为(0,0)，摄像头安装于场地上方，拍摄俯视角度的图像。将图像传送至控制器或pc机，然后在控制器或pc机上通过图像算法识别图像。如果图像中已无箱子，则程序结束，否则识别出当前图像中一个具有完整轮廓的箱子，确定该箱子的水平面位置坐标(x，y)。将该坐标传送至机械手驱动控制器，由控制器控制机器手做平行水平地面的运动移至(x，y)位置正上方，然后利用超声波传感器模块检测机械手距离箱子顶面的距离，根据距离驱动机械手下降至适合位置处抓取箱子搬运至传送带。该箱子搬运完毕后机械手再次回到箱子堆上方采集图像，进入下一轮循环。
21.2.图像识别处理算法
22.2.1图像二值化
23.考虑到不论地面颜色、箱子颜色、光照情况如何，算法都应普遍适用，因此采用颜色识别算法是不适宜的，需要将采集到的rgb三维图像二值化。本算法不使用常规的计算阈值的方法，即将灰度图像的所有的灰度值绘制成一个直方图，两个波峰之间的波谷的横坐标就是阈值，再按照阈值分割处理的方法。而是采用将rgb三维数据按照一定权值折算处理。经实验验证，采用下述权值设置效果较好。
[0024][0025]
2.2边缘检测
[0026]
二值化后，为了将待识别的箱子灰度部分突出出来，再将0.2到0.6之间的灰度扩展到0到1整个范围。使用边缘检测算法目标是识别出无规律散落在地上的箱子中一个完整箱子的边缘外形。分别使用edge函数sobel、prewitt、roberts、canny四种不同的边缘检测算子提取原始图像的边缘，发现差别不大。因此本算法使edge函数默认的sobel算子进行边缘检测。
[0027]
2.3降噪滤波
[0028]
在用摄像头拍摄图像时，因为环境影响，使提取到的图像或多或少都会有一些噪声干扰，图像的质量也会因噪声干扰而出现模糊不清楚的情况，从而图像的某些关键特征
被掩盖掉。用5
×
5的方形结构元对上一步处理后的图像进行2次腐蚀操作，使边界点向内收缩，消除小且无意义的杂点，使箱子边界更加清晰。
[0029]
2.4寻找完整图像
[0030]
将上一步处理后的图像依次进行以下操作，可以找到本次适宜搬运的箱子集合。
[0031]
(1)将上一步处理后的图像进行“填孔洞”操作。只有没有被遮挡的箱子才会有完整清晰的边界，执行填孔洞操作时会有变化。被遮挡的箱子对应的边缘图像无孔可填。
[0032]
(2)将上一步处理后的图像和处理之前的图像进行减法操作，剔除部分被遮挡的箱子图像，达到降噪目的。
[0033]
(3)计算上一步图像的面积，再用bwareaopen函数从上一步处理后的图像中移除所有面积小于阈值的连通图像，进一步将噪声图像和部分被遮挡的箱子图像剔除。阈值应根据摄像头安装高度和箱子最小侧面面积大小确定，且应考虑箱子表面污损和有图案等因素。
[0034]
2.5得到搬运目标
[0035]
将上一步处理后的图像先标记连通区域，然后计算每个连通区域的面积，取所有面积中最小的那个面积作为本次搬运目标。
[0036]
2.6提取质心
[0037]
确定了搬运目标后，需要提取目标的质心。本算法采用的是普通质心算法，该算法的定义为
[0038][0039]
其中(xc,yc)为光斑的中心坐标，i
ij
为二维图像上每个像素点所接收到的光强，将识别出的质心在采集到的原图上做出标识。
[0040]
2.7实验验证
[0041]
为了验证算法的可行性，实验模拟采集了不同颜色不同场地背景的两组图片。本次实验采集的图片使用的拍摄工具是vivo s7手机的摄像头，帧数30fps，编码h.265。仿真软件是matlab 2019a版本。所用的电脑处理器参数是11th gen intel(r)core(tm)i5-1135g7@2.40ghz，内存容量是16gb。实验中取阈值为28000。图1是按照上述算法处理实验第一组图片后各步骤处理完成后的图像。图2是使用算法处理第二组图片得到箱子的平面质心效果图。
[0042]
实验结果说明该算法不依赖于箱子颜色、底面颜色和光照条件，对此类实际工程需求普遍适用。从实验结果看出，获取的质心坐标会有误差，且误差大小会因箱子表面粗糙程度、光照条件等因素影响而变化。实际工作中，可以通过调整机械手抓张开角度的余量来弥补，以确保识别出的箱子能够可靠地被抓取。
[0043]
3机械臂逆解运算
[0044]
利用图像识别算法识别出待搬运箱子的(x,y)坐标后，将坐标数据无线传送给处于下位机的单片机。使用stc-isp(v6.87k)串口助手即可实现pc与单片机的串口通信。下位机通过求逆解得出各数字舵机转动控制参数，然后控制机械手进行目标抓取并搬运。
[0045]
如果要使机械臂完成搬运箱子的动作，需要进行逆解建模，通过建模计算得出的数据调整各数字舵机的角度，控制机械臂动作完成动作，这里采用几何逆解建模。如图3所
示，3轴机械手，已知机械臂尺寸l1、l2、l3。从末端a点开始逆推θ1、θ2和θ3，已知a点坐标(xa,ya)和角γ。a点坐标即是由图像处理算法得到的数据。
[0046]
α，β角定义如图所示。过程如下。
[0047]
第一步，求b点坐标。
[0048][0049]
第二步，求出理想的θ1。
[0050]
根据余弦定理，
[0051][0052][0053][0054]
所以得出θ1＝α β。
[0055]
第三步，求出理想的θ2。
[0056]
根据三角函数关系和余弦定理，
[0057][0058][0059]
第四步，求出θ3。
[0060]
通过γ＝θ1 θ2 θ3，求出θ3＝γ-θ
1-θ2。
[0061]
至此，逆解的角度值全部计算完毕。该计算过程由下位机完成，并根据计算结果驱动舵机执行。
[0062]
4纵向距离的获取
[0063]
机械臂移动至待搬运的箱子上方后，需要用超声波模块检测箱子顶端距离机械手的距离。超声波模块可采用现成的hc-sr04超声波模块，该模块可提供2cm-400cm的非接触式距离感测功能，测距精度可达高到3mm。模块包括超声波发射器、接收器与控制电路。基本工作原理是采用io口trig触发测距，给至少10us的高电平信号。模块自动发送8个40khz的方波自动检测是否有信号返回。有信号返回，通过io口echo输出一个高电平，高电平持续的时间就是超声波从发射到返回的时间。根据该模块的特性，可根据下述公式计算出机械手距离待搬取箱子的距离。
[0064]
d＝(t
on
×v声音
)/2
[0065]v声音
取340m/s。t
on
为高电平时间。计算完成后，再根据数据通过求逆解驱动机械臂的各个舵机，完成机械手下降至对应位置抓取箱子的控制。本发明未说明或未详细说明的部分为本领域的现有技术或公知常识。