一种单目视觉机器人及应用其的三维匹配定位方法与流程

1.本发明涉及机器人机械臂技术领域，更具体地，涉及一种单目视觉机器人及应用其的三维匹配定位方法。


背景技术：

2.机械臂机器人是一种能够最大程度模拟人手的通用型机械设备，因其独特的操作灵活性,可以把任意一个物件按照空间位姿的时变要求进行移动，从而完成搬运部件的作用。
3.传统的视觉识别检测主要包括双目立体系统，配置与标定均较为复杂，其深度量程和精度受双目的基线与分辨率的限制，而且视觉计算非常消耗计算资源，需要使用gpu和fpga设备加速后，才能实时输出整张图像的距离信息，使用起来也比较复杂，同时机械臂的结构也对安装在机械臂上的视觉识别装置的大小和重量做出了限制，安装在机械臂上的数据处理模块随着机械臂的长时间运转容易发生接口松脱等一系列的故障，导致安装并应用于机械臂上的视觉识别装置造价昂贵且故障率高的问题。
4.在公开号为cn110497437a的中国专利中，提出了一种结合视觉识别并针对茶具抓取的机械臂装置及使用方法，通过机械臂及控制系统、机械臂末端执行器、视觉装置和抓取辅助结构，实施机械配合进行抓取，但该技术方案采用多个集成式的视觉装置进行视觉识别，存在因图像数据处理器长期处理计算大量图形数据，发热量大且难以散热导致损坏，发生软硬件故障时维护维修难度大，装置的成本过高的问题。


技术实现要素：

5.本发明为克服上述现有技术所述的机械臂视觉识别装置结构复杂成本高的问题，提供一种单目视觉机器人及应用其的三维匹配定位方法。
6.为解决上述技术问题，本发明采用的技术方案是：一种单目视觉机器人，包括多轴机械臂、机械臂抓手以及控制系统，所述机械臂抓手安装在所述多轴机械臂的前端，所述多轴机械臂的前端还设有摄像装置，所述多轴机械臂、机械臂抓手以及摄像装置分别与控制系统相连接。
7.在本技术方案中，本发明通过在传统多轴机械臂的基础上设置用于控制机械臂的控制系统，通过控制系统对多轴机械臂的机械臂，机械臂抓手以及安装在机械臂前端的摄像装置进行连接控制，利用控制系统进行数据处理，达到简化传统视觉识别装置结构的目的，使机械臂可以利用摄像装置进行视觉识别，避免了一体化视觉识别系统成本昂贵，迭代替换性差的问题。
8.优选地，所述控制系统包括计算主机、机械臂机箱以及控制板，所述计算主机分别与所述机械臂机箱以及所述控制板相连接。
9.优选地，所述多轴机械臂设有用于驱动所述机械臂抓手的舵机，所述舵机与所述控制板相连接。在本技术方案中，所述机械臂抓手通过所述控制板控制舵机运行，提高了机
械臂抓手切换的便利性。
10.优选地，所述摄像装置包括相机和镜头，所述相机和镜头的输出端分别与所述计算主机相连接。在本技术方案中，所述摄像装置包括与计算主机相连接的相机和镜头，通过相机以及镜头采集图像数据，传输至计算主机中进行分析识别的方式，使视觉的感应和计算模块分离，提高相机和镜头升级或者更新维护的便利性，同时避免了安装在机械臂上的视觉系统对装置大小以及结构的多种限制，降低视觉识别装置的成本。
11.本发明另一方面提供一种应用于单目视觉机器人的三维匹配定位方法,包括以下步骤：
12.s1：摄像装置对待抓取的目标物拍照，实时采集得到单帧图像，将图像数据传输至控制系统进行识别处理；
13.s2：控制系统识别判定目标物是否符合抓取标准，识别判定目标物是否匹配合格；
14.s3：控制系统判断目标物合格后计算得到目标物的位置信息并通过机械臂机箱发送运动指令给多轴机械臂运动到目标所在位置；
15.s4:控制系统确认多轴机械臂运动到指定位置后，控制系统通过控制板发送抓取指令给机械臂抓手，机械臂抓手抓取目标物后多轴机械臂从抓取位置移动到指定释放位置，控制系统通过控制板发送释放指令给机械臂抓手，机械臂抓手将目标物释放至指定释放位置。
16.在本技术方案中，通过将待抓取的目标物进行目标进行视觉识别判定，目标物需要同时满足形状匹配和颜色识别才能最终匹配成功，使机械臂在实施抓取时可以避免因人工操作错误导致对处于指定位置的非目标抓取物进行抓取，避免由此造成的设备损伤或者安全事故。
17.优选地，在所述步骤s1中，所述控制系统中设有三维立体模型，所述摄像装置在拍照前处于标定位置，使得所述摄像装置拍照获取的图像数据能够从空间点的像素坐标映射到立体模型中的坐标，从而使获得的目标物的位置信息更加准确。
18.优选地，在所述步骤s2中，所述控制系统将所述摄像装置传输的图像数据中的目标物形状模型，与预设的标准三维形状模型从多个角度进行形状匹配以及颜色识别，同时满足形状匹配和颜色匹配，才能确定为是要抓取的目标物。在本技术方案中，形状匹配断定的方法为通过matchshapes函数分别计算三维模型中的多个图像数据和相机拍摄的图像数据的相似度，当计算得到的相似度小于预设阈值时，判定结果为形状匹配；颜色匹配的判定方法为通过目标获取抓取物对应颜色的hsv值，将预设抓取物颜色的hsv值设定为一个范围，当图像的hsv值在这个范围内，则判定为颜色匹配。
19.优选地，在所述步骤s3中，所述控制系统通过标准三维形状模型计算得到目标物与所述摄像装置的距离与其所成像面积大小的关系，得到目标物与所述摄像装置的直线距离，最后结合目标物在图像中的位置，计算获得物体的位置坐标信息。
20.优选地，在所述步骤s4中，所述控制系统通过所述摄像装置的镜头感应识别多轴机械臂是否运动到指定位置。
21.优选地，在所述步骤s4中，所述机械臂抓手将目标物释放至指定释放位置后，所述控制系统通过所述摄像装置拍照传输图像数据并识别确认目标物是否正确放置在指定释放位置。
22.与现有技术相比，有益效果是：本发明通过在传统多轴机械臂的基础上设置用于控制机械臂的控制系统，通过控制系统对多轴机械臂的机械臂，机械臂抓手以及安装在机械臂前端的摄像装置进行连接控制，利用控制系统进行数据处理，达到简化传统视觉识别装置结构的目的，使机械臂可以利用单一摄像设备进行三维定位和视觉识别，在简化结构装置的同时提高了视觉识别的识别精度，避免了传统一体化视觉识别系统成本昂贵、故障率高、维修难度大、迭代替换性差的问题。
附图说明
23.图1是本发明一种单目视觉机器人的结构示意图；
24.图2是本发明一种单目视觉机器人的控制系统的连接示意图；
25.图3是本发明一种三维匹配定位方法的工作流程图。
26.附图标记说明：
[0027]1‑
多轴机械臂，2
‑
机械臂抓手，3
‑
摄像装置。
具体实施方式
[0028]
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
[0029]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0030]
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：
[0031]
实施例1
[0032]
如图1至图2所示，一种单目视觉机器人，包括多轴机械臂1、机械臂抓手2以及控制系统，机械臂抓手2安装在多轴机械臂1的前端，多轴机械臂1的前端还设有摄像装置3，多轴机械臂1、机械臂抓手2以及摄像装置3分别与控制系统相连接。
[0033]
在本实施例中，本发明通过在传统多轴机械臂1的基础上设置用于控制机械臂的控制系统，通过控制系统对多轴机械臂1的机械臂，机械臂抓手2以及安装在机械臂前端的摄像装置3进行连接控制，利用控制系统进行数据处理，达到简化传统视觉识别装置结构的目的，使机械臂可以利用摄像装置3进行视觉识别，避免了一体化视觉识别系统成本昂贵，迭代替换性差的问题。
[0034]
其中，控制系统包括计算主机、机械臂机箱以及控制板，计算主机分别与机械臂机箱以及控制板相连接。
[0035]
另外，多轴机械臂1设有用于驱动机械臂抓手2的舵机，舵机与控制板相连接。在本实施例中，机械臂抓手2通过控制板控制舵机运行，提高了机械臂抓手2切换的便利性。
[0036]
其中，摄像装置3包括相机和镜头，相机和镜头的输出端分别与计算主机相连接。在本实施例中，摄像装置3包括与计算主机相连接的相机和镜头，通过相机以及镜头采集图像数据，传输至计算主机中进行分析识别的方式，使视觉的感应和计算模块分离，提高相机和镜头升级或者更新维护的便利性，同时避免了安装在机械臂上的视觉系统对装置大小以及结构的多种限制，降低视觉识别装置的成本。
[0037]
实施例2
[0038]
如图3所示，一种三维匹配定位方法,包括以下步骤：
[0039]
s1：摄像装置3对待抓取的目标物拍照，实时采集得到单帧图像，将图像数据传输至控制系统进行识别处理；
[0040]
s2：控制系统识别判定目标物是否符合抓取标准，识别判定目标物是否匹配合格；
[0041]
s3：控制系统判断目标物合格后计算得到目标物的位置信息并通过机械臂机箱发送运动指令给多轴机械臂1运动到目标所在位置；
[0042]
s4:控制系统确认多轴机械臂1运动到指定位置后，控制系统通过控制板发送抓取指令给机械臂抓手2，机械臂抓手2抓取目标物后多轴机械臂1从抓取位置移动到指定释放位置，控制系统通过控制板发送释放指令给机械臂抓手2，机械臂抓手2将目标物释放至指定释放位置。
[0043]
在本实施例中，通过将待抓取的目标物进行目标进行视觉识别判定，目标物需要同时满足形状匹配和颜色识别才能最终匹配成功，使机械臂在实施抓取时可以避免因人工操作错误导致对处于指定位置的非目标抓取物进行抓取，避免由此造成的设备损伤或者安全事故。
[0044]
其中，在步骤s1中，控制系统中设有三维立体模型，摄像装置3在拍照前处于标定位置，使得摄像装置3拍照获取的图像数据能够从空间点的像素坐标映射到立体模型中的坐标，从而使获得的目标物的位置信息更加准确。
[0045]
另外，在步骤s2中，控制系统将摄像装置3传输的图像数据中的目标物形状模型，与预设的标准三维形状模型从多个角度进行形状匹配以及颜色识别，同时满足形状匹配和颜色匹配，才能确定为是要抓取的目标物。在本实施例中，形状匹配断定的方法为通过matchshapes函数分别计算三维模型中的多个图像数据和相机拍摄的图像数据的相似度，当计算得到的相似度小于预设阈值时，判定结果为形状匹配；颜色匹配的判定方法为通过目标获取抓取物对应颜色的hsv值，将预设抓取物颜色的hsv值设定为一个范围，当图像的hsv值在这个范围内，则判定为颜色匹配。
[0046]
其中，在步骤s3中，控制系统通过标准三维形状模型计算得到目标物与摄像装置3的距离与其所成像面积大小的关系，得到目标物与摄像装置3的直线距离，最后结合目标物在图像中的位置，计算获得物体的位置坐标信息。
[0047]
另外，在步骤s4中，控制系统通过摄像装置3的镜头感应识别多轴机械臂1是否运动到指定位置。
[0048]
其中，在步骤s4中，机械臂抓手2将目标物释放至指定释放位置后，控制系统通过摄像装置3拍照传输图像数据并识别确认目标物是否正确放置在指定释放位置。
[0049]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可
以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。