一种容器内堆积物件自动分拣系统及方法与流程

1.本发明属于人工智能与机器人技术领域，涉及一种容器内堆积物件自动分拣系统及方法。


背景技术：

2.自动化是指机器或装置在无人干预的情况下按规定的程序或指令自动地进行操作或运行，以及模拟人的智能活动。自动化技术广泛应用于工业、农业、国防、交通运输等各方面。自动化技术不仅可以把人从枯燥繁重的体力劳动中解放出来，还可以避免人在高危环境下进行工作，因此推进工业智能自动化成为了当前的重要任务。
3.目前的物料分拣机器人已经实现在平面上分拣抓取目标物体，以及将目标物体放至传送带上，或从传送带上将目标物体抓取放至目标位置。但这些物料分拣机器人仅仅是实现对于固定高度平台上的物件进行抓取，属于简单场景下的物料分拣抓取，该类视觉机器人抓取的目标物体与其所处背景有明显差异。即现有的物料分拣机器人难以实现不同高度位置、不同复杂场景下物件的吸取。


技术实现要素：

4.本发明的目的在于克服上述现有技术中，现有的物料分拣机器人难以实现不同高度位置、不同复杂场景下物件吸取的缺点，提供一种容器内堆积物件自动分拣系统及方法。
5.为了达到上述目的，本发明采用以下技术方案予以实现：
6.一种容器内堆积物件自动分拣系统，包括：
7.图像采集模块，用于采集容器内堆积物件的图像信息；
8.控制单元，包括图像信息处理模块和定位模块，图像信息处理模块与图像采集模块相交互，用于对获取的图像信息进行处理，得到训练样本，之后对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；定位模块与图像信息处理模块相交互，基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系；
9.视觉机器人，包括分别与定位模块相交互的移动模块和磁感执行器，移动模块基于待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系信息，计算得到视觉机器人的运动坐标关系，基于运动坐标关系进行移动；磁感执行器基于待吸取物件吸取点的像素坐标对待吸取物件进行吸取和放置操作。
10.优选地，系统还包括快换架，用于在容器内堆积物件自动分拣系统停止工作时放置闲置的磁感执行器。
11.优选地，图像采集模块通过安装在视觉机器人上的深度相机完成。
12.一种容器内堆积物件自动分拣方法，包括如下步骤：
13.步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
14.步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
15.步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
16.步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
17.步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。
18.优选地，步骤1)中，训练样本为标注的保留完好的物件图片；
19.实例分割过程是：
20.基于训练样本建立实例分割网络；
21.将新采集的容器内堆积物件图像输送至实例分割网络中，得到分割后的最上方物件图像及该图像的边界框。
22.优选地，步骤2)的具体过程为：
23.基于步骤1)获得的最上方物件图像，对该图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框；
24.计算上述最小外接矩形框的对角线中心点坐标，该对角线中心点坐标即为待吸取物件吸取点的像素坐标。
25.优选地，步骤3)的具体操作为：
26.基于步骤1)得到的最上方物件图像的边界框，计算边界框内两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正向，以左对角线与左侧高之间的夹角为第一夹角，以右对角线与右侧高之间的夹角为第二夹角；
27.计算最小外接矩形框中左上角与右下角对角线与左上角顶点向下方垂线的夹角作为测试夹角；
28.分别比较测试夹角与第一夹角、第二夹角之间的关系：
29.若测试夹角与第一夹角同号，则取第一夹角为物件最终旋转角度；
30.若测试夹角与第二夹角同号，则取第二夹角为物件最终旋转角度。
31.优选地，步骤4)的过程包括：
32.步骤41)记录视觉机器人的初始位置，使机器人移动直至末端磁感执行器刚好接触容器底部；
33.步骤42)以磁感执行器前端中心位置作为定位原点，之后在定位原点的x,y方向分别移动100毫米处，得到两个标记点；
34.步骤43)将视觉机器人移动至拍照位置对底板进行拍照，记录定位原点和标记点的像素坐标，基于机器人运动真实距离与像素坐标的变化大小，计算得到x,y方向任意一个像素点对应的真实距离，进一步计算得到固定拍照高度平面上任意一个点的像素坐标与机器人运动坐标的对应关系。
35.与现有技术相比，本发明具有以下有益效果：
36.本发明提供了一种容器内堆积物件自动分拣系统，包括图像采集模块、控制单元
和视觉机器人，控制单元包括图像信息处理模块和定位模块，采用堆积物件识别定位算法对采集到的图像进行处理，获取待吸取物件的位置信息。将获取到的待吸取物件的位置信息发送给视觉机器人，由视觉机器人进行吸取。本发明充分体现了机器人智能自动化的概念，视觉机器人可自主智能识别处于容器内最上方的物件，将其吸取，实现对物件的自动分拣。视觉机器人代替人类的眼睛识别定位容器内的物件，机械臂下方的磁感执行器代替人类的手在真实环境中分拣物件。系统抗环境干扰能力强，适用于各种工作环境。解决了人力分拣耗时耗力的问题，将人工智能与机器人技术相结合解决了工业实际需求问题。为进一步研究机器人的智能自动化系统作业奠定了基础。本发明打破了现有的大部分物件分拣机器人只能实现二维环境下的物件分拣的局面，本系统可以对处于任意高度的物件进行分拣。
37.本发明还公开了一种容器内堆积物件自动分拣方法，是基于上述系统完成的，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、吸取时的旋转角度及待吸取物件与目标位置之间的距离关系，并将距离关系转换成视觉机器人运动坐标，基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。本发明方法中提出的堆积物件识别定位算法速度快，仅需0.7秒即可完成对物件的识别定位，分拣机仅需3秒即可完成对物件的吸取以及放置。准确率高，对堆积物件识别定位的准确率达到97.8％。鲁棒性强，在不同光照下，不同场景中，对各类堆积物件均能实现快速且准确地识别。本发明一改以往简单场景下的物件分拣，解决了在严重遮挡场景下的物件分拣问题。
附图说明
38.图1为本发明系统工作时的爆炸图；
39.图2为本发明堆积物件智动化分拣机的逻辑原理图。
40.图3为本发明堆积物件智动化分拣机运行过程流程图。
41.图4为本发明堆积物件识别定位算法流程图。
42.其中：1
‑
监控计算机；2
‑
视觉机器人；3
‑
深度相机；4
‑
磁感执行器；5
‑
盛放堆积物件的容器；6
‑
吸取物件后的放置容器；7
‑
快换架。
具体实施方式
43.下面结合附图对本发明做进一步详细描述：
44.实施例1
45.一种容器内堆积物件自动分拣系统，包括：
46.图像采集模块，用于采集容器内堆积物件的图像信息；
47.控制单元，包括图像信息处理模块和定位模块，图像信息处理模块与图像采集模块相交互，用于对获取的图像信息进行处理，得到训练样本，之后对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；定位模块与图像信息处理模块相交互，基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、
待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系；
48.视觉机器人，包括分别与定位模块相交互的移动模块和磁感执行器，移动模块基于待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系信息，计算得到视觉机器人的运动坐标关系，基于运动坐标关系进行移动；磁感执行器基于待吸取物件吸取点的像素坐标对待吸取物件进行吸取和放置操作。
49.需要说明的是，本发明系统是通过模识智能化软件、控制器、磁感执行器、机械臂和快换器完成的。快换器中设有快换架，快换架由四片金属片构成，两片长度较长，两片长度较短。其中，较长的两片分别作为顶和底，较短的两片在两侧作为高，在顶部与底部之间通过螺丝连接，形成支架起到支撑作用。快换架的作用是在容器内堆积物件自动分拣系统停止工作时放置闲置的磁感执行器。
50.实施例2
51.一种容器内堆积物件自动分拣方法，包括如下步骤：
52.步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
53.步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
54.步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
55.步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
56.步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。
57.实施例3
58.一种容器内堆积物件自动分拣方法，包括如下步骤：
59.步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
60.训练样本为标注的保留完好的物件图片；
61.实例分割过程是：
62.基于训练样本建立实例分割网络；
63.将新采集的容器内堆积物件图像输送至实例分割网络中，得到分割后的最上方物件图像及该图像的边界框。
64.步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
65.具体为：
66.基于步骤1)获得的最上方物件图像，对该图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框；
67.计算上述最小外接矩形框的对角线中心点坐标，该对角线中心点坐标即为待吸取物件吸取点的像素坐标。
68.步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
69.具体为：
70.基于步骤1)得到的最上方物件图像的边界框，计算边界框内两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正向，以左对角线与左侧高之间的夹角为第一夹角，以右对角线与右侧高之间的夹角为第二夹角；
71.计算最小外接矩形框中左上角与右下角对角线与左上角顶点向下方垂线的夹角作为测试夹角；
72.分别比较测试夹角与第一夹角、第二夹角之间的关系：
73.若测试夹角与第一夹角同号，则取第一夹角为物件最终旋转角度；
74.若测试夹角与第二夹角同号，则取第二夹角为物件最终旋转角度。
75.步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
76.步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。
77.实施例4
78.如图1所示，本发明的容器内堆积物件自动分拣系统，运行逻辑如图2所示，包括模识智能化软件，控制单元，视觉机器人2、监控计算机1，机械臂，快换器7及磁感执行器4。
79.如图3所示，本发明容器内堆积物件自动分拣系统的运行过程为：
80.步骤1)启动，完成各单元的初始化工作，主要是视觉机器人2的初始化；
81.步骤2)视觉机器人2移动至盛放堆积物件的容器5上方的拍照位置。
82.步骤3)对盛放堆积物件的容器5内堆积物件的图像进行采集，即利用视觉机器人2上安装的深度相机3进行对堆积物件进行拍照。
83.步骤4)控制单元中的图像信息处理模块利用堆积物件识别定位算法对采集到的图像进行处理。
84.步骤5)视觉机器人2沿着拍照高度移动至待吸取物件的x,y位置，同时将第六轴(即视觉机器人末端)旋转至待吸取物件时的旋转角度。
85.步骤6)视觉机器人2向下方移动至距离待吸取物件3厘米处。
86.步骤7)打开磁感执行器4。
87.步骤8)视觉机器人2向下方移动至磁感执行器4接触待吸取物件，对待吸取物件进行吸取。
88.步骤9)视觉机器人2由此位置垂直向上运动至拍照高度，与此同时将第六轴恢复为初始旋转角度。
89.步骤10)视觉机器人2移动至吸取物件后的放置容器6的上方。
90.步骤11)视觉机器人2移动至放置待吸取物件的目标位置。
91.步骤12)关闭磁感执行器4的io口，将待吸取物件放下。
92.步骤13)判断吸取物件后的放置容器6内是否存在物件，若存在，机器人则运动至拍照位置，重复执行上述步骤直至物件吸取完毕。若无物件，则直接停止运行。
93.实施例5
94.除以下内容外，其余内容与实施例4相同。
95.如图4所示，本发明方法中，堆积物件识别定位算法的具体流程为：
96.1、对系统各部件进行初始化，利用视觉机器人对堆积物件图像进行采集，将深度相机固定于视觉机器人第6轴下方，选取合适的拍照位置，对容器内杂乱无章的物件进行拍摄，同时不断改变容器内堆积物件的摆放位置获取大量图片。
97.利用labelme图像标注软件对获取到的图片进行标注，每次标注出容器内最上方无遮挡，保留完好的物件。使用这些图片作为训练样本，训练yolact实例分割网络。
98.将新采集的堆积物件图像送至训练完成后的yolact实例分割网络，由此网络输出分割后的最上方物件图像以及该物件图像的边界框。
99.2、对分割后的最上方物件图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框。计算此最小外接矩形框的对角线中心点坐标，此点坐标即为堆积物件吸取点的像素坐标。
100.3、计算由堆积物件识别算法生成分割后物件图像的边界框两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正。记左方为a1，右方为a2。
101.4、计算最小外接矩形框左上角与右下角对角线与左上角顶点向下方垂线的夹角，记作b。
102.5、若a1与b同号，则取a1作为最终物件的旋转角度。
103.6、若a2与b同号，则取a2作为最终物件的旋转角度。
104.本发明提出的堆积物件识别定位算法引入人工智能中的深度学习方法，速度快，仅需0.7秒即可完成对物件的识别定位，分拣机仅需3秒即可完成对物件的吸取以及放置。准确率高，对堆积物件识别定位的准确率达到97.8％。鲁棒性强，在不同光照下，不同场景中，对各类堆积物件均能实现快速且准确地识别。
105.综上所述，本发明系统可自主智能作业对堆积物件进行分拣，解决了由于工业上一些枯燥乏味的重复性劳动导致大量消耗人力的问题，同时为进一步研究机器人的智能自动化系统作业奠定了基础，具有很高的智能水平，是人工智能技术与机器人技术结合的一个典型应用。
106.以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。