一种基于工业机器人的物件分类控制系统及方法与流程

1.本发明涉及机械臂应用领域，特别是一种基于工业机器人的物件分类控制系统及方法。


背景技术：

2.随着社会文明的不断进步，人们在进行物件分类时，需要人工把大量的物件分拣到各自种类内，但在物件分拣的过程中，有些大件物件比较笨重，人们难以将其搬起进行分类；有些小件物件比较小巧，例如螺丝、笔头等，人们需要花费一定的事情去把这些小件物件挑选出来进行识别和分类，这样大大降低了物件分类的效率；还有当人们使用机器对物件进行分类，多数使用单个识别模块进行识别，有时候会造成物件的识别精度不高。


技术实现要素：

3.针对上述缺陷，本发明提出了一种基于工业机器人的物件分类控制系统及方法，其目的在于解决人工将物件分类的效率低、通过单个识别模块识别物件的精度不高的问题。
4.为达此目的，本发明采用以下技术方案：
5.一种基于工业机器人的物件分类控制系统，包括工业机器人，所述工业机器人包括机械手装置、机械臂以及模板数据库，所述机械臂的输出端设有机械手装置，其特征在于：
6.所述模板数据库设置有目标物件的全角度的多个模板，所述目标物件的每个角度对应一个模板，且每个模板包含有其对应的所述目标物件角度下的特征信息；
7.所述机械手装置安装有若干个拍摄模块、发送模块以及物件识别模块；
8.所述拍摄模块用于拍摄和获取待识别物件的图像；
9.所述发送模块用于将待识别物件的图像发送至物件识别模块；
10.所述物件识别模块用于提取待识别物件图像的特征信息，与模板数据库的各模板图像进行匹配，得到识别结果；
11.所述机械臂设有控制模块，所述控制模块用于根据识别结果生成控制机械臂运动的轨迹指令和控制机械手装置对目标物件的抓放指令。
12.优选地，所述控制模块包括控制子模块，所述控制系统还包括判断模块；
13.所述判断模块用于根据所述拍摄模块所拍摄的当前待识别物件图像，判断当前待识别物件是否落入拍摄范围，若是，则触发所述发送模块将待识别物件图像发送至物件识别模块；若否，则生成校正控制指令，将校正控制指令发送至所述控制子模块；
14.所述控制子模块用于根据所述校正控制指令控制所述机械臂和机械手装置调整待识别物件的当前位置，使得待识别物件落入所述拍摄子模块的拍摄范围。
15.优选地，所述轨迹指令包括机械臂运动至目标物件的抓取位置的抓取轨迹指令、机械臂运动至目标物件的分类位置的投放轨迹指令以及机械臂从分类位置运动至初始位
置的轨迹指令。
16.优选地，所述抓放指令包括机械手装置对目标物件的抓取指令和机械手装置对目标物件的投放指令；
17.所述机械手装置还设有抓取幅度调整模块，所述抓取幅度调整模块用于根据目标物件的形状大小调整机械手装置的抓取幅度；
18.所述抓取幅度调整模块提取目标物件的两个抓取点，计算两个抓取点之间的距离，若所述距离大于或等于系统设置的阈值，则机械手装置抓取幅度增大至阈值；若所述距离小于系统设置的阈值，则机械手装置抓取幅度减少至阈值。
19.优选地，包括数据容纳模块，所述数据容纳模块包括第一数据容纳子模块和第二数据容纳子模块；所述第一数据容纳子模块用于储存模板数据库中各模板图像的特征信息；所述第二数据容纳子模块用于储存目标物件图像的特征信息；
20.还包括模块制作模块，用于根据目标物件制作模板，对模板以及模板对应的掩码图进行边缘扩充，设置模板的角度以及尺度范围属性，得到360个旋转角度的模板；对360个模板进行特征信息的提取，保存于所述第一数据容纳子模块。
21.本技术的另一方面提供了一种基于工业机器人的物件分类控制方法，应用于所述基于工业机器人的物件分类控制系统，所述控制系统包括工业机器人，所述工业机器人包括机械手装置、机械臂以及模板数据库，所述机械臂的输出端设有机械手装置，所述控制方法包括以下步骤：
22.步骤s1：拍摄和获取待识别物件的图像；
23.步骤s2：提取待识别物件图像的特征信息，与模板数据库中目标物件的全角度的多个模板图像进行匹配，得到识别结果；
24.步骤s3：根据识别结果生成控制机械臂运动的轨迹指令和控制机械手装置对目标物件的抓放指令；
25.步骤s4：所述机械臂执行所述轨迹指令以驱动机械手装置移动；
26.步骤s5：所述机械手装置执行所述抓放指令以对目标物件进行抓放。
27.优选地，包括待识别物件的抓取位置调整步骤：
28.步骤s71：接收对待识别物件的拍摄指令；
29.步骤s72：执行拍摄指令，判断待识别物件的抓取位置是否在拍摄范围，若不在，则生成校正控制指令，并转至步骤s73；若在，则生成识别指令，并转至步骤s74；
30.步骤s73：根据校正控制指令对待识别物件的位置进行调整；
31.步骤s74：根据识别指令对对待识别物件的种类进行识别。
32.优选地，所述机械手装置在对目标物件执行抓取动作前还包括目标物件抓取幅度调整步骤：
33.提取目标物件的两个抓取点，计算两个抓取点之间的距离，若所述距离大于或等于系统设置的阈值，则机械手装置抓取幅度增大至阈值；若所述距离小于系统设置的阈值，则机械手装置抓取幅度减少至阈值。
34.优选地，包括所述模板数据库中模板的制作步骤：根据目标物件制作模板，对模板以及模板对应的掩码图进行边缘扩充，设置模板的角度以及尺度范围属性，得到360个旋转角度的模板；对360个模板进行特征信息的提取并保存。
35.本技术实施例提供的技术方案可以包括以下有益效果：
36.1、机械臂和机械手装置的设置也进一步避免了人工操作带来的不便，实现物件分类的自动化；
37.2、通过设置多个接收模块和物件识别模块的相互配合，实现快速识别物件的不同种类，提高了物件分类的效率。
附图说明
38.图1为一种基于工业机器人的物件分类控制系统模块图；
39.图2为一种基于工业机器人的物件分类控制方法步骤流程图。
具体实施方式
40.下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
41.一种基于工业机器人的物件分类控制系统，包括机械手装置、机械臂以及模板数据库，所述机械臂的输出端设有机械手装置，其特征在于：
42.所述模板数据库设置有目标物件的全角度的多个模板，所述目标物件的每个角度对应一个模板，且每个模板包含有其对应的所述目标物件角度下的特征信息；
43.所述机械手装置安装有若干个拍摄模块、发送模块以及物件识别模块；
44.所述拍摄模块用于拍摄和获取待识别物件的图像；
45.所述发送模块用于将待识别物件的图像发送至物件识别模块；
46.所述物件识别模块用于提取待识别物件图像的特征信息，与模板数据库的各模板图像进行匹配，得到识别结果；
47.所述机械臂设有控制模块，所述控制模块用于根据识别结果生成控制机械臂运动的轨迹指令和控制机械手装置对目标物件的抓放指令。
48.随着社会文明的不断进步，人们在进行物件分类时，需要人工把大量的物件分拣到各自种类内，但在物件分拣的过程中，有些大件物件比较笨重，人们难以将其搬起进行分类；有些小件物件比较小巧，例如螺丝、笔头等，人们需要花费一定的事情去把这些小件物件挑选出来进行识别和分类，这样大大降低了物件分类的效率；还有当人们使用机器对物件进行分类，多数使用单个识别模块进行识别，有时候会造成物件的识别精度不高。
49.如图1，本技术的一种基于工业机器人的物件分类控制系统，包括机械手装置和机械臂，机械臂的输出端设有机械手装置，机械手装置安装有若干个采集模块、发送模块以及物件识别模块，机械臂设有控制模块。具体地，将若干待识别物件放置在第一物件存放装置里，多个拍摄模块同时拍摄和获取若干张待识别物件图像，每张图像通过对应发送模块发送到对应物件识别模块内进行处理，提取每张待识别物件图像的特征信息，与模板数据库的各模板图像进行匹配，若匹配成功，则识别出各物件的种类；识别完毕后，控制模块控制机械臂和机械手装置将不同种类的物件放置到对应的第二物件存放装置，其中，机械臂的输出端设有机械手装置，机械手装置用于抓取物件；机械臂和机械手装置的设置也进一步避免了人工操作带来的不便，实现物件分类的自动化。
50.现有技术中，有公开设置有机械臂的物件分类系统实现不同种类的物件分类，但该系统是使用单个采集模块和物件识别模块的，这样可能会存在识别的效率不高，有时容易造成识别不到物件的种类；而本方案通过设置多个采集模块和物件识别模块的相互配合，实现快速识别物件的不同种类，提高了物件分类的效率。
51.优选的，所述控制模块包括控制子模块，所述控制系统还包括判断模块；
52.所述判断模块用于根据所述拍摄模块所拍摄的当前待识别物件图像，判断当前待识别物件是否落入拍摄范围，若是，则触发所述发送模块将待识别物件图像发送至物件识别模块；若否，则生成校正控制指令，将校正控制指令发送至所述控制子模块；
53.所述控制子模块用于根据所述校正控制指令控制所述机械臂和机械手装置调整待识别物件的当前位置，使得待识别物件落入所述拍摄子模块的拍摄范围。
54.具体地，拍摄模块拍摄和获取待识别物件的图像，有利于物件识别模块对待识别物件图像进行特征信息的提取和物件种类的识别。控制子模块的设置有利于控制机械臂和机械手装置将不在拍摄模块的拍摄范围内的待识别物件进行位置的调整，提高物件识别的准确性。
55.在拍摄模块获取待识别物件图像的过程中，有些放置在第一物件储存装置的待识别物件没有在拍摄模块所要拍摄的区域范围里，使获取到的待识别物件图像因为特征信息的提取不完整，导致识别不到物件的种类，因此本技术设有判断模块，通过对拍摄模块的拍摄范围内待识别物件位置的判断，利用控制子模块控制机械臂和机械手装置对偏移了位置的待识别物件进行调整，调整到在拍摄模块的拍摄范围内，得到完整的图像，物件识别模块对该图像进行识别，进一步提高物件识别的准确度。
56.优选的，所述轨迹指令包括机械臂运动至目标物件的抓取位置的抓取轨迹指令、机械臂运动至目标物件的分类位置的投放轨迹指令以及机械臂从分类位置运动至初始位置的轨迹指令。
57.具体地，当物件识别模块识别到待识别物件的种类，控制模块控制机械臂和机械手装置将目标物件从第一物件存放装置内对应的抓取位置移动到第二物件存放装置内的对应的分类位置。进一步说明，所述轨迹指令包括执行如下动作：机械臂控制机械手装置从最初位置移动至第一物件存放装置的待抓取的目标物件处，或机械臂控制已抓取目标物件的机械手装置移动至第二物件存放装置，或机械臂控制已将目标物件投放至第二物件存放装置的机械手装置复位至最初位置。
58.优选的，所述抓放指令包括机械手装置对目标物件的抓取指令和机械手装置对目标物件的投放指令；
59.所述机械手装置还设有抓取幅度调整模块，所述抓取幅度调整模块用于根据目标物件的形状大小调整机械手装置的抓取幅度；
60.所述抓取幅度调整模块提取目标物件的两个抓取点，计算两个抓取点之间的距离，若所述距离大于或等于系统设置的阈值，则机械手装置抓取幅度增大至阈值；若所述距离小于系统设置的阈值，则机械手装置抓取幅度减少至阈值。
61.具体地，抓放指令包括机械手装置从第一物件存放装置处抓取目标物件的动作以及机械手装置将已抓取的目标物件投放至第二物件存放装置的动作。抓取幅度调整模块提取目标物件的两个抓取点，并且通过计算得到两个抓取点之间的距离，判断两个抓取点之
间的距离是否大于或等于系统设置的阈值，若是，则说明目标物件的抓取尺寸超过机械手装置当前的抓取幅度，将机械手装置的抓取幅度增大至阈值，以实现抓取形状较大的物件；例如，当目标物件的抓取尺寸为15cm，而机械手装置当前的抓取幅度为10cm时，机械手装置会及时作出调整，将抓取幅度增大5-6cm以抓取到目标物件。
62.若否，则说明机械手装置当前的抓取幅度超过目标物件的抓取尺寸，将机械手装置的抓取幅度减少至阈值，以实现抓取形状较小的物件或者更好地抓牢物件；例如，当目标物件的抓取尺寸为3cm，而机械手装置当前的抓取幅度为5cm时，机械手装置会及时作出调整，将抓取幅度减少1-2cm以抓取到目标物件。
63.通过调整机械手装置抓取物件的幅度大小，能有效提高物件抓取的稳定性，避免物件在抓取过程中容易掉落，影响物件分类的工作效率。
64.优选的，包括数据容纳模块，所述数据容纳模块包括第一数据容纳子模块和第二数据容纳子模块；所述第一数据容纳子模块用于储存模板数据库中各模板图像的特征信息；所述第二数据容纳子模块用于储存目标物件图像的特征信息；
65.还包括模块制作模块，用于根据目标物件制作模板，对模板以及模板对应的掩码图进行边缘扩充，设置模板的角度以及尺度范围属性，得到360个旋转角度的模板；对360个模板进行特征信息的提取，保存于所述第一数据容纳子模块。
66.现有技术中，传统的模板数据库中模板的类型和数目都不足，导致有些种类的物件无法被识别出来，原因是这些物件图像与对应的模板图像存在角度位置的偏差。本技术中的模板数据库中每个模板均通过模板制作模块根据目标物件制作而成，对模板以及模板对应的掩码图进行边缘扩充，设置模板的角度以及尺度范围属性，得到360个旋转角度的模板；各种类的物件360度对应每个旋转角度制作一个模板，对360个模板进行特征信息的提取，保存在第一数据容纳子模块，制作后可对各模板进行训练。这样当识别匹配时，能够有效提高匹配的精准度。
67.具体地，模板图像的特征信息提取是通过梯度量化实现的，梯度量化分为以下4个步骤，第一步是将图像作内核大小为7的高斯模糊处理，其中，图像为三通道图像，三通道图像的3个通道在x位置的梯度值根据梯度计算公式得到的，其中，梯度计算公式为：
[0068][0069]
其中，x代表位置，为x位置梯度值，{r,g,b}代表r通道、g通道、b通道。
[0070]
第二步是通过sobel算子计算梯度，根据图像中x轴和y轴方向的梯度计算平方和，且根据非最大抑制算法提取出单通道梯度幅值最大值图像矩阵；第三步是根据x轴和y轴方向的梯度图像矩阵得到角度图像矩阵；第四步是将0-360度的角度图像矩阵范围量化成0-15的整数，再继续对7取余数进行8个方向量化；取角度图像矩阵中大于阈值的像素，然后取像素领域为3*3对应的量化图像矩阵，构成直方图；取领域大于5个的相同方向，并赋值给这些方向，并对索引进行00000001～10000000的移位编码。
[0071]
控制系统中还设置有第一数据容纳子模块和第二数据容纳子模块，均用于储存图像的特征信息，这样有利于后续将特征信息写入配置文件。进一步说明，第一数据容纳子模
块和第二数据容纳子模块的内部储存结构是两层金字塔线性内存结构，当需要梯度量化图像时，系统会历遍两层金字塔线性内存结构，并对每一层金字塔线性内存结构内部进行处理，其处理过程是：对图像量化梯度进行4*4范围内的按位平移，得到的16张图逐个像素做或运算，最终得到的就是梯度扩散的图像的扩散梯度矩阵图；创建8个方向对应的8个响应梯度矩阵图，构成一个list数据储存模块；为了满足mipp并行计算，将8个方向分为前四个方向和后四个方向，并分别创建梯度方向矩阵；通过与运算，将图像的梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图；通过事先计算好的8个方向的各种组合的查找表，查找表中的表元素一共有8*(16 16)个，得到每部分角度与当前角度的最大相似度，然后取前后两部分中的最大值；图像每遍历一个像素，得到一个方向的相似度响应矩阵图，因此8个方向，对应有8个相似度响应矩阵图，将8个相似度响应矩阵图转换成16阶或64阶的方式进行线性化存储在连续的内存结构中，极大的方便后续匹配内存访问速度。
[0072]
具体地，图像中特征信息的选取是根据对梯度方向矩阵图进行遍历，即对图像中的每个像素进行遍历；若其中一像素的梯度幅值大于零，并且其外围形成大小为5的领域内有像素的梯度幅值超过它，则代表该像素的梯度幅值不是最大值，当遍历完毕后，图像中存在最大值的梯度幅值的像素将作为该领域特征点。
[0073]
进一步说明，梯度方向矩阵图是根据在x位置的梯度值得到的，其中，梯度方向矩阵图的计算公式为：
[0074][0075]
其中，ori()为梯度方向。
[0076]
一种实施例中，模板图像中取像素梯度较大的区域，若像素的梯度不为零，且梯度幅值大于阈值，则将该像素作为特征点输入到特征点集合。若提取的特征点集合数目小于给定特征点数目的阈值，则判定模板图像的特征点提取不成功，然后对提取到的特征点集合按照梯度幅值大小进行排序，再从这些特征点中选取散的比较开的特征点，最后存入模板特征点对应的第一数据容纳子模块，方便后续写入配置文件。
[0077]
本技术的另一方面提供了一种基于工业机器人的物件分类控制方法，应用于所述基于工业机器人的物件分类控制系统，所述控制系统包括工业机器人，所述工业机器人包括机械手装置、机械臂以及模板数据库，所述机械臂的输出端设有机械手装置，所述控制方法包括以下步骤：
[0078]
步骤s1：拍摄和获取待识别物件的图像；
[0079]
步骤s2：提取待识别物件图像的特征信息，与模板数据库中目标物件的全角度的多个模板图像进行匹配，得到识别结果；
[0080]
步骤s3：根据识别结果生成控制机械臂运动的轨迹指令和控制机械手装置对目标物件的抓放指令；
[0081]
步骤s4：所述机械臂执行所述轨迹指令以驱动机械手装置移动；
[0082]
步骤s5：所述机械手装置执行所述抓放指令以对目标物件进行抓放。
[0083]
如图2，一种基于工业机器人的物件分类控制方法，第一步是拍摄和获取待识别物件的图像；第二步是提取待识别物件图像的特征信息，与模板数据库中目标物件的全角度的多个模板图像进行匹配，得到识别结果；第三步是根据识别结果生成控制机械臂运动轨
迹指令和控制机械手装置对目标物件的抓放指令；第四步是机械臂执行轨迹指令以驱动机械手装置移动；第五步是机械手装置执行抓放指令以对目标物件进行抓放。这些步骤实现了通过机械臂和机械手装置对各种类的物件进行分类，实现物件分类的自动化。
[0084]
进一步说明，将待识别物件图像的特征信息提取出来，有利于与模板数据库中模板图像的特征信息相匹配。具体地，第一数据容纳子模块和第二数据容纳子模块的内部储存结构是两层金字塔线性内存结构，当需要梯度量化图像时，系统会历遍两层金字塔线性内存结构，并对每一层金字塔线性内存结构内部进行处理，其处理过程是：对图像量化梯度进行4*4范围内的按位平移，得到的16张图逐个像素做或运算，最终得到的就是梯度扩散的图像的扩散梯度矩阵图；创建8个方向对应的8个响应梯度矩阵图，构成一个list数据储存模块；为了满足mipp并行计算，将8个方向分为前四个方向和后四个方向，并分别创建梯度方向矩阵；通过与运算，将图像的梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图；通过事先计算好的8个方向的各种组合的查找表，查找表中的表元素一共有8*(16 16)个，得到每部分角度与当前角度的最大相似度，然后取前后两部分中的最大值；图像每遍历一个像素，得到一个方向的相似度响应矩阵图，因此8个方向，对应有8个相似度响应矩阵图，将8个相似度响应矩阵图转换成16阶或64阶的方式进行线性化存储在连续的内存结构中，极大的方便后续匹配内存访问速度。
[0085]
具体地，根据模板图像的两层金字塔线性内存结构选取的特征信息，选取目标物件图像的第一层金字塔线性内存结构中8个方向的某个方向的相似度矩阵图，并找到对应方向的线性内存结构访问入口，由于受simd限制，选16*16的矩阵大小，计算匹配相似度矩阵。将该匹配相似度矩阵转换成100分制，并找出分数最高的位置信息，同时更新对应的匹配信息。经过迭代循环，得到优化后的位置和分数信息。根据设置匹配相似度分数阈值，删选掉一些分数低于阈值的优化后的位置和分数信息的结构数据。
[0086]
按照此流程，完成360个模板图像的迭代处理，得到一系列的模板匹配信息。最后对一系列的匹配到的模板图像数据信息按照分数排序，并删除掉重复匹配到的模板图像位置和分数信息，得到最终的一系列模板图像新位置和分数信息，此时基本完成了模板图像的匹配。
[0087]
优选的，包括待识别物件的抓取位置调整步骤：
[0088]
步骤s71：接收对待识别物件的拍摄指令；
[0089]
步骤s72：执行拍摄指令，判断待识别物件的抓取位置是否在拍摄范围，若不在，则生成校正控制指令，并转至步骤s73；若在，则生成识别指令，并转至步骤s74；
[0090]
步骤s73：根据校正控制指令对待识别物件的位置进行调整；
[0091]
步骤s74：根据识别指令对对待识别物件的种类进行识别。
[0092]
具体地，拍摄模块拍摄和获取待识别物件的图像；控制模块包括控制子模块，控制子模块的设置有利于控制机械臂和机械手装置将不在拍摄模块的拍摄范围内的待识别物件的抓取位置进行校正调整，提高物件识别的准确性。进一步说明，校正控制指令是指对不在拍摄模块的拍摄范围内的待识别物件的位置校正调整指令，识别指令是指对待识别物件种类的识别指令。
[0093]
优选的，所述机械手装置在对目标物件执行抓取动作前还包括目标物件抓取幅度调整步骤：
[0094]
提取目标物件的两个抓取点，计算两个抓取点之间的距离，若所述距离大于或等于系统设置的阈值，则机械手装置抓取幅度增大至阈值；若所述距离小于系统设置的阈值，则机械手装置抓取幅度减少至阈值。
[0095]
具体地，物件识别模块提取目标物件的两个抓取点，并且通过计算得到两个抓取点之间的距离，判断两个抓取点之间的距离是否大于或等于系统设置的阈值，若是，则说明目标物件的抓取尺寸超过机械手装置当前的抓取幅度，将机械手装置的抓取幅度增大至阈值，以实现抓取形状较大的物件；若否，则说明机械手装置当前的抓取幅度超过目标物件的抓取尺寸，将机械手装置的抓取幅度减少至阈值，以实现抓取形状较小的物件。
[0096]
优选的，包括所述模板数据库中模板的制作步骤：根据目标物件制作模板，对模板以及模板对应的掩码图进行边缘扩充，设置模板的角度以及尺度范围属性，得到360个旋转角度的模板；对360个模板进行特征信息的提取并保存。
[0097]
现有技术中，传统的模板数据库中模板的类型和数目都不足，导致有些种类的物件无法被识别出来，原因是这些物件图像与对应的模板图像存在角度位置的偏差。本技术中的模板数据库中每个模板的制作的步骤为根据目标物件制作而成，对模板以及模板对应的掩码图进行边缘扩充，设置模板的角度以及尺度范围属性，得到360个旋转角度的模板。各种类的物件360度对应每个旋转角度制作一个模板，对360个模板进行特征信息的提取，保存在第一数据容纳子模块，制作后可对各模板进行训练。这样当识别匹配时，能够有效提高匹配的精准度。
[0098]
此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0099]
尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。