一种智能采棉机器人及其采棉作业路径规划方法

1.本发明属于采棉技术领域，具体涉及一种智能采棉机器人及其采棉作业路径规划方法。


背景技术：

2.我国是棉花生产大国，棉花种植地域辽阔。在我国棉花的采摘主要采用手工方式，人工采摘保证了棉花品质的稳定性，但存在成本高、效率低和劳动强度大等不足。为了实现棉花采摘的自动化和智能化，逐渐将采棉机应用于棉花收获中，机械化采摘在一定程度上解放了劳动力、降低了生产成本，但存在棉花采净率低和含杂率高等问题。同时，由于我国棉花具有品种多、纤维短和成熟期长等特点，大规模的机械化采棉会造成优劣并收的局面，并不适合我国国情。因此，开发一种适用于我国国情的采棉机器人具有重要意义和广阔的应用前景。采棉机器人的诞生，不仅减少了劳动力、降低了成本，而且提高了采棉效率及棉花的质量。
3.目前，采棉机器人的研究在棉花的识别与定位、自主导航和机器人本体结构设计等方面取得了积极进展。但总体而言，仍普遍存在效率低的问题，难以满足大规模棉花采摘的实际需求。为了提升采棉机器人的作业效率，本发明设计了一种多臂自主智能高效率高采摘率清洁采棉机器人，在采摘平台上搭载多个采摘机械臂，采用独立、协同控制的方法，在保证棉花品质的同时大幅度提高采摘作业的工作效率。


技术实现要素：

4.本发明为了解决现有单臂采棉机器人工作效率普遍低下的问题，提出了一种智能采棉机器人及其采棉作业路径规划方法。
5.本发明的技术方案是：一种智能采棉机器人包括机械臂、机械爪、摄像头、超声波模块、铲叉、车轮、履带、进棉口、旋转底座和机身；
6.机械臂通过旋转底座设置在机身的顶部；机械臂和机械爪活动连接；摄像头、超声波模块和铲叉均设置在机身的侧壁上；车轮设置在机身的底部；车轮的外壁设置有履带；进棉口设置在机身的顶部。
7.进一步地，机身内设置有导航控制模块、动力模块、压缩仓、gps模块和采摘控制模块；
8.导航控制模块用于控制机身的行走、转向和停止；动力模块用于为导航控制模块提供动力；压缩仓用于对进棉口的棉花进行压缩；
9.gps模块用于检测机器人的当前位置信息和棉花地的环境信息；采摘控制模块用于控制机械臂和机械爪。
10.本发明的有益效果是：本智能采棉机器人通过在采摘平台上搭载多个采摘机械臂，采用独立协同控制的方法，大幅度提高采摘作业的工作效率，降低棉花的漏采率，同时做到采摘棉花的完整性和完好性，减少采摘棉花的含杂率，以保证棉花品质的稳定性。
11.基于以上系统，本发明还提出一种采棉作业路径规划方法，包括以下步骤：
12.s1：利用摄像头采集棉花地的rgb图像，并对rgb图像进行预处理；
13.s2：构建成熟棉花识别神经网络模型，并利用成熟棉花识别神经网络模型识别预处理后的rgb图像中的成熟棉花；
14.s3：确定成熟棉花的位置；
15.s4：根据成熟棉花的位置，对采棉机器人进行作业规划。
16.进一步地，步骤s1中，对rgb图像进行预处理的具体方法为：对rgb图像依次进行中值滤波和图像锐化。
17.进一步地，步骤s2中，成熟棉花识别神经网络模型包括依次连接的输入层、双通道特征提取层、特征融合层、隐藏层和输出层；
18.输入层用于将预处理后的rgb图像输入至双通道特征提取层；双通道特征提取层用于对预处理后的rgb图像进行特征向量提取；特征融合层用于对特征向量进行融合；隐藏层用于根据融合后的特征向量进行成熟棉花识别；输出层用于输出识别的成熟棉花个数。
19.进一步地，双通道特征提取层包括第一特征提取通道和第二特征提取通道；第一特征提取通道的输入图像为预处理后的rgb图像；第二特征提取通道的输入图像为对预处理后的rgb图像进行分割后的图像；第一特征提取通道和第二特征提取通道的特征提取网络结构相同，均包括依次连接的第一卷积模块、第二卷积模块和全连接层；第一卷积模块和第二卷积模块均包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层；
20.双通道特征提取层中，利用第一特征提取通道和第二特征提取通道进行特征向量提取的方法相同，均为：利用第一卷积层、第一池化层、第二卷积层和第二池化层对输入图像依次进行两次卷积操作和两次池化操作，得到输入图像的特征矩阵；利用全连接层将输入图像的特征矩阵转化为一维特征向量；
21.步骤s2中，对预处理后的rgb图像进行分割的分割函数f(x)的表达式为：
[0022][0023]
其中，r表示rgb分量的绿色分量，b表示rgb分量的蓝色分量，t表示设定的阈值。
[0024]
进一步地，隐藏层的神经元个数n的计算公式为：
[0025][0026]
其中，n0表示出层神经元个数，ni表示输入层神经元个数，a表示[0,10]之间的一个整数。
[0027]
进一步地，步骤s3中，成熟棉花在空间坐标系中位置的计算公式为：
[0028][0029]
其中，x表示成熟棉花在空间坐标系的横坐标，y表示成熟棉花在空间坐标系的纵坐标，z表示成熟棉花在空间坐标系的竖坐标，x表示成熟棉花在深度相机坐标系的横坐标，y表示成熟棉花在深度相机坐标系的纵坐标，z表示成熟棉花在深度相机坐标系的竖坐标，a
x
表示摄像头在深度相机坐标系x轴上的焦距，ay表示摄像头在深度相机坐标系y轴上的焦
距，γ表示摄像头的不垂直因子，u表示摄像头的光轴像素横坐标，v表示摄像头的光轴像素纵坐标。
[0030]
进一步地，步骤s4包括以下子步骤：
[0031]
s41：根据成熟棉花的位置，将采棉机器人的作业区域划分为第一采摘区域、第二采摘区域、第三采摘区域和第四采摘区域；
[0032]
s42：在各个采摘区域内，进行棉花采摘顺序规划。
[0033]
进一步地，步骤s42中，进行棉花采摘顺序规划的具体方法为：获取所有成熟棉花集合，进行棉花采摘顺序规划的计算公式为：
[0034][0035]
其中，d(i,v＇)表示从顶点i出发经过所有成熟棉花集合v＇中各个顶点一次且仅一次后最后回到顶点i的最短路径长度，d(k,v＇-{k})表示从顶点k出发经过集合v＇-{k}中各个顶点一次且一次后最后回到顶点i的最短路径长度，表示从顶点k直接到顶点i的最短路径长度，e表示距离集合，c
ik
表示从顶点i到顶点k的距离，c
ki
表示从顶点k到顶点i的距离。
[0036]
本发明的有益效果是：
[0037]
(1)本采棉作业路径规划方法提出一种基于双通道特征提取的成熟棉花自动识别神经网络模型，提高对成熟棉花识别和定位的准确率；
[0038]
(2)本采棉作业路径规划方法根据成熟棉花分布情况对各机械臂任务进行合理规划和调度；基于机器视觉实现机器人的智能自主导航，实现采棉机器人移动过程中的路径规划和实时引导。
附图说明
[0039]
图1为智能采棉机器人的流程图；
[0040]
图2为采棉作业路径规划方法的流程图；
[0041]
图3为基于双通道特征提取的成熟棉花识别神经网络结构图；
[0042]
图4为四个作业区域划分示意图；
[0043]
图5为四个机械臂的作业任务规划分区示意图；
[0044]
图中，1、机械臂；2、机械爪；3、摄像头；4、超声波模块；5、铲叉；6、车轮；7、履带；8、导航控制模块；9、动力模块；10、压缩仓；11、进棉口；12、旋转底座；13、gps模块；14、采摘控制模块；15、机身。
具体实施方式
[0045]
下面结合附图对本发明的实施例作进一步的说明。
[0046]
如图1所示，本发明提供了一种智能采棉机器人，包括机械臂1、机械爪2、摄像头3、超声波模块4、铲叉5、车轮6、履带7、进棉口11、旋转底座12和机身15；
[0047]
机械臂1通过旋转底座12设置在机身15的顶部；机械臂1和机械爪2活动连接；摄像头3、超声波模块4和铲叉5均设置在机身15的侧壁上；车轮6设置在机身15的底部；车轮6的
外壁设置有履带7；进棉口11设置在机身15的顶部。
[0048]
在本发明实施例中，机器视觉模块由安装在机器人前后左右四个方向的深度相机摄像头3采集场景图像并基于机器视觉实现对成熟棉花的识别与定位；机械执行模块由13个采摘机械臂1机器人前方、左方、右方各安装4个机械臂，后方安装1个机械臂用于采摘机器人行进过程中漏采的棉花及其末端执行器机械爪2组成，通过多机械臂协同工作引导末端执行器完成棉花的收获动作，并将棉花放入棉花收集装置进棉口11和压缩仓10。
[0049]
在本发明实施例中，如图1所示，机身15内设置有导航控制模块8、动力模块9、压缩仓10、gps模块13和采摘控制模块14；
[0050]
导航控制模块8用于控制机身15的行走、转向和停止；动力模块9用于为导航控制模块8提供动力；压缩仓10用于对进棉口11的棉花进行压缩；gps模块13用于检测机器人的当前位置信息和棉花地的环境信息；采摘控制模块14用于控制机械臂1和机械爪2。
[0051]
基于以上系统，本发明还提出一种采棉作业路径规划方法，如图2所示，包括以下步骤：
[0052]
s1：利用摄像头采集棉花地的rgb图像，并对rgb图像进行预处理；
[0053]
s2：构建成熟棉花识别神经网络模型，并利用成熟棉花识别神经网络模型识别预处理后的rgb图像中的成熟棉花；
[0054]
s3：确定成熟棉花的位置；
[0055]
s4：根据成熟棉花的位置，对采棉机器人进行作业规划。
[0056]
在本发明实施例中，步骤s1中，对rgb图像进行预处理的具体方法为：对rgb图像依次进行中值滤波和图像锐化。
[0057]
中值滤波用以消除图像采集时可能带入的随机噪声，并在滤除噪声的同时保护图像的边缘信息。图像锐化的目的是使图像的边缘更加陡峭和清晰，以突出图像的边缘和轮廓，便于后续对棉花轮廓特征的提取。
[0058]
在本发明实施例中，如图3所示，步骤s2中，成熟棉花识别神经网络模型包括依次连接的输入层、双通道特征提取层、特征融合层、隐藏层和输出层；
[0059]
输入层用于将预处理后的rgb图像输入至双通道特征提取层；双通道特征提取层用于对预处理后的rgb图像进行特征向量提取；特征融合层用于对特征向量进行融合；隐藏层用于根据融合后的特征向量进行成熟棉花识别；输出层用于输出识别的成熟棉花个数。
[0060]
在本发明实施例中，双通道特征提取层包括第一特征提取通道和第二特征提取通道；第一特征提取通道的输入图像为预处理后的rgb图像；第二特征提取通道的输入图像为对预处理后的rgb图像进行分割后的图像；第一特征提取通道和第二特征提取通道的特征提取网络结构相同，均包括依次连接的第一卷积模块、第二卷积模块和全连接层；第一卷积模块和第二卷积模块均包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层；卷积层核大小为3
×
3，池化层核大小为2
×
2。
[0061]
双通道特征提取层中，利用第一特征提取通道和第二特征提取通道进行特征向量提取的方法相同，均为：利用第一卷积层、第一池化层、第二卷积层和第二池化层对输入图像依次进行两次卷积操作和两次池化操作，得到输入图像的特征矩阵；利用全连接层将输入图像的特征矩阵转化为一维特征向量；
[0062]
将图像输入到双通道特征提取层进行多尺度特征提取，以获取图像更加丰富的特
征信息。双通道特征提取层的两个特征提取通道分别为：基于rgb图像的第一特征提取通道，主要用于提取图像中复杂多样的特征；基于r-b色差信息的第二特征提取通道，主要用于提取棉花的轮廓特征。第一特征提取通道和第二特征提取通道的输入图像不同，特征提取网络相同。
[0063]
步骤s2中，由于棉花颜色与背景存在较大差异，因此色彩差异是区分棉花与棉叶和棉枝等背景的重要依据，基于rgb图像的r分量与b分量的色差值(r-b)将棉花从背景中分割出来，以获取棉花基本轮廓，对预处理后的rgb图像进行分割的分割函数f(x)的表达式为：
[0064][0065]
其中，r表示rgb分量的绿色分量，b表示rgb分量的蓝色分量，t表示设定的阈值，由颜色统计分析来确定。
[0066]
在本发明实施例中，隐藏层的神经元个数n的计算公式为：
[0067][0068]
其中，n0表示出层神经元个数，ni表示输入层神经元个数，a表示[0,10]之间的一个整数。。
[0069]
在本发明实施例中，第一特征提取通道和第二特征提取通道得到的特征向量分别为feauture1(f1,f2,
…
,fn)和feauture2(g1,g2,
…
,gn)。
[0070]
在特征融合层，将两个通道得到的特征向量相融合，使得特征向量包含更多的有效信息。结果如下：
[0071]
f＝(f1,f2,
…
,fn,g1,g2,
…
,gn)。
[0072]
在本发明实施例中，步骤s3中，成熟棉花在空间坐标系中位置的计算公式为：
[0073][0074]
其中，x表示成熟棉花在空间坐标系的横坐标，y表示成熟棉花在空间坐标系的纵坐标，z表示成熟棉花在空间坐标系的竖坐标，x表示成熟棉花在深度相机坐标系的横坐标，y表示成熟棉花在深度相机坐标系的纵坐标，z表示成熟棉花在深度相机坐标系的竖坐标，a
x
表示摄像头在深度相机坐标系x轴上的焦距，ay表示摄像头在深度相机坐标系y轴上的焦距，γ表示摄像头的不垂直因子，u表示摄像头的光轴像素横坐标，v表示摄像头的光轴像素纵坐标。
[0075]
完成对成熟棉花的识别与定位后，为了实现多臂协同采摘，需要对各机械臂的任务进行合理规划和调度。该机器人在机械结构由13个5自由度机械臂构成，其中，机器人的前方、左方和右方各安装4个机械臂，后方安装1个机械臂专门负责对机器人行进过程中漏采棉花的采摘。
[0076]
在本发明实施例中，步骤s4包括以下子步骤：
[0077]
s41：根据成熟棉花的位置，将采棉机器人的作业区域划分为第一采摘区域、第二采摘区域、第三采摘区域和第四采摘区域；
[0078]
s42：在各个采摘区域内，进行棉花采摘顺序规划。
[0079]
步骤s42中，进行棉花采摘顺序规划的具体方法为：获取所有成熟棉花集合，进行棉花采摘顺序规划的计算公式为：
[0080][0081]
其中，d(i,v＇)表示从顶点i出发经过所有成熟棉花集合v＇中各个顶点一次且仅一次后最后回到顶点i的最短路径长度，d(k,v＇-{k})表示从顶点k出发经过集合v＇-{k}中各个顶点一次且一次后最后回到顶点i的最短路径长度，表示从顶点k直接到顶点i的最短路径长度，e表示距离集合，c
ik
表示从顶点i到顶点k的距离，c
ki
表示从顶点k到顶点i的距离。
[0082]
多臂协同采棉机器人的作业任务规划如下：
[0083]
(1)根据棉花的分布情况划分相对独立的四个作业区域，并分配不同机械臂进行作业，使各机械臂的作业范围互不交叉，有效避免不同机械臂作业过程中的冲突问题。
[0084]
(2)实现各个机械臂对专属采摘区内棉花的采摘顺序的规划，按照采摘顺序驱动末端执行器完成收获动作，直到收获区内所有成熟棉花都采摘完毕。
[0085]
(3)由于随着采摘规模、机械臂数量和作业范围的增加，工作区域互不交叉会存在各臂均不可达的作业区域，导致漏采，这些漏采的棉花由采棉机器人后方的机械臂专门负责。
[0086]
在划分相对独立的四个作业区域，并分配不同机械臂进行作业中，根据棉花的分布情况划分相对独立的四个作业区域，使得每个机械臂工作区域的棉花数量较为均衡，方法如下：
[0087]
假设图像中成熟棉花总数量为n，获取图像中心坐标c(x0,y0)。在棉花采摘系统中已获得成熟棉花的三维分布信息，通过目标坐标位置对上半部分内的成熟棉花数量进行计数，假设数量为n。公式如下：
[0088][0089]
其中，a为常数，需根据实际情况取合适的值。通过以上公式不断更新y0的值，直到n＝2/n，同理对左半部分区域内的成熟棉花数量进行计数并对x0的值进行更新，最后得到数量中心坐标c＇(x0,y0)。
[0090]
假设作业区域内有40颗成熟棉花，四个作业区域划分结果如图4所示。
[0091]
划分四个作业区域后，为每一个机械臂分配一个固定的作业区域进行采摘作业。四个机械臂的作业任务规划分区如图5所示。其中，tl为一号机械臂的工作区域，tr为二号机械臂的工作区域，bl为三号机械臂的工作区域，br为四号机械臂的工作区域。
[0092]
自主导航移动系统由机器人移动平台、机器视觉模块、gps模块和超声波避障模块
组成，包括摄像头3、超声波模块4、车轮6、履带7、动力模块9和gps模块13。机器人移动平台采用履带式行走机构(车轮6、履带7和动力模块9)，可适应各种复杂路面，实现采棉机器人在棉花地的移动；机器视觉模块由安装在采棉机器人前方的摄像头3实时采集棉花地场景图像及环境信息；gps模块13用于检测机器人的当前位置信息及棉花地路面的环境信息；超声波避障模块4由安装在机器人前后左右四个方向的超声波测距传感器完成避障任务。由以上模块共同完成采棉机器人移动过程中的路径规划和实时引导，实现机器人的自主智能导航。
[0093]
机器人的自主导航的实现思路如下：利用安装在采棉机器人前方的深度相机摄像头作为感知元件获取周边环境的图像，经过图像二值化、滤波等处理后，利用hough变换等技术提取边界信息。采用多种传感器(gps和超声波测距传感器等)获取环境信息，然后利用多传感器信息融合方法并结合模式识别技术确定障碍物的方位、规划机器人行走路线。以上模块的最终信息都传递给导航控制模块8的控制器，由控制器经过路径规划优化，控制履带式移动机构左右两边的动力模块9，指挥机器人在无人干涉情况下自主移动到预定的位置。
[0094]
控制系统由采摘控制模块14和导航控制模块8组成。采摘控制模块14完成多机械臂1的独立、协同控制以及机械爪2的控制；采摘控制模块14主要实现采棉机器人行走、转向和停止的控制。当棉花采摘系统检测到成熟棉花后，采摘控制模块14的控制器驱动多个机械臂1及末端执行器机械爪2完成棉花的采摘作业，并将棉花放进棉花收集装置(进棉口11和压缩仓10)。导航控制模块8的控制器需要接收采摘控制模块14的控制器传递过来的信息，当棉花采摘系统检测到成熟棉花的目标信息时，导航控制模块8接收到来自采摘控制模块14的“行走”指令信息；当没有检测到成熟棉花时，导航控制模块8接收到来自采摘控制模块14的“停止”指令信息。
[0095]
本发明的有益效果为：
[0096]
(1)本智能采棉机器人通过在采摘平台上搭载多个采摘机械臂，采用独立协同控制的方法，大幅度提高采摘作业的工作效率，降低棉花的漏采率，同时做到采摘棉花的完整性和完好性，减少采摘棉花的含杂率，以保证棉花品质的稳定性；
[0097]
(2)本采棉作业路径规划方法提出一种基于双通道特征提取的成熟棉花自动识别神经网络模型，提高对成熟棉花识别和定位的准确率；
[0098]
(3)本采棉作业路径规划方法根据成熟棉花分布情况对各机械臂任务进行合理规划和调度；基于机器视觉实现机器人的智能自主导航，实现采棉机器人移动过程中的路径规划和实时引导。
[0099]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。