基于视觉识别的果蔬分拣机器人智能控制方法

1.本技术涉及人工智能领域，具体涉及一种基于视觉识别的果蔬分拣机器人智能控制方法。


背景技术：

2.果蔬是我国在农业领域的重要支柱产业之一，同时，果蔬的采摘与分选是果蔬加工过程中最重要的环节之一，随着工业自动化的高速发展，利用机器人进行分拣的技术已应用于对于果蔬的分拣中。
3.目前对于利用机器人对于果蔬进行分拣，蔬分选机大多仍以大其主要将果蔬的大小、重量等特征作为分选指标，然而，对于大小及重量相同的同一种果蔬，其品质也会存在较大差异，使得利用现有技术得到的对于果蔬的分拣结果并不理想。


技术实现要素：

4.针对上述技术问题，本发明提供了一种基于视觉识别的果蔬分拣机器人智能控制方法，通过果品上的点的亮度，对果品的表面图像中像素点的像素值进行修正，从而消除亮度不同给果品中缺陷判断的不良影响，以获得对于果品的更为准确的分拣结果，同时避免将果品的大小以及重量作为分选指标的局限性。
5.本发明实施例提出了一种基于视觉识别的果蔬分拣机器人智能控制方法，包括：
6.采集单个果品在初始位置下的俯视灰度图像，并对俯视灰度图像进行预处理获得果品连通域，获得经过果品连通域的形心的每一直线与果品连通域所形成的线段，以将所有线段中最长的线段作为参考线段。
7.分别获取每一感兴趣像素点的特征角度并进行列排列得到特征角度列，所述感兴趣像素点为位于参考线段的任意一侧的果品连通域中的边缘像素点，所述特征角度为感兴趣像素点的灰度梯度方向与参考线段的垂线之间的夹角。
8.将果品沿参考线段以预设角度沿预定方向进行旋转，直至将果品再次旋转至初始位置，并对旋转过程中位于参考线段上的像素点的像素值进行排列获得灰度排列矩阵，并获得旋转过程中每一特征角度列。
9.将每一特征角度列线性压缩至与灰度排列矩阵相同的行数，并对压缩后的各特征角度列按顺序进行排列，使排列后得到的特征角度矩阵中每一列，分别与灰度排列矩阵中每一列相对应。
10.对特征角度矩阵中的所有特征角度进行等区间划分，并分别对每一区间的各特征角度在灰度排列矩阵中所对应的各像素点的灰度值进行归一化处理。
11.根据归一化后的灰度排列矩阵中是否存在小于灰度阈值的像素点，判断果品属于合格果品或不合格果品，并将合格果品和不合格果品分离。
12.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，对压缩后的特征角度矩阵中列的顺序进行调整，使其中每一列分别与灰度排列矩阵中每一列相对应，包括：
13.将压缩后的特征角度矩阵中每一列的位置进行调整，使其调整至与其对应的果品的位置的呈90度的灰度排列矩阵中的列的相同位置。
14.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，将特征角度矩阵进行列方向的线性压缩至与灰度排列矩阵相同的行数，包括：
15.分别对特征角度矩阵中的每一列进行等比例分组，分别将每一组中特征角度的均值，作为压缩后特征角度矩阵中每一位置的特征角度，其中所述比例为灰度排列矩阵的行数与线性压缩前的特征角度矩阵的行数之比。
16.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，所述灰度阈值是通过大津法获得的。
17.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，对俯视灰度图像进行预处理获得果品连通域，包括：
18.利用dnn对俯视灰度图像进行分割，使得分割后的图像中果品以外的区域的像素值为0。
19.将分割后的图像中的像素值大于0的区域作为果品连通域进行提取。
20.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，对俯视灰度图像进行预处理获得果品连通域前，所述方法还包括：对俯视灰度图像进行中值滤波去噪。
21.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，所述方法还包括：
22.将合格果品的灰度排列矩阵转化为lab图像，
23.获取lab图像中在a通道中像素值位于第一区间且在b通道中像素值位于第二区间的区域的占比。
24.在所述占比大于占比阈值的情况下，将该合格果品判定为优质果品，否则将该合格果品判定为非优质果品。
25.将优质果品与非优质果品分离。
26.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，所述预定方向为顺时针或逆时针。
27.进一步的，基于视觉识别的果蔬分拣机器人智能控制方法中，所述果品为西柚、脐橙、柠檬中的任意一种。
28.本发明提供了一种基于视觉识别的果蔬分拣机器人智能控制方法，相比于现有技术，本发明实施例的有益效果在于：通过果品上的点的亮度，对果品的表面图像中像素点的像素值进行修正，从而消除亮度不同给果品中缺陷判断的不良影响，以获得对于果品的更为准确的分拣结果，同时避免将果品的大小以及重量作为分选指标的局限性。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明实施例提供的一种基于视觉识别的果蔬分拣机器人智能控制方法的流程示意图。
具体实施方式
31.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
33.术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
34.果蔬是我国在农业领域的重要支柱产业之一，同时，果蔬的采摘与分选是果蔬加工过程中最重要的环节之一，随着工业自动化的高速发展，利用机器人进行分拣的技术已应用于对于果蔬的分拣中。
35.目前对于利用机器人对于果蔬进行分拣，蔬分选机大多仍以大其主要将果蔬的大小、重量等特征作为分选指标，然而，对于大小及重量相同的同一种果蔬，其品质也会存在较大差异，使得利用现有技术得到的对于果蔬的分拣结果并不理想。
36.本发明实施例提供了一种基于视觉识别的果蔬分拣机器人智能控制方法，如图1所示，包括：
37.步骤s101、采集单个果品在初始位置下的俯视灰度图像，并对俯视灰度图像进行预处理获得果品连通域，获得经过果品连通域的形心的每一直线与果品连通域所形成的线段，以将所有线段中最长的线段作为参考线段。
38.步骤s102、分别获取每一感兴趣像素点的特征角度并进行列排列得到特征角度列，所述感兴趣像素点为位于参考线段的任意一侧的果品连通域中的边缘像素点，所述特征角度为感兴趣像素点的灰度梯度方向与参考线段的垂线之间的夹角。
39.步骤s103、将果品沿参考线段以预设角度沿预定方向进行旋转，获得旋转后每一感兴趣像素点的特征角度，进行迭代直至将果品再次旋转至初始位置，并对旋转过程中位于参考线段上的像素点的像素值进行排列获得灰度排列矩阵，并将旋转过程中各特征角度列按行排列成特征角度矩阵。
40.步骤s104、将每一特征角度列线性压缩至与灰度排列矩阵相同的行数，并对压缩后的各特征角度列按顺序进行排列，使排列后得到的特征角度矩阵中每一列，分别与灰度排列矩阵中每一列相对应。
41.步骤s105、对调整后的特征角度矩阵中的所有特征角度进行等区间划分，并分别对每一区间的各特征角度在灰度排列矩阵中所对应的各像素点的灰度值进行归一化处理。
42.步骤s106、根据归一化后的灰度排列矩阵中是否存在小于灰度阈值的像素点，判断果品属于合格果品或不合格果品，并将合格果品和不合格果品分离。
43.本发明实施例的主要目的是：根据果品的图像获取果品的形状以及颜色特征，实
现对果品的分拣。
44.需要说明的是，本发明实施例中所针对的果品为西柚、脐橙、柠檬中的任意一种。
45.本发明实施例中采用dnn(deep neural networks，深度神经网络)来识别分割图像中的目标。
46.进一步的，步骤s101、采集单个果品在初始位置下的俯视灰度图像，并对俯视灰度图像进行预处理获得果品连通域，获得经过果品连通域的形心的每一直线与果品连通域所形成的线段，以将所有线段中最长的线段作为参考线段。
47.首先，采集单个果品在初始位置下的俯视灰度图像。
48.本发明实施例中可以通过调节果品的传送装置的间距，使所需要进行拍摄的果品的顶部到底部之间的连线垂直于运输方向。
49.本发明实施例中采用具有减震措施的滚筒装置作为传送装置，能够使果品沿传送方向行进并按照预设角度进行旋转，通过在传送装置上方所设置的相机，能够获取果品的俯视灰度图像。
50.然后，对俯视灰度图像进行预处理获得果品连通域，本发明实施例中利用dnn对俯视灰度图像进行分割，使得分割后的图像中果品以外的区域的像素值为0；将分割后的图像中的像素值大于0的区域作为果品连通域进行提取，其中，由于dnn的任务是分类，其所使用的损失函数可以是交叉熵损失函数。
51.对俯视灰度图像进行预处理获得果品连通域前，还可以对俯视灰度图像进行中值滤波去噪。
52.图像去噪是指减少图像中造成的过程。现实中的图像会受到各种因素的影响而含有一定的噪声，噪声主要包括：椒盐噪声、加性噪声、乘性噪声以及高斯噪声。
53.图像去噪的算法有很多，有基于偏微分热传导方程的，也有基于滤波的，其中基于滤波的以其速度快、算法成熟，因此使用较为广泛，常用的滤波去噪算法包括：中值滤波、均值滤波以及高斯滤波。
54.其中，中值滤波是通过中值滤波器实现滤波去噪的，中值滤波器是一种常用的非线性平滑滤波器，其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换，其主要功能是让周围像素灰度值的差比较大的像素改取与周围的像素值接近的值，从而可以消除孤立的噪声点，所以中值滤波对于滤除图像的椒盐噪声非常有效。
55.最后，获得经过果品连通域的形心的每一直线与果品连通域所形成的线段，以将所有线段中最长的线段作为参考线段，该步骤的目的在于获取果品连通域中果品的顶部到底部所在位置。
56.进一步的，步骤s102、分别获取每一感兴趣像素点的特征角度并进行列排列得到特征角度列，所述感兴趣像素点为位于参考线段的任意一侧的果品连通域中的边缘像素点，所述特征角度为感兴趣像素点的灰度梯度方向与参考线段的垂线之间的夹角。
57.由于本发明实施例中所针对的果品为西柚、柠檬、脐橙中的任意一种，此类果品呈球体或类球体，其表面可能会存在光照反射不均匀的现象，表现为果品的边缘区域的灰度值低，且中部区域的灰度值高，而果品表面的缺陷区域通常也是以灰度值较低的方式存在，在这种情况下对其直接进行阈值分割进行缺陷判断，所得到的判断结果不准确。
58.为此，本发明实施例通过对果品的外侧边缘处的光照角度，对果品的表面灰度进
行反馈调节，造成其从而避免引起可能存在的表面亮度不均而造成的灰度误差，从而达到对果品连通域中灰度值进行校正的目的。
59.本发明实施例中所针对的果品为类球形水果，其表面呈现朗伯体，同时根据朗伯反射定律可知脐橙表面上任意一点的亮度，等于入射光的强度与该点法向量与光源之间连线的夹角余弦值的乘积。需要说明的是，朗伯体是指当入射能量在所有方向均匀反射，即入射能量以入射点为中心，在整个半球空间内向四周各向同性的反射能量的现象，称为漫反射，也称各向同性反射，一个完全的漫射体称为朗伯体。
60.本发明实施例中通过设置平行光源，使得光线平行于果品的行进方向，此时，果品的表面的任意点处的入射光强度近似相等，使得引起果品的表面亮度不均的原因为光线与果品表面的夹角。
61.本发明实施例中，将位于参考线段的任意一侧的果品连通域中的边缘像素点作为感兴趣像素点，同时将感兴趣像素点的灰度梯度方向与参考线段的垂线之间的夹角作为特征角度，可以分别获得每一感兴趣像素点的特征角度，所得的特征角度能够反映果品在该像素点处的光源方向与该处的夹角，从而反映该像素点处的亮度。
62.最后，将同一边缘线上的各特征角度进行列排列，可以得到特征角度列，以便在后续过程中将其中的特征角度与位于参考线段处的像素点的灰度进行对应。
63.进一步的，步骤s103、将果品沿参考线段以预设角度沿预定方向进行旋转，直至将果品再次旋转至初始位置，并对旋转过程中位于参考线段上的像素点的像素值进行排列获得灰度排列矩阵，并将旋转过程中各特征角度列按行排列成特征角度矩阵。
64.首先，将果品沿参考线段以预设角度沿预定方向进行旋转，直至将果品再次旋转至初始位置。
65.对于将果品沿参考线段以预设角度沿预定方向进行旋转，可以通过本发明实施例中所设置的传送装置所实现，该传送装置在将果品进行传送的过程中，通过所设置的滚筒能够实现对果品预设角度的旋转。
66.当将果品再次旋转至初始位置，说明果品已经被旋转一周，可以完成在旋转过程中每一特征角度列的获取，并将这些特征角度列按顺序按行进行排列，获得排列后的特征角度矩阵。同时，对旋转过程中位于参考线段上的像素点的像素值进行排列获得灰度排列矩阵，排列过程包括：将果品在同一位置下位于参考线段处的像素点从上至下排列成列，并按顺序将旋转过程中不同位置对应的参考线段处的像素点排列成的列按行进行排列，获得排列后的灰度排列矩阵。
67.进一步的，步骤s104、将每一特征角度列线性压缩至与灰度排列矩阵相同的行数，并对压缩后的各特征角度列按顺序进行排列，使排列后得到的特征角度矩阵中每一列，分别与灰度排列矩阵中每一列相对应。
68.首先，分别将每一特征角度列线性压缩至与灰度排列矩阵相同的行数。该步骤的目的在于使其数量与灰度排列矩阵的行数一致。
69.具体的，分别对每一特征角度列进行等比例分组，分别将每一组中各特征角度的均值，作为压缩后特征角度列中每一位置的特征角度，其中所述比例为灰度排列矩阵的行数与线性压缩前的特征角度列的行数之比。
70.其次，对压缩后的各特征角度列按顺序进行排列，使排列后得到的特征角度矩阵
中每一列，分别与灰度排列矩阵中每一列相对应。
71.具体的，将压缩后的各特征角度列进行排列，使排列后的特征角度矩阵中每一列，分别处在与其对应的果品的位置呈90度的灰度排列矩阵中的列相同的列数。
72.由于在对果品进行旋转过程中，同一位置下果品的果品连通域中，位于参考线段的任一测的各感兴趣像素点，对应于将果品旋转90度后果品的果品连通域中位于参考线段中的各像素点，因此可以根据此规律将每一特征角度列进行排列，使得排列后的特征角度矩阵中每一列分别与灰度排列矩阵中的每一列相对应。
73.进一步的，步骤s105、对特征角度矩阵中的所有特征角度进行等区间划分，并分别对每一区间的各特征角度在灰度排列矩阵中所对应的各像素点的灰度值进行归一化处理。
74.对特征角度矩阵中的所有特征角度进行等区间划分。该步骤的目的在于便于后续步骤中，分别对与同一区间所对应的灰度排列矩阵中的各像素点的灰度值进行归一化，以实现消除光照的不同对灰度值的影响。
75.进一步的，步骤s106、根据归一化后的灰度排列矩阵中是否存在小于灰度阈值的像素点，判断果品属于合格果品或不合格果品，并将合格果品和不合格果品分离。
76.本发明实施例中的灰度阈值可以利用大津法获得。
77.当归一化后获得的灰度排列矩阵中存在小于灰度阈值的像素点时，说明果品中存在缺陷区域，可以将其判定为不合格果品，相反，其中不存在小于灰度阈值的像素点时，说明其中不存在缺陷区域，可以将其判定为合格果品。
78.最后，可以控制分拣机器人将合格果品以及不合格果品分开进行存放，实现对合格果品与不合格果品的分离。
79.可选的，在判定果品为合格果品的基础上，可以对其品质进行进一步划分，包括：将合格果品的灰度排列矩阵转化为lab图像，获取lab图像中在a通道中像素值位于第一区间且在b通道中像素值位于第二区间的区域的占比；在所述占比大于占比阈值的情况下，将该合格果品判定为优质果品，否则将该合格果品判定为非优质果品；将优质果品与非优质果品分离。
80.对于第一区间以及第二区间的具体数值的获取，可以利用本发明实施例中归一化后灰度排列矩阵的获得方法，对被人为判定为优质果品的多个果品，分别获得对应的各归一化后的灰度排列矩阵，从而将灰度排列矩阵转化为lab图像，分别统计这些优质果品的lab图像中a通道的中像素值的范围，将其作为第一区间，同时分别统计这些优质果品的lab图像中b通道的中像素值的范围，将其作为第二区间。
81.综上所述，本发明提供了一种基于视觉识别的果蔬分拣机器人智能控制方法，通过果品上的点的亮度，对果品的表面图像中像素点的像素值进行修正，从而消除亮度不同给果品中缺陷判断的不良影响，以获得对于果品的更为准确的分拣结果，同时避免将果品的大小以及重量作为分选指标的局限性。
82.本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
83.还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重
新组合的。这些分解和/或重新组合应视为本公开的等效方案。
84.上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。