一种苹果智能无损分拣的方法与流程

1.本发明属于计算机视觉技术领域，特别涉及一种苹果智能无损分 拣的方法。


背景技术：

2.目前，中小型网络直销的个体农户常常使用人工分拣方法进行苹 果分拣装盒。然而对于分拣工序主要是从收集苹果的容器中逐个挑出 来分拣，人工需要仔细观察苹果的果面光洁度，并且借助各种型号的 分级板对苹果大小进行分级。在识别苹果表面的果皮损伤中，农户大 都采用人眼分拣的方式，但是苹果分级十分严格，例如优质果要求红 色着色面大于80％且斑点个数不超过5个，果锈面积不得大于1平 方厘米，人眼无法对这样的缺陷精确度量；分拣工作完成后，农户还 需要人工装盒。这一系列由操作人员手工完成分拣装盒工作，存在耗 费大量的人力物力、且效率低下，主观误差大、容易疲劳出错的缺点。 现有分拣设备大多都只能单独针对苹果单项特征进行分级，并不能准 确地反映苹果的综合品质，无法满足如今网购消费者对苹果品质的需 求。


技术实现要素：

3.为了克服上述现有技术的不足，本发明的目的在于提供一种苹果 智能无损分拣的方法，通过计算机代替人力对传送带上的苹果进行自 动识别、分级、拣选装盒。苹果在传送带上的摆放无位置要求，多个 苹果可同时进行分拣。不但可实现自动、无损的拣选，而且实时性和 有效性均得到大幅度提升。
4.为了实现上述目的，本发明采用的技术方案是：
5.提供一种苹果智能无损分拣的方法，包括以下步骤：
6.步骤一，使用摄像头采集暗箱内苹果表面图像；
7.步骤二，通过设定传送带上的区域为感兴趣区域regionofinterest (roi)将传送带皮带以外的背景去除掉，方便后面苹果图像的进一 步处理。
8.步骤三，对苹果图像进行预处理，包括利用加权平均值法对苹果 图像灰度化、使用低通频域滤波器对图像去噪以及最佳全局阈值分割 法对粘连苹果图像分割，从而得到单个苹果图像；
9.步骤四，对处理后的单个苹果图像，提取出单个苹果连通域，利 用opencv图像处理库中的函数minarearect，提取苹果图像轮廓区域 的最小外接矩形，从而得到苹果的像素长宽即果径特征。
10.步骤五，采用基于最小外接圆法的果梗/花萼法的果形特征提取。
11.步骤六，采用基于hsv颜色空间的果面着色度特征分析。
12.步骤七，融合苹果果径、果形与颜色特征，将融合后的特征向量 输入到svm分类器中进行分类识别。
13.步骤八，对果径、果形以及着色度合格的苹果采用深度卷积神经 网络yolov5检测算法进行果面缺陷检测，机械臂抓取果面合格苹 果对其底部进行二次缺陷检测，合格苹果
规则装盒，不合格苹果放回 传送带进入残次果流程。
14.步骤九，采用基于rrt算法对双机械臂避障路径进行规划，抓 取分类后苹果按级进行装盒。
15.步骤十，利用pyqt5建立苹果质量参考平台对生产状况进行查 询，以及数据的存储。
16.所述的步骤二中，通过固定相机，使其在流水线上方距离保持一 致，设定感兴趣区域regionofinterest(roi)将流水线皮带以外的场 景去除掉，方便后面苹果图像的进一步处理。
17.所述的步骤三中，采用加权平均值法对图像的b、g、r三个通 道值赋予不同的权重，并进行加权求和，得到苹果图像的灰度图。可 减少图像信息量，提高计算效率，减少处理时间。加权平均值法的计 算公式如下：
18.gray＝w1*b w2*g w3*r
19.其中，b、g和r分别为彩色图像的蓝色、绿色和红色通道， 对应的权重分别为w1＝0.114，w2＝0.587，w3＝0.299。
20.接下来使用低通频域滤波器对苹果图像中的噪点进行去除，并 增强和背景部分的区分度。理想低通滤波器模板计算公式如下：
[0021][0022]
其中,d0为截止频率，即通带半径，d(u,v)为频域中一点(u,v)到 频域矩形中心点的距离(欧式距离)，m和n表示频谱图像的宽和 高,(m/2，n/2)为频谱中心。
[0023]
最后对预处理后的苹果图像使用最佳全局阈值分割(otsu)的处 理方法，图像得到具体的苹果。对具体苹果图像进行连通域分析，判 断每个连通区域的面积是否大于单个苹果连通区域的面积，如果大于， 将该连通域判断为有粘连情况。通过凹点检测算法找到粘连联通区域 轮廓上的凹点，并计算每个凹点与其曲率方向上某个点的连线。计算 连线间的夹角，在夹角为钝角的前提下，找到与该凹点距离最近的凹 点，即为一对匹配凹点，用直线连接凹点对，即完成粘连苹果的分割。
[0024]
所述步骤五中，根据苹果分级标准可知，苹果的果形特征一般用 苹果的最大横径与纵径之比来描述。当果形指数越接近1的时候说明 苹果的果形越好，越远离1的时候说明果形越不够端正。其中最大横 径指的是苹果最大横截面直径，最大纵径为过果梗且与最大横径垂直 的长度。根据研究可知，苹果的最大横径可以用果径r描述，苹果的 最大纵径d可以近似用果梗与花萼之间的距离来描述，如下式所示。
[0025][0026]
式中：x
gg
和y
gg
分别为果梗位置的横、纵坐标，x
he
和y
he
分别为花萼 位置的横、纵坐标。
[0027]
其苹果果形特征k可用下式表示。
[0028][0029]
所述的步骤六中，在实验光源一定的情况下，s和v通道图像是 固定的，因此只需
要对h通道图像进行研究。首先将rgb图像转换 成hsv图像，如下式所示。
[0030][0031][0032]
v＝max
[0033]
式中：r、g、b分别代表r、g、b三通道的像素值，max代表三 通道中的最大值，min代表三通道中的最小值，h、s、v分别代表由rgb 转换到hsv空间后的三通道的值。将分割后的苹果rgb图像转化成 hsv图像后，接下来提取出h通道的图像。
[0034]
所述步骤八中，对优质果采用卷积神经网络进行果面缺陷检测， 机械臂抓取果面合格苹果对其底部进行二次缺陷检测，合格苹果规则 装盒，不合格苹果放回传送带进入残次果流程。由于机械臂抓起苹果 对底部进行二次缺陷检测时，背景复杂，且容易受到光线因素的干扰， 为保证识别的精度以及速度使用卷积神经网络对苹果底部状况进行 检测，具体过程包括：
[0035]
1)对苹果底部进行拍照，采集4000张苹果图像作为样本数据。 对优质及疤痕缺陷的苹果分别采集了2000张，共包含4000张图片， 苹果图像的大小为640*480，并设定为两类分别为scar_apple和prefect_apple。采用labelimage对优质果与及疤痕缺陷的坏果进行标 注，框出每一个苹果在图像中的具体位置，并设定每个苹果所属的类 别。labelimage会为数据集的每一个图像生成对应的.xml文件，用来 记录苹果图像的位置、路径、标注的位置和类别。
[0036]
2)将.xml的文件转换为label文件，label文件内含对应图片标 注内容的类别以及标注框的顶点坐标。以及训练集测试集的图片路径。 然后在pytorch版本中对.yaml配置文件进行修改，在设置nc的大小 为2，以及class修改为自定义类名。
[0037]
3)下载yolov5s的预训练模型文件到权重文件夹中，修改 models文件夹下的yolov5m.yaml下的类别数为2，在train.py中主 函数的命令行参数中设置参数路径以及总训练步数，运行train.py对 模型进行训练，观察loss函数，当其下降到0.4作业停止训练，在run 文件夹下找最后一次迭代过程中的best.pt。
[0038]
所述步骤十，采用基于rrt算法对双机械臂避障路径进行规划， 抓取分类后苹果按级进行装盒。具体过程包括：
[0039]
1)将两条机械臂一条作为主臂，一条作为从臂，建立工作空间 中障碍物的地图环境，其次，利用rrt路径规划算法，在障碍环境 中规划出主臂的一条从起始位置到目标位置
的无碰的可行路径，再其 次，将主臂作为动态障碍，对从臂也规划出一条从起始位置到目标位 置的无碰的可行路径。最终，得出主臂和从臂的无碰路径，算法结束。
[0040]
2)在双机械臂的运动路径规划时，首先以障碍物空间中的机械 臂末端执行器的起始位姿节点作为算法的初始的根位姿节点，在工作 空间中进行随机采样，生成随机节点，双机械臂应用中的随机节点为 一组6个关节的关节角度。其次，比较初始的根位姿节点与生成的随 机节点，选择改变最小的那个关节，按照随机节点的方向，旋转一个 步长的度数，得到初始的根位姿节点的子节点。然后，接着随机采样 生成随机节点，通过建立的罚函数来比较，初始的根位姿和它的子节 点与随机生成的节点之间的关系，也就是对生成的随机节点进行评估。 最后，以此类推，逐渐增加叶位姿节点，生成一个随机扩展树。当随 机树中的叶位姿节点中包含机械臂目标位姿区域时，便可在随机树中 找到一条从起始位姿到目标位姿的路径。从而当苹果到达分拣区域时， 双机械臂协同工作将苹果分拣到对应等级的箱子中，实现自动分拣装 盒。
[0041]
本发明的有益效果：
[0042]
本发明使用机器视觉技术对苹果进行分拣装盒，通过图像处理算 法，提取苹果的果径、果形、着色度和缺陷特征，利用分类算法将苹 果分级并记录苹果的位置信息。为了提高苹果分拣的效率，采用双机 械臂协同分拣的方式对苹果进行分拣。当苹果到达分拣区域时，双机 械臂协同工作将苹果分拣到对应等级的箱子中，同时将分拣信息存储 在数据库中以供工作人员进行质量评估。本发明可提高苹果分拣的质 量和效率、降低生产成本以及避免二次损伤等问题。将机器视觉技术 与专用机器人技术结合起来，实现智能化的苹果分拣。可节约相当大 的人力成本，提高分拣效率，在苹果后续的分销出口等环节保证苹果 的质量，加强中国苹果的竞争力，对于农业智能化生产方面具有一定 的指导意义。
附图说明
[0043]
图1是本发明实施例提供的分拣系统整体功能示意框图。
[0044]
图2是本发明实施例提供的分拣系统整体功能结构框图。
[0045]
图3是本发明实施例提供的粘连苹果判别和分离流程图。
[0046]
图4是本发明实施例提供的双臂协同算法流程图。
具体实施方式
[0047]
下面结合附图对本发明作进一步详细说明。
[0048]
针对现如今对苹果等级的要求越来越严格，传统的人工分拣方法 存在着效率低下、成本高、主观误差大和二次损伤等问题。本发明使 用机器视觉技术对苹果进行分拣装盒，通过图像处理算法，提取苹果 的果径、果形、着色度和缺陷特征，利用分类算法将苹果分级并记录 苹果的位置信息。为了提高苹果分拣的效率，采用双机械臂协同分拣 的方式对苹果进行分拣。当苹果到达分拣区域时，双机械臂协同工作 将苹果分拣到对应等级的箱子中，同时将分拣信息存储在数据库中以 供工作人员进行质量评估。提高苹果了分拣的质量和效率、降低生产 成本。
[0049]
下面结合附图对本发明的应用原理作进一步的说明。
[0050]
参见图1，本发明所述苹果分拣系统是用来进行苹果图像检测、 分级，机械臂根据
检测结果进行分拣装盒，以及人机交互模块实时显 示苹果分拣情况。可分为苹果图像分级与定位模块、苹果分拣模块和 人机交互模块三大模块。
[0051]
1)苹果图像分级与定位模块主要由图像预处理、图像分割、特 征提取、苹果分级和苹果定位五部分组成。各部分功能如下：
[0052]
①
图像预处理：对苹果图像进行灰度化、图像去噪；
[0053]
②
图像分割：将苹果分别从上侧面以及下侧面图像中分割出来；
[0054]
③
特征提取：提取苹果的果径、果形、着色度和缺陷特征，用于 苹果的分级；
[0055]
④
苹果分级：利用苹果样本对分级模型进行训练，实现苹果的等 级划分；
[0056]
⑤
苹果定位：将图像坐标系与世界坐标系进行转换，将苹果图像 位置与实际位置关联起来，以供后续苹果的跟踪和分拣使用。
[0057]
2)苹果分拣模块包括苹果跟踪子模块和双臂协同分拣子模块。 各子模块对应功能如下：
[0058]
①
苹果跟踪子模块：对经过上侧面图像处理后的每个苹果的位置 进行更新与记录，以供机械臂抓取；
[0059]
②
双臂协同分拣子模块：对经过苹果上侧面图像处理已经得出分 级结果的苹果进行实时跟踪，当检测到苹果到达分拣区域时根据双臂 协同分拣算法将苹果分拣到对应等级的箱子中；对于经过苹果上侧面 图像处理未得出分级结果的苹果，当到达苹果分拣区域时，由机械臂 将苹果抓取停顿0.5s，等待苹果下侧面图像处理分级结果，然后根据 分级结果将苹果分拣到对应等级的箱子中。
[0060]
3)人机交互平台主要是为了操作人员可以更好的了解当前系统 运行的状态，并且根据苹果分级的质量数据评估一批次的苹果质量好 坏。人机交互模块包括登录界面、通讯设置界面、生产状况界面和数 据查询界面四个部分，各个部分功能如下：
[0061]
①
登录界面：用于登录苹果分拣平台主界面；
[0062]
②
通讯设置界面：用于设置整个分拣平台的通讯功能，主要对机 械臂的通讯功能进行设置，包括串口号和波特率的设置；
[0063]
③
生产状况界面：实时显示暗箱内部图像处理状况以及外部图像 处理状况，并返回苹果的等级信息及位置坐标；
[0064]
④
数据查询界面：可以查询数据库中，每一批次各级苹果的数量， 以便于工作人员进查看和分析。
[0065]
如图2所示，本发明在结构上包括传送带装置1，工业摄像机2， pc机3，双机械臂4，外部摄像头和闪光灯5。传送带装置1上装有 暗箱，暗箱内部在距传送带40cm高处装有工业摄像机2，双机械臂 4固定在传送带1的两侧，外部摄像头与闪光灯5固定在传送带1的 末尾。
[0066]
本发明的工作流程如下：首先将苹果以任意姿态放置在传送带上， 苹果随着传送带运动，当苹果经过装有工业摄像机和补光设备的暗箱 后，摄像机定时采集传送带上的苹果上侧面图像，并且将采集到的苹 果图像由pc机进行图像处理，同时将实时分级结果和数据实时显示 在pc端上以供用户查看。为了保证分级的准确性，对未采集到的苹 果底部图像也进行采集与处理。故采用机械臂将苹果抓举起来，然后 由外部摄像头利用深度卷积神经网络对苹果底部状况进行检测，综合 两幅图像识别信息得到苹果的分级结果，最后利用
双机械臂根据分级 结果将苹果分拣到对应等级的箱子中，从而达到苹果智能分拣的目的。 本发明主要由像采集装置、传送装置、分拣装置和苹果分拣平台四部 分组成，各部分功能如下：
[0067]
(1)图像采集装置：由暗箱、led、两个ccd相机和闪光灯组 成，负责采集苹果图像，然后发送给pc机进行图像处理。暗箱和led 用于保证采集苹果图像时不受外界环境的干扰，保证光源的稳定，便 于内部ccd相机采集到高清且亮度一致的苹果图像。在外部增加一 个ccd相机，用来采集之前未被内部相机采集的下侧面苹果图像， 保证了苹果分级的准确性。由于外部环境复杂，光源较不稳定，因此 加上一个闪光灯，配合外部相机采集图像，保证外部图像采集的质量。
[0068]
(2)传送装置：由电机、开关、调速控制器以及传送带组成，负 责传送苹果。电机用于带动传送带运动；开关用于控制装置的开关； 调速控制器用于控制传送速度；传送带用于带动苹果进行运动。
[0069]
(3)分拣装置：由带有控制器的机械臂组成，用于辅助外部相 机进行图像采集以及将苹果分拣到对应的箱子中。
[0070]
(4)苹果分拣平台：由pc机组成，负责苹果的图像处理(苹果 分级和定位)以及机械臂的控制。pc机对采集到的苹果图像进行处 理，得到苹果的分级结果，实时更新苹果的位置信息。当苹果运动至 分拣区时，pc机苹果最新的位置信息发送给机械臂控制器，机械臂 将苹果抓举起来停顿0.5s，外部摄像头利用深度卷积神经网络对苹果 底部状况进行检测，综合两幅图像信息得出苹果的分级结果，最后机 械臂根据分级结果将苹果分拣到对应箱子中，同时在pc上实时显示 图像处理结果，并且对每一批次的苹果等级信息进行记录和保存，便 于用户查看与分析。
[0071]
图3是本发明实施例提供的粘连苹果判别和分离流程图。基于凹 点匹配的粘连苹果的判别和分离流程下所示：
[0072]
1)首先对预处理后的苹果二值图像，进行连通域分析，判断每 个连通区域的面积是否大于单个苹果连通区域的面积，如果有， 将该连通域判断为有粘连情况。
[0073]
2)通过凹点检测算法找到粘连联通区域轮廓上的凹点。
[0074]
3)计算每个凹点与其曲率方向上某个点的连线ab
[0075]
4)凹点匹配原则：
[0076]
①
两个凹点按照3中方法计算a1b1与a2b2，a1b1与a2b2的夹角必 须为钝角。
[0077]
②
在
①
的前提下，找到与该凹点距离最近的凹点，即为一对匹配 凹点。
[0078]
5)用直线连接凹点对，完成粘连苹果的分割
[0079]
粘连苹果图像分离后，接下来就可以提取单个苹果，通过提取单 个苹果的最小外接矩形来分割出单个苹果图像，为后面对单个苹果的 特征提取和识别做准备。
[0080]
图4是本发明实施例提供的苹果图像分级与定位总体流程图。苹 果图像分级与定位算法的总体工作流程是：首先通过暗箱内的ccd 相机采集苹果上侧面图像，通过图像处理算法初步得出苹果等级信息， 判断苹果是否为等外果，若苹果为等外果，则直接输出苹果等级和位 置信息，若不是等外果，则进行苹果下侧面图像采集与处理，综合两 幅图像信息返回苹果的等级和位置信息。苹果图像分级与定位算法主 要包括以下几个步骤：
[0081]
1)苹果上侧面图像采集：获取苹果上侧面图像；
[0082]
2)预处理与图像分割：包括图像灰度化、滤波、背景分割以及 粘连图像分割；
[0083]
3)苹果上侧面图像特征提取：根据苹果上侧面图像提取苹果的 果径、果形、着色度和缺陷特征参数，用于苹果上侧面图像识别；
[0084]
4)苹果上侧面图像识别与定位：根据提取到的果径和缺陷特征 对苹果进行等级，并对每个苹果进行定位；
[0085]
5)苹果下侧面图像采集，使用深度卷积神经网络对苹果底部状 况进行检测与分级。
[0086]
6)记录苹果等级与位置信息：用于机械臂分拣苹果到对应等级 的箱子中。
[0087]
双机械臂协同按以下步骤进行：
[0088]
首先，将两条机械臂一条作为主臂，一条作为从臂，建立工作空 间中障碍物的地图环境，其次，利用所提出的改进的rrt路径规划 算法，在障碍环境中规划出主臂的一条从起始位置到目标位置的无碰 的可行路径，再其次，将主臂作为动态障碍，对从臂也规划出一条从 起始位置到目标位置的无碰的可行路径。最终，得出主臂和从臂的无 碰路径，算法结束。
[0089]
算法主要包括障碍物环境的建立模块、extendtreerobot函数(随 机扩展树模块)、碰撞检测方法模块以及寻找最终路径模块，其中随 机扩展树模块和碰撞检测方法模块是本算法的关键改进点，下面将着 重讲解随机扩展树模块。
[0090]
extendtreerobot函数，随机扩展树函数，也是rrt算法的核心 函数，被用来在空间中生成随机节点，从初始目标区域向周围邻接区 域进行不断的扩展以及记录扩展过程中所遍历过的较优的节点，当记 录的较优节点包含目标位置节点时，随机扩展树函数结束搜索，在双 机械臂的运动路径规划时：首先，以障碍物空间中的机械臂末端执行 器的起始位姿节点作为算法的初始的根位姿节点，在工作空间中进行 随机采样，生成随机节点，双机械臂应用中的随机节点为一组6个关 节的关节角度。其次，比较初始的根位姿节点与生成的随机节点，选 择改变最小的那个关节，按照随机节点的方向，旋转一个步长的度数， 得到初始的根位姿节点的子节点。然后，接着随机采样生成随机节点， 通过建立的罚函数来比较，初始的根位姿和它的子节点与随机生成的 节点之间的关系，也就是对生成的随机节点进行评估。最后，以此类 推，逐渐增加叶位姿节点，生成一个随机扩展树。当随机树中的叶位 姿节点中包含机械臂目标位姿区域时，便可在随机树中找到一条从起 始位姿到目标位姿的路径。从而当苹果到达分拣区域时，双机械臂协 同工作将苹果分拣到对应等级的箱子中，实现自动分拣装盒。