一种基于机器视觉的种子分拣装置及方法与流程

1.本发明涉及现代农业装备技术领域，特别是涉及一种基于机器视觉的种子分拣装置及方法。


背景技术：

2.随着我国国民经济的快速发展，人们对农业的产量和质量的要求不断提高，其中，种子品质的优劣直接影响到农作物的产量与质量。现有技术中的种子筛选方式大部分是通过人眼来辨别种子质量的好坏，由于种子个体不大，一旦人眼检测时间长了就容易产生视觉疲劳，造成误拣。在此背景下，许多厂商开始研发机械方式分拣种子，目前应用的种子筛选设备主要有：重力筛选机、风筛精选机、介电风选机等，以上几种筛选方式筛选出来的种子质量不高，不能用于精度较高的筛选，而且这几种方式会对种子品质产生影响，不能保证无损检测，因此，设计一种基于机器视觉的种子分拣装置及方法是十分有必要的。


技术实现要素：

3.本发明的目的是提供一种基于机器视觉的种子分拣装置及方法，准确度高，不会对种子外观形状产生损伤，能够实现种子的无损检测，能够将坏种剔除，保证了种子品质的良好。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于机器视觉的种子分拣装置及方法，包括：支撑架、种子传输带、负压装置、好种存储箱、图像采集装置、控制系统及种子吸取装置，所述支撑架上设置所述种子传输带，用于带动种子传输，所述种子传输带的顶部平行设置所述种子吸取装置及图像采集装置，所述种子吸取装置通过所述支撑架设置在所述种子传输带的中心，所述图像采集装置通过支撑架设置在所述种子吸取装置的前侧，所述负压装置设置有多组，所述负压装置连接所述种子吸取装置，用于为种子吸取装置提供吸力，所述好种存储箱设置在所述种子传输带末端的底部，用于接收好种，所述控制系统电性连接所述负压装置、图像采集装置及种子吸取装置；
6.所述种子吸取装置包括第一连接杆、吸嘴及曲柄摇杆机构，所述第一连接杆固定设置在所述种子传输带顶部两侧的支撑架上，所述吸嘴及所述曲柄摇杆机构均对应设置有多个，多个所述曲柄摇杆机构固定设置在所述第一连接杆上，所述吸嘴固定设置在所述曲柄摇杆机构的下端，并通过吸嘴管道连接所述负压装置，用于对坏种进行吸取，所述曲柄摇杆机构电性连接所述控制系统，所述曲柄摇杆机构用于带动所述吸嘴上下移动；
7.所述负压装置内可拆卸设置有坏种清种箱，所述坏种清种箱用于存储及清除坏种。
8.可选的，所述图像采集装置包括第二连接杆及工业相机，所述第二连接杆固定设置在所述种子传输带顶部两侧的支撑架上，所述工业相机设置在所述支撑架的中心，所述工业相机上固定设置有光源。
9.可选的，所述好种存储箱远离种子传输带的一端设置有架子隔板，用于防止种子速度过快，掉出好种存储箱。
10.可选的，所述吸嘴通过吸嘴管道密封管连接所述吸嘴管道，所述吸嘴管道连接所述负压装置，所述吸嘴管道为刚性管道，所述吸嘴管道密封管与所述吸嘴及吸嘴管道为间隙配合，并通过油封密封，用于使吸嘴及吸嘴管道随曲柄摇杆机构上下移动。
11.可选的，所述支撑架通过多个固定杆固定连接所述吸嘴管道，用于固定所述吸嘴管道。
12.可选的，所述负压装置包括箱体、电机及风扇，所述箱体顶部设置有顶盖，所述电机通过固定件固定设置在所述箱体内部的上部，所述电机的输出轴上设置所述风扇，所述风扇底部设置有过滤板，所述过滤板底部设置所述坏种清种箱，所述过滤板与所述坏种清种箱之间的箱体侧壁上设置有多个管孔，所述吸嘴管道通过所述管孔连通所述箱体，所述电机电性连接所述控制系统。
13.本发明还提供了一种基于机器视觉的种子分拣方法，应用于上述的基于机器视觉的种子分拣装置，包括如下步骤：
14.步骤1：将种子放置在种子传输带上，传至工业相机拍摄范围内，工业相机对种子进行拍摄，并将拍摄的图像传输至控制系统；
15.步骤2：控制系统对图像进行处理，处理完毕后，对形状特征分量和颜色特征分量进行提取，并将其与控制系统预置的标准库中的两种分量进行比对，若比对差值在合格范围内，则判定种子为好种，否则判定种子为坏种；
16.步骤3：若判定种子为好种，则不对种子做其他操作，由种子传输带的输送落入好种存储箱中，若判定种子为坏种，则通过与拍摄图像的工业相机对应的种子吸取装置对种子进行吸取进入坏种处理箱内。
17.可选的，步骤2中，控制系统对图像进行处理，处理完毕后，对形状特征分量和颜色特征分量进行提取，并将其与控制系统预置的标准库中的两种分量进行比对，若比对差值在合格范围内，则判定种子为好种，否则判定种子为坏种，具体为：
18.控制系统对图像进行平滑滤波处理，用于消除噪声及现场光源照射不均对图像的影响，处理完毕后，控制系统提取种子的形状特征分析以及颜色特征分量；
19.形状特征分量包括九组数据，分别为种子的周长、面积、圆形度、当量直径、长轴、短轴、长宽比、紧凑度及匹配值，根据标准库，应用假设检验公式通过minitab数据处理软件对形状特征分量进行验证，判断九组数据中包含符合正态分布的数据，对符合正态分布的数据采用3δ标准区间进行标准值范围划定，其中，标准值划定的合格范围为(μ
‑
3δ,μ 3δ)，对不符合正态分布的数据采用
±
20％的余量要求进行合格范围的设定；
20.颜色特征分量为rgb三通道的平均值，根据标准库，应用假设检验公式通过minitab数据处理软件对颜色特征分量进行验证，判断rgb三通道的平均值是否符合正态分布，若符合正态分布，则采用3δ标准区间进行标准值范围划定，其中，标准值划定的合格范围为(μ
‑
3δ,μ 3δ)，若不符合正态分布，则采用
±
20％的余量要求进行合格范围的设定。
21.可选的，标准库的建立方法具体为：
22.选取多粒标准种子，提取标准种子的形状特征分量及颜色特征分量，根据标准种子的形状特征分量及颜色特征分量建立标准数据库。
23.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于机器视觉的种子分拣装置及方法，该装置采用吸嘴、吸嘴管道及负压装置相配合吸取的方式来达到分拣坏种的目的，相比机械手分拣等方式具有更高的准确率，而且操作简单、方便，能够防止种子的损坏，最大限度的保证了种子的完整性，本装置采用种子传输带对种子进行传输，采用工业相机对种子进行图像采集，通过控制系统对图像进行分析判断，采用机器视觉和深度学习算法对种子的外观形状，包括色泽，形状，大小，纹理，置地等进行全面的综合分析和判断，实现对种子精准，智能地优选和分级，进而判断种子的好坏；该装置设置有曲柄摇杆机构，能够带动吸嘴上下移动，便于吸嘴对坏种的吸取；该装置的吸嘴管道和吸嘴的连接处设置有吸嘴管道密封管，将吸嘴和吸嘴管道连接，为了防止种子卡在管道，吸嘴管道设计为刚性管，吸嘴管道密封管与吸嘴和吸嘴管道之间的配合为间隙配合，用油封的方式进行密封，使吸嘴和吸嘴管道可以随着曲柄摇杆机构而上下移动。
附图说明
24.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
25.图1为本发明实施例基于机器视觉的种子分拣装置结构示意图；
26.图2为负压装置结构示意图；
27.图3为本发明实施例基于机器视觉的种子分拣方法流程示意图；
28.图4为曲柄摇杆机构结构示意图。
29.附图标记：1、支撑架；2、种子传输带；3、负压装置；4、坏种清种箱；5、吸嘴管道；6、吸嘴；7、工业相机；8、第二连接杆；9、第一连接杆；10、好种存储箱；11、架子隔板；12、曲柄摇杆机构；13、固定杆；14、过滤板；15、风扇；16、箱体；17、顶盖；18、电机；19、固定件。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.本发明的目的是提供一种基于机器视觉的种子分拣装置及方法，准确度高，不会对种子外观形状产生损伤，能够实现种子的无损检测，能够将坏种剔除，保证了种子品质的良好。
32.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
33.如图1所示，本发明实施例提供的基于机器视觉的种子分拣装置，包括：支撑架1、种子传输带2、负压装置3、好种存储箱10、图像采集装置、控制系统及种子吸取装置，所述支撑架1上设置所述种子传输带2，用于带动种子传输，所述种子传输带2的顶部平行设置所述种子吸取装置及图像采集装置，所述种子吸取装置通过所述支撑架1设置在所述种子传输
带2的中心，所述图像采集装置通过支撑架1设置在所述种子吸取装置的前侧，所述负压装置3设置有多组，所述负压装置3连接所述种子吸取装置，用于为种子吸取装置提供吸力，所述好种存储箱10设置在所述种子传输带末端的底部，用于接收好种，所述控制系统电性连接所述负压装置3、图像采集装置及种子吸取装置；
34.所述种子吸取装置包括第一连接杆9、吸嘴6及曲柄摇杆机构12，所述第一连接杆9固定设置在所述种子传输带2顶部两侧的支撑架1上，所述吸嘴6及所述曲柄摇杆机构12均对应设置有多个，多个所述曲柄摇杆机构12固定设置在所述第一连接杆9上，所述吸嘴6固定设置在所述曲柄摇杆机构12的下端，并通过吸嘴管道5连接所述负压装置3，用于对坏种进行吸取，所述曲柄摇杆机构12电性连接所述控制系统，所述曲柄摇杆机构12用于带动所述吸嘴6上下移动；
35.所述负压装置3内可拆卸设置有坏种清种箱4，所述坏种清种箱4用于存储及清除坏种。
36.该种子分拣装置的顶部应当设置有合适的光源，以便图像采集装置更好的采集种子图像。
37.所述图像采集装置包括第二连接杆8及工业相机7，所述第二连接杆8固定设置在所述种子传输带2顶部两侧的支撑架1上，所述工业相机7设置在所述支撑架1的中心，所述工业相机7上固定设置有光源，以便于工业相机更好的采集种子图像。
38.所述好种存储箱10远离种子传输带2的一端设置有架子隔板11，用于防止种子速度过快，掉出好种存储箱10。
39.所述吸嘴6通过吸嘴管道密封管连接所述吸嘴管道5，所述吸嘴管道5连接所述负压装置3，所述吸嘴管道5为刚性管道，所述吸嘴管道密封管与所述吸嘴6及吸嘴管道5为间隙配合，并通过油封密封，用于使吸嘴6及吸嘴管道5随曲柄摇杆机构12上下移动。
40.所述支撑架1通过多个固定杆13固定连接所述吸嘴管道5，用于固定所述吸嘴管道5。
41.如图2所示，所述负压装置3包括箱体16、电机18及风扇15，所述箱体16的顶部设置有顶盖17，所述电机18通过固定件19固定设置在所述箱体16内部的上部，所述电机18的输出轴上设置所述风扇15，所述风扇15的底部设置有过滤板14，所述过滤板14的底部设置所述坏种清种箱4，所述过滤板14与所述坏种清种箱4之间的箱体16侧壁上设置有多个管孔，所述吸嘴管道通过所述管孔连通所述箱体16，所述电机18电性连接所述控制系统。
42.所述控制系统采用电脑。
43.如图4所示，所述曲柄摇杆机构采用常规技术手段中可上下移动的执行机构即可。
44.本发明的另一种实施方式为：本发明除设置有图像采集装置及种子吸取装置以外，还设置有第二组图像采集装置及种子吸取装置，用于对筛选过后的种子进行二次筛选，其中第二个图像采集装置设置在第一个种子吸取装置的后侧，第二个种子吸取装置设置在第二个图像采集装置的后侧，根据种子的品质好坏，也可增加更多个图像采集装置及种子吸取装置以确保对种子的筛选。
45.图像采集装置的工业相机的数量可根据种子传输带的宽度进行选择，以便于能够采集到种子传输带上的所有种子的图像。
46.所述曲柄摇杆机构及吸嘴的数量也根据种子传输带的宽度进行选择。
47.种子吸取装置也可采用小型机械臂，控制系统通过工业相机拍摄的图像进行分析，并根据种子传输带的速度得到坏种的坐标，控制小型机械臂对坏种进行捡取丢弃，其中小型机械臂的数量根据种子传输带的宽度及种子的数量决定。
48.本发明通过搭建一个有传送带的传送系统平台，通过平行履带的方式来输送种子，选择合适的光源以及摄像头采集种子图像，然后进行图像处理，处理后的图像经过形状特征分量和颜色特征分量的提取并与标准库中两种分量作对比，通过判定是否在合格范围内来达到将种子分拣出去的目的。
49.该种子分拣装置在使用时可将传送带看做一个坐标系，通过工业相机判断种子初始位置的坐标，根据传送带的速度及种子的初始位置的坐标，判断种子进入吸嘴吸收范围的时间，进而控制相应的曲柄摇杆机构下移的时间，以便于更好的吸取坏种。
50.本发明的工作原理如下：种子先由传送带传至工业相机拍摄范围内，待工业相机识别拍照后，将图片上传至电脑，由算法程序对图片进行分析处理，若有坏种，则曲柄摇杆机构带动其前段连接的吸嘴下移，此时负压装置内部的风扇持续转动，所以吸嘴管道内持续产生负压，吸嘴产生较强吸力，吸取坏的种子进入储蓄箱，储蓄箱上半部分有过滤板，防止因吸力过大种子进入风机。储蓄箱下半部分有坏种清种箱。种子储蓄满后，坏种清种箱可取出，好的种子则直接沿着传送带进入好种存储箱内，在种子传送带末端设置架子隔板，防止传送带上种子因速度过大而掉出。其中吸嘴管道和吸嘴连接处有吸嘴管道密封管，将吸嘴和吸嘴管道连接，为了防止种子卡在管道，故管道设计为刚性管，因此密封管和他们之间的配合为间隙配合，用油封的方式进行密封，使吸嘴和管道可以随着执行机构而上下移动。
51.本发明还提供了一种基于机器视觉的种子分拣方法，应用于上述的基于机器视觉的种子分拣装置，如图3所示，包括如下步骤：
52.步骤1：将种子放置在种子传输带上，传至工业相机拍摄范围内，工业相机对种子进行拍摄，并将拍摄的图像传输至控制系统；
53.步骤2：控制系统对图像进行处理，处理完毕后，对形状特征分量和颜色特征分量进行提取，并将其与控制系统预置的标准库中的两种分量进行比对，若比对差值在合格范围内，则判定种子为好种，否则判定种子为坏种；
54.步骤3：若判定种子为好种，则不对种子做其他操作，由种子传输带的输送落入好种存储箱中，若判定种子为坏种，则通过与拍摄图像的工业相机对应的种子吸取装置对种子进行吸取进入坏种处理箱内。
55.步骤2中，控制系统对图像进行处理，处理完毕后，对形状特征分量和颜色特征分量进行提取，并将其与控制系统预置的标准库中的两种分量进行比对，若比对差值在合格范围内，则判定种子为好种，否则判定种子为坏种，具体为：
56.控制系统对图像进行平滑滤波处理，用于消除噪声及现场光源照射不均对图像的影响，处理完毕后，控制系统提取种子的形状特征分析以及颜色特征分量；
57.形状特征分量包括九组数据，分别为种子的周长、面积、圆形度、当量直径、长轴、短轴、长宽比、紧凑度及匹配值，根据标准库，应用假设检验公式通过minitab数据处理软件对形状特征分量进行验证，判断九组数据中包含符合正态分布的数据，对符合正态分布的数据采用3δ标准区间进行标准值范围划定，其中，标准值划定的合格范围为(μ
‑
3δ,μ 3δ)，对不符合正态分布的数据采用
±
20％的余量要求进行合格范围的设定；
58.颜色特征分量为rgb三通道的平均值，根据标准库，应用假设检验公式通过minitab数据处理软件对颜色特征分量进行验证，判断rgb三通道的平均值是否符合正态分布，若符合正态分布，则采用3δ标准区间进行标准值范围划定，其中，标准值划定的合格范围为(μ
‑
3δ,μ 3δ)，若不符合正态分布，则采用
±
20％的余量要求进行合格范围的设定。
59.标准库的建立方法具体为：
60.选取多粒标准种子，提取标准种子的形状特征分量及颜色特征分量，根据标准种子的形状特征分量及颜色特征分量建立标准数据库。
61.上述方法中所述控制系统对图像进行处理，处理完毕后，对形状特征分量和颜色特征分量进行提取，还包括对各纹理特征进行提取，具体为：
62.使用opencv库中的函数来进行粘连种子的分割，首先将原始图像转换为灰度图，然后使用ostu算法得到种子大概轮廓的二值图像，通过使用形态开运算去除图像中存在着小的黑白噪声，对去除黑白噪声后的二值图像进行膨胀操作，此时真实种子的图像为膨胀后图像的子集，使用distancetransform算法得到每粒种子的中心区域，然后将膨胀之后的图像减去中心区域就是不确定的种子边缘区域，使用connectedcomponents算法创建一个掩码图像使每粒种子的中心区域图像拥有自己的编号，使用不同的颜色表示每粒种子的编号，最后利用分水岭分割算法得到每粒种子边缘的确切位置，通过每粒种子的位置坐标，将单粒种子分割出来，同时去掉相邻种子，得到候选区域；
63.得到候选区域后，控制系统提取种子的形状特征分析以及颜色特征分量，具体为：
64.提取形状特征分量，将每粒种子进行二值化处理，提取种子图像的周长与面积之比、区域面积相同的圆的直径、椭圆离心率、长轴与短轴之比、区域面积和边界外接框面积的比率、区域和外接框之间填充的像素点总数与区域内像素点总数之比、区域周长与区域面积相同的圆的直径之比，共6个特征参数作为特征向量用于分类识别；
65.提取hog纹理特征，使用scikit
‑
image中的hog函数进行特征提取，首先将图像进行灰度化，大小固定为64*64，然后将图像分成大小为8*8的block，每个block再分成大小为4*4的cell，其中cell为最低层的提取梯度信息的最基本单位，统计cell内所有像素的梯度方向信息并将其划分到预设的梯度方向范围内，便形成了基本的梯度直方图信息，接下来将底层cell的梯度信息组合成block特征，然后block的梯度信息在组合成图像的最终特征用于分类识别；
66.提取lbp纹理特征，首先将图像灰度化，将lbp算子的窗口设置为4*4大小，以窗口中心像素为阈值，将相邻的8个像素灰度值进行比较，大于等于中心像素点则为1，否则为0，从而在每个窗口得到8位二进制数，即为该窗口中心像素点的lbp值，并用这个值来代表该区域的纹理信息，最终采用lbp特征值的统计直方图作为特征向量用于分类识别；
67.提取glcm(gray
‑
level co
‑
occurrence matrix，灰度共生矩阵)纹理特征，由于灰度共生矩阵的维度较大，一般不直接作为区分纹理的特征，而是基于它构建的一些统计量作为纹理分类特征，本文构建的统计量有角二阶矩(angular second moment，asm)、对比度(constrast)、相关性(correlation)、熵(energy)、协同性(homogeneity)、差异性(dissimilarity)共6个特征参数作为特征向量用于分类识别；
68.提取颜色特征分量将图像灰度化，然后将图像固定成大小为64*64，然后将缩小后的图像变成一维的特征向量用于最终的分类识别。
69.标准数据库中也有应该包含标准种子的各纹理特征。
70.本发明提供的一种实施例，采用深度学习技术中的卷积神经网络算法对图像进行识别和分析，具体为：
71.建立精简的用于种子分选任务的卷积神经网络模型，首先采用alexnet、vgg、resnet等网络在种子数据集上进行了验证比较，然后对resnet18的中间层特征进行可视化调整网络中的卷积层数，卷积核的大小和数量等参数构建了resnet10网络，实现了在基本保留原网络识别准确度的情况下显著的降低了参数量、计算量；
72.针对卷积神经网络模型对于学习类别较少的种子图像数据仍然存在着很多冗余参数，在resnet10上引入了异核卷积和通道注意力机制模块构建了lhcnet，首先，种子图像的复杂度远没有自然图像高，因此，使用小尺寸并且计算量少的1
×
1卷积与3
×
3卷积融合，在不降低网络提取种子图像特征能力的同时，能够有效的减少模型的计算量和参数量，从而提高图像识别的推理速度，其次，卷积层中的部分卷积核提取的有效的种子图像特征信息非常少，因此，在卷积层后引入了通道注意力机制模块学习每个通道特征的重要性，实现对特征的重新就校准，从而提高了模型的特征表示能力；
73.针对卷积神经网络特征利用率低的问题，在结构上做出了进一步的改进，构建了一个双分支的密集连接卷积神经网络模型并与svm结合，双分支结构使提取到的特征信息更加的丰富，密集连接方式将浅层特征与深层特征进行融合，充分的提高了深层卷积网络对浅层特征的复用，从而提高了网络的对种子种类识别的精度。
74.本发明提供的基于机器视觉的种子分拣装置及方法，该装置采用吸嘴、吸嘴管道及负压装置相配合吸取的方式来达到分拣坏种的目的，相比机械手分拣等方式具有更高的准确率，而且操作简单、方便，能够防止种子的损坏，最大限度的保证了种子的完整性，本装置采用种子传输带对种子进行传输，采用工业相机对种子进行图像采集，通过控制系统对图像进行分析判断，采用机器视觉和深度学习算法对种子的外观形状，包括色泽，形状，大小，纹理，置地等进行全面的综合分析和判断，实现对种子精准，智能地优选和分级，进而判断种子的好坏；该装置设置有曲柄摇杆机构，能够带动吸嘴上下移动，便于吸嘴对坏种的吸取；该装置的吸嘴管道和吸嘴的连接处设置有吸嘴管道密封管，将吸嘴和吸嘴管道连接，为了防止种子卡在管道，吸嘴管道设计为刚性管，吸嘴管道密封管与吸嘴和吸嘴管道之间的配合为间隙配合，用油封的方式进行密封，使吸嘴和吸嘴管道可以随着曲柄摇杆机构而上下移动。
75.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。