一种新鲜草莓分拣方法及装置与流程

1.本发明涉及水果智能分拣技术领域，具体为一种新鲜草莓分拣方法及装置。


背景技术：

2.人工智能是当今社会的一个发展主流，农产品智能分拣是人工智能的一个分支，也是一个具有发展前景的领域，农产品智能分拣的一般方法是把其堆积放入振动装置中，振动装置使其分散，进而使农产品逐个进入滑道中，而后通过相机采集图像，根据图像特征对农产品进行筛选，再通过气动装置吹动农产品进入相应的分拣箱中，实现分拣，这种智能分拣方法相比传统的人工分拣方法，大大提高了分拣效率，解放了生产力。
3.瓜果等农产品在市场上日益丰富，草莓因色泽鲜艳、口感佳备受消费者和烘培店的青睐，草莓采摘后往往需要对其按大小进行分类，方便不同消费者的不同选择，现阶段，草莓的大小分拣全部是人工分拣，瓜农每天采摘完草莓后需要再对草莓按照大小进行依个分拣，在草莓采摘繁忙的季节，每天平均的分拣时间很长，草莓无法通过传统的智能分拣装置进行分拣，原因在于：1、草莓质地柔软，稍有磕碰则数小时后会出现磕碰处表面变色，严重影响其销售，无法做到苹果、大枣、玉米粒等农产品进行分拣时通过振动装置使其分散再进行图像识别，为了解决该不足，少数厂商提出对草莓进行冷冻再进行筛选，但是冷冻后的草莓口感会大大折扣；2、草莓表面有很多个凹坑和刺点组成，并非像其他农产品一样表面光滑，其进行图像识别时具有难度，因此为了提高新鲜草莓的分拣效率和分拣的效果，提供一种草莓分拣方法是十分必要的。


技术实现要素：

4.本发明的目的在于提供一种新鲜草莓分拣方法、系统、存储介质及装置，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种新鲜草莓分拣方法、系统、存储介质及装置，包括卧床主体、底板和卧栏，其中：
7.包括以下步骤：
8.s1:将待分拣新鲜草莓缓慢放入盛有水的分拣装置的分拣箱中，让草莓受到浮力和重力的作用，陆续浮出液面进入相机拍摄区域；
9.s2:面阵ccd相机采集草莓的灰度图像，记为f(x,y)；
10.s3:对f(x,y)进行形态学处理和运算，得出每个草莓面积和形心；
11.s4:驱动机械手移动至草莓形心点处，使用负压吸引相应面积大小的草莓，移动至相应的集料箱内进行摆放；
12.s5:使用集料箱对分拣后的湿润草莓进行风干；
13.s6:重复步骤s1
‑
s5,直至分拣箱内的草莓分拣完毕。
14.优选的，所述步骤s3具体包括以下步骤：
15.s301:计算图像f(x,y)所有像素灰度梯度值g(x,y)，计算公式为：
[0016][0017]
对计算的灰度梯度值按照大小进行排序，取第r/6的灰度梯度值作为阈值m，其中r为图像的像素个数,若g(x,y)>m，则该点像素值赋值为二值化值1,反则赋值为二值化0，便可得出了二值化图像t(x,y)。
[0018]
s302:对t(x,y)用结构元素[1 0 0 0 1；0 0 1 0 0；1 0 1 0 1；1 1 1 1 1；1 0 1 0 1；0 0 1 0 0；1 0 0 0 1]进行膨胀处理，得到图像h(x,y)；
[0019]
s303:求图像h(x,y)所有像素灰度值进行邻域求和，计算公式为：
[0020][0021]
其中，当i(x,y)不等于训练值w时，则赋值为0，w为通过采集图像进行机器学习得出的经验值。最终得出的i(x,y)为仅保留草莓轮廓的二值化图像。
[0022]
s304:统计i(x,y)灰度值为1的点(x,y)，并进行判断；具体为，如果(x,y)、(x 1,y)、(x 2,y)、(x 3,y)、(x 4,y)同为1，则记录该点(x,y)；同样方法，如果(x,y)、(x,y 1)、(x,y 2)、(x,y 3)、(x,y 4)同为1，则记录该点(x,y)。把记录点形成一个点集合s
(u,v)
，如果(x,y)、(x
‑
1,y
‑
1)、(x
‑
2,y
‑
2)、(x
‑
3,y
‑
3)、(x
‑
4,y
‑
4)、(x 1,y 1)、(x 2,y 2)、(x 3,y 3)、(x 4,y 4)同为1，则该点为凹点，为两个草莓未实现完全分割造成的，单独记录该点w(x,y)；
[0023]
s305:通过点集合s
(u,v)
计算面积和形心。具体为，搜寻点(u,v)右上最近点(u t1,v t2)、右下最近点(u t3,v t4)、右侧最近点(u t5,v t6)，若t1、t2、t3、t4、t5、t6小于10，则继续搜寻最近点直至满足大于10，使用公式(t4
‑
t2)
×
t5计算面积，且形心点坐标为(u t5/2,v (t4
‑
t2)/2)；
[0024]
当点(u,v)右上最近点为w(x,y)中的点(u
w
,v
w
)，则确定点(u
w
,v
w
)为(u,v)右上最近点，(u,v)右下最近点与(u
w
,v
w
)的中点(u
m
,v
m
)为(u,v)右侧最近点，并继续搜寻点(u
m
,v
m
)右上最近点、右下最近点、右侧最近点，按照同样方法计算出面积和形心。
[0025]
优选的，所述步骤s303中训练值w通过采集图像进行机器学习得出，具体包括以下步骤；
[0026]
s3031:面阵ccd相机第一次采集草莓图像后按照步骤s301
‑
s303进行运算和处理；
[0027]
s3032:把运算和处理结果通过udp网络传输至触摸屏，在触摸屏上依次设置不同的w值；
[0028]
s3033:w值通过udp网络下发至面阵ccd相机，通过观察触摸屏显示的二值化图像找出最佳的w值。
[0029]
优选的，所述步骤s4草莓摆放进集料箱内的步骤具体为，把集料箱划分为n
×
n个坐标区域，并将第一个草莓放至(1，n)的区域，依次类推，第一层总共放n
×
n个草莓，第一层放完后再放入第二层，每一层的下落高度均不相同，且下落高度均为略大于草莓放置后的高度。
[0030]
本发明另外还提供一种新鲜草莓分拣装置，包括支撑腿、分拣箱、固定板、机械手
支架、机械手导轨、机械手组件、集料箱、面阵ccd相机、触摸屏和驱动电路板，其中：
[0031]
所述支撑腿的上部安装有分拣箱，所述分拣箱上固定有机械手支架，所述机械手支架上按安装有机械手导轨，所述机械手导轨下端安装有机械手组件，所述分拣箱侧边放置有集料箱，所述分拣箱侧面安装有固定板，所述固定板上安装有面阵ccd相机、触摸屏和驱动电路板，所述面阵ccd相机和驱动电路板电性连接，用于采集分拣箱内部草莓的灰度图像，所述触摸屏和驱动电路板电性连接，用于显示分拣装置的工作状态，并下发控制指令至驱动电路板，所述驱动电路板和机械手组件电性连接，用于为面阵ccd相机提供驱动信号，并且发送控制信号至机械手组件控制其完成工作，所述分拣装置通过上述机构能够实现权利要求
‑
任一项所述的新鲜草莓分拣方法。
[0032]
优选的，所述机械手组件由左右运动滑块、电机驱动组件、前后运动支架、前后运动滑块、机械手盒体、吸引机构、隔板、电机驱动电路板、上下运动支架、上下运动滑块、安装支架和橡胶软管构成，所述左右运动滑块安装在机械手导轨上，所述左右运动滑块的下端安装有前后运动支架，所述前后运动支架和机械手导轨的方向相垂直，所述前后运动支架上安装有前后运动滑块，所述前后运动滑块下端安装有机械手盒体，所述机械手盒体的内部安装有隔板，隔板的一侧空间内安装有电机驱动电路板，另一侧的空间侧壁上安装有上下运动支架，所述上下运动支架上安装有上下运动滑块，所述上下运动滑块上固定有安装支架，所述安装支架上安装有吸引机构，所述吸引机构上连接有橡胶软管，所述前后运动支架、机械手盒体和上下运动滑块上均安装有电机驱动组件，分别用于带动左右运动滑块、前后运动滑块和上下运动滑块沿着机械手导轨、前后运动支架和上下运动滑块进行左右、前后、上下的运动，所述电机驱动电路板和电机驱动组件电性连接。
[0033]
优选的，所述电机驱动组件由齿板、连接支架、驱动齿轮和步进电机构成，所述电机驱动组件有三组，所述齿板分别固定在机械手导轨、前后运动支架和上下运动支架上，所述连接支架分别固定在前后运动支架、机械手盒体和上下运动滑块上，所述连接支架另一端安装有驱动齿轮，所述驱动齿轮和齿板相啮合，所述连接支架上还安装有步进电机，所述步进电机和驱动齿轮同轴连接，步进电机分别独立与电机驱动组件电性连接。
[0034]
优选的，所述集料箱由箱体和风机构成，所述箱体的侧壁上安装有风机，且与风机相对的箱体侧壁上设置有出风口，所述箱体的底部设置有镂空的透水孔。
[0035]
优选的，所述分拣箱向固定板一侧倾斜，且倾斜的角度为锐角。
[0036]
与现有技术相比，本发明的有益效果是：
[0037]
1、本发明通过将草莓放置在带有坡度和水的分拣箱中，沿着分拣箱的坡度进行移动，并让草莓受到浮力的作用，陆续浮出液面进入相机拍摄区域，能够最大限度的避免草莓之间的磕碰，筛选完的草莓通过机械臂的负压吸引移动到集料箱内进行摆放，也能够避免移动过程中草莓的损伤，并将筛选后的草莓在集料箱内进行风干，从而让草莓在筛选后依旧能够保证品质，不会因磕碰等原因损伤其表面，防止影响销售；
[0038]
2、本发明通过面阵ccd相机采集草莓的灰度图像，进行形态学处理和运算后，准确得出每个草莓面积和形心，准确的对草莓的大小进行识别，从而实现草莓的智能筛选，提高草莓的分拣效率。
附图说明
[0039]
图1为本发明草莓分拣方法流程示意图；
[0040]
图2为本发明面阵ccd相机拍摄获取的灰度图像；
[0041]
图3为本发明二值化处理后的灰度图像；
[0042]
图4为本发明膨胀处理后的灰度图像；
[0043]
图5为本发明仅保留草莓轮廓的二值化图像；
[0044]
图6为本发明草莓分拣装置的整体结构示意图；
[0045]
图7为本发明草莓分拣装置中固定板的结构示意图；
[0046]
图8为本发明草莓分拣装置中机械手组件的结构示意图；
[0047]
图9为本发明草莓分拣装置中机械手组件的内部结构示意图；
[0048]
图10为本发明草莓分拣装置中电机驱动组件的结构示意图；
[0049]
图11为本发明草莓分拣装置中集料箱的结构示意图。
[0050]
图中：1支撑腿、2分拣箱、3固定板、4机械手支架、5机械手导轨、6机械手组件、601左右运动滑块、602电机驱动组件、6021齿板、6022连接支架、6023驱动齿轮、6024步进电机、603前后运动支架、604前后运动滑块、605机械手盒体、606吸引机构、607隔板、608电机驱动电路板、609上下运动支架、610上下运动滑块、611安装支架、612橡胶软管、7集料箱、701箱体、702风机、71透水孔、72出风口、8面阵ccd相机、9触摸屏、10驱动电路板。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
实施例：
[0053]
请参阅图1至图5，本发明提供一种技术方案：
[0054]
一种新鲜草莓分拣方法，包括以下步骤：
[0055]
s1:将待分拣新鲜草莓缓慢放入盛有水的分拣装置的分拣箱中，让草莓受到浮力和重力的作用，陆续浮出液面进入相机拍摄区域。
[0056]
其中，部分草莓由于已浮出水面，由于水下的草莓的受到向下作用力未能浮出水面，但是浮出水面的草莓分拣后，其可继续浮出水面待分拣，在草莓倒入盛有水的分拣箱过程中，由于浮力的反作用，草莓与草莓间相互挤压力很小，因此不会损坏草莓的外观。
[0057]
s2:面阵ccd相机采集草莓的灰度图像，记为f(x,y)；
[0058]
s3:对f(x,y)进行形态学处理和运算，得出每个草莓面积和形心；
[0059]
其中，所述形态学处理和运算具体包括以下步骤：
[0060]
s301:计算图像f(x,y)所有像素灰度梯度值g(x,y)，计算公式为：
[0061][0062]
对计算的灰度梯度值按照大小进行排序，取第r/6的灰度梯度值作为阈值m，其中r为图像的像素个数,若g(x,y)>m，则该点像素值赋值为二值化值1,反则赋值为二值化0，便
可得出了二值化图像t(x,y)。
[0063]
s302:对t(x,y)用结构元素[1 0 0 0 1；0 0 1 0 0；1 0 1 0 1；1 1 1 1 1；1 0 1 0 1；0 0 1 0 0；1 0 0 0 1]进行膨胀处理，得到图像h(x,y)；
[0064]
s303:求图像h(x,y)所有像素灰度值进行邻域求和，计算公式为：
[0065][0066]
其中，当i(x,y)不等于训练值w时，则赋值为0，w为通过采集图像进行机器学习得出的经验值，最终得出的i(x,y)为仅保留草莓轮廓的二值化图像。
[0067]
s304:统计i(x,y)灰度值为1的点(x,y)，并进行判断；具体为，如果(x,y)、(x 1,y)、(x 2,y)、(x 3,y)、(x 4,y)同为1，则记录该点(x,y)；同样方法，如果(x,y)、(x,y 1)、(x,y 2)、(x,y 3)、(x,y 4)同为1，则记录该点(x,y)。把记录点形成一个点集合s
(u,v)
，如果(x,y)、(x
‑
1,y
‑
1)、(x
‑
2,y
‑
2)、(x
‑
3,y
‑
3)、(x
‑
4,y
‑
4)、(x 1,y 1)、(x 2,y 2)、(x 3,y 3)、(x 4,y 4)同为1，则该点为凹点，为两个草莓未实现完全分割造成的，单独记录该点w(x,y)；
[0068]
s305:通过点集合s
(u,v)
计算面积和形心。具体为，搜寻点(u,v)右上最近点(u t1,v t2)、右下最近点(u t3,v t4)、右侧最近点(u t5,v t6)，若t1、t2、t3、t4、t5、t6小于10，则继续搜寻最近点直至满足大于10，使用公式(t4
‑
t2)
×
t5计算面积，且形心点坐标为(u t5/2,v (t4
‑
t2)/2)；
[0069]
当点(u,v)右上最近点为w(x,y)中的点(u
w
,v
w
)，则确定点(u
w
,v
w
)为(u,v)右上最近点，(u,v)右下最近点与(u
w
,v
w
)的中点(u
m
,v
m
)为(u,v)右侧最近点，并继续搜寻点(u
m
,v
m
)右上最近点、右下最近点、右侧最近点，按照同样方法计算出面积和形心。
[0070]
其中，所述训练值w通过采集图像进行机器学习得出，具体包括以下步骤；
[0071]
s3031:面阵ccd相机第一次采集草莓图像后按照步骤s301
‑
s303进行运算和处理；
[0072]
s3032:把运算和处理结果通过udp网络传输至触摸屏，在触摸屏上依次设置不同的w值；
[0073]
s3033:w值通过udp网络下发至面阵ccd相机，通过观察触摸屏显示的二值化图像找出最佳的w值。
[0074]
s4:驱动机械手移动至草莓形心点处，使用负压吸引相应面积大小的草莓，移动至相应的集料箱内进行摆放；
[0075]
其中，草莓摆放进集料箱内的步骤具体为，把集料箱划分为n
×
n个坐标区域，并且第一个草莓放至(1，n)的区域，依次类推，第一层总共放n
×
n个草莓，第一层放完后再放入第二层，每一层的下落高度均不相同，且下落高度均为略大于草莓放置后的高度。
[0076]
s5:使用集料箱对分拣后的湿润草莓进行风干；
[0077]
s6:重复步骤s1
‑
s5,直至分拣箱内的草莓分拣完毕。
[0078]
请参阅图6至图11，本发明另外还提供一种新鲜草莓分拣装置，包括支撑腿1、分拣箱2、固定板3、机械手支架4、机械手导轨5、机械手组件6、集料箱7、面阵ccd相机8、触摸屏9和驱动电路板10，其中：
[0079]
所述支撑腿1的上部安装有分拣箱2，所述分拣箱2上固定有机械手支架4，所述机
械手支架4上按安装有机械手导轨5，所述机械手导轨5下端安装有机械手组件6，所述分拣箱2侧面安装有固定板3，所述分拣箱2向固定板3一侧倾斜，且倾斜的角度为锐角，放置在分拣箱2内的草莓能够沿着分拣箱2的坡度进行移动。
[0080]
所述固定板3上安装有面阵ccd相机8、触摸屏9和驱动电路板10，所述面阵ccd相机8和驱动电路板10电性连接，所述触摸屏9和驱动电路板10电性连接，所述驱动电路板10和机械手组件6电性连接，用于为面阵ccd相机8提供驱动信号，所述面阵ccd相机8能够拍摄图像，从而采集分拣箱2内部草莓的灰度图像，所述触摸屏9内部带有组态软件，能够显示分拣装置的工作状态，并且可以下发控制指令至驱动电路板10，所述驱动电路板10能够为面阵ccd相机8提供驱动信号，并且发送控制信号至机械手组件6实现其移动，从而将草莓传输至相应的集料箱7。
[0081]
所述机械手组件6由左右运动滑块601、电机驱动组件602、前后运动支架603、前后运动滑块604、机械手盒体605、吸引机构606、隔板607、电机驱动电路板608、上下运动支架609、上下运动滑块610、安装支架611和橡胶软管612构成，所述左右运动滑块601安装在机械手导轨5上，左右运动滑块601能够沿着机械手导轨5进行移动，所述左右运动滑块601的下端安装有前后运动支架603，所述前后运动支架603和机械手导轨5的方向相垂直，所述前后运动支架603上安装有前后运动滑块604，前后运动滑块604能够沿着前后运动支架603进行移动，所述前后运动滑块604下端安装有机械手盒体605，所述机械手盒体605的内部安装有隔板607，隔板607的一侧空间内安装有电机驱动电路板608，另一侧的空间侧壁上安装有上下运动支架609，所述上下运动支架609上安装有上下运动滑块610，上下运动滑块610能够沿着上下运动支架609进行移动，所述上下运动滑块610上固定有安装支架611，所述安装支架611上安装有吸引机构606，吸引机构606的下端可安装硅胶吸盘，方便进行吸引，所述吸引机构606上连接有橡胶软管612，橡胶软管612的另一端连接有气泵机构，气泵机构用于产生负压，所述驱动电路板10和电机驱动电路板608电性连接，所述电机驱动电路板608和电机驱动组件602电性连接，驱动电路板10通过电机驱动电路板608发送控制信号，电机驱动电路板608驱动相应的步进电机6024转动，实现机械手组件6的移动。
[0082]
所述前后运动支架603、机械手盒体605和上下运动滑块610上均安装有电机驱动组件602，分别用于带动左右运动滑块601、前后运动滑块604和上下运动滑块610沿着机械手导轨5、前后运动支架603和上下运动滑块610进行左右、前后、上下的运动，所述电机驱动组件602由齿板6021、连接支架6022、驱动齿轮6023和步进电机6024构成，所述电机驱动组件602有三组，所述齿板6021分别固定在机械手导轨5、前后运动支架603和上下运动支架609上，所述连接支架6022分别固定在前后运动支架603、机械手盒体605和上下运动滑块610上，所述连接支架6022另一端安装有驱动齿轮6023，所述驱动齿轮6023和齿板6021相啮合，所述连接支架6022上还安装有步进电机6024，所述步进电机6024和驱动齿轮6023同轴连接，步进电机6024分别独立与电机驱动组件602电性连接，步进电机6024在电机驱动组件602的驱动下进行转动时，带动驱动齿轮6023转动，驱动齿轮6023和齿板6021产生相互的作用力带动前后运动支架603、机械手盒体605和上下运动滑块610分别进行左右、前后和上下的运动。
[0083]
为了提高分拣效率，也可增加多个机械手组件6同时工作。例如，可以设计三个机械手组件6同时工作，其分别对应三个集料箱7，中间的机械手组件6为主机械手，其可以实
现向三个集料箱7输送分拣草莓，左右两个机械手组件6仅可向对应的集料箱7输送草莓，当三个机械手组件6吸引到对应集料箱7大小的草莓时，可同时输送草莓至各自分拣箱。当副机械手对应区域无相应大小的草莓时，则由主机械手组件6单独工作，由于每分拣一次，拍摄区域的草莓图像都有变化，会存在下一次运输亦可同时分拣。
[0084]
所述分拣箱2侧边放置有集料箱7，所述集料箱7由箱体701和风机702构成，所述箱体701的侧壁上安装有风机702，且与风机702相对的箱体701侧壁上设置有出风口72，箱体701内放置有草莓后，风机702转动与出风口72相配合在箱体701的内部产生空气流动，从而对草莓进行风干，从而让草莓在筛选后依旧能够保证品质，防止腐烂，所述箱体701的底部设置有镂空的透水孔71，箱体701内积存的水能够透过透水孔71排出。
[0085]
本发明的使用原理：在使用时，在分拣箱2内倒入水，然后将待分拣新鲜草莓缓慢放入盛有水的分拣装置的分拣箱2中，让草莓受到浮力和重力的作用，部分草莓会浮出水面，下部的草莓在其上部草莓分拣后，其可继续浮出水面待分拣，由于分拣箱2向固定板3一侧倾斜，放置在分拣箱2内的草莓能够沿着分拣箱2的坡度进行移动，从而陆续浮出液面进入相机拍摄区域，面阵ccd相机采集草莓的灰度图像，然后采集的灰度图像经过触摸屏9和驱动电路板10进行形态学处理和运算，计算得出每个草莓面积和形心，驱动电路板10通过草莓的面积和形心，通过电机驱动电路板608带动各个步进电机6024进行前后左右运动，使得吸引机构606移动到带分拣草莓的正上方，然后与橡胶软管612相连的气泵机构产生负压，步进电机6024带动吸引机构606向下运动接触到草莓，，通过负压将草莓吸引固定在吸引机构606上；
[0086]
然后步进电机6024再次进行运动，将草莓移动至相应的集料箱7内，并让负压消失，将草莓放置在集料箱7内，并让风机702转动，从而和出风口72相配合在箱体701的内部产生空气流动，从而对草莓进行风干，箱体701内积存的水透过透水孔71排出。
[0087]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。