一种基于双目视觉的苹果分级方法

1.本发明涉及一种基于双目视觉的苹果分级方法，属于图像识别设备领域。


背景技术：

2.目前我国水果分级主要通过机械完成。传统的苹果分级主要是机械的方式，一种是采用可倾覆的称重托盘，将苹果进行称重，苹果按重量不同通过托盘倾覆滚落至对应级别的框中，另一种是采用大小不同的漏斗，让苹果从上向下倾倒，苹果按大小从不同的漏斗分向不同的级别的框中。以上两种机械分级方式，在苹果分级过程中，都不可避免产生碰撞造成苹果表皮损伤。本发明研发一种基于双目视觉的苹果分级方法。


技术实现要素：

3.针对上述不足，本发明提供了一种基于双目视觉的苹果分级方法。
4.本发明是通过以下技术方案实现的：一种基于双目视觉的苹果分级方法，包括以下步骤：s1：使用双目摄像头获取苹果图像；s2：将双目摄像头获取的苹果图像分割为左目图像与右目图像；s3：将左目图像输入目标识别卷积神经网络，识别左目图像中所有的苹果；s4：通过卷积神经网络识别框提取苹果图像；s5：将识别框中心点通过双目立体匹配算法计算得到苹果的三维位置坐标；s6：将提取到的苹果图像进行预处理，去除无用的图像部分；s7：将预处理后的图像按直径大小与果形系数进行分级；s8：将苹果的位置以及对应的等级发送给抓取装置结束分级。
5.进一步地，所述将左目图像输入目标识别卷积神经网络，识别左目图像中所有的苹果，具体步骤为：将左目图像输入到预先训练好的mobile-ssd卷积神经网络，识别左目图像中所包含的所有苹果所在区域。
6.进一步地，所述通过卷积神经网络识别框提取苹果图像具体步骤为：利用mobile-ssd目标检测神经网络关键区域，并通过剪裁得到关键区域图像；将关键区域图像向外等距扩充三个像素作为分级所需苹果图像。
7.其中，所述的关键区域为左目图像中苹果所在区域。
8.进一步地，s5所述的将识别框中心点通过双目立体匹配算法计算得到苹果的三维位置坐标，具体步骤为：将卷积神经网络识别框左下角与右上角像素坐标做差，得到识别框坐标的中心像素坐标；将中心点像素坐标通过双目立体匹配算法得到中心点实际三维坐标作为苹果位置坐标。
9.进一步地，s6所述的将提取到的苹果图像进行预处理，去除无用的图像部分，具体过程为：
s601：将提取到的苹果图像进行滤波处理；s602：将滤波处理后的图像二值化；s603：将二值化处理后的图像进行形态学处理；s604：提取形态学处理后二值化图像中的所有轮廓；s605：删除苹果轮廓外的多余轮廓并保留有用轮廓。
10.进一步地，所述苹果图像的滤波处理具体步骤为：将原始图像通过卷积核大小为3x3的二维卷积进行卷积处理；将卷积处理后的图像进行均值滤波；提取出均值滤波后图像的r通道图像。
11.其中，r通道是指图像在rgb色彩空间中的红色通道。
12.进一步地，所述将二值化处理后的图像进行形态学处理，主要是通过腐蚀处理将二值化处理后的图像白色轮廓向内部缩小3个像素。
13.进一步地，所述删除苹果轮廓外的多余轮廓，具体步骤为：检测形态学处理后的图像中所有的轮廓；筛选出轮廓中最大的轮廓进行保留。
14.其中，进行形态学处理的目的是为了将互相接触的苹果图像分开。
15.进一步地，s7所述将预处理后的图像按直径大小与果形系数进行分级，具体过程为：s701：通过最小外接圆确定苹果直径；s702：通过双目摄像头获取苹果纵径；s703：通过苹果直径与纵径计算苹果的果形系数；s704：通过苹果直径与果形系数对苹果进行分级。
16.进一步地，所述通过最小外接圆确定苹果直径，其具体过程为：获取最小外接圆的像素直径并带入拟合曲线得到真实直径作为苹果的直径。
17.其中拟合曲线为图像中像素直径与实际直径的函数关系，通过标定获得；具体标定过程为，通过30个苹果的真实直径与对应像素直径通过最小二乘法拟合得到像素直径与实际直径的函数关系。
18.进一步地，所述通过双目摄像头获取苹果纵径，其具体步骤为：将左目与右目图像同时输入双目立体匹配算法，得到深度图；通过苹果图像对应位置的深度最小值与平台深度值做差，得到苹果的纵径；使用苹果直径与苹果纵径的比值作为苹果的果形系数。
19.进一步地，所述通过苹果直径与果形系数进行分级，遵循国家标准gb/t 10651-2008《鲜苹果》以及该品种苹果所对应的果径与果形分级国家标准、行业标准。
附图说明
20.图1为本发明实施例一种基于双目视觉的苹果分级方法流程图。
21.图2为本发明实施例提供的双目摄像头获取的图像示例图。
22.图3为本发明实施例中左目图像识别结果示例图。
23.图4为本发明实施例中苹果图像预处理流程图。
24.图5为本发明实施例中图像预处理前后的图像示例图。
25.图6为本发明实施例中苹果分级流程图。
26.图7为本发明实施例中苹果最小外接圆计算结果示例图。
具体实施方式
27.为了能够清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。
28.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于再次描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
29.实施例1如图1所示，一种基于双目视觉的苹果分级方法，包括以下步骤：s1：使用双目摄像头获取苹果图像。
30.s2：将双目摄像头获取的苹果图像分割为左目图像与右目图像。
31.需要说明的是，所述对双目摄像头获取的图像进行分割，是因为有双目获取的图像为左右目的整体图像（如图2所示为双目摄像头所采集图像），对双目摄像头的图像进行分割是将整体图像从横向像素1/2处将图像分为左目与右目。
32.s3：将左目图像输入目标识别卷积神经网络，识别左目图像中所有的苹果。
33.需要说明的是，所述将左目图像输入目标识别卷积神经网络，识别左目图像中所有的苹果，具体步骤为：将左目图像输入到预先训练好的mobile-ssd卷积神经网络，识别左目图像中所包含的所有苹果所在区域（如图3所示为左目图像识别结果）。
34.s4：通过卷积神经网络识别框提取苹果图像。
35.需要说明的是，所述通过卷积神经网络识别框提取苹果图像具体步骤为：利用mobile-ssd目标检测神经网络关键区域，并通过剪裁得到关键区域图像；将关键区域图像向外等距扩充三个像素作为分级所需苹果图像。
36.其中，所述的关键区域为左目图像中苹果所在区域。
37.s5：将识别框中心点通过双目立体匹配算法计算得到苹果的三维位置坐标。
38.需要说明的是，所述的将识别框中心点通过双目立体匹配算法计算得到苹果的三维位置坐标，具体步骤为：将卷积神经网络识别框左下角与右上角像素坐标做差，得到识别框坐标的中心像素坐标；将中心点像素坐标通过双目立体匹配算法得到中心点实际三维坐标作为苹果位置坐标。
39.s6：将提取到的苹果图像进行预处理，去除无用的图像部分。
40.实施例2本实施例基于上述步骤对步骤s6进行详细阐述。
41.如图4所示，具体过程为：s601：将提取到的苹果图像进行滤波处理。
42.需要说明的是，所述苹果图像的滤波处理，首先将原始图像通过卷积核大小为3x3的二维卷积进行卷积处理，其中卷积核如下：，将卷积处理后的图像进行均值滤波；提取出均值滤波后图像的r通道图像。
43.其中，r通道是指图像在rgb色彩空间中的红色通道。
44.s602：将滤波处理后的图像二值化。
45.s603：将二值化处理后的图像进行形态学处理。
46.需要说明的是，所述将二值化处理后的图像进行形态学处理，主要是通过腐蚀处理将二值化后的图像白色轮廓向内部缩小3个像素。
47.其中进行形态学处理的目的是为了将互相接触的苹果图像分开。
48.s604：提取形态学处理后二值化图像中的所有轮廓。
49.s605：删除苹果轮廓外的多余轮廓并保留有用轮廓。
50.需要说明的是，所述删除苹果轮廓外的多余轮廓，具体过程为：检测形态学处理后的图像中所有的轮廓；筛选出轮廓中最大的轮廓进行保留（如图5所示为图像预处理前后的图像）。
51.s7：将预处理后的图像按直径大小与果形系数进行分级。
52.实施例3本实施例基于上述步骤对步骤s7进行详细阐述。
53.如图6所示，具体过程为：s701：通过最小外接圆确定苹果直径。
54.需要说明的是，所述通过最小外接圆确定苹果直径，其具体过程为：将保留的轮廓进行最小外接圆拟合得到轮廓的外接圆，并将最小外接圆直径作为像素直径（如图7所示为苹果最小外接圆计算结果）；获取最小外接圆的像素直径并带入拟合曲线得到真实直径作为苹果的直径。
55.其中拟合曲线为图像中像素直径与实际直径的函数关系，通过标定获得。
56.具体标定过程为，通过30个苹果的真实直径与对应像素直径通过最小二乘法拟合得到像素直径与实际直径的函数关系。
57.s702：通过双目摄像头获取苹果纵径。
58.需要说明的是，所述通过双目摄像头获取苹果纵径，其具体步骤为：将左目与右目图像同时输入双目立体匹配算法，得到深度图；通过苹果图像对应位置的深度最小值与平台深度值做差，得到苹果的纵径。
59.s703：通过苹果直径与纵径计算苹果的果形系数。
60.需要说明的是，所述通过苹果直径与纵径计算苹果的果形系数，其使用苹果直径与苹果纵径的比值作为苹果的果形系数。
61.s704：通过苹果直径与果形系数对苹果进行分级。
62.需要说明的是，本实施例中所用的是红富士苹果,所述通过苹果直径与果形系数进行分级，遵循国家标准gb/t 10651-2008《鲜苹果》以及行业标准ny/t1075-2006《红富士苹果》，其具体分级标准如下：直径大于等于70，果形系数大于等于0.9为特等；直径大于等于60小于70，果形系数大于等于0.75小于0.9为一等；直径大于等于60小于65，果形系数小于0.5为二等；直径小于60，果形系数小于0.5为等外。
63.s8：将苹果的位置以及对应的等级发送给抓取装置结束分级。