基于迁移学习的地瓜外观品质分类方法与装置与流程

1.本发明涉及食品品质分类技术领域，尤其涉及一种基于迁移学习的地瓜外观品质分类方法与装置。


背景技术：

2.近些年，随着社会经济的发展，人们的生活水平也在不断提高，对健康问题和食品品质方面也更加重视。地瓜作为营养食品，含有大量的糖、蛋白质、各种维生素、矿物质、胡萝卜素、抑制癌细胞生长的抗癌物质和大量食物性纤维，所以地瓜能预防便秘、肠癌。同时，用地瓜代替米、面等主食，能减少热量的摄取，有助于减肥。
3.根据地瓜的外观品质，地瓜可以分为精品地瓜和次品地瓜两类，在市场上，这两类地瓜以不同的价格进行销售，因此，在将地瓜投入到市场之前，对其品质进行有效的检测分类已成为农业市场必不可少的一道重要工序，这不仅能保证地瓜的质量，方便消费者挑选，同时也可以提高地瓜的经济价值和市场竞争力。
4.目前，中国地瓜市场上暂无与人工智能技术相关的地瓜品质检测分类的方法，大多数还是依靠人工进行分级，不仅效率低下，精度不稳定，耗时较长，而且人工分拣时对地瓜存在一定破坏性。


技术实现要素：

5.本发明提供了一种基于迁移学习的地瓜外观品质分类方法与装置，用于解决目前依靠人工对地瓜进行分级，不仅效率低下，精度不稳定，耗时较长，而且人工分拣时对地瓜存在一定破坏性的技术问题。
6.有鉴于此，本发明第一方面提供了一种基于迁移学习的地瓜外观品质分类方法，包括以下步骤：
7.采集已分类的地瓜的rgb图像，将已分类的地瓜的rgb图像构建地瓜图像数据集，其中，地瓜图像数据集包括训练图像、验证图像和测试图像；
8.将训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计，得到地瓜外观品质分类网络；
9.初始化地瓜外观品质分类网络的参数，使用训练图像和验证图像对地瓜外观品质分类网络进行训练，得到训练好的地瓜外观品质分类网络；
10.将测试图像输入训练好的地瓜外观品质分类网络，即可输出地瓜外观品质分类结果。
11.可选地，还包括：
12.将地瓜外观品质分类结果存储在第三方，其中，地瓜外观品质分类结果与对应的测试图像中的地瓜外观相匹配。
13.可选地，在采集已分类的地瓜的rgb图像之前，还包括：
14.将采摘的地瓜由专业人士进行分类；
15.利用相机拍摄已分类的地瓜，并采集所拍摄的地瓜的rgb图像。
16.可选地，使用训练图像和验证图像对地瓜外观品质分类网络进行训练之前，还包括：
17.对训练图像和验证图像进行数据增强处理。
18.可选地，对训练图像和验证图像进行数据增强处理，包括：
19.对训练图像和验证图像进行随机裁剪处理、随机翻转处理、随机旋转处理、随机高斯噪声处理和随机亮度变化处理。
20.可选地，使用训练图像和验证图像对地瓜外观品质分类网络进行训练时，包括利用微调技术结合训练图像和验证图像对地瓜外观品质分类网络进行训练。
21.可选地，将训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计之前，还包括：
22.使用imagenet数据集对resnet18深度卷积神经网络进行训练，得到训练好的resnet18深度卷积神经网络。
23.可选地，在训练地瓜外观品质分类网络过程中，使用交叉熵函数作为训练过程的代价函数。
24.本发明第二方面提供了一种基于迁移学习的地瓜外观品质分类装置，包括相机、采集模块、构建数据模块、设计网络模块、训练网络模块和输出模块；
25.相机，用于拍摄地瓜，并将拍摄的地瓜的rgb图像发送至采集模块；
26.采集模块，用于采集已分类的地瓜的rgb图像；
27.构建数据模块，用于将已分类的地瓜的rgb图像构建地瓜图像数据集，其中，地瓜图像数据集包括训练图像、验证图像和测试图像；
28.设计网络模块，用于将训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计，得到地瓜外观品质分类网络；
29.训练网络模块，用于初始化地瓜外观品质分类网络的参数，使用训练图像和验证图像对地瓜外观品质分类网络进行训练，得到训练好的地瓜外观品质分类网络；
30.输出模块，用于将测试图像输入训练好的地瓜外观品质分类网络，即可输出地瓜外观品质分类结果。
31.可选地，还包括三角支架、led灯和白色瓷砖；
32.三角支架，用于固定led灯和相机；
33.led灯，至少两个led灯安装在三角支架上，且位于相机的两侧边，用于相机拍摄照片时，补充光照；
34.白色瓷砖，安装在相机正下方，用于摆放地瓜。
35.从以上技术方案可以看出，本发明实施例具有以下优点：
36.本发明提供了一种基于迁移学习的地瓜外观品质分类方法，将已分类的地瓜的rgb图像进行构建地瓜图像数据集，由训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计地瓜外观品质分类网络，使用地瓜图像数据集进行训练地瓜外观品质分类网络，从而使地瓜外观品质分类网络对地瓜外观品质进行检测分类时，提高检测效率，且具备更精准的检测精度，利用外观品质分类网络进行检测地瓜分类，解放了劳动力，节约劳动成本，减少人为因素对地瓜的损坏。解决了目前依靠人工对地瓜进行分级，不仅效率低
下，精度不稳定，耗时较长，而且人工分拣时对地瓜存在一定破坏性的技术问题。
附图说明
37.为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
38.图1为本发明实施例中提供的一种基于迁移学习的地瓜外观品质分类方法的流程示意图；
39.图2为本发明实施例中提供的地瓜外观品质分类网络的网络结构示意图；
40.图3为本发明实施例中提供的完整的basic block网络结构示意图；
41.图4为本发明实施例中提供的简化的basic block网络结构示意图；
42.图5为本发明实施例中提供的不同层数的resnet网络结构示意图；
43.图6为本发明实施例中提供的数据增强过程示意图；
44.图7为本发明实施例中提供的地瓜外观品质分类网络具体实施流程示意图；
45.图8为本发明实施例中提供的一种基于迁移学习的地瓜外观品质分类装置的模块示意图；
46.图9为本发明实施例中提供的三角支架、相机和led灯的连接结构图。
具体实施方式
47.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.为了便于理解，请参阅图1至图7，本发明中提供了一种基于迁移学习的地瓜外观品质分类方法，包括以下步骤：
49.步骤101、采集已分类的地瓜的rgb图像，将已分类的地瓜的rgb图像构建地瓜图像数据集，其中，地瓜图像数据集包括训练图像、验证图像和测试图像。
50.在采集已分类的地瓜的rgb图像之前，先将采摘的待分类的地瓜由专业人士进行分类，利用相机拍摄已分类的地瓜，采集相机所拍摄的已分类的地瓜的rgb图像。
51.采集已分类的地瓜的rgb图像，将地瓜图像数据集按比例划分为训练图像数据集、验证图像数据集和测试图像数据集，构建地瓜图像数据集。具体地，训练图像数据集、验证图像数据集和测试图像数据集比例为6：2：2，由于resnet18网络限制了图像像素大小，故输入的rgb图像需缩放至224
×
224像素大小。一共采集了405张地瓜图像，其中精品地瓜图像有185张，次品地瓜图像有220张，为了提高样本数据的随机性，405张图像混合在一起后完全打乱，将这打乱后的405张地瓜图像按照6：2：2的比例分为三份，分别作为训练图像数据集、验证图像数据集和测试图像数据集。
52.步骤102、将训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计，得到地瓜外观品质分类网络。
53.使用imagenet数据集进行训练resnet18深度卷积神经网络，得到训练好的resnet18深度卷积神经网络，将训练好的resnet18深度卷积神经网络的特征提取部分作为地瓜外观品质分类网络的特征提取模块，将输入为512、输出为2的全连接层作为地瓜外观品质分类网络的分类器模块，特征提取模块与分类器模块结合设计，得到地瓜外观品质分类网络，具体网络结构如图2所示。
54.残差网络(residualnetwork，resnet)的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。所有的resnet均先由basicblock串接成resblock，随后res block再串接成各种各样的resnet网络。如图3所示是一个完整的basic block，其中包含2个相同输出通道的卷积层，每个卷积层后接一个批量归一化bn层(batch normalization)和relu激活函数。为了简化表示，可将图3所示的basic block，省略掉其中的批量归一化层以及激活层，如图4所示，即为简化后的basicblock。resblock是由经过简单修改的basic block串接，随后res block再串接成各种各样的resnet网络，不同层数的resnet结构如图5所示，本发明的地瓜外观品质分类网络的特征提取模块，为训练好的resnet18深度卷积神经网络的特征提取部分。
55.步骤103、初始化地瓜外观品质分类网络的参数，使用训练图像和验证图像对地瓜外观品质分类网络进行训练，得到训练好的地瓜外观品质分类网络。
56.设计好地瓜外观品质分类网络之后，对地瓜外观品质分类网络进行训练，在训练地瓜外观品质分类网络过程中，利用迁移学习中常用的微调(fine-tune)技术在原始训练图像数据集与原始验证图像数据集上对地瓜外观品质分类网络上进行训练，训练过程中，主要设置的超参数有训练轮数(epochs)、批尺寸(batch_size)、分类数目(num_classes)、优化器(optimizer)、损失函数(cost_fuction)、学习率(1earning_rate)、权重衰减因子(weight_decay)等，其中，优化器采用adam优化器，交叉熵函数作为代价函数，详细的参数设置见表1。
57.表1.网络模型的超参数
58.超参数值epochs80batch_size40num_classes2optimizeradamcost_fuction交叉熵函数learning_rate0.0001weight_decay0.00001
59.设置好超参数之后，使用地瓜图像数据集中的原始训练图像数据集对地瓜外观品质分类网络进行训练，用原始验证图像数据集对地瓜外观品质分类网络进行验证，得到训练好的地瓜外观品质分类网络，从而使地瓜外观品质分类网络对地瓜外观品质进行检测分类时，提高检测效率，且具备更精准的检测精度。
60.步骤104、将测试图像输入训练好的地瓜外观品质分类网络，即可输出地瓜外观品质分类结果。
61.训练好地瓜外观品质分类网络之后，将测试图像输入训练好的地瓜外观品质分类网络进行测试，输出地瓜外观品质分类结果即为测试结果，在训练、验证和测试地瓜外观品质网络过程中，训练图像数据集、验证图像数据集以及测试图像数据集的准确率如表2所示。
62.表2.训练图像数据集、验证图像数据集以及测试图像数据集的准确率
63.数据集准确率训练图像数据集100.0％验证图像数据集91.2％测试图像数据集93.3％
64.由表2可以看出，地瓜外观品质分类网络经训练图像数据集和验证图像数据集训练好后，使用测试图像数据集进行测试，输出的地瓜外观品质分类结果准确率有效提高。
65.本发明实施例提供的基于迁移学习的地瓜外观品质分类方法，将已分类的地瓜的rgb图像进行构建地瓜图像数据集，由训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计地瓜外观品质分类网络，使用地瓜图像数据集进行训练地瓜外观品质分类网络，从而使地瓜外观品质分类网络对地瓜外观品质进行检测分类时，提高检测效率，且具备更精准的检测精度，利用外观品质分类网进行检测地瓜分类，解放了劳动力，节约劳动成本，减少人为因素对地瓜的损坏。解决了目前依靠人工对地瓜进行分级，不仅效率低下，精度不稳定，耗时较长，而且人工分拣时对地瓜存在一定破坏性的技术问题。
66.在一个实施例中，步骤104之后，还包括：
67.步骤105、将地瓜外观品质分类结果存储在第三方，其中，地瓜外观品质分类结果与对应的测试图像中的地瓜外观相匹配。
68.测试完地瓜外观品质分类网络之后，将得到的地瓜外观品质分类结果保存在第三方，地瓜外观品质分类结果与对应的测试图像中的地瓜外观相匹配，当输入地瓜图像时，根据地瓜外观来提取对应的地瓜外观品质分类结果。
69.此外，在一个实施例中，在步骤103中，使用训练图像和验证图像对地瓜外观品质分类网络进行训练之前，还需要对原始训练图像和原始验证图像进行数据增强处理，包括对训练图像和验证图像进行随机裁剪处理、随机翻转处理、随机旋转处理、随机高斯噪声处理和随机亮度变化处理。具体地，一共采集405张地瓜图像，其中精品地瓜图像有185张，次品地瓜图像有220张，因训练深度神经网络通常需要大量的数据，这些数据并不能很好地训练深度神经网络，为了更好地训练地瓜外观品质分类网络，对采集到的地瓜图像都进行了数据增强。此外，由于原始图像和增强后的图像都应在同一个数据集中，所以在数据增强之前先将原始地瓜图像按照6∶2∶2的比例划分成训练图像数据集、验证图像数据集和测试图像数据集。由于resnet18网络限制了图像像素大小，故输入的rgb图像需缩放至224x224像素大小。本发明执行的数据增强具体过程如图6所示，其中每个数据增强方式的详细定义如表3所示。
70.表3.数据增强方式的详细定义
71.数据增强方式操作说明随机旋转按照均匀分布随机产生一个角度对图像进行旋转。随机水平翻转基于概率来执行图像的水平翻转。
随机垂直翻转基于概率来执行图像的垂直翻转。随机亮度随机调整图像的亮度。随机模糊随机产生高斯核来模糊输入图像。随机高斯噪声在输入图像中叠加随机高斯噪声。
72.由表3可以看出，经过数据增强后，原先的一张图像变成了七张图像，总共得到了2835张224
×
224像素大小的地瓜图像，其中，精品地瓜图像为1295张，次品地瓜图像为1540张，使用更多的图像对地瓜外观品质分类网络进行训练和验证，从而提高地瓜外观品质分类网络的检测效率，且具备更精准的检测精度。
73.另外，在一个实施例中，在训练地瓜外观品质分类网络过程中，使用交叉熵函数作为训练过程的代价函数。具体地，使用训练图像数据集训练地瓜外观品质分类网络时，计算交叉熵函数的loss值，训练结果越接近真实结果时，交叉熵函数的loss值越小，反之，交叉熵函数的loss值越大。如图7所示，总体地瓜外观品质分类流程为：采集已分类的地瓜的rgb图像，划分训练图像数据集、验证图像数据集和测试图像数据集，然后对训练图像数据集、验证图像数据集和测试图像数据集进行数据增强，接着训练地瓜外观品质分类网络，计算交叉熵函数的loss值，通过训练轮数是否达到预先设置的值判断训练是否完成，若训练轮数达到了，则判为训练完成，若否，则判为训练未完成，继续接着训练地瓜外观品质分类网络。当判为训练完成时，保存模型参数，并输出分类结果。
74.为了便于理解，请参阅图8至图9，对应于前述实施例中提供的基于迁移学习的地瓜外观品质分类方法，本发明中提供了一种基于迁移学习的地瓜外观品质分类装置，包括相机、采集模块、构建数据模块、设计网络模块、训练网络模块和输出模块；相机，用于拍摄地瓜，并将拍摄的地瓜的rgb图像发送至采集模块；采集模块，用于采集已分类的地瓜的rgb图像；构建数据模块，用于将已分类的地瓜的rgb图像构建地瓜图像数据集，其中，其中，地瓜图像数据集包括训练图像、验证图像和测试图像；设计网络模块，用于将训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计，得到地瓜外观品质分类网络；训练网络模块，用于初始化地瓜外观品质分类网络的参数，使用训练图像和验证图像对地瓜外观品质分类网络进行训练，得到训练好的地瓜外观品质分类网络；输出模块，用于将测试图像输入训练好的地瓜外观品质分类网络，即可输出地瓜外观品质分类结果。
75.本发明实施例提供的基于迁移学习的地瓜外观品质分类装置，将已分类的地瓜的rgb图像进行构建地瓜图像数据集，由训练好的resnet18深度卷积神经网络的特征提取部分与分类器结合设计地瓜外观品质分类网络，使用地瓜图像数据集进行训练地瓜外观品质分类网络，从而使地瓜外观品质分类网络对地瓜外观品质进行检测分类时，提高检测效率，且具备更精准的检测精度，利用外观品质分类网进行检测地瓜分类，解放了劳动力，节约劳动成本，减少人为因素对地瓜的损坏。解决了目前依靠人工对地瓜进行分级，不仅效率低下，精度不稳定，耗时较长，而且人工分拣时对地瓜存在一定破坏性的技术问题。
76.在一个实施例中，本装置还包括三角支架、led灯和白色瓷砖；三角支架，用于固定led灯和相机；led灯，至少两个led灯安装在三角支架上，且位于相机的两侧边，用于相机拍摄照片时，补充光照；白色瓷砖，安装在相机正下方，用于摆放地瓜。
77.为了快速地采集地瓜rgb图像，使用相机拍摄已分类的地瓜的图像。三角支架支撑在平地上，在三角支架上安装有相机、两个led灯和arduinouno开发板，两个led灯分别安装
在相机的左右两侧边，led灯优选长条型led灯，当相机拍摄地瓜照片时，补充光照，保证光照平衡，在相机正下方放置白色瓷砖，用于摆放地瓜，作为拍摄平面。相机优选为工业相机，工业相机具备快门速度快、高精度、高清晰度、色彩还原好、低噪声等特点。具体地，三角支架、相机、led灯等结构连接示意图如图9所示，拍摄前，先将已分类的地瓜放置在白色瓷砖上，调整好相机的焦距以及相机与测量平面之间的距离，随后，仔细调整相机曝光时间、光圈大小以及对焦，保证拍摄得到的图像色调正常，图像清晰，调整好相机参数后，固定此时的参数用于后续拍摄。具体作用与参数如表4所示。
78.表4.各组件的作用和参数
[0079][0080]
由表4可看出，为了拍摄一组合格的地瓜外观的图像，需要调整相关参数，保证拍摄得到的图像利于地瓜外观品质分类网络检测，有效提高检测的准确率。
[0081]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。