一种阳光玫瑰葡萄果实大小粒图像识别方法与流程

1.本发明涉及葡萄图像识别的技术领域，更具体地，涉及一种阳光玫瑰葡萄果实大小粒图像识别方法。


背景技术：

2.阳光玫瑰葡萄近年来凭借清甜的口感以及独特的玫瑰香味备受消费者喜爱，随着市场需求的不断增长，阳光玫瑰葡萄的种植规模也在快速扩张，因此，提高葡萄果实产量的同时做好品质控制尤为重要。
3.葡萄果实大小粒是阳光玫瑰葡萄栽培过程中常见的生理性病害，具体表现为果实大小不均匀，呈现明显的大小粒现象。果实大小粒问题若不及时处理，将导致阳光玫瑰葡萄产量下降，品质降低，对产品价值、经济效益造成重要影响。
4.传统的葡萄果实大小粒判定方法依赖人工测量的方式，并对每个果穗上的所有果粒进行大小分类，计算小果率，根据经验判断是否为该果穗是否为大小粒。人工测量的方式效率较低，不适用于大规模测量需求。
5.随着现代农业与人工智能技术的发展，一些基于计算机视觉的识别方法可实现大规模、方便快捷的葡萄果实大小粒识别。基于图像分类的方法通常将葡萄图像分为正常和大小粒2类，但大小粒特征较分散，且不同标注人员有着不同标准，难以统一标注规范，容易造成标注数据产生二义性，最终导致识别率较低。


技术实现要素：

6.本发明针对现有技术不足，提供一种阳光玫瑰葡萄果实大小粒图像识别方法，利用实例分割与机器学习算法，满足阳光玫瑰葡萄的大规模快速测量需求，同时可对果粒指标进行量化，提升识别准确率。
7.为解决上述技术问题，本发明所采用的技术方案是：一种阳光玫瑰葡萄果实大小粒图像识别方法，包括以下步骤：
8.(1)图片数据集制作：收集阳光玫瑰葡萄果穗图片数据，并对阳光玫瑰葡萄果穗图片数据中的果粒进行实例分割标注后，按一定比例划分为训练集、验证集与测试集；
9.(2)机器学习模型数据处理：针对训练集、验证集分别进行数据统计与机器学习模型特征值计算，标注人员通过结合阳光玫瑰葡萄果穗图片与计算好的特征值，判断该阳光玫瑰葡萄果穗图片是否为大小粒，得到机器学习训练集与机器学习验证集；机器学习训练集用于机器学习模型训练，
10.机器学习验证集用于中间模型验证与最佳模型选取。
11.(3)机器学习模型训练：步骤(2)中处理好的机器学习训练集输入至xgboost模型进行训练，训练过程中，将机器学习验证集输入至训练好的模型进行验证；
12.(4)构建实例分割网络；所述实例分割网络用于背景或果粒的分类学习，能够定位出果粒位置，并提取出果粒掩码，进行掩码学习；
13.(5)构建损失函数：采用dice loss损失函数用于步骤(4)中掩码学习的监督，focal loss损失函数用于步骤(4)中分类学习的监督，对dice loss损失函数和focal loss损失函数进行加权得到最终的损失函数；
14.(6)实例分割模型训练：将训练集输入至步骤(4)中的实例分割网络，采用步骤(5)中的损失函数进行监督训练，每一轮训练完成后输出一个中间模型，将验证集输入至训练好的中间模型进行验证，获得模型参数，训练结束后选取准确率最高的模型作为最佳模型；
15.(7)模型推理：将步骤(6)中训练好的模型参数加载至步骤(4)实例分割网络，并将步骤(1)中测试集的阳光玫瑰葡萄果穗图片依次输入至实例分割网络进行推理，得到实例分割结果；对实例分割结果进行数据统计与特征选择，最后特征输入到步骤(3)训练好的机器学习模型，得到大小粒分类结果。
16.特别的，所述步骤(1)中，按0.8:0.1:0.1的比例划分训练集、验证集与测试集。
17.特别的，所述步骤(2)中，特征值包括果粒数量、果粒横径方差、果粒纵径方差、果形指数方差和果粒面积方差。
18.特别的，所述步骤(4)中，实例分割网络由输入层、全卷积网络、分类分支、分类特征图、语义类别、掩码分支、掩码特征图、实例掩码、特征图映射、输出层构成。
19.特别的，步骤(5)中，所述dice loss损失函数为：
[0020][0021]
其中，x表示输入样本，fi(x)表示第i个类别的预测结果，yi表示第i个类别对应的真实标签。
[0022]
特别的，步骤(5)中，focal loss损失函数为：
[0023]
focal loss＝-α
t
(1-p
t
)
γ
log p
t
；
[0024]
其中，p
t
表示模型预测概率，α
t
表示类别权重，设为0.25，γ表示难易样本调节参数，设为2。
[0025]
特别的，所述步骤(5)中，dice loss与focal loss加权后的损失函数为：
[0026]
loss＝λ(dice loss) (1-λ)(focal loss)；
[0027]
其中，λ表示权重参数，λ设置为0.5。
[0028]
特别的，所述步骤(6)中，将训练集输入至步骤(4)中的实例分割网络后，还使用sgd优化器，学习率设置为0.01进行训练。
[0029]
与现有技术相比，本发明所具有的有益效果为：
[0030]
本发明与现有阳光玫瑰葡萄果实大小粒判断做法相比，利用实例分割模型进行果粒分割，并对果粒指标进行量化，根据葡萄果粒数量、果粒横径方差、果粒纵径方差、果形指数方差、果形面积等5个特征进行机器学习特征学习，得到果穗大小粒分类，满足阳光玫瑰葡萄的大规模快速测量需求，提升识别准确率。
附图说明
[0031]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0032]
图1为本发明实施例的阳光玫瑰葡萄果实大小粒图像识别流程图；
[0033]
图2为本发明实施例步骤(4)中的实例分割网络的结构图。
具体实施方式
[0034]
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0035]
需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0036]
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0037]
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0038]
如图1所示，本实施例的一种阳光玫瑰葡萄果实大小粒图像识别方法，包括以下步骤：
[0039]
(1)图片数据集制作：收集阳光玫瑰葡萄果穗图片数据，并对阳光玫瑰葡萄果穗图片数据中的果粒进行实例分割标注后，按0.8:0.1:0.1的比例划分为训练集、验证集与测试集；
[0040]
(2)机器学习模型数据处理：针对训练集、验证集分别进行数据统计与机器学习模型特征值计算，标注人员通过结合阳光玫瑰葡萄果穗图片与计算好的特征值，判断该阳光玫瑰葡萄果穗图片是否为大小粒，得到机器学习训练集与机器学习验证集；机器学习训练集用于机器学习模型训练，
[0041]
机器学习验证集用于中间模型验证与最佳模型选取。
[0042]
特征值包括果粒数量、果粒横径方差、果粒纵径方差、果形指数方差和果粒面积方差。
[0043]
其中，果粒数量：单张图片识别的所有果粒数量；
[0044]
果粒横径方差：根据单个果粒分割结果生成旋转矩形框，取旋转矩形框宽高的最小值作为该果粒横径，计算所有果粒横径的方差；
[0045]
果粒纵径方差：根据单个果粒分割结果生成旋转矩形框，取旋转矩形框宽高的最大值作为该果粒纵径，计算所有果粒纵径的方差；
[0046]
果形指数方差：单个果粒纵径与单个果粒横径的比值为果形指数，计算所有果粒
果形指数的方差；
[0047]
果粒面积方差：根据单个果粒分割结果统计像素点数量，作为果粒面积，计算所有果粒面积的方差。
[0048]
(3)机器学习模型训练：步骤(2)中处理好的机器学习训练集输入至xgboost模型进行训练，训练过程中，将机器学习验证集输入至训练好的模型进行验证；
[0049]
(4)构建实例分割网络；所述实例分割网络用于背景或果粒的分类学习，能够定位出果粒位置，并提取出果粒掩码，进行掩码学习；
[0050]
如图2所示，实例分割网络由输入层、全卷积网络、分类分支、分类特征图、语义类别、掩码分支、掩码特征图、实例掩码、特征图映射、输出层构成。
[0051]
其中，输入层：对高h、宽w的输入图片进行[-0.5,0.5]归一化，设置网格参数s；
[0052]
全卷积网络：采用resnet-50-fpn网络作为基础网络结构，提取全卷积特征；
[0053]
分类分支：采用7个卷积层堆叠的方式进行分类学习，输出分类特征图；
[0054]
分类特征图：由分类分支特征学习得到的sxsxc的特征图，c表示类别数量，果粒分割只含1个类别，因此设置c＝1；
[0055]
语义类别：若某个目标的中心位置落入分类特征图sxs网格的第i行、第j列个格子中，则该格子负责预测此目标是否为果粒类别；
[0056]
掩码分支：采用7个卷积层堆叠的方式进行掩码学习，输出掩码特征图；
[0057]
掩码特征图：由掩码分支特征学习得到hxwxs2的特征图，s2表示对sxs网格进行平铺；
[0058]
实例掩码：若某个目标的中心位置落入分类特征图sxs网格的第i行、第j列个格子中，则掩码特征图的第i*j个hxw子特征图负责预测此目标的掩码；
[0059]
特征图映射：将预测出来的语义类别和实例掩码进行映射，每一个目标的语义类别及其对应的实例掩码，作为实例分割结果；
[0060]
输出层：将特征图映射后得到的实例分割结果绘制在输入图片上。
[0061]
(5)构建损失函数：采用dice loss损失函数用于步骤(4)中掩码学习的监督，focal loss损失函数用于步骤(4)中分类学习的监督，对dice loss损失函数和focal loss损失函数进行加权得到最终的损失函数；
[0062]
其中，dice loss损失函数为：
[0063][0064]
其中，x表示输入样本，fi(x)表示第i个类别的预测结果，yi表示第i个类别对应的真实标签。
[0065]
特别的，步骤(5)中，focal loss损失函数为：
[0066]
focal loss＝-α
t
(1p
t
)
γ
log p
t
；
[0067]
其中，p
t
表示模型预测概率，α
t
表示类别权重，设为0.25，γ表示难易样本调节参数，设为2。
[0068]
特别的，所述步骤(5)中，dice loss与focal loss加权后的损失函数为：
[0069]
loss＝λ(dice loss) (1λ)(focal loss)；
[0070]
其中，λ表示权重参数，λ设置为0.5。
[0071]
(6)实例分割模型训练：将训练集输入至步骤(4)中的实例分割网络，采用步骤(5)中的损失函数进行监督训练，使用sgd优化器，学习率设置为0.01进行训练。每一轮训练完成后输出一个中间模型，将验证集输入至训练好的中间模型进行验证，获得模型参数，训练结束后选取准确率最高的模型作为最佳模型；(7)模型推理：将步骤(6)中训练好的模型参数加载至步骤(4)实例分割网络，并将步骤(1)中测试集的阳光玫瑰葡萄果穗图片依次输入至实例分割网络进行推理，得到实例分割结果；对实例分割结果进行数据统计与特征选择，最后特征输入到步骤(3)训练好的机器学习模型，得到大小粒分类结果。
[0072]
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。