基于深度学习融合多源图像的生菜表型参数估算方法

1.本发明属于数字农业技术领域，尤其涉及一种基于深度学习融合多源图像的生菜表型参数估算方法。


背景技术：

2.生菜的干重、湿重、株高、直径和叶面积等外部表型参数与生菜生长势和产量直接相关，在农业生产和研究中有着重要的生物学意义。传统的生菜表型参数定量测量方式耗费人力，效率低下；更严重的是，在干湿重测量中，若对土培或基质培生菜采用传统的破坏式称量方法，会使得生菜无法继续生长，不能对特定植株生长过程中的干湿重进行连续采集。生菜外部表型参数的无损、高精度估算可以为全天候生长监测、植株生长过程优化提供技术基础，有助于实现设施蔬菜栽培的数字化、自动化和智能化。
3.随着机器视觉相关的软硬件技术的发展，基于可见光的机器视觉和图像处理技术已经成为表型参数无损估算的研究热点，然而基于机器视觉的生菜表型参数无损估算研究大多采用人工设计和手动提取的图像特征，难以应对环境干扰，模型泛化性能低；而基于深度学习方法的研究仅依赖于二维可见光(rgb)图像，未考虑植株三维形态对表型参数估算的影响，估算性能有待提升。因此，研发结合深度学习融合多源数据的生菜表型参数估算方法显得尤为重要。


技术实现要素：

4.本发明的目的是克服现有技术中的不足，提供一种基于深度学习融合多源图像的生菜表型参数估算方法。
5.这种基于深度学习融合多源图像的生菜表型参数估算方法，包括以下步骤：
6.步骤1、采集得到rgb图像和depth图像，人工测量每株生菜样本的表型参数，形成图像数据集；
7.步骤2、使用grabcut算法进行生菜图像前景分割，使用z-score方法对生菜图像数据进行归一化；
8.步骤3、构建并训练生菜表型参数估算深度学习多源数据融合模型；生菜表型参数估算深度学习多源数据融合模型包括特征提取部分、多源特征融合部分和回归网络部分；
9.步骤4、将步骤1所得rgb图像和depth图像输入步骤3所得生菜表型参数估算深度学习多源数据融合模型，估算得到待估算样本的各项生菜表型参数向量y＝(y1，y2，y3，y4，y5)；其中y1、y2、y3、y4和y5分别表示湿重、干重、株高、直径和叶面积。
10.作为优选，步骤1具体包括如下步骤：
11.步骤1.1、计算机驱动位于图像采集平台上的rgbd相机采集从定植到收获各个生长阶段的生菜rgbd俯视图像，rgbd相机输出rgb图像(可见光图像)和depth图像(深度图图像)；
12.步骤1.2、生菜样本经过步骤1.1完成图像采集后，人工测量每株生菜样本的表型
参数，形成图像数据集。
13.作为优选，步骤1.1中：rgb图像包含叶片大小、颜色和形状特征，深度图像记录了所拍摄物体与相机镜头的距离信息，深度图像为植物表型参数估算提供空间深度信息。
14.作为优选，步骤1.2中：生菜样本的表型参数包括湿重、干重、株高、冠层最大直径和冠层叶面积；其中株高和冠层最大直径由游标卡尺测量得到，株高表示冠层叶片最高点至根部直线距离，冠层最大直径表示冠层叶尖最大直线距离；冠层叶面积由叶面积仪测量得到；将每株生菜样本去除根部后，由电子天平测量得到每株生菜样本的湿重；再将每株生菜样本置于纸质信封中烘干，采用电子天平测得烘干后生菜的干重。
15.作为优选，步骤2具体包括如下步骤：
16.步骤2.1、基于生菜rgbd俯视图像，使用grabcut算法进行生菜图像前景分割，提取生菜前景图像；
17.对每一品种的生菜样本，预先取一个生菜样本作为该品种的标准图像样本，进行生菜rgbd俯视图划分，再对每个划分后的俯视图区域求归一化颜色直方图p＝(p0，p1，...，p
255
)，计算每个划分后的俯视图区域的归一化颜色直方图与标准图像样本的归一化颜色直方图q＝(q0，q1，...，q
255
)之间的相似性，p0，p1，...，p
255
表示俯视图区域求归一化颜色直方图中图像中像素值为0～255的颜色分布特征；q0，q1，...，q
255
表示标准图像样本的归一化颜色直方图中图像中像素值为0～255的颜色分布特征；采用kl散度(kullback-leibler divergence)衡量直方图q与直方图p的相似性，计算公式为：
18.上式中，k表示取值为0到255的下标值；pk表示俯视图区域求归一化颜色直方图中像素值为k的点的数量；qk表示标准图像样本的归一化颜色直方图中像素值为k的点的数量；设定阈值α，若kl散度低于阈值α，则判定该划分后的俯视图区域的颜色与生菜颜色相似；若大小为设定值的区域的颜色与生菜颜色相似，且该区域正中间的设定数量个像素的深度通道对应的距离均小于设定值，则将该区域标记为前景tf；设生菜图像集中于画面中间的预设矩形为tr；将生菜图像画面中除tr外的其余部分标记为背景根据标记的tf和tb，使用grabcut算法进行图像分割；
19.步骤2.2、使用z-score方法对生菜图像数据进行归一化；在前景分割后的生菜图像中，将第c个通道的第i个像素点pixel
c，i
(c＝0，1，2，i＝0，1，2...，369664)通过z-score归一化转化为pixel
′
c，i
：
[0020][0021]
上式中，μc为c通道图像像素值的均值，σc为c通道图像像素值的标准差，pixel
c，i
代表c通道的第i个像素点。
[0022]
作为优选，步骤2.1中，阈值α＝4.5；若大小为15
×
15的区域的颜色与生菜颜色相似，且该区域正中间的5
×
5个像素的深度通道对应的距离均小于90cm，则将该区域标记为前景tf；步骤2.2中，在前景分割后的生菜图像中，rgb图像有3个通道，depth图像仅有1个通道。
[0023]
作为优选，步骤3具体包括如下步骤：
[0024]
步骤3.1、构建生菜表型参数估算深度学习多源数据融合模型，并设置生菜表型参
数估算深度学习多源数据融合模型的误差函数；生菜表型参数估算深度学习多源数据融合模型的输出y为长度为5的向量(y1，y2，y3，y4，y5)，其中y1、y2、y3、y4和y5分别表示湿重、干重、株高、直径和叶面积；
[0025]
特征提取部分为resnet50网络，数字50表示resnet网络(残差神经网络)共包含50层；resnet50网络用于对rgb图像和depth图像进行生菜有效特征的学习和提取；resnet50网络的输入为rgb图像i
rgb
和depth图像i
depth
；resnet50网络的输出为特征向量f
rgb
和f
depth
：
[0026]frgb
＝resnet50(i
rgb
)
[0027]fdepth
＝resnet50(i
depth
)
[0028]
多源特征融合部分用于将rgb图像特征向量f
rgb
和depth图像特征向量f
depth
进行拼接，得到生菜表型参数特征向量f：
[0029][0030]
回归网络部分由多层fc层(全连接层)和激活函数leakyrelu构成，回归网络部分用于将融合后的生菜表型参数特征向量f进行表型参数回归拟合；激活函数leakyrelu具体为：
[0031][0032]
上式中，a为设定取值的系数；x为激活函数leakyrelu的输入变量；
[0033]
生菜表型参数估算属于回归问题，采用归一化均方误差nmse作为生菜表型参数估算深度学习多源数据融合模型的误差函数：
[0034][0035]
上式中，y表示人工测量的真实值向量，y
′
表示估算结果向量；yi表示第i个人工测量的真实值向量，y
′i表示第i个估算结果向量；
[0036]
步骤3.2、训练生菜表型参数估算深度学习多源数据融合模型：设置回归网络部分的fc层的丢弃率、训练轮次、批处理大小和学习率初始值；使用adam优化器；对resnet50网络进行微调，并设置相应的resnet50网络的学习率；在对resnet50网络微调设定次数后，降低fc层和resnet50网络的学习率。
[0037]
作为优选，步骤3.1中激活函数leakyrelu内系数a取值为0.01；fc层包含输入层fc1、隐层fc2和输出层fc3三层；回归网络部分的计算公式为：
[0038]
f1＝leakyrelu(fc1(f))
[0039]
f2＝leakyrelu(fc2(f1))
[0040]
y＝fc3(f2)
[0041]
通过调整隐层数量和隐层中神经元数量来优化回归网络部分。
[0042]
本发明的有益效果是：本发明具体为一种作物生长监测方法，该方法采用深度学习技术，融合可见光图像和深度图像特征，利用生菜表型参数估算深度学习多源数据融合模型通过多源图像信息对生菜表型参数进行准确估算；由实验结果可以看出，本发明能成功融合二维rgb图像和depth图像，性能优异，对设施蔬菜高通量生长监测和产量预估有重要的应用价值。
附图说明
[0043]
图1为本发明的估算方法流程图；
[0044]
图2为本发明的生菜表型参数图像数据集获取过程示意图；
[0045]
图3为本发明的生菜表型参数估算深度学习多源数据融合模型图。
具体实施方式
[0046]
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
[0047]
实施例一
[0048]
本技术实施例一提供了一种如图1所示在温室环境中的基于深度学习融合多源图像的生菜表型参数估算方法，分为两个阶段：
[0049]
1、模型构建与训练阶段
[0050]
1.1、生菜表型参数-图像数据集采集
[0051]
1.1.1、如图2所示，使用rgbd相机进行生菜表型参数的图像数据采集，rgbd相机是一种可以同时测量像素点颜色和深度信息的相机，输出可见光图像(下称rgb图像)和深度图图像(下称depth图像)。rgb图像包含肉眼可见的一些基本特征，如叶片大小、颜色、形状等，能够提供较为基本的植物特征。深度图像能够记录所拍摄物体与相机镜头的距离信息，可以反映植株的三维立体特征，为植物表型参数估算提供空间深度信息。在图像采集平台上，将rgbd相机以俯视生菜的视角进行安装，悬挂在生菜正上方约0.90米处。采集的图像格式为png格式，图像原始分辨率为1920
×
1080像素，rgb图像位深为8，depth图像位深为16。计算机驱动rgbd相机进行图像采集，记录从定植到收获各个生长阶段的生菜rgbd俯视图像；
[0052]
1.1.2、每株生菜样本完成图像采集之后随即人工测量其表型参数，包括湿重、干重、株高、直径和叶面积。采用游标卡尺测量株高和冠层最大直径，其中株高为冠层叶片最高点至根部直线距离，冠层最大直径为冠层叶尖最大直线距离；采用叶面积仪测量冠层叶面积；采用电子天平测量去除根部后的样本鲜重；再将样本置于纸质信封中90℃烘干48h，采用电子天平测得其干重；
[0053]
1.2、生菜图像前景分割与数据归一化
[0054]
1.2.1、基于rgbd图像的生菜前景图像提取
[0055]
对每一品种，预先取一个标准图像样本，在分割生菜图像时，将图像划分为若干个15
×
15的区域，再对每个区域求归一化颜色直方图p＝(p0，p1，...，p
255
)，计算其与标准图像样本的归一化颜色直方图之间q＝(q0，q1，...，q
255
)的相似性。采用kl散度(kullback-leibler divergence)衡量直方图的相似性，计算公式为：
[0056][0057]
由公式可知，kl散度不允许输入包含零元素，所以将归一化后的结果加上0.001再进行计算。根据实验结果，设定阈值α＝4.5，kl散度低于阈值α的区域可以被认为其颜色与
生菜颜色相似。若某15
×
15区域颜色与生菜颜色相似，且其正中间的5
×
5个像素的深度通道所对应的距离均小于90cm，则将该区域标记为前景tf。
[0058]
另一方面，生菜图像集中于画面中间，不会超出一个预设的矩形tr，将画面中除tr外其余部分标记为背景根据标记的tf和tb，使用grabcut算法进行图像分割；
[0059]
1.2.2、生菜图像数据归一化
[0060]
使用z-score方法对图像进行数据归一化。在分割后图像中，将第c个通道的第i个像素点pixel
c，i
(c＝0，1，2，i＝0，1，2...，369664)通过z-score归一化转化为pixel
′
c，i
的公式为：
[0061][0062]
式中，μc为c通道图像像素值的均值，σc为c通道图像像素值的标准差，pixel
c，i
代表c通道的第i个像素点。rgb图像有3个通道，depth图像仅有1个通道；
[0063]
1.3、生菜表型参数估算深度学习多源数据融合模型构建与训练
[0064]
1.3.1、生菜表型参数估算深度学习多源数据融合模型构建
[0065]
如图3所示，本实施例生菜表型参数估算深度学习多源数据融合模型由特征提取部分、多源特征融合部分和回归网络部分构成。
[0066]
特征提取部分采用残差神经网络(residual neural network，resnet)分别对rgb图像和depth图像自动地学习和提取生菜的有效特征，使用resnet50(50的含义为网络总共包含50层)作为生菜表型参数估算深度学习多源数据融合模型的特征提取网络。
[0067]
resnet50特征提取的结果是长度为2048的特征向量。分别将rgb图像i
rgb
和depth图像i
depth
输入到两个resnet50中进行特征提取，得到两个长度为2048的特征向量f
rgb
和f
depth
：
[0068]frgb
＝resnet50(i
rgb
)
[0069]fdepth
＝resnet50(i
depth
)
[0070]
多源特征融合部分将rgb图像特征向量f
rgb
和depth图像特征向量f
depth
进行拼接，得到一个长度为4096的生菜表型参数特征向量f：
[0071][0072]
将融合后的生菜特征向量输入到回归网络部分进行表型参数回归拟合。回归网络由多层全连接(fully connected，fc)层和激活函数构成，通过调整隐层数量和隐层中神经元数量，可以优化回归模型。最终得到的生菜表型参数估算深度学习多源数据融合模型中，fc层数为三层(包含一层输入层，一层隐层和一层输出层)，第一层fc1含有1024个神经元，第二层fc2含有512个神经元，第三层fc3含有5个神经元。选用激活函数为leakyrelu，其计算如下式：
[0073][0074]
其中，系数a取0.01；x为激活函数leakyrelu的输入变量。
[0075]
回归网络的计算公式如下式：
[0076]
f1＝leakyrelu(fc1(f))
[0077]
f2＝leakyrelu(fc2(f1))
[0078]
y＝fc3(f2)
[0079]
生菜表型参数估算深度学习多源数据融合模型的输出y为一个长度为5的向量，y1、y2、y3、y4、y5分别表示湿重、干重、株高、直径、叶面积。
[0080]
本实施例的生菜表型参数估算属于回归问题，采用归一化均方误差(normalized mean square error，nmse)作为误差函数，其计算公式如下式：
[0081][0082]
其中，y
′
表示人工测量的真实值向量，y表示估算结果向量，下同。
[0083]
1.3.2、生菜表型参数估算深度学习多源数据融合模型训练
[0084]
模型中的fc层使用相同的丢弃率0.3，训练100轮次，使用adam优化器，批处理大小为16。初始化时，fc层的学习率设为1
×
10-3
，对resnet50预训练模型进行微调，学习率设为2
×
10-4
；训练50轮之后，降低学习率，fc层的学习率为2
×
10-4
，resnet50预训练模型微调学习率为4
×
10-5
；
[0085]
2、表型参数估算阶段
[0086]
2.1、取待估算样本于图像采集平台上，将rgbd相机以俯视生菜的视角进行安装，悬挂在生菜正上方约0.90米处，保证生菜外轮廓不超出或接近图像边界。计算机驱动rgbd相机进行图像采集，获取rgb图像i
rgb
和depth图像i
depth
，同样使用阶段1中的1.2步骤所述方法的进行图像前景提取和数据归一化后，输入到生菜表型参数估算深度学习多源数据融合模型中进行计算，得到输出y＝(y1，y2，y3，y4，y5)即为待估算样本的各项表型参数向量，其中，y1、y2、y3、y4、y5别代表估算的湿重、干重、株高、直径、叶面积。
[0087]
实施例二
[0088]
在实施例一的基础上，本技术实施例二提供了实施例一中估算方法的结果验证方式：
[0089]
为了验证实施例一中方法的效果，本实施例于浙大城市学院智能植物工厂实验室采集数据集，试验材料为4个品种的生菜，包括绿色、紫色和红色皱叶生菜，涵盖生菜生长从苗期到成熟各阶段，共388株生菜样本。按阶段一所述方法采集数据集。使用交叉验证的方法，将数据集平均划分为4个子集s1、s2、s3、s4，每个子集有97条样本。以s1作为测试集，s2、s3、s4作为训练集进行训练，得到模型i，在s1上进行估算实验，得到s1的估算结果；以s2作为测试集，s1、s3、s4作为训练集进行训练，得到模型ii，在s2上进行估算实验，得到s2的估算结果；以此类推得到四个子集的估算结果，将它们合并起来作为最终的估算结果。
[0090]
预测结果如下表1所示，可以看出表型参数估算方法对生菜的湿重、干重、株高、直径和叶面积估算均表现优异，r2指标均高于0.94，表明实施例一中方法的估算结果与真实值有很好的相关性；另一方面，mape指标均小于8％，表明所提出的表型参数估算方法具有潜在的应用价值。
[0091]
表1生菜表型参数估算深度学习多源数据融合模型估算实验结果表
[0092][0093]
消融实验结果如下表2所示，消融实验发现，相较于仅使用单源数据的方法，本发明所提的融合多源数据的表型参数估算方法在各个表型参数上均有不同程度的性能提升，说明depth图像提供的植株三维立体形态信息有助于生菜表型参数估算深度学习多源数据融合模型对表型参数作出更精准的估算。
[0094]
表2不同生菜表型参数估算方法结果对比表
[0095]