一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法

技术特征：
1.一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，包括以下步骤：s1：搭建高光谱成像系统；s2：采集罗勒叶片和辣椒叶片样本的高光谱图像，并对图像预处理；s3：将扩张卷积引入3d-cnn，在不增加网络参数和计算复杂度的同时扩大卷积核的感受野，并构建不同尺度的谱空特征提取结构，实现多尺度特征的融合，探究出最佳多尺度3d-cnn网络结构；s4：在s3所述的最佳多尺度3d-cnn网络后级联1d-cnn网络，以三维数据作为输入，在谱空联合特征提取的基础上学习更加抽象的光谱特征，并对提出的多尺度3d-1d-cnn网络进行最优框架探索；s5：将s4所述的多尺度3d-1d-cnn网络的最优框架与基准1d-cnn、基准2d-cnn、基准3d-cnn、多尺度3d-cnn网络模型进行比较，验证所述方法的有效性。2.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，所述s1：搭建高光谱成像系统包括获取样本的高光谱图像，设置光谱波段范围以及空间分辨率，并对原始高光谱图像进行校正。3.根据权利要求2所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，所述高光谱成像系统包括snapscan vnir光谱相机、35 mm镜头、150w的环形卤钨灯光源、图像采集软件和图像采集平台；所述光谱波段范围是470-900nm，共140个波段；所述snapscan vnir光谱相机采用内置扫描成像方式快速获取样本的高光谱图像，不需要相机或样本的相对位移，所述snapscan vnir光谱相机的最大空间分辨率为3650
×
2048，数据采集中的实际空间分辨率根据叶片样本尺寸调整；所述35mm镜头与样本的垂直距离为34.5cm，曝光时间设置为30ms；所述高光谱成像系统采集到的原始高光谱图像进行如下黑白校正，以计算样本的反射率，同时减小光照度和相机暗电流对不同样本谱图获取的影响：其中r0和r分别为校正前和校正后的高光谱图像，w和d分别为白板参照图像和暗电流参照图像。4.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，s2所述罗勒叶片，在人工led光照栽培下的甜罗勒实施3种不同的光强处理，在罗勒生长40天时开展数据采集，测定叶绿素相对值，采集高光谱图像540张；s2所述辣椒叶片，对栽培50天长势一致的健康辣椒植株实施两种水分处理，对照组样本正常灌溉，实验组样本实施五天持续性干旱，采集600张高光谱图像；高光谱图像和相应标签数据对是通过自定义python函数来进行读取。5.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，s2所述图像预处理包括背景分割、噪音点去除、尺寸调整；所述背景分割方式为：采用叶片和背景光谱反射率差异最大的800 nm近红外波段作为背景分割的阈值波段，阈值设为0.15；所述噪音点去除的方法为：利用opencv-python中的形态学变换，实现噪点去除；
所述尺寸调整为：将空间维统一缩减为120
×
120。6.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，s2包括将预处理后的图像划分为训练集、验证集和测试集，所述划分训练集、验证集和测试集的方式为随机抽取方式；罗勒叶片中随机抽取380个样本作为训练集，80个作为验证集，80个作为测试集；辣椒叶片中随机抽取400个样本作为训练集，100个作为验证集，100个作为测试集，并将数据集分成多个批次，批处理样本数设置为8。7.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，s3所述构建不同尺度的谱空特征提取结构，是在网络的同一层并行嵌入标准3d卷积和扩张3d卷积，两种卷积核各占据50%的通道数，再将不同卷积核输出的特征图经过批归一化后在通道维度上进行拼接，并进行relu非线性激活。8.根据权利要求7所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，s3所述扩张3d卷积通过在标准3d卷积所有行和列的相邻权值间插入d-1个权重为0的值实现，d为扩张因子，在不增加网络参数和不损失信息的同时扩大了卷积核的感受野；所述标准3d卷积的卷积核为3
×3×
3，d=1，感受野为3
×3×
3；所述扩张3d卷积的卷积核为3
×3×
3，并且测试d分别为2、3、4的扩张3d卷积核结构，分别对应5
×5×
5、7
×7×
7、9
×9×
9的感受野，不同感受野的卷积核能够提取特征图中不同尺度的谱空特征；所述最佳多尺度3d-cnn网络结构为拼接d=2的3
×3×
3扩张3d卷积核的模型。9.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，所述s4在最佳多尺度3d-cnn网络后级联1d-cnn网络，是在多尺度3d resnet-18网络的不同位点处进行3d-cnn转1d-cnn的模型性能测试，得到的最佳多尺度3d-1d-cnn模型；最佳多尺度3d-cnn网络级联1d-cnn网络的基本组成单元包括卷积层、批归一化层、relu非线性激活层、均值池化层和全连接层，从输入层到输出层，整个网络分为3d-cnn、3d-cnn转1d-cnn、1d-cnn阶段；所述3d-cnn阶段，将预处理后的维度为120
×
120
×
140的高光谱图像立方体数据块作为输入，首先采用步长为2, 2, 1的3
×3×
3卷积核提取局部光谱-空间特征，产生64通道三维光谱图像，再输入连续的最佳多尺度3d-cnn网络，实现不同尺度的谱空特征提取和融合；所述3d-cnn转1d-cnn阶段，经测试，在多尺度3d resnet-18网络中的位点转换效果最佳，对3d-cnn输出的通道数
×
空间高度
×
空间宽度
×
波段数：256
×
15
×
15
×
35的三维特征图采用15
×
15
×
1的3d卷积核转换为尺寸为35的一维特征；所述1d-cnn阶段，采用连续的尺寸为3的一维卷积核提取深度光谱特征，得到512
×
17的一维特征，再基于均值池化对提取的高级抽象特征进行压缩和聚合，得到表示能力更强的特征，维度为512
×
1，最后通过全连接层输出模型预测值，与未级联1d-cnn的最佳多尺度3d-cnn网络相比，该模型的参数量下降约35.83%。10.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，s5所述基准1d-cnn、基准2d-cnn、基准3d-cnn、多尺度3d-cnn包括卷积层、批归一化层、relu非线性激活层、均值池化层和全连接层；所述基准1d-cnn是基于残差网络框架resnet的一维卷积神经网络，在光谱维度上进行特征提取；
所述基准2d-cnn是基于resnet的二维卷积神经网络，在空间维度上进行特征提取；所述基准3d-cnn是基于resnet的三维卷积神经网络，在光谱 空间上维度进行联合特征提取；所述多尺度3d-cnn是s3中的最佳多尺度3d-cnn网络，能够获取不同尺度的谱空特征；模型训练均采用从头训练from scratch的方式，初始网络权重来源于随机初始化数值；回归模型的损失函数为均方误差，分类模型的损失函数为交叉熵；模型采用梯度下降法优化，动量设为0.9，初始学习率变动于{1
×
10
−2, 1
×
10
−3, 1
×
10
−4, 1
×
10
−5}，每训练30个轮次学习率下降一个数量级，总的训练轮次为80；回归模型性能的评估指标为决定系数r2和均方根误差rmse；分类模型的评估指标为f1-score和准确率。

技术总结
本发明属于植物科学研究领域，公开了一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，首先，在3D-CNN中，嵌入扩张卷积构建了不同尺度的谱空特征提取结构，实现多尺度特征的融合；其次，在3D-CNN后级联1D-CNN以进一步提取高级抽象光谱特征，并对提出的多尺度3D-1D-CNN网络进行最优框架探索；最后，在两个样本有限的设施作物叶片数据集上，将所提出的多尺度3D-1D-CNN网络模型与基准模型及多尺度3D-CNN模型进行比较，以验证所提方法的有效性。本发明方法有助于叶片高光谱图像的分类和回归，也可为农业信息化技术领域内的其他图像分类回归方法提供新思路和技术协助。其他图像分类回归方法提供新思路和技术协助。其他图像分类回归方法提供新思路和技术协助。


技术研发人员：王健 朱逢乐 赵章风
受保护的技术使用者：浙江工业大学
技术研发日：2022.04.27
技术公布日：2022/7/29