基于卷积神经网络的高光谱土壤速效钾含量预测方法

1.本发明涉及土壤光谱采集与分析技术领域，具体是一种基于卷积神经网络的高光谱土壤速效钾含量预测方法。


背景技术：

2.土壤为植物生长提供了各种营养成分，尤其是土壤中的有机质、氮、磷、钾等元素，是土壤的主要营养成分。农林业生产想要取得良好的成绩就需要科学的指导，在正确时间，用科学的方法施加适量的肥料，而这需要获取土壤养分的含量信息，通过土壤养分含量施肥，完成测土配方的数据需求。为了农林业的可持续发展，必须使用可持续的方法获取土壤养分信息，既要满足农林业生产的需要，也要防止土壤污染等问题。
3.土壤高光谱分析法是一种根据不同元素的对光的吸收率和反射率不同，根据高光谱数据预测各营养元素含量，与传统的化学检验方法相比，土壤高光谱分析法耗时短、节约成本，可以快速获取土壤的养分信息。高光谱遥感技术是将遥感成像技术和光谱技术相结合的多为信息获取技术，在二维空间集合与一维光谱信息内，收集连续、窄波段的高光谱图像数据，具有较高的数据维度（即较多的光谱分辨率）。土壤的高光谱数据是根据不同土壤的营养元素含量不同，导致土壤不同波段的反射率不同，将不同波段的土壤反射率绘制的高光谱图像，在研究光谱特征的基础上，绘制物质在连续波段的反射率，进而对土壤应用物质进行估测。随着深度学习的逐渐兴起，深度学习神经网络较于传统机器学习算法提供了一种更为快速且精准的特征提取方式，神经网络模型具有更高的计算效率和更强的建模能力，可以独立地从复杂的光谱数据中提取有效的特征结构进行学习。


技术实现要素：

4.本发明的目的是针对现有技术的不足，而提供一种基于卷积神经网络的高光谱土壤速效钾含量预测方法。这种方法能够实时、快速、准确室内检测土壤速效钾含量，具有充分的实际应用意义。
5.实现本发明目的的技术方案是：一种基于卷积神经网络的高光谱土壤速效钾含量预测方法，包括如下步骤：1）土壤样品的采集与处理：采集一组土壤样本、将采集到的土壤样本自然风干、研磨，均匀分为两部分；2）测定步骤1）中土壤样品的速效钾含量和土壤样品的高光谱数据，剔除光谱数据中的异常数据和由于化学测量失误而导致的速效钾异常数据；3）对步骤2）中高光谱数据进行预处理、并采用皮尔森相关系数判断不同光谱波段与土壤速效钾含量之间的关系、数据预处理即采用一阶求导放大图像原始数据重叠的波峰与波谷、采用二阶求导提高数据敏感度、采用倒数的对数变换提高数据的信噪比、采用移动平均滤波器maf（moving average filter，简称maf）对对350~650nm波段的光谱数据进行平滑处理提高数据信噪比；
4）对步骤3）中据预处理后的光谱数据作为输入，构建主成分回归模型以及pearson-lasso变量选择回归模型，对比不同数据输入以及不同模型之间对土壤中速效钾含量的预测效果，其中，pearson-lasso变量选择回归模型采用皮尔森相关系数确定不同光谱数据与土壤速效钾含量关系，选择绝对值最大的四十个光谱波段作为lasso变量选择线性回归模型的输入数据，主成分回归模型中，先采用主成分分析法分析原始数据，得出数据的主干成分，用处理后的主干成分代替原始光谱数据作为多元线性模型的输入，消除相邻光谱之间的强相关性，去除不同光谱数据之间的相关性；5）将光谱数据划分为训练集、验证集以及测试集，搭建卷积神经网络对光谱数据进行训练，根据验证结果对网络模型进行调优，对比主成分回归模型、pearson-lasso变量选择回归模型以及深度卷积神经网络模型的预测效果，三种神经网络结构中，样本总数的8/10作为训练集、1/10为测试集、1/10为验证集，卷积神经网络模型的建立采用pycharm软件中tensorflow深度学习框架、采用python3.8语言进行搭建，并修改损失函数，在均方误差公式的基础上，增加正则项；6）建立高光谱土壤速效钾含量预测模型：根据决定系数大小在步骤5)中选出最优模型，建立高光谱土壤速效钾含量预测模型；7）模型精度评价：采用决定系数、交叉检验均方根误差，对步骤6）中建立的高光谱土壤速效钾含量预测模型进行评价，确定土壤速效钾含量预测模型的精度、稳定性和预测性能。
6.本技术方案相比于采用机器学习方法进行建模，卷积神经网络可以挖掘土壤高光谱数据的深层信息，并拥有更高的预测精准度，且因为卷积神经网络优秀的特征提取能力，其泛化性较高，可以适用于不同地区的土壤种类；本技术方案填补了深度学习算法在高光谱土壤速效钾含量预测上的研究空白，采用卷积神经网络整体结构，提供了一种计算效率高、特征提取能力强、预测性能好的优于机器学习方法的深度学习方法，在实际工程运用中可以得到合理的运用，为后续土地资源的治理和利用提供重要的基础和保障。
7.这种方法能够实时、快速、准确室内检测土壤速效钾含量，具有充分的实际应用意义。
附图说明
8.图1为实施例中方法的流程示意图；图2为实施例中研究区采样点示意图；图3为实施例中不同速效钾含量的土壤反射率的平均光谱曲线示意图；图4为实施例中测试集上土壤速效钾真实值与预测值的对比图。
具体实施方式
9.下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
10.实施例：本例中，土壤样品来自于广西壮族自治区国有黄冕林场桉树人工林的主要种植
区，黄冕林场位于低纬度区域，经纬度为(108
°
18'26
″
e，25
°
21'32
″
n)数据来源区域土壤类型主要为酸性沉积岩发育的红壤，该地区属于亚热带与中亚热带的过度地区，平均海拔高于二百米，环流性季风气候对土壤属性的影响较为明显，该气候适合树木生长，在该地种植桉树使土壤环境统一，在对土壤样品采样时，对树龄为两到三年的一代萌芽桉树附近的土壤进行采集，采集区域的砾石含量普遍小于百分之十，研究区内采样点如图2所示。
11.参照图1，一种基于卷积神经网络的高光谱土壤速效钾含量预测方法，包括如下步骤：1）土壤样品的采集与处理：采集一组土壤样本、将采集到的土壤样本自然风干、研磨，均匀分为两部分，本例中，对二十八个采样地区，采用arcgis 10.1的网格化采样方式、采用四分法收集500g土壤并剔除土壤中的异物，由于境内雨量充沛，年降雨量较大，土壤中水分含量较大，为了减少土壤中水分对高光谱反射率的影响，土壤样本均进行风干、研磨处理；2）测定步骤1）中土壤样品的速效钾含量和土壤样品的高光谱数据，剔除光谱数据中的异常数据和由于化学测量失误而导致的速效钾异常数据，本例中，采用火焰光度计法测定待测土壤样本中速效钾含量，光谱反射率数据测定：土壤样本被放置于黑暗室内、直径7cm深为1.5cm的样品杯，并用asd fieldspec 4高光谱仪在暗室以统一光源、统一入射角照明，土壤高光谱数据是对每份土壤样本测量十次取其平均值，得到其最终高光谱数据，不同速效钾含量的土壤反射率的平均光谱曲线如图3所示；3）对步骤2）中高光谱数据进行预处理、并采用皮尔森相关系数判断不同光谱波段与土壤速效钾含量之间的关系、数据预处理即采用一阶求导放大图像原始数据重叠的波峰与波谷、采用二阶求导提高数据敏感度、采用倒数的对数变换提高数据的信噪比、采用移动平均滤波器maf对对350~650nm波段的光谱数据进行平滑处理提高数据信噪比；4）对步骤3）中据预处理后的光谱数据作为输入，构建主成分回归模型以及pearson-lasso变量选择回归模型，对比不同数据输入以及不同模型之间对土壤中速效钾含量的预测效果，其中，pearson-lasso变量选择回归模型采用皮尔森相关系数确定不同光谱数据与土壤速效钾含量关系，选择绝对值最大的四十个光谱波段作为lasso变量选择线性回归模型的输入数据，主成分回归模型中，先采用主成分分析法分析原始数据，得出数据的主干成分，用处理后的主干成分代替原始光谱数据作为多元线性模型的输入，消除相邻光谱之间的强相关性，去除不同光谱数据之间的相关性；5）将光谱数据划分为训练集、验证集以及测试集，搭建卷积神经网络对光谱数据进行训练，根据验证结果对网络模型进行调优，对比主成分回归模型、pearson-lasso变量选择回归模型以及深度卷积神经网络模型的预测效果，三种神经网络结构中，样本总数的8/10作为训练集、1/10为测试集、1/10为验证集，卷积神经网络模型的建立采用pycharm软件中tensorflow深度学习框架、采用python3.8语言进行搭建，并修改损失函数，在均方误差公式的基础上，增加正则项，本例中，具体地：对范围为350～2500nm的高光谱数据进行降距处理，原始高光谱数据波长间隔为1nm，原始高光谱数据为2150维数据，为了解决相邻光谱之间的共线性问题，对原始高光谱数据进行降维降距处理，每十纳米波段选取一个光谱数据，降维后的高光谱数据为216维，数据中共218条可用数据，剔除其中8条异常数据后将数据集中这210条数据划分为三个集合，分别为为训练集、验证集和测试集，其中随机选取
170个样本作为训练数据，20个样本数据作为验证集，剩下的20个作为测试集，搭建卷积神经网络对光谱数据进行训练，根据验证结果对网络模型进行网络参数调优，对比主成分回归模型、pearson-lasso变量选择回归模型以及深度卷积神经网络模型的预测效果，卷积神经网络模型的建立采用pycharm软件中tensorflow深度学习框架、采用python3.8语言进行搭建，并修改损失函数，在均方误差公式的基础上，增加正则项，采用决定系数、交叉检验均方根误差，对高光谱土壤速效钾含量预测模型进行评价，确定土壤速效钾含量预测模型的精度、稳定性和预测性能，其中：表1为卷积神经网络cnn-1详细参数表：；表2为卷积神经网络cnn-2详细参数表：；表3为卷积神经网络cnn-3详细参数表
；表4为均方根误差结果数据表：；表5为不同模型对土壤速效钾含量预测结果：；卷积神经网络对土壤速效钾含量的预测普遍优于pearson-fdr-lasso变量选择模型，与变量选择模型不同的是，由于卷积神经网络模型采用训练集进行训练，因此对训练集进行预测时会出现过拟合现象，各个卷积神经网络模型在训练集上的预测效果均优于其在验证集和测试集上的表现，通过对深度卷积神经网络的损失函数增加正则项有助于挖掘相邻输入变量之间的相关性，改进后的cnn-1卷积神经网络模型与原始cnn-1卷积神经网络模型相比，精准度提高了2.44%，在改进的三种卷积神经网络模型中，采用步长为2、卷积核大小为14、且使用512个权重集合维光谱数据映射到512个特征光谱映射面的网络结构拥有最好的预测效果，通过扩大特征光谱映射面，可以挖掘土壤高光谱数据的深层信息，提高模型的预测精准度，其最佳决定系数为0.8718；6）建立高光谱土壤速效钾含量预测模型：根据决定系数大小在步骤5)中选出最优模型，建立高光谱土壤速效钾含量预测模型；
7）模型精度评价：采用决定系数、交叉检验均方根误差，对步骤6）中建立的高光谱土壤速效钾含量预测模型进行评价，确定土壤速效钾含量预测模型的精度、稳定性和预测性能，本例中，采用origin 2020对土壤有机质真实值与预测值的对比，由图4不同网络结构的cnn模型预测结果可知，改进后的cnn-3卷积神经网络模型的均方根误差为5.8774mg/kg，决定系数为0.8718，其预测精度基本满足实际使用需求。