一种基于时空自适应填补与XGBoost降尺度的农业干旱监测方法

本发明涉及遥感数据处理与农业干旱监测的，尤其涉及一种基于时空自适应填补与xgboost降尺度的农业干旱监测方法。

背景技术：

1、随着全球气候变化加剧和水资源精细化管理的深入发展，高精度、长时序、大范围的农业干旱监测成为保障粮食安全和农业可持续发展的核心需求。土壤水分作为表征农业干旱最直接的物理参量，其时空连续性与空间分辨率直接决定了干旱监测的可靠性与精细化程度。被动微波遥感凭借其对土壤介电特性的敏感性、全天候工作能力及穿透植被的能力，已成为大尺度土壤水分监测的主流手段。然而，受反演算法精度限制、云雨天气干扰、无线电频率干扰及复杂地形影响，被动微波土壤水分产品普遍存在严重的时空缺值问题；同时，受限于天线尺寸与自然辐射能量较弱的物理约束，其空间分辨率通常仅为25km~50km，难以满足区域尺度农业干旱精细化监测的需求。

2、传统土壤水分缺值重建方法，例如样条插值、反距离加权、普通克里金等空间插值方法，以及savitzky-golay滤波、hants滤波等时间序列滤波方法，主要依赖单一维度的统计信息，难以协同利用时空双重信息。尤其在数据连续缺失严重或空间异质性较强的区域，重建精度显著下降，导致后续干旱监测结果不可靠。传统降尺度方法，例如基于经验统计的多项式回归、地理加权回归以及基于半经验的dispatch（disaggregation base on aphysical and theoretical scale change, 基于物理和理论尺度变化的解聚）方法等，主要依赖预设的线性或简化物理关系，难以有效刻画温度植被干旱指数（tvdi）、多源环境参数（地形、气象等）与土壤水分之间的复杂非线性交互作用，尤其在植被覆盖变化剧烈、地形复杂的区域，降尺度误差显著增大。

3、尽管近年来，部分研究尝试将随机森林、人工神经网络等机器学习方法引入土壤水分降尺度任务，在特定场景下提升了预测精度，但其固有的静态特征融合策略仍存在自适应感知能力不足、多源信息整合不充分等缺陷，无法满足大范围监测对高精度、高鲁棒性土壤水分数据的要求。现有基于集成学习的改进模型虽在局部区域取得进展，但其在长时序、大范围农业干旱监测应用中仍然存在以下局限性：一是难以有效缓解原始被动微波产品时空缺值导致的监测数据不连续问题；二是降尺度结果常出现空间异质性丢失、局部旱情细节模糊等问题；三是多依赖于预设的或静态的融合权重与模型结构，难以根据输入图像中实际地表覆被、气候条件及土壤水分空间分布特征，进行动态、自适应的特征整合。这些问题严重制约了土壤水分数据在农业干旱评估、旱情预警及水资源管理中的实际应用可靠性。

4、因此，开发一种能够实现被动微波土壤水分产品时空无缝重建与非线性自适应降尺度的农业干旱监测方法，是当前遥感数据处理与农业干旱监测技术领域亟待解决的技术难题。

5、现有技术存在的问题包括：

6、①被动微波土壤水分产品时空不连续，缺值重建方法难以协同利用时空双重信息。现有缺值重建方法主要分为空间插值方法（如反距离加权、普通克里金）和时间序列滤波方法（如savitzky-golay滤波、hants滤波）。空间插值方法仅依赖邻域像素的空间相关性，在数据连续缺失或空间异质性强的区域重建精度显著下降；时间序列滤波方法仅利用时间维度的演变规律，对于长时间连续缺失（如冬季冰雪覆盖期）的重建能力有限，且在序列边界处易产生伪影。两类方法均未能有效协同利用时空双重信息，尤其缺乏对缺失像元周围环境相似性的自适应判断机制，导致缺值重建后的土壤水分数据仍存在较大的不确定性，难以支撑后续农业干旱监测的可靠性。

7、②多源被动微波产品系统偏差大，长时序拼接困难。amsr-e（the advancedmicrowave scanning radiometer for eos）、smos（soil moisture and oceansalinity）、amsr2（the advanced microwave scanning radiometer 2）等产品的传感器参数、反演算法、过境时间均存在差异，产品间存在显著的系统偏差。现有校正方法多采用全局线性校正，未实现逐像元的时序匹配精细化校正，校正后仍存在明显的时序拼接断点，无法生成长时序、时空连续的土壤水分数据集。

8、③降尺度方法对土壤水分与多源环境参数之间的非线性关系刻画能力不足，且多采用静态融合策略。现有降尺度方法中，基于经验统计的方法（如多项式回归、地理加权回归）依赖预设的线性关系或简单的空间权重，难以有效捕捉tvdi、ndvi（ normalizeddifference vegetation index, 归一化差异植被指数）、lst（land surfacetemperature,地表温度）、地形、气象等多源环境参数与土壤水分之间的复杂非线性交互作用；基于半经验的方法虽引入物理约束，但仍受限于简化物理模型的假设，在复杂地表类型条件下适用性有限。更重要的是，现有方法多采用固定的特征融合权重或静态的模型结构，无法根据输入图像中实际的地表覆被、气候条件及土壤水分空间分布特征进行动态自适应调整。这种僵化的融合机制导致模型在面对不同气候区、不同季节、不同地表类型的土壤水分反演时，感知与建模能力缺乏针对性，进而引发降尺度结果的空间异质性丢失、局部旱情细节模糊等问题。

9、综上所述，现有技术中缺乏一种能够同时解决被动微波土壤水分产品时空不连续与空间分辨率过低双重瓶颈，并实现从原始遥感数据到农业干旱等级端到端映射的方法。

技术实现思路

1、针对现有被动微波土壤水分产品存在的时空不连续、空间分辨率低及农业干旱监测精度不足的技术问题，本发明提出一种基于时空自适应填补与xgboost降尺度的农业干旱监测方法，通过协同利用多源被动微波产品、耦合时序与空间信息进行缺值重建，引入xgboost集成学习模型实现非线性自适应降尺度，并基于标准化土壤湿度指数建立精准的干旱映射体系，从而实现对长时序、大范围农业干旱的精准、连续监测。

2、为了达到上述目的，本发明的技术方案是这样实现的：一种基于时空自适应填补与xgboost降尺度的农业干旱监测方法，包括如下步骤：

3、步骤一、以遥感数据中每个缺失像元为处理单元，通过改进的savitzky-golay滤波实现时序维度缺值初步重建，通过顾及环境相似度的地理加权回归模型实现空间维度缺值初步重建，采用最小二乘法自适应耦合两种重建结果；通过多源产品一致性校正生成时空连续的低空分辨率土壤水分数据；

4、步骤二、构建融合温度植被干旱指数与多环境因子的特征集，经两阶段特征筛选后，采用optuna优化的xgboost模型对生成的低分辨率土壤水分数据进行降尺度，生成高空间分辨率时空无缝土壤水分数据集；

5、步骤三、利用高空间分辨率时空无缝土壤水分数据集构建逐像元长时序土壤水分时序序列，计算标准化土壤湿度指数，根据标准化土壤湿度指数实现干旱等级划分。

6、优选地，所述改进的savitzky-golay滤波现时序维度缺值初步重建的方法为：

7、对于遥感数据中缺失像元s，在一段连续时间序列为中，对目标时间步j，通过对缺失像元s在时间窗口[]内的有效观测值进行加权回归得到缺失像元s在目标时间步重建后的土壤水分时序观测值：

8、；

9、其中，t为总时间步数，为缺失像元s在第t个时间步的有效观测值，i为相对于目标时间步j的时间偏移量索引，是半个滑动窗口的大小，n是卷积核数目、大小等于滑动窗口的大小；为缺失像元s在时间步的有效观测值，为高斯窗函数权重，是修正后的滤波器系数；

10、所述顾及环境相似度的地理加权回归模型实现空间维度缺值初步重建的方法为：对同一时间索引下的缺失像元s利用其空间邻近像元的信息进行空间维度重建，得到缺失像元s在目标时间步重建后的土壤水分空间观测值：

11、；

12、式中，是缺失像元s的地理坐标；为像素滑动窗口内有效邻近像元的数量；为像素滑动窗口内第个邻近像元的有效观测值；是局部回归截距项，是第个邻近像元的局部回归斜率；为缺失像元s的随机误差项；

13、所述采用最小二乘法自适应耦合两种重建结果的方法为：缺失像元s在目标时间步重建的土壤水分数据；

14、利用最小二乘法拟合savitzky-golay滤波和gwr模型重建的土壤水分观测值，以集成时空信息高精度重建像元s的土壤水分值：和均为拟合系数。

15、优选地，所述多源产品一致性校正的方法为：采用线性回归模型，以amsr-e产品缺值重建后的土壤水分数据为基准数据集，对smos产品和amsr2产品缺值重建后的土壤水分数据进行逐像元的一致性校正，再将校正后的多源数据进行时序拼接，最终生成长时序时空连续的土壤水分数据集。

16、优选地，所述高斯窗函数权重，其中，为高斯窗标准差；修正后的滤波器系数通过多项式最小二乘拟合得到；

17、所述局部回归截距项和局部回归斜率采用加权最小二乘法求解，矩阵表达形式为：

18、；

19、式中，向量是一个（+1）*1维的列向量、包含了缺失像元位置处的所有回归系数，且向量；为缺失像元s的有效观测值，为邻近像元的有效观测值，为空间权重矩阵；

20、所述空间权重矩阵的求解方法为：基于距离远近划分像元类别：设像素滑动窗口内的个有效像元中相似像元有个，用下标表示；非相似像元有f个，用下标表示；滑动窗口内第个相似像元的权重和第个非相似像元的权重分别为：

21、，；

22、式中，和分别是相似像元q与非相似像元g到缺失像元s的距离；和分别为相似像元权重系数和非相似像元权重系数；

23、采用最小二乘法对土壤水分空间观测值和土壤水分时序观测值进行拟合来得到拟合系数和，实现方法为：构建平方和；其中，是遥感影像中的有效像元数目，是有效样本的索引，是第个有效像元的观测值，和分别是第个有效像元的土壤水分空间观测值和土壤水分时序观测值；当平方和达到最小时，可得拟合系数和；

24、所述逐像元的一致性校正的方法为：对于每个像元r，校正后的土壤水值：；式中，为校正前的smos产品或amsr2产品在像元r上的有效观测值，和分别是基准数据集和校正前数据集在像元r上的时间均值，为像元r的标量缩放因子，且计算公式为；式中，和分别表示基准数据集和校正前数据集的标准误差值，是基准数据集和校正前数据集之间的相关系数。

25、优选地，所述构建融合温度植被干旱指数与多环境因子的特征集的特征包括：温度植被干旱指数tvdi、地表温度及其派生特征、归一化植被指数ndvi、数字高程模型及其派生地形因子、气象参数和土壤属性参数；所有特征的数据均被重采样至统一的低分辨率得到输入特征集；

26、所述派生特征包括昼夜温差或温度时空梯度，派生地形因子包括坡度、坡向、地形湿度指数中的至少一项；所述气象参数包括降水、气温、太阳辐射、风速；所述土壤属性参数包括土壤质地或田间持水量；

27、所述两阶段特征筛选的方法为：采用递归特征消除法对输入特征集中的特征进行特征初筛；通过shap全局解释方法对初筛筛选出的候选特征计算平均shap值，剔除平均shap值低于预设阈值的候选特征，保留核心特征构成最终特征子集。

28、优选地，所述xgboost模型的训练方法为：将步骤一生成的长时序时空连续土壤水分数据集作为目标变量，将最终特征子集作为输入特征，构成训练数据集；将训练数据集按比例随机划分为训练集和验证集，在训练集上基于optuna搜索得到的最优超参数训练xgboost模型，在验证集上监控早停机制以确定最优树数量；训练完成后，得到刻画输入特征与目标变量映射关系的训练好的xgboost模型；

29、将输入特征集提升至高分辨率输入训练好的xgboost模型，逐像元预测土壤水分值，输出高空间分辨率时空无缝的土壤水分数据集。

30、优选地，所述递归特征消除法递归地构建xgboost基模型并移除最不重要的特征，实现方法为：以xgboost为基模型，采用5折交叉验证评估不同特征数量下的平均精度，确定模型精度最优时对应的特征保留数量，得到候选特征子集；

31、所述xgboost模型通过集成k棵分类与回归树来逼近真实值，对第个样本的土壤水分预测值为：；式中，是xgboost模型；h为回归树的总棵数；是第棵回归树；为第个样本的输入特征向量；f为所有可生成的分类与回归树的函数空间；

32、所述xgboost模型的损失函数的第h棵树回归的正则化项为：

33、；

34、式中，为第h棵回归树的叶子节点总数，是第o个叶子节点的权重；、与分别为用来调节模型复杂度的惩罚力度、l2正则化强度的超参数以及l1正则化强度系数；

35、所述xgboost模型的超参数包括树结构参数、随机采样参数、正则化参数以及学习率参数；采用optuna框架结合树状结构parzen估计器进行自动化贝叶斯超参数优化。

36、优选地，所述计算标准化土壤湿度指数的方法为：提取高空间分辨率时空无缝土壤水分数据集中的每个像元的土壤水分时间序列sm，通过五种理论概率分布函数对土壤水分时间序列sm进行概率分布拟合；采用k-s检验对各概率分布的拟合优度进行假设检验，通过计算土壤水分经验累积频率与理论累积频率之间的最大绝对差异判定各概率分布对像元土壤水分时序特征的描述能力；

37、对于每个像元，选择k-s检验概率分布的拟合优度最大且通过显著性水平的概率分布作为像元的最优概率分布模型，记像元s最优概率分布模型对应土壤水分值的累积概率累积分布为；计算标准化土壤湿度指数为：；式中，为标准正态分布累积概率函数的逆函数；

38、所述干旱等级划分的方法为：标准化土壤湿度指数ssi>0 为无旱；-1.0

39、优选地，所述xgboost模型的超参数的范围包括：树的最大深度的范围为3至7之间；子节点最小样本权重和的范围为20至120之间；叶节点分裂所需的最小损失下降阈值范围0.0至10.0之间；每棵树训练时的样本采样比例范围为0.6至1.0之间；每棵树训练时的特征采样比例范围为0.6至1.0之间；l1正则化系数的范围为0.0至5.0之间；l2正则化系数在对数尺度上的范围为3.0至50.0之间，学习率在对数尺度上的范围为0.02至0.10之间；所述早停机制为当验证集上的损失函数连续50轮未出现下降时自动终止训练；

40、所述五种理论概率分布函数包括伽马分布、正态分布、对数正态分布、广义极值分布和pearson-ⅲ分布；

41、经逐像元统计验证，研究区内像元的最优拟合分布为正态分布，标准化土壤湿度指数为：；式中，μ和σ分别为土壤水分时间序列sm的均值和标准差。

42、一种基于时空自适应填补与xgboost降尺度的农业干旱监测系统，包括：

43、数据预处理模块，用于获取多源被动微波土壤水分数据、遥感数据、气象数据、地形土壤数据，完成数据的时空匹配与预处理；

44、缺值重建模块，与数据预处理模块连接，用于执行改进的savitzky-golay滤波的时序重建、顾及环境相似度的地理加权回归模型的空间重建、最小二乘时空耦合，完成土壤水分数据的缺值重建；并将多源被动微波数据进行逐像元一致性校正与时序拼接，生成长时序时空连续土壤水分数据集；

45、降尺度模块，与缺值重建模块连接，用于构建输入特征集、执行两阶段特征筛选、训练optuna优化的xgboost模型，完成长时序时空连续土壤水分数据集的降尺度，生成高空间分辨率时空无缝土壤水分产品；

46、干旱识别模块，与降尺度模块连接，用于构建长时序的土壤水分时间序列、计算标准化土壤湿度指数、完成干旱等级划分与干旱事件识别。

47、本发明的有益效果：以时序-空间双维度耦合的缺值重建为核心基础，通过改进savitzky-golay滤波与顾及环境相似度的地理加权回归（gwr, geographically weightedregression）模型，分别完成时序维度与空间维度的缺值初步重建，经最小二乘耦合实现缺失像元的高精度重建，强化土壤水分数据的时序连续性与空间分布一致性；针对多源被动微波产品的系统偏差，构建逐像元精细化一致性校正框架，生成时空连续的土壤水分数据集；进一步提出融合多源环境特征的xgboost降尺度方案，通过温度植被干旱指数耦合气象、地形、土壤属性的多维度特征集构建、两阶段特征筛选与optuna(optimize-tuning)-tpe（tree-structured parzen estimator）贝叶斯优化的模型训练，实现被动微波土壤水分产品的高精度空间降尺度，生成高分辨率时空无缝土壤水分产品；最终建立适配长时序无缝产品的农业干旱精准识别体系，通过最优概率分布拟合计算标准化土壤湿度指数，完成不同等级农业干旱事件的精准识别与时空特征提取，提升干旱监测的跨区域可比性与精细化水平。本发明有效解决了现有被动微波土壤水分产品存在的时空不连续、多源数据一致性差、空间分辨率低、农业干旱识别精度不足与跨区域可比性弱的核心问题，显著提升了农业干旱精细化监测、预警与抗旱减灾决策支持的自动化、智能化与可靠性水平。

48、本发明通过构建时序-空间双维度耦合的缺值重建-多源数据精细化校正-多特征融合机器学习降尺度-自适应农业干旱识别的全流程技术体系，集成了改进savitzky-golay滤波与顾及环境相似度的gwr耦合重建模块、逐像元多源数据一致性校正模块、optuna-tpe优化的xgboost降尺度模块与最优分布拟合的干旱识别模块，显著提升了被动微波土壤水分产品的时空连续性、降尺度精度、大尺度泛化能力，以及农业干旱识别的精准度与跨区域可比性。

49、首先，在缺值重建环节，本发明所提出的时序-空间双维度耦合重建框架，通过引入高斯窗函数与sinc修正滤波器系数的改进savitzky-golay滤波算法，有效解决了传统savitzky-golay滤波高频噪声抑制能力弱、时序边界拟合伪影严重的问题；通过加入环境相似度权重的gwr空间插值模型，大幅提升了空间异质性强的复杂地表类型区域的插值精度；并通过最小二乘拟合实现时序与空间维度重建结果的深度耦合，充分挖掘双维度互补信息，在降低计算复杂度的同时，增强了模型对时序连续缺值、空间大面积缺值的鲁棒性重建能力，为长时序土壤水分数据集构建奠定了时序连续、空间完整、精度可靠的基础。

50、其次，在多源数据校正与降尺度环节，本发明引入的逐像元精细化一致性校正策略，能够依据不同像元的长时序变化特征，自适应完成smos、amsr2产品与基准amsr-e产品的系统偏差校正，彻底消除了多源数据间的时序拼接断点，实现了2003-2023年长时序、时空连续土壤水分数据集的无缝构建；在降尺度过程中设计的rfe(recursive featureelimination)-shap（shapley additive explanations）两阶段特征筛选策略，结合optuna-tpe贝叶斯超参数优化与双环节早停机制，有效解决了传统静态降尺度方法地域依赖性强、泛化能力不足、过拟合风险高的核心局限，使模型能够适配气候与地表类型复杂多样的区域特征，在大尺度范围内保持稳定的降尺度精度，同时实现了被动微波土壤水分产品从25km粗分辨率到1km甚至更高精细分辨率的尺度推绎，满足了县域、田块尺度农业干旱精细化监测的核心需求。

51、进一步，在农业干旱识别环节，本发明集成了最优概率分布自适应匹配与标准化干旱等级划分双模块协同工作体系，通过5种主流概率分布的拟合优度检验，自适应确定每个像元土壤水分时序序列的最优拟合分布，大幅降低了标准化土壤湿度指数（ssi）的计算误差；结合区域农业干旱发生特征与世界气象组织规范完成本地化适配的干旱等级划分体系，实现了轻、中、重、极端四个等级农业干旱事件的精准识别与跨区域可比的标准化量化。两者协同作用，显著抑制了区域土壤水分本底差异对干旱识别结果的干扰，增强了模型对不同区域农业干旱特征的适配能力，有效弥补了传统固定分布干旱识别方法精度不足、跨区域可比性差的缺陷。

52、最终，上述模块共同构成一个协同优化的整体：时序-空间双维度耦合重建模块提供了时序连续、空间完整的基础土壤水分数据，逐像元多源校正与自适应降尺度模块实现了高分辨率、高泛化性的时空无缝土壤水分产品构建，而自适应干旱识别体系则完成了从土壤水分动态到农业干旱事件的精准映射与特征提取。本发明的全流程技术体系不仅在复杂地理场景下实现了长时序、高精度土壤水分产品的自动化构建与农业干旱的精细化、标准化监测，同时保持了优异的计算效率与业务化适配能力，为区域农业干旱精细化预警、抗旱减灾决策部署、国家粮食安全保障等核心应用提供了可靠且高效的遥感分析技术支撑。