基于SAE-GS-TabNet的土壤有机质含量高光谱建模方法与流程

本发明涉及土壤高光谱检测，具体涉及基于sae-gs-tabnet的土壤有机质含量高光谱建模方法。

背景技术：

1、土壤有机质含量是评价设施菜地退棚还田后耕层肥力恢复程度的重要指标。高光谱检测具有快速、无损的优势，已被用于土壤有机质含量反演。然而，在盐渍化设施菜地退棚还田区域，土壤长期受棚内高蒸发、重灌溉、肥盐累积及地膜残留影响，退棚后表层土常呈现自然含水不均、局部盐霜析出、炭粒或腐殖质暗斑混杂的状态。特别是在灌溉后短时间内，土样表面会形成极薄水膜，水膜反射、盐壳强散射与有机质吸收信息在可见光—近红外波段相互叠加，使光谱曲线出现伪吸收峰、反射率突变和局部饱和现象，导致有机质真实响应被掩盖。

2、现有土壤有机质高光谱建模方法通常直接对单一状态下采集的光谱进行平滑、导数变换、主成分分析或偏最小二乘、随机森林、神经网络建模。上述方法主要依赖全波段统计相关性或单次特征筛选结果，难以区分水膜、盐霜、炭粒等干扰分量与有机质响应分量。当样本数量较少、盐分空间分布不均且同一地块土样含水状态差异较大时，模型容易将水盐扰动特征误判为有机质敏感特征，造成特征选择不稳定、注意力分配偏移和预测结果跳变。

3、现有tabnet类模型虽然能够进行特征注意力学习，但其输入特征多来源于常规预处理光谱，缺少针对三态土样光谱差异的干扰分离机制，也未将水膜差分、结构差分与深层重构残差联合用于有机质特征筛选。因此，在盐渍化设施菜地退棚还田这一复杂小场景下，如何从受水膜、盐霜及炭粒共同扰动的高光谱数据中提取稳定有机质特征，并建立具有抗水盐扰动能力的高精度预测模型，成为亟需解决的技术问题。

技术实现思路

1、本发明的目的是提供一种基于sae-gs-tabnet的土壤有机质含量高光谱建模方法，以解决背景技术中不足。

2、为了实现上述目的，本发明提供如下技术方案：基于sae-gs-tabnet的土壤有机质含量高光谱建模方法，包括：

3、s100，对盐渍化设施菜地退棚还田区域，分别采集同一土壤样品在自然含水、压片除水膜及标准回湿状态下的高光谱反射率，并测定其有机质含量，构建三态光谱矩阵x及标签y；

4、s200，对三态光谱矩阵x进行坏波段剔除和散射校正，计算自然含水光谱与压片除水膜光谱之间的水膜差分谱、标准回湿光谱与压片除水膜光谱之间的结构差分谱，融合得到抗水盐扰动光谱矩阵x1；

5、s300，将x1输入具有共享编码层和双解码层的sae模型，其中第一解码层重构水膜、盐霜及炭粒干扰分量，第二解码层重构有机质响应分量，根据二者重构残差得到有机质深层特征f；

6、s400，对f中各特征分别计算与y的相关贡献值、三态一致性值及干扰残差抑制值，并通过gs全局稳定搜索生成综合适应度，筛选得到稳定有机质特征子集fs；

7、s500，将fs作为tabnet的先验特征掩码输入各决策步，使tabnet仅在所述稳定有机质特征子集中进行注意力分配，训练得到预测模型m；

8、s600，对待测土壤高光谱数据依次执行s200至s500中相同处理，输入预测模型m，输出土壤有机质含量。

9、优选的，坏波段剔除包括：

10、将自然含水光谱、压片除水膜光谱和标准回湿光谱配准至同一波段序列，并分别计算自然含水光谱与压片除水膜光谱的差值以及标准回湿光谱与压片除水膜光谱的差值；

11、以当前波段的邻域中位数为参照，统计差值符号相反且超过符号判定容差的秩序反转次数，得到三态秩序一致度；

12、计算当前波段相对于邻域波段的标准化偏差，得到邻域突变度，并将同时满足三态秩序一致度异常降低和邻域突变度异常升高的波段剔除。

13、优选的，散射校正包括：

14、以有效三态光谱矩阵x0中的压片除水膜光谱作为散射校正基准，计算每个有效波段上自然含水光谱、标准回湿光谱相对于压片除水膜光谱的综合差异量；

15、将综合差异量最小的预定比例波段确定为稳定波段区间，并在稳定波段区间内分别计算自然含水光谱、标准回湿光谱及压片除水膜光谱的均值和标准差；

16、依据压片除水膜光谱的均值和标准差，对自然含水光谱及标准回湿光谱进行斜率-截距校正，得到校正三态光谱矩阵xc。

17、优选的，抗水盐扰动光谱矩阵x1的构建包括：

18、基于校正三态光谱矩阵xc，计算自然含水校正光谱与压片除水膜校正光谱之间的归一化差异，得到水膜差分谱；

19、计算标准回湿校正光谱与压片除水膜校正光谱之间的初始差分谱，并通过初始差分谱在水膜差分谱方向上的非负投影扣除水膜同向分量，得到结构差分谱；

20、依据水膜差分谱的幅值生成扰动抑制权重，并将压片除水膜校正光谱、水膜差分谱的反向加权结果和结构差分谱按固定顺序拼接，得到抗水盐扰动光谱矩阵x1。

21、优选的，干扰目标向量和有机质响应目标向量的构建包括：

22、基于压片除水膜校正光谱计算局部反射异常值，并基于结构差分谱计算结构差分异常值；

23、将局部反射异常值和结构差分异常值同时超过由样品自身波动确定的异常边界的波段判定为盐霜或炭粒局部干扰波段，并构造盐霜及炭粒干扰分量；

24、将盐霜及炭粒干扰分量与水膜差分谱的反向加权结果拼接为干扰目标向量ti，并以抗水盐扰动光谱单元x1i与干扰目标向量ti之差作为有机质响应目标向量to。

25、优选的，有机质深层特征f的获得包括：

26、将抗水盐扰动光谱单元x1i、干扰目标向量ti和有机质响应目标向量to按同一均值和标准差进行标准化后输入共享编码层，得到低维隐含向量h；

27、通过第一解码层重构水膜、盐霜及炭粒干扰分量，通过第二解码层重构有机质响应分量，并在训练损失中加入两个重构向量的余弦相似约束，以降低干扰信息与有机质响应信息的重复表达；

28、根据输入光谱去除干扰重构分量后的第一重构残差，以及进一步去除有机质响应重构分量后的第二重构残差，计算有机质响应可信系数，并将所述有机质响应可信系数与低维隐含向量h相乘，得到有机质深层特征f。

29、优选的，相关贡献值计算包括：

30、按照标签y的有机质含量由低到高对有机质深层特征f对应的样品进行排序，并依据样品数量划分为多个有机质含量层；

31、对f中每一维特征，计算其在各有机质含量层内的中位数，并根据最高含量层与最低含量层的差异确定该维特征的主变化方向；

32、统计该维特征在相邻含量层之间与主变化方向一致的同向变化次数以及相反的反向波动次数，并结合该维特征与标签y的秩相关程度得到相关贡献值。

33、优选的，三态一致性值和干扰残差抑制值计算包括：

34、将f中单一维度特征回映至s300的第一解码层，得到该维特征对应的局部干扰重构向量，并按照x1的拼接顺序划分为压片除水膜来源段、自然含水来源段和标准回湿来源段；

35、比较三个来源段的响应差异，得到该维特征的三态一致性值；

36、依据s300第二解码层重构后剩余残差，在同一有机质含量层内对该维特征进行扰动置换，并在置换后剩余残差降低且干扰重构分量同步减弱时得到干扰残差抑制值。

37、优选的，所述s400至s500包括：

38、将相关贡献值、三态一致性值和干扰残差抑制值分别归一化，并以三者的几何平均值作为每一维特征的综合适应度；

39、按照综合适应度由高到低执行gs全局稳定搜索，采用正向加入候选特征和反向剔除高相关冗余特征的交替方式，得到稳定有机质特征子集fs；

40、根据fs构建tabnet的先验特征掩码v，并在tabnet各决策步中将非fs特征的注意力候选值置为极小值，使特征选择掩码仅在fs内分配注意力，训练得到预测模型m。

41、优选的，所述s600包括：

42、对待测土壤的自然含水光谱、压片除水膜光谱和标准回湿光谱，采用训练阶段确定的有效波段集合、稳定波段区间和水膜扰动强度进行处理，得到待测抗水盐扰动光谱单元x1test；

43、将x1test输入训练完成的共享编码层和双解码层sae，计算待测土壤的有机质响应可信系数，并得到待测有机质深层特征ftest；

44、按照稳定有机质特征子集fs和先验特征掩码v对ftest进行特征约束后输入预测模型m，输出待测土壤有机质含量。

45、在上述技术方案中，本发明提供的技术效果和优点：

46、本发明并非直接对单一状态土壤光谱进行全波段建模，而是针对盐渍化设施菜地退棚还田区域中“薄水膜、盐霜、炭粒、腐殖质暗斑”共存的特殊干扰场景，构建自然含水、压片除水膜和标准回湿三态光谱。通过压片除水膜状态作为近似稳定参照，既保留盐霜、炭粒等真实地表干扰，又削弱表层自由水膜遮蔽；再利用三态秩序一致度和邻域突变度联合剔除坏波段，避免仅凭单条光谱突变误删有机质敏感波段。进一步通过水膜差分谱、结构差分谱以及水膜同向分量的非负投影扣除，将水膜扰动与回湿后土壤颗粒结构变化分离，使输入x1不再是简单反射率集合，而是包含“基准反射、水膜反向补偿、结构差异保留”的抗水盐扰动表达，由此直接降低水盐伪吸收峰对有机质响应的掩盖。

47、本发明还区别于普通sae或tabnet直接学习特征的方式，将抗水盐扰动光谱输入具有共享编码层和双解码层的sae，使第一解码层针对水膜、盐霜及炭粒干扰分量重构，第二解码层针对有机质响应分量重构，并通过重构残差得到有机质响应可信系数，再形成有机质深层特征f。该处理不是单纯增加网络层数，而是在特征形成阶段强制区分可解释为干扰的光谱变化和可解释为有机质响应的光谱变化。随后，本发明利用相关贡献值、三态一致性值和干扰残差抑制值进行gs全局稳定搜索，筛选得到稳定有机质特征子集fs，并将fs作为tabnet各决策步的先验特征掩码，使注意力只能在稳定特征内分配。由此可避免模型将盐霜高反射、炭粒暗斑或残余水膜变化误作为有机质敏感特征，提高小样本复杂地块下预测结果的稳定性和抗扰动能力。