一种基于多源生态状态感知的智能体修复决策方法与流程

本发明涉及智能体决策，尤其涉及一种基于多源生态状态感知的智能体修复决策方法。

背景技术：

1、随着生态治理智能体技术的迅速发展，基于多源感知、数字孪生与强化学习的智能体方法在生态质量评估、生态修复决策以及自然资源动态监管等领域展现出了巨大的潜力。作为一种面向复杂环境自适应决策的智能优化方法，生态治理智能体通过引入时空transformer 数字孪生模型、混合动作空间 ppo 强化学习策略以及具身主动巡检反馈机制，不仅能显著提升生态修复方案生成的科学性和效率，还确保了治理动作与真实生态状态之间的一致性、可解释性和动态适应能力，进而推动林草湿荒生态系统治理由静态评估向自迭代智能决策发展。

2、在山水林田湖草沙一体化治理中，确保生态状态识别、服务功能评估和修复策略生成的准确性对于执行大尺度生态保护修复任务至关重要，实际应用常常要求系统能够同时考虑植被、水分、土壤、生境、退化风险、气候驱动、人为扰动以及治理成本等因素，以满足不同生态网格差异化修复决策的需求。

3、然而，现有技术多依赖静态指标评价或专家经验规则，难以预测不同治理动作的长期效果，也难以根据真实巡检反馈持续更新决策模型。例如申请号为202310148837.x的专利申请，主要基于改进遥感生态指数进行生态质量评价和修复区域划分，核心是静态或阶段性评价，尚未建立治理动作与未来生态状态之间的动态预测关系。又如申请号为202510949240.4的专利申请，能够从结构、过程、功能和弹性等维度监测滨海湿地生态质量变化，但其重点仍是变化识别和退化监测，缺少面向治理动作选择的智能决策机制。

4、名词解释：

5、spatio-temporal graph transformer是指一类将‌图结构‌（空间依赖）与transformer自注意力机制‌（时间/全局依赖）结合用于序列图数据建模的架构范式。

6、马尔可夫决策过程（markov decision process, mdp）是序贯决策（sequentialdecision）的数学模型，基于一组交互对象（智能体和环境）进行构建，所具有的要素包括状态、动作、策略和奖励。在mdp的模拟中，智能体会感知当前的系统状态，按策略对环境实施动作，从而改变环境的状态并得到奖励，奖励随时间的积累被称为回报。

7、ppo（近端策略优化）是一种策略梯度类算法，通过限制策略更新幅度来防止策略过度偏离、使用优势函数来评价某个动作的相对好坏，从而缓解强化学习中因策略更新幅度过大而导致的训练不稳定甚至模型崩溃等问题。

技术实现思路

1、本发明的目的就在于提供一种解决上述缺乏治理动作与未来生态状态之间的动态预测关系、以及缺少、面向治理动作选择的智能决策机制等问题的，一种基于多源生态状态感知的智能体修复决策方法。

2、为了实现上述目的，本发明采用的技术方案是这样的：一种基于多源生态状态感知的智能体修复决策方法，包括以下步骤：

3、s1，将研究区域划分为i个生态网格、研究时间划分为t个时间周期，将第t个时间周期第i个生态网格标为gi,t，生成gi,t的输入记录，包括生态状态变量si,t、外部驱动变量ci,t和治理动作变量ai,t，1≤t≤t，1≤i≤i；

4、s2，按预设规则计算每个gi,t的生态质量指数qi,t和综合生态服务功能指数ei,t；

5、s3，构建基于时空transformer的生态演化预测模型，用于输入gi,t及其邻域内生态网格在最近k个时间周期的输入记录，输出第t+1个时间周期第i个生态网格gi,t+1的预测生态状态变量，所述最近k个时间周期为（t-k+1）~t；

6、s4，基于gi,t最近k个时间周期的生态质量指数的变化趋势和波动程度计算gi,t的修复稳定性zi,t，基于gi,t的模型预测不确定性、数据质量不确定性和外部扰动不确定性计算gi,t的总风险ui,t；

7、s5，将生态修复建模为mdp过程，构建混合策略网络、设置奖励函数，基于ppo算法更新混合策略网络输出离散动作和连续参数构成gi,t的候选治理策略；

8、s6，对待治理的第t’个时间周期第j个生态网格，用混合策略网络生成候选治理策略，再用生态演化预测模型生成t’+1个时间周期第j个生态网格的预测生态状态变量；

9、s7，人工审核，若不通过则返回s6，否则执行，并采集、的输入记录，生成执行后的反馈结果变量yj,t’。

10、作为优选，s1中，对第t个时间周期第i个生态网格gi,t，还获取其反馈结果变量yi,t，与输入记录一起构成gi,t的标准记录xi,t；

11、生态状态变量si,t用于描述gi,t当前生态状态，包括植被、水分、土壤、生境和退化风险；

12、外部驱动变量ci,t用于描述影响gi,t生态变化的外部因素，包括气候、地形、人为扰动、邻域影响；

13、治理动作变量ai,t用于描述对gi,t采取的修复措施，包括措施类型、实施强度、时间安排、资源投入；

14、反馈结果变量yi,t用于描述gi,t执行ai,t后在时间周期t~t+1的生态变化，包括生态质量指数变量δqi,t、综合生态服务功能指数变量δei,t和总风险ui,t；

15、其中，，。

16、s7中，，其中、分别为时间周期t’~t’+1的生态质量指数变量、综合生态服务功能指数变量，、分别为的修复稳定性和总风险。

17、作为优选，还包括步骤s8，生成的标准记录xj,t'。

18、作为优选，s2中，gi,t的生态质量指数qi,t、综合生态服务功能指数ei,t分别根据下式计算：

19、；

20、；

21、其中，vi,t为植被状态指数、wi,t为水分状态指数、li,t为地表土壤状态指数、hi,t为生境状态指数、ri,t为退化风险指数、为固碳服务指数、为水源涵养服务指数、为土壤保持服务指数、为防风固沙服务指数、为生物多样性维持服务指数，α1~α5、β1~β5分别为对应相乘项的权重，且初值均为0.2。

22、作为优选，s3中，，式中为生态演化预测模型，ωi为以生态网格i为中心的邻域内生态网格集合，q为邻域内生态网格索引，为最近k个时间周期的索引，、、分别为第个时间周期第q个生态网格的生态状态变量、外部驱动变量、治理动作变量。

23、作为优选，s4中，计算修复稳定性zi,t的方法为：用gi,t最近k个周期生态质量指数线性回归得到的趋势斜率ki,t表征变化趋势，最近k个周期生态质量指数的标准差σi,t表征波动程度，根据下式计算修复稳定性zi,t；

24、；

25、式中，exp(⋅)为自然指数函数，为趋势增强系数，为波动惩罚系数。

26、作为优选，s4中，计算总风险ui,t的方法为：

27、用deep ensemble算法获得生态演化预测模型对gi,t+1的预测结果，计算多个预测结果之间的方差并归一化，得到模型预测不确定性；

28、统计第i个生态网格最近k个时间周期内所有数据的缺失率x1,i,t、最近一次采集时刻与当前时间周期的时间间隔x2,i,t，分别归一化为对应的归一化值、，计算数据质量不确定性，；w1、w2分别为对应相乘项的权重，且和为1；

29、对ci,t中至少一项参数，获取其在不同情景下的预测值，计算变异系数并归一化为归一化变异系数，再对所有参数的归一化变异系数进行加权求和，得到外部扰动不确定性；

30、再计算总风险ui,t，，其中，γ1、γ2、γ3分别为对应相乘项的权重，初值分别为0.4、0.3、0.3。

31、作为优选，s5具体为：

32、s51，构造基于ppo算法的强化学习智能体，将所有治理动作变量ai,t构成混合动作空间，并将所有ai,t的离散动作构成离散动作空间、所有连续参数构成连续参数空间；

33、s52，配置混合策略网络，包括离散策略网络和连续策略网络，其中离散策略网络输出离散动作ai,t，连续策略网络输出ai,t的实施强度ui,t、时间安排τi,t、资源投入bi,t，构成候选治理策略；

34、s53，设置选择ai,t的奖励函数ri,t，基于ppo算法更新混合策略网络输出治理策略；

35、；

36、其中，δqi,t、δei,t、δzi,t分别为选择ai,t后的生态质量指数变量、综合生态服务功能指数变量、修复稳定性变量，λ1~λ5分别为对应相乘项的权重，初值分别为0.3、0.25、0.2、0.1、0.15。

37、作为优选，s5中，生成具体为：用代替xi,t输入记录中的治理动作变量ai,t，再用生态演化预测模型根据gi,t及其邻域内生态网格在最近k个时间周期的输入记录进行预测。

38、作为优选，s7中采集的输入记录，具体为：

39、若同一时间周期需采集多个生态网格的输入记录，则计算每个生态网格的优先级评分后，对生态网格按分值降序进行采集，其中gi,t的优先级评分为：

40、；

41、式中，ri,t为退化风险指数、di,t-1为时间周期t-1预测得到时间周期t的生态状态变量与si,t间的偏差，当t=1时，di,t-1=0，pi,t为人为扰动强度，η1~η4为对应相乘项的权重，初值均为0.25。

42、本发明思路为：面向林地、草地、湿地、荒漠等生态系统的质量评估与修复决策问题，构建一个“评估-推演-决策-巡检-反馈-再学习”的闭环体系。本发明首先把研究区域划分成多个生态网格，每个生态网格相当于一个最小管理单元；然后把遥感、生态站网、样地、巡检和治理工程记录统一转换成标准变量；接着利用时空transformer建立生态演化预测模型（也称为生态数字孪生模型），用于模拟某个生态网格采取不同治理措施后的未来变化；再利用混合动作空间ppo强化学习算法，在数字孪生环境中反复试验不同治理方案，学习出较优的修复策略；最后通过无人机、地面巡检设备和样地复核对高风险区域进行真实验证，并把真实反馈重新用于模型更新。

43、关于步骤s1，本发明将研究区域划分为若干固定尺度的生态网格，每个生态网格在每个时间周期形成一条标准化记录。为了避免直接堆叠大量原始数据，本方法将输入统一抽象为四类变量，以gi,t为例，标准记录，其中前三项构成输入记录用于训练生态演化预测模型，且本发明中，治理动作变量ai,t由离散动作和连续参数两部分构成，并在后续采用构建混合策略网络分别预测。

44、关于s2，本发明用于定义每个gi,t的生态质量指数qi,t和综合生态服务功能指数ei,t并在后续使用。其中qi,t用于回答“这个地方当前生态质量好不好”。由于植被、水分、土壤和生境状态越好，生态质量越高，而退化风险越高，生态质量越低。ei,t用于综合描述碳汇、水源涵养、土壤保持、防风固沙和生境维持等能力。qi,t和ei,t中各项权重不写成完全固定值。冷启动阶段可由专家打分或层次分析法给出初值，例如qi,t中各项权重依次设为0.25、0.20、0.20、0.25、0.10；ei,t中各项权重可先均衡设置为0.20。后续随着真实治理样本积累，系统用专家验收等级、治理前后生态质量变化和生态服务变化作为反馈，校准权重。如果某类指标长期更能解释真实治理效果，就提高它的权重；如果某类指标长期和真实效果关系较弱，就降低它的权重。

45、关于s3，构建基于时空transformer的生态演化预测模型。由于生态质量指数qi,t只能说明“现在怎么样”，不能说明“如果采取某种措施，未来会怎么样”。真实生态系统治理周期长、试错成本高，因此需要先在虚拟环境中推演不同治理方案的结果。这个虚拟环境就是生态数字孪生模型。本方法采用时空transformer作为生态数字孪生模型，并训练为生态演化预测模型。transformer是一种基于注意力机制的深度学习模型，适合处理时序数据，能够自动判断历史序列中哪些时间节点对未来预测更重要。本发明中“时空”体现在两方面：时间上，模型读取最近k个时间周期的历史变化；空间上，模型读取目标生态网格（研究哪个生态网格时，它就作为目标）及其周边邻域生态网格的状态，通过空间注意力捕捉生态扩散、边缘效应和生态廊道支撑关系。因此，时空transformer输入不是单个生态网格、单个时间点，而是“目标网格及其邻域在最近k个时间周期内的输入记录序列”，本发明中，时空transformer采用spatio-temporal graph transformer相同的模型结构，只改变输入形状，以适应本任务。时空transformer最终输出为，这样，数字孪生模型就能回答：“在当前状态下，如果采取补播、封育、补水或沙障治理，下一阶段可能产生怎样的生态收益”。

46、关于s4，由于治理方案不能只看短期提升，还要看是否稳定，因此，本发明设置修复稳定性zi,t。该指标由gi,t最近k个时间周期的生态质量指数的变化趋势和波动程度共同决定。本发明先对最近k个时间周期的生态质量指数的变化趋势做线性回归，得到趋势斜率，斜率越大，说明生态质量越倾向于持续改善。同时计算最近k个周期生态质量指数的标准差σi,t，标准差越大，说明生态状态波动越强。最后按公式计算修复稳定性zi,t，且zi,t值在(0∼1)区间。

47、另外，本发明还需要知道生态演化预测模型预测是否可信，本发明基于模型预测不确定性、数据质量不确定性和外部扰动不确定性计算gi,t的总风险ui,t。

48、关于s5，在生态演化预测模型可以预测不同治理动作变量的未来效果后，系统将生态修复建模为强化学习问题。强化学习中的“序贯决策”可以理解为：系统不是一次性定死多年治理方案，而是每个周期根据最新状态重新判断下一步怎么做。本发明将所有治理动作变量ai,t构成混合动作空间，包括离散动作空间和连续参数空间，这是因为ai,t中，措施类型是离散的，例如暂缓、封育、补播、补水、沙障治理、人工种植和综合治理；而实施强度、时间安排、资源投入具有连续或半连续属性，因此，本发明采用混合策略网络包含两个输出头：一个离散动作头选择措施类型，另一个连续参数头输出实施强度、时间安排、资源投入。

49、为了让混合策略网络学到“收益高、稳定、成本低、风险小”的治理策略，ai,t的奖励函数ri,t由五部分构成：生态质量指数变化量δqi,t、生态服务功能变化量δei,t、修复稳定性变化量δzi,t、资源投入bi,t、总风险ui,t。五项权重可根据需要进行修改。

50、关于s6、s7，训练好以后，对任意时间周期的任一生态网格，均可用混合策略网络生成候选治理策略，再用生态演化预测模型生成下一时间周期的预测生态状态变量。然后人工审核候选治理策略是否可行，若可行则执行，不可行则重新生成候选治理策略。执行后采集相关数据计算对应的反馈结果变量，进行反馈更新。

51、此时s7中采集，若同一时间周期需采集多个生态网格的输入记录时，无需对所有生态网格进行等频巡检，而是根据优先级评分确定各生态网格的巡检顺序，并按照评分由高到低依次采集数据。

52、关于s8，对任意，生成标准记录xj,t'，此时新生成的标准记录与s1中的标准记录一样，放入历史数据库，用于后续生态演化预测模型的更新，最终让预测生态状态变量更接近真实的生态状态变量。

53、与现有技术相比，本发明的优点在于：

54、（1）本发明将复杂多源生态数据统一转化为生态状态变量、外部驱动变量、治理动作变量和反馈结果变量四类标准变量，使生态治理智能体能够以清晰、统一的输入结构完成大尺度网格化评估与决策。

55、（2）引入基于时空transformer的生态演化预测模型，智能体可以有效预测不同治理动作下生态网格未来状态的变化。该方法不仅改善了生态演化预测质量，还确保了时间演变规律、空间邻域扩散关系和治理动作影响之间的一致性，为大尺度生态修复决策提供了更强的数据支撑。

56、（3）引入混合动作空间ppo强化学习方法作为修复方案生成过程中的关键环节，使得治理类型选择、治理强度控制、治理面积分配、实施周期设定和资源投入优化得以统一建模。通过这种方法，系统不仅关注生态质量和生态服务功能的整体提升，还能够对成本约束、风险约束和长期稳定性进行精准处理，显著提升生态治理智能体在复杂生态修复场景中的实际应用效果。特别是在多区域、多类型、多目标的生态修复任务中，这一技术显著提高了治理方案的可执行性和动态优化价值。

57、综上所述，本方案通过引入时空 transformer 数字孪生模型、混合动作空间 ppo强化学习策略和具身主动巡检反馈机制，极大提升了生态治理智能体在生态质量评估、服务功能预测和修复策略生成中的质量和应用价值，为林草湿荒生态系统智能治理提供了一种创新的解决方案。通过解决现有技术中静态评价难以指导动态修复、专家经验规则难以适应复杂生态变化、模型预测结果缺乏真实反馈校准等问题，这一方法为生态修复智能体的自迭代决策提供了新的技术路径，特别在山水林田湖草沙一体化治理、退化生态系统修复和生态保护成效评估中具有广泛的应用前景。