基于条件扩散模型的多智能体动态任务分解方法及装置与流程

本发明涉及电力运维与人工智能交叉，尤其涉及一种基于条件扩散模型的多智能体动态任务分解方法及装置。

背景技术：

1、随着新型电力系统建设的深入推进，电网结构日益复杂，分布式能源高比例接入使得电力运维场景呈现出高度的动态性、不确定性和大规模耦合特征。传统的电力运维模式主要依赖人工经验与固定规则，面对海量异构数据和突发故障时，往往存在响应滞后、诊断不准及协同效率低下等问题。

2、近年来，虽然人工智能技术特别是深度学习在设备状态监测和故障预警方面取得了显著进展，但现有的智能运维系统多基于单智能体或简单的集中式控制架构，难以有效应对分散式部分可观测环境下的复杂协作任务。在实际运维中，不同区域的巡检机器人、监控传感器及调度单元仅能获取局部观测信息，缺乏全局状态感知能力，导致决策碎片化。此外，电力运维任务通常具有长时序依赖和多目标优化特点，单一模型难以在保证实时性的同时兼顾全局最优策略。

3、因此，如何在分散式部分可观测环境下，实现自适应动态任务分解与多智能体协同运维，成为了业界亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于条件扩散模型的多智能体动态任务分解方法及装置，用以解决现有技术中任务分解僵化且策略同质化、动作表征提取能力不足以及全局信用分配存在虚假相关性的缺陷，实现在分散式部分可观测环境下，自适应动态任务分解与多智能体协同运维。

2、本发明提供一种基于条件扩散模型的多智能体动态任务分解方法，包括：

3、在当前时间步，获取各智能体的局部观测信息，以及除当前智能体外的其他智能体的联合动作信息，并获取电力运维环境的全局状态；

4、将所述局部观测信息和所述联合动作信息作为条件特征，利用条件扩散模型对采样的随机噪声进行去噪处理，恢复出对应智能体的动作潜在表征；其中，所述条件扩散模型通过联合最小化扩散误差与环境预测误差训练得到；

5、当满足预设的聚类触发条件时，对累积的所述动作潜在表征进行聚类，生成包含多个离散子任务的子任务集，并确定每个所述子任务对应的子任务表征以及受限动作空间；

6、按照设定的时间间隔，对各智能体的局部历史轨迹进行编码，并将编码特征和各所述子任务表征输入至子任务选择器，评估各智能体在所述子任务集内各个子任务下的预期回报，并基于所述预期回报将各智能体分配至对应的目标子任务；

7、在所述目标子任务对应的受限动作空间内，通过对应的子任务策略网络确定各智能体的执行动作，下发至电力运维设备执行，并获取所述电力运维环境反馈的全局奖励；

8、分别计算所述全局状态与所述子任务表征、所述全局状态与所述动作潜在表征的注意力信用权重，通过所述信用权重对所述全局奖励进行分解，并基于分解后的个体价值更新所述子任务选择器与各个所述子任务策略网络的参数。

9、在一些实施例中，所述利用条件扩散模型对采样的随机噪声进行去噪处理，恢复出对应智能体的动作潜在表征，包括：

10、从标准高斯分布中采样随机噪声；

11、将所述局部观测信息和所述联合动作信息进行拼接，构建条件特征向量；

12、将所述条件特征向量和所述随机噪声输入带有交叉注意力机制的神经网络，在所述条件特征向量的引导下对所述随机噪声进行多步迭代去噪，输出所述动作潜在表征。

13、在一些实施例中，所述条件扩散模型是基于如下步骤进行训练的 ：

14、将生成的所述动作潜在表征、所述局部观测信息以及所述联合动作信息分别输入至观测预测网络与奖励预测网络，输出下一时间步的观测预测值和全局奖励预测值；

15、计算所述观测预测值与真实观测值之间的第一误差，并计算所述全局奖励预测值与真实全局奖励之间的第二误差，将所述第一误差与所述第二误差聚合为预测损失；

16、按照设定的缩放因子，将所述预测损失与扩散损失进行加权求和，确定所述条件扩散模型的训练损失函数；

17、基于所述训练损失函数对所述条件扩散模型进行更新。

18、在一些实施例中，所述当满足预设的聚类触发条件时，对累积的所述动作潜在表征进行聚类，生成包含多个离散子任务的子任务集，并确定每个所述子任务对应的子任务表征以及受限动作空间，包括：

19、若当前训练步数达到设定的步数阈值时，从重放缓冲区中提取累积的多个所述动作潜在表征进行无监督聚类划分，生成多个子任务簇；

20、基于每个所述子任务簇内的动作潜在表征，确定对应离散子任务的所述子任务表征；

21、将每个所述子任务簇对应的动作特征空间，分别确定为对应离散子任务的受限动作空间。

22、在一些实施例中，所述对各智能体的局部历史轨迹进行编码，并将编码特征和各所述子任务表征输入至子任务选择器，评估各智能体在所述子任务集内各个子任务下的预期回报，包括：

23、获取各智能体在历史时间步的局部观测序列与动作序列，构成所述局部历史轨迹；

24、将所述局部历史轨迹输入共享的多层感知机与门控循环单元网络，输出包含历史时序特征的隐藏层状态向量作为所述编码特征；

25、将所述隐藏层状态向量输入所述子任务选择器网络，分别计算所述隐藏层状态向量与各所述子任务表征的点积，将输出的点积值确定为对应子任务下的所述预期回报。

26、在一些实施例中，所述分别计算所述全局状态与所述子任务表征、所述全局状态与所述动作潜在表征的注意力信用权重，包括：

27、构建基于干预的调节函数；

28、通过所述调节函数分别计算所述全局状态与各个所述子任务表征之间的第一点积注意力，以及所述全局状态与各个所述动作潜在表征之间的第二点积注意力；

29、按照设定的注意力头数，分别对所述第一点积注意力和所述第二点积注意力执行归一化操作；

30、将归一化后的所述第一点积注意力确定为子任务选择器层面的子任务信用权重，并将归一化后的所述第二点积注意力确定为子任务策略层面的动作信用权重。

31、在一些实施例中，所述基于分解后的个体价值更新所述子任务选择器与各个所述子任务策略网络的参数，包括：

32、将所述全局状态输入神经网络进行特征映射，得到对应的全局状态基线项；

33、利用所述子任务信用权重对对应智能体的所述预期回报进行加权求和，并将求和结果与所述全局状态基线项相加，构建得到子任务选择器的第一联合动作价值函数；

34、利用所述动作信用权重对对应智能体在所述受限动作空间内的个体动作价值进行加权求和，并将求和结果与所述全局状态基线项相加，构建得到子任务策略网络的第二联合动作价值函数；

35、分别根据所述第一联合动作价值函数、所述第二联合动作价值函数与所述全局奖励计算时序差分误差，并通过最小化所述时序差分误差，协同更新所述子任务选择器与各个所述子任务策略网络的参数。

36、本发明提供一种基于条件扩散模型的多智能体动态任务分解装置，包括：

37、获取模块，用于在当前时间步，获取各智能体的局部观测信息，以及除当前智能体外的其他智能体的联合动作信息，并获取电力运维环境的全局状态；

38、扩散模块，用于将所述局部观测信息和所述联合动作信息作为条件特征，利用条件扩散模型对采样的随机噪声进行去噪处理，恢复出对应智能体的动作潜在表征；其中，所述条件扩散模型通过联合最小化扩散误差与环境预测误差训练得到；

39、聚类模块，用于当满足预设的聚类触发条件时，对累积的所述动作潜在表征进行聚类，生成包含多个离散子任务的子任务集，并确定每个所述子任务对应的子任务表征以及受限动作空间；

40、评估模块，用于按照设定的时间间隔，对各智能体的局部历史轨迹进行编码，并将编码特征和各所述子任务表征输入至子任务选择器，评估各智能体在所述子任务集内各个子任务下的预期回报，并基于所述预期回报将各智能体分配至对应的目标子任务；

41、分配模块，用于在所述目标子任务对应的受限动作空间内，通过对应的子任务策略网络确定各智能体的执行动作，下发至电力运维设备执行，并获取所述电力运维环境反馈的全局奖励；

42、更新模块，用于分别计算所述全局状态与所述子任务表征、所述全局状态与所述动作潜在表征的注意力信用权重，通过所述信用权重对所述全局奖励进行分解，并基于分解后的个体价值更新所述子任务选择器与各个所述子任务策略网络的参数。

43、本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于条件扩散模型的多智能体动态任务分解方法。

44、本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于条件扩散模型的多智能体动态任务分解方法。

45、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述基于条件扩散模型的多智能体动态任务分解方法。

46、本发明提供的基于条件扩散模型的多智能体动态任务分解方法及装置，通过将局部观测信息和联合动作信息作为条件特征，利用联合最小化扩散误差与环境预测误差的条件扩散模型恢复动作潜在表征，无需显式正则化即可自然诱导出具备多模态分布特征和时间稳定性的高鲁棒动作特征，解决了现有技术难以捕捉动作非线性因果影响及策略震荡的难题；通过在满足触发条件时对累积的动作潜在表征进行聚类，生成离散子任务集及对应的受限动作空间，在未知任务数量的情况下，实现了从连续动作空间到离散子任务的无监督自适应划分，有效避免了子任务的同质化；通过周期性地对局部历史轨迹进行编码，并结合子任务表征利用子任务选择器评估预期回报以动态分配目标子任务，构建了“先聚类后动态分配”的分层策略网络，完美平衡了复杂电力运维任务分解的自适应性与时间稳定性，使得智能体形成专业化行为模式；通过分别计算全局状态与子任务表征、动作潜在表征的注意力信用权重，利用该信用权重分解全局奖励并协同更新网络参数，精准过滤了全局状态中的无关冗余信息，消除了部分可观测环境下的虚假相关性，实现了个体贡献的精准量化，大幅提升了多智能体联合策略的收敛速度，进而显著提升了复杂环境下多智能体协作的效率与稳定性。