基于量化微调模型与强化学习的配电网恢复方法及系统与流程

摘要: 本发明涉及电力智能辅助决策与人工智能交叉,尤其涉及一种基于量化微调模型与强化学习的配电网恢复方法及系统。背景技术:1、随着主动配电网的快速发展,分布式电源及柔性...
基于量化微调模型与强化学习的配电网恢复方法及系统与流程

本发明涉及电力智能辅助决策与人工智能交叉,尤其涉及一种基于量化微调模型与强化学习的配电网恢复方法及系统。

背景技术:

1、随着主动配电网的快速发展,分布式电源及柔性负荷的接入使得故障后的转供恢复逻辑变得极其复杂。传统的故障恢复方法主要依赖于数学规划(或专家系统。然而,数学规划在处理大规模非线性约束时计算耗时较长,难以满足毫秒级实时调度的需求;而专家系统往往基于固定的规则库,缺乏处理极端复杂工况和人类非结构化指令的灵活性。

2、近年来,强化学习被引入电力系统调度,虽然解决了计算效率问题,但现有方案通常是一个“黑盒”,难以直接理解并执行调度员给出的自然语言指令,导致ai的决策与实际生产意图存在脱节,缺乏认知层面的交互能力。

技术实现思路

1、本发明提供一种基于量化微调模型与强化学习的配电网恢复方法及系统,用以解决现有技术中的缺陷,可在配电网故障恢复场景中实现恢复步骤序列的计算,提高主动配电网的自愈能力和供电可靠性。

2、第一方面,本发明提供一种基于量化微调模型与强化学习的配电网恢复方法,包括:

3、根据电网算例生成调度意图语义,基于所述调度意图语义,通过云端大模型构建基准小模型的训练样本;

4、采用低秩适应方法对所述基准小模型进行微调,根据所述训练样本训练微调后的基准小模型,得到量化微调小模型;

5、基于预定义的智能体观测空间,通过量化微调小模型生成用于智能体训练的预生成场景集;

6、根据所述预生成场景集构建智能体动作空间,所述智能体动作空间包含多个具有顺序依赖关系的动作头,通过动态掩码机制为所述动作头设置执行约束;

7、在预训练场景集上使用奖励函数训练智能体;使用量化微调小模型和训练好的智能体生成发生故障的电网算例的序贯恢复动作指令。

8、第二方面,本发明还提供一种基于量化微调模型与强化学习的配电网恢复系统,包括:

9、训练样本构建模块,用于根据电网算例生成调度意图语义,基于所述调度意图语义,通过云端大模型构建基准小模型的训练样本;

10、模型微调模块,用于采用低秩适应方法对所述基准小模型进行微调,根据所述训练样本训练微调后的基准小模型,得到量化微调小模型;

11、场景集生成模块,基于预定义的智能体观测空间,通过量化微调小模型生成用于智能体训练的预生成场景集;

12、动作空间生成模块,用于根据所述预生成场景集构建智能体动作空间,所述智能体动作空间包含多个具有顺序依赖关系的动作头,通过动态掩码机制为所述动作头设置执行约束;

13、模型训练模块,用于在预训练场景集上使用奖励函数训练智能体;

14、故障恢复模块,用于使用量化微调小模型和训练好的智能体生成发生故障的电网算例的序贯恢复动作指令。

15、第三方面,本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于量化微调模型与强化学习的配电网恢复方法的步骤。

16、第四方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于量化微调模型与强化学习的配电网恢复方法的步骤。

17、第五方面,本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于量化微调模型与强化学习的配电网恢复方法的步骤。

18、根据本申请提供的具体实施例,本申请公开了以下技术效果:

19、本发明提供的基于量化微调模型与强化学习的配电网恢复方法及系统,首先,根据电网算例生成调度意图语义,基于所述调度意图语义,通过云端大模型构建基准小模型的训练样本;其次,采用低秩适应方法对所述基准小模型进行微调,根据所述训练样本训练微调后的基准小模型,得到量化微调小模型;接着,基于预定义的智能体观测空间,通过量化微调小模型生成用于智能体训练的预生成场景集;然后,根据所述预生成场景集构建智能体动作空间,所述智能体动作空间包含多个具有顺序依赖关系的动作头,通过动态掩码机制为所述动作头设置执行约束;在预训练场景集上使用奖励函数训练智能体;最后,使用量化微调小模型和训练好的智能体生成发生故障的电网算例的序贯恢复动作指令。本申请有效地建模了人类调度意图,提升了强化学习智能体对语义信息的理解能力,实现了有限计算资源边缘端的自主故障恢复决策,最终可在有人类语义引导的配电网故障恢复场景中实现恢复步骤序列的计算,提高主动配电网的自愈能力和供电可靠性。

1.一种基于量化微调模型与强化学习的配电网恢复方法,其特征在于,包括:

2.根据权利要求1所述的基于量化微调模型与强化学习的配电网恢复方法,其特征在于,所述根据电网算例生成调度意图语义,包括:

3.根据权利要求2所述的基于量化微调模型与强化学习的配电网恢复方法,其特征在于,所述基于所述调度意图语义,通过云端大模型构建基准小模型的训练样本,包括:

4.根据权利要求1所述的基于量化微调模型与强化学习的配电网恢复方法,其特征在于,所述采用低秩适应方法对所述基准小模型进行微调,根据所述训练样本训练微调后的基准小模型,包括:

5.根据权利要求1所述的基于量化微调模型与强化学习的配电网恢复方法,其特征在于,所述智能体观测空间包括小模型补充观测和智能体直接从电网算例获取的观测;所述通过量化微调小模型生成用于智能体训练的预生成场景集,包括:

6.根据权利要求1所述的基于量化微调模型与强化学习的配电网恢复方法,其特征在于,所述根据所述预生成场景集构建智能体动作空间,所述智能体动作空间包含多个具有顺序依赖关系的动作头,通过动态掩码机制为所述动作头设置执行约束,包括:

7.一种基于量化微调模型与强化学习的配电网恢复系统,其特征在于,包括:

8.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于量化微调模型与强化学习的配电网恢复方法。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于量化微调模型与强化学习的配电网恢复方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于量化微调模型与强化学习的配电网恢复方法。