基于多智能体深度强化学习的多微电网电碳耦合协同优化方法及系统与流程

本发明涉及电力系统运行，尤其涉及基于多智能体深度强化学习的多微电网电碳耦合协同优化方法及系统。

背景技术：

1、碳价持续攀升，碳排放成本已成核心经营变量，碳排放成本已成为电力运营商不可忽视的核心变量。

2、分布式可再生能源高速增长，但消纳问题日益突出。即使在消纳条件较好的东部省份，同一配电网区域内多个用电主体之间的可再生能源也无法有效互济a主体的屋顶光伏午间发电峰值远超自身负荷需求却只能弃光，而相邻的b主体同时在从电网取用化石能源电力。

3、现有微电网碳排放管理聚焦于发电侧——通过配置光伏、风电等清洁能源降低源侧碳排放，这一范式忽视了一个关键事实：负荷侧的用电行为选择直接影响碳排放；

4、当一个配电网区域内存在多个微电网时，由于缺乏有效的协同机制，大量清洁能源被浪费；

5、当前的微电网调度模型以单一目标（经济成本最小化）驱动，碳排放仅作为固定约束而非动态决策变量；

6、采用集中式求解框架本质上是不可扩展的。集中式框架要求所有微电网向配网运营商上报包括机组参数、成本函数、负荷曲线在内的完整数据——这些数据中有大量商业敏感信息；

7、当前最先进的电碳耦合调控方法采用博弈论框架，然而，博弈论方法依赖三个核心假设（完全信息假设、完全理性假设、静态环境假设），在真实电力场景中几乎不成立。

技术实现思路

1、本发明的目的是为了解决现有技术中电碳耦合机制缺失、碳排放难以追溯、隐私保护不足、无法适配动态运行环境的问题，而提出的基于多智能体深度强化学习的多微电网电碳耦合协同优化方法及系统。

2、为了实现上述目的，本发明采用了如下技术方案：

3、基于多智能体深度强化学习的多微电网电碳耦合协同优化方法，具体操作步骤如下：

4、s1：建立各类型机组的碳排放强度计算模型和多微电网系统的碳流追溯模型，计算支路碳流率、网损碳流率、支路碳流密度、节点碳势等碳流核心指标；

5、s2：将每个微电网建模为独立的强化学习智能体，以本地私有信号和碳感知公共信号为状态输入，以各燃料机组的出力调整量、储能机组的充放电功率、可调负荷的增减量、碳配额的买入/卖出量为连续动作输出，奖励函数包含运行成本、碳排放惩罚项及策略熵奖励项，其中碳排放惩罚系数根据实际碳排放与碳配额的偏差动态自适应调整，采用集中式训练、分布式执行架构对各智能体进行训练；

6、s3：以各微电网独立运行时的效用为合作底线，构建纳什谈判模型，采用分布式算法求解微电网间的能源共享和碳配额协同方案，所得方案为pareto最优解；

7、s4：训练完成后，将各微电网的actor网络部署到本地边缘计算节点，各微电网仅依赖本地观测和公共碳信号即可并行决策。

8、优选地，所述s1中各类型机组的碳排放强度计算模型包括：

9、所述风电机组的碳排放模型为：；其中，ewg ,pv为风电机组的碳排放强度；

10、所述光伏机组的碳排放模型为：；其中，cpwg ,pv为光伏机组的碳排放强度；

11、所述燃料发电机组的碳排放模型为：；

12、其中，eg ,f为燃料机组f的碳排放强度，ηf为燃料机组f的燃料的含碳率，kf为燃料机组f的燃料的碳氧化率，τf为微电网为燃料机组f配置的碳捕集装置的碳捕集率，mco2为二氧化碳的摩尔质量，mc为碳的摩尔质量，δf为燃料机组f的单位电能消耗燃料量；

13、所述储能机组的碳排放模型为：

14、

15、

16、

17、其中，qcha ,t为储能机组在t时段处于充电状态时，注入储能机组的碳排放量，r为给储能机组充电的充电支路集合，为第r条充电支路上流入储能机组的电量，ρr ,t为第r条充电支路在t时段的支路碳流密度，ηcha为储能机组的充电效率，pcha ,t为储能机组在t时段的充电功率，δ t为一个调度周期内的一个时段间隔，qdis ,t为储能机组在t时段处于放电状态时，流出储能机组的碳排放量，pdis ,t为储能机组在t时段的放电功率，为储能机组放电时相对储能机组内部而言的对外碳排密度，ηdis为储能机组的放电效率，为时段储能机组的附碳密度，γ 为t时段储能机组的附碳密度，为时段储能机组的荷电状态，soc ,t为t时段储能机组的荷电状态，dc为储能机组的最大容量。

18、优选地，所述s1中多微电网系统的碳流追溯模型为：

19、

20、

21、

22、其中，rij为以节点i为首节点且以节点j为末节点的支路的支路碳流率，为以节点i为首节点且以节点j为末节点的支路的网损碳流率，ρij为以节点i为首节点且以节点j为末节点的支路的支路碳流密度，为节点j的节点碳势，pij为以节点i为首节点且以节点j为末节点的支路上所流过的支路有功功率，pi为节点i流过的功率，为第i个分量为1且其余分量为0的列矢量，au为潮流分布矩阵，pg ,i为节点i所连发电机的有功功率，pes ,s ,k为微电网s的第k台储能机组放电时的放电功率，pg ,n为节点n所连发电机的有功功率，eg ,i为节点i所连发电机的碳排放强度，γ s ,k为微电网s的第k台储能机组放电时对应时段的附碳密度，eg ,n为节点n所连发电机的碳排放强度，为以节点i为首节点且以节点j为末节点的支路的有功损耗，uj为节点j的上游节点集合，pj为节点j流过的功率。

23、优选地，所述s2中智能体的状态输入包括本地私有信号和碳感知公共信号，其中本地私有信号包括本微电网各机组实时出力、储能荷电状态、本地负荷、光伏/风电预测值；碳感知公共信号包括各节点的节点碳势、支路碳流密度、碳配额市场实时价格、配电网电价。

24、优选地，所述s2中各微电网智能体的连续动作输出均由actor策略网络通过前向传播自动输出，actor策略网络为多层全连接神经网络，输入层接收状态向量，经三层隐藏层变换后，输出层分两路分别输出动作的均值和标准差，构造高斯分布后采样得到实际执行的动作，训练阶段从分布中随机采样以保持探索，执行阶段直接取均值作为确定性动作。

25、优选地，所述s2中奖励函数为：

26、

27、其中：coper：运行成本（燃料成本 + 储能充放电损耗成本）；

28、ecarbon：本微电网实际碳排放量；

29、λt：碳排放惩罚系数，动态自适应调整——当实际碳排放超出碳配额时自动增大，迫使智能体加大减排力度；当碳排放远低于配额时适当减小，避免过度减排导致经济代价过高；

30、ctrade：碳配额交易净支出（买入支出减卖出收入）；

31、h(π) 为策略熵奖励，鼓励智能体在训练中保持充分的探索，提升对新场景的泛化能力 ；

32、λt的自适应更新机制是本方案的关键创新——它使得智能体能够自动找到碳排放和经济运行成本之间的最优平衡点，无需人工设定固定的碳惩罚系数。

33、α；熵温度系数，控制在"追求高奖励"和"保持探索"之间的权衡，可以在训练中自动调节。

34、优选地，所述s2中集中式训练、分布式执行架构包括：训练阶段配置全局critic网络，其输入为所有微电网的联合状态与联合动作的拼接向量，经三层全连接隐藏层变换后输出标量q值，critic网络给出动作评分以指导各actor网络更新策略参数；各微电网配置独立的actor策略网络，训练完成后critic网络被移除，各actor网络凭训练中习得的全局协作能力独立并行决策。

35、所述系统包括：

36、碳流追溯层，用于建立各类型机组的碳排放强度计算模型和多微电网系统的碳流追溯模型，计算各节点的节点碳势、支路碳流率、支路碳流密度等碳流指标；

37、多智能体强化学习层，用于将每个微电网建模为独立的强化学习智能体，以本地私有信号和碳感知公共信号为状态输入，以机组出力、负荷调节量和碳配额交易量为连续动作输出，采用集中式训练、分布式执行架构对各智能体进行训练，训练完成后各微电网仅依赖本地观测和公共碳信号即可并行决策；

38、合作博弈层，用于以各微电网独立运行效用为合作底线，通过分布式算法求解微电网间的能源共享和碳配额协同方案，所得方案为pareto最优解。

39、优选地，所述合作博弈层构建纳什谈判模型，以各微电网独立运行时的效用为谈判破裂点，目标函数为各微电网相对于谈判破裂点的效用增量乘积最大化，并采用交替方向乘子法进行分布式求解，将原问题分解为各微电网并行求解的本地子问题和配网运营商执行的全局协调问题，本地子问题仅使用各微电网的本地数据优化本地效用函数，全局协调收集各微电网上报的交易量数据更新拉格朗日乘子并广播回各微电网。

40、优选地，所述多智能体强化学习层在训练完成后将各微电网的actor网络部署到本地边缘计算节点，各actor网络接收本地传感器数据和配网运营商广播的公共碳信号，通过前向传播输出确定性动作，各微电网独立并行完成调度决策，即使配网运营商通信中断，各actor网络仍可依赖本地观测继续维持基本的低碳调度能力。

41、与现有技术相比，本发明具备以下优点：

42、1、本发明通过设置碳流追溯层、多智能体强化学习层与合作博弈层组成的三层协同架构，并建立各类机组碳排放强度计算模型与多微电网系统碳流追溯模型，将节点碳势作为智能体核心感知输入，实现碳排放从发电侧到负荷侧的物理准确计量与责任划分，将碳管理视角从单一源侧拓展至源荷双侧，使负荷侧的用电时空转移成为智能体自动习得的低碳策略。

43、2、本发明通过设置包含运行成本、碳排放惩罚项、碳配额交易净支出及策略熵奖励的奖励函数，并将碳排放惩罚系数设计为根据实际碳排放与碳配额的偏差动态自适应调整，使碳排放直接进入智能体奖励函数，碳价变动通过奖励信号自动影响决策行为，解决传统方法中碳价信号与运行决策之间的断层，同时使智能体在训练中经历大量不同新能源出力偏差场景后，策略网络天然具有对预测误差的鲁棒性。