一种基于多智能体强化学习的多楼宇群柔性资源分布式协调控制方法

本发明涉及楼宇群综合能源管理领域，尤其涉及一种基于多智能体强化学习的多楼宇群柔性资源分布式协调控制方法。

背景技术：

1、随着分布式光伏、风电、储能、空调虚拟储能和电动汽车等柔性资源在楼宇侧大规模接入，多个楼宇群聚合商逐渐成为配电网侧重要的产消者主体。不同楼宇群在新能源出力、负荷特性、柔性资源规模和运行成本方面存在明显差异，在同一变电站供电范围内进行楼宇群间p2p电能互济和与售电公司购售电交互，可以促进可再生能源就地消纳、缓解配电网峰谷压力并提高系统运行效率。

2、现有多楼宇群与电网互动方法通常假设各参与主体能够共享完整的负荷、成本函数、资源状态和竞价策略等信息。然而在实际市场环境中，楼宇群聚合商具有独立利益诉求，其内部负荷曲线、用户行为、柔性资源可调边界和成本函数属于商业敏感信息，难以向竞争对手或集中调度中心完全公开。因此，基于全局信息透明假设的集中式优化或传统博弈求解方法难以适应不完全信息场景。

3、此外，多楼宇群互动过程同时受到变电站容量、售电公司统购配额、双边p2p交易电量匹配、价格可行域、柔性资源调节边界等多重约束影响，决策变量包括主网购售电功率、楼宇群间p2p申报电量和结算电价，具有连续、高维、强耦合和非凸特性。传统数学规划、分布式优化或迭代清算方法容易出现通信负担大、模型依赖强、收敛效率不足等问题。

技术实现思路

1、发明目的：本发明旨在提供一种面向多聚合商不完全信息博弈场景且保护各主体隐私的基于多智能体强化学习的多楼宇群柔性资源分布式协调控制方法。

2、技术方案：本发明所述的基于多智能体强化学习的多楼宇群柔性资源分布式协调控制方法，包括以下步骤：

3、构建多楼宇群配电台区分布式协调控制架构，确定不完全信息下非合作博弈场景；

4、在不完全信息下非合作博弈场景下，将同一公共配电变电站管辖范围内的楼宇群聚合商集合作为博弈参与者集合，基于楼宇群运行控制约束，建立多楼宇群非合作博弈模型；

5、将每个楼宇群边缘控制器作为一个智能体，将多聚合商日前竞价与调度博弈过程建模为多智能体马尔科夫决策过程，采用多智能体深度强化学习算法，在集中训练与分布式执行学习架构下，对多智能体马尔科夫决策过程进行求解，生成各楼宇群的并网功率参考值、楼宇群间功率互济参考值以及空调、电动汽车和储能设备的功率调节指令。

6、进一步的，楼宇群运行控制约束包括楼宇群节点功率平衡约束、群间p2p互济电量物理匹配约束、交易价格可行域约束、柔性资源总调节功率的边界约束、柔性资源上下调边界和配电网安全运行中的变电站容量约束。

7、进一步的，楼宇群节点功率平衡约束为：

8、

9、式中：为楼宇群n在t时段的基础刚性负荷；为楼宇群n在t时段的分布式光伏实际出力；为楼宇群n在t时刻调用的空调与电动汽车等柔性资源的总调节功率；为聚合商n在时段t计划与售电公司进行物理交互的净功率；为最终确定的聚合商n与m之间的实际双边成交电量；

10、群间p2p互济电量物理匹配约束为：

11、

12、交易价格可行域约束为：

13、

14、式中：为售电电价；为购电电价；为聚合商n与m博弈后达成的双边出清电价；

15、柔性资源总调节功率的边界约束表达式为：

16、

17、式中：为楼宇群n在t时段的柔性资源最大上调功率边界；为楼宇群n在t时段的柔性资源最大下调功率边界；

18、柔性资源上下调边界为：

19、

20、式中：和分别表示柔性资源最大上调功率边界和最大下调功率边界；和分别表示空调集群的物理上、下调功率边界；和分别表示电动汽车集群的物理上、下调功率边界；为聚合商n用户的综合响应概率；

21、配电网安全运行中的变电站容量约束为：

22、

23、式中：为变电站的额定容量上限。

24、进一步的，满足多楼宇群非合作博弈模型中的运行总成本最小：

25、

26、式中：为购售电成本；为群间互济交易成本；为公共变电站容量越限惩罚成本；为售电公司日统购配额超限惩罚成本。

27、进一步的，购售电成本为：

28、

29、

30、

31、式中：与分别表示外部电网固定的分时零售电价与余电收购底价；为从售电公司的购电功率；为向售电公司的售电功率；

32、群间互济交易成本为

33、

34、式中：为最终确定的聚合商n与m之间的实际双边成交电量；为聚合商n与m博弈后达成的双边出清电价；为智能体集合；

35、变电站容量越限惩罚成本为

36、

37、式中：为配电网运营商设定的容量惩罚系数；为聚合商n的容量惩罚分摊权重；

38、售电公司日统购配额超限惩罚成本为

39、

40、

41、式中：为聚合商n的惩罚分摊权重系数；为售电公司向配电台区下发全日基础购电总量配额。

42、进一步的，将多聚合商的日前竞价与调度博弈过程，重构为七元组：

43、

44、式中：为智能体集合；为全局状态空间；为局部观测空间；为联合动作空间；为状态转移函数、为奖励函数集合；为未来奖励折扣因子。

45、进一步的，全局状态仅在离线集中训练阶段对全局critic网络开放，全局状态定义为：

46、

47、式中：为聚合商n在t时刻的局部观测向量；为变电站的最大承载极限；为售电公司的日统购配额；

48、楼宇群聚合商n在t时刻的局部观测向量，局部观测向量定义为：

49、

50、式中：为聚合商n的空调虚拟储能状态；为聚合商n的电动汽车虚拟储能状态；

51、智能体在t时刻的联合动作向量定义为：

52、

53、对于p2p申报电价，将策略网络输出的无量纲动作线性映射至价格可行域：

54、

55、式中：为智能体的价格调整可行域；为策略网络输出的电价原始无量纲值；

56、t时刻的单步即时奖励为：

57、。

58、进一步的，多智能体深度强化学习算法中actor 网络以楼宇群局部观测向量为输入，输出连续控制动作；critic 网络在集中训练阶段接收全局状态和联合动作，评估各楼宇群的控制动作对配电台区运行安全、新能源消纳和柔性资源状态约束的影响；训练完成后，在线运行阶段删除集中训练所需的全局 critic 网络，仅保留各楼宇群本地 actor 网络，使各楼宇群在不上传完整负荷曲线、用户行为和设备运行细节的条件下独立生成控制动作。

59、有益效果：本发明与现有技术相比，其显著优点是：1、本发明面向多楼宇群接入同一公共变压器后的配电台区安全运行问题，将各楼宇群并网功率、楼宇群间功率互济量、空调集群调节功率、电动汽车充放电功率和储能装置充放电功率纳入统一协调控制框架，能够在多楼宇群源荷储状态差异明显、运行状态动态变化的条件下，降低公共变压器过载风险，提高配电台区运行安全性；2、本发明将多智能体强化学习用于多楼宇群柔性资源分布式协调控制，每个楼宇群边缘控制器作为一个智能体，以本地负荷、分布式电源出力、柔性资源可调边界、设备荷电状态和公共变压器容量裕度为观测输入，输出并网功率参考值、功率互济参考值和柔性资源功率调节指令。由此，强化学习模型的输入、动作和奖励均与配电网运行控制变量和实际能源设备状态相对应，能够提高智能控制策略在楼宇群能源管理场景中的工程适用性；3、本发明采用集中训练、分布式执行的多智能体强化学习架构，在离线训练阶段利用全局状态和联合动作对各楼宇群控制行为进行价值评估，缓解多智能体并发调节造成的环境非平稳性；在在线执行阶段仅保留各楼宇群本地 actor 网络，使各楼宇群能够在不上传完整负荷曲线、用户行为数据、设备运行细节和内部成本参数的情况下，基于本地观测信息独立生成控制动作，从而降低通信负担并保护楼宇群运行数据隐私；4、本发明设置安全校核层，对多智能体强化学习模型输出的并网功率参考值、楼宇群间功率互济参考值、空调调节功率、电动汽车充放电功率和储能充放电功率进行约束投影或动作修正，使最终下发的控制指令满足楼宇群功率平衡约束、楼宇群间功率互济匹配约束、公共变压器容量约束、储能荷电状态约束、电动汽车荷电状态约束和空调舒适度约束，避免智能控制网络直接输出不可执行或导致设备越限的控制动作。