一种基于动态超策略网络的多智能体分布式强化学习住宅微电网负荷调度方法

摘要: 本发明涉及住宅微电网能量管理领域,具体涉及一种基于多智能体分布式强化学习与动态超策略网络的住宅微电网负荷调度方法。该方法利用动态置换不变特征表示和分布式回报建模...
一种基于动态超策略网络的多智能体分布式强化学习住宅微电网负荷调度方法

本发明涉及住宅微电网能量管理领域,具体涉及一种基于多智能体分布式强化学习与动态超策略网络的住宅微电网负荷调度方法。该方法利用动态置换不变特征表示和分布式回报建模,实现住宅微电网中储能装置和可再生能源负荷的自主、去中心化调度,在保证隐私的前提下提高系统能量利用效率、降低运行成本并增强鲁棒性。

背景技术:

1、随着全球气候变化加剧,建筑能源使用脱碳已成为能源转型的核心方向。住宅微电网中分布式可再生能源比例不断提升,导致供电和负荷需求的不确定性增加,实时能量平衡难度加大,亟需智能化的去中心化负荷调度方法。储能系统为缓解可再生能源波动提供了关键的灵活性,从而保障微电网高效运行。

2、传统优化方法(如元启发式算法、lyapunov优化、模型预测控制)依赖明确系统模型和全局可观测性,但在大规模、不确定性高且隐私敏感的微电网环境中难以获取精确模型。多智能体强化学习(multi-agent reinforcement learning,marl)逐渐成为分布式决策的有效框架,使各住宅单元或用户通过局部交互学习协作策略。marl已成功应用于分布式电压调节和建筑空调系统控制等场景。常用的集中训练、去中心化执行(centralizedtraining with decentralized execution,ctde)范式在训练阶段利用全局信息,在执行阶段保证局部策略,虽然提升了训练稳定性和协调性,但仍存在以下主要问题:(1)联合状态-动作空间呈指数增长,导致可扩展性受限,样本效率低;(2)在集中训练阶段共享critic或隐向量可能泄露隐私;(3)大多数ctde算法缺乏对回报分布的显式建模,面对可再生能源波动性时鲁棒性不足。

3、此外,虽然置换不变架构(如dpn和hpn)可处理可变规模、无序输入,并有效捕获实体关系结构,但缺乏动态适应性(特征依赖权重绑定),难以在不同系统配置下高效泛化,且多数设计未结合分布式回报建模或去中心化执行,限制了在可再生能源微电网中的应用。

4、针对上述问题,现有技术仍难以在隐私保护、可扩展性及不确定性处理上同时兼顾,难以充分利用住宅微电网历史发电数据、负荷数据及储能状态信息实现优化调度。因此,亟需一种新型方法,能够在保障隐私的前提下,构建可扩展且鲁棒的多智能体调度策略,以实现住宅微电网中储能与负荷的高效协调与优化。

技术实现思路

1、本技术正是针对现有技术中存在的技术问题,提出一种基于动态超策略网络的多智能体分布式强化学习住宅微电网负荷调度方法。该方法通过动态置换不变特征表示、分布值函数分解及分位数回归,结合时间序列特征提取,实现住宅微电网中储能与负荷的去中心化、协同调度,提高系统能量利用效率、降低成本并增强鲁棒性。为解决上述问题,本发明提供如下技术方案:

2、一种基于动态超策略网络的多智能体分布式强化学习住宅微电网负荷调度方法,所述方法包括以下步骤:

3、s1,住宅微电网状态建模:基于住宅微电网中历史负荷数据、光伏发电数据及电池储能状态数据,构建住宅微电网状态时序模型,用于描述住宅建筑的负荷能源消耗、可再生能源利用以及储能动态运行过程。同时结合微电网能量平衡约束和动态交易价格机制,建立面向智能能源管理的系统状态模型。住宅微电网系统包括主电网、分布式住宅建筑、光伏发电系统、电池储能系统、本地能源管理系统以及智能建筑能源管理系统,其运行过程主要包括以下几个方面:

4、(1)住宅建筑:每栋住宅建筑具有独立的能源消耗特征和能源设施配置,包括光伏发电设备、电动汽车充电设备以及储能设备等。根据负荷响应特性,住宅建筑用电需求可划分为基础负荷和智能可调负荷,其总用电需求量表示为:

5、 (1)

6、其中,基础负荷表示建筑维持基本运行所需的不可调节用电需求,智能可调负荷表示能够根据能源管理策略进行调整的柔性用电需求。

7、考虑光伏输出具有随机性和时间相关性,将住宅建筑实际光伏输出电能量建模为概率分布:

8、 (2)

9、该模型利用历史光伏运行数据刻画未来光伏输出的不确定性,实现随机新能源环境下的能源管理。

10、(2)电池储能系统:电池储能系统作为住宅微电网的重要调节单元,其运行过程受到充放电功率约束、电池容量约束以及长期循环退化特性的共同影响。对于住宅建筑,时间步内储能系统运行约束为:

11、 (3)

12、储能状态更新模型考虑充放电过程中的能量转换损耗:

13、 (4)

14、为考虑长期循环运行导致的电池性能退化,引入基于等效循环次数的老化模型:

15、 (5)

16、根据循环状态动态调整充放电效率:

17、 (6)

18、等效循环次数更新为:

19、 (7)

20、 (8)

21、此外,采用72小时滚动标准差评价储能运行稳定性:

22、 (9)

23、(3)电网交互:对于住宅建筑,时间步内总电能需求量和本地可供能源量分别定义为:

24、 (10)

25、 (11)

26、其中,住宅建筑与主电网之间的双向电能交换定义为:

27、 (12)

28、 (13)

29、进一步地,住宅微电网整体能量需求和本地供能量分别为:

30、 (14)

31、 (15)

32、那么,住宅微电网与主电网之间的净能量交换定义为:

33、 (16)

34、其中,表示住宅微电网存在能量缺口,需要从主电网购入电能;表示住宅微电网存在能量盈余,并向主电网输出剩余电能。

35、(4)价格模型:sbems为住宅微电网能源交易参与者提供信息交互和本地交易价格计算服务。为实现能源交易经济性与电网稳定性的协同优化,提出融合分时电价和上网电价补贴机制的双机制动态定价模型,并结合拥堵感知调整机制,根据不同时段能源供需状态动态调整交易价格。主电网向住宅微电网提供电能时,对应的基础购电价格定义为:

36、 (17)

37、当住宅微电网存在能源盈余并向主电网输出剩余电能时,根据上网电价补贴机制确定基础售电价格:

38、 (18)

39、其中,是折现率,代表主电网向微电网售电时所适用的降价幅度。

40、为考虑微电网与主电网之间能源交互程度对交易价格的影响,引入拥堵感知价格调整机制。设为ibr 因子,为最大允许能量交换阈值。具体而言,

41、(a)当住宅微电网总需求与本地供能量平衡,即,则本地购电交易价格和本地售电交易价格分别为:

42、 (19)

43、(b)当时,住宅微电网存在能源缺口,需要从主电网购入电能。此时,本地交易价格调整为:

44、 (20)

45、 (21)

46、(c)当,住宅微电网存在能源盈余,多余电能向主电网输出。此时,本地购电交易价格和本地售电交易价格分别调整为:

47、 (22)

48、 (23)

49、该动态价格机制能够根据住宅微电网与主电网之间的能源交互状态调整交易价格,在保证用户经济收益的同时,降低大规模能量交换导致的电网波动风险。

50、通过上述住宅微电网状态建模方法,相较于现有基于确定性负荷模型和静态储能模型的能源管理方法,本方法具有以下优势:首先,通过将住宅建筑负荷划分为基础负荷和智能可调负荷,能够充分表征不同建筑用户的能源消费差异以及需求响应潜力,提高微电网状态描述的准确性。其次,通过基于历史光伏运行数据构建光伏发电条件概率分布模型,能够有效刻画可再生能源输出的随机性和时序相关性,避免传统确定性预测模型难以适应光伏波动的问题。再次,通过综合考虑储能系统充放电约束、能量转换效率、电池循环退化特性以及soc波动特征,实现对储能设备短期运行状态和长期健康状态的协同描述,有助于提高储能调度策略的可靠性和可持续性。此外,通过统一描述住宅微电网内部能源供需关系以及与主电网之间的双向能量交互过程,为后续动态价格响应和智能优化决策提供更加完整、准确的状态信息基础。

51、s2, 多智能体分布式强化学习建模:住宅微电网能源管理问题被建模为去中心化部分可观测马尔科夫决策过程,其形式定义为八元组。基于集中训练分散执行框架,训练阶段利用全局状态信息进行策略优化,而执行阶段各智能体仅依据自身局部观测进行决策。具体而言,全局状态空间定义为:

52、 (24)

53、第个智能体的局部观测空间定义为:

54、 (25)

55、智能体的动作空间定义为:

56、 (26)

57、为同时考虑住宅建筑能源交易收益、电池运行健康以及电网稳定性,构建全局奖励函数:

58、 (27)

59、 (28)

60、通过上述设计,可以降低频繁深度充放电导致的储能退化风险,并利用soc激励函数引导储能系统维持在合理运行区间:

61、 (29)

62、为提高住宅微电网与主电网交互过程中的运行稳定性,引入基于近期净交换功率序列 构造电网波动惩罚项。其均方根波动指标定义为:

63、 (30)

64、其中,表示第个历史时间步住宅微电网与主电网之间的净交换功率。

65、对应的电网波动惩罚定义为:

66、 (31)

67、其中,表示电网波动惩罚系数,表示波动程度划分阈值。

68、进一步地,从时间步开始的累计折扣回报定义为:

69、 (32)

70、其中,是折扣因子,用于衡量未来奖励的重要程度。通过最大化累计折扣回报,智能体能够在满足储能安全约束的同时,实现住宅能源经济运行与主电网稳定性的协同优化。

71、通过上述多智能体分布式强化学习建模方法,相较于现有集中式优化或单智能体能源管理方法,本方法具有以下优势:首先,将住宅微电网能源管理问题建模为去中心化部分可观测马尔科夫决策过程,将不同住宅建筑作为独立智能体进行协同决策,能够有效刻画多主体之间的交互关系,提高大规模住宅微电网能源管理问题的可扩展性。其次,采用集中式训练分散式执行机制,在训练阶段利用全局状态信息学习智能体间协同策略,在执行阶段基于局部观测完成自主控制,降低了对全局信息交互的依赖,提高了分布式能源管理系统的实际应用能力。此外,通过设计同时考虑能源交易收益、储能运行健康以及电网波动约束的综合奖励函数,使智能体能够在经济运行、电池寿命保护和电网稳定性之间实现协同优化,避免传统方法仅关注经济成本而忽略储能退化和电网波动的问题。

72、s3, 基于动态超策略网络的多智能体分布式强化学习框架:基于步骤s2建立的去中心化部分可观测马尔科夫决策模型,进一步构建基于动态超网络增强的多智能体分布式强化学习框架,该框架由三个主要模块组成:(i) 模块a,动态pi输入层,用于从不同智能体的局部观测信息中提取具有置换不变性的状态表示;(ii) 模块b,分布价值分解网络,用于通过分布式回报建模刻画未来累计回报的不确定性;以及 (iii) 模块c,动作映射,用于依据回报分布生成智能体控制动作,实现去中心化策略执行。

73、(1)模块a: 动态pi输入层

74、a,基于实体的动态权重生成。对于智能体,设其邻居实体集合为:

75、

76、其中,表示第个交互实体的特征向量;表示交互实体数量;表示表示实体特征维度。

77、针对每个实体特征,通过两个并行映射网络生成动态权重:

78、  (33)

79、其中,表示注意力头编号,表示注意力头数量;表示基础权重生成网络;表示交互权重生成网络。每个实体和注意力头的动态权重通过逐元素求和构建,定义为:

80、 (34)

81、其中,表示编码后的特征维度。

82、因此,智能体的完整动态权重张量定义为

83、 (35)

84、其关键创新在于使动态权重完全依赖于特征而非位置,从而确保每个实体在任何输入排列下都能获得一致的权重矩阵,并在学习到的表示中保持严格的pi。

85、b,多头注意力聚合。对于代理的每个盟友特征,我们应用可学习的多头注意力机制,将转换后的实体特征聚合为一个置换不变的表示。对不同实体特征进行动态映射:

86、 (36)

87、采用求和聚合获得第个注意力头的表示 进一步,通过特征级注意力融合:

88、 (37)

89、其中,表示智能体的邻居信息聚合表示;是来自分支的聚合表示,表示元素级乘法,且 是头部的注意力权重向量。

90、具体来说,注意力矩阵是通过在头部维度上应用软最大似然(softmax)运算,由可学习参数矩阵计算得出:

91、 (38)

92、其中,初始化为全 1。该设计与标准注意力机制在两个方面有所不同:(i) 头部融合是基于特征的,即每个头部都有一个可学习的权重向量,为每个输出维度分配独立的权重;(ii) 融合权重与输入无关(由学习到的参数矩阵计算得出并在样本间共享),而不是像传统注意力机制那样从依赖输入的查询/键动态生成。需注意,每个实体的线性变换仍依赖于输入,因此该架构将输入自适应的实体编码与静态的、基于特征的头部融合相结合。

93、最终,将智能体自身特征编码结果与邻居聚合结果融合:

94、  (39)

95、其中,表示自身状态编码网络。 表示智能体的置换不变状态表示,将作为后续网络层生成策略的输入。

96、(2)模块b,分布价值分解网络

97、该模块用于对多智能体能源管理过程中的累计回报进行分布式建模,通过 mean-shape 分解将回报分布表示为确定性均值分量和随机形状分量,从而刻画未来收益的不确定性。对于智能体,其回报分布表示为:

98、

99、

100、 (40)

101、其中,表示回报均值分量,通过因子化函数对各智能体的个体 q值进行组合。表示回报随机形状分量,通过函数对各智能体的随机回报进行条件组合,刻画回报分布的波动性。该分解确保每个智能体的分布式回报满足分布式个体-全局最优(digm, distributional individual-global-max)条件,从而保证在分布式训练下的联合策略最优性。

102、结合 iqn(implicit quantile network)进行量化分位数回归,通过采样多个分位数对形状分布进行近似,实现对回报随机性的端到端建模:

103、 (41)

104、其中,表示与系统状态相关的零均值随机变量;表示智能体 k 对整体随机形状的贡献权重,满足。

105、为了进一步捕获住宅微电网运行过程中的时间依赖关系,将模块a输出的pi表示输入gru网络:

106、 (42)

107、其中,表示包含历史信息的循环隐藏状态。随后,将隐藏状态映射结果与分位数嵌入进行融合 ,融合后的表示用于生成智能体回报分布。

108、(3)模块c,动作映射

109、模块c根据模块b输出的回报分布生成控制动作,实现去中心化策略执行。具体步骤如下:

110、a,动作选择。对每个智能体,根据其 pi 表示和回报分布, 计算期望回报或均值:

111、 (43)

112、其中,为采样的分位数数量,表示回报分布逆分位函数。

113、b,策略生成。智能体选择最大期望回报对应动作:

114、 (44)

115、在执行阶段,每个智能体仅依赖自身局部观测信息以及模块a生成的置换不变表示完成动作决策,无需共享完整环境状态。

116、通过上述动态超策略网络结构,利用置换不变特征表示消除住宅建筑排列顺序变化对策略决策的影响,提高了多住宅能源管理场景下策略的可扩展性和泛化能力;利用mean-shape 分解与分位数回归联合建模回报分布,使智能体能够同时感知期望收益与回报不确定性,避免传统基于期望价值的强化学习方法忽略风险波动信息的问题;同时,通过去中心化动作映射机制,各智能体仅基于自身局部观测信息生成控制动作,在降低通信交互需求的同时保护用户能源数据隐私,从而提升住宅微电网在动态负荷、可再生能源波动以及价格变化环境下的自主决策能力和运行稳定性。

117、s4, 在线部署与控制: 训练完成的多智能体策略网络部署于住宅微电网实时能源管理系统中。在在线运行阶段,每个住宅建筑智能体根据自身局部观测信息,通过策略网络输出对应控制动作, 用于控制储能设备充放电行为以及可调负荷运行状态,实现住宅微电网中多主体之间的分布式协同调度。在线控制过程中,各智能体基于本地观测信息独立完成决策,无需实时传输完整全局状态数据,从而降低通信负担,提高系统隐私保护能力和在线运行效率。同时,结合训练阶段获得的分布式回报建模能力,策略能够适应负荷变化、可再生能源波动以及动态电价变化,实现住宅微电网的实时优化控制。

118、相对于现有技术,本发明具有以下有益效果:本发明提出一种基于多智能体分布式强化学习的住宅微电网能源管理方法,通过融合精细化状态建模、去中心化决策优化、动态超策略网络以及在线控制机制,实现复杂动态能源环境下的高效智能调度。首先,通过构建综合考虑负荷特性、可再生能源出力、储能运行状态、电网交互以及动态价格信息的住宅微电网状态模型,并引入储能退化和电网波动因素,提高了能源系统状态描述的准确性和完整性。其次,通过建立去中心化部分可观测马尔科夫决策模型,使各住宅能源主体基于局部信息实现协同决策,降低了对全局信息传输的依赖,提高了系统的可扩展性和隐私保护能力。再次,通过设计动态超策略网络,利用置换不变特征编码增强了不同规模住宅群体下策略模型的适应能力,并结合 mean-shape 回报分解与分位数回归方法刻画收益分布不确定性,提高了动态能源环境下决策策略的鲁棒性。最后,通过去中心化在线部署方式,各智能体能够依据实时局部观测自主生成控制动作,实现住宅微电网的实时优化运行,提高了方法的工程应用可行性。