一种基于多智能体的能源互联网功率指令分配方法及系统与流程

1.本发明属于电力系统自动发电控制技术领域，适用于能源互联网中多类型 分布式机组agc功率分配问题，具体涉及一种基于多智能体的能源互联网功 率指令分配方法及系统。


背景技术：

2.为应对能源需求与碳排放的问题，通过大规模风电、光伏机组，电动汽车 等不断接入电网来促进能源电力系统清洁低碳化转型，多种分布式能源接入电 网，能源互联网成为解决可再生能源就地消纳问题，实现能源网络紧密融合、 提高整体能效的必然趋势。但由于新能源出力具有很强的不确定性、随机性和 间歇性，对电力系统的稳定性、安全性及经济运行均带来较大挑战。同时随着 接入电网机组增加，传统集中控制计算量大、通信集中、可靠性差、无法适应 结构灵活多变的主动配电网结构，因此集中控制方法逐步向分布式控制模式转 变，但由于分布式电源分散特性较大，分布式控制难以实现自治区域的整体优 化。
3.电网频率是衡量电能质量、反映电网安全稳定运行的重要指标，电网系统 通过agc控制来平衡发电机组有功功率和用户侧的负荷功率，进而维持整个 电网频率的相对稳定。当机组出力和负荷需求不平衡时会引起系统频率和联络 线功率偏差，控制系统会采集电网实时信息，并通过agc控制器计算得到总 功率调节指令，然后通过一定的分配方式将调节指令下发给各机组，调节各机 组出力。目前，对于总调节功率指令主要根据机组可调容量来进行分配，但该 方法对agc控制系统的调频资源分配要求较高，且当出现负荷扰动后机组就 偏离了经济运行的最优点，因此提出一种灵活的功率最优分配策略对于保证配 电网经济运行是很有必要的。


技术实现要素：

4.针对上述存在的不足，本发明的目的是提供一种基于多智能体的能源互联 网功率指令分配方法及系统，本发明该方法将从以下两个方面全面提升能源互 联网中参与agc控制的分布式机组功率最优分配的管控水平。
5.为达到上述目的，本发明采用以下技术方案予以实现：
6.一种基于多智能体的能源互联网功率指令分配方法，包括：
7.获取能源互联网控制区域的实时参数和总功率调节指令；其中，所述能源 互联网控制区域划分为若干个自治区域，每个自治区域设置有区域智能体；
8.基于实时参数和总功率调节指令得到区域智能体状态，将区域智能体状态 作为预先训练的通信神经网络模型的输入，并通过各区域智能体间的神经网络 隐层特征信息交互后产生各区域智能体动作并执行，得到各自治区域总功率指 令；
9.基于各自治区域总功率指令，构建以机组爬坡时间为一致性指标的多智能 体一致性算法，采取分类迭代方式得到各自治区域内各机组功率指令。
10.作为本发明的进一步改进，所述自治区域包含多种不同类型或同种类型的 多个分布式发电机组；所述区域智能体通过和相邻区域智能体进行信息交互来 实现区域间功率的分配，得到各自治区域总功率指令。
11.作为本发明的进一步改进，所述基于实时参数和总功率调节指令得到区域 智能体状态包括：
12.将每个负荷扰动断面的p
load
和总功率指令δp作为状态，则t时段第n个区 域智能体状态表示为：
[0013][0014]
作为本发明的进一步改进，所述通信神经网络模型包含策略网络和价值网 络，采用ddpg算法进行训练获得到所述通信神经网络模型参数，包括：
[0015]
在t时刻区域n区域智能体的策略网络输入区域智能体状态输出区域 智能体动作
[0016]
各区域智能体执行动作并获得t时刻的相同的奖励且各区域智能体 根据此时的控制策略进行状态转移，到达下一时刻的状态并反馈，经验 存储入经验池；
[0017]
价值网络输入区域智能体状态和区域智能体动作，对所选择的区域智能体 动作进行评估，指导策略网络更新参数；
[0018]
当训练次数《n时，重复计算区域智能体状态和区域智能体动作，直至训 练次数到达n时，完成策略网络和价值网络的训练，得到所述预先训练的通信 神经网络模型。
[0019]
作为本发明的进一步改进，所述在t时刻区域n区域智能体的策略网络输 入区域智能体状态输出区域智能体动作包括：
[0020]
将每个负荷扰动断面的p
load
和总功率指令作为状态，则t时段第n个区域 智能体状态表示为：
[0021][0022]
所述区域智能体动作为：
[0023]
t时段第n个区域智能体动作表示为：
[0024][0025]
式中，分别为选择的微型燃气轮机、小水电、生物 质机组、燃料电池和柴油机组功率分配因子；各机组的功率约束为：
[0026][0027]
式中，分别为微型燃气轮机调节功率容量的下限和上限；分别为小水电机组调节容量的下限和上限；分别为生物质 发电机组调节容量的下限和上限；为燃料电池机组调节容量的下限 和上限；分别为柴油机组可调容量的下限和上限。
[0028]
作为本发明的进一步改进，所述各区域智能体执行动作并获得t时刻的 相同的奖励中，所述奖励以各机组参与调频总成本和调节指令设定值跟踪误 差为奖励函数；
[0029]
自治区域间的功率指令优化分配时综合考虑各机组参与调频总成本c
total
和 调节指令设定值跟踪误差
△
pe，则奖励函数为：
[0030][0031]
式中，δpe＝δp-∑δp
gj
，
△
p
gj
为选定的第j个 代表发电机组调节功率，αj、βj和γj为第j个发电机组调频成本各项系数。
[0032]
作为本发明的进一步改进，所述通过各区域智能体间的神经网络隐层特征 信息交互后产生各区域智能体动作并执行，是在输入信息前向传播过程中与相 邻区域智能体共享均值池化处理后的通信神经网络模型的神经网络隐层状态信 息后产生区域智能体动作并执行，得到各自治区域总功率指令；所述得到各自 治区域总功率指令满足以下的功率平衡约束：
[0033]
δpi＝λiδp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0034]
式中，
△
p为agc控制器计算得到的总功率指令，
△
pi和λi为第i个自治 区域发电功率指令目标值和功率分配因子，且
[0035]
作为本发明的进一步改进，所述基于各自治区域总功率指令，构建以机组 爬坡时间为一致性指标的多智能体一致性算法，采取分类迭代方式得到各自治 区域内各机组功率指令；具体包括：
[0036]
选择机组功率爬坡时间t
im
作为一致性指标，爬坡时间为：
[0037][0038]
式中，
△
p
im
和分别为第i个自治区域第m台机组的发电功率和爬坡速 率，爬坡速率为：
[0039][0040]
式中，和分别为第i个自治区域第m台机组功率上调速率限制和 下调功率速率限制；
[0041]
通过区域智能体获得第n个区域总功率δpn，则区域内功率分配时按照区 分不同类型机组进行一致性更新，各类型机组接口智能体在交互相应一致指标， 第n个区域中各机组基于机组爬坡时间一致性更新如下：
[0042][0043][0044]
式中，
△
p
ne
为第k 1次迭代，区域总功率指令与各类机组承担总功率之间 的差值，t
mt
、th、t
be
、t
fc
和t
ds
分别为微型燃气轮机、小水电、生物质机组、 燃料电池和柴油机组爬坡时间一致性指标，d
ij
为各类型机组拓扑的行随机矩阵 在k次迭代中的第(i,j)项，ε为功率误差调节因子，且ε》0。
[0045]
作为本发明的进一步改进，所述区域内功率分配时按照区分不同类型机组 进行一致性更新，包括：
[0046]
根据区域总功率指令
△
pi，判断机组速率调节方向；
[0047]
不同种类分布式机组进行一致性指标t
im
迭代；
[0048]
计算得各机组功率
[0049]
判断
△
p
im
是否超过机组功率限值，若达到机组功率限值时，按机组功率 上下限计算机组功率及爬坡时间同时更新网络拓扑结构；机组功率 及爬坡时间分别为：
[0050][0051][0052]
计算区域总功率指令与各类机组承担总功率之间的差值
△
p
ne
；
[0053]
判断|δp
ne
|是否超过功率误差调节因子ε；当|δp
ne
|＞ε时，重复计算直至 |δp
ne
|≤ε，得到各机组功率指令
△
p
im
。
[0054]
一种基于多智能体的能源互联网功率指令分配系统，包括：
[0055]
参数获取模块，用于获取能源互联网控制区域的实时参数和总功率调节指 令；其中，所述能源互联网控制区域划分为若干个自治区域，每个自治区域设 置有区域智能体；
[0056]
自治区域间功率分配模块，基于实时参数和总功率调节指令得到区域智能 体状态，将区域智能体状态作为预先训练的通信神经网络模型的输入，并通过 各区域智能体间的神经网络隐层特特征信息交互后产生各区域智能体动作并执 行，得到各自治区域总功率指令；
[0057]
自治区域内功率分配模块，用于基于各自治区域总功率指令，构建以机组 爬坡时间为一致性指标的多智能体一致性算法，采取分类迭代方式得到各自治 区域内各机组功率指令。
[0058]
一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述 处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于 多智能体的能源互联网功率指令分配方法的步骤。
[0059]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序， 所述计算机程序被处理器执行时实现所述基于多智能体的能源互联网功率指令 分配方法的步骤。
[0060]
与现有技术相比，本发明具有以下有益效果：
[0061]
本发明提供一种基于多智能体的能源互联网功率指令分配方法，尤其涉及 针对能源互联网中参与agc调频机组出力优化的技术领域。获取能源互联网 控制区域中自治区域内各机组的实时参数，并通过agc控制器计算得到总功 率调节指令，并通过自治区域间和自治区域内的功率分配方式将总功率分配至 各机组，得到各机组的发电功率目标值，其中整个能源互联网功率指令最优分 配是基于多智能体强化学习和多智能体一致性算法分别实现对agc控制器计 算出的总功率指令从各自治区域间到各机组间的分配。采用该策略进行功率最 优分配的原理如下：先将分布式能源和微网单元等组成的能源互联网控制区域 划分为若干个自治区域，每个区域可包含多种不同类型或同种类型的多台分布 式机组；再通过对每个区域构建区域智能体，以发电机组参与调频总成本和调 节指令设定值跟踪误差为奖励函数，采用ddpg算法训练的通信网络实现各区 域智能体间协同工作，完成总功率指令的自治区域间分配；后以机组爬坡时间 为一致性指标，采用多智能体一致性算法将区域总功率指令分配到各机组，来 调节各分布式发电机组输出。
附图说明
[0062]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的 一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
[0063]
图1为本发明一种基于多智能体的能源互联网功率指令分配方法流程图；
[0064]
图2为本发明实施例的能源互联网功率指令最优分配工作流程图；
[0065]
图3为本发明实施例的自治区域间功率指令分配算法训练流程图；
[0066]
图4为本发明实施例的自治区域内功率指令分配算法流程图；
[0067]
图5为本发明一种基于多智能体的能源互联网功率指令分配系统；
[0068]
图6为本发明一种电子设备示意图。
具体实施方式
[0069]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施 例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都应当属于本发明保护的范围。
[0070]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、
ꢀ“
第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应 该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施 例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和
ꢀ“
具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系 列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步 骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备 固有的其它步骤或单元。
[0071]
深度强化学习具有强化的学习能力和快速决策能力，能够在求解问题的同 时动态优化动作指标，同时多智能体理论的发展为解决机组总功率分配和优化 问题提供了新的思路。
[0072]
本发明提出了一种基于多智能体的能源互联网功率动态最优分配策略，该 方法将从以下两个方面提升能源互联网中参与agc控制的分布式机组功率最 优分配的管控水平：
[0073]
1)实现能源互联网内各自治区域总功率指令最优策略的获取。基于 ddpg(确定性策赂梯度)训练的通信神经网络提出多区域分布式协同优化框 架，以各区域的区域智能体进行信息交互，通过合作关系实现各自治区域的分 布式协同，保证整个能源互联网的安全稳定运行。
[0074]
2)实现对能源互联网内各agc调频机组出力最优策略的获取。采用多智 体一致性算法将获得的区域总功率进行区域间一致性分配，获得区域内各分布 式机组的调节指令，指导整个能源互联网分布式机组最佳出力。
[0075]
通过以下实施例对本发明的方案进行详细说明。
[0076]
实施例1
[0077]
如图1所示，本发明提出了一种基于多智能体的能源互联网功率指令分配 方法，具体包括以下步骤：
[0078]
获取能源互联网控制区域的实时参数和总功率调节指令；其中，所述能源 互联网控制区域划分为若干个自治区域，每个自治区域设置有区域智能体；
[0079]
基于实时参数和总功率调节指令得到当前t时刻第n区域的区域智能体状 态将区域智能体状态作为预先训练的通信神经网络模型的输入，并通过 各区域智能体间
的神经网络隐层特特征信息交互后产生各区域智能体动作并执 行，得到各自治区域总功率指令；
[0080]
基于各自治区域总功率指令，构建以机组爬坡时间为一致性指标的多智能 体一致性算法，采取分类迭代方式得到各自治区域内各机组功率指令；实现将 各自治区域总功率指令分配到区域内各个机组。
[0081]
实际执行前，先明确能源互联网控制区域的若干个自治区域划分并获取能 源互联网控制区域的实时参数和agc控制器计算得到总功率调节指令；再根 据对预先划分好的自治区域设置区域智能体，基于当前t时刻第n区域智能体 的状态作为预先训练好的的通信神经网络模型的输入。
[0082]
基于上述方法，本发优点体现如下两点：
[0083]
(1)agc功率动态最优分配策略。
[0084]
该策略包含基于ddpg算法训练的通信神经网络实现自治区域间的功率指 令分配策略和基于多智能体一致性算法实现的自治区域内的功率指令分配策略。
[0085]
(2)agc功率动态最优分配策略原理如下：
[0086]
首先，分布式能源和微网单元等组成的能源互联网控制区域划分为若干个 自治区域，每个区域可包含多种不同类型或同种类型的多个分布式发电机组；
[0087]
其次，通过对每个区域构建区域智能体，以发电机组参与调频总成本和调 节指令设定值跟踪误差为奖励函数，采用ddpg算法训练的通信网络实现各区 域智能体间协同工作，完成总功率指令的自治区域间分配；其中整个能源互联 网功率指令最优分配是基于多智能体强化学习(具体为基于ddpg训练的通信 神经网络)和多智能体一致性算法分别实现对agc控制器计算出的总功率指 令从各自治区域间到各机组间的分配。
[0088]
最后，以机组爬坡时间为一致性指标，采取分类迭代方式，将区域总功率 指令分配到各机组，调节各分布式发电机组出力。
[0089]
其中，本发明的可选实施例，所述基于实时参数和总功率调节指令得到区 域智能体状态包括：
[0090]
将每个负荷扰动断面的p
load
和总功率指令作为状态，则t时段第n个区域 智能体状态表示为：
[0091][0092]
其中，本发明的可选实施例，所述通信神经网络模型包含策略网络和价值 网络，采用ddpg算法进行训练获得到所述通信神经网络模型，包括：
[0093]
在t时刻，区域n区域智能体的策略网络输入区域智能体状态输出区 域智能体动作
[0094]
各区域智能体执行动作并获得t时刻的相同的奖励且各区域智能体 根据此时的控制策略进行状态转移，到达下一时刻的状态并反馈给区域智 能体，区域智能体记录经验并将其存储入经验池；
[0095]
价值网络输入状态和动作，对所选择的动作进行评估，指导策略网络更新 参数；
[0096]
当训练次数《n时，重复计算状态和动作，直至训练次数到达n时，得到 所述通信神经网络模型的策略网络和价值网络。
[0097]
其中，本发明的可选实施例，所述构建以机组爬坡时间为一致性指标的多 智能体一致性算法，采取分类迭代方式得到各自治区域内各机组功率指令，是 以机组爬坡时间为一致性指标，采取分类迭代方式，将区域总功率指令分配到 各机组。
[0098]
可选的，区域内功率分配时按照区分不同类型机组进行一致性更新，包括：
[0099]
根据区域总功率指令
△
pi，判断机组速率调节方向；
[0100]
不同种类分布式机组进行一致性指标t
im
迭代；
[0101]
计算得各机组功率
[0102]
判断
△
p
im
是否超过机组功率限值，若达到机组功率限值时，按机组功率 上下限计算机组功率及爬坡时间同时更新网络拓扑结构；
[0103]
计算区域总功率指令与各类机组承担总功率之间的差值
△
p
ne
；
[0104]
判断|δp
ne
|是否超过功率误差调节因子ε；当|δp
ne
|＞ε时，重复计算直至 |δp
ne
|≤ε，得到各机组功率指令
△
p
im
。
[0105]
以下结合具体实施例对本发明的内容进行详细的说明。
[0106]
实施例2
[0107]
如图2所示，本发明提供一种基于多智能体的能源互联网功率指令分配方 法，本发明通过以下step1到step3步骤所示技术方案实现上述目的：
[0108]
step 1：确定能源互联网内自治区域划分
[0109]
首先，本发明将分布式能源和微网单元等组成的能源互联网控制区域划分 为若干个自治区域。自治区域可由各种类型电厂发电机组(包括小水电机组、 柴油发电机组等)，主动配电网agc、微网agc中的各类分布式发电机组群 (风电、光伏、微型燃气轮机、燃料电池、生物质等)组成。
[0110]
基于上述自治区域的划分可以很好地适应能源互联网运行多变的特点，具 有很高的灵活适应性。
[0111]
step 2：每个自治区域设置区域智能体，参与自治区域间功率指令分配
[0112]
本发明还在每个自治区域设置区域智能体，区域智能体通过和相邻区域智 能体进行信息交互来获取本区域的总功率调节指令。
[0113]
本发明中采用通信神经网络模型，通过各区域智能体间的神经网络隐层特 性信息交互，使其掌握全局信息来实现区域间功率的协同优化分配。在本发明 中采用基于actor-critic框架的ddpg算法对通信神经网络进行训练，得到通信 神经网络模型。
[0114]
在agc控制周期，调度中心需要将控制系统采集到实时的信息送到agc 控制器后计算得到总功率调节指令，并分配至各机组，得到各机组的发电功率 目标值，即需满足以下的功率平衡约束：
[0115]
δpi＝λiδp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0116]
式中，
△
p为agc控制器计算得到的总功率指令，
△
pi和λi为第i个自治 区域发电功率指令目标值和功率分配因子，且
[0117]
因此，本发明将每个负荷扰动断面的p
load
和总功率指令作为状态，则t时 段第n个区域智能体状态表示为：
[0118][0119]
区域智能体通过调节可控分布式电源出力来满足功率需求，此时选择每种 类型分布式机组一台参与区域总功率指令分配，则t时段第n个区域智能体动 作表示为：
[0120][0121]
式中，分别为选择的微型燃气轮机、小水电、生物 质机组、燃料电池和柴油机组功率分配因子。为保证系统中设备的持续稳定运 行，各机组需满足如下功率约束：
[0122][0123]
式中，分别为微型燃气轮机调节功率容量的下限和上限；分别为小水电机组调节容量的下限和上限；分别为生物质发 电机组调节容量的下限和上限；为燃料电池机组调节容量的下限和上 限；分别为柴油机组可调容量的下限和上限。
[0124]
自治区域间的功率指令优化分配时综合考虑各机组参与调频总成本c
total
和 调节指令设定值跟踪误差
△
pe，则奖励函数可以取为：
[0125][0126]
式中，δpe＝δp-∑δp
gj
，
△
p
gj
为选定的第j个 代表发电机组调节功率，αj、βj和γj为第j个发电机组调频成本各项系数。
[0127]
每个区域智能体的通信神经网络模型都包含策略网络和价值网络，如图3 所示，通信神经网络模型采用ddpg算法进行训练获得通信神经网络参数的流 程，包括以下步骤：
[0128]
1)确定网络训练次数n，初始化各区域智能体策略网络和价值网络参数；
[0129]
2)在t时刻，区域n区域智能体策略网络输入如(2)式所示的状态输出如(3)式所示的动作
[0130]
3)各区域智能体执行动作并获得t时刻的相同的奖励且各区域智能 体根据此时的控制策略进行状态转移，到达下一时刻的状态并反馈给区域 智能体，区域智能体记录经验并将其存储入经验池；
[0131]
4)价值网络输入如(2)式所示的状态和如(3)式所示的动作，对所选 择的动作进
行评估，指导策略网络的更新；
[0132]
5)当训练次数《n时，重复步骤1)—步骤5)过程，每次从经验池中随 机提取小批量样本，策略网络和价值网络通过梯度下降法更新网络参数，直至 训练次数到达n时，各智能体策略网络和价值网络训练完成。得到所述通信神 经网络模型。
[0133]
在实际agc控制功率分配中，当负荷需求突然增加或减少引起机组出力 和负荷需求不平衡时，具体操作为：
[0134]
agc控制系统根获取能源互联网控制区域中自治区域内各机组的实时参 数和总功率调节指令，得到单个区域智能体状态
[0135]
agc控制系统根据当前各区域智能体状态作为训练好的策略网络输入， 并在输入信息前向传播过程中与相邻区域智能体共享均值池化处理后的神经网 络隐层状态信息后产生调度动作并执行，计算各自治区域间总功率指令。
[0136]
获得自治区域总功率后，区域内各机组执行通信协议，采用一致性算法将 区域功率指令分配到各个机组，指导机组出力。
[0137]
采用一致性算法将区域功率指令分配到各个机组的具体步骤如下step 3。
[0138]
step 3：将自治区域内总功率指令分配给各机组
[0139]
基于多智能体一致性算法实现区域总功率指令在自治区域间分配。
[0140]
在本发明中选择机组功率爬坡时间t
im
作为一致性指标，即当发生功率扰 动时，爬坡功率较大的机组承担较多的功率扰动。爬坡时间定义如下：
[0141][0142]
式中，
△
p
im
和分别为第i个自治区域第m台机组的发电功率和爬坡 速率，爬坡速率为：
[0143][0144]
式中，和分别为第i个自治区域第m台机组功率上调速率限制和 下调功率速率限制。
[0145]
通过区域智能体获得第n个区域总功率δpn，则区域内功率分配时按照区 分不同类型机组进行一致性更新，各类型机组接口智能体在再交互相应一致指 标，保证总需求满足要求，则第n个区域中各机组基于机组爬坡时间一致性更 新如下：
[0146][0147][0148]
式中，
△
p
ne
为第k 1次迭代，区域总功率指令与各类机组承担总功率之间 的差值，t
mt
、th、t
be
、t
fc
和t
ds
分别为微型燃气轮机、小水电、生物质机组、 燃料电池和柴油机组爬坡时间一致性指标，d
ij
为各类型机组拓扑的行随机矩阵 在k次迭代中的第(i,j)项，ε为功率误差调节因子，且ε》0。
[0149]
其中，如图4所示，自治区域内以爬坡时间为一致性指标获得区域内各机 组功率指令流程，包括以下步骤：
[0150]
1)初始化区域内各类型机组的一致性指标t
im
和迭代终止的功率误差调节 因子ε；
[0151]
2)根据区域总功率指令
△
pi，由(7)式判断机组速率调节方向；
[0152]
3)不同种类分布式机组由(8)式进行一致性指标t
im
迭代；
[0153]
4)由(6)式计算得各机组功率
[0154]
5)判断
△
p
im
是否超过其机组功率的最大值和最小值，若达到机组功率限 值时，按机组功率上下限计算机组功率及爬坡时间同时更新网络拓扑 结构。机组功率及爬坡时间分别为：
[0155][0156][0157]
6)由(9)计算区域总功率指令与各类机组承担总功率之间的差值
△
p
ne
；
[0158]
7)判断|δp
ne
|是否超过功率误差调节因子ε。当|δp
ne
|＞ε时，重复步骤3)～ 步骤7)过程直至|δp
ne
|≤ε，得到各机组功率指令
△
p
im
。
[0159]
至此，以机组爬坡时间为一致性指标，采用多智能体一致性算法将区域总 功率指令分配到各机组，来调节各分布式发电机组输出。
[0160]
如图5所示，本发明还提供一种基于多智能体的能源互联网功率指令分配 系统，包括：
[0161]
参数获取模块，用于获取能源互联网控制区域的实时参数和总功率调节指 令；其中，所述能源互联网控制区域划分为若干个自治区域，每个自治区域设 置有区域智能体；
[0162]
自治区域间功率分配模块，用于基于实时参数和总功率调节指令得到当前 t时刻第n区域的区域智能体状态将区域智能体状态作为预先训练的通 信神经网络模型的输入，并通过各区域智能体间的神经网络隐层特征信息交互 后产生各区域智能体动作并执行，得到各自治区域总功率指令；
[0163]
自治区域内功率分配模块，用于基于各自治区域总功率指令，构建以机组 爬坡时间为一致性指标的多智能体一致性算法，采取分类迭代方式得到各自治 区域内各机组功率指令。
[0164]
其中，自治区域间功率分配模块中，所述通信神经网络模型包含策略网络 和价值网络，采用ddpg算法进行训练获得到所述通信神经网络模型，包括：
[0165]
在t时刻，区域n区域智能体的策略网络输入区域智能体状态输出区 域智能体动作
[0166]
各区域智能体执行动作并获得t时刻的相同的奖励且各区域智能体 根据此时的控制策略进行状态转移，到达下一时刻的状态并反馈给区域智 能体，区域智能体记录经验并将其存储入经验池；
[0167]
价值网络输入状态和动作，对所选择的动作进行评估，指导策略网络更新 参数；
[0168]
当训练次数《n时，重复计算状态和动作，直至训练次数到达n时，得到 所述通信神经网络模型的策略网络和价值网络。
[0169]
其中，本发明的自治区域内功率分配模块中，所述采用一致性算法将各自 治区域总功率指令分配到区域内各个机组，是以机组爬坡时间为一致性指标， 采取分类迭代方式，将区域总功率指令分配到各机组，区域内功率分配时按照 区分不同类型机组进行一致性更新，包括：
[0170]
根据区域总功率指令
△
pi，判断机组速率调节方向；
[0171]
不同种类分布式机组进行一致性指标t
im
迭代；
[0172]
计算得各机组功率
[0173]
判断
△
p
im
是否超过机组功率限值，若达到机组功率限值时，按机组功率 上下限计算机组功率及爬坡时间同时更新网络拓扑结构；
[0174]
计算区域总功率指令与各类机组承担总功率之间的差值
△
p
ne
；
[0175]
判断|δp
ne
|是否超过功率误差调节因子ε；当|δp
ne
|＞ε时，重复计算直至 |δp
ne
|≤ε，得到各机组功率指令
△
p
im
。
[0176]
如图6所示，本发明提供一种电子设备，包括存储器、处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计 算机程序时实现所述基于多智能体的能源互联网功率指令分配方法的步骤。
[0177]
所述基于多智能体的能源互联网功率指令分配方法包括以下步骤：
[0178]
获取能源互联网控制区域的实时参数和总功率调节指令；其中，所述能源 互联网控制区域划分为若干个自治区域，每个自治区域设置有区域智能体；
[0179]
基于实时参数和总功率调节指令得到当前t时刻第n区域的区域智能体状 态将区域智能体状态作为预先训练的通信神经网络模型的输入，并通过 各区域智能体间的神经网络隐层特征信息交互后产生各区域智能体动作并执行， 得到各自治区域总功率指令；
[0180]
基于各自治区域总功率指令，构建以机组爬坡时间为一致性指标的多智能 体一致性算法，采取分类迭代方式得到各自治区域内各机组功率指令。
[0181]
本发明第还提供一种计算机可读存储介质，所述计算机可读存储介质存储 有计算机程序，所述计算机程序被处理器执行时实现所述基于多智能体的能源 互联网功率指令分配方法的步骤。
[0182]
所述基于多智能体的能源互联网功率指令分配方法包括以下步骤：
[0183]
获取能源互联网控制区域的实时参数和总功率调节指令；其中，所述能源 互联网控制区域划分为若干个自治区域，每个自治区域设置有区域智能体；
[0184]
基于实时参数和总功率调节指令得到当前t时刻第n区域的区域智能体状 态将区域智能体状态作为预先训练的通信神经网络模型的输入，并通过 各区域智能体间的神经网络隐层特征信息交互后产生各区域智能体动作并执行， 得到各自治区域总功率指令；
[0185]
基于各自治区域总功率指令，构建以机组爬坡时间为一致性指标的多智能 体一致性算法，采取分类迭代方式得到各自治区域内各机组功率指令。
[0186]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计 算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0187]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0188]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
[0189]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0190]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限 制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人 员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未 脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利 要求保护范围之内。