分布式能源系统博弈优化调度方法、系统、设备及介质与流程

1.本发明属于电网调度技术领域，具体涉及一种分布式能源系统博弈优化调度方法、系统、设备及介质。


背景技术：

2.大量接入分布式能源系统的分布式电源和储能等设备由社会资本投资建设，分布式电源运营商作为独立利益主体使各类设备以集成的形式参与到系统运行中。同时，大量需求响应用户通过负荷聚合商整合，参与到系统优化调度中，实现电力资源优化配置。在市场机制下，各主体具有各自的发用电需求，各主体存在相对独立甚至相互冲突的优化目标，因此需要在保证系统整体安全高效运行的前提下协调各主体利益。
3.随着电网逐步开放市场化竞争，参与分布式能源系统运行的主体日益多元。在市场机制下，各主体具有各自的发用电需求，分布式能源系统中各主体存在相对独立甚至相互冲突的优化目标，因此需要在保证系统整体安全高效运行的前提下协调各主体利益。博弈论为解决多利益主体博弈调度问题提供了解决方案，但博弈模型求解普遍采用数学推导法和启发式算法。数学推导法对初值的依赖性较强，在实际应用中可能会出现无法收敛的情形；启发式算法易陷入局部最优解。多智能体强化学习算法将强化学习方法与博弈论有机结合，一定程度上弥补了传统方法的局限性。因此现有技术存在以下问题：
4.(1)传统博弈优化调度求解方法对初值的依赖性较强，在实际应用中可能会出现无法收敛的情形，或者易陷入局部最优，无法保证与纳什均衡解的一致性。
5.(2)传统博弈优化调度方法以完全信息环境作为前提假设，不利于保护各主体策略和效益函数等隐私。


技术实现要素：

6.为了解决分布式能源系统多主体利益协调问题，本发明提供了一种分布式能源系统博弈优化调度方法、系统、设备及介质，针对分布式能源系统优化调度领域，本发明可有效提升分布式能源系统博弈优化调度问题求解精度，促进相关人工智能技术落地，推动电力优化调度决策智能化。
7.为达到上述目的，本发明采用以下技术方案予以实现：
8.一种分布式能源系统博弈优化调度方法，包括：
9.获取分布式能源系统中各智能体的状态参数；各智能体包含系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体；
10.基于所述状态参数，进行强化学习构建多主体博弈模型和q值表；
11.采用wolf-phc算法进行智能体训练并更新各智能体的q值表，各智能体基于所述q值表获得各自博弈优化调度的nash均衡解；
12.输出各自博弈优化调度的nash均衡解用于各智能体日前优化调度。
13.作为本发明的进一步改进，所述进行强化学习构建多主体博弈模型，包括：状态空
间、动作空间的构建以及奖励函数；
14.t时段联合状态空间表示为：
[0015][0016]
式中，p
tpv
，p
tload
和分别为t时段系统内光伏发电功率，负荷功率和电储能储电量；为t-1时段微燃气轮机功率；
[0017]
系统运营商智能体动作空间为：
[0018][0019]
式中，为t时段系统运营商向用户售电电价；为t时段系统运营商向分布式电源运营商购电电价；
[0020]
系统运营商智能体动作空间的约束条件为：
[0021][0022][0023]
式中，分别为t时段购电价格上下限；分别为t时段售电价格上下限；
[0024]
分布式电源运营商智能体动作空间为：
[0025][0026]
式中，r
t
为t时段微燃气轮机爬坡功率；表示微燃气轮机无功出力；分别表示电储能有功、无功出力；
[0027]
负荷聚合商智能体动作空间仅包含其负荷削减功率p
til
，公式为
[0028][0029]
系统运营商奖励函数为：
[0030]rtso
＝c
sell
(t)-c
buy
(t)-c
grid
(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0031]
式中，c
sell
(t)、c
buy
(t)、c
grid
(t)分别为系统运营商向用户的售电收益、向分布式电源运营商的购电成本、与上级电网交互成本；
[0032]
分布式电源运营商决策变量为微燃气轮机有功、无功出力和电储能有功、无功出力，其优化目标为最大化售电收益，奖励函数为：
[0033][0034]
p
td
＝p
tpv
p
tmt
p
tes
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0035]
式中，p
tpv
、p
tmt
、p
tes
分别为光伏发电功率、微燃气轮机功率和电储能放电功率；c
mt
(t)和cb(t)分别为微燃气轮机和电储能运行成本；
[0036]
负荷聚合商的效益函数为：
[0037][0038]
式中，为用户用电效用函数，表示用户购电满意度，采用如式(14)所示二次函数
模拟：
[0039][0040]
式中，d、e均为系数；
[0041]
实际负荷需求p
tload
满足：
[0042]
p
tload
＝p
tl0-p
til
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0043]
式中，p
tl0
为固定负荷；p
til
为削减负荷，具有上限约束：
[0044][0045]
式中，为最大可削减负荷。
[0046]
作为本发明的进一步改进，所述c
sell
(t)、c
buy
(t)、c
grid
(t)的具体计算方法为：
[0047][0048]
式中，p
tload
为t时段用户实际用电功率；
[0049][0050]
式中，p
td
为t时段分布式电源运营商售出功率.
[0051][0052]
式中，和分别为上级电网的售电电价和上网电价。
[0053]
作为本发明的进一步改进，所述q值表q(s
p
,ak)为：
[0054][0055]
所述q值表为由状态和动作形成的函数表，表示为：
[0056]
q(s
p
,ak)
[0057]
其中，下标p和k分别代表智能体的状态数和动作数。
[0058]
作为本发明的进一步改进，所述采用wolf-phc算法进行智能体训练并更新各智能体的q值表，包括：
[0059]
初始化q值表qn(s,an)；
[0060]
初始化联合状态空间得到联合状态空间s0；
[0061]
系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体分别根据ε贪婪策略确定各自的动作空间；
[0062]
根据各智能体决策由各自的奖励函数得到对应的奖励，以及下一时段系统联合运行状态s
t 1
，并更新各智能体q值表；对动作空间进行遍历得到的最大q值。
[0063]
作为本发明的进一步改进，所述更新各智能体q值表，采用以下方法：
[0064][0065][0066]
式中，πn(s,an)表示智能体n策略，|an|表示智能体n的动作个数，δ表示可变学习速率，可变学习速率采用如下方法得到：
[0067][0068][0069]
式中，δw为智能体表现较好时的学习速率，δ
l
为智能体表现欠佳时的学习速率，且δ
l
》δw；为智能体n平均策略，c(s)表示状态s出现的次数。
[0070]
作为本发明的进一步改进，所述对动作空间进行遍历得到的最大q值，包括：
[0071]
判断当前更新步数是否达到t，如果达到t则进入进行下一步，否则返回初始化联合状态空间得到联合状态空间s0步骤；
[0072]
判断当前学习轮数是否达到最大学习轮数m；如果达到m则结束训练，否则返回初始化q值表步骤；
[0073]
根据达到最大学习轮数m的动作空间和状态空间更新所得q值表。
[0074]
作为本发明的进一步改进，所述各智能体基于所述q值表获得各自博弈优化调度的nash均衡解，包括：
[0075]
各智能体输出各自nash均衡策略
[0076]
作为本发明的进一步改进，所述状态参数包括：
[0077]
分布式能源系统中的光伏、微燃气轮机、电储能的运行参数，及负荷的使用参数。
[0078]
一种分布式能源系统博弈优化调度系统，包括：
[0079]
获取模块，用于获取分布式能源系统中各智能体的状态参数；各智能体包含系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体；
[0080]
构建模块，用于基于所述状态参数，进行强化学习构建多主体博弈模型和q值表；
[0081]
更新模块，用于采用wolf-phc算法进行智能体训练并更新各智能体的q值表，各智能体基于所述q值表获得各自博弈优化调度的nash均衡解；
[0082]
输出模块，用于输出各自博弈优化调度的nash均衡解用于各智能体日前优化调度。
[0083]
作为本发明的进一步改进，所述构建模块中，所述进行强化学习构建多主体博弈模型，包括：状态空间、动作空间的构建以及奖励函数；
[0084]
t时段联合状态空间表示为：
[0085]
[0086]
式中，p
tpv
，p
tload
和分别为t时段系统内光伏发电功率，负荷功率和电储能储电量；为t-1时段微燃气轮机功率；
[0087]
系统运营商智能体动作空间为：
[0088][0089]
式中，为t时段系统运营商向用户售电电价；为t时段系统运营商向分布式电源运营商购电电价；
[0090]
系统运营商智能体动作空间的约束条件为：
[0091][0092][0093]
式中，分别为t时段购电价格上下限；分别为t时段售电价格上下限；
[0094]
分布式电源运营商智能体动作空间为：
[0095][0096]
式中，r
t
为t时段微燃气轮机爬坡功率；表示微燃气轮机无功出力；分别表示电储能有功、无功出力；
[0097]
负荷聚合商智能体动作空间仅包含其负荷削减功率p
til
，方法为：
[0098][0099]
系统运营商奖励函数为：
[0100]rtso
＝c
sell
(t)-c
buy
(t)-c
grid
(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0101]
式中，c
sell
(t)、c
buy
(t)、c
grid
(t)分别为系统运营商向用户的售电收益、向分布式电源运营商的购电成本、与上级电网交互成本；
[0102]
分布式电源运营商决策变量为微燃气轮机有功、无功出力和电储能有功、无功出力，优化目标为最大化售电收益，奖励函数为：
[0103][0104]
p
td
＝p
tpv
p
tmt
p
tes
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0105]
式中，p
tpv
、p
tmt
、p
tes
分别为光伏发电功率、微燃气轮机功率和电储能放电功率；c
mt
(t)和cb(t)分别为微燃气轮机和电储能运行成本；
[0106]
负荷聚合商的效益函数为：
[0107][0108]
式中，为用户用电效用函数，表示用户购电满意度，采用如式(14)所示二次函数模拟：
[0109][0110]
式中，d、e均为系数；
[0111]
实际负荷需求满足：
[0112]
p
tload
＝p
tl0-p
til
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0113]
式中，p
tl0
为固定负荷；p
til
为削减负荷，具有上限约束：
[0114][0115]
式中，为最大可削减负荷。
[0116]
作为本发明的进一步改进，所述更新模块中，所述采用wolf-phc算法进行智能体训练并更新各智能体的q值表，包括：
[0117]
初始化q值表qn(s,an)；
[0118]
初始化联合状态空间得到联合状态空间s0；
[0119]
系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体分别根据ε贪婪策略确定各自的动作空间；
[0120]
根据各智能体决策由各自的奖励函数得到对应的奖励，以及下一时段系统联合运行状态s
t 1
，并更新各智能体q值表；对动作空间进行遍历得到的最大q值。
[0121]
作为本发明的进一步改进，所述更新模块中，所述各智能体基于所述q值表获得各自博弈优化调度的nash均衡解，包括：
[0122]
各智能体输出各自nash均衡策略
[0123]
一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述分布式能源系统博弈优化调度方法的步骤。
[0124]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述分布式能源系统博弈优化调度方法的步骤。
[0125]
与现有技术相比，本发明具有以下有益效果：
[0126]
本发明基于wolf-phc的分布式能源系统博弈优化调度方法，解决分布式能源系统多主体利益协调问题。基于wolf-phc方法构建的各智能体在无需获取其他智能体策略空间和效益函数的非完全信息博弈环境下，通过各自对分布式能源系统运行状态不断地探索即可实现纳什均衡解的求解。因此该方法可有效保护各主体策略和效益函数等隐私。而且该方法在求解精度上有较高的应用价值。本发明通过将强化学习技术、博弈论引入分布式能源系统中，该优化调度方法可协调系统中各参与主体利益。
[0127]
进一步，基于wolf-phc的多智能体训练方法使各智能体在不完全信息环境中通过反复探索与试错方式求解分布式能源系统优化调度问题。
[0128]
进一步，所构建的多主体博弈模型能通过价格信号引导分布式电源出力和调整用户用能计划，有利于平抑负荷波动，促进新能源消纳。
附图说明
[0129]
图1为本发明一种分布式能源系统博弈优化调度方法流程图；
[0130]
图2为本发明构建的基于wolf-phc的博弈优化调度框架图；
[0131]
图3为基于wolf-phc的博弈优化调度算法流程；
[0132]
图4为本发明提供的一种分布式能源系统博弈优化调度系统；
[0133]
图5为本发明提供的一种电子设备示意图。
具体实施方式
[0134]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0135]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0136]
可变学习速率和策略爬山(win or learn fast
–
policy hill climbing，wolf-phc)算法中每个智能体通过更新自身q函数，能学习并收敛到一个相对于其他智能体策略的最优策略，此策略即为纳什均衡解。该方法在实际应用中该方法取得了较好的收敛效果。
[0137]
为了解决分布式能源系统多主体利益协调问题，本发明提供了基于wolf-phc的分布式能源系统博弈优化调度方法。该方法实现各主体在无需获取其他主体策略的非完全信息博弈环境下的博弈均衡策略求解。
[0138]
如图1所示，本发明提出的一种分布式能源系统博弈优化调度方法，包括：
[0139]
获取分布式能源系统中各智能体的状态参数；各智能体包含系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体；
[0140]
基于所述状态参数，进行强化学习构建多主体博弈模型和q值表；
[0141]
采用wolf-phc算法进行智能体训练并更新各智能体的q值表，各智能体基于所述q值表获得各自博弈优化调度的nash均衡解；
[0142]
输出各自博弈优化调度的nash均衡解用于各智能体日前优化调度。
[0143]
该方法首先将各博弈参与主体建模为智能体，构建包含系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体的多主体博弈模型；继而，设计了基于wolf-phc方法的智能体训练流程；最后，各智能体可依据训练所得q值表进行日前优化调度，即可获得纳什均衡解。
[0144]
本发明的一种基于wolf-phc的分布式能源系统博弈优化调度方法，尤其涉及分布式能源系统优化调度领域。各利益主体在无需获取其他智能体策略空间和效益函数的非完全信息博弈环境下，通过各自对分布式电源系统运行状态不断地探索即可实现nash均衡解的求解，并在求解精度上有较高的应用价值。
[0145]
本发明通过步骤step 0至step 9实现技术方案的上述目的：
[0146]
step 0：获取分布式能源系统中各智能体的状态参数；各智能体包含系统运营商
智能体、分布式电源运营商智能体和负荷聚合商智能体；
[0147]
所述状态参数包括：分布式能源系统中的光伏、微燃气轮机、电储能的运行参数，及负荷的使用参数。
[0148]
step 1：首先进行强化学习模型的构建，主要包括状态空间、动作空间的构建以及奖励函数的设计。
[0149]
1)状态空间
[0150]
在基于wolf-phc的优化调度方法中，各智能体通过观测联合状态空间进行决策。该联合状态空间包括系统内各种设备运行状态，故t时段联合状态空间表示为：
[0151][0152]
式中，p
tn,pv
，p
tn,load
和分别为t时段系统内光伏发电功率，负荷功率和电储能储电量；为t-1时段微燃气轮机功率。
[0153]
2)动作空间
[0154]
各智能体动作空间为相关决策变量。设定系统运营商智能体动作空间为：
[0155][0156]
式中，为t时段系统运营商向用户售电电价；为t时段系统运营商向分布式电源运营商购电电价。
[0157]
另外，需对购、售电价设置如式(3)和(4)所示约束，以避免配网恶意降低购电价格或提升售电价格来提升自身收益。
[0158][0159][0160]
式中，分别为t时段购电价格上下限；分别为t时段售电价格上下限。
[0161]
分布式电源运营商智能体动作空间设定为：
[0162][0163]
式中，r
t
为t时段微燃气轮机爬坡功率；表示微燃气轮机无功出力；分别表示电储能有功、无功出力。
[0164]
负荷聚合商智能体动作空间仅包含其负荷削减功率p
til
。
[0165][0166]
3)奖励函数
[0167]
系统运营商奖励函数为：
[0168]rtso
＝c
sell
(t)-c
buy
(t)-c
grid
(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0169]
式中，c
sell
(t)、c
buy
(t)、c
grid
(t)分别为系统运营商向用户的售电收益、向分布式电源运营商的购电成本、与上级电网交互成本，具体表达如式(8)至(10)所示：
[0170]
[0171]
式中，p
tload
为t时段用户实际用电功率。
[0172][0173]
式中，p
td
为t时段分布式电源运营商售出功率.
[0174][0175]
式中，和分别为上级电网的售电电价和上网电价。
[0176]
分布式电源运营商决策变量为微燃气轮机有功、无功出力和电储能有功、无功出力，其优化目标为最大化售电收益，奖励函数为：
[0177][0178][0179]
式中，p
tpv
、p
tn,mt
、p
tn,es
分别为光伏发电功率、微燃气轮机功率和电储能放电功率；c
mt
(t)和cb(t)分别为微燃气轮机和电储能运行成本。
[0180]
参与需求响应的用户通过调节可削减负荷功率来最大化消费者剩余。消费者剩余表示为用户用电效用与购电成本之差。负荷聚合商的效益函数为：
[0181][0182]
式中，为用户用电效用函数，表示用户购电满意度，采用如式(14)所示二次函数模拟：
[0183][0184]
式中，d、e均为系数。
[0185]
实际负荷需求p
tload
满足：
[0186]
p
tload
＝p
tl0-p
til
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0187]
式中，p
tl0
为固定负荷；p
til
为削减负荷，具有上限约束：
[0188][0189]
式中，为最大可削减负荷。
[0190]
step 2：构建基于wolf-phc算法的博弈优化调度框架，如图1所示。将各利益主体建模为智能体，系统运营商、分布式电源运营商和负荷聚合商分别对应so智能体、dgo智能体和la智能体，基于步骤1对各智能体进行联合状态空间、动作空间和奖励函数的设计，借助wolf-phc算法更新各智能体q值表，各利益主体基于该表获得博弈优化调度的nash均衡解。
[0191]
q值表如下表1所示。
[0192]
表1 q值表
[0193]
[0194][0195]
表中，下标p和k分别代表智能体的状态数和可选动作数。
[0196]
step 3：初始化q值表，令各智能体q值表中所有元素为0；初始化各智能体策略πn(s,an)和平均策略令令c(s)为0；
[0197]
step 4：初始化式(1)所示联合状态空间s0。
[0198]
step 5：so智能体、dgo智能体和la智能体分别根据ε贪婪策略确定式(2)、(5)和(6)所示动作，即智能体以ε的概率在可选动作集合中随机选择动作，以1-ε概率选择可使q值最大的动作。
[0199]
step 6：根据各智能体决策确定式(11)～(13)所示奖励以及下一时段系统联合运行状态s
t 1
，并根据式(17)～(20)更新各智能体q值表：
[0200][0201][0202][0203][0204]
式中，πn(s,an)表示智能体n策略，|an|表示智能体n的动作个数，δ表示可变学习速率，δw为智能体表现较好时的学习速率，δ
l
为智能体表现欠佳时的学习速率，且δ
l
》δw，为智能体n平均策略，c(s)表示状态s出现的次数。
[0205]
step 7：判断更新步数是否达到t。如果达到t则进入步骤8，否则返回步骤4。
[0206]
step 8：判断是否达到最大学习轮数m。如果达到m则结束训练进入步骤9，否则返回步骤3。
[0207]
step 9：根据步骤3～8更新所得q值表，各智能体输出各自nash均衡策略
[0208]
如图4所示，本发明还提供一种分布式能源系统博弈优化调度系统，包括：
[0209]
获取模块，用于获取分布式能源系统中各智能体的状态参数；各智能体包含系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体；
[0210]
构建模块，用于基于所述状态参数，进行强化学习构建多主体博弈模型和q值表；
[0211]
更新模块，用于采用wolf-phc算法进行智能体训练并更新各智能体的q值表，各智能体基于所述q值表获得各自博弈优化调度的nash均衡解；
[0212]
输出模块，用于输出各自博弈优化调度的nash均衡解用于各智能体日前优化调度。
[0213]
其中，所述构建模块中，所述进行强化学习构建多主体博弈模型包括：状态空间、动作空间的构建以及奖励函数；
[0214]
1)状态空间
[0215]
t时段联合状态空间表示为：
[0216][0217]
式中，p
tn,pv
，p
tn,load
和分别为t时段系统内光伏发电功率，负荷功率和电储能储电量；为t-1时段微燃气轮机功率；
[0218]
2)动作空间
[0219]
系统运营商智能体动作空间为：
[0220][0221]
式中，为t时段系统运营商向用户售电电价；为t时段系统运营商向分布式电源运营商购电电价；
[0222]
系统运营商智能体动作空间的约束条件为：
[0223][0224][0225]
式中，分别为t时段购电价格上下限；分别为t时段售电价格上下限；
[0226]
分布式电源运营商智能体动作空间为：
[0227][0228]
式中，r
t
为t时段微燃气轮机爬坡功率；表示微燃气轮机无功出力；分别表示电储能有功、无功出力；
[0229]
负荷聚合商智能体动作空间仅包含其负荷削减功率公式为
[0230][0231]
3)奖励函数
[0232]
系统运营商奖励函数为：
[0233]rtso
＝c
sell
(t)-c
buy
(t)-c
grid
(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0234]
式中，c
sell
(t)、c
buy
(t)、c
grid
(t)分别为系统运营商向用户的售电收益、向分布式电源运营商的购电成本、与上级电网交互成本；
[0235]
分布式电源运营商决策变量为微燃气轮机有功、无功出力和电储能有功、无功出力，其优化目标为最大化售电收益，奖励函数为：
[0236][0237]
p
td
＝p
tpv
p
tmt
p
tes
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0238]
式中，p
tpv
、p
tn,mt
、p
tn,es
分别为光伏发电功率、微燃气轮机功率和电储能放电功率；c
mt
(t)和cb(t)分别为微燃气轮机和电储能运行成本；
[0239]
负荷聚合商的效益函数为：
[0240][0241]
式中，f
ut
为用户用电效用函数，表示用户购电满意度，采用如式(14)所示二次函数模拟：
[0242][0243]
式中，d、e均为系数；
[0244]
实际负荷需求p
tload
满足：
[0245]
p
tload
＝p
tl0-p
til
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0246]
式中，p
tl0
为固定负荷；p
til
为削减负荷，具有上限约束：
[0247][0248]
式中，为最大可削减负荷。
[0249]
所述更新模块中，采用wolf-phc算法进行智能体训练并更新各智能体的q值表，包括：
[0250]
初始化q值表qn(s,an)，令各智能体q值表中所有元素为0；初始化各智能体策略πn(s,an)和平均策略令令c(s)为0；
[0251]
初始化联合状态空间得到联合状态空间s0；
[0252]
系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体分别根据ε贪婪策略确定各自的动作空间；
[0253]
根据各智能体决策由各自的奖励函数得到对应的奖励，以及下一时段系统联合运行状态s
t 1
，并根据式更新各智能体q值表；对动作空间进行遍历得到的最大q值。
[0254]
所述各智能体基于所述q值表获得各自博弈优化调度的nash均衡解，包括：
[0255]
各智能体输出各自nash均衡策略
[0256]
如图5所示，本发明提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述分布式能源系统博弈优化调度方法的步骤。
[0257]
所述分布式能源系统博弈优化调度方法包括以下步骤：
[0258]
获取分布式能源系统中各智能体的状态参数；各智能体包含系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体；
[0259]
基于所述状态参数，进行强化学习构建多主体博弈模型和q值表；
[0260]
采用wolf-phc算法进行智能体训练并更新各智能体的q值表，各智能体基于所述q
值表获得各自博弈优化调度的nash均衡解；
[0261]
输出各自博弈优化调度的nash均衡解用于各智能体日前优化调度。
[0262]
本发明第还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述分布式能源系统博弈优化调度方法的步骤。
[0263]
所述分布式能源系统博弈优化调度方法包括以下步骤：
[0264]
获取分布式能源系统中各智能体的状态参数；各智能体包含系统运营商智能体、分布式电源运营商智能体和负荷聚合商智能体；
[0265]
基于所述状态参数，进行强化学习构建多主体博弈模型和q值表；
[0266]
采用wolf-phc算法进行智能体训练并更新各智能体的q值表，各智能体基于所述q值表获得各自博弈优化调度的nash均衡解；
[0267]
输出各自博弈优化调度的nash均衡解用于各智能体日前优化调度。
[0268]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0269]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0270]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0271]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0272]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。