一种基于多智能体的微电网群协同控制方法及系统

本技术属于微电网运行控制，更具体地，涉及一种基于多智能体的微电网群协同控制方法及系统。

背景技术：

1、随着利用可再生能源的分布式发电设备的大规模接入，微电网作为一种高效、灵活的发配电组织形式得到了广泛应用，多个微电网通过互联形成的微电网群能够实现功率互济，有效提高了系统供电可靠性和新能源消纳能力。然而可再生能源发电的强随机性与间歇性使得微电网群在运行过程中，需要同时面临资源分配合理性和系统运行稳定性问题。

2、目前，针对微电网群的协同控制方法主要包括集中式优化、基于博弈论的分布式调度以及基于多智能体系统的协同控制。集中式方法依赖全局信息和各微电网之间的高速通信，存在计算复杂度过高、单点故障及信息隐私问题。基于博弈论的方法虽有利于分布式决策，但存在调节时间长、动态抗干扰能力差的问题。此外，现有的基于多智能体的方法在进行资源分配与系统运行协同控制时，本质是基于集中式优化的高速通信和博弈论分布式调度的分布式决策，使用智能体来替代预设的复杂调度策略。仍存在下述问题：1、需要实时获取各微电网之间的高速通信，部分微电网的单点故障会造成整体调控受阻，容易造成各微电网自治决策与群体协同决策之间失衡；2、对资源分配和系统运行稳定两目标采用分布处理方式，容易造成最终获取的协同控制方案存在严重的倾向性。

技术实现思路

1、针对现有技术存在的上述缺陷，本技术提供一种基于多智能体的微电网群协同控制方法及系统，旨在解决现有微电网群协同控制方法存在的下述问题：1、因通讯过程中单点故障造成的各微电网自治决策与群体协同决策之间失衡；2、因对多个控制目标分别进行分布式处理来生成控制方案，造成的控制方案无法兼顾资源分配合理性和系统运行稳定性需求。

2、第一方面，本技术提供了一种基于多智能体的微电网群协同控制方法，包括：

3、s1、分别对各微电网的储能荷电量范围与净负荷范围进行预处理和截断分级处理，得到各微电网对应的目标储能状态空间，并基于各微电网对应的动作状态的种类，构建各微电网对应的目标动作状态空间，目标储能状态空间与目标动作状态空间均包括多个状态索引；

4、s2、基于各微电网对应的目标储能状态空间的各储能状态索引与目标动作状态空间的各动作状态索引，构建各微电网对应的个体q表与共同q表，并获取各微电网在不同的储能状态索引与动作状态索引下的综合即时奖励，个体q表与共同q表的各项q值的初始值均为0，个体q表与共同q表的两轴分别由动作状态索引与储能状态索引构成；

5、s3、基于各微电网对应的综合即时奖励与共同q表，通过目标动作选择算法对各微电网的个体q表进行迭代训练；

6、s4、获取当前时段各微电网的储能荷电量与净负荷对应的目标储能状态索引，并从训练后的各个体q表中选出目标储能状态索引对应的目标动作状态索引；

7、s5、基于各目标动作状态索引对应的动作状态生成协同调控方案，并对各目标储能状态索引对应的微电网进行协同调控。

8、进一步，分别对各微电网的储能荷电量范围与净负荷范围进行预处理和截断分级处理，得到各微电网对应的目标储能状态空间，包括：

9、将微电网的储能荷电量范围映射至目标范围，并对映射后的储能荷电量范围进行截断取整分级操作，得到储能荷电量范围对应的多个等级的第一目标档位；

10、对微电网的净负荷范围进行归一化处理，并将归一化后的净负荷范围映射至目标范围，对映射后的净负荷范围进行截断取整分级操作，得到净负荷范围对应的多个等级的第二目标档位；

11、将各第一目标档位与第二目标档位按等级进行逐个配对，得到包括多个储能状态索引的目标储能状态空间，储能状态索引的总数为第一目标档位与第二目标档位对应的最高等级数的乘积。

12、进一步，动作状态的种类包括全功率放电、低额定功率放电、保持、低额定功率充电、全功率充电、向邻网售电、从邻网购电。

13、进一步，综合即时奖励的函数表达式为：

14、；

15、其中，为综合即时奖励，为当前储能状态索引下微电网的净负荷对应的与大电网之间的购售电收益，为当前储能状态索引下微电网的净负荷对应的与邻电网之间的购售电收益，为当前动作状态索引下微电网的动作惩罚系数，为当前储能状态索引下微电网的储能荷电量。

16、进一步，目标动作选择算法为epsilon-greedy算法。

17、进一步，通过目标动作选择算法对各微电网的个体q表进行迭代训练，包括：

18、s31、将微电网对应的各综合即时奖励，作为个体q表与共同q表的与综合即时奖励对应项的q值；

19、s32、从目标储能状态空间随机选取储能状态索引作为第一储能状态索引，并通过目标动作选择算法为第一储能状态索引匹配第一动作状态索引；

20、s33、获取处于第一储能状态索引对应的储能状态的微电网，在执行完第一动作状态索引对应的动作状态后的第一储能荷电量与第一净负荷，并获取第一储能荷电量与第一净负荷对应的第二储能状态索引；

21、s34、从个体q表中获取第二储能状态索引对应的最大q值与最大q值对应的第二动作状态索引，并基于第二储能状态索引与第二动作状态索引对应的个体q表与共同q表的q值，获取i2q目标值；

22、s35、基于i2q目标值对第一储能状态索引与第一动作状态索引对应的个体q表与共同q表的q值进行参数更新；

23、s36、重复执行步骤s32，直至达到预设迭代次数。

24、进一步，i2q目标值的获取过程的公式表达为：

25、；

26、其中，target为i2q目标值，为综合即时奖励，为个体q表的折扣因子，为第二动作状态索引，为第二储能状态索引，为第

i个微电网在与下共同q表的q值，为第

i个微电网在第二储能状态索引下个体q表对应的最大q值。

27、第二方面，本技术还提供一种基于多智能体的微电网群协同控制系统，用于执行方面任一方法，包括：

28、储能状态空间构建模块，用于分别对各微电网的储能荷电量范围与净负荷范围进行预处理和截断分级处理，得到各微电网对应的目标储能状态空间；

29、动作状态空间构建模块，用于基于各微电网对应的动作状态的种类，构建各微电网对应的目标动作状态空间；

30、q表构建模块，用于基于各微电网对应的目标储能状态空间的各储能状态索引与目标动作状态空间的各动作状态索引，构建各微电网对应的个体q表与共同q表，并获取各微电网在不同的储能状态索引与动作状态索引下的综合即时奖励；

31、q表训练模块，用于基于各微电网对应的综合即时奖励与共同q表，通过目标动作选择算法对各微电网的个体q表进行迭代训练；

32、协同调控模块，用于获取当前时段各微电网的储能荷电量与净负荷对应的目标储能状态索引，并从训练后的各个体q表中选出目标储能状态索引对应的目标动作状态索引，最后基于各目标动作状态索引对应的动作状态生成协同调控方案，并对各目标储能状态索引对应的微电网进行协同调控。

33、第三方面，本技术还提供一种电子设备，其特征在于，包括：

34、至少一个存储器，用于存储计算机程序；

35、至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

36、总体而言，通过本技术所构思的以上技术方案与现有技术相比，具有以下有益效果：

37、本技术通过对各微电网的储能荷电量范围与净负荷范围进行预处理和截断分级处理，得到各微电网对应的目标储能状态空间，进而可基于目标储能状态空间与目标动作状态空间的状态索引之间的关系来构建个体q表和共同q表，从而可有效量化微电网的储能状态和动作状态之间的关联关系。通过综合即时奖励来量化不同净负荷下，微电网与其他电网之间的购售电收益关系、执行不同状态动作时的储能荷电量偏离度，进而可配合共同q表对个体q表的训练迭代过程进行约束，得到可表征微电网在不同储能状态下可执行的最优动作状态的个体q表，从而可得到能兼顾资源分配合理性和系统运行稳定性需求的协同调控方案。

38、此外，使用共同q表和综合即时奖励对个体q表训练迭代过程进行约束，可在无通讯情况下，将临近微电网与总电网对当前微电网的系统稳定和资源分配的影响纳入考量，有利提高微电网群的整体资源分配合理性和系统运行稳定性，同时也能解决因通讯过程中单点故障造成的各微电网自治决策与群体协同决策之间失衡问题。