基于强化学习和潮流筛选的低压台区协同降损方法及系统与流程

本发明涉及低压配电网运行控制，具体涉及基于强化学习和潮流筛选的低压台区协同降损方法及系统。

背景技术：

1、随着分布式光伏在农村及城乡结合部低压台区中的大量接入，低压配电网逐步由传统单向受电转变为源荷双向波动运行。由于光伏出力高峰与居民、商业及小工业负荷高峰在时间和空间上存在错配，当光伏出力超过本地消纳能力时，低压馈线容易出现反向潮流、节点电压抬升、支路电流重新分布以及线路损耗波动等问题，严重时还可能造成光伏限功率运行、逆变器退出或配电设备发热增加。

2、低压台区通常具有线路半径长、支路多、节点分散以及接入条件差异明显等特点，其运行状态还会随光伏渗透率、接入位置、负荷水平和天气条件持续变化。现有固定时段控制、预设规则控制或单一设备调节方式难以适应多场景运行变化，容易出现储能充放电时机不合理、无功调节不足或过度，以及局部运行指标得到改善而整体线损或电压状态反而恶化的问题。

3、现有学习型控制方法虽然能够根据运行状态生成连续控制动作，但不同运行场景之间的基础线损水平和潮流特性差异较大，容易造成控制目标评价不一致，影响策略训练的稳定性和跨场景适应能力。同时，学习模型输出的控制动作本身难以保证始终满足电网潮流规律以及电压、储能荷电状态和设备容量等运行约束，直接执行时可能引起潮流计算失败、节点电压越限、设备容量超限或储能荷电状态越界。

技术实现思路

1、针对现有技术仍难以在复杂多变的低压台区运行场景下，同时兼顾控制策略的适应性、设备动作的可执行性以及配电网运行的安全性和经济性的问题，本发明提出基于强化学习和潮流筛选的低压台区协同降损方法及系统。

2、所述方法包括如下步骤：

3、s1、构建低压台区模型，并获取当前训练控制周期低压台区运行状态和场景参数；

4、s2、基于步骤s1获取的参数构建训练状态向量，将所述训练状态向量输入ddpg智能体，得到当前训练动作；

5、s3、训练ddpg智能体：针对同一训练状态，在低压台区模型中分别施加无控制动作和当前训练动作，并分别进行训练潮流计算；

6、s4、基于训练潮流计算的结果，计算预先构建的奖励函数的奖励值，并根据所述奖励值迭代更新ddpg智能体的网络参数，直至满足训练终止条件，得到训练完成的ddpg智能体；

7、s5、获取当前在线控制周期的低压台区运行状态和场景参数，并构建当前在线状态向量；

8、s6、在线生成建议动作：将所述当前在线状态向量输入训练完成的ddpg智能体，得到当前在线控制周期的连续建议动作；

9、s7、基于所述连续建议动作，构建包括储能有功候选集合和逆变器无功候选集合的物理候选动作集合；

10、s8、在同一在线状态下，在低压台区模型中分别施加物理候选动作集合中的每个候选动作，并分别进行在线潮流计算，再根据在线潮流计算结果执行硬约束筛选，得到可行候选动作集合；

11、s9、针对可行候选动作集合中的候选动作进行物理指标评分，选取评分最优的候选动作，作为最优控制动作。

12、进一步，步骤s1中，构建低压台区模型包括：根据低压台区的网络拓扑确定上级电网、配电变压器、低压母线、低压馈线及节点之间的电气连接关系，并配置低压线路、配电变压器、负荷、分布式光伏、光伏逆变器和储能的参数；

13、所述运行状态包括：训练控制周期序号、各负荷节点有功功率、各光伏接入点有功出力、主变侧有功功率、各节点电压、各支路电流以及各储能soc；

14、所述场景参数包括：光伏渗透率、光伏接入位置、天气编码和负荷类型。

15、进一步，训练状态向量为：

16、

17、其中，为第个控制周期的训练时刻状态，为第个控制周期的总负荷，为第个控制周期的总光伏出力，为第个控制周期的主变侧有功功率；为第个控制周期的反送功率；为第个控制周期的节点最低电压，为第个控制周期节点最高电压，为第个控制周期线路损耗，为第个控制周期的储能soc，为光伏渗透率，为第个控制周期的天气编码。

18、进一步，当前训练动作具体为：，其中，为训练控制周期的索引值，为第个训练控制周期的储能有功功率，为第个训练控制周期的逆变器无功功率；无控制动作。

19、进一步，预先构建的奖励函数具体为：

20、

21、其中，为第个训练控制周期的奖励值，为第个训练控制周期执行无控制动作后，根据潮流计算得到的支路电流和线路电阻计算的基准线路损耗；为执行当前训练动作后的当前线路损耗；为相对降损收益权重，为当前线损权重，、、和分别为第个训练控制周期的电压越限惩罚、反送功率惩罚、soc越界惩罚和动作变化惩罚，为防止分母为零的正数。

22、进一步，当前在线状态向量采用与训练状态向量相同的状态分量排列顺序、状态量计算方式、基准值和归一化参数，并由当前在线控制周期实时获取的运行状态以及对应场景参数构建；

23、当前在线控制周期的连续建议动作，具体为：，其中，为在线控制周期的索引值，为第t个在线控制周期的储能有功功率建议值，为第t个在线控制周期的逆变器无功功率建议值；

24、储能有功候选集合包括：零有功功率、按照预设固定控制规则确定的储能有功功率、、储能充电方向的预设比例功率以及储能放电方向的预设比例功率；所述预设比例功率分别为当前最大允许充电功率的负向比例值和当前最大允许放电功率的正向比例值；

25、逆变器总无功候选集合包括：按照预设固定控制规则确定的逆变器总无功功率、、零无功功率以及按照逆变器总可用无功功率确定的多个正向或负向比例值；

26、将所述储能有功功率候选集合中的各候选值与所述逆变器无功功率候选集合中的各候选值进行组合，并对重复的候选动作进行合并，得到物理候选动作集合；

27、根据各逆变器的额定视在功率和当前光伏有功出力确定各逆变器的当前最大可用无功功率，并对各逆变器的当前最大可用无功功率求和，得到逆变器总可用无功功率范围；

28、物理候选动作集合和逆变器总可用无功功率范围共同构成物理候选动作集合。

29、进一步，所述硬约束筛选包括：当候选动作对应的潮流计算不收敛，或储能有功功率超出当前允许充放电功率范围，或逆变器总无功功率超出逆变器总可用无功功率范围，或候选动作执行后的储能soc超出预设上下限，或节点电压超出预设硬约束阈值时，将所述候选动作判定为不可行候选动作并予以剔除；

30、将未被剔除的候选动作确定为可行候选动作，形成可行候选动作集合。

31、进一步，所述物理指标评分的计算式为：

32、

33、其中，为物理指标评分值，为待计算评分的候选动作，为候选动作的归一化线路损耗值，为候选动作的节点电压越限量值，为候选动作的归一化反送功率值，为候选动作的soc安全裕度惩罚值，为上一控制周期动作，、、、和为对应评分项的权重。

34、进一步，当所述可行候选动作集合为空时，按照预设缩放系数减小储能有功候选值和逆变器无功候选值的幅值并重新执行潮流计算和硬约束筛选；若重新筛选后仍不存在可行候选动作，则将上一在线控制周期的可行动作限幅至当前设备允许功率范围内，形成安全备用动作；在不存在上一在线控制周期可行动作时，将储能有功功率和逆变器无功功率均设置为零并输出异常告警。

35、基于强化学习和潮流筛选的低压台区协同降损系统，所述系统用于实现上述方法，所述系统包括：

36、训练动作生成模块，用于根据训练运行状态和场景参数生成训练状态向量，并获得当前训练动作；

37、ddpg智能体训练模块，用于基于无控制动作和当前训练动作的潮流计算结果更新ddpg智能体，得到训练完成的ddpg智能体；

38、在线建议动作生成模块，用于根据在线运行状态和场景参数生成在线状态向量，并获得连续建议动作；

39、候选动作构建模块，用于基于所述连续建议动作构建物理候选动作集合；

40、可行动作筛选模块，用于对所述物理候选动作集合进行潮流计算和硬约束筛选，得到可行候选动作集合；

41、最优控制动作确定模块，用于对可行候选动作进行物理指标评分，并确定最优控制动作；

42、安全备用动作生成模块，用于在不存在可行候选动作时，缩小候选动作幅值并重新筛选，或者根据上一在线控制周期的可行动作生成安全备用动作；在不存在上一在线控制周期可行动作时，输出零功率动作和异常告警。

43、本发明所述方法的有益效果为：

44、（1）本发明在每一训练状态下保持负荷、光伏出力和储能荷电状态等运行条件一致，分别对无控制动作和当前训练动作进行潮流计算，并以二者线损差值的归一化结果表征当前训练动作的降损贡献。由此能够减少不同光伏渗透率、接入位置和天气场景下天然线损规模差异对奖励值的影响，使ddpg智能体在不同运行场景下具有相对一致的学习目标，提高训练过程的稳定性和跨场景适应能力。

45、（2）本发明将训练完成的ddpg智能体输出的储能有功功率和逆变器无功功率作为连续建议动作，而不直接作为设备执行指令，使学习决策与物理安全校验相互分离。ddpg智能体用于提供符合当前运行状态的协同调节方向，物理校验过程用于判断建议动作及其扩展动作是否满足设备能力和台区安全运行要求，从而降低神经网络输出动作直接执行所产生的潮流不收敛、设备越限和储能荷电状态越界风险。

46、（3）本发明基于无控制动作、固定规则动作、ddpg建议动作以及按照储能允许充放电功率和逆变器实时可用无功能力确定的比例动作，构建物理候选动作集合。所述候选动作具有明确的储能充放电和逆变器无功调节含义，能够兼顾既有安全控制策略、学习模型输出结果和设备实际调节能力，避免仅依据动作向量之间的数学距离选取候选动作而造成候选动作物理可执行性不足。

47、（4）本发明使各候选动作均从相同的当前台区运行状态和储能初始荷电状态出发，分别执行独立潮流计算，并根据潮流收敛性、储能荷电状态和设备容量约束剔除不可行候选动作；对于保留的可行候选动作，再依据实际计算得到的线路损耗、节点电压、反送功率、储能安全裕度和动作变化量进行评价。由此，最终动作由候选动作对应的实际物理运行结果确定，而不是仅由critic网络的预测价值确定，能够提高最终控制动作的可执行性和降损评价的可靠性，并兼顾电压、反送功率和储能运行安全。

48、（5）本发明在物理候选动作集合中不存在可行候选动作时，先按照预设缩放系数减小候选动作幅值并重新进行筛选；若重新筛选后仍不存在可行候选动作，则将上一在线控制周期的可行动作限幅至当前设备允许功率范围内作为安全备用动作；在不存在上一在线控制周期可行动作时，将储能有功功率和逆变器无功功率均设置为零并输出异常告警。执行最终动作后更新线路损耗、节点电压、反送功率和储能荷电状态，并进入下一控制周期，从而形成具有安全备用能力的滚动闭环控制过程，提高复杂运行场景下控制过程的连续性和故障安全性。