融合用户侧与电动汽车定价机制的微电网调度方法及系统与流程

本发明涉及电力系统运行与控制，尤其涉及一种融合用户侧与电动汽车定价机制的微电网强化学习优化调度方法及系统。

背景技术：

1、微电网作为分布式能源消纳的核心载体，其能源管理需兼顾风电、光伏等可再生能源的间歇性、用户侧负荷的弹性以及电动汽车的移动储能特性，是实现能源高效利用与电网柔性调控的关键环节。随着电动汽车规模化普及与用户侧需求响应技术的发展，需求侧资源的调度潜力逐渐凸显，但现有微电网优化调度方法仍存在明显局限。

2、当前基于深度强化学习的微电网能源管理模型，多仅考虑系统侧的能量平衡与经济成本，未将用户侧需求响应与电动汽车充放电的定价激励机制与强化学习框架深度耦合，导致需求侧资源利用效率低下；同时，现有技术未将电动汽车集群充放电作为独立的调度动作纳入强化学习动作空间，仅将其视为被动负荷处理，无法充分发挥电动汽车的移动储能调峰作用；此外，传统强化学习的奖励函数设计缺乏对需求侧指标的考量，奖励信号稀疏，算法收敛速度与调度鲁棒性有待提升。

技术实现思路

1、为解决现有技术中存在的不足，本发明提供一种融合用户侧与电动汽车定价机制的微电网强化学习调度方法及系统，将定价激励与需求侧调度动作纳入强化学习框架，实现系统侧能源调度与需求侧定价激励的协同优化，提升微电网系统的经济运行性、可再生能源消纳率与供需平衡能力。

2、本发明采用如下的技术方案。

3、本发明一方面提出了一种融合用户侧与电动汽车定价机制的微电网强化学习调度方法，包括：

4、获取微电网系统的运行状态数据；确定用户侧分时电价和电动汽车动态电价；

5、建立协同调度模型，以各个调度时刻的步骤奖励、调度周期的最终奖励、定价引导的专家干预奖励的加权和，作为协同调度模型的总奖励函数；

6、建立总奖励函数的评价指标体系；基于评价指标体系，计算各个调度时刻的步骤奖励和调度周期的最终奖励；建立基于定价引导的供需平衡指标；根据系统储能荷电状态和供需平衡指标，确定是否需要专家干预；分别设置需要专家干预时的专家干预奖励和无需专家干预时的专家干预奖励；

7、以调度周期内的期望累计总奖励最大化为优化目标，迭代求解协同调度模型，得到微电网的协同调度最优指令。

8、运行状态数据，包括：风电出力、光伏出力、关键负荷功率、可响应柔性负荷基准功率、高功率密度储能的荷电状态、高容量储能的荷电状态、电动汽车集群平均荷电状态。

9、利用用户侧响应度量化指标和电价偏离惩罚项建立用户侧分时电价的目标函数，以目标函数最大化为优化目标，确定用户侧分时电价；基于用户侧分时电价以及用户侧分时电价激励下的荷侧总电力需求量，在系统实时供需平衡约束下，确定电动汽车动态电价。

10、以目标函数最大化为优化目标，如下式所示：

11、

12、式中，为调度时刻的用户侧分时电价的目标函数，为调度时刻的可响应柔性负荷功率，为可响应柔性负荷基准功率，为用户侧响应度量化指标，为电价偏离惩罚系数，为调度时刻的用户侧分时电价，为用户侧基准电价。

13、用户侧分时电价激励下的可响应柔性负荷功率，如下式所示：

14、

15、式中，为调度时刻用户侧分时电价激励下的可响应柔性负荷功率，为用户侧需求响应弹性系数，＞0；

16、用户侧分时电价激励下的荷侧总电力需求量如下式所示：

17、

18、式中，为调度时刻用户侧分时电价激励下的荷侧总电力需求量，为调度时刻的关键负荷功率。

19、电动汽车动态电价，如下式所示：

20、

21、

22、式中，为调度时刻的电动汽车动态电价，为调度时刻的系统剩余功率，为动态电价调节系数，为调度时刻的风电出力，为调度时刻的光伏出力。

23、以风电出力、光伏出力、高功率密度储能的荷电状态、高容量储能的荷电状态、电动汽车集群平均荷电状态、用户侧分时电价激励下的荷侧总电力需求量、用户侧分时电价和电动汽车动态电价，建立状态空间；

24、以高功率密度储能的充放电功率、高容量储能的充放电功率、微电网与主网的交互功率、以及电动汽车集群充放电功率，建立动作空间；

25、总奖励函数，如下式所示：

26、

27、式中，为调度时刻的步骤奖励，为最终奖励，为调度时刻的定价引导的专家干预奖励，、、均为权重系数，满足++=1。

28、总奖励函数的评价指标体系，包括：系统自平衡率、系统综合运行成本指标、系统可靠性率、用户侧响应度、电动汽车充放电满意度；

29、在每个调度时刻计算步骤奖励，如下式所示：

30、

31、式中，为惩罚系数，为调度时刻中第个时间步的系统自平衡率，为调度时刻中第个时间步的系统可靠性率，为调度时刻中第个时间步的用户侧响应度，为调度时刻中第个时间步的电动汽车充放电满意度，为调度时刻中第个时间步的系统综合运行成本指标。

32、调度时刻电动汽车参与的系统自平衡率如下式所示：

33、

34、式中，为调度时刻的主网交互功率，为调度时刻用户侧分时电价激励下的荷侧总电力需求量，、分别为调度时刻的电动汽车集群充、放电功率。

35、调度时刻的系统综合运行成本指标如下式所示：

36、

37、式中，为调度时刻的系统总净成本，为调度时刻的无储能或无定价的基准成本。

38、调度时刻用户侧与电动汽车的系统可靠性率如下式所示：

39、

40、式中，为调度时刻的风电出力，为调度时刻的光伏出力，为调度时刻的高功率密度储能充放电功率，为调度时刻的高容量储能充放电功率，为调度时刻微电网与主网的交互功率，为调度时刻用户侧分时电价激励下的荷侧总电力需求量，、分别为调度时刻的电动汽车集群充、放电功率。

41、调度时刻用户侧响应度如下式所示：

42、

43、式中，为调度时刻用户侧分时电价激励下的可响应柔性负荷功率，为可响应柔性负荷基准功率。

44、调度时刻电动汽车充放电满意度如下式所示：

45、

46、

47、

48、式中，为权重系数，[0,1]，为调度时刻电动汽车的价格满意度，为调度时刻电动汽车的出行满意度；为调度时刻电动汽车集群充放电成本，、分别为电动汽车集群充放电成本的下限和上限，为调度时刻电动汽车的荷电状态，为电动汽车参考荷电状态，、分别为电动汽车荷电状态的下限和上限，为电动汽车的数量。

49、在整个调度周期结束时计算最终奖励，如下式所示：

50、

51、式中，、、、、分别为调度时刻的系统自平衡率奖励、经济成本奖励、系统可靠性率奖励、用户侧响应度奖励、电动汽车充放电满意度奖励。

52、调度时刻的系统自平衡率奖励如下式所示：

53、

54、式中，为奖励系数，为调度时刻的储能放电功率，上标e表示高功率密度储能或高容量储能，为调度时刻用户侧分时电价激励下的荷侧总电力需求量，分别为调度时刻的电动汽车集群放电功率；

55、调度时刻的经济成本奖励如下式所示：

56、

57、调度时刻的可靠性率奖励如下式所示：

58、

59、调度时刻的用户侧响应度奖励如下式所示：

60、

61、调度时刻的电动汽车充放电满意度奖励如下式所示：

62、。

63、基于定价引导的供需平衡指标，如下式所示：

64、

65、式中，为调度时刻的供需平衡指标，为调度时刻的系统剩余功率，、分别为调度时刻的电动汽车集群充、放电功率，为调度时刻用户侧分时电价激励下的荷侧总电力需求量；

66、当调度时刻的系统储能荷电状态大于85%且大于0.1时，表示系统功率盈余，需要专家干预，强制储能充电，生成专家干预的储能功率充电指令；上标e表示高功率密度储能或高容量储能；

67、当调度时刻的系统储能荷电状态小于25%且小于-0.1时，表示系统功率缺额，需要专家干预，强制储能放电，生成专家干预的储能功率放电指令；

68、当调度时刻的系统储能荷电状态不大于85%且不小于25%，或者不大于0.1且不小于-0.1时，无需专家干预，由系统储能智能体自主决策生成储能功率指令；

69、调度时刻，需要专家干预时的专家干预奖励为干预奖励系数，无需干预时的专家干预奖励为干预惩罚系数。

70、以调度周期内的期望累计总奖励最大化为优化目标，采用ddqn算法和pg算法迭代求解协同调度模型，得到微电网的协同调度最优指令；

71、期望累计总奖励最大化如下式所示：

72、

73、式中，为优化目标函数，为策略函数，表示在调度时刻状态空间下执行动作空间的概率，为策略函数下的期望函数，为调度周期。

74、本发明另一方面还提出了一种融合用户侧与电动汽车定价机制的微电网强化学习调度系统，包括：

75、定价模块，用于获取微电网系统的运行状态数据；确定用户侧分时电价和电动汽车动态电价；

76、建模模块，用于建立协同调度模型，以各个调度时刻的步骤奖励、调度周期的最终奖励、定价引导的专家干预奖励的加权和，作为协同调度模型的总奖励函数；建立总奖励函数的评价指标体系；基于评价指标体系，计算各个调度时刻的步骤奖励和调度周期的最终奖励；建立基于定价引导的供需平衡指标；根据系统储能荷电状态和供需平衡指标，确定是否需要专家干预；分别设置需要专家干预时的专家干预奖励和无需专家干预时的专家干预奖励；

77、调度模块，用于以调度周期内的期望累计总奖励最大化为优化目标，迭代求解协同调度模型，得到微电网的协同调度最优指令。

78、本发明还是一种终端，包括处理器及存储介质；存储介质用于存储指令；处理器用于根据指令进行操作以执行方法的步骤。

79、本发明还是计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现方法的步骤。

80、与现有技术相比，本发明的有益效果至少包括：

81、1、本发明将电动汽车集群充放电功率纳入强化学习动作空间，结合动态电价激励与调度指令控制，充分发挥电动汽车的移动储能调峰作用，解决了现有技术将电动汽车视为被动负荷、利用效率低下的问题，显著提升了需求侧资源的调度价值。

82、2、本发明构建的两阶段定价机制，针对用户侧柔性负荷与电动汽车分别制定分时电价与动态电价，实现了需求侧差异化定价激励，有效捕捉了不同需求侧资源的价格敏感特性，提升了用户侧响应度与电动汽车充放电满意度。

83、3、本发明将两阶段定价结果融入马尔可夫决策过程的状态空间，将需求侧定价指标纳入多阶段奖励函数，实现了定价机制与深度强化学习框架的深度耦合，让智能体的决策更贴合需求侧实际响应特性，避免了传统模型决策依据不全面的问题。

84、4、本发明设计的定价引导专家干预策略，基于供需平衡状态约束智能体动作空间，有效降低了强化学习训练的随机性，避免了智能体陷入次优调度策略，提升了算法的收敛速度与调度鲁棒性。

85、5、本发明支持ddqn与pg两种算法实现，适配离散与连续动作空间需求，其中pg算法在连续调度决策中表现更优，其收敛速度、调度经济性与实时性均能满足微电网实际运行的实时调度需求，且能实现系统运行成本最小化、可再生能源消纳率最大化的多目标优化。