基于强化学习的现货市场环境下光储电站投标方法及系统

本发明属于光储电站领域，具体涉及一种基于强化学习的现货市场环境下光储电站投标方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着可再生能源技术迅速应用，全球电力市场正在发生深刻变化。太阳能光伏系统是增长最快的可再生能源，在缓解全球气候变暖和实现能源目标方面的发挥着关键作用。然而光伏发电依赖于天气，具有较强的随机性与间歇性，这一问题也给电网运行的稳定性和可靠性带来了重大挑战。电池储能系统通过提供极大的灵活性和平滑功率波动，被证明是解决光伏广泛集成的有效方案。

3、电池储能系统成本的降低促进了由一个或多个光伏电站和bess组成的新型光伏发电系统的发展，光伏与电池储能系统结合的趋势使得光伏发电的竞争日益激烈。同时，随着电力市场改革的不断推进，光储电站联合参与电力市场已经成为提高光伏收益的重要手段。

4、现货电力市场环境下允许电力卖方和买方进行竞争性的能源购买和销售，电力买卖双方提前一天上报第二天的发电量或需求量进行投标，由电力运营商统一出清结算。这种环境下，光储电站的投标策略直接决定光储电站的收益，因此，开发一种有效的光储电站投标策略提高电站收益受到了极大的关注。

5、值得注意的是，储能的频繁充放电会导致储能寿命的急剧衰减，当储能寿命衰减到一定程度后将无法再使用，因此将储能系统的生命周期退化成本纳入到光储优化目标中，可以实现相当大的成本降低。现有研究中已经提出了不同的退化模型，并且有几项工作侧重于将电池退化纳入经济分析和调度过程。然而，现有大多数退化模型一般假设退化成本为零，或将电池循环寿命简化为放电深度(dod)的线性函数，这可能会引入储能退化成本的额外估计误差。当对储能系统使用更精确的退化成本模型时，优化问题通常变得复杂且在计算上具有挑战性。

6、另一方面，现有的数据驱动方法，在求解实际优化问题中存在解释性和可靠性问题，且探索带来的不确定性可能导致训练稳定性不足问题，具体地说，智能体必须平衡对未知环境的探索和对已知知识的利用，这种冲突可能会导致陷入局部最优。

技术实现思路

1、本发明为了解决上述问题，提出了一种基于强化学习的现货市场环境下光储电站投标方法及系统，本发明在提供有效指导的同时避免数据依赖，为市场化光储电站优化调度问题提供了可靠的解决方案。

2、根据一些实施例，本发明采用如下技术方案：

3、一种基于强化学习的现货市场环境下光储电站投标方法，包括以下步骤：

4、考虑储能寿命衰减，以光储电站利润最大化为目标，建立现货市场环境下光储电站日前投标模型；

5、将所述光储电站日前投标模型转化为马尔科夫决策过程，采用专家引导型强化学习算法进行求解，得到最终日前投标策略，所述专家引导型强化学习算法在sac算法的基础上，引入专家评审机制，以评估当前动作是否有益，并在奖励函数中增加专家评分项，将评审信息反馈给策略网络，引导智能体向有益的方向探索。

6、作为可选择的实施方式，考虑储能寿命衰减，以光储电站利润最大化为目标，建立现货市场环境下光储电站日前投标模型的过程包括：以光储电站能够同时从光伏和电网充电为拓扑结构，且现货市场环境下光储电站日前投标模型的目标函数为光储电站利润最大化，所述光储电站利润为售电收益与购电成本、储能寿命衰减成本的差值。

7、作为进一步限定的实施方式，所述现货市场环境下光储电站日前投标模型具有以下约束条件：

8、光伏向储能的充电功率不超过光伏最大输出功率且光伏向电网售电功率应大于等于设定值；

9、储能充放电功率应保持在额定范围内；

10、相邻时段储能荷电状态保持在额定范围内；

11、光储电站售电与购电功率应符合电网能量交互限制，且不能同时购售电。

12、作为进一步限定的实施方式，所述储能寿命衰减成本和放电深度有关，建立电池循环寿命与放电深度的模型表示，为：

13、；

14、；

15、式中，

er是在特定放电深度下的整个循环寿命的总放电能量；

ed是不同放电深度下的总放电能量；

nr为在最大放电深度下的循环次数；

dr为最大放电深度；为储能额定容量；为

t时刻充放电系数；为

t时刻放电能量；

d(

t)为

t时刻真实放电深度，单次放电循环的寿命衰减成本表示为:

16、 ；

17、式中，为储能初始投资成本。

18、作为可选择的实施方式，将所述光储电站日前投标模型转化为马尔科夫决策过程的过程包括：光储电站的日前投标过程转化为智能体的决策行为，在t时刻，智能体代理基于观察到的状态生成动作,在环境中执行后得到相应的奖励，通过奖励对该动作的优劣进行评价，其中，光储电站的状态空间包括各时段日前市场电价、光伏预测出力以及储能荷电状态，光储电站可操作的动作为储能的充放电量，奖励函数包括光储电站的收益和违反约束惩罚两部分；

19、在光伏-电池储能系统的某一状态确定时，动态经济调度动作的优劣程度采用状态-动作值函数评定，寻求最佳调度策略使状态-动作值函数值最大。

20、作为可选择的实施方式，所述sac算法在优化目标中引入最大熵机制，将策略熵作为正则化项与累积回报联合最大化，在智能体反复选择同一动作时对其施加熵惩罚，以抑制策略过早确定化，显式鼓励智能体探索更多样化的动作空间。

21、作为可选择的实施方式，所述sac算法包括策略网络和两个q值函数网络，q值函数网络用于估计当前状态下某一行为的期望累积报酬，两个q值函数网络结构相同，均由当前网络与对应的目标网络组成，在计算目标值时，取两对网络输出的最小值，以缓解因最大化q值操作所引入的过估计问题，通过梯度下降来更新q值函数网络的参数，策略网络通过最大化软q值优化行动选择，使用重新参数化方法实现策略网络的输出。

22、作为可选择的实施方式，引入专家评审机制，以评估当前动作是否有益的过程包括：引入专家评审函数，将智能体

t时刻的动作量化为具体的专家评分，将动作的专家评分加权到奖励函数中，引导智能体学习，在衡量电价的变化趋势时，引入趋势强度，趋势强度遵循同向累积，反向重置原则，即如果本次变化方向和之前相同则累加强度；如果本次变化方向相反则重置强度；

23、对未来价格进行展望，引入价格展望系数；

24、根据电价所处上升阶段或下降阶段，在相应阶段，根据趋势强度和价格展望系数的值，确定最终的专家评分函数，且根据智能体所处训练阶段，赋予不同的专家评分权重系数并采用余弦退火方法平滑过渡。

25、作为可选择的实施方式，在奖励函数中增加专家评分项的过程包括：将专家评分值加权到奖励函数中，由此奖励函数被重塑为：

26、

27、

28、式中，为专家评分函数，为t时刻专家评分奖励，为收益奖励，为违反约束的惩罚奖励；为专家评分权重系数。

29、一种基于强化学习的现货市场环境下光储电站投标系统，包括：

30、建模模块，被配置为考虑储能寿命衰减，以光储电站利润最大化为目标，建立现货市场环境下光储电站日前投标模型；

31、决策模块，被配置为将所述光储电站日前投标模型转化为马尔科夫决策过程；

32、专家引导型强化学习模块，被配置为采用专家引导型强化学习算法进行求解，得到最终日前投标策略，所述专家引导型强化学习算法在sac算法的基础上，引入专家评审机制，以评估当前动作是否有益，并在奖励函数中增加专家评分项，将评审信息反馈给策略网络，引导智能体向有益的方向探索。

33、与现有技术相比，本发明的有益效果为：

34、本发明创新性提出一种专家引导型强化学习方法用于求解光储优化调度多维非线性问题，在原有sac算法的基础上，增加一个专家评审机制用于评估当前动作是否有益，并在奖励函数中增加一项专家评分项，将评审信息反馈给策略网络，引导智能体向着有益的方向探索，在提供有效指导的同时避免数据依赖，为市场化光储电站优化调度问题提供了可靠的解决方案。

35、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。