一种新能源场站充放电策略自动优化控制系统的制作方法

本发明涉及新能源场站运行控制，尤其涉及一种新能源场站充放电策略自动优化控制系统。

背景技术：

1、在新能源高比例接入的电力系统中，场站级储能系统通过充放电操作平抑功率波动、参与电网调频、实现峰谷套利，是提升新能源消纳与电网稳定性的关键手段。实现储能系统价值最大化，依赖于高效、精准的充放电策略优化控制。当前，该领域的技术方案主要分为两类。一类是基于固定规则或经验阈值的控制方法，例如依据储能荷电状态或净功率偏差设定充放电触发条件。这类方法逻辑简单、响应快，但策略僵硬，难以适应新能源出力的强随机性与复杂电价信号，无法实现经济最优。另一类是采用传统优化算法，如线性规划、模型预测控制，以场站运行成本最小或收益最大为目标，在预测数据基础上求解优化问题。这类方法在一定程度上考虑了经济性，但其优化模型通常依赖于对风光出力、电价等变量的精确预测，并对系统模型进行大量线性化或简化假设以换取可解性。

2、新能源场站运行涉及秒级/分钟级的功率波动平抑、小时级的能量搬移，以及日级的计划跟踪等多个时间尺度的控制目标，这些目标相互耦合、彼此制约。现有方法在处理这种多时间尺度耦合特性时存在不足，或仅针对单一时间尺度设计策略，或通过简单加权将多目标合并，未能深刻刻画并利用不同时间尺度动态间的内在关联。同时，风光出力与市场环境具有高度复杂性与不确定性，传统优化算法在面对此类连续、高维状态空间与动作空间的决策问题时，策略的适应性与自主学习进化能力有限。因此，需要一种能够自动学习并适应场站多时间尺度运行耦合特性，在不确定性环境下直接优化序列决策的控制系统，以生成更优、更鲁棒的充放电策略。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种新能源场站充放电策略自动优化控制系统。

2、为了实现上述目的，本发明采用了如下技术方案：一种新能源场站充放电策略自动优化控制系统，包括：

3、数据采集模块，采集新能源场站的多源异构运行数据，所述多源异构运行数据包含光伏发电单元的实时功率曲线、风力发电机组的出力波动序列、储能电池组的荷电状态历史及场站并网点的实时电价信号；

4、数据预处理模块，对所述多源异构运行数据进行时空对齐与数据清洗，生成标准格式的场站运行状态时序数据集；

5、策略优化模块，调用改进的深度确定性策略梯度算法对所述场站运行状态时序数据集进行滚动优化分析，所述改进的深度确定性策略梯度算法依据新能源场站的多时间尺度耦合特性进行优化，利用所述改进的深度确定性策略梯度算法，求解得到未来一个调度周期内储能电池组的最优充放电功率指令序列；

6、指令生成模块，根据所述最优充放电功率指令序列与实时获取的电网调度指令，进行安全边界校验与指令平滑处理，生成最终可执行的分时段充放电控制策略；

7、指令下发模块，将所述分时段充放电控制策略下发至储能变流器，控制储能电池组执行对应的充电或放电操作。

8、作为本发明的进一步方案，对所述多源异构运行数据进行时空对齐与数据清洗，生成标准格式的场站运行状态时序数据集，包括：

9、识别所述光伏发电单元的实时功率曲线、所述风力发电机组的出力波动序列、所述储能电池组的荷电状态历史及所述场站并网点的实时电价信号各自的数据时间戳与采样频率；

10、以最高采样频率的数据为基准，采用三次样条插值法对低采样频率的数据进行时间尺度统一化处理，使所有数据序列具有相同且等间隔的时间戳；

11、对时间对齐后的数据序列进行异常值检测与处理，采用基于局部离群因子算法识别并剔除功率数据中的瞬时突变噪声点，采用线性插值法填补所述瞬时突变噪声点剔除后形成的数据空缺；

12、对处理后的所述光伏发电单元的实时功率曲线、所述风力发电机组的出力波动序列进行归一化处理，将功率值映射到零至一的区间内；

13、将归一化后的功率数据、未归一化的所述储能电池组的荷电状态历史及所述场站并网点的实时电价信号，按照时间戳顺序整合为具有统一字段格式的所述场站运行状态时序数据集。

14、作为本发明的进一步方案，所述改进的深度确定性策略梯度算法依据新能源场站的多时间尺度耦合特性进行优化，其工作步骤包括：

15、构建包含评价网络与策略网络的双网络架构，其中策略网络用于根据当前场站运行状态输出连续的充放电功率动作，评价网络用于评估状态-动作对的长期期望收益；

16、在评价网络的输入中，显式引入表征不同时间尺度耦合关系的特征，包括将秒级的光伏波动方差、分钟级的负荷变化趋势以及小时级的电价周期模式进行特征拼接后输入；

17、在策略网络的学习过程中，加入时间尺度一致性约束，所述时间尺度一致性约束要求策略网络在系统运行状态量的数值集合相同但主导时间尺度特性不同的情况下，输出的动作应满足平滑过渡关系；

18、在算法训练的环境交互阶段，设计多时间尺度混合奖励函数，所述多时间尺度混合奖励函数同时包含基于秒级数据计算的波动平抑奖励、基于分钟级数据计算的跟踪调度指令奖励以及基于小时级数据计算的经济收益奖励；

19、采用分层经验回放机制存储训练数据，根据交互数据中主导的时间尺度特性将其分类存储至不同的经验池，并在训练时按比例从各经验池中采样，以均衡学习不同时间尺度的运行模式。

20、作为本发明的进一步方案，所述在评价网络的输入中，显式引入表征不同时间尺度耦合关系的特征，具体包括：

21、从所述场站运行状态时序数据集中，提取预设时间窗口内的所述光伏发电单元的实时功率曲线，计算时间窗口内功率的方差值作为秒级波动特征；

22、从所述场站运行状态时序数据集中，提取更长预设时间窗口内的所述风力发电机组的出力波动序列，拟合其线性趋势线的斜率作为分钟级变化趋势特征；

23、从所述场站并网点的实时电价信号中，识别过去一个完整电价周期内的价格波峰、波谷时刻及幅度，并将其编码为循环特征向量，作为小时级电价周期模式特征；

24、将所述秒级波动特征、所述分钟级变化趋势特征与所述小时级电价周期模式特征进行拼接，形成多维耦合特征向量；

25、将所述多维耦合特征向量与场站当前的基础状态向量进行合并，共同作为所述评价网络的输入。

26、作为本发明的进一步方案，利用所述改进的深度确定性策略梯度算法，求解得到未来一个调度周期内储能电池组的最优充放电功率指令序列，包括：

27、将所述场站运行状态时序数据集中的最新时段数据作为算法当前的状态输入；

28、将所述改进的深度确定性策略梯度算法中的策略网络部署为在线推理模式，由策略网络根据当前状态，直接输出一个建议的充放电功率动作值；

29、将当前状态与建议的充放电功率动作值，输入至所述改进的深度确定性策略梯度算法中的评价网络，得到当前状态-动作对的长期期望收益估计值；

30、采用模型预测控制框架，以当前时刻为起始，在虚拟环境中向前滚动执行状态转移与动作选择过程，模拟未来一个调度周期内每一步的状态转移与动作选择，并累积计算总的虚拟长期期望收益；

31、调整策略网络在滚动优化中每一步输出的动作，直至虚拟的总长期期望收益达到最大，此时记录下从当前时刻开始未来一个调度周期内的充放电功率动作序列，即为所述最优充放电功率指令序列。

32、作为本发明的进一步方案，根据所述最优充放电功率指令序列与实时获取的电网调度指令，进行安全边界校验与指令平滑处理，生成最终可执行的分时段充放电控制策略，包括：

33、获取储能电池组的实时安全运行边界参数，所述实时安全运行边界参数包括当前允许的最大充电功率、最大放电功率、荷电状态上限与荷电状态下限；

34、将所述最优充放电功率指令序列中的每一个功率指令值，与所述实时安全运行边界参数进行比较，若功率指令值超出最大充电功率或最大放电功率限制，则将其钳位至对应限值；若执行所生成的功率指令后预测的荷电状态将超出上下限，则反向调整功率指令使预测荷电状态回到安全区间；

35、接收电网自动发电控制下发的实时调度指令，将经过安全边界校验后的功率指令序列与所述实时调度指令进行叠加，形成初步的联合控制指令序列；

36、对所述初步的联合控制指令序列进行低通滤波处理，滤除其中因优化计算产生的高频阶跃分量，确保指令变化率在储能变流器的物理响应能力范围内；

37、将平滑处理后的指令序列，按照调度周期的时间分辨率，拆分为多个连续的控制时段，并为每个控制时段赋予唯一的时段标识与功率设定值，形成结构化的所述分时段充放电控制策略。

38、作为本发明的进一步方案，对所述初步的联合控制指令序列进行低通滤波处理，包括：

39、确定储能变流器在充放电状态切换时的最大允许功率变化率，并将其设置为滤波过程的约束条件；

40、设计一个有限脉冲响应数字低通滤波器，其截止频率根据所述最大允许功率变化率和控制指令的更新周期计算得到；

41、将所述初步的联合控制指令序列作为输入信号，通过所述有限脉冲响应数字低通滤波器进行卷积计算，得到滤波后的指令序列；

42、检查滤波后的指令序列的差分序列，确保任意相邻指令间的变化率均小于或等于所述最大允许功率变化率；

43、对不满足变化率约束的局部区段，采用线性插值法进行修正，生成最终满足物理响应约束的平滑指令序列。

44、作为本发明的进一步方案，所述以最高采样频率的数据为基准，采用三次样条插值法对低采样频率的数据进行时间尺度统一化处理，使所有数据序列具有相同且等间隔的时间戳，包括：

45、从所述光伏发电单元的实时功率曲线、所述风力发电机组的出力波动序列、所述储能电池组的荷电状态历史及所述场站并网点的实时电价信号中，识别出具有最高采样频率的数据序列，并将数据序列的时间戳集合确定为目标统一时间基准；

46、对采样频率低于所述最高采样频率的每一个数据序列，基于其原有的非等间隔时间戳及对应的数据值，构造一个分段三次多项式函数来表示数据序列的连续变化关系；

47、将所述目标统一时间基准中的每一个等间隔时间点代入对应的所述分段三次多项式函数中进行计算，得到数据序列在每个目标时间点的插值估计值；

48、将计算得到的插值估计值与数据序列在目标时间点对应的原始值进行比较，对于存在原始值的时间点，通过计算插值估计值与原始值的残差来评估插值精度；

49、完成对所有低采样频率数据序列的插值处理后，将所有数据序列按照所述目标统一时间基准重新排列，形成具有相同且等间隔时间戳的多个对齐数据序列，为后续的异常值检测与数据整合提供基础。

50、作为本发明的进一步方案，所述采用模型预测控制框架，以当前时刻为起始，在虚拟环境中向前滚动执行状态转移与动作选择过程，模拟未来一个调度周期内每一步的状态转移与动作选择，并累积计算总的虚拟长期期望收益，包括：

51、在所述模型预测控制框架中，以当前时刻的系统状态作为滚动优化的初始状态，所述系统状态包含从所述场站运行状态时序数据集中提取的最新场站运行状态；

52、初始化一个空的虚拟动作序列和一个空的虚拟状态序列，将所述初始状态存入所述虚拟状态序列；

53、在虚拟环境中，从当前时刻开始，以固定的控制步长向前推进，对于推进过程中的每一个未来时刻，执行以下模拟步骤：

54、从所述改进的深度确定性策略梯度算法中加载当前的在线策略网络，将所述虚拟状态序列中最后一个状态输入在线策略网络，得到一个建议的虚拟充放电功率动作；

55、将当前模拟的未来时刻、所述虚拟状态序列中最后一个状态以及得到的建议虚拟充放电功率动作，输入到一个预设的场站状态转移模型中，预测执行所述建议虚拟充放电功率动作后下一时刻的系统状态；

56、将预测得到的下一时刻系统状态存入所述虚拟状态序列，并将建议的虚拟充放电功率动作存入所述虚拟动作序列；

57、从所述改进的深度确定性策略梯度算法中加载在线评价网络，计算当前模拟时刻下的状态-动作对所对应的单步长期期望收益，并将长期期望收益累加到虚拟总收益中；

58、重复执行模拟步骤，直至覆盖未来一个完整的调度周期；

59、最终得到一条从当前时刻到未来调度周期结束的虚拟状态演变轨迹、一条对应的虚拟动作序列以及一个累积计算的虚拟总长期期望收益。

60、作为本发明的进一步方案，所述系统还包括：

61、策略在线自更新模块，用于持续采集所述储能电池组执行所述分时段充放电控制策略后的实际运行数据，包括实际充放电功率曲线、实际荷电状态轨迹及场站实际净功率曲线；

62、将实际运行数据与策略生成阶段所使用的预测数据或期望状态进行对比，计算策略执行偏差，包括功率跟踪偏差、荷电状态预测偏差及经济收益偏差；

63、当所述策略执行偏差的统计均值超过预设的更新阈值时，触发策略在线学习流程；

64、在策略在线学习流程中，将近期产生的实际运行数据与对应的场站历史状态数据组成新的训练样本，对所述改进的深度确定性策略梯度算法中的评价网络与策略网络进行增量训练；

65、使用增量训练后的网络参数更新在线推理模型，实现充放电策略优化控制系统的在线自适应调整。

66、与现有技术相比，本发明的优点和积极效果在于：

67、采用的改进深度确定性策略梯度算法是一种面向连续控制问题的深度强化学习方法。其改进之处核心在于针对新能源场站源-储协同的特定物理场景与运行约束进行了算法结构与奖励函数的专门设计。该算法不依赖对复杂系统物理模型的精确建模，而是通过与包含多源异构运行数据的环境进行交互试错，自主学习状态到最优动作的映射策略。它将新能源场站运行状态时序数据集作为输入，其神经网络架构能够有效提取高维数据中的深层特征。算法输出是未来调度周期内一系列连续的充放电功率指令，这是一个连续动作空间的最优搜索问题。该方法能够直接处理风光出力的随机序列与实时电价信号，将历史数据中隐含的波动模式、周期规律与市场规律融入策略生成过程。通过端到端的优化，策略在执行过程中能动态调整以应对实际运行与预测的偏差，克服了传统模型预测控制严重依赖预测精度的缺陷。策略本身具备在线学习和持续优化的潜力，随着运行数据积累，其决策性能可不断提升，实现对复杂运行环境更强的自适应能力。

68、依据新能源场站的多时间尺度耦合特性进行优化，是该策略优化模块设计的核心原则。这意味着在算法训练与决策过程中，显式地考虑并利用了秒/分钟级波动平抑、小时级能量套利，以及日级计划跟踪等不同时间尺度控制目标之间的相互作用与约束关系。在算法实现上，这通常通过设计具有多尺度特征提取能力的网络结构，或构建融合多时间尺度目标的复合奖励函数来实现。例如，在奖励函数中同时计入反映功率平滑度的即时奖励、反映套利收益的阶段性奖励以及反映中长期soc平衡的终值奖励。通过这种设计，优化算法在寻找单步最优动作时，能“预见”其动作对后续更长时间尺度运行目标的影响。从而生成的充放电策略不再是多个单一时间尺度策略的简单叠加或切换，而是一个在全局时间跨度上协调优化的统一决策序列。这使得储能系统在平滑瞬时功率波动的同时，能为其参与后续的调频市场或实现峰谷价差套利预留必要的容量空间，避免了控制目标间的冲突，在保障电网供电质量与设备安全的基础上，显著提升了场站运营的整体经济性与运行计划的完成度。