一种混合储能系统充放电状态实时优化控制方法与流程

1.本发明涉及新能源技术领域，特别涉及一种混合储能系统充放电状态实时优化控制方法。


背景技术：

2.光伏发电已经有大面积应用，但是光伏发电受日照条件的影响大，在一天的不同时段内光伏发电功率会存在较大的波动，经常会产生光伏发电功率与用电负荷功率不匹配的问题，当光伏发电功率小于用电负荷功率时，需要火电作为补充，当光伏发电功率大于用电负荷功率时，弃电动作显然会造成能源的浪费，不利于环保。
3.因此，现有技术还有待改进和提高。


技术实现要素：

4.针对现有技术的上述缺陷，本发明提供一种混合储能系统充放电状态实时优化控制方法，旨在解决现有技术中光伏发电功率与用电负荷功率不匹配时采用火电补充或者对光伏发电进行弃电不利于环保的问题。
5.为了解决上述技术问题，本发明所采用的技术方案如下：本发明的第一方面，提供一种混合储能系统充放电状态实时优化控制方法，所述方法包括：获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
6.所述的混合储能系统充放电状态实时优化控制方法，其中，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
7.所述的混合储能系统充放电状态实时优化控制方法，其中，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；
其中，所述神经网络模型为cnn模型。
8.所述的混合储能系统充放电状态实时优化控制方法，其中，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；其中，所述状态约束数据包括第一约束条件和第二约束条件；所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
9.所述的混合储能系统充放电状态实时优化控制方法，其中，所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。
10.所述的混合储能系统充放电状态实时优化控制方法，其中，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同；所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
11.所述的混合储能系统充放电状态实时优化控制方法，其中，所述样本电网中的储能件包括锂电池和储氢设备，所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总
放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；对所述第一分值和所述第二分值求和，得到所述第三奖励值。
12.本发明的第二方面，提供一种混合储能系统充放电状态实时优化控制装置，包括：预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态。
13.本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
14.本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
15.与现有技术相比，本发明提供了一种混合储能系统充放电状态实时优化控制方法，所述的混合储能系统充放电状态实时优化控制方法，首先对下一时段内的光伏发电功率以及用户负荷功率进行预测，再根据预测结果，采用强化学习模型选择储能系统中各个储能件的在下一时段内各个时刻的充放电状态的控制方案，这样利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，可以降低火电的使用率，也可以避免光伏发电的浪费，更加环保。
附图说明
16.图1为本发明提供的混合储能系统充放电状态实时优化控制方法的实施例的流程图；图2为本发明提供的混合储能系统充放电状态实时优化控制装置的实施例的结构原理图；图3为本发明提供的终端的实施例的原理示意图。
具体实施方式
17.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对
本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
18.本发明提供的混合储能系统充放电状态实时优化控制方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的混合储能系统充放电状态实时优化控制方法对储能系统中的储能件进行控制，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
19.实施例一如图1所示，所述混合储能系统充放电状态实时优化控制方法的一个实施例中，包括步骤：s100、获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率。
20.在实际应用中，对所述目标电网采用时段控制，即在每个时段结束之前，根据该时段以及之前的时段中的用电数据确定下一时段内的储能系统控制策略。所述目标时段的时长可以根据所述目标电网的用电设备复杂度来确定，可以为1个小时、半个小时或者其他的时长。具体地，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
21.所述目标时段对应的历史时段为所述目标时段前的n天内与所述目标时段在一天内的时段位置相同的时段，例如所述目标时段为7点到8点，那么选取所述目标时段所在日期的前n个日期每天7点到8点的实际用电负荷功率来预测所述目标时段内的用电负荷功率，为了提升准确性，所述历史时段的工作日属性和所述目标时段的工作日属性相同，也就是说，当所述目标时段在工作日时，所述目标时段对应的历史时段也是在工作日内的时段，当所述目标时段在休息日时，所述目标时段对应的历史时段也是在休息日内的时段。
22.在一种可能的实现方式中，可以通过统计所述目标时段对应的历史时段内的实际用电负荷功率，取均值得到所述目标时段的所述用电负荷预测功率，但是这种方式的准确性不高，在本实施例中，预先训练一神经网络模型用于预测用电负荷。具体地，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；其中，所述神经网络模型为cnn模型。
23.所述神经网络模型采用大量的训练数据训练得到，以学习到所述目标电网中的用户用电的变化规律。
24.而光伏发电的主要影响因素是日照条件，因此，在本实施例中，根据所述时段时段对应的天气预测数据来获取所述光伏发电预测规律。
25.请再次参阅图1，本实施例提供的方法，还包括步骤：
s200、基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件。
26.在得到所述用电负荷预测功率以及所述光伏发电预测功率后，虽然在理论上，可以直接根据储能件的充放电功率来获取到使得电网的供电功率与所述用电负荷预测功率相匹配的储能件充放电状态。然而，不同的储能件，例如电池和储氢设备，充放电动作以及不同的充放电时长带来的代价不同，并且，在实际应用中，并不是需要严格要求用电负荷功率和电网的供电功率完全一致，可以接受二者之间有一定的差异，也就是说，在得到所述用电负荷预测功率以及所述光伏发电预测功率之后，实际上有多种储能件的充放电状态的控制方案都是可行的，本技术中，为了寻找多种储能件的充放电状态的控制方案中较优的控制方案，采用深度强化学习模型来获取目标控制方案作为最终的控制方案。
27.深度强化学习模型会根据输入数据来输出一个动作（在本实施例中，动作为储能件的充放电状态控制方案），本实施例中，为了保证深度强化学习模型输出的动作的可实现性，首先基于所述目标电网的储能系统的各个储能件的性能数据设置约束条件以使得所述深度强化学习模型输出满足约束条件的动作。具体地，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；其中，所述状态约束数据包括第一约束条件和第二约束条件；所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
28.请再次参阅图1，本实施例提供的方法，还包括步骤：s300、将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
29.所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。具体地，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同。
30.前文已经说明，在实际应用中，并不是需要严格要求用电负荷功率和电网的供电功率完全一致，可以接受二者之间有一定的差异，因此不应当只采用用电负荷功率和电网的供电功率的一致性来判断所述深度强化学习模型输出的方案的优劣性。在本实施例中，融合考虑多方面因素来设计所述深度强化学习模型训练时的奖励值，以使得训练完成的所述深度强化学习模型能够输出更优的控制方案。
31.具体地，所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
32.首先，虽然储能件，例如电池等有设计的额定充放电功率，而在实际应用中，储能件的充放电过程中并产生变化，实际功率并不一定和理论上的充放电功率相同，会存在一定的波动，而电网的输入功率的波动越小，用户的用电体验会更好，对于用电设备的损耗也会更低，因此，在本实施例中，用于评价所述样本控制方案的奖励值的一部分是采用所述样本控制方案后所述样本电网在样本目标时段内的各个时刻的输入功率之间的方差，所述样本目标时段与所述目标时段的时长相等。方差越大，波动越大，因此，在进行加权求和时，所述第一奖励值的权重为负值。
33.其次，虽然并不是需要严格要求用电负荷功率和电网的供电功率完全一致，但是二者的一致性越高，显然更有利于用户的用电体验，因此，在本实施例中，用于评价所述样本控制方案的奖励值中还有一部分是基于采用了所述样本控制方案后所述样本电网的输入功率在所述样本目标时段内的平均值与所述样本用电负荷预测功率之间的差值，具体地，是采用该差值的绝对值作为所述第二奖励值。在进行加权求和时，所述第二奖励值的权重也为负值。
34.而出于环保考虑，在保证用电的前提下，储能件更多地进行充电动作是更优的，因此，在本实施例中，还基于所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到奖励值的一部分。
35.进一步地，根据储能系统中的储能件的不同，不同的充放电动作会带来不同的经济效益，目前常见的储能件有锂电池和储氢设备，储氢设备储存的氢，除了可以用于燃料电池再发电之外，还可以用于化工等其他产业，也可以进行长途运输，为了更高的经济效益，在本实施例中，优先地对储氢设备进行充电，值得说明的是，储氢设备是将电能转换为氢进行存储，这里为了方便表示，将储氢设备将电能转化为氢的过程也称为充电过程。所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行
加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；对所述第一分值和所述第二分值求和，得到所述第三奖励值。
36.进一步地，所述深度学习模型中会进行多次的训练，每次所述深度学习模型会输出一个控制方案，根据该控制方案对应的奖励值，可以更新所述深度学习模型的参数，最后所述深度学习模型的参数会趋于收敛，训练完成，这时所述深度学习模型会基于输入的数据输出一个较优的控制方案。为了加快所述深度学习模型的训练进程，缩短训练时间，在本实施例中，在获取到所述奖励值后，在将所述奖励值反馈至所述深度学习模型之前，还根据所述奖励值与上一次训练得到的所述奖励值进行对比来更新所述奖励值。具体地，获取前m次训练中得到的所述奖励值，m为正整数，优选地，m大于等于20，当本次的所述奖励值与前m次训练中得到的所述奖励值的方差大于预设阈值时，说明所述深度学习模型还没有寻找到最优的优化方向，处于随机优化状态，此时可以对本次的所述奖励值进行缩小，以使得所述深度学习模型可以尝试更多的方向，而当本次的所述奖励值与前m次训练中得到的所述奖励值的方差小于预设阈值时，说明所述深度学习模型已经趋向于固定的方向，此时可以保持本次的所述奖励值不变或者进行放大，以提升所述深度学习模型的训练效率。
37.综上所述，本实施例提供一种混合储能系统充放电状态实时优化控制方法，首先对下一时段内的光伏发电功率以及用户负荷功率进行预测，再根据预测结果，采用强化学习模型选择储能系统中各个储能件的在下一时段内各个时刻的充放电状态的控制方案，这样利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，降低火电的使用率，也可以避免光伏发电的浪费，更加环保。
38.应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
39.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram
（rdram）等。
40.实施例二基于上述实施例，本发明还相应提供了一种混合储能系统充放电状态实时优化控制装置，如图2所示，所述混合储能系统充放电状态实时优化控制装置包括：预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，具体如实施例一中所述；约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件，具体如实施例一中所述；控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态，具体如实施例一中所述。
41.实施例三基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
42.所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有混合储能系统充放电状态实时优化控制程序30，该混合储能系统充放电状态实时优化控制程序30可被处理器10所执行，从而实现本技术中混合储能系统充放电状态实时优化控制方法。
43.所述处理器10在一些实施例中可以是一中央处理器（central processing unit, cpu），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述混合储能系统充放电状态实时优化控制方法等。
44.在一实施例中，当处理器10执行所述存储器20中混合储能系统充放电状态实时优化控制程序30时实现以下步骤：获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
45.实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的混合储能系统充放电状态实时优化控制方法的步骤。
46.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。