一种充电站购电方法、装置、电子设备及存储介质

1.本技术涉及电气工程技术领域，具体而言，涉及一种充电站购电方法、装置、电子设备及存储介质。


背景技术：

2.随着时代的发展和科技的进步，电动汽车越来越多的出现在人们的日常生活中。由此，相应的，用于为电动汽车进行充电的充电站、充电桩也逐渐地增多。
3.良好的电动汽车充电站的能源管理策略，不仅可以平衡电动汽车充放电峰值，降低充电站充电桩的闲置率，缓解高峰期交通拥堵，同时也可以扩大充电站的运营回报，吸引更多公司进入运营市场，形成良性竞争，加快智慧互联城市的构建，然而，现在多是人工凭借经验确定充电站的能源管理策略。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种充电站购电方法、装置、电子设备及存储介质，能够控制充电站以最大化运营回报为目标进行购电。
5.第一方面，本技术实施例提供了一种充电站购电方法，应用于充电系统，所述充电系统包括至少一个用于为用户的电动车辆进行充电的充电站，对于每一所述充电站，该充电站设置有光伏发电站以及储电设备，所述储电设备中储存的电量包括该充电站从电网处购买的电量以及所述光伏发电站所产生的电量；所述方法包括：
6.将充电负荷预测模型预测的每一所述充电站在不同时刻的电动车辆充电负荷、所述充电负荷预测模型预测的每一所述充电站的光伏发电站在不同所述时刻所产生的电量、每一所述充电站的储电设备在不同所述时刻所存储的电量、所述电网在不同所述时刻的电价和每一所述充电站在不同所述时刻的运营回报构成状态变量，将每一所述充电站在不同所述时刻从所述电网处所购买的电量构成动作变量，建立买电策略数学模型；
7.构建所述买电策略数学模型的奖励函数；
8.基于所述奖励函数，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略；
9.对于每一所述充电站，控制该充电站按照该充电站在不同所述时刻的买电策略从所述电网处进行购电。
10.在一种可能的实施方式中，所述奖励函数为每一所述充电站在不同所述时刻的运营回报。
11.在一种可能的实施方式中，基于所述奖励函数，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略，包括：
12.基于所述奖励函数，使用双延迟深度确定性策略梯度算法，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略。
13.在一种可能的实施方式中，在对所述买电策略数学模型进行求解的过程中，所述方法还包括：
14.对于每一所述动作变量，对该动作变量附加目标噪声，得到噪声动作变量，并将所述噪声动作变量作为该动作变量，其中，所述目标噪声是对概率密度函数符合beta分布的噪声进行目标采样后得到的，所述目标采样为以下中的任一者：汤普森采样，重要性采样，边缘化重要性采样，蒙特卡罗采样。
15.第二方面，本技术实施例还提供了一种充电站购电装置，应用于充电系统，所述充电系统包括至少一个用于为用户的电动车辆进行充电的充电站，对于每一所述充电站，该充电站设置有光伏发电站以及储电设备，所述储电设备中储存的电量包括该充电站从电网处购买的电量以及所述光伏发电站所产生的电量；所述装置包括：
16.模型建立模块，用于将充电负荷预测模型预测的每一所述充电站在不同时刻的电动车辆充电负荷、所述充电负荷预测模型预测的每一所述充电站的光伏发电站在不同所述时刻所产生的电量、每一所述充电站的储电设备在不同所述时刻所存储的电量、所述电网在不同所述时刻的电价和每一所述充电站在不同所述时刻的运营回报构成状态变量，将每一所述充电站在不同所述时刻从所述电网处所购买的电量构成动作变量，建立买电策略数学模型；
17.函数构建模块，用于构建所述买电策略数学模型的奖励函数；
18.求解模块，用于基于所述奖励函数，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略；
19.控制模块，用于对于每一所述充电站，控制该充电站按照该充电站在不同所述时刻的买电策略从所述电网处进行购电。
20.在一种可能的实施方式中，所述奖励函数为每一所述充电站在不同所述时刻的运营回报。
21.在一种可能的实施方式中，所述求解模块，具体用于：
22.基于所述奖励函数，使用双延迟深度确定性策略梯度算法，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略。
23.在一种可能的实施方式中，所述装置还包括：
24.噪声附加模块，用于在对所述买电策略数学模型进行求解的过程中，对于每一所述动作变量，对该动作变量附加目标噪声，得到噪声动作变量，并将所述噪声动作变量作为该动作变量，其中，所述目标噪声是对概率密度函数符合beta分布的噪声进行目标采样后得到的，所述目标采样为以下中的任一者：汤普森采样，重要性采样，边缘化重要性采样，蒙特卡罗采样。
25.第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的充电站购电方法的步骤。
26.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述
的充电站购电方法的步骤。
27.本技术实施例提供的一种充电站购电方法、装置、电子设备及存储介质，能够控制充电站以最大化运营回报为目标进行购电。
附图说明
28.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
29.图1示出了本技术实施例提供的一种充电站购电方法的流程图；
30.图2示出了本技术实施例提供的另一种充电站购电方法的流程图；
31.图3示出了本技术实施例提供的另一种充电站购电方法的流程图；
32.图4示出了本技术实施例提供的一种充电站购电装置的结构示意图；
33.图5示出了本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
34.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
35.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
37.为便于对本实施例进行理解，对本技术实施例提供的一种充电站购电方法、装置、电子设备及存储介质进行详细介绍。
38.参照图1所示，为本技术实施例提供的一种充电站购电方法的流程图，应用于充电系统，所述充电系统包括至少一个用于为用户的电动车辆进行充电的充电站，对于每一所述充电站，该充电站设置有光伏发电站以及储电设备，所述储电设备中储存的电量包括该充电站从电网处购买的电量以及所述光伏发电站所产生的电量；所述方法包括：
39.s101、将充电负荷预测模型预测的每一所述充电站在不同时刻的电动车辆充电负荷、所述充电负荷预测模型预测的每一所述充电站的光伏发电站在不同所述时刻所产生的电量、每一所述充电站的储电设备在不同所述时刻所存储的电量、所述电网在不同所述时
刻的电价和每一所述充电站在不同所述时刻的运营回报构成状态变量，将每一所述充电站在不同所述时刻从所述电网处所购买的电量构成动作变量，建立买电策略数学模型。
40.示例性的，每一充电站在t时刻的运营回报可以通过以下方式得到(t为不同时刻中的某一时刻)：
[0041][0042]
其中，为每一充电站在t时刻出售的电量之和；为充电站在t时刻时(所定)的电价；为每一充电站所产生的环境收益之和；为每一充电站在t时刻的固定负荷用电量之和；soe
t
为每一充电站的储电设备在t时刻的储电量之和；为每一充电站的光伏发电站在t时刻产生的电量；为电网在t时刻(所定)的电价。
[0043]
s102、构建所述买电策略数学模型的奖励函数。
[0044]
示例性的，奖励函数可以为每一充电站在不同时刻的运营回报。
[0045]
s103、基于所述奖励函数，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略。
[0046]
每一充电站在不同时刻的买电策略即每一充电站在不同时刻需要从电网处购买的电量。
[0047]
s104、对于每一所述充电站，控制该充电站按照该充电站在不同所述时刻的买电策略从所述电网处进行购电。
[0048]
即对于每个时刻，控制该充电站按照该时刻的买电策略(该时刻需要从电网处购买的电量)从电网处进行购电。
[0049]
在一种可能的实施方式中，所述奖励函数为每一所述充电站在不同所述时刻的运营回报。
[0050]
参照图2所示，为本技术实施例提供的另一种充电站购电方法的流程图，在一种可能的实施方式中，基于所述奖励函数，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略，包括：
[0051]
s201、基于所述奖励函数，使用双延迟深度确定性策略梯度算法，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略。
[0052]
双延迟深度确定性策略梯度算法(td3，twin delayed deep deterministic policy gradient)，在ddpg算法的基础上增加了一个critic网络，主网络上td3有两个critic网络和一个actor网络，同时target目标网络也有主网络的一个备份。
[0053]
参照图3所示，为本技术实施例提供的另一种充电站购电方法的流程图，在一种可能的实施方式中，在对所述买电策略数学模型进行求解的过程中，所述方法还包括：
[0054]
s301、对于每一所述动作变量，对该动作变量附加目标噪声，得到噪声动作变量，并将所述噪声动作变量作为该动作变量，其中，所述目标噪声是对概率密度函数符合beta分布的噪声进行目标采样后得到的，所述目标采样为以下中的任一者：汤普森采样，重要性采样，边缘化重要性采样，蒙特卡罗采样。
[0055]
通过对动作变量附加目标噪声，能够使得动作变量更加稳定。
[0056]
优选的，目标采样为汤普森采样。
[0057]
本技术实施例提供的一种充电站购电方法，能够控制充电站以最大化运营回报为目标进行购电。
[0058]
参照图4所示，为本技术实施例提供的一种充电站购电装置的结构示意图，应用于充电系统，所述充电系统包括至少一个用于为用户的电动车辆进行充电的充电站，对于每一所述充电站，该充电站设置有光伏发电站以及储电设备，所述储电设备中储存的电量包括该充电站从电网处购买的电量以及所述光伏发电站所产生的电量；所述装置包括：
[0059]
模型建立模块401，用于将充电负荷预测模型预测的每一所述充电站在不同时刻的电动车辆充电负荷、所述充电负荷预测模型预测的每一所述充电站的光伏发电站在不同所述时刻所产生的电量、每一所述充电站的储电设备在不同所述时刻所存储的电量、所述电网在不同所述时刻的电价和每一所述充电站在不同所述时刻的运营回报构成状态变量，将每一所述充电站在不同所述时刻从所述电网处所购买的电量构成动作变量，建立买电策略数学模型；
[0060]
函数构建模块402，用于构建所述买电策略数学模型的奖励函数；
[0061]
求解模块403，用于基于所述奖励函数，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略；
[0062]
控制模块404，用于对于每一所述充电站，控制该充电站按照该充电站在不同所述时刻的买电策略从所述电网处进行购电。
[0063]
在一种可能的实施方式中，所述奖励函数为每一所述充电站在不同所述时刻的运营回报。
[0064]
在一种可能的实施方式中，所述求解模块403，具体用于：
[0065]
基于所述奖励函数，使用双延迟深度确定性策略梯度算法，对所述买电策略数学模型进行求解，得到不同所述时刻的动作变量即为每一所述充电站在不同所述时刻的买电策略。
[0066]
在一种可能的实施方式中，所述装置还包括：
[0067]
噪声附加模块，用于在对所述买电策略数学模型进行求解的过程中，对于每一所述动作变量，对该动作变量附加目标噪声，得到噪声动作变量，并将所述噪声动作变量作为该动作变量，其中，所述目标噪声是对概率密度函数符合beta分布的噪声进行目标采样后得到的，所述目标采样为以下中的任一者：汤普森采样，重要性采样，边缘化重要性采样，蒙特卡罗采样。
[0068]
本技术实施例提供的一种充电站购电装置，能够控制充电站以最大化运营回报为目标进行购电。
[0069]
参照图5所示，本技术实施例提供的一种电子设备500，包括：处理器501、存储器502和总线，所述存储器502存储有所述处理器501可执行的机器可读指令，当电子设备运行时，所述处理器501与所述存储器502之间通过总线通信，所述处理器501执行所述机器可读指令，以执行如上述充电站购电的方法的步骤。
[0070]
具体地，上述存储器502和处理器501能够为通用的存储器和处理器，这里不做具体限定，当处理器501运行存储器502存储的计算机程序时，能够执行上述充电站购电的方
法。
[0071]
对应于上述充电站购电的方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述充电站购电的方法的步骤。
[0072]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0073]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0074]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0075]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0076]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。