一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统

distributed market clearing scheme for peer-to-peerenergy sharing in smart grid,"in ieee transactions on industrial informatics,vol.18,no.1,pp.66
‑ꢀ
76,jan.2022)通过分析不同用户角色的相应变化，以及与电力生产去中心化相关的一些激励模型，介绍了p2p能源市场的潜在多层架构，但未考虑到多个微电网与多个电动车辆之间的博弈。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法及系统，解决多方博弈时电力合理有效分配与电价合理确定的技术问题。
6.为了实现上述发明目的，本发明具体提供了一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易的技术实现方案，一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统，包括：
7.针对电动车辆的随机特性带来的能源交易的不确定性问题，建立了关于电动车辆随机特性的随机变量模型并利用贝叶斯博弈通过信息的不确定性对交易参与者的类型组合进行建模；其次采用天气预测和weibull分布得到分布式发电的功率输出和家庭需求，进而确定24个时刻各台微电网在点对点分布式交易下的市场角色；最后本发明基于灵敏性分析的方法评估多方参与的能源交易博弈对节点网络的影响，并且电力交换保证不违反网络约束以及碳排放标准，建立点对点分布式交易环境下多微电网与多电动车辆进行多方博弈的效用函数模型，将定价机制纳入系统内的能源调度问题，以最大化交易双方的利益为目的，多次博弈，最终达到博弈均衡，从而实现多方博弈的点对点分布式交易。
8.优选的，所述电动车辆随机特性主要体现在24小时内荷电状态的不同以及电动车辆到达微电网与离开微电网的时间不确定：在一天开始时，电动车辆在一定的荷电状态下从微电网离开，荷电状态会随着行驶距离的增加而降低。当电动车辆在一天结束后到达该微电网时，其到达后的荷电状态与出发时的荷电状态不相同，因此在多方博弈的能源交易系统电动车辆的到达微电网时的荷电状态与出发前的soc有关，还与一天的行驶距离有关，即：其中pos表示电动车辆离开微电网时的荷电状态，dr表示1kwh的能量电动车辆能行驶的距离，依据前面的研究dr＝6.7km/kwh，表示最低soc的限制，电池在行驶或者放电时不应低于最低soc，否则电池将被损坏。d我们主要采用2017年美国全国家庭旅行调查旅游趋势中的统计每日行程长度；其次，我们采用统计建模的方式处理电动车辆时间的不确定性，即确定了这些不确定参数之后，我们将电动车辆的插入状态建模为马尔科夫链模型，它是一个动态系统，在状态空间上随机的从一个状态过渡到另一个状态，并且状态的变化都是独立的。即：
9.φxy＝pr[ω
t 1
＝x∣ω
t
＝y,t],x,y∈{0,1}
[0010]
[0011]
其中ωt表示电动车辆是否插入微电网，ε(t)和δ(t)分别为pit和pot的跃迁概率。；最后，基于贝叶斯博弈定义了用来判断电动车辆n在交易系统中的角色类型；表示电动车辆和微电网在时间t内的所有类型组合，和分别表示电动车辆n以及微电网的类型空间以及所有电动车辆和微电网的每种类型组合，因此和r
t
∈r
t
被定义。
[0012]
优选的，所述采用天气预测和weibull分布得到分布式发电的功率输出和家庭需求，进而确定24个时刻各个微电网和电动车辆在点对点分布式交易下的市场角色。
[0013]
一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法，包括以下步骤：
[0014]
s101：确定点对点分布式交易环境下各个微电网和各个电动车辆的市场角色
[0015]
s102：输入初始电压条件、节点注入功率；其次，给定初始价格以及每个交易对象能进行交易的初始功率；
[0016]
s103：根据输入的初始电压条件以及节点注入功率将其进行聚类，求解电压变化；其次测量节点功率变化量计算总线上的输电分配系数、输入与输出间的损耗灵敏度；根据初始电价和功率迭代计算各方收益；
[0017]
s104：根据步骤s102中求得三种影响网络情况的结果转化为额外成本，促使电网负荷大大降低；
[0018]
s105：根据电网内部分布式能源输出和多方博弈的情况预测微型汽轮机的出力情况以及电动车辆充放电对电池的影响，考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，促使环境效益达到最优。
[0019]
s106：根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型，并证明该效用函数是否存在唯一解，若存在则达成nash均衡；
[0020]
s107：根据迭代优化后的购电电价和富余电量求取整个多方博弈的过程中各方的收益情况，促使整个交易系统的顺利进行。
[0021]
优选的，所述步骤s101中确定点对点分布式交易环境下多微电网与多电动车辆在能源交易系统下的市场角色。其方法主要为：微电网在正常运行情况下，由于分布式可再生能源设备出力以及电力负荷需求的波动性，微电网在会面临电能不足或过剩的情况，在不同时刻微电网会充当买方或卖方的不同角色。除此之外，电动车辆则是根据权利1中随机变量模型求得插入微电网时的荷电状态以及离开微电网时的荷电状态，进而根据驾驶员第二天的行程需求，判断其在不同时刻充当的角色。
[0022]
优选的，所述步骤s103中对包括电压敏感系数(vscs)、输电分配系数(ptdfs)和损耗敏感系数(lsfs)在内的网络约束进行建模，进一步根据以下公式进行计算：
[0023]
电压敏感系数计算如下：
[0024][0025]
有功功率的偏导数满足以下方程组：
[0026]
[0027]
由于整个系统不是线性的，但是相对于和它是线性的，因此该系统相对于直角坐标在实数上是线性的。此外，代入节点数据，它具有唯一的解，从而用来求解直角坐标下的偏导数。当我们获得和时，电压幅值的偏导数可以表示为：
[0028]
输电分配系数计算如下：
[0029]
注入移位因子(isf)量化了在特点母线上的发电量或负荷发生变化后通过每条支路的功率再分配。它反映了通过支路的流量对发电量或负荷变化的敏感性。因此，我们主要通过计算isf,进而获得ptdfs。
[0030]
为了计算isf，我们使用简化的节点电纳矩阵，分支(k,l)关于总线i∈n的isf，即为：在总线k处测量的从总线k到l的正有功功率流。用表示。
[0031]
计算如下：
[0032][0033]
一旦得到各交易对象所处总线处的isf，就可以计算ptdfs.即：提供了支路(k,l)中的有功功率流相对于从母线i到j的给定功率量δp
ij
的有功功率传输的灵敏度。关于在总线j处提取的总线i上的注入的分支(k，l)的ptdf直接从isfs中计算如下：
[0034]
损耗灵敏度因子计算如下：
[0035][0036]
由于本发明的能源交易系统是双边交易，因此本文定义了双边交易系数用于关联双边交易带来的损失：
[0037]
优选的，所述步骤s104中考虑网络约束之后将其损耗内部化为交易成本进一步根据以下公式进行计算：
[0038][0039][0040][0041]
式中，表示考虑不同节点处交易后节点电压变化引起的网络低压负担成本；节点复电压(表示为复共轭)相对于在前一个时间周期作为总线k中的能量供应商的ev n和mgm提供的有功功率的偏导数；λ
vsc
定义为低电压惩罚因子，主要指在低压网络下微电网以及电动车辆充当能源供应商时需考虑的电压变化的额外成本；是由ieee 33总线标准定义的总线k的原始功率。
[0042]
表示总线处功率变化导致的线路功率拥堵成本；两个节点间的有功功率交换导致的流量的变化与交易量的比值；λ
ptdf
基于能源交易分配拥塞费用以评估网络利用率
的惩罚因子。表示在分支(x,y)的有功功率相对于总线k处注入的有功功率线性近似。
[0043]
表示考虑双方交易后功率在传输过程中的成本；关于多方博弈中售电方在总线k处的注入功率和购电方在总线k’处的功率输出的损耗灵敏度；λ
lsf
则是双边交换系数。
[0044]
优选的，所述步骤s105中依据现有能源交易系统存在的问题考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，进一步根据以下公式确定多电动车辆与多微电网在多方博弈中碳排放成本、电池降解成本以及电池维护成本。
[0045]
通过天气预测以及weibull分布预测光伏发电单元以及风力发电单元的出力，同时依据微电网本身负荷需求预测微型汽轮机的出力情况；除此之外，由于电动车辆数量增多，充放电行为和调度不协调，对电池本身存在一定的损害.
[0046][0047]
其中，多方博弈中售电方集合为j，j为多方博弈中的售电方，j∈j，为多微电网中售电方j的负荷，t为时间，和分别为多微电网中售电方j的光伏发电单元(pv)出力和风力发电单元(wt)出力以及微型汽轮机发电单元(gt)出力。
[0048]
微型汽轮机的碳排放成本以及电动车辆的电池降解成本公式计算如下：
[0049][0050][0051]
其中，δ分别表示微电网和电动车辆的能量排放成本的参数因子。
[0052]
电池维护成本计算：
[0053][0054]
其中，
φn
,η表示为随机条件下估算电动车辆和电动车辆成本的参数，主要由风力发电、光伏发电、电动车辆插入电动车辆时的soc、插入电动车辆的时间段以及参与交易的买卖双方数量决定。
[0055]
优选的，所述步骤s106中根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型计算如下：
[0056][0057][0058]
其中用来表示mgs和电动车辆作为卖方时从能源交换中获得的利益；则表示mgs 和电动车辆作为买方时需要承担的购电成本；用于反映mg和ev的功率状况，以区分mg和ev是消费者还是能源供应商；用于表示微电网、电动车辆在不同随机因素的影响过程中产生的成本；表示微电网、电动车辆在交易过程中的能量排放成本；
定义为满意度函数，其计算公式为：α、β和λs为满意度函数参数。购电和预期用电满意率平衡，防止因电价过高导致交易失败。网络损耗内部化交易成本用表示，其中
[0059]
效用约束条件：
[0060][0061][0062][0063][0064]
其中和表示交易对象向宏观电网的购买价格和销售价格；卖方的出价不能高于宏观电网，否则买方将直接从宏观电网购买电力。买方的出价不能低于电力公司，否则卖方将直接与电力公司交易；表示电动车辆、微电网处于电力充足时的功率策略集；表示售电方能售出的最大能量；约束3则表示微电网内部的功率平衡；约束4则表示电动车辆的负荷状态必须满足驾驶员要求。
[0065]
由于本发明是基于贝叶斯博弈来处理交易方的不确定性信息的影响，我们所求的多方博弈的效益值为预期值(包含了受联合分布的不同类型概率对应的各种完全对策组合)。其公式如下所示：
[0066][0067]
通过证明纳什均衡的存在性，证明了所建的效用函数模型存在唯一解。
[0068]
优选的，所述步骤s107中依据迭代优化的购电电价与售电量求取参与博弈的交易对象的最优收益，根据以下公式计算：
[0069][0070]
通过实施上述本发明提供的基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统及方法的技术方案，具有如下有益效果：
[0071]
(1)本发明解决了多电动车辆与多微电网多方能源博弈的过程中电力合理有效分配的技术问题；
[0072]
(2)本发明将定价机制纳入能源调度问题，考虑了多个微电网和多个电动车辆自由市场下的多方点对点分布式交易，解决了每台微电网与每辆电动车辆在多方能源交易系统中以不同角色参与博弈时的收益问题；
[0073]
(3)本发明从低碳化和网络损耗角度考虑了多方能源博弈过程中产生的交易成本问题，有效降低了微电网内部汽轮机在负荷高峰期时的出力，并在不违反网络约束的情况下获得令人满意的利润；解决了各个参与点对点交易的用户在交易时能量损失的技术问题。
[0074]
(4)本发明解决了多方博弈时博弈角色难以统一确定的技术问题；
[0075]
(5)本发明相比于传统电力分配系统及方法，在相同的条件下，整个系统总负荷的分布相对更加平缓，起到了明显的稳定负荷和调节峰值的作用，削峰填谷的作用十分明显。
[0076]
(6)本发明相比于传统能源交易系统及方法，参与交易的用户增多，其交易方式更偏向于自由市场下双边交易，由模型本身自行调整意外情况的发生，适当增加人为干预。
附图说明
[0077]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0078]
图1是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式的系统结构图；
[0079]
图2是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式的系统结构组成框图；
[0080]
图3是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式中多方能源博弈简易示意图；
[0081]
图4是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式中多方能源博弈实施流程图；
[0082]
图5是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统一种具体实施方式中多方能源博弈控制框图；
[0083]
图6是本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统及方法与传统电力分配系统及方法的收益对比示意图；
具体实施方式
[0084]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0085]
如附图1至附图6所示，给出了本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统的具体实施例，下面结合附图和具体实施例对本发明作进一步说明。
[0086]
实施例1
[0087]
如附图1和附图2所示，基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统的具体实施例，包括：
[0088]
针对电动车辆的随机特性带来的能源交易的不确定性问题，建立了关于电动车辆随机特性的随机变量模型并利用贝叶斯博弈通过信息的不确定性对交易参与者的类型组合进行建模；其次采用天气预测和weibull分布得到分布式发电的功率输出和家庭需求，进
而确定24个时刻各台微电网在点对点分布式交易下的市场角色；最后本发明基于灵敏性分析的方法评估多方参与的能源交易博弈对节点网络的影响，并且电力交换保证不违反网络约束以及碳排放标准，建立点对点分布式交易环境下多微电网与多电动车辆进行多方博弈的效用函数模型，将定价机制纳入系统内的能源调度问题，以最大化交易双方的利益为目的，多次博弈，最终达到博弈均衡，从而实现多方博弈的点对点分布式交易。
[0089]
多个微电网和多个电动车辆之间的能源交易场景如附图1所示，博弈方包括：微电网中的售电方j与购电方i、电动车辆中的售电方j与购电方i。该系统包括了一个区域配电网、多个微电网以及多个电动车辆聚合器，分别位于微电网所处区域中；其微电网内部包含风力发电单元wt、光伏发电单元pv和燃气轮机发电单元gt等分布式发电装置。图中实线箭头方向为功率流方向，在时间段t内，燃气轮机发电单元gt的出力总和采用表示，其中风力发电单元wt与光伏发电单元pv为不可控微源，出力分别为能够参与调度的微源为燃气轮机发电单元gt。储能单元es的出力采用表示，表示电动车辆ev 的出力。微电网中的用户负荷为l
t
。在该能源交易系统中必须保持功率平衡，否则会影响交易的进行。
[0090][0091]
接入v2m微电网后，如果v2m微电网的负荷大于或等于发电单元dg的出力总和，通过调度储能单元es后仍然无法满足需求时，则该微电网向其他电力充足的微电网或者电动车辆购入电力l
t
以满足功率平衡的要求。如果v2m微电网的负荷小于发电单元dg的出力总和，富余的电力可以选择存入储能单元es或出售给电动车辆单元ev和电力不足的微电网。从而达到获利的目的。
[0092]
其中，多方能源博弈的简易示意图如附图3所示，在考虑了网络中物理线路在功率交换中所引起的不同变化(在这里是距离)之后，我们将其分为上下两层，上层主要为微电网之间的电力交换，下层主要为电动车辆间的电力交换，当然上下两层之间在可以穿插交易；分层的目的主要在于能清晰体现存在多个微电网、多个电动车辆能源交易的情况。
[0093]
如附图4,5所示，一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统的具体实施例，包括以下步骤：
[0094]
s101：确定点对点分布式交易环境下各个微电网和各个电动车辆的市场角色
[0095]
s102：输入初始电压条件、节点注入功率；其次，给定初始价格以及每个交易对象能进行交易的初始功率；
[0096]
s103：根据输入的初始电压条件以及节点注入功率将其进行聚类，求解电压变化；其次测量节点功率变化量计算总线上的输电分配系数、输入与输出间的损耗灵敏度；根据初始电价和功率迭代计算各方收益；
[0097]
s104：根据步骤s102中求得三种影响网络情况的结果转化为额外成本，促使电网负荷大大降低；
[0098]
s105：根据电网内部分布式能源输出和多方博弈的情况预测微型汽轮机的出力情况以及电动车辆充放电对电池的影响，考虑微型汽轮机的碳排放成本、电动车辆的电池降
解成本以及电池维护成本，促使环境效益达到最优。
[0099]
s106：根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型，并证明该效用函数是否存在唯一解，若存在则达成nash均衡；
[0100]
s107：根据迭代优化后的购电电价和富余电量求取整个多方博弈的过程中各方的收益情况，促使整个交易系统的顺利进行。
[0101]
步骤s101中确定点对点分布式交易环境下多微电网与多电动车辆在能源交易系统下的市场角色。其方法主要为：微电网在正常运行情况下，由于分布式可再生能源设备出力以及电力负荷需求的波动性，微电网在会面临电能不足或过剩的情况，在不同时刻微电网会充当买方或卖方的不同角色。除此之外，电动车辆则是根据权利1中随机变量模型求得插入微电网时的荷电状态以及离开微电网时的荷电状态，进而根据驾驶员第二天的行程需求，判断其在不同时刻充当的角色。
[0102]
优选的，所述步骤s103中对包括电压敏感系数(vscs)、输电分配系数(ptdfs)和损耗敏感系数(lsfs)在内的网络约束进行建模，进一步根据以下公式进行计算：
[0103]
电压敏感系数计算如下：
[0104][0105]
有功功率的偏导数满足以下方程组：
[0106][0107]
由于整个系统不是线性的，但是相对于和它是线性的，因此该系统相对于直角坐标在实数上是线性的。此外，代入节点数据，它具有唯一的解，从而用来求解直角坐标下的偏导数。当我们获得和时，电压幅值的偏导数可以表示为：
[0108]
输电分配系数计算如下：
[0109]
注入移位因子(isf)量化了在特点母线上的发电量或负荷发生变化后通过每条支路的功率再分配。它反映了通过支路的流量对发电量或负荷变化的敏感性。因此，我们主要通过计算isf,进而获得ptdfs。
[0110]
为了计算isf，我们使用简化的节点电纳矩阵，分支(k,l)关于总线i∈n的isf，即为：在总线k处测量的从总线k到l的正有功功率流。用表示。
[0111]
计算如下：
[0112][0113]
一旦得到各交易对象所处总线处的isf，就可以计算ptdfs.即：提供了支路(k,l)中的有功功率流相对于从母线i到j的给定功率量δp
ij
的有功功率传输的灵敏度。关于在总线j处提取的总线i上的注入的分支(k，l)的ptdf直接从isfs中计算如下：
[0114]
损耗灵敏度因子计算如下：
[0115][0116]
由于本发明的能源交易系统是双边交易，因此本文定义了双边交易系数用于关联
双边交易带来的损失：
[0117]
本发明具体实施例主要基于ieee33节点考虑网络约束条件进行潮流计算。采用基于敏感性分析的方法评估点对点式交易方式对网络的影响，在各个微电网以及电动车辆之间不合作的前提下对需求响应及定价策略进行基于贝叶斯博弈的建模，博弈的参与者v2m微电网以及v2v电动车辆都只具有个体理性，它们的目的都是自身利益最大化。由于在能源交易系统中所有参与者的市场角色难以确定，我们通过该贝叶斯博弈模型将不同参与者角色状态的所有组合来描述信息不完整的mg、ev之间的博弈行为。进而双方在博弈过程中根据自身的电量情况进行售电与购电，争取自身最大利益。
[0118]
博弈参与方、策略集和参与方的收益是一场博弈中的三个要素。在本发明具体实施例设置的贝叶斯博弈场景中，博弈参与者为微电网、电动车辆，在某一时刻，如果微电网和电动车辆电力富余通过电力分配平台向电力市场售电，则属于博弈中的售电方。如果微电网和电动车辆电力缺乏，需要通过电力分配平台向电力市场购电，则属于博弈中的购电方。按照该分类，可以分为：微电网、电动车辆的售电方和微电网、电动车辆的购电方。设电力充足的微电网以及电动车辆的售电方集合为j，电力不足的微电网与电动车辆的购电方集合为i。因此，博弈为多方博弈，博弈参与方包括：微电网以及电动车辆的售电方j，j∈j和微电网以及电动车辆的购电方i，i∈i。
[0119]
假设在整个充放电过程中，忽略损耗且储能单元es系统端口电压基本维持不变，对于任意时间段t，售电方j的策略集可表示为：
[0120][0121]
是售电方j选择的售电功率，由式(2)表示。
[0122][0123]
多方能源交换中，和代表其中电动车辆、微电网i作为买家时的报价以及电动车辆、微电网j作为卖家时的售电量。
[0124][0125]
根据上述集合的定义和定义，我们可以看出，卖方主要根据买方提供的购买价格以出售多余的能源，而买方则需要从卖方那里购买相应的能源才能正常运行；因此，从水平方向看矩阵时，每一行代表电价由单个买家i提供给所有卖家提供的电价。相反，从垂直方向看，每一列是所有买家给同一个卖家的能源单价；同理，是指卖方给予买方对应的能量；本文中，电动车辆在分层结构中位于同一总线处的微电网的底部，微电网在分层结构中位于上层；因此，整个分层结构下的系统必须满足交易过程中的功率约束：
[0126][0127]
对于电动车辆、微电网n(n∈i)电力不足时建立的相关策略集用(1)表示，当电动
车辆、微电网n为卖方时，对电动车辆、微电网j的放电报价采用和分别为电动车辆向宏观电网的购买价格和销售价格。
[0128][0129]
注意：卖方的出价不能高于宏观电网，否则买方将直接从宏观电网购买电力。买方的出价不能低于电力公司，否则卖方将直接与电力公司交易。与此同时，若整个系统出现总体放电功率大于充电功率时，则在满足微电网、电动车辆多方之间的交易时，其剩余部分能量将与电网之间进行功率转移，即：
[0130][0131]
步骤s104根据步骤s102中求得三种影响网络情况的结果转化为额外成本，促使电网负荷大大降低；
[0132][0133][0134][0135]
式中，表示考虑不同节点处交易后节点电压变化引起的网络低压负担成本；节点复电压(表示为复共轭)相对于在前一个时间周期作为总线k中的能量供应商的ev n和mgm提供的有功功率的偏导数；λ
vsc
定义为低电压惩罚因子，主要指在低压网络下微电网以及电动车辆充当能源供应商时需考虑的电压变化的额外成本；是由ieee 33总线标准定义的总线k的原始功率。
[0136]
表示总线处功率变化导致的线路功率拥堵成本；两个节点间的有功功率交换导致的流量的变化与交易量的比值；λ
ptdf
基于能源交易分配拥塞费用以评估网络利用率的惩罚因子。表示在分支(x,y)的有功功率相对于总线k处注入的有功功率线性近似。
[0137]
表示考虑双方交易后功率在传输过程中的成本；关于多方博弈中售电方在总线k处的注入功率和购电方在总线k’处的功率输出的损耗灵敏度；λ
lsf
则是双边交换系数。
[0138]
步骤s105中依据现有能源交易系统存在的问题考虑微型汽轮机的碳排放成本、电动车辆的电池降解成本以及电池维护成本，进一步根据以下公式确定多电动车辆与多微电网在多方博弈中碳排放成本、电池降解成本以及电池维护成本。
[0139]
通过天气预测以及weibull分布预测光伏发电单元以及风力发电单元的出力，同时依据微电网本身负荷需求预测微型汽轮机的出力情况；除此之外，由于电动车辆数量增多，充放电行为和调度不协调，对电池本身存在一定的损害；
[0140]
微型汽轮机的碳排放成本以及电动车辆的电池降解成本公式计算如下：
[0141]
[0142][0143]
其中，δ分别表示微电网和电动车辆的能量排放成本的参数因子。
[0144]
电池维护成本计算：
[0145][0146]
其中，
φn
,η表示为随机条件下估算电动车辆和电动车辆成本的参数，主要由风力发电、光伏发电、电动车辆插入电动车辆时的soc、插入电动车辆的时间段以及参与交易的买卖双方数量决定。
[0147]
步骤s106中根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型计算如下：
[0148][0149][0150]
其中用来表示mgs和电动车辆作为卖方时从能源交换中获得的利益；则表示 mgs和电动车辆作为买方时需要承担的购电成本；用于反映mg和ev 的功率状况，以区分mg和ev是消费者还是能源供应商；用于表示微电网、电动车辆在不同随机因素的影响过程中产生的成本；表示微电网、电动车辆在交易过程中的能量排放成本；网络损耗内部化交易成本用表示，其中
[0151]
效用约束条件：
[0152][0153][0154][0155][0156]
其中和表示交易对象向宏观电网的购买价格和销售价格；卖方的出价不能高于宏观电网，否则买方将直接从宏观电网购买电力。买方的出价不能低于电力公司，否则卖方将直接与电力公司交易；表示电动车辆、微电网处于电力充足时的功率策略集；表示售电方能售出的最大能量；约束3则表示微电网内部的功率平衡；约束 4则表示电动车辆的负荷状态必须满足驾驶员要求。
[0157]
由于本发明是基于贝叶斯博弈来处理交易方的不确定性信息的影响，我们所求的多方博弈的效益值为预期值(包含了受联合分布的不同类型概率对应的各种完全对策组合)。其公式如下所示：
[0158]
通过证明纳什均衡的存在性，证明了所建的效用函数模型存在唯一解。
[0159]
基于强化学习的考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易
方法贝叶斯博弈均衡点存在的条件为：
[0160]
(1)策略集(1)是欧式空间的非空凸集；
[0161]
(2)收益函数(12)对策略集(1)连续且拟凹。
[0162]
由于策略集(1)与(2)约束条件为线性不等式，因此条件(1)能够得到满足。
[0163]
而收益函数为凹集的充要条件是式(10)的hessian矩阵半正定：
[0164][0165]
首先，联立式(7)，(8)，(9)，(10)，(11)与式(12)，求取的一阶偏导数：
[0166][0167]
然后，求取的二阶偏导数：
[0168][0169]
由式(14)可知，的对角线元素非正，非对角线元素全0，为半正定得到满足。收益函数满足条件(2)，因此条件(a)得到满足。
[0170]
贝叶斯博弈的纳什均衡可以参考完全信息博弈的计算得到。在微电网、电动车辆的初始条件确定后,组合类型rn被固定。从而确认效用函数的最优解是存在的，根据完全博弈纳什均衡的推导，很容易得到。得到了贝叶斯方程的纳什均衡。
[0171][0172]
采用表示该能源交易过程中的满意度，其计算公式为：
[0173][0174]
其中，α、β和λs为满意度函数参数。购电和预期用电满意率平衡，防止因电价过高
导致交易失败。的设置不仅满足了实际电价设置的需要，满意度函数的设置也为系统找到nash均衡点起到了重要的作用，满意度函数的设置规则需要满足下列要求：
[0175]
(1)是一个非减函数；
[0176]
(2)是一个凹函数，随着变量的两端变化，的终值逐渐趋向饱和。
[0177]
步骤s107中依据迭代优化的购电电价与售电量求取参与博弈的交易对象的最优收益，根据以下公式计算：
[0178][0179]
本发明具体实施例建立了包括分布式发电、分布式储能、多辆电动车辆和普通用户的多个v2m微电网共同参与的电力分配场景，同时考虑v2m微电网以及电动车辆之间多方博弈的售电与购电两种工作模式，提出了一中基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法，证实了系统ne均衡点的存在性，并求取了ne均衡点。在考虑多重约束的多电动车辆与多微电网的多方博弈的电力分配系统中，是各自采取行动应对对方的策略。通过对算例进行模拟仿真分析，对比现有技术中的相关技术方案，证明了本发明具体实施例应用于多电动车辆与多微电网的多方博弈中电力分配的合理性和有效性。如附图 6所示，为本发明基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易系统及方法与传统电力分配系统及方法的收益对比示意图，从图中可以明显看出，从图中可以看出，随着突发事件概率的不同，本文提出的方法下的收益比分层二分图匹配算法下的收益更稳定、更令人满意。通过实施本发明具体实施例描述的考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易方法的技术方案，能够产生如下技术效果：
[0180]
(1)本发明解决了多电动车辆与多微电网多方能源博弈的过程中电力合理有效分配的技术问题；
[0181]
(2)本发明将定价机制纳入能源调度问题，考虑了多个微电网和多个电动车辆自由市场下的多方点对点分布式交易，解决了每台微电网与每辆电动车辆在多方能源交易系统中以不同角色参与博弈时的收益问题；
[0182]
(3)本发明从低碳化和网络损耗角度考虑了多方能源博弈过程中产生的交易成本问题，有效降低了微电网内部汽轮机在负荷高峰期时的出力，并在不违反网络约束的情况下获得令人满意的利润；解决了各个参与点对点交易的用户在交易时能量损失的技术问题。
[0183]
(4)本发明解决了多方博弈时博弈角色难以统一确定的技术问题；
[0184]
(5)本发明相比于传统电力分配系统及方法，在相同的条件下，整个系统总负荷的分布相对更加平缓，起到了明显的稳定负荷和调节峰值的作用，削峰填谷的作用十分明显。
[0185]
(6)本发明相比于传统能源交易系统及方法，参与交易的用户增多，其交易方式更偏向于自由市场下双边交易，由模型本身自行调整意外情况的发生，适当增加人为干预。
[0186]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0187]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽
然本发明已以较佳实施例揭示如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明的精神实质和技术方案的情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的简单修改、等同替换、等效变化及修饰，均仍属于本发明技术方案保护的范围。