基于q方法和电网检测评估的微网交易共识方法及系统
技术领域：
：1.本发明属于交易共识
技术领域：
：，尤其涉及基于q方法和电网检测评估的微网交易共识方法及系统。
背景技术：
：：2.本部分的陈述仅仅是提供了与本发明相关的
背景技术：
：信息，不必然构成在先技术。3.随着电力行业对环保的要求不断提高，各种新能源在电力市场中占比不断提高，分布式是最为重要的清洁能源发电方式之一，具有广阔的发展前景，调查表明分布式有希望在未来成为最主要的新能源发电方式之一。由分布式能源构成的微网参与电力市场竞争使得电力市场参与主体更加多元，电力市场信息更加复杂，给传统的市场优化交易体系带来了巨大的挑战。传统电力市场调度采用集中式调度方式，首先是面对多微网交易的海量交易信息和市场主体多变的决策行为，传统方式处理困难；另外集中式的传统优化调度方法难以兼顾各个市场主体的收益，造成分布式并网不足；传统的集中式调度在效率和决策成本控制上也存在问题。因此，充分考虑全部各个市场主体市场行为，提高各个主体收益和效率，有必要将原来的集中式中心调度转变为分权化的交易。在该背景下，区块链技术是解决以上问题的一个重要手段。区块链技术具备去中心化、数据可靠、信息透明度高等优势，其去中心化的优势与分布式分散特点相契合，非常适用于多微网市场交易。另外，传统共识机制并不考虑对电网电压的检测评估，电压容易超出限制，对电网造成损害。对此，本发明公开了一种基于电网电压的检测评估的微电网区块链交易共识机制，运用q-learning来改进运用于微电网市场交易的区块链市场机制，将共识机制与微网实际需求相结合，建立起一种高效、环保的共识机制，可以为在微电网市场中推广区块链的使用奠定一方面的技术基础，促进微网市场转型。4.区块链共识机制是区块链最重要和基础的技术之一，区块链具备去中心化与权化等特点，每个节点都具备相当的权力，没有约束的情况下能够随意篡改整个区块链交易信息数据，如何使这些拥有相同权力的主体达成一致性决策是区块链需要解决的复杂问题，也就是共识机制。传统共识机制采用工作量证明机制等方法，首先是大量浪费能源与微电网发展环保的主题相违背，另外共识效率低下、错误率高都不适用于电力市场交易。电力市场竞争博弈本质就是求解市场均衡，即当前状态任意一方改变都会朝着不利的方向发展，与共识机制相契合，因此可以将求解市场均衡的算法与共识机制相结合，建立起新的区块链微网交易共识方法。5.强化学习技术是将学习的过程赋予权重和评价，主体不断去测试各种行为所带来的后果，当某个行为与理想结果相接近将获得“奖励”，否则获得惩罚。强化学习优势在于采用固定的运算模式，每一步运算量不大；只需要知道评价标准，而不需要知道寻优的方法和整个流程。这就使得强化学习具备求解速度快，不需要获得特别完整的信息就能够获得较为理想的结果。近年来，强化学习被广泛运用于电力系统领域，在电力市场优化调度、数字孪生技术、故障监测等领域发挥着重要作用。6.然而，适用于微电网市场交易的区块链共识机制相关研究较少、可行性不强，缺乏将强化学习运行速度快、运用不完整信息能力强运用于共识问题求解的研究。7.该研究方向对未来电力市场的发展是不可缺少的，尤其是运用区块链进行电能资源买卖的行为，为区块链技术在电力市场领域深度运用起到基础支撑的作用。技术实现要素：8.为克服上述现有技术的不足，本发明提供了基于q方法和电网检测评估的微网交易共识方法及系统，用于简化微电网参与的电力市场交易复杂的共识问题；在多微网参与的电力市场场景中，采用区块链作为交易的平台，每个市场主体作为区块链的参与节点，首先公开了一种适用于微电网区块链上交易的市场架构，该架构考虑了电网电压的检测评估，避免电压超过额定限制，保证网络运行安全；然后在该市场架构的基础上公开了基于q-learning算法的区块链共识机制，采用kkt条件对q-learning算法进行改进使之能够处理复杂电力市场约束，帮助维护区块链市场交易公平、公正，保证电网运行安全。9.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：10.本发明第一方面提供了基于q方法和电网检测评估的微网交易共识方法；11.基于q方法和电网检测评估的微网交易共识方法，包括：12.基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；13.将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；14.对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。15.进一步的，所述市场交易模型，包括市场收益函数、电网电压的检测评估、约束条件和电网参与者利润分配函数。16.进一步的，所述市场收益函数，是市场出售电能的收益与生产电能的成本之差，市场出清目标以市场收益最大为目标；17.生产电能的成本，包括信誉成本、传统机组成本和储能成本。18.进一步的，所述约束条件，包括功率平衡约束、发电能力约束以及储能能力约束。19.进一步的，所述电网参与者利润分配函数，应用shapley值法，按照微网对市场收益的边际贡献对收益进行分配，计算电网参与者的利润。20.进一步的，所述对市场交易模型进行纳什均衡求解，具体步骤为：21.初始化q表格；22.更新微电网电力市场参数；23.采用kkt条件对q-learning算法进行改进；24.利用已知微电网市场信息进行探索；25.计算新的q值，根据市场计算结果更新q表格；26.判断是否有达到纳什均衡的区块，没有达到则继续探索。27.进一步的，采用验证与排序机制，对达到纳什均衡的区块进行共识判断。28.本发明第二方面提供了基于q方法和电网检测评估的微网交易共识系统。29.基于q方法和电网检测评估的微网交易共识系统，包括模型建立模块、纳什均衡模块和共识判断模块；30.模型建立模块，被配置为：基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；31.纳什均衡模块，被配置为：将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；32.共识判断模块，被配置为：对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。33.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。34.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。35.以上一个或多个技术方案存在以下有益效果：36.本发明在多微网参与的电力市场场景中，采用区块链作为交易的平台，每个市场主体作为区块链的参与节点，公开了一种适用于微电网区块链上交易的市场架构，该架构考虑了电网电压的检测评估，避免电压超过额定限制，和传统共识机制相比该方法运行速度快，不需要占用过多算力，同时考虑了电网电压检测评估，保证了电网运行安全。37.本发明提出一种适用于微电网区块链上交易的数学出清模型，该模型公开了一种信誉成本计算方式，能够较好地反应参与区块链电力市场交易的微网信誉情况，并对违背诚信交易的行为进行惩罚，能够帮助维护区块链市场交易公平、公正；同时，该模型充分考虑了市场现实情况，建立储能模型与收益分配模型。38.本发明公开一种q-learning算法用于解决微电网区块链上交易实现共识的方法，将原来复杂的共识机制问题，转化为求解市场博弈的纳什均衡问题，将深度学习q-learning算法运行速度快、处理不确定市场信息能力强等优势运用到微电网市场的共识机制中；将kkt条件引入q-learning算法，使得该算法能够处理电力市场中的复杂约束条件；该方法摒弃了传统的工作量证明机制，在博弈中达到纳什均衡的微网运营商由于获得了最合适的利益，因而其没有理由打破现有平衡，进而可以作为共识机制所选定的主节点，对电力市场信息进行处理和打包上传管理。39.本发明公开了一种验证与排序机制，通过重重检验确保了共识机制的可靠性；该方法和传统工作量证明机制相比，效率更高、不需要进行无效的工作量。40.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明41.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。42.图1为第一个实施例的方法流程图。43.图2为第一个实施例的纳什均衡解求解流程图。44.图3为第二个实施例的系统结构图。具体实施方式45.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
技术领域：
：的普通技术人员通常理解的相同含义。46.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。47.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。48.区块链运用于电力市场交易，作为市场交易的平台与架构，是电力市场经济运行的一个研究重点，共识机制是区块链最重要的组成部分之一，然而现有研究共识机制并不适用于微电网电力市场交易。49.本发明提供了一种基于q方法和电网检测评估技术的微电网区块链交易共识方法，充分考虑了电网电压检测约束，通过q-learning算法将微电网参与的电力市场共识转化为求解市场纳什均衡解问题。本发明首先公开了一种用于微电网区块链上交易的市场模型，该模型提出了一种信誉成本计算方法，用于判断市场主体信誉情况；本发明针对运用于微电网市场化交易的区块链提出了一种新型的共识机制，该共识机制考虑电网电压检测评估，将深度学习q-learning算法运行速度快、处理不确定市场信息能力强等优势运用到微电网市场的共识机制中，通过kkt条件内嵌入q-learning算法中解决了q-learning算法难以处理复杂约束的弊端；本发明能有效提高微电网参与区块链市场交易共识过程的效率，减少因共识造成的能源浪费。50.实施例一51.本实施例公开了基于q方法和电网检测评估的微网交易共识方法；52.为了实现微网市场参与主体的共识，建立微电网区块链共识机制也就是求解微网市场的纳什均衡，本实施例先对微电网参与的电力市场建立数学模型，考虑到对电网电压的检测评估能够有效避免电压超过限定值，再用改进的q-learning算法进行共识解的探索，如图1所示，具体步骤包括：53.s1、基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；54.所述市场交易模型，包括市场收益函数、电网电压的检测评估、约束条件和电网参与者利润分配函数。55.所述市场收益函数，是市场出售电能的收益与生产电能的成本之差，市场出清目标以市场收益最大为目标；生产电能的成本，包括信誉成本、传统机组成本和储能成本。56.本发明提出一种信誉成本计算方法用于市场出清和微网运营商的信誉情况判断，市场交易模型具体建立如下：57.为了保证市场参与者参与区块链交易时能够诚实守信，本发明公开了一种信誉成本，如公式1所示，当微网参与市场，没有履行合约就会造成额外的成本惩罚，当信誉良好时就该成本为0。[0058][0059]其中，是t时刻第i个参与者的信誉成本，α代表信誉度系数与历史信誉评分有关，k代表守信次数k≥1，pc为合同交易电量，pm为实际交易电量，q(t)为信誉度函数。[0060]传统机组成本，可以近似拟合为二次函数，如公式2所示：[0061][0062]其中，为第i个参与者的传统发电成本，a、b、c为其成本系数，pi(t)为传统机组发电量；[0063]储能成本，可以近似拟合为一次函数，如公式3所示：[0064][0065]其中，为第i个参与者的储能成本，d为其成本系数，n代表24个时间段，pf(t)为实际用电量，pm(t)为实际发电量。[0066]市场收益函数即市场出售电能的收益与生产电能的成本之差，市场出清目标以市场收益最大为目标，如公式4所示：[0067][0068]其中，u为该电力市场实际收益，n为参与者数量，ρ(t)为实时电价，pm(t)为实际用电量，c(t)为总生产成本。[0069]考虑对电网电压进行检测评估，避免在进行区块链交易时，电压超出限制威胁电网运行安全，在进行共识时考虑到电网运行实际电压约束，将共识机制与实际电网运行模型相结合，电网电压检测评估的公式如下：[0070][0071]其中，vl为检测电压，vl＝zij*il，zij为i、j节点间阻抗，il线路电流，为线路允许最大电压，为线路允许最小电压。[0072]微网参与区块链电力市场主要考虑约束条件，主要有功率平衡约束、发电能力约束以及储能能力约束，具体如下：[0073]功率平衡约束：[0074][0075]其中，pm(t)为实际发电量，为储能储存电量，为储能释放电量，pj(t)为实际消费电量。[0076]发电能力约束：[0077][0078]其中，pm(t)为实际发电能力，为最大发电能力。[0079]储能能力约束：[0080][0081]其中，pm(t)为实际发电量，pf(t)为实际用电量，为最大储能储存电量。[0082]为了实现利润的合理分配，发明采用可以应用shapley值法来计算电网参与者的利润um,m∈[1,m]。shapley值法能按照微网对市场收益的边际贡献对收益进行分配,能够合理对所得收益进行分配。um的计算公式为：[0083][0084]其中，代表微网参与分配的权重系数；sm代表全部的市场的参与者；|s|表示市场参与者的个数；u(s)表示市场参与者的收益；u(s/m)代表在市场中排除掉市场主体m后的收益。[0085]s2、将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；[0086]首先需要利用q-learning算法求解市场的纳什均衡解，判断哪些节点率先实现市场均衡。q-learning算法是强化学习的一种,这种算法仍然采用探索加奖励的方式，建立q表该表格体现了当前状态s选择不同的动作a能够带来的奖励，以此来探索回报最大的途径，用来求得市场最优化，进而找到本发明所需要的纳什均衡解。由于q-learning本身特点，其缺乏应对电力市场中复杂约束条件的能力，对此本发明提供了一种kkt条件与q-learning算法相结合用于求解带复杂约束条件的微网市场出清计算，q值迭代公式如下式所示。[0087][0088]q-learning算法运用于求解微网参与的电力市场区块链上交易共识机制的流程，如图2所示，具体步骤为：[0089]s2-1：初始化q(s,a)表格，采用区块链市场参与者上一轮市场交易的状态作为市场初始状态，以函数u(t)作为奖励函数，设定结束循环的阈值。[0090]s2-2：更新微电网电力市场市场参数，包括储能能力约束、发电能力约束、微网发电参数以及信誉度模型参数等。[0091]s2-3：由于q-learning处理复杂约束条件的能力有限，因此采用kkt条件对q-learning算法进行改进，改进算法如下：[0092][0093]其中，l为拉格朗日函数，u为目标函数，λ，μ，ν，θ为待定系数，pm(t)为实际发电能力，为最大发电能力，为储能储存电量，为储能释放电量，pj(t)为实际消费电量。[0094]只需满足以下条件，就等价为在市场中满足约束条件。[0095][0096]λ≥0,ν≥0,θ≥0,μ≠0ꢀꢀꢀꢀꢀꢀ(13)[0097]其中，t*为达到最优目标的时刻，当t＝t*时，满足以下条件：[0098][0099]s2-4：利用已知微电网市场信息进行探索，先根据当前的q-table以及ε-greedy策略选取一个动作，计算当前市场收益，利用夏普利值法进行分配，判断某节点收益是否达到纳什均衡，达到均衡后将该节点市场信息以及均衡时间加入到纳什均衡区域序列中，并按照均衡时间从小到大排序。[0100]s2-5：根据q值公式和奖励以及给定系数计算新的q值，根据市场计算结果更新q表。[0101]s2-6：判断是否有达到纳什均衡的区块，并且判断迭代次数是否达到预设值，否则重新从s2-4开始执行。[0102]s3、对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。[0103]利用q-learning算法计算得到的市场计算得到的纳什均衡解，为了将该解利用于区块链的共识，采用一种验证与排序机制进行共识判断，最终确定达到纳什均衡的区块是否能够作为主节点进行区块链市场信息的打包和管理，具体步骤为：[0104]s3-1：对s2得到的达到纳什均衡的区块，进行超时判断，如果均衡时间大于预设最大时间，则错误概率大，不予采纳，回到步骤s2重新执行。[0105]s3-2：如果未超时，则暂定该节点为主节点，进入识别机制，同时选定纳什均衡区域序列中下一区域作为备选节点。[0106]s3-3：检验主节点信誉状况是否复合规范，判断信誉成本是否满足阈值符合规范，是则该节点顺利成为主节点，否则定时器数加1，继续判断备选。[0107]s3-4：如果第s3-3步没有选出主节点则重新执行s3-1。[0108]实施例二[0109]本实施例公开了基于q方法和电网检测评估的微网交易共识系统；[0110]如图3所示，基于q方法和电网检测评估的微网交易共识系统，包括模型建立模块、纳什均衡模块和共识判断模块；[0111]模型建立模块，被配置为：基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；[0112]纳什均衡模块，被配置为：将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；[0113]共识判断模块，被配置为：对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。[0114]实施例三[0115]本实施例的目的是提供计算机可读存储介质。[0116]计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。[0117]实施例四[0118]本实施例的目的是提供电子设备。[0119]电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。[0120]本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。[0121]本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0122]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0123]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0124]以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。[0125]上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。当前第1页12当前第1页12
技术领域：
：1.本发明属于交易共识
技术领域：
：，尤其涉及基于q方法和电网检测评估的微网交易共识方法及系统。
背景技术：
：：2.本部分的陈述仅仅是提供了与本发明相关的
背景技术：
：信息，不必然构成在先技术。3.随着电力行业对环保的要求不断提高，各种新能源在电力市场中占比不断提高，分布式是最为重要的清洁能源发电方式之一，具有广阔的发展前景，调查表明分布式有希望在未来成为最主要的新能源发电方式之一。由分布式能源构成的微网参与电力市场竞争使得电力市场参与主体更加多元，电力市场信息更加复杂，给传统的市场优化交易体系带来了巨大的挑战。传统电力市场调度采用集中式调度方式，首先是面对多微网交易的海量交易信息和市场主体多变的决策行为，传统方式处理困难；另外集中式的传统优化调度方法难以兼顾各个市场主体的收益，造成分布式并网不足；传统的集中式调度在效率和决策成本控制上也存在问题。因此，充分考虑全部各个市场主体市场行为，提高各个主体收益和效率，有必要将原来的集中式中心调度转变为分权化的交易。在该背景下，区块链技术是解决以上问题的一个重要手段。区块链技术具备去中心化、数据可靠、信息透明度高等优势，其去中心化的优势与分布式分散特点相契合，非常适用于多微网市场交易。另外，传统共识机制并不考虑对电网电压的检测评估，电压容易超出限制，对电网造成损害。对此，本发明公开了一种基于电网电压的检测评估的微电网区块链交易共识机制，运用q-learning来改进运用于微电网市场交易的区块链市场机制，将共识机制与微网实际需求相结合，建立起一种高效、环保的共识机制，可以为在微电网市场中推广区块链的使用奠定一方面的技术基础，促进微网市场转型。4.区块链共识机制是区块链最重要和基础的技术之一，区块链具备去中心化与权化等特点，每个节点都具备相当的权力，没有约束的情况下能够随意篡改整个区块链交易信息数据，如何使这些拥有相同权力的主体达成一致性决策是区块链需要解决的复杂问题，也就是共识机制。传统共识机制采用工作量证明机制等方法，首先是大量浪费能源与微电网发展环保的主题相违背，另外共识效率低下、错误率高都不适用于电力市场交易。电力市场竞争博弈本质就是求解市场均衡，即当前状态任意一方改变都会朝着不利的方向发展，与共识机制相契合，因此可以将求解市场均衡的算法与共识机制相结合，建立起新的区块链微网交易共识方法。5.强化学习技术是将学习的过程赋予权重和评价，主体不断去测试各种行为所带来的后果，当某个行为与理想结果相接近将获得“奖励”，否则获得惩罚。强化学习优势在于采用固定的运算模式，每一步运算量不大；只需要知道评价标准，而不需要知道寻优的方法和整个流程。这就使得强化学习具备求解速度快，不需要获得特别完整的信息就能够获得较为理想的结果。近年来，强化学习被广泛运用于电力系统领域，在电力市场优化调度、数字孪生技术、故障监测等领域发挥着重要作用。6.然而，适用于微电网市场交易的区块链共识机制相关研究较少、可行性不强，缺乏将强化学习运行速度快、运用不完整信息能力强运用于共识问题求解的研究。7.该研究方向对未来电力市场的发展是不可缺少的，尤其是运用区块链进行电能资源买卖的行为，为区块链技术在电力市场领域深度运用起到基础支撑的作用。技术实现要素：8.为克服上述现有技术的不足，本发明提供了基于q方法和电网检测评估的微网交易共识方法及系统，用于简化微电网参与的电力市场交易复杂的共识问题；在多微网参与的电力市场场景中，采用区块链作为交易的平台，每个市场主体作为区块链的参与节点，首先公开了一种适用于微电网区块链上交易的市场架构，该架构考虑了电网电压的检测评估，避免电压超过额定限制，保证网络运行安全；然后在该市场架构的基础上公开了基于q-learning算法的区块链共识机制，采用kkt条件对q-learning算法进行改进使之能够处理复杂电力市场约束，帮助维护区块链市场交易公平、公正，保证电网运行安全。9.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：10.本发明第一方面提供了基于q方法和电网检测评估的微网交易共识方法；11.基于q方法和电网检测评估的微网交易共识方法，包括：12.基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；13.将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；14.对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。15.进一步的，所述市场交易模型，包括市场收益函数、电网电压的检测评估、约束条件和电网参与者利润分配函数。16.进一步的，所述市场收益函数，是市场出售电能的收益与生产电能的成本之差，市场出清目标以市场收益最大为目标；17.生产电能的成本，包括信誉成本、传统机组成本和储能成本。18.进一步的，所述约束条件，包括功率平衡约束、发电能力约束以及储能能力约束。19.进一步的，所述电网参与者利润分配函数，应用shapley值法，按照微网对市场收益的边际贡献对收益进行分配，计算电网参与者的利润。20.进一步的，所述对市场交易模型进行纳什均衡求解，具体步骤为：21.初始化q表格；22.更新微电网电力市场参数；23.采用kkt条件对q-learning算法进行改进；24.利用已知微电网市场信息进行探索；25.计算新的q值，根据市场计算结果更新q表格；26.判断是否有达到纳什均衡的区块，没有达到则继续探索。27.进一步的，采用验证与排序机制，对达到纳什均衡的区块进行共识判断。28.本发明第二方面提供了基于q方法和电网检测评估的微网交易共识系统。29.基于q方法和电网检测评估的微网交易共识系统，包括模型建立模块、纳什均衡模块和共识判断模块；30.模型建立模块，被配置为：基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；31.纳什均衡模块，被配置为：将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；32.共识判断模块，被配置为：对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。33.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。34.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。35.以上一个或多个技术方案存在以下有益效果：36.本发明在多微网参与的电力市场场景中，采用区块链作为交易的平台，每个市场主体作为区块链的参与节点，公开了一种适用于微电网区块链上交易的市场架构，该架构考虑了电网电压的检测评估，避免电压超过额定限制，和传统共识机制相比该方法运行速度快，不需要占用过多算力，同时考虑了电网电压检测评估，保证了电网运行安全。37.本发明提出一种适用于微电网区块链上交易的数学出清模型，该模型公开了一种信誉成本计算方式，能够较好地反应参与区块链电力市场交易的微网信誉情况，并对违背诚信交易的行为进行惩罚，能够帮助维护区块链市场交易公平、公正；同时，该模型充分考虑了市场现实情况，建立储能模型与收益分配模型。38.本发明公开一种q-learning算法用于解决微电网区块链上交易实现共识的方法，将原来复杂的共识机制问题，转化为求解市场博弈的纳什均衡问题，将深度学习q-learning算法运行速度快、处理不确定市场信息能力强等优势运用到微电网市场的共识机制中；将kkt条件引入q-learning算法，使得该算法能够处理电力市场中的复杂约束条件；该方法摒弃了传统的工作量证明机制，在博弈中达到纳什均衡的微网运营商由于获得了最合适的利益，因而其没有理由打破现有平衡，进而可以作为共识机制所选定的主节点，对电力市场信息进行处理和打包上传管理。39.本发明公开了一种验证与排序机制，通过重重检验确保了共识机制的可靠性；该方法和传统工作量证明机制相比，效率更高、不需要进行无效的工作量。40.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明41.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。42.图1为第一个实施例的方法流程图。43.图2为第一个实施例的纳什均衡解求解流程图。44.图3为第二个实施例的系统结构图。具体实施方式45.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
技术领域：
：的普通技术人员通常理解的相同含义。46.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。47.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。48.区块链运用于电力市场交易，作为市场交易的平台与架构，是电力市场经济运行的一个研究重点，共识机制是区块链最重要的组成部分之一，然而现有研究共识机制并不适用于微电网电力市场交易。49.本发明提供了一种基于q方法和电网检测评估技术的微电网区块链交易共识方法，充分考虑了电网电压检测约束，通过q-learning算法将微电网参与的电力市场共识转化为求解市场纳什均衡解问题。本发明首先公开了一种用于微电网区块链上交易的市场模型，该模型提出了一种信誉成本计算方法，用于判断市场主体信誉情况；本发明针对运用于微电网市场化交易的区块链提出了一种新型的共识机制，该共识机制考虑电网电压检测评估，将深度学习q-learning算法运行速度快、处理不确定市场信息能力强等优势运用到微电网市场的共识机制中，通过kkt条件内嵌入q-learning算法中解决了q-learning算法难以处理复杂约束的弊端；本发明能有效提高微电网参与区块链市场交易共识过程的效率，减少因共识造成的能源浪费。50.实施例一51.本实施例公开了基于q方法和电网检测评估的微网交易共识方法；52.为了实现微网市场参与主体的共识，建立微电网区块链共识机制也就是求解微网市场的纳什均衡，本实施例先对微电网参与的电力市场建立数学模型，考虑到对电网电压的检测评估能够有效避免电压超过限定值，再用改进的q-learning算法进行共识解的探索，如图1所示，具体步骤包括：53.s1、基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；54.所述市场交易模型，包括市场收益函数、电网电压的检测评估、约束条件和电网参与者利润分配函数。55.所述市场收益函数，是市场出售电能的收益与生产电能的成本之差，市场出清目标以市场收益最大为目标；生产电能的成本，包括信誉成本、传统机组成本和储能成本。56.本发明提出一种信誉成本计算方法用于市场出清和微网运营商的信誉情况判断，市场交易模型具体建立如下：57.为了保证市场参与者参与区块链交易时能够诚实守信，本发明公开了一种信誉成本，如公式1所示，当微网参与市场，没有履行合约就会造成额外的成本惩罚，当信誉良好时就该成本为0。[0058][0059]其中，是t时刻第i个参与者的信誉成本，α代表信誉度系数与历史信誉评分有关，k代表守信次数k≥1，pc为合同交易电量，pm为实际交易电量，q(t)为信誉度函数。[0060]传统机组成本，可以近似拟合为二次函数，如公式2所示：[0061][0062]其中，为第i个参与者的传统发电成本，a、b、c为其成本系数，pi(t)为传统机组发电量；[0063]储能成本，可以近似拟合为一次函数，如公式3所示：[0064][0065]其中，为第i个参与者的储能成本，d为其成本系数，n代表24个时间段，pf(t)为实际用电量，pm(t)为实际发电量。[0066]市场收益函数即市场出售电能的收益与生产电能的成本之差，市场出清目标以市场收益最大为目标，如公式4所示：[0067][0068]其中，u为该电力市场实际收益，n为参与者数量，ρ(t)为实时电价，pm(t)为实际用电量，c(t)为总生产成本。[0069]考虑对电网电压进行检测评估，避免在进行区块链交易时，电压超出限制威胁电网运行安全，在进行共识时考虑到电网运行实际电压约束，将共识机制与实际电网运行模型相结合，电网电压检测评估的公式如下：[0070][0071]其中，vl为检测电压，vl＝zij*il，zij为i、j节点间阻抗，il线路电流，为线路允许最大电压，为线路允许最小电压。[0072]微网参与区块链电力市场主要考虑约束条件，主要有功率平衡约束、发电能力约束以及储能能力约束，具体如下：[0073]功率平衡约束：[0074][0075]其中，pm(t)为实际发电量，为储能储存电量，为储能释放电量，pj(t)为实际消费电量。[0076]发电能力约束：[0077][0078]其中，pm(t)为实际发电能力，为最大发电能力。[0079]储能能力约束：[0080][0081]其中，pm(t)为实际发电量，pf(t)为实际用电量，为最大储能储存电量。[0082]为了实现利润的合理分配，发明采用可以应用shapley值法来计算电网参与者的利润um,m∈[1,m]。shapley值法能按照微网对市场收益的边际贡献对收益进行分配,能够合理对所得收益进行分配。um的计算公式为：[0083][0084]其中，代表微网参与分配的权重系数；sm代表全部的市场的参与者；|s|表示市场参与者的个数；u(s)表示市场参与者的收益；u(s/m)代表在市场中排除掉市场主体m后的收益。[0085]s2、将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；[0086]首先需要利用q-learning算法求解市场的纳什均衡解，判断哪些节点率先实现市场均衡。q-learning算法是强化学习的一种,这种算法仍然采用探索加奖励的方式，建立q表该表格体现了当前状态s选择不同的动作a能够带来的奖励，以此来探索回报最大的途径，用来求得市场最优化，进而找到本发明所需要的纳什均衡解。由于q-learning本身特点，其缺乏应对电力市场中复杂约束条件的能力，对此本发明提供了一种kkt条件与q-learning算法相结合用于求解带复杂约束条件的微网市场出清计算，q值迭代公式如下式所示。[0087][0088]q-learning算法运用于求解微网参与的电力市场区块链上交易共识机制的流程，如图2所示，具体步骤为：[0089]s2-1：初始化q(s,a)表格，采用区块链市场参与者上一轮市场交易的状态作为市场初始状态，以函数u(t)作为奖励函数，设定结束循环的阈值。[0090]s2-2：更新微电网电力市场市场参数，包括储能能力约束、发电能力约束、微网发电参数以及信誉度模型参数等。[0091]s2-3：由于q-learning处理复杂约束条件的能力有限，因此采用kkt条件对q-learning算法进行改进，改进算法如下：[0092][0093]其中，l为拉格朗日函数，u为目标函数，λ，μ，ν，θ为待定系数，pm(t)为实际发电能力，为最大发电能力，为储能储存电量，为储能释放电量，pj(t)为实际消费电量。[0094]只需满足以下条件，就等价为在市场中满足约束条件。[0095][0096]λ≥0,ν≥0,θ≥0,μ≠0ꢀꢀꢀꢀꢀꢀ(13)[0097]其中，t*为达到最优目标的时刻，当t＝t*时，满足以下条件：[0098][0099]s2-4：利用已知微电网市场信息进行探索，先根据当前的q-table以及ε-greedy策略选取一个动作，计算当前市场收益，利用夏普利值法进行分配，判断某节点收益是否达到纳什均衡，达到均衡后将该节点市场信息以及均衡时间加入到纳什均衡区域序列中，并按照均衡时间从小到大排序。[0100]s2-5：根据q值公式和奖励以及给定系数计算新的q值，根据市场计算结果更新q表。[0101]s2-6：判断是否有达到纳什均衡的区块，并且判断迭代次数是否达到预设值，否则重新从s2-4开始执行。[0102]s3、对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。[0103]利用q-learning算法计算得到的市场计算得到的纳什均衡解，为了将该解利用于区块链的共识，采用一种验证与排序机制进行共识判断，最终确定达到纳什均衡的区块是否能够作为主节点进行区块链市场信息的打包和管理，具体步骤为：[0104]s3-1：对s2得到的达到纳什均衡的区块，进行超时判断，如果均衡时间大于预设最大时间，则错误概率大，不予采纳，回到步骤s2重新执行。[0105]s3-2：如果未超时，则暂定该节点为主节点，进入识别机制，同时选定纳什均衡区域序列中下一区域作为备选节点。[0106]s3-3：检验主节点信誉状况是否复合规范，判断信誉成本是否满足阈值符合规范，是则该节点顺利成为主节点，否则定时器数加1，继续判断备选。[0107]s3-4：如果第s3-3步没有选出主节点则重新执行s3-1。[0108]实施例二[0109]本实施例公开了基于q方法和电网检测评估的微网交易共识系统；[0110]如图3所示，基于q方法和电网检测评估的微网交易共识系统，包括模型建立模块、纳什均衡模块和共识判断模块；[0111]模型建立模块，被配置为：基于微网参与的区块链电力市场信息，建立基于电网检测评估技术的市场交易模型；[0112]纳什均衡模块，被配置为：将kkt条件与q-learning算法相结合，对市场交易模型进行纳什均衡求解，得到达到纳什均衡的区块；[0113]共识判断模块，被配置为：对达到纳什均衡的区块进行共识判断，符合条件的区块作为主节点进行区块链市场信息的打包和管理。[0114]实施例三[0115]本实施例的目的是提供计算机可读存储介质。[0116]计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。[0117]实施例四[0118]本实施例的目的是提供电子设备。[0119]电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于q方法和电网检测评估的微网交易共识方法中的步骤。[0120]本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。[0121]本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0122]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0123]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0124]以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。[0125]上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
