一种基于互联网的高可用数据交互系统及方法与流程

1.本发明涉及高可用数据交互系统及其部属方法、数据采集方法，属于电力调度自动化技术领域。


背景技术：

2.在泛在电力调度互联网背景下，伴随着新能源技术的快速发展，储能等新技术不断涌现，在带来显著经济、社会、环境效益的同时，也使电力系统特性发生重大变化。当前，传统电网调节资源的调度空间越来越小，电网面临系统安全问题突出、新能源利用率低、调度精益化水平有待提升等突出问题。为有效拓展电网调节资源，亟需推动传统的“源随荷动”调度模式向“源网荷储泛在调度控制”模式转变。
3.而当前多数新能源公司由于参与市场，将其数据平台置于互联网，这就需要电网运行平台与互联网进行数据交互，主要需要提供聚合商上送数据的接收和解析功能，并进行对外网服务的服务调用功能。为配合源网荷储多元协调调度控制的要求，吸引让处于互联网的新能源资源聚合商参与电网调峰，提高传统资源利用率，扩大电网调节资源的调度空间，让电网运行平台与聚合商数据平台进行安全的数据交互，需要开发一种基于互联网的高可用数据交互系统及方法。


技术实现要素：

4.本发明的目的是针对现有技术的不足，提供一种基于互联网的高可用数据交互系统及方法，实现了电网运行平台与新能源资源聚合商在互联网层进行安全的数据交互，在泛在电力调度互联网背景下，对互联网聚合商提供多活数据服务，具有良好的应用前景。
5.为了达到上述目的，本发明所采用的技术方案是：一方面，本发明提供一种基于互联网的高可用数据交互系统，包括：客户端、部署于运行平台的代理服务器和部署于运行平台的数据交互服务器，所述客户端分别连接互联网和运行平台；所述数据交互服务器，用于针对各互联网上送节点生成其受信任密钥证书，并将生成的各上送节点的受信任密钥证书发送给客户端；所述客户端，用于完成初始化后在与互联网数据交互之前根据数据交互服务器生成的各上送节点的受信任密钥证书对互联网各上送节点上送的受信任密钥证书进行认证；所述客户端，还用于采集各认证通过的互联网上送节点的服务请求发送至运行平台的代理服务器；所述代理服务器用于完成端口映射，以使得代理服务器将客户端转发的互联网上送节点的服务请求转到数据交互服务器；所述数据交互服务器还用于响应所述服务请求实现与互联网的数据交互。
6.由于聚合商市场广阔，交互数据量也很庞大，对电网运行平台安全稳定性要求较高，为了服务的高可用性，在所述第一方面或所述第一方面的前述任意一种可能的实现方
式中，进一步地，所述客户端还用于向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收的客户端的运行状态信息监视客户端状态，所述数据交互服务器，还用于响应于接收到的客户端组播的运行状态信息对客户端进行状态监视。
7.基于以上技术方案，为避免单节点服务异常导致交互双方停止通信，提高系统的高并发性能，在所述第一方面或所述第一方面的前述任意一种可能的实现方式中，进一步地，所述系统包括至少两个客户端，所述客户端，还用于向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收到的各客户端组播的运行状态信息对客户端进行状态监视，并确定主客户端以及完成主备切换；所述数据交互服务器，用于响应于接收到的各客户端组播的运行状态信息对客户端进行状态监视，并确定主客户端完成主备切换，然后通知主客户端；被确定的主客户端还用于采集各认证通过的互联网上送节点的服务请求发送至运行平台的代理服务器。
8.第二方面，本发明提供一种基于互联网的高可用数据交互方法，包括以下步骤： 在互联网和运行平台之间部署客户端，在运行平台部署代理服务器和数据交互服务器；通过代理服务器完成端口映射，以使得代理服务器将客户端转发的互联网上送节点的服务请求转到数据交互服务器；利用数据交互服务器针对各互联网上送节点生成其受信任密钥证书，并将生成的各互联网上送节点的受信任密钥证书发送给客户端；客户端完成初始化后，在与互联网数据交互之前根据数据交互服务器生成的各上送节点的受信任密钥证书，对互联网各上送节点上送的受信任密钥证书进行认证；利用客户端采集各认证通过的互联网上送节点的服务请求发送至运行平台的代理服务器；代理服务器将客户端转发的互联网上送节点的服务请求转到数据交互服务器；利用数据交互服务器响应所述服务请求实现与互联网的数据交互。
9.由于聚合商市场广阔，交互数据量也很庞大，对电网运行平台安全稳定性要求较高，为了服务的高可用性，在所述第一方面或所述第一方面的前述任意一种可能的实现方式中，进一步地，所述方法还包括：客户端向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收的客户端的运行状态信息监视客户端状态；所述数据交互服务器响应于接收到的客户端组播的运行状态信息对客户端进行状态监视。
10.基于以上技术方案，为避免单节点服务异常导致交互双方停止通信，提高系统的高并发性能，在所述第一方面或所述第一方面的前述任意一种可能的实现方式中，进一步地，所述方法还包括：部署至少两个客户端，各客户端向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收到的各客户端组播的运行状态信息对客户端进行状态监视，并确定主客户端以及完成主备切换。
11.本发明所取得有益技术效果：本发明通过在互联网和运行平台之间部署数据上送的客户端，实现了互联网与运行平台之间的数据交互，解决了当前多数新能源公司参与市场，将其数据平台置于互联网，电网运行平台与互联网进行数据交互的技术问题，并且在每次互联网数据交互之前都通过客户端对互联网节点的安全认证，提高了运行平台的安全性和稳定性，为电网运行平台与新能源资源聚合商在互联网层进行数据交互提供技术支持。
12.本发明通过数据交互服务器中部署程序对客户端进行运行状态监视，提高客户端
的可靠性，为互联网数据采集提供了安全高效的运行系统，保证了源网荷储数据交互不间断；本发明通过部署主备客户端，并利用数据交互服务器中部署程序对主备服务进行检测和自动化管理，实现服务的高可用，减小单节点服务运行异常时，数据无法交互的风险。
13.本发明配合源网荷储多元协调调度控制的要求，吸引让处于互联网的新能源资源聚合商参与电网调峰，提高传统资源利用率，扩大电网调节资源的调度空间，让电网运行平台与聚合商数据平台进行交互，提供了开发安全的主备切换的数据交互系统。在泛在电力调度互联网背景下，对互联网聚合商提供多活数据服务，具有良好的应用前景。
附图说明
14.图1是本发明具体实施例提供的方法中服务调用过程流程图。
15.图2是本发明具体实施例提供的方法中服务部署流程示意图。
16.图3是本发明具体实施例提供的keepalived判定nginx主机的轮询过程。
17.图4是本发明具体实施客户端管理工具判定客户端主机的过程。
18.图5是本发明具体实施方法和数据交互流程示意图。
具体实施方式
19.下面将结合说明书附图，对本发明作进一步说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
20.实施例一、一种基于互联网的高可用数据交互系统，包括：客户端、部署于运行平台的代理服务器和部署于运行平台的数据交互服务器，所述客户端分别连接互联网和运行平台；所述数据交互服务器，用于针对各互联网上送节点生成其受信任密钥证书，并将生成的各上送节点的受信任密钥证书发送给客户端；所述客户端，用于完成初始化后根据数据交互服务器生成的各上送节点的受信任密钥证书对互联网各上送节点上送的受信任密钥证书进行认证；所述客户端，还用于采集各认证通过的互联网上送节点的服务请求发送至运行平台的代理服务器；所述代理服务器用于完成端口映射，以使得代理服务器将客户端转发的互联网上送节点的服务请求转到数据交互服务器；所述数据交互服务器还用于响应于服务请求实现与互联网的数据交互。
21.可选地，本实施例中在运行平台部署数据交互服务器集群，指定一台作为数据交互服务器主机，其它作为备用署数据交互服务器。
22.所述数据交互服务器，用于针对各互联网上送节点生成其受信任密钥证书，并将生成的各上送节点的受信任密钥证书发送给客户端的具体方法包括：数据交互服务器利用java自带的keytool工具生成ssl证书，根据服务端相关要求，指定证书库密码，生成服务侧密钥证书库（.keystore）的文件，并根据不同互联网客户端，指定受信任密码，生成受信任密钥证书（.cer）文件，提供给对应互联网客户端。
23.数据交互服务器还用于响应于服务请求实现与互联网的数据交互，具体实现方法包括：数据接收处理服务，以tomcat为服务容器，用spring-mvc开发框架，封装jdbc相关接口，对接收数据的相关计算，完成数据解析、入库等操作，并将应用发布成http服务，并用生
成的密钥证书库（.keystore）作为tomcat的ssl安全访问密钥库，进行配置后将http访问重定向到https。
24.实施例二、一种基于互联网的高可用数据交互系统，在实施例一的基础上，为了服务的高可用性，本实施例中所述客户端还用于向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收的客户端的运行状态信息监视客户端状态，所述数据交互服务器，还用于响应于接收到的客户端组播的运行状态信息对客户端进行状态监视。
25.实施例三、一种基于互联网的高可用数据交互系统，在实施例一的基础上，为避免单节点服务异常导致交互双方停止通信，提高系统的高并发性能，本实施例中进一步地，所述系统包括至少两个客户端，所述客户端，还用于向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收到的各客户端组播的运行状态信息对客户端进行状态监视，并确定主客户端以及完成主备切换；所述数据交互服务器，用于响应于接收到的各客户端组播的运行状态信息对客户端进行状态监视，并确定主客户端完成主备切换，然后通知主客户端；被确定的主客户端还用于采集各认证通过的互联网上送节点的服务请求发送至运行平台的代理服务器。
26.实施例四、一种基于互联网的高可用数据交互方法，包括：在互联网和运行平台之间部署客户端，在运行平台部署代理服务器和数据交互服务器；通过代理服务器完成端口映射，以使得代理服务器将客户端转发的互联网上送节点的服务请求转到数据交互服务器；利用数据交互服务器针对各互联网上送节点生成其受信任密钥证书，并将生成的各互联网上送节点的受信任密钥证书发送给客户端；客户端完成初始化后，在与互联网数据交互之前根据数据交互服务器生成的各上送节点的受信任密钥证书，对互联网各上送节点上送的受信任密钥证书进行认证；利用客户端采集各认证通过的互联网上送节点的服务请求发送至运行平台的代理服务器；代理服务器将客户端转发的互联网上送节点的服务请求转到数据交互服务器；利用数据交互服务器接收所述服务请求中的数据。本发明通过在互联网和运行平台之间部署数据上送的客户端，实现了互联网与运行平台之间的数据交互，解决了当前多数新能源公司参与市场，将其数据平台置于互联网，电网运行平台与互联网进行数据交互的技术问题，并且在每次互联网数据交互之前都通过客户端对互联网节点的安全认证，提高了运行平台的安全性和稳定性，为电网运行平台与新能源资源聚合商在互联网层进行数据交互提供技术支持。
27.实施例五、在实施例四的基础上，本实施例中所述方法还包括：客户端向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收的客户端的运行状态信息监视客户端状态；所述数据交互服务器响应于接收到的客户端组播的运行状态信息对客户端进行状态监视。
28.所述数据交互服务器响应于接收到的客户端组播的运行状态信息对客户端进行状态监视的具体方法包括：在所述数据交互服务器中部署客户端状态管理服务（即客户端管理工具），对客户端状态管理服务初始化，首次接收客户端发送出来的客户端运行状态信息时，分配给客户端一个初始权值；而后接收到客户端组播运行状态消息时，对客户端的运
行状态进行刷新，将客户端的刷新时间与管理服务器当前系统时间进行比较，若刷新时间与服务器当前时间差的绝对值在预设值以内，则判断该客户端程序正常运行，保持权值不变；否则判断该客户端异常，权值减去设定值；当任一客户端权值小于或等于0时，状态管理服务将客户端状态置为离线。
29.实施例六、在实施例四的基础上，本实施例中所述方法还包括：部署至少两个客户端，各客户端向数据交互服务器组播自身的运行状态信息，以使得所述数据交互服务器响应于接收到的各客户端组播的运行状态信息对客户端进行状态监视，并确定主客户端以及完成主备切换；数据交互服务器响应于接收到的各客户端组播的运行状态信息对客户端进行状态监视，并确定主客户端完成主备切换，通知主客户端；被确定的主客户端采集各认证通过的互联网上送节点的服务请求发送至运行平台的代理服务器。
30.本实施例在运行平台部署代理服务器集群，指定一台代理服务器主机，其它作为备用署代理服务器；在运行平台部署数据交互服务器集群，指定一台作为数据交互服务器主机，其它作为备用署数据交互服务器。
31.本实施例中首先需要客户端请求互联网上送节点上送数据，在其它实施例中互联网上送节点可选地主动上送数据。
32.本实施客户端通过post方式请求https服务上送采集数据，并socket组播客户端的运行信息，服务管理进程接收运行信息并管理客户端的主机状态。
33.客户端通过socket通信的方式组播本机的运行状态消息，消息格式如下：刷新时间:服务器ip，其中，刷新时间为组播发送时的系统时间，服务器ip为客户端所在服务器ip。
34.本实施例中服务调用过程的流程图如图1所示。所述数据交互服务器响应于接收到的客户端组播的运行状态信息对客户端进行状态监视并确定主客户端以及完成主备切换的具体方法包括：在所述数据交互服务器中部署客户端状态管理服务，对客户端状态管理服务（即客户端管理工具）初始化（初始化包括根据互联网上送节点如新能源聚合商的设备属性为新能源聚合商建模），首次接收各客户端发送出来的客户端服务状态信息时，选取最早发来组播消息的客户端为客户端主机，并分配给每台客户端一个初始权值，其中主机为100，其他备机为90，80,70，
…
；而后接收到组播消息时，对每台客户端的运行状态进行刷新，将每台客户端的刷新时间与管理服务器当前系统时间进行比较，若刷新时间与服务器当前时间差的绝对值在10s内，则判断该客户端程序正常运行，保持权值不变，否则判断该客户端异常，权值减去50；管理服务每2秒，会根据权值大小重新选出客户端主机；当任一客户端权值小于或等于0时，状态管理服务将客户端状态置为离线，不在参与权值比较，客户端主机判定过程如附图4所示。
35.本实施例中，通过客户端状态管理服务（即客户端管理工具）判定出的客户端主机，进行采集数据的上送并持续发送运行状态信息，备机则只发送组播消息，不进行数据的上送。
36.数据交互服务器利用java自带的keytool工具生成ssl证书，根据服务端相关要求，指定证书库密码，生成服务侧密钥证书库（.keystore）的文件，并根据不同互联网客户端，指定受信任密码，生成受信任密钥证书（.cer）文件，提供给对应互联网客户端。
37.本实施例中通过主备客户端实现互联网和运行平台的采集数据交互的流程图如图2所示。作为客户端主机接收互联网上送节点上送的信息获取源端变化数据，加载服务证
书并进行服务请求，将变化数据打包发送给服务端，同时发送socket服务组播在线运行状态信息，提供出口代理服务，若存在可用的代理服务器，则代理服务器转发客户端提交的接口信息和数据查询请求，如果数据交互服务器在线则实现服务调用，若主机不在线，则备机提供服务调用，备用客户端只发送socket服务在线运行状态组播信息。图2中服务主机即数据交互服务器。
38.上送数据时，客户端会加载由数据接收侧的数据交互服务器生成的受信任密钥证书（.cer）文件，使用httpurlconnection以post的方式请求接收侧提供的https服务，post请求提交的内容为最新的采集数据。
39.本实施例提供的基于互联网的高可用数据交互流程示意图如图5所示。本实施例中，部署代理服务器实现nat端口映射，将keepalived定义虚拟ip映射互联网ip，供以互联网数据上送方进行代理访问。可选地在运行平台部署代理服务器集群，指定一台代理服务器主机，其它作为备用署代理服务器。在每台代理服务器上部署nginx服务，并配置相同的转发策略，指定任一台采集服务器为采集服务主机，其他为采集服务备机（backup）；同时，nginx对映射至互联网的代理端口进行监听，在收到外部代理请求时，进行tcp层的数据转发，将服务请求参数转发至数据采集服务主机。指定的nginx代理服务主机才会在收到来自互联网的代理请求。
40.指定nginx代理服务主机的方法如下：在代理服务器集群中每个代理服务器上的nginx服务会由keepalived进行监视，监视过程和nginx主机判定过程如附图3所示。首先，给keepalived设定一个虚拟ip；其次，选定任一台代理服务器作为keepalived的master节点，设置其权重值为100，其他节点为backup节点，它们的权重值分别为90,80，
…
；只有master节点享有虚拟ip的使用权；keepalived每2秒会检查本机nginx的运行状态，若nginx运行异常，则尝试重启，若重启失败，则将该节点的权重值减10；keepalived所有节点之间相互通信，每2秒会轮询所有代理服务器，根据最新的权重值大小,判定出最新的master节点，分配其虚拟ip使用权限，该ip就是内网代理服务的主机ip。
41.本发明提供的一种基于互联网的高可用数据交互系统及方法，通过在互联网层部署https数据处理服务，数据下发客户端服务，并安装配置代理工具和服务活性监测工具，对各服务运行状态进行监视和主备切换，实现电网运行平台和新能源聚合商之间的高可用多并发的数据交互。
42.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
43.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
44.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
45.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
46.以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。