基于IoT分发网关的风电场数据分发方法、装置及系统与流程

基于iot分发网关的风电场数据分发方法、装置及系统
技术领域
1.本发明涉及风力发电技术领域，特别涉及一种基于iot(物联网)分发网关的风电场数据分发方法、装置及系统。


背景技术：

2.随着互联网与工业融合创新的发展，智能制造时代的到来和工业4.0的发展，针对种类繁多的风电场大数据，采集的时效性要求较高，并且对数据的处理和分析的真实性、完整性和可靠性要求更加严格。
3.而当前风电场数据分发网关存在数据分发不稳定(例如，会出现硬件故障、软件宕机、网络中断等故障)、海量数据超限接入(例如，当风电场数据接入量超出数据分发网关处理能力时，会出现数据丢失，或数据分发网关超负荷运行等问题)、没有严格按照风电场采集数据工业标准设定数据过滤规则(例如，设定风电场scada(数据采集与监视控制系统)数值超限，数据格式错误规则等)、以及缺乏统一的风电场数据网关监控平台对各风电场数据分类、数据流量、系统资源进行实时监控，并进行异常报警，方便问题跟踪及问题排查解决的缺陷。


技术实现要素：

4.本发明要解决的技术问题是为了克服现有技术中风电场数据分发网关存在数据分发不稳定以及无法实现海量数据分发的缺陷，提供一种基于iot分发网关的风电场数据分发方法、装置及系统。
5.本发明是通过下述技术方案来解决上述技术问题：
6.本发明第一方面提供了一种基于iot分发网关的风电场数据分发方法，适用于集控云平台，所述分发方法包括：
7.通过所述iot分发网关接收所述风电场数据；
8.预处理所述风电场数据，以得到处理后的风电场数据；
9.将所述处理后的风电场数据按照分发存储条件分发至不同的数据库。
10.较佳地，所述预处理所述风电场数据，以得到处理后的风电场数据的步骤之后，所述分发方法还包括：
11.给所述iot分发网关分配至少一个数据分发服务器；
12.监控每个所述数据分发服务器的工作状态；
13.根据所述工作状态筛选出至少一个正常的数据分发服务器；
14.通过所述至少一个正常的数据分发服务器将所述处理后的风电场数据按照分发存储条件分发至不同的数据库。
15.较佳地，所述分发方法还包括：
16.对所述处理后的风电场数据设置数据索引。
17.较佳地，所述预处理所述风电场数据，以得到处理后的风电场数据的步骤包括：
18.对所述风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据。
19.较佳地，所述对所述风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据的步骤包括：
20.根据映射条件对所述风电场数据进行替换。
21.较佳地，所述对所述风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据的步骤还包括：
22.按照设定条件对所述风电场数据进行过滤、去重处理。
23.较佳地，所述对所述风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据的步骤还包括：
24.对所述风电场数据进行函数运算。
25.较佳地，所述对所述风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据的步骤还包括：
26.对所述风电场数据建立多表连接。
27.较佳地，所述对所述风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据的步骤还包括：
28.对所述风电场数据进行拆分，以对拆分后的风电场数据进行分表存储。
29.较佳地，所述根据映射条件对所述风电场数据进行替换的步骤包括：
30.根据所述映射条件对风电场数据中设定的字段按照预设值进行替换。
31.较佳地，所述按照设定条件对所述风电场数据进行过滤、去重处理的步骤包括：
32.过滤没有风电场编号、风机id以及时间戳的风电场数据，以及去除风电场数据中的重复字段。
33.较佳地，所述对所述风电场数据进行函数运算的步骤包括：
34.对所述风电场数据求平均值、最大值、最小值、中位数、方差、标准差以及数据分布。
35.较佳地，所述对所述风电场数据建立多表连接的步骤包括：
36.对所述风电场数据建立左连接、右连接、全连接和内连接。
37.较佳地，所述对所述风电场数据进行拆分，以对拆分后的风电场数据进行分表存储的步骤包括：
38.按照风机部套进行拆分，将发电机、齿轮箱、偏航系统、变桨、叶轮、主轴等风电场数据进行分表存储。
39.较佳地，所述风电场数据包括scada数据、cms(内容管理系统)数据、buffer(缓冲区)数据、高频数据、变流器数据、变桨数据和风资源数据中的至少一种；
40.和/或，
41.所述数据库包括远程字典服务、实时数据库、关系型数据库、非关系型数据库、基于分布式文件存储数据库、数据仓库工具、大数据平台、开源数据库和分布式文件系统中的至少一种。
42.本发明第二方面提供了一种基于iot分发网关的风电场数据分发装置，适用于集控云平台，所述分发装置包括接收模块、预处理模块和分发模块；
43.所述接收模块，用于通过所述iot分发网关接收所述风电场数据；
44.所述预处理模块，用于预处理所述风电场数据，以得到处理后的风电场数据；
45.所述分发模块，用于将所述处理后的风电场数据按照分发存储条件分发至不同的数据库。
46.较佳地，所述分发装置还包括分配模块、监控模块和筛选模块；
47.所述分配模块，用于给所述iot分发网关分配至少一个数据分发服务器；
48.所述监控模块，用于监控每个所述数据分发服务器的工作状态；
49.所述筛选模块，用于根据所述工作状态筛选出至少一个正常的数据分发服务器；
50.所述分发模块，具体用于通过所述至少一个正常的数据分发服务器将所述处理后的风电场数据按照分发存储条件分发至不同的数据库。
51.较佳地，所述分发装置还包括设置模块；
52.所述设置模块，用于对所述处理后的风电场数据设置数据索引。
53.较佳地，所述预处理模块，具体用于对所述风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据。
54.较佳地，所述预处理模块包括替换单元；
55.所述替换单元，用于根据映射条件对所述风电场数据进行替换。
56.较佳地，所述预处理模块还包括处理单元；
57.所述处理单元，用于按照设定条件对所述风电场数据进行过滤、去重处理。
58.较佳地，所述预处理模块还包括运算单元；
59.所述运算单元，用于对所述风电场数据进行函数运算。
60.较佳地，所述预处理模块还包括建立单元；
61.所述建立单元，用于对所述风电场数据建立多表连接。
62.较佳地，所述预处理模块还包括拆分单元；
63.所述拆分单元，用于对所述风电场数据进行拆分，以对拆分后的风电场数据进行分表存储。
64.较佳地，所述替换单元，具体用于根据所述映射条件对风电场数据中设定的字段按照预设值进行替换。
65.较佳地，所述处理单元，具体用于过滤没有风电场编号、风机id以及时间戳的风电场数据，以及去除风电场数据中的重复字段。
66.较佳地，所述运算单元，具体用于对所述风电场数据求平均值、最大值、最小值、中位数、方差、标准差以及数据分布。
67.较佳地，所述建立单元，具体用于对所述风电场数据建立左连接、右连接、全连接和内连接。
68.较佳地，所述拆分单元，具体用于按照风机部套进行拆分，将发电机、齿轮箱、偏航系统、变桨、叶轮、主轴等风电场数据进行分表存储。
69.较佳地，所述风电场数据包括scada数据、cms数据、buffer数据、高频数据、变流器数据、变桨数据和风资源数据中的至少一种；
70.和/或，
71.所述数据库包括远程字典服务、实时数据库、关系型数据库、非关系型数据库、基于分布式文件存储数据库、数据仓库工具、大数据平台、开源数据库和分布式文件系统中的
至少一种。
72.本发明第三方面提供了一种基于iot分发网关的风电场数据分发系统，所述分发系统包括风电场采集设备、集控云平台和数据库；
73.所述风电场采集设备，用于采集风电场数据，并将所述风电场数据传输至所述集控云平台；
74.所述集控云平台，用于通过所述iot分发网关接收所述风电场数据；预处理所述风电场数据，以得到处理后的风电场数据；将所述处理后的风电场数据按照分发存储条件分发至不同的数据库；
75.所述数据库，用于存储所述集控云平台发送的所述处理后的风电场数据。
76.较佳地，所述集控云平台包括iot分发网关、数据接入模块、数据注入模块、故障切换服务模块和数据分发服务器；
77.所述iot分发网关，用于分别与所述风电场采集设备和所述数据库连接；
78.所述数据接入模块，用于将通过所述iot分发网关接收的所述风电场数据传输给所述数据注入模块；
79.所述数据注入模块，用于给所述iot分发网关分配至少一个数据分发服务器，并将所述风电场数据传输给所述至少一个数据分发服务器；
80.所述故障切换服务模块，用于监控每个所述数据分发服务器的工作状态；根据所述工作状态筛选出至少一个正常的数据分发服务器；
81.所述数据分发服务器，用于预处理所述风电场数据，以得到处理后的风电场数据；将所述处理后的风电场数据按照分发存储条件分发至不同的数据库；以及对所述处理后的风电场数据设置数据索引。
82.本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于iot分发网关的风电场数据分发方法。
83.本发明第五方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于iot分发网关的风电场数据分发方法。
84.在符合本领域常识的基础上，所述各优选条件，可任意组合，即得本发明各较佳实施例。
85.本发明的积极进步效果在于：
86.本发明通过iot分发网关接收风电场数据；预处理风电场数据，以得到处理后的风电场数据；将处理后的风电场数据按照分发存储条件分发至不同的数据库，实现了基于iot分发网关对各种类型的风电场数据的统一接入以及自动分发，提高了集控云平台的稳定性。
附图说明
87.图1为本发明实施例1的基于iot分发网关的风电场数据分发方法的流程图。
88.图2为本发明实施例2的基于iot分发网关的风电场数据分发方法的第一流程图。
89.图3为本发明实施例2的基于iot分发网关的风电场数据分发方法的第二流程图。
90.图4为本发明实施例3的基于iot分发网关的风电场数据分发装置的结构示意图。
91.图5为本发明实施例4的基于iot分发网关的风电场数据分发装置的结构示意图。
92.图6为本发明实施例5的基于iot分发网关的风电场数据分发系统的第一结构示意图。
93.图7为本发明实施例5的基于iot分发网关的风电场数据分发系统的第二结构示意图。
94.图8为本发明实施例6的实现基于iot分发网关的风电场数据分发方法的电子设备的结构示意图。
具体实施方式
95.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
96.实施例1
97.本实施例提供的一种基于iot分发网关的风电场数据分发方法，适用于集控云平台，如图1所示，该分发方法包括：
98.步骤101、通过iot分发网关接收风电场数据；
99.本实施例中，风电场数据包括scada数据、cms数据、buffer数据、高频数据、变流器数据、变桨数据和风资源数据中的至少一种。
100.本实施例中，scada系统将风电场数据通过iot分发网关传输到集控云平台。
101.例如，通过风电场iot分发网关接入的数据，包括但不限于齿轮箱、发动机、偏航系统、箱变、主轴、测风塔、变流器等部套的数据，还可以包括数字量信号、模拟量信号、通讯类信号等。
102.需要说明的是，iot分发网关支持负载均衡，进行风电场海量采集数据的接入处理，具体地，本实施例将发送风电场数据的执行操作通过iot分发网关支持的负载均衡分摊到多个scada系统上，即集控云平台通过iot分发网关可以同时接收多个scada系统传输的风电场数据。
103.步骤102、预处理风电场数据，以得到处理后的风电场数据；
104.本实施例中，风电场的iot分发网关接收各种类型的风电场数据，并根据风电特有业务对各种类型的风电场数据进行预处理。
105.步骤103、将处理后的风电场数据按照分发存储条件分发至不同的数据库。
106.本实施例中，根据风电业务处理需要，自定义分发存储条件(即自定义分发存储规则)，并将处理后的风电场数据按照分发存储条件分发到不同的数据库中，在具体实施过程中，通过iot分发网关根据接入风场编号、数据类型等信息，对接入的各种格式的风电场数据进行自动化分发。
107.本实施例中，数据库包括远程字典服务、实时数据库、关系型数据库、非关系型数据库、基于分布式文件存储数据库、数据仓库工具、大数据平台、开源数据库和分布式文件系统中的至少一种。
108.本实施例通过iot分发网关接收风电场数据；预处理风电场数据，以得到处理后的风电场数据；将处理后的风电场数据按照分发存储条件分发至不同的数据库，实现了基于
iot分发网关对各种类型的风电场数据的统一接入以及自动分发，提高了集控云平台的稳定性。
109.实施例2
110.本实施例的基于iot分发网关的风电场数据分发方法是对实施例1的进一步改进，具体地：
111.在一可实施的方案中，如图2所示，该分发方法还包括：
112.步骤1030、给iot分发网关分配至少一个数据分发服务器；
113.本实施例中，集控云平台中的failoverservice(故障切换服务)为iot分发网关提供failover(故障切换)机制，避免master单点故障问题。
114.master(服务集群)为iot分发网关分配至少一个数据分发服务器。
115.需要说明的是，集控云平台中的master还负责数据分发服务器的负载均衡(即集控云平台中的master将需要分发的风电场数据分摊到多个分发服务器上进行分发)；以及处理集控云平台接收风电场数据的管理请求，包括任务的创建(例如，数据清洗规则及数据转换规则的创建)、删除(例如，数据分发服务器将风电场数据分发完后删除自身本地的风电场数据)、修改(例如，修改需要分发的风电场数据)等。
116.步骤1031、监控每个数据分发服务器的工作状态；
117.本实施例中，集控云平台中的failoverservice监控每个数据分发服务器的工作状态，具体地，实时监控数据分发服务器各个节点的工作状态，将各数据分发服务器的上线和下线信息实时通知给master。
118.步骤1032、根据工作状态筛选出至少一个正常的数据分发服务器；
119.本实施例中，当某个数据分发服务器出现故障时，failoverservice作为群集协调器，根据工作状态筛选出至少一个正常的数据分发服务器，以通过至少一个正常的数据分发服务器分发风电场数据，从而避免将需要分发的风电场数据传输给故障数据分发服务器而影响风电场数据的分发。
120.步骤1033、通过至少一个正常的数据分发服务器将处理后的风电场数据按照分发存储条件分发至不同的数据库。
121.在一可实施的方案中，如图3所示，该分发方法还包括：
122.步骤104、对处理后的风电场数据设置数据索引。
123.本实施例中，在预处理数风电场据的同时，对指定风电场数据或者部分风电场数据设置索引，方便快速检索，例如，对风场编号、风机id等进行索引。
124.在一可实施的方案中，步骤102包括：
125.步骤1021、对风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据。
126.本实施例中，根据风电特有业务对风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据。
127.在一可实施的方案中，步骤1021包括：
128.根据映射条件对风电场数据进行替换。
129.具体地，根据映射条件对风电场数据中设定的字段按照预设值进行替换。
130.需要说明的是，设定的字段和预设值均根据实际情况进行设置，例如，设定的字段
可以为指定字段，预设值可以为标准值。
131.本实施例支持对风电行业内标准代码规范的引用，自行定义映射规则(即映射条件)，对指定字段(即采集点)按照标准值进行替换。
132.在一可实施的方案中，步骤1021还包括：
133.按照设定条件对风电场数据进行过滤、去重处理。
134.具体地，过滤没有风电场编号、风机id以及时间戳的风电场数据，以及去除风电场数据中的重复字段。
135.本实施例支持对字段按照设定条件进行过滤，例如，当接收的风电场数据没有风场编号、风机id以及时间戳时，将该风电场数据作为无效记录舍弃。
136.本实施例还支持对数据流中的风电场数据按照某一或多个字段进行去重；还支持全部去重或保留一条，重复数据能输出。例如，对风机1秒分辨率数据、对同一时间戳的数据进行去重处理。
137.在一可实施的方案中，步骤1021还包括：
138.对风电场数据进行函数运算。
139.具体地，对风电场数据求平均值、最大值、最小值、中位数、方差、标准差以及数据分布，以便为数据库创建数据分析模型，方便数据库对存储的风电场数据进行分析。
140.本实施例中，对风电场数据的关键采集点自定义计算函数(例如，求平均值、最大值、最小值、中位数、方差、标准差、数据分布等指标)，生成新的数据点，例如，对某一时段的发电机温度求平均值、最大值、最小值、中位数、方差、标准差以及数据分布，以便为数据库创建数据分析模型，方便数据库对存储的风电场数据进行分析。
141.在一可实施的方案中，步骤1021还包括：
142.对风电场数据建立多表连接。
143.具体地，对风电场数据建立左连接、右连接、全连接和内连接，即对风电场数据建立各种类型的业务数据表，以将不同的业务数据表进行关联，方便快速查找风机信息。
144.本实施例中，多表连接支持左连接、右连接、全连接和内连接等。例如，通过区域表、风机表关联可以快速定位风机位置(例如，经纬度等)。
145.在一可实施的方案中，步骤1021还包括：
146.对风电场数据进行拆分，以对拆分后的风电场数据进行分表存储。
147.具体地，按照风机部套进行拆分，将发电机、齿轮箱、偏航系统、变桨、叶轮、主轴等风电场数据进行分表存储。
148.本实施例中，根据业务需要，按照自定义规则进行数据拆分，例如，按风机部套进行数据拆分，将发电机、齿轮箱、偏航系统、变桨、叶轮、主轴等风电场数据进行分表存储。
149.本实施例根据风电特有业务对通过iot分发网关接收的各种类型的风电场数据进行数据清洗和数据转换处理，实现了风电机组海量风电场数据的分布式分发即预处理，为集控云平台数据采集与监视控制系统实时性提供保障。
150.实施例3
151.本实施例提供一种基于iot分发网关的风电场数据分发装置，适用于集控云平台，如图4所示，该分发装置包括接收模块1、预处理模块2和分发模块3；
152.接收模块1，用于通过iot分发网关接收风电场数据；
153.本实施例中，风电场数据包括scada数据、cms数据、buffer数据、高频数据、变流器数据、变桨数据和风资源数据中的至少一种。
154.本实施例中，scada系统将风电场数据通过iot分发网关传输到集控云平台。
155.例如，通过风电场iot分发网关接入的数据，包括但不限于齿轮箱、发动机、偏航系统、箱变、主轴、测风塔、变流器等部套的数据，还可以包括数字量信号、模拟量信号、通讯类信号等。
156.需要说明的是，iot分发网关支持负载均衡，进行风电场海量采集数据的接入处理，具体地，本实施例将发送风电场数据的执行操作通过iot分发网关支持的负载均衡分摊到多个scada系统上，即集控云平台通过iot分发网关可以同时接收多个scada系统传输的风电场数据。
157.预处理模块2，用于预处理风电场数据，以得到处理后的风电场数据；
158.本实施例中，风电场的iot分发网关接收各种类型的风电场数据，并根据风电特有业务对各种类型的风电场数据进行预处理。
159.分发模块3，用于将处理后的风电场数据按照分发存储条件分发至不同的数据库。
160.本实施例中，根据风电业务处理需要，自定义分发存储条件(即自定义分发存储规则)，并将处理后的风电场数据按照分发存储条件分发到不同的数据库中，在具体实施过程中，通过iot分发网关根据接入风场编号、数据类型等信息，对接入的各种格式的风电场数据进行自动化分发。
161.本实施例中，数据库包括远程字典服务、实时数据库、关系型数据库、非关系型数据库、基于分布式文件存储数据库、数据仓库工具、大数据平台、开源数据库和分布式文件系统中的至少一种。
162.本实施例通过iot分发网关接收风电场数据；预处理风电场数据，以得到处理后的风电场数据；将处理后的风电场数据按照分发存储条件分发至不同的数据库，实现了基于iot分发网关对各种类型的风电场数据的统一接入以及自动分发，提高了集控云平台的稳定性。
163.实施例4
164.本实施例的基于iot分发网关的风电场数据分发装置是对实施例3的进一步改进，具体地：
165.在一可实施的方案中，如图5所示，该分发装置还包括分配模块4、监控模块5和筛选模块6；
166.分配模块4，用于给iot分发网关分配至少一个数据分发服务器；
167.本实施例中，集控云平台中的failoverservice为iot分发网关提供failover机制，避免master单点故障问题。
168.master为iot分发网关分配至少一个数据分发服务器。
169.需要说明的是，集控云平台中的master还负责数据分发服务器的负载均衡(即集控云平台中的master将需要分发的风电场数据分摊到多个分发服务器上进行分发)；以及处理集控云平台接收风电场数据的管理请求，包括任务的创建(例如，数据清洗规则及数据转换规则的创建)、删除(例如，数据分发服务器将风电场数据分发完后删除自身本地的风电场数据)、修改(例如，修改需要分发的风电场数据)等。
170.监控模块5，用于监控每个数据分发服务器的工作状态；
171.本实施例中，集控云平台中的failoverservice监控每个数据分发服务器的工作状态，具体地，实时监控数据分发服务器各个节点的工作状态，将各数据分发服务器的上线和下线信息实时通知给master。
172.筛选模块6，用于根据工作状态筛选出至少一个正常的数据分发服务器；
173.本实施例中，当某个数据分发服务器出现故障时，failoverservice作为群集协调器，根据工作状态筛选出至少一个正常的数据分发服务器，以通过至少一个正常的数据分发服务器分发风电场数据，从而避免将需要分发的风电场数据传输给故障数据分发服务器而影响风电场数据的分发。
174.分发模块3，具体用于通过至少一个正常的数据分发服务器将处理后的风电场数据按照分发存储条件分发至不同的数据库。
175.在一可实施的方案中，如图5所示，该分发装置还包括设置模块7；
176.设置模块7，用于对处理后的风电场数据设置数据索引。
177.本实施例中，在预处理数风电场据的同时，对指定风电场数据或者部分风电场数据设置索引，方便快速检索，例如，对风场编号、风机id等进行索引。
178.在一可实施的方案中，预处理模块2，具体用于对风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据。
179.本实施例中，根据风电特有业务对风电场数据进行数据清洗和数据转换处理，以得到处理后的风电场数据。
180.在一可实施的方案中，如图5所示，预处理模块2包括替换单元21；
181.替换单元21，用于根据映射条件对风电场数据进行替换。
182.具体地，替换单元21，具体用于根据映射条件对风电场数据中设定的字段按照预设值进行替换。
183.需要说明的是，设定的字段和预设值均根据实际情况进行设置，例如，设定的字段可以为指定字段，预设值可以为标准值。
184.本实施例支持对风电行业内标准代码规范的引用，自行定义映射规则(即映射条件)，对指定字段(即采集点)按照标准值进行替换。
185.在一可实施的方案中，如图5所示，预处理模块2包括处理单元22；
186.处理单元22，用于按照设定条件对风电场数据进行过滤、去重处理。
187.具体地，处理单元22，具体用于过滤没有风电场编号、风机id以及时间戳的风电场数据，以及去除风电场数据中的重复字段。
188.本实施例支持对字段按照设定条件进行过滤，例如，当接收的风电场数据没有风场编号、风机id以及时间戳时，将该风电场数据作为无效记录舍弃。
189.本实施例还支持对数据流中的风电场数据按照某一或多个字段进行去重；还支持全部去重或保留一条，重复数据能输出。例如，对风机1秒分辨率数据、对同一时间戳的数据进行去重处理。
190.在一可实施的方案中，如图5所示，预处理模块2包括运算单元23；
191.运算单元23，用于对风电场数据进行函数运算。
192.具体地，运算单元23，具体用于对风电场数据求平均值、最大值、最小值、中位数、
方差、标准差以及数据分布，以便为数据库创建数据分析模型，方便数据库对存储的风电场数据进行分析。
193.本实施例中，对风电场数据的关键采集点自定义计算函数(例如，求平均值、最大值、最小值、中位数、方差、标准差、数据分布等指标)，生成新的数据点，例如，对某一时段的发电机温度求平均值、最大值、最小值、中位数、方差、标准差以及数据分布，以便为数据库创建数据分析模型，方便数据库对存储的风电场数据进行分析。
194.在一可实施的方案中，如图5所示，预处理模块2包括建立单元24；
195.建立单元24，用于对风电场数据建立多表连接。
196.具体地，建立单元24，具体用于对风电场数据建立左连接、右连接、全连接和内连接，即对风电场数据建立各种类型的业务数据表，以将不同的业务数据表进行关联，方便快速查找风机信息。
197.本实施例中，多表连接支持左连接、右连接、全连接和内连接等。例如，通过区域表、风机表关联可以快速定位风机位置(例如，经纬度等)。
198.在一可实施的方案中，如图5所示，预处理模块2包括拆分单元25；
199.拆分单元25，用于对风电场数据进行拆分，以对拆分后的风电场数据进行分表存储。
200.具体地，拆分单元25，具体用于按照风机部套进行拆分，将发电机、齿轮箱、偏航系统、变桨、叶轮、主轴等风电场数据进行分表存储。
201.本实施例中，根据业务需要，按照自定义规则进行数据拆分，例如，按风机部套进行数据拆分，将发电机、齿轮箱、偏航系统、变桨、叶轮、主轴等风电场数据进行分表存储。
202.实施例5
203.本实施例提供一种基于iot分发网关的风电场数据分发系统，如图6所示，该分发系统包括风电场采集设备51、集控云平台52和数据库53；
204.风电场采集设备51，用于采集风电场数据，并将风电场数据传输至集控云平台；
205.本实施例中，通过风电场采集设备51采集各种类型的风电场数据，并将各种类型的风电场数据传输至集控云平台，具体地，风电场采集设备51通过tcp(传输控制协议)/udp(用户数据包协议)协议，以及internet(互联网)将采集到的各种类型的风电场实时数据及风电场统计数据传输到风电场集控云平台。
206.集控云平台52，用于通过iot分发网关接收风电场数据；预处理风电场数据，以得到处理后的风电场数据；将处理后的风电场数据按照分发存储条件分发至不同的数据库；
207.本实施例中，风电场数据包括scada数据、cms数据、buffer数据、高频数据、变流器数据、变桨数据和风资源数据中的至少一种。
208.本实施例中，scada系统将风电场数据通过iot分发网关传输到集控云平台。
209.例如，通过风电场iot分发网关接入的数据，包括但不限于齿轮箱、发动机、偏航系统、箱变、主轴、测风塔、变流器等部套的数据，还可以包括数字量信号、模拟量信号、通讯类信号等。
210.需要说明的是，iot分发网关支持负载均衡，进行风电场海量采集数据的接入处理，具体地，本实施例将发送风电场数据的执行操作通过iot分发网关支持的负载均衡分摊到多个scada系统上，即集控云平台通过iot分发网关可以同时接收多个scada系统传输的
风电场数据。
211.本实施例中，风电场的iot分发网关接收各种类型的风电场数据，并根据风电特有业务对各种类型的风电场数据进行预处理。
212.本实施例中，根据风电业务处理需要，自定义分发存储条件(即自定义分发存储规则)，并将处理后的风电场数据按照分发存储条件分发到不同的数据库中，在具体实施过程中，通过iot分发网关根据接入风场编号、数据类型等信息，对接入的各种格式的风电场数据进行自动化分发。
213.数据库53，用于存储集控云平台发送的处理后的风电场数据。
214.本实施例中，数据库包括远程字典服务、实时数据库、关系型数据库、非关系型数据库、基于分布式文件存储数据库、数据仓库工具、大数据平台、开源数据库和分布式文件系统中的至少一种。
215.在一可实施的方案中，如图6所示，集控云平台52包括iot分发网关521、数据接入模块522、数据注入模块523、故障切换服务模块524和数据分发服务器525；
216.iot分发网关521，用于分别与风电场采集设备51和数据库53连接；
217.数据接入模块522，用于将通过iot分发网关接收的风电场数据传输给数据注入模块523；
218.本实施例中，数据接入模块522接收各种类型的风电场数据，例如，接收来自风电场scada数据，包括但不限于遥测、遥信、遥控等数据，并将其传输到数据注入模块(client)523。
219.数据注入模块523，用于给iot分发网关分配至少一个数据分发服务器525，并将风电场数据传输给至少一个数据分发服务器525；
220.本实施例中，数据注入模块523通过master给iot分发网关分配至少一个数据分发服务器。
221.本实施例中，数据注入模块523，具体用于根据配置的路由规则，对来自各风场不同类型的scada数据进行统一分发接入。
222.本实施例中，集控云平台中的failoverservice为iot分发网关提供failover机制，避免master单点故障问题。
223.需要说明的是，集控云平台中的master还负责数据分发服务器的负载均衡(即集控云平台中的master将需要分发的风电场数据分摊到多个分发服务器上进行分发)；以及处理集控云平台接收风电场数据的管理请求，包括任务的创建(例如，数据清洗规则及数据转换规则的创建)、删除(例如，数据分发服务器将风电场数据分发完后删除自身本地的风电场数据)、修改(例如，修改需要分发的风电场数据)等。
224.故障切换服务模块524，用于监控每个数据分发服务器525的工作状态；根据工作状态筛选出至少一个正常的数据分发服务器525；
225.本实施例中，集控云平台中的failoverservice监控每个数据分发服务器的工作状态，具体地，实时监控数据分发服务器各个节点的工作状态，将各数据分发服务器的上线和下线信息实时通知给master。
226.本实施例中，当某个数据分发服务器出现故障时，failoverservice作为群集协调器，根据工作状态筛选出至少一个正常的数据分发服务器，以通过至少一个正常的数据分
发服务器分发风电场数据，从而避免将需要分发的风电场数据传输给故障数据分发服务器而影响风电场数据的分发。
227.数据分发服务器525，用于预处理风电场数据，以得到处理后的风电场数据；将处理后的风电场数据按照分发存储条件分发至不同的数据库53；以及对处理后的风电场数据设置数据索引。
228.本实施例中，在预处理数风电场据的同时，对指定风电场数据或者部分风电场数据设置索引，方便快速检索，例如，对风场编号、风机id等进行索引。
229.如图6所示，数据分发服务器525包括web服务器5251、data flow manager(数据流管理器)5252、storeservice(商店服务)5253；其中，data flow manager5252包括多个processor(处理器)52521(例如，processor的数量为n个)；storeservice5253包括flowfile store(流文件存储)52531、content store(内容存储)52532和metadata store(元数据存储)52533；
230.本实施例中，web服务器5251，用于提供基于http(超文本传输协议)的服务，提供基于图形界面的web api(网络应用程序接口)进行交互，通过web服务器图形界面，进行点击、拖拽、编辑、连线等操作配置完成基于流程的界面编程，实现风电场数据接收、处理及分发等功能。
231.本实施例中，每个proccessor52521可对flowfile(流文件)进行各种操作，通过获取flowfile的属性和内容，操作多个flowfile，并将操作结果提交给下一个processor或进行操作回滚。
232.需要说明的是，一个flowfile表示一个对象，这个对象可以在系统中进行移动及传递。iot分发网关保存flowfile的key-value(关键值)属性列表和这个flowfile的二进制内容。
233.data flow manager5252是操作管理中心，提供用于注入服务运行的线程，并管理注入服务资源及其线程调度，以及记录processor之间的连接关系，管理processor和线程之间的调度关系。
234.本实施例中，flowfile store52531，用于为iot分发网关跟踪流程中活动的flowfile的状态，将其存储在指定磁盘的日志区，以实现容错功能。
235.本实施例中，content store52532，用于给定flowfile的实际内容，将风电场数据块存储在文件系统中。可以指定多个文件系统存储位置，这些文件系统位于不同的物理分区，可减少单个卷上的io争用，提高系统吞吐量。
236.本实施例中，metadata store52533，用于存储所有元数据及event(事件)日志，其实现是使用一个或多个物理磁盘卷，并对元数据或event日志进行索引，方便快捷检索。
237.下面结合具体实例说明：
238.例如，如图7所示，以风电场数据包括scada数据、cms数据、buffer数据、高频数据、变流器数据、变桨数据和风资源数据，数据库包括远程字典服务、实时数据库、关系型数据库、非关系型数据库、基于分布式文件存储数据库、数据仓库工具、大数据平台、开源数据库和分布式文件系统以及多个数据分发服务器525(例如数据分发服务器525的数量为n个)为例，
239.风电场采集设备51将从风电场端采集的scada数据、cms数据、buffer数据、高频数
据、变流器数据、变桨数据和风资源数据等风电场数据通过iot分发网关传输给集控云平台52中的数据接入模块522，数据接入模块522再将接收到的各种类型的风电场数据传输给数据注入模块523；数据注入模块523给iot分发网关分配多个数据分发服务器525(例如，给iot分发网关分配n个数据分发服务器525)，并将风电场数据分别传输给n个数据分发服务器525；n个数据分发服务器525将scada数据、cms数据、buffer数据、高频数据、变流器数据、变桨数据和风资源数据等风电场数据分发至实时数据库、关系型数据库、非关系型数据库、基于分布式文件存储数据库、数据仓库工具、大数据平台、开源数据库和分布式文件系统等多个数据库中，例如，将scada数据中的实时数据分发至远程字典服务(redis)；将变流器数据分发至关系型数据库(mysql)；将scada数据中的近线数据分发至基于分布式文件存储数据库(mongodb)；将风资源数据分发至开源数据库(hbase)；将scada数据中的历史数据分发至数据仓库工具(hive)；将cms数据、buffer数据、高频数据、变桨数据均分发至分布式文件系统(hdfs)。
240.本实施例通过iot分发网关将各种类型的风电场数据接入集控云平台，并对接入的各种类型的风电场数据进行数据清洗和数据转换处理，根据配置路由规则，通过多个数据分发服务器将各种类型的风电场数据自动分发至不同的数据库中，实现了风电场海量数据的统一平台接入以及自动分发，方便了风电场接入数据的统一监控及数据通讯异常报警，同时也实现了风电场数据实时监测算法的整合与交互，为风力发电机组的运行与维护提供了综合全面的集控云平台的监测信息，提升了风电场海量数据的采集、存储、分析和价值利用等方面的需求。
241.实施例6
242.图8为本发明实施例6提供的一种电子设备的结构示意图。该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中任一实施例的基于iot分发网关的风电场数据分发方法。图8显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
243.如图8所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
244.总线33包括数据总线、地址总线和控制总线。
245.存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
246.存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
247.处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中任一实施例的基于iot分发网关的风电场数据分发方法。
248.电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，电子设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如
图8所示，网络适配器36通过总线33与电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
249.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
250.实施例7
251.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1或2中任一实施例的基于iot分发网关的风电场数据分发方法。
252.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
253.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中任一实施例的基于iot分发网关的风电场数据分发方法。
254.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
255.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。