一种流域集控大数据分类存储方法及系统与流程

1.本发明涉及流域集控运行数据管理技术领域，尤其涉及一种流域集控大数据分类存储方法及系统。


背景技术：

2.随着技术进步，当前水电站生产控制方式已经实现了梯调集控、远程集控等先进生产模式，水电站远程集控已经成为发展趋势。存储系统作为水电站集控系统的关键部分，存储着电站所有生产运行数据。
3.但是水电站包含若干采集设备，这些采集设备分别独立进行数据采集、数据分析及数据存储等工作，使流域集控中心管理的生产数据具有来源多、层次多、数量庞大等特点，传统的流域集控管理系统不加区别地存储所有数据，不仅对存储空间是个严峻挑战，并且会造成数据的大量冗余，降低生产数据查询和管理效率。若数据丢失，更会对电厂稳定运行造成比较大的危害。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。
6.因此，本发明提供了一种流域集控大数据分类存储方法及系统，能够解决流域集控监控系统海量运行数据实施累积对存储空间的压力过大，数据查询、交互、管理的的效率过低以及数据冗余等问题。
7.为解决上述技术问题，本发明提供如下技术方案，一种流域集控大数据分类存储方法，包括：
8.采集生产机组的工况数据，并进行有效验证，剔除坏点；
9.对剔除坏点后的数据进行分类，并对分类后的数据根据需求进行编码；
10.对编码后的数据进行压缩和备份，选择不同存储策略，将数据存储在仓库中。
11.一种流域集控大数据分类存储系统，其特征在于：包括数据采集模块、验证模块、数据分类模块、数据编码模块、数据存储模块、数据备份模块和数据压缩模块，
12.数据采集模块，用于采集机组生产设备产生的数据；
13.验证模块，用于对采集的生产数据有效性进行验证，剔除其中的坏点，保证存储的状态数据的正确性及各类状态分析结果的准确性；
14.数据分类模块，用于根据数据功能和层次将数据进行分类；
15.数据编码模块，用于对所述数据分类模块分类后的信息进行编码；
16.数据存储模块，用于读取编码信息，根据数据不同的分类，选择不同存储策略进行存储；
17.数据备份模块，用于定时将分类数据从现地数据临时仓库内备份至数据永久存储仓库，并生成备份记录；
18.数据压缩模块，用于自动对数据进行无损压缩。
19.作为本发明所述的流域集控大数据分类存储系统的一种优选方案，其中：所述数据分类模块将所述验证模块验证后的数据分类为瞬态数据、特征数据、趋势数据、特征参数数据与决策数据，
20.所述瞬态数据、特征数据、趋势数据、特征参数数据与决策数据经过所述数据编码模块编码后依次得到第一编码组、第二编码组、第三编码组、第四编码组与第五编码组，所述编码组数据根据所述数据采集模块采集数据的增多而自动验证更新。
21.作为本发明所述的流域集控大数据分类存储系统的一种优选方案，其中：所述数据存储模块包括，
22.当读取到的编码信息为所述第一编码组信息时，选取瞬态数据存储策略进行存储，所述瞬态数据存储策略会根据第一编码组内容进行判断归类，当所述第一编码组内容为故障瞬态数据时，存储该故障点故障发生前后1s内的所有数据，当所述第一编码组内容为波动瞬态数据时，存储该波动点波动发生前后3s内的所有数据；
23.当读取到的编码信息为所述第二编码组信息时，选取特征数据存储策略进行存储，所述特征数据存储策略会根据第二编码组内容进行判断归类，当所述第二编码组内容为故障特征数据时，存储该故障点故障发生前后20s内的所有数据，当所述第一编码组内容为波动特征数据时，存储该波动点波动发生前后60s内的所有数据。
24.作为本发明所述的流域集控大数据分类存储系统的一种优选方案，其中：所述数据存储模块还包括，
25.当读取到的编码信息为所述第三编码组信息时，选取趋势数据存储策略进行存储，所述趋势数据存储策略会根据第三编码组内容进行判断归类；
26.当所述第三编码组内容为故障数据时，求解该故障点故障发生前后20s内的所有数据的包络线，通过前后20s包络线得到故障前后机组随时间、机组随参数与参数随参数的趋势数据；
27.当所述第三编码组内容为波动数据时，求解该波动点波动发生前后60s内的所有数据的包络线，通过前后60s包络线得到波动前后机组随时间、机组随参数与参数随参数的趋势数据，所述趋势数据由运维人员确认是否进行保存。
28.作为本发明所述的流域集控大数据分类存储系统的一种优选方案，其中：所述数据存储模块，还包括，
29.当读取到的编码信息为所述第四编码组信息时，选取特征参数数据存储策略进行存储，所述特征参数数据存储策略包括，当特征参数值发生变化时对该变化点前后30s数据进行存储；
30.当读取到的编码信息为所述第五编码组信息时，选取决策数据存储策略进行存储，所述决策数据存储策略包括，连续不间断存储，有结果即存储。
31.作为本发明所述的流域集控大数据分类存储系统的一种优选方案，其中：所述数据存储模块，由n 1个数据服务器组成，包含n个现地数据临时仓库和1个厂站数据永久存储仓库，现地数据临时仓库和厂站数据永久存储仓库间通过电厂数据总线双向电连接，所述
现地数据临时仓库与机组一一对应，临时存放单机组分类和编码后的数据，存储模块读取数据编码信息，根据数据不同的分类，选择不同存储策略进行存储。
32.作为本发明所述的流域集控大数据分类存储系统的一种优选方案，其中：所述数据采集模块包括，
33.所述数据采集模块的输入端连接机组生产设备，所述机组生产设备包括水力系统、水轮发电机组、励磁系统、调速系统、辅机系统、保护系统、厂用电系统，所述数据采集模块和机组生产设备间以modbus转tcp/ip模式进行通讯，所述数据采集模块输出端通过验证模块接入数据分类模块，并将数据传送至数据数据分类模块；
34.所述数据采集模块采集的数据包括，电气参数、机械参数、力学参数、热量参数和化学参数。
35.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。
36.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
37.本发明的有益效果：本发明提出一种流域集控大数据分类存储方法及系统，针对流域集控中心生产数据来源多、层次多、数量庞大的特点，改变传统监控系统存储方式，增加数据分类模块、数据编码模块，将存储模块划分为临时仓库和永久仓库，解决了流域集控中心监控系统海量运行数据实施累积对存储空间的压力，提高数据查询、交互、管理的的效率，压缩和备份模块，解决了因流域集控中心监控系统存储空间已满造成的存储失败，防止重要数据丢失。
附图说明
38.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
39.图1为本发明一个实施例提供的一种流域集控大数据分类存储方法及系统的方法流程图；
40.图2为本发明一个实施例提供的一种流域集控大数据分类存储方法及系统的系统结构图；
41.图3为本发明一个实施例提供的一种流域集控大数据分类存储方法及系统的现地数据临时仓库与厂站数据永久存储仓库连接原理图；
42.图4为本发明一个实施例提供的一种流域集控大数据分类存储方法及系统的计算机设备的内部结构图；
具体实施方式
43.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下
所获得的所有其他实施例，都应当属于本发明的保护的范围。
44.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
45.其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
46.本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
47.同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
48.本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
49.实施例1
50.参照图1-4，为本发明的第一个实施例，该实施例提供了一种流域集控大数据分类存储方法及系统，包括：
51.步骤102，采集生产机组的工况数据，并进行有效验证，剔除坏点；
52.其中，生产机组包括水力系统、水轮发电机组、励磁系统、调速系统、辅机系统、保护系统、厂用电系统。
53.具体的，采集的数据包括水利系统中的水位、流量、水压等，水轮发电机中的电流、电压、转速等，励磁系统中的磁力、激励等，调速系统中的速度，位移等，还有其他三个系统的相关参数。
54.更进一步的，使用数据网关来提供状态数据包检查或状态查看等功能，对采集的生产数据有效性进行验证，剔除其中的坏点，保证存储的状态数据的正确性及各类状态分析结果的准确性。
55.步骤104，对剔除坏点后的数据进行分类，并对分类后的数据根据需求进行编码；
56.其中，采用全国性编码方案对分类后的数据进行编码，编码中含有省市、流域梯级、电厂管理信息、电厂级系统、机组设备、测点分类、测点属性等信息，增加管理域和量值域，更好地满足了水电站数据编码的要求。
57.具体的，将数据按功能及设备构造，分为采样数据、特征参数数据、决策数据三大类，采样数据又可细化分为瞬态数据、特征数据和趋势数据等。
58.步骤106，对编码后的数据进行压缩和备份，选择不同存储策略，将数据存储在仓库中。
59.其中，所述现地数据临时仓库与机组一一对应，临时存放单机组分类和编码后的数据，临时仓库软件可选择为mysql数据库，永久存储仓库软件可选择为国产达梦数据库。
60.具体的，读取数据编码信息，根据数据不同的分类，选择不同存储策略进行存储。
61.更进一步的，所述不同存储策略，包括采样数据，采样数据又包括瞬态数据，特征数据与趋势数据
62.应说明的是，瞬态数据：传感器或计算机装置每秒采集设备测点的数据值为瞬态数据。存储策略为：保存机组各运行状态内瞬态数据，保存故障发生前后一段时间的数据，保存出现较大波动前后一段时间的数据。
63.应说明的是，特征数据：对瞬态数据进行特征计算得到的特征量数据或通过其他控制系统进行的二次采样数据。存储策略为：保存机组所有动态过程和运行状态内的数据，保存出现较大波动前后一段时间的数据，保存实验过程中的数据。
64.应说明的是，趋势数据：通过特征数据，计算得到机组运行包络线，得到机组随时间、机组随参数、参数随参数的趋势数据。由于自由度较高，由运维人员确认是否进行保存。
65.更进一步的，特征参数数据：包括指标数据和工况事件数据。存储策略为：当值发生变化时进行存储。
66.更进一步的，决策数据：电厂管理系统通过统计、计算得到的结论性数据。存储策略为：连续不间断存储，有结果即存储。
67.一种流域集控大数据分类存储系统，其特征在于：包括数据采集模块202、验证模块204、数据分类模块206、数据编码模块208、数据存储模块210、数据备份模块212和数据压缩模块214，
68.数据采集模块202，用于采集机组生产设备产生的数据；
69.验证模块204，用于对采集的生产数据有效性进行验证，剔除其中的坏点，保证存储的状态数据的正确性及各类状态分析结果的准确性；
70.数据分类模块206，用于根据数据功能和层次将数据进行分类；
71.数据编码模块208，用于对所述数据分类模块206分类后的信息进行编码；
72.数据存储模块210，用于读取编码信息，根据数据不同的分类，选择不同存储策略进行存储；
73.数据备份模块212，用于定时将分类数据从现地数据临时仓库内备份至数据永久存储仓库，并生成备份记录；
74.数据压缩模块214，用于自动对数据进行无损压缩。
75.所述数据存储模块210与数据编码模块208、数据备份模块212和数据压缩模块214，
76.应说明的是，所述数据存储模块210由n 1个数据服务器组成，包含n个现地数据临时仓库和1个厂站数据永久存储仓库，现地数据临时仓库和厂站数据永久存储仓库间通过电厂数据总线双向电连接，所述现地数据临时仓库与机组一一对应，临时存放单机组分类和编码后的数据，存储模块读取数据编码信息，根据数据不同的分类，选择不同存储策略进行存储。
77.更进一步的，所述不同存储策略包括采样数据存储策略，所述采样数据包括瞬态数据存储策略、特征数据存储策略、趋势数据存储策略、特征参数数据存储策略与决策数据
存储策略。
78.所述数据分类模块206将所述验证模块204验证后的数据分类为瞬态数据、特征数据、趋势数据、特征参数数据与决策数据，
79.更进一步的，所述瞬态数据、特征数据、趋势数据、特征参数数据与决策数据经过所述数据编码模块208编码后依次得到第一编码组、第二编码组、第三编码组、第四编码组与第五编码组，所述编码组数据根据所述数据采集模块202采集数据的增多而自动验证更新。
80.更进一步的，所述数据存储模块210包括，当读取到的编码信息为所述第一编码组信息时，选取瞬态数据存储策略进行存储，所述瞬态数据存储策略会根据第一编码组内容进行判断归类，当所述第一编码组内容为故障瞬态数据时，存储该故障点故障发生前后1s内的所有数据，当所述第一编码组内容为波动瞬态数据时，存储该波动点波动发生前后3s内的所有数据；
81.更进一步的，当读取到的编码信息为所述第二编码组信息时，选取特征数据存储策略进行存储，所述特征数据存储策略会根据第二编码组内容进行判断归类，当所述第二编码组内容为故障特征数据时，存储该故障点故障发生前后20s内的所有数据，当所述第一编码组内容为波动特征数据时，存储该波动点波动发生前后60s内的所有数据。
82.更进一步的，所述数据存储模块210还包括，当读取到的编码信息为所述第三编码组信息时，选取趋势数据存储策略进行存储，所述趋势数据存储策略会根据第三编码组内容进行判断归类；
83.当所述第三编码组内容为故障数据时，求解该故障点故障发生前后20s内的所有数据的包络线，通过前后20s包络线得到故障前后机组随时间、机组随参数与参数随参数的趋势数据；
84.当所述第三编码组内容为波动数据时，求解该波动点波动发生前后60s内的所有数据的包络线，通过前后60s包络线得到波动前后机组随时间、机组随参数与参数随参数的趋势数据，所述趋势数据由运维人员确认是否进行保存。
85.更进一步的，所述数据存储模块210，还包括，当读取到的编码信息为所述第四编码组信息时，选取特征参数数据存储策略进行存储，所述特征参数数据存储策略包括，当特征参数值发生变化时对该变化点前后30s数据进行存储；
86.更进一步的，当读取到的编码信息为所述第五编码组信息时，选取决策数据存储策略进行存储，所述决策数据存储策略包括，连续不间断存储，有结果即存储。
87.应说明的是，所述数据采集模块202包括，所述数据采集模块202的输入端连接机组生产设备，所述机组生产设备包括水力系统、水轮发电机组、励磁系统、调速系统、辅机系统、保护系统、厂用电系统，所述数据采集模块202和机组生产设备间以modbus转tcp/ip模式进行通讯，所述数据采集模块202输出端通过验证模块204接入数据分类模块206，并将数据传送至数据数据分类模块206；
88.所述数据采集模块202采集的数据包括，电气参数，如电流、电压、功率、转速等；机械参数，如振动、行程、位移、间隙(位置)、导叶开度(位置)、阀门动作速度等；力学参数，如水位、流量、压力等；热量参数，如瓦温、油温、绕组温度等；化学参数，如油中气体等。
89.应说明的是，所述数据编码模块208包括，所述数据编码模块208输入端连接数据
分类模块206，所述数据编码模块208输出端连接数据存储模块210，采用全国性编码方案对分类后的数据进行编码，编码中含有省市、流域梯级、电厂管理信息、电厂级系统、机组设备、测点分类以及测点属性相关信息。
90.应说明的是，所述所述数据压缩模块214连接数据存储模块210，采用动态采样频率自动对数据进行无损压缩，防止因存储空间已满而导致不能存储状态数据的问题。
91.应说明的是，所述数据备份模块212连接数据存储模块210，定时将分类后的数据从现地数据临时仓库内备份至数据永久存储仓库，并生成备份记录；若失败，则重复进行备份。
92.上述各单元模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
93.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种流域集控大数据分类存储方法及系统。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
94.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
95.采集生产机组的工况数据，并进行有效验证，剔除坏点；
96.对剔除坏点后的数据进行分类，并对分类后的数据根据需求进行编码；
97.对编码后的数据进行压缩和备份，选择不同存储策略，将数据存储在仓库中。
98.实施例2
99.参照图1-4，为本发明的一个实施例，提供了一种流域集控大数据分类存储方法及系统，为了验证本发明的有益效果，通过对比实验进行科学论证。
100.[0101][0102]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
[0103]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
[0104]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0105]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0106]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0107]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0108]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0109]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。