一种动环监控的数据处理系统的制作方法

1.本发明涉及计算机技术领域，特别涉及一种动环监控的数据处理系统。


背景技术：

2.动环监控系统建设之前，机房发生故障时，只能在设备网管系统告警或用户报障后安排维护人员前往现场处理，而维护人员往往只有在到达机房后才能逐步排查故障、判明故障原因，进而采取下一步的措施，排除故障。这在时效性上显然满足不了高标准的运维要求，从而严重影响了服务质量。
3.而一般的动环监控系统的核心的环节就是对市电监测系统、分体空调监控系统、温湿度监测系统、烟雾监测系统、漏水监测系统、门禁监测系统、视频监控系统的数据进行处理分析；
4.如附图4和附图5所示，现有的东环系统在软件层面需要进行处理的步骤繁杂，在硬件系统上需要管控的数据众多，数据处理的量非常巨大，因此数据存在无法高效快速划分，无法对数据质量进行评估，使得数据异常不能及时发现，出现故障处理效率缓慢，这也是传统的数据数据库中难以及时的管理大量的数据，使得系统出容易出现故障的原因。


技术实现要素：

5.本发明提供一种动环监控的数据处理系统，用以解决在动环监控数据处理系统处理数据时速度慢、运行结果不准确的情况所采取的技术方案如下：
6.一种动环监控的数据处理系统，包括：
7.数据采集模块：用于对动环设备的数据进行采集，确定采集数据，并根据所述采集数据的数据属性进行数据筛选和数据分类，确定分类数据；
8.数据存储模块：根据所述分类数据，按照数据类型存储至对应的数据库；其中，
9.所述数据库包括实时数据库、历史数据库和配置管理数据库；
10.数据处理模块：用于对所述数据库中存储的数据进行异常值的估算，当所述异常值达到预定的阈值时，执行报警。
11.作为本发明的一种实施例：所述数据采集模块包括：
12.通信接口单元：用于将通信端口与动环设备对接，并进行数据采集和数据流传输，生成采集数据；
13.数据筛选单元：用于通过预设的数据属性列表对所述采集数据进行划分，生成分类数据；其中，
14.所述分类数据包括实时数据、历史数据和配置数据。
15.作为本发明的一种实施例：所述数据存储模块包括：
16.实时存储单元：用于确定所述分类数据中的实时测点访问和实时数据访问的记录日志，确定实时数据，将实时数据存储至实时数据库；
17.历史存储单元：用于将所述分类数据进行时间标记，根据时间标记将历史数据存
储至历史数据库；
18.配置管理数据单元：用于存放动环监控系统的软件和硬件的属性数据，确定动环监控系统配置项和配置参数信息，并存储值配置管理数据库。
19.作为本发明的一种实施例：所述实时存储单元包括：
20.组态管理子单元：用于对实时数据流进行细化存储，确定存储位置；
21.实时测点访问子单元：用于检索测点的基本信息及配置信息，获得实时数据库的实时数据值；
22.实时事务访问子单元：用于通过事务访问端口，确定所述实时事务的访问数据。
23.作为本发明的一种实施例：所述历史存储单元包括：
24.历史数据存储子单元：用于检测历史数据流，将检测过的历史数据流转存至对应的存储单元；
25.历史数据查询子单元：包括数据连续查询和周期性数据查询；其中，
26.历史数据连续查询子单元：，用于输出一个不断更新变化的数据集合；
27.周期性数据查询子单元：用于输出一个周期间隔的数据集合。
28.作为本发明的一种实施例：所述配置管理数据单元，包括：
29.配置项基本信息子单元：用于存放硬件配置项、软件配置项、网络配置项、文档配置项、关联配置项和参数配置项；
30.配置项树结构子单元：用于关联配置项与配置参数的关系；
31.所述配置管理数据库的构建步骤为：
32.s1：确定配置管理的范围，
33.包括确定配置项的宽度和深度和划分并定义配置项生命周期；
34.s2：定义配置项对象，包括确定配置项的特点和确定配置项的共有属性、私有属性、关联项目和关系；
35.s3：构建配置项之间的配置模型。
36.作为本发明的一种实施例：所述数据处理模块包括：
37.数据调度单元：用于调度数据库的数据流，生成数据队列，并查找历史数据库中相似的数据队列，确定异常数据队列，对异常数据队列的数据进行异常值估算，确定异常值；
38.报警及确认单元：用于监控所述数据流中异常队列的数据的异常值，当达到阈值时，执行报警信息；
39.并发控制单元：用于对数据进行数据项加锁，对数据处理进行并发执行；
40.数据恢复单元：用于对死锁处理进行已夭折数据的恢复。
41.作为本发明的一种实施例：所述系统还包括：
42.死锁处理单元，用于检查数据的活动时间，当所述数据活动时间超过系统设定时间，则将其回滚，重新添加到数据队列中，等待下次的调度执行。
43.作为本发明的一种实施例：所述数据处理模块还包括：
44.报警及确认模块：用于监控动环设备数据，当所述动环设备数据达到所述阈值，则发出报警信息，其中报警级别有4类，分别为：
45.未报警，没有达到报警条件，不触发报警，不执行报警信息；
46.低级报警，达到报警条件，触发报警，记录报警信息，提示用户查看对应区域有无
隐患。
47.高级报警，达到报警条件，触发报警，记录报警信息，提醒用户查看对应区域出现错误。
48.联锁报警，达到报警条件，触发报警，记录报警信息，提醒用户查看对应区域出现错误，并且自动执行事先预定的安全操作来防止系统错误扩大。
49.作为本发明的一种实施例：所述系统还包括：
50.日志管理模块：用于记录数据处理系统运行的各个模块状态信息，执行系统优化分析和在系统崩溃时的执行数据恢复。
51.本发明有益效果为：本发明相对于现有技术，本发明能够不对原始的监控数据做出精确的分类，本发明通过独立的数据库机构，控制不同的数据进行存储，进而可以通过分析不同的数据的异常值，去进行数据处理，判断是不是发生了故障，相对于现有技术本发明更加方便，数据处理更加的少；在进行异常的判断上，能够判断出到底是参数设置的问题还是实际上哪些设备出现了问题，将增量数据和历史数据进行划分，更加便于进行数据对比。
52.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
53.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
54.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
55.图1为本发明实施例中一种动环监控的数据处理系统的结构图；
56.图2为本发明实施例中一种动环监控的数据处理系统的周期性查询示意图；
57.图3为本发明实施例中一种动环监控的数据处理系统的报警级别对应图
58.图4为本发明实施例中现有动环监控系统的数据处理系统构成图；
59.图5为本发明实施例中动环监控系统的设备图。
具体实施方式
60.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
61.实施例1：
62.本发明实施例提供了一种动环监控的数据处理系统，如图1所示，包括：
63.数据采集模块：用于对动环设备的环境数据进行采集，确定采集数据，并根据所述采集数据的数据属性进行数据筛选和数据分类，确定分类数据；
64.数据存储模块：根据所述分类数据，按照数据类型存储至对应的数据库；其中，
65.所述数据库包括实时数据库、历史数据库和配置管理数据库；
66.数据处理模块：用于对所述数据库中存储的数据进行异常值的估算，当所述异常值达到预定的阈值时，执行报警。
67.上述技术方案的工作原理为：现有技术中的动环监控系统在数据处理的时候，进
行的数据分类一般是按照文本、图片、视频进行分类。这种分类导致了如果去判断数据异常，还要分析将不同类型的数据融合起来，去进行综合判断。这种方式是现有技术的常规方式，但是极其负责不说，还需要大量的数据处理和数据运算，容易造成计算处理负担，进而会导致故障原因无法被发现。
68.而在本发明中，对于实时数据的采集，是数据处理系统管理数据的第一个步骤。在采集的过程中，通过实现数据的采集，并根据数据属性进行数据的筛选和分类，在这个过程中本发明是通过数据属性进行数据筛选，本发明筛选的数据属性包括时间属性、设备属性、范围属性、以及数据中各种配置参数的参数属性。在这个过程中，数据的分类主要是划分为实时数据、历史数据和配置数据，通过这种形式的分类，能对增量数据和历史数据进行划分，同样能确定设备的配置参数数据；通过这些能够直接以实时数据和历史数据进行对比，从而快速判断出数据是不是异常。同样在异常值进行估算的步骤中，也能够只对实时数据库中的数据和历史数据库中的数据进行共同的估算，从而判定出数据是否达到异常值的预设的阀值，进而进行报警，本发明还存在历史数据的异常值和实施数据的异常值可以进行一个对比，如果历史数据异常值和实时数据相同，就可以通过历史数据分析出现有数据出现了什么异常。
69.上述技术方案的有益效果为：本发明相对于现有技术，本发明能够不对原始的监控数据做出精确的分类，本发明通过独立的数据库机构，控制不同的数据进行存储，进而可以通过分析不同的数据的异常值，去进行数据处理，判断是不是发生了故障，相对于现有技术本发明更加方便，数据处理更加的少；在进行异常的判断上，能够判断出到底是参数设置的问题还是实际上哪些设备出现了问题，将增量数据和历史数据进行划分，更加便于进行数据对比。
70.实施例2：
71.在一个实施例中，如图2所示，所述数据存储模块，包括：
72.所述数据采集模块包括：
73.通信接口单元：用于将通信端口与动环设备对接，并进行数据采集和数据流传输，生成采集数据；
74.数据筛选单元：用于通过预设的数据属性列表对所述采集数据进行划分，生成分类数据；其中，
75.所述分类数据包括实时数据、历史数据和配置数据。
76.上述技术方案的工作原理为：现有技术中，数据的划分主要是文本、图片和视频等等类型。这样虽然数据划分的更加清楚，但是增加了数据的处理量和计算量。因此本发明在进行数据处理的时候与现有技术进行改进，数据流传输是在对接之后实现数据传输，在对采集数据进行划分和筛选的过程中，本发明是基于预设的数据属性列表，这样可以在数据处理的时候，只是去处理有效的数据，对于无关数据就可以过滤掉。
77.上述技术方案的有益效果在于：本发明能够实现对数据筛选的过程中，相当于对于数据进行了一个过滤，滤除了干扰数据，因为本发明只需要数据属性列表中的数据，进而实现对需要的数据进行有效的的处理，相对于现有技术，本发明不会有干扰数据。
78.在本发明中：
79.还包括实时数据的安全处理，保证数据的质量有利于系统的稳定运行。对于高速
的数据访问需求，通过建立一个历史数据库来存储实时数据，对于数据的更新和查询提供良好支持。历史数据管理部分主要使用传统数据库对历史数据进行永久性保存，以应对以后的查询和优化分析的需要。配置管理数据通过配置项树结构来关联所述配置项与配置项的关系。
80.上述技术方案的有益效果为：通过数据筛选和数据分类实现数据的存储，方便数据查询和访问，在之后的数据处理模块中，能更快速地进行数据处理。
81.实施例3：
82.在本发明的一个具体实施例中：
83.所述数据存储模块包括：
84.实时存储单元：用于确定所述分类数据中的实时测点访问和实时数据访问的记录日志，确定实时数据，将实时数据存储至实时数据库；
85.历史存储单元：用于将所述分类数据进行时间标记，根据时间标记将历史数据存储至历史数据库；
86.配置管理数据库：用于存放动环监控系统的软件和硬件的属性数据，确定动环监控系统配置项和配置参数信息，并存储值配置数据库。
87.上述技术方案的原理在于：本发明中实时测点访问就是实施对检测点的访问信息，也就是实时的检测信息，实时数据访问，就是实时的数据访问信息，也就是实时的数据调用信息，本发明将这些信息数据作为实时数据是因为，动环监控系统只有在数据处理，才会进行数据的调用和数据检测，检测就是检测异常点，调用就是调用检测时间内的数据，如果对数据进行处理首先就是进行数据访问；历史数据的存储时按照时间标记进行存储，这样可以确定数据的时间点，并且便于对数据的时效性进行判定。配置管理数据库是为了存储设备在进行监控的时候的配置参数，所以存储的时配置设备信息和设备的参数。
88.上述技术方案的有益效果在于：本发明的数据划分可以使得需要用那部分数据，处理那部分的数据，对于其它的数据，我们都存储在历史数据库中，使得系统在进行数据处理的时候没有干扰。
89.实施例4：
90.所述实时存储单元包括：
91.组态管理子单元：用于对实时数据流进行细化存储，确定存储位置；
92.实时测点访问子单元：用于检索测点的基本信息及配置信息，获得实时数据库的实时数据值；
93.实时事务访问子单元：用于通过事务访问端口，确定所述实时事务的访问数据。
94.上述技术方案的原理和有益效果在于：进行实时的数据存储的时候，实时数据库相当于一个缓存数据库，只是存储需要处理的实时数据，组态管理子单元对数据列进行细化，是为将实时数据按照处理顺序进行存储，实时测点访问子单元时为了检索测点，也就是实时监测设备的配置信息和基本信息，实时数据值，是实时数据中，配置的参数和输出参数以及时间参数，这些数据能够用于进行数据计算，判定数据是不是存在异常，以及进行其它处理。实时事务访问子单元是为了根据实时数据的访问信息，确定正在处理那些数据，访问数据的目的，是用于确定需要做什么。
95.实施例5：
96.在一个具体的实施例中，本发明的历史数据库，包括：
97.所述历史存储单元包括：
98.历史数据存储子单元：用于检测历史数据流，将检测过的历史数据流转存至对应的存储单元；
99.历史数据查询子单元：包括数据连续查询和周期性数据查询，如附图2所示；
100.历史数据连续查询子单元：，用于输出一个不断更新变化的数据集合；
101.周期性数据查询子单元：用于输出一个周期间隔的数据集合。
102.上述技术方案的工作原理为：历史数据库负责永久保存数据。历史数据库在磁盘中，存在i/o操作，速度较慢。为了避免过于频繁的进行磁盘写入操作耗费系统资源，一般避免小量数据写入，而是先把实时数据保存在实时数据库中，汇总后再大量数据一起写入，提高系统效率。实时数据库就是一个历史数据缓冲区。当缓冲区数据积累到一定条件之后，才统一一次性写入磁盘文件中永久保存。对于缓冲区有一个写入条件，一般由2个参数决定：一个是缓冲数据大小，另外一个是缓冲数据存储时间。当缓冲区中的存储数据积累到一定数量时，或者是缓冲数据过程积累一定的时间周期之后，都应该将其写入磁盘，以免造成内存开销过大的问题。
103.历史数据的保存都是使用压缩数据的方法保存，具体在内存数据库中实现压缩。具体使用了两种压缩算法。其中一种是旋转门算法，另外一种是根据设置的有效精度进行离散点保存。在用户访问数据的时候，旋转门一般需要进行数据插值等到保存点以外的采样点的数据，离散点保存法则直接使用前一个保存点的数据，数据库查询主要帮助用户来获得数据，进行数据分析和优化分析。
104.上述技术方案的有益效果为：历史数据库的压缩算法可以节省存储空间，通过连续查询和周期性查询可以更方便进行数据的分析和处理。
105.实施例6：
106.在一个具体的实施例中，
107.所述配置管理数据单元，包括：
108.配置项基本信息子单元：用于存放硬件配置项、软件配置项、网络配置项、文档配置项、关联配置项和参数配置项；
109.配置项树结构子单元：用于关联配置项与配置参数的关系；
110.所述配置管理数据库的构建步骤为：
111.s1：确定配置管理的范围，
112.包括确定配置项的宽度和深度和划分并定义配置项生命周期；
113.s2：定义配置项对象，包括确定配置项的特点和确定配置项的共有属性、私有属性、关联项目和关系；
114.s3：构建配置项之间的配置模型。
115.上述技术方案的工作原理为：数据处理系统的所有组件都称为配置项，系统的运行环境的硬件配置项有动环存储服务器，包括其机箱、主板、cpu、内存、硬盘、raid卡、ssd、网卡，软件配置项有机房设备监控：系统自身提供各种设备通讯接入端口，连接各种设备，例如红外，烟感、水浸、门禁、空调、电量仪、ups的配置项，柴发动力监控支持：ups、市电电量、配电开关、蓄电池组、精密配电柜、ats/sts、电源支路电流、pdu机柜电源、防雷器、发电
机设备监控的配置项；环境监控支持：空调、漏水、温湿度、氢气等监测；微环境监控支持：监控机柜内的温度湿度状态的配置项；最终构建的配置模型包含了配置项的所有信息，便于进行配置信息的管理。
116.上述技术方案的有益效果为：配置管理数据库提供了精确的系统基础结构信息，存储并管理了动态监控系统中各个设备的各种配置信息，与动环监控系统的数据处理模块紧紧相连，支持流程的运转，发挥配置信息的价值，同时在审计过程中，快速准确提供了配置信息。
117.实施例7：
118.在一个具体的实施例中，所述数据处理模块包括：
119.数据调度单元：用于调度数据库的数据流，生成数据队列，并查找历史数据库中相似的数据队列，确定异常数据队列，对异常数据队列的数据进行异常值估算，确定异常值；
120.报警及确认单元：用于监控所述数据流，当达到阈值时，执行报警信息；
121.并发控制单元：用于对数据进行数据项加锁，对数据处理进行并发执行；
122.数据恢复单元：用于对死锁处理进行已夭折数据的恢复。
123.上述技术方案的原理和有益效果在于：数据处理模块在继续宁处理的时候，会根据数据流，进行数据排列，判断根据数据排列是否与历史相同情况确定出异常数据，在提取出这部分异常的数据，然后对异常的数据进行异常值计算，从而，判断异常值是不是到了阀值，从而实现报警。数据项加锁是为了防止数据被删除，或者数据因为存储空间不足而夭折，然后实现数据恢复，加锁后数据不会被删除会被压缩。
124.在一个具体实施例中：
125.在对数据列生成数据队列的时候，会根据时间有限调度策略，按照时间划分队列，因此在进行队列排布的时候需要进行对每个队列进行优先级分配，实现更完善的优先级调度，同时附加多个不确定参数来实现实时调度的自适应能力，动态的时间优先算法：
126.s(t)＝r
×
(ω1×
d-ω2×
ta ω3×
c-ω4×
n)
127.其中，t是数据，r是系数，表示数据t的紧迫性。ω1，ω2，ω3，ω4都是加权数，加权用来调整算法的合理性，取值在1附近，通过系统的运行状态来确定4个加权数，从而修正数据的优先级调度，d是截止时间，c是累计服务量，n是运行时间，ta是到达时间，s是松弛度。紧迫性r与实时数据的参数相关，如果到达的实时数据是突发性的，需要及时处理，r是一个小值，如果到达的实时数据是一个周期性的值，r是一个相对大的值，来缓冲事务的优先级。
128.n是一个不确定的值，需要在数据库的数据到达数据处理模块时，通过数据的特征参数来预测得到，数据的特征参数包括数据的操作类型(插入、查询)和数据的数量、类型。通过以下算法预测n：
129.n＝αt
t
α(1-α)t
t-1
α(1-α)2t
t-2

…
130.ω1，ω2，ω3，ω4这4个系数参数的确定，可以通过日志设备来记录系统状态信息，进而确定4个系数参数。
131.上述技术方案的有益效果为：本发明采用数据队列进行优先级管理，数据调度采用多线程技术，多线程技术能极大的简化系统资源优化的问题，更好的执行并发的数据，使用时间优先算法能更准确地进行优先级分配，同时实现更完善的优先级调度。
132.实施例8：
133.所述系统还包括：
134.死锁处理单元，用于检查数据的活动时间，当所述数据活动时间超过系统设定时间，则将其回滚，重新添加到数据队列中，等待下次的调度执行。
135.上述技术方案是因为数据流子进行排列处理的时候，是一直处于活动状态，所以本发明会设置回滚功能，执行调度。
136.实施例9：
137.在一个实施例中，如附图3所示，所述系统还包括：
138.报警确认单元：用于监控动环设备数据，当所述动环设备数据达到所述阈值，则发出报警信息，其中报警级别有4类，分别为：
139.未报警，没有达到报警条件，不触发报警，不执行报警信息；
140.低级报警，达到报警条件，触发报警，记录报警信息，提示用户查看对应区域有无隐患。可忽略，报警条件不满足时自动确认；
141.高级报警，达到报警条件，触发报警，记录报警信息，提醒用户查看对应区域出现错误。不可忽略，要求确认；
142.联锁报警，达到报警条件，触发报警，记录报警信息，提醒用户查看对应区域出现错误，并且自动执行事先预定的安全操作来防止系统错误扩大。不可忽略，要求确认。
143.上述技术方案的工作原理为：系统中的报警及确认模块负责监控数据的极限值是否达到实现设定的报警值，如果达到了，则发出报警信息，当用户查看报警信息之后，可以进行报警确认，报警类型有输入坏值报警、数据异常报警、系统错误报警、偏差报警。偏差报警是指设定值与极限值之差大于规定的偏差报警限值时进行报警。偏差报警有正偏差报警、负偏差报警和绝对值偏差报警三种。
144.报警信息记录往往需要进行输出打印和保存，报警输出信息只关注报警事件的时间信息、位置信息和报警事件信息，参照报警信息，可以省略部分信息来提高输出效率和节省存储空间。报警级别使用整型数代替，报警功能可以自动触发用户自定义的动作，包括通知操作人员，发出控制信号，生成报告。
145.用户查看报警之后，可以进行报警确认。报警确认是指报警信息已经通知到机房人员，同时机房人员已经知道某一环节中出现了问题，并反馈给系统，确认这个通知是有效的。报警确认可对于单条报警信息进行确认，可以对于一个单元内或者一个区域内的所有报警信息进行确认，还可以对于系统内的所有报警信息进行确认。
146.上述技术方案的有益效果为：报警及确认模块用来保证系统运行的安全性，自动触发用户自定义方便用户对报警信号进行响应，参照报警信息，可以省略部分信息来提高输出效率和节省存储空间。
147.实施例10：
148.在一个实施例中，所述系统包括：
149.日志管理设备，记录数据处理系统运行的各个模块状态信息，用于对系统进行优化分析和在系统崩溃时的数据恢复。
150.上述技术方案的工作原理为：日志管理设备负责监测整个系统的运行情况和各模块运行状态等信息，并且负责统一保存到系统日志中。系统日志可以用于对系统崩溃时恢复系统，也可以用来进行系统优化分析。系统运行过程中，有可能出现系统故障导致系统崩
溃。系统故障主要包括：(1)系统崩溃(硬件，软件，网络)(2)事务系统错误(3)事务检测出局部异常错误(4)并发控制中的死锁(5)磁盘故障(6)灾难性故障(外部环境发生灾难导致)为了能够使系统能够应对各种可能发生的系统故障，系统需要有恢复机制。
151.为了能够从影响系统执行事务的故障中恢复，系统通过一个日志管理设备来维护一个日志。而这个日志记录所有系统的状态和影响系统数据项的操作。当系统发生故障时，可以通过系统日志来恢复到之前的状态。系统运行日志信息包含信息来源(哪个模块)、时间、类型(正常/出错)、内容。日志管理模块将日志信息存储到磁盘中。因此，对于频繁的日志记录和存储，需要进行优化处理，以减轻系统负载。日志管理模块维护一个日志缓冲队列。这个队列负责临时存储着系统实时的运行日志信息。当达到一定的时间周期时，将缓冲队列中的日志信息一次性写入磁盘。通过缓冲机制，有效减少磁盘读写次数，极大提高了系统效率。
152.上述技术方案的有益效果为：本发明的日志管理设备具有稳定性和可靠性良好，支持备份和恢复系统，日志数据和备份数据，进行定期备份磁盘存储，防止出现数据遗失情况。
153.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。