一种实时数据处理方法和系统与流程

1.本发明涉及数据处理的技术领域，具体为一种实时数据处理方法和系统。


背景技术：

2.实时数据处理是指计算机对现场数据在其发生的实际时间内进行收集和处理的过程。在实时数据处理的过程中，实时数据库首先要提供高速的数据采集和数据处理，为了适应不同的集成系统。
3.目前的实时数据处理方法和系统只能简单对实时数据进行采集、分析、存储后输出到客户端，并不能对实时数据进行深层次的挖掘分析、预测分析，也不能了解实时数据发生的原因，尤其对于大数据背景下传统实时数据处理方法和系统不能满足处理要求。


技术实现要素：

4.为解决上述目前的实时数据处理方法和系统只能简单对实时数据进行采集、分析、存储后输出到客户端，并不能对实时数据进行深层次的挖掘分析、预测分析，也不能了解实时数据发生的原因，尤其对于大数据背景下传统实时数据处理方法和系统不能满足处理要求的问题，实现以上实时数据的深层次的挖掘分析、预测分析的目的。
5.本发明通过以下技术方案予以实现：一种实时数据处理方法，包括以下步骤：
6.步骤一、系统直接或间接从分布式控制系统中采集到的实时数据，确定实时处理对象；
7.步骤二、前端数据对象导入一个集中的大型分布式数据库或者分布式存储集群，同时对实时数据一些简单的清洗和预处理工作后使用twitter的 storm来对数据进行流式计算；
8.步骤三、对预处理后存储在分布式数据库或者分布式计算集群内部大量实时数据进行普通的分析和分类汇总；
9.步骤四、采用数据融合对数据统计分析后实时数据，进行自动检测、关联、相关、估计及组合处理，数据融合将不同传感器接收的信息经过融合得到对目标状态或目标特征的判定；
10.步骤五、经过采集、处理后的实时数据再次进行存储以方便人们对其进行查询、分析操作；
11.或对融合处理后实时数据在现有数据上面进行基于各种算法的挖掘计算，从而起到预测的效果，从而实现一些高级别数据分析的需求，满足大数据的实时分析；
12.步骤六、经过挖掘计算分析或数据融合存储后的数据进行数据输出提供给客户端。
13.一种实时数据处理系统，包括：
14.数据采集，用于收集外界传感器、输入设备导入计算机网络进入分布式控制系统中的实时数据，汇总实时数据；
15.导入预处理，用于对采集的实时数据导入型分布式数据库或者分布式存储集群进行预处理和流式计算；
16.统计分析，用于对预处理后在分布式数据库或者分布式存储集群的实时数据进行普通的分析和分类；
17.数据融合，用于实时数据统计分析后进行自动检测、关联、相关、估计及组合处理融合成需要的目标特征或对目标特征的判断；
18.数据存储，用于对融合处理后的实时数据再次进行存储以方便人们对其进行查询、分析操作；
19.数据挖掘，用于对融合处理后的实时数据进行基于各种算法的高级预测计算；
20.数据输出，用于数据存储或数据挖掘处理后面向客户端的输出。
21.进一步的，所述数据采集方法分为直接数据采集和间接数据采集，所述直接数据采集是接从分布式控制系统中采集到的实时数据，所述间接数据采集是指数据采集计算机不直接与现场分布式控制系统通信，而是在分布式控制系统之上放置一台上位机，上位机通过分布式控制系统提供的接口采集实时数据，现场之外的数据采集计算机与上位机通信，取得所需要的实时数据。
22.进一步的，所述直接数据采集中分布式控制系统可以采用标准的odbc开放式数据库互连、dde动态数据交换、ole对象链接与嵌入，分布式控制系统可以与计算机内部采集程序通过网络连接进行实时数据采集。
23.进一步的，所述间接数据采集中上位机通过网卡挂在分布式控制系统的控制网格上，与现场分布式控制系统的数据接口通信，上位机对所采集上来的实时数据一般有两种处理方式，一是实时数据以数据库、电子表格或文本文件方式放在本地硬盘中，由远程的数据采集计算机定时将数据取走，另一种是上位机定时将采集的实时数据主动发送到数据采集计算机。
24.进一步的，所述统计分析采用emc的greenplum、oracle的exadata、基于mysql的列式存储infobright对实时数据进行分析。
25.进一步的，所述数据融合算法类型分为带反馈的实时数据融合算法和加权滤波实时数据融合算法，所述带反馈的实时数据融合算法是解决目前在融合过程中的实时性要求。该算法主要强调对于不同类别的数据需要进行实时的自适应分级，将紧急数据迅速融合并传输给用户，所述加权滤波实时数据融合算法是利用数据间支持度函数矩阵，进行多组数据的加权融合，将融合结果替代滤波值进行卡尔曼滤波，从而实现多组测量数据的实时动态融合数据。
26.进一步的，所述数据存储常用nand flash存储进行实时数据存储，所述数据挖掘长采用用于聚类的k-means、用于统计学习的svm、用于分类的 naivebayes进行实时数据的分析计算预测。
27.本发明提供了一种实时数据处理方法和系统。具备以下有益效果：
28.通过数据采集、导入预处理、统计分析可以进行实时数据的快速前期处理，数据融合、数据存储、数据输出可以满足实时数据的深度分析分类以及实时数据的快速调用和直观展示，数据融合、数据挖掘、数据输出可以使得实时数据在满足正常的采集、分析、展示后对实时数据进行基于大数据的计算挖掘分析和预测分析，便于对实时数据发生原理和背景
进行分析和计算并输出展示到客户端，增加实时数据分析处理的可靠性和科学性。
附图说明
29.图1为本发明实时数据处理方法的流程图；
30.图2为本发明实时数据处理系统的组成图；
31.图3为本发明数据采集方法的组成图；
32.图4为本发明数据融合算法类型的组成图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.该一种实时数据处理方法和系统的实施例如下：
35.实施例：
36.请参阅图1-图4，一种实时数据处理方法，包括以下步骤：
37.步骤一、系统直接或间接从分布式控制系统中采集到的实时数据，确定实时处理对象；
38.步骤二、前端数据对象导入一个集中的大型分布式数据库或者分布式存储集群，同时对实时数据一些简单的清洗和预处理工作后使用twitter的 storm来对数据进行流式计算；
39.步骤三、对预处理后存储在分布式数据库或者分布式计算集群内部大量实时数据进行普通的分析和分类汇总；
40.步骤四、采用数据融合对数据统计分析后实时数据，进行自动检测、关联、相关、估计及组合处理，数据融合将不同传感器接收的信息经过融合得到对目标状态或目标特征的判定；
41.步骤五、经过采集、处理后的实时数据再次进行存储以方便人们对其进行查询、分析操作；
42.或对融合处理后实时数据在现有数据上面进行基于各种算法的挖掘计算，从而起到预测的效果，从而实现一些高级别数据分析的需求，满足大数据的实时分析；
43.步骤六、经过挖掘计算分析或数据融合存储后的数据进行数据输出提供给客户端。
44.一种实时数据处理系统，包括：
45.数据采集，用于收集外界传感器、输入设备导入计算机网络进入分布式控制系统中的实时数据，汇总实时数据；
46.导入预处理，用于对采集的实时数据导入型分布式数据库或者分布式存储集群进行预处理和流式计算；
47.统计分析，用于对预处理后在分布式数据库或者分布式存储集群的实时数据进行普通的分析和分类；
48.数据融合，用于实时数据统计分析后进行自动检测、关联、相关、估计及组合处理融合成需要的目标特征或对目标特征的判断；
49.数据存储，用于对融合处理后的实时数据再次进行存储以方便人们对其进行查询、分析操作；
50.数据挖掘，用于对融合处理后的实时数据进行基于各种算法的高级预测计算；
51.数据输出，用于数据存储或数据挖掘处理后面向客户端的输出。
52.数据采集方法分为直接数据采集和间接数据采集，直接数据采集是接从分布式控制系统中采集到的实时数据，间接数据采集是指数据采集计算机不直接与现场分布式控制系统通信，而是在分布式控制系统之上放置一台上位机，上位机通过分布式控制系统提供的接口采集实时数据，现场之外的数据采集计算机与上位机通信，取得所需要的实时数据。
53.直接数据采集中分布式控制系统可以采用标准的odbc开放式数据库互连、dde动态数据交换、ole对象链接与嵌入，分布式控制系统可以与计算机内部采集程序通过网络连接进行实时数据采集。
54.间接数据采集中上位机通过网卡挂在分布式控制系统的控制网格上，与现场分布式控制系统的数据接口通信，上位机对所采集上来的实时数据一般有两种处理方式，一是实时数据以数据库、电子表格或文本文件方式放在本地硬盘中，由远程的数据采集计算机定时将数据取走，另一种是上位机定时将采集的实时数据主动发送到数据采集计算机。
55.统计分析采用emc的greenplum、oracle的exadata、基于mysql的列式存储infobright对实时数据进行分析。
56.数据融合算法类型分为带反馈的实时数据融合算法和加权滤波实时数据融合算法，带反馈的实时数据融合算法是解决目前在融合过程中的实时性要求。该算法主要强调对于不同类别的数据需要进行实时的自适应分级，将紧急数据迅速融合并传输给用户，加权滤波实时数据融合算法是利用数据间支持度函数矩阵，进行多组数据的加权融合，将融合结果替代滤波值进行卡尔曼滤波，从而实现多组测量数据的实时动态融合数据。
57.数据存储常用nand flash存储进行实时数据存储，数据挖掘长采用用于聚类的k-means、用于统计学习的svm、用于分类的naivebayes进行实时数据的分析计算预测。
58.通过数据采集、导入预处理、统计分析可以进行实时数据的快速前期处理，数据融合、数据存储、数据输出可以满足实时数据的深度分析分类以及实时数据的快速调用和直观展示，数据融合、数据挖掘、数据输出可以使得实时数据在满足正常的采集、分析、展示后对实时数据进行基于大数据的计算挖掘分析和预测分析，便于对实时数据发生原理和背景进行分析和计算并输出展示到客户端，增加实时数据分析处理的可靠性和科学性。
59.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。