一种安全智能的多源异构数据处理系统

1.本发明涉及数据处理领域，具体涉及一种安全智能的多源异构数据处理系统。


背景技术：

2.目前随着物联网快速发展，多种硬件设备的数量类别与日俱增，产生庞大的数据量即多源异构数据，同时当硬件设备出现各种问题时很难快速发现硬件问题以及基于数据的反馈作用修改。应当需要一种安全智能的反馈方式对多源异构数据进行处理。


技术实现要素：

3.本发明提供了一种安全智能的多源异构数据处理系统，以用于提高对多源异构异常数据处理的能力。
4.本发明采用的技术方案为：
5.一种安全智能的多源异构数据处理系统，该系统包括：多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、安全检测单元、数据可视化单元、操作指令单元、数据监听单元和工业标准通讯协议单元；所述数据规范单元与多源数据采集单元连接，所述数据存储单元与数据规范单元连接，所述数据计算单元与数据存储单元连接，所述数据监听单元与数据计算单元连接，所述工业标准通讯协议单元与数据监听单元连接；
6.所述多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、数据监听单元和工业标准通讯协议单元构成第一异常数据处理循环；
7.所述多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、安全检测单元、数据可视化单元、操作指令单元和工业标准通讯协议单元构成第二异常数据处理循环；
8.所述第一异常数据处理循环是从多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、数据监听单元和工业标准通讯协议单元回到多源数据采集单元的循环，用于第一异常数据的动态安全调整；其中，第一异常数据是指数据在某些时刻出现失真，缺失或重复；当数据监听单元监测到数据的第一异常后，将预置的对应微调指令通过工业标准通讯协议单元作用于多源数据采集单元；
9.所述第一异常数据的调整策略包括：
10.失真数据，获取失真数据对应的测量数据的趋势曲线，由趋势曲线计算出缺失数据对应时刻的理论数值；
11.缺失数据，通过工业标准通讯协议，将对缺失数据的时刻重新采集的指令作用于多源数据采集单元；
12.重复数据，记录重复数据出现的时刻与数据值，将再次采集的数据进行对应时刻的比对，完成重复数据的确认和/或调整。
13.所述第二异常数据处理循环，是从多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、安全检测单元、数据可视化单元、操作指令单元、工业标准通讯协议单元
回到多源数据采集单元的循环，且所述第二异常数据处理方式为人工选择性安全处理方式。
14.本发明提供的技术方案至少带来如下有益效果：
15.(1)本发明通过小规模异常数据处理循环与大规模异常数据处理循环实现智能安全的多源异构异常数据处理的能力，适应多种硬件设备的协议可以普适性推广至各硬件终端。
16.(2)系统双循环调节可大大制止异常数据产生的后续稳定，将pid(proportional integral derivative)控制理念应用在多源异构异常数据处理方式中，以保障连续稳定的硬件设备工作。
17.(3)系统结构实施复现简单，均可采用国际标准通用协议及常用的数据处理方式，简单的异常数据负反馈调节符合大多数异常情况，有效实现智能安全数据处理功能。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
19.图1是本发明实施例提供的一种安全智能的多源异构数据处理系统的结构框图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
21.参加图1，本发明实施例提供的一种安全智能的多源异构数据处理系统，包括：多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、安全检测单元、数据可视化单元、操作指令单元、数据监听单元和工业标准通讯协议单元。其中，数据规范单元与多源数据采集单元连接，数据存储单元与数据规范单元连接，数据计算单元与数据存储单元连接，数据监听单元与数据计算单元连接，工业标准通讯协议单元与数据监听单元连接，多源数据采集单元与工业标准通讯协议单元连接形成小规模异常数据处理循环。安全检测单元与数据计算单元连接，数据可视化单元与安全检测单元连接，操作指令单元与数据可视化单元，工业标准通讯协议单元与操作指令单元形成大规模异常数据处理循环。
22.其中，小规模异常数据处理循环，是从多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、数据监听单元、工业标准通讯协议单元回到多源数据采集单元的循环，以实现小规模异常信息的动态安全调整。小规模数据异常，是指该数据在某些时刻出现失真，缺失或重复。在数据监听模块监测到数据异常后，将微调指令通过工业标准通讯协议作用于多源数据采集单元，即可解决数据异常的问题，不需要人为手动或大幅度进行异常调整。小规模异常调整方法如下：
23.(1)失真数据调整。获取失真数据对应的测量数据的趋势曲线，由趋势曲线计算出缺失数据对应时刻的理论数值。也可选择神经网络修复法，如基于rbf神经网络模型对数据失真进行重构；
24.(2)缺失数据处理。通过工业标准通讯协议，将对缺失数据的时刻重新采集的指令作用于多源数据采集单元；
25.(3)重复数据处理。记录重复数据出现的时刻与数据值，将再次采集的数据进行对应时刻的比对，完成重复数据的确认或调整。
26.大规模异常数据处理循环，是从多源数据采集单元、数据规范单元、数据存储单元、数据计算单元、安全检测单元、数据可视化单元、操作指令单元、工业标准通讯协议单元回到多源数据采集单元的循环，以实现大规模异常数据处理的人工选择性安全处理方式。大规模异常，即微调进行数据的重新采集无法解决数据异常问题，需人工手动参与解决异常问题，如设备损坏，以及通过数据的趋势曲线或神经网络修复法无法恢复出正常数据，此时需要多方面协调进行异常处理。
27.作为一种可能的实现方式，本发明实施例中，多源数据采集单元基于不同的传感器或检测设备进行数据采集，采集到的数据由于设备的多样化，形式也多种多样,例如文字，语音，图像，视频等。其中包含了结构化数据，如csv，sql等格式；半结构化数据，如xml,json等格式；非结构化数据，如pdf，音频，视频，图像等。
28.作为一种可能的实现方式，本发明实施例中，数据规范单元，是基于传感器数据统一格式标准(ufsd)的可扩展标记语言，实现多传感器的异构数据转换。一方面采集到的数据量大，类型多，快速化等特点，另一方面异构数据对存储空间的需求加大，进行数据交互时会导致拥堵。为了更便捷的对数据进行存储，将采集到的多元数据分为元数据和数据内容两部分。元数据包括该条数据的基础信息，如数据格式，数据权限，字段名等。数据内容即数据本身。
29.作为一种可能的实现方式，本发明实施例中，数据存储单元，是基于mapreduce将各种异构型数据集成存储构成虚拟数据库；采用的数据存储单元主要分为三层：操作数据存储层，大数据仓库层与分析结果数据存储层。其中，操作数据存储层目的是确保数据仓库的稳定性，同时进行不规则数据的筛选，本层主要使用关系层数据库；大数据仓库层是对各类数据汇总后根据数据主题的差异分别存储；分析结果数据存储层使用mapreduce对各类数据进行切片，对各个切片并行处理，汇总后进行存储，并给上层应用提供访问数据，本层使用关系层数据库与非关系层数据库组合的方式进行数据存储。其中mapreduce基本处理步骤如下：
30.(1)将输入数据按照一定的标准进行切片操作，每一个分片对应一个map任务；
31.(2)按照一定的规则将分片中的内容解析成键值对，通常选择一种预定义的规则即可；
32.(3)执行map任务，对每一个键值对进行处理，输出零个或多个键值对
33.(4)mapreduce获取应用程序定义的分组方式，并按分组对map任务输出的键值对排序。默认每个键名一组；
34.(5)待所有节点都执行完上述步骤后，mapreduce启动reduce任务。每个分组对应一个reduce任务；
35.(6)执行reduce任务的进程通过网络获取指定组的所有键值对；
36.(7)把键名相同的值合并为列表；
37.(8)执行reduce任务，处理每个键对应的列表，输出结果。
38.作为一种可能的实现方式，本发明实施例中，数据计算单元是基于mysql的数据管理系统，通过预设的程序以及storm(流技术)流计算框架计算数据得到结果。首先，mysql通过预设各类sql语句完成对相关数据的一系列操作。storm流计算框架为每条存储的数据分派一个id作为唯一性标识，并在数据中包含原始输入数据的id，同时利用响应中心(acker)维护每条原始输入数据的状态，状态初值为该原始输入数据的id。每个计算节点成功执行后，则把输入和输出数据的id进行异或，再异或对应的原始输入消息的状态。由于每条消息在生成和处理时分别被异或一次，则成功执行后所有消息均被异或两次，对应的原始输入消息的状态为0。因此当状态为0后可安全清除原始输入消息的内容，而如果超过指定时间间隔后状态仍不为0，则认为处理该消息的某个环节出了问题，需要重新执行。该模块采用了抽象框架trident，以批处理的方式对数据流进行处理，支持跨批次进行聚合处理，并对执行过程进行优化，包括多个操作的合并，数据传输前的本地聚合。
39.作为一种可能的实现方式，本发明实施例中，数据监听单元是通过负反馈机制对常见的异常信息进行硬件预设调整指令传到至工业标准通讯协议；其中，异常信息是指文字，图片，视频等数据中与其他观测值有显著偏差，不满足数据内在规律，且超出可接受误差范围的极端值。无论是文字，图片或是视频数据，主要分为单变量数据，多变量数据以及时间序列数据：
40.(1)在时间序列数据的场景下。若时间序列呈无周期，平稳状态，根据动态阈值-平均移动法进行异常判断，即：以过去n个时刻的时序数据取其平均值作为下一时刻的时序数据的预测，并以过去n个窗口的指标的平均值分别进行加或减去方差的三倍作为监听的上下界；若时间序列呈平稳分布状态，围绕数据中心值小范围波动，定义上下阈值，超过此上下界为异常；若时间序列呈周期状，采用stl算法将时序数据拆解成趋势项，周期项与余项的组合，从而对余项设置恒定或动态阈值，如果某个时刻的分解余项超过设定的阈值，则判断为异常。
41.(2)平均值偏差超过指定倍数(如3倍)标准差的值为异常值；
42.(3)在多变量数据的场景下。采用孤立森林iforest算法在多特征下判断数据是否异常。若输出数据存在差异，则将偏差结果反馈到输入端(多源数据采集单元)，重新进行输入数据的调整。
43.作为一种可能的实现方式，本发明实施例中，工业标准通讯协议单元是接受程序产生的指令，将指令信息作用于硬件设备，调整相应硬件的采集方式，包括西门子、modbus、mpi/ppi等多种工业协议，支持各类控制系统和数字化仪表互联，包括施耐德、vipa、台达、欧姆龙、三菱多家plc等协议方式。具体为：
44.modbus协议，支持以太网设备，多种工业设备(包括plc，dcs，智能仪表等)，该通讯协议制定了消息域格局与内容的公共格式，采用主-从方式，实现双向读写，同时对数据进行奇偶校验，lrc校验等多种校验方式，诊断异常；
45.hart协议，基于bell202标准的fsk频移键控信号，用于智能仪表和控制设备的混合系统，该通讯协议规定了数据的结构，每个字符由11位组成，分别是1bit起始位，8bit数据，1bit奇偶校验位，1bit停止位；
46.mpi协议，该协议根据控制台的不同，分别建立主-主连接，主-从连接，读写数据等不同的操作；
47.profibus协议，该协议用户自动化监控和设备层数据通信与控制，可实现设备层到监控的分散式数字控制和现场通信，从而实现自动化和设备智能化提供了可行的解决方案；
48.ppi协议，该协议基于rs-484接口，屏蔽双绞线实现ppi通讯，建立主-从连接，主设备发送数据到从设备，从设备只能进行响应；
49.根据需要建立的连接(主-主，主-从连接方式)以及该协议支持的终端设备，进而选择相应的协议。以上协议均可实现将接收的指令，作用到数据采集模块，从而调整数据采集的方式，解决数据异常的问题。
50.作为一种可能的实现方式，本发明实施例中，安全检测单元是基于数据规范性检验与输出结果检验的安全信息记录，包括实现所述的数据监听单元的异常信息记录以及对大规模异常数据预警。数据规范校验和输出结果校验是对输入数据和对应的输出数据进行奇偶校验，crc校验，异或校验或md5校验，从而确定数据的规范性或异常问题。
51.1.作为一种可能的实现方式，本发明实施例中，数据可视化单元是将安全检测记录的信息进行动态展示，包括正常结果与各种异常信息；操作指令单元是根据数据可视化单元产生的结果配置的预设解决方式，可供选择处理也可进行手动指令操作作用于工业标准通讯协议单元。
52.本发明实施例提供了一种安全智能的多源异构数据处理系统，其通过小规模异常数据处理循环与大规模异常数据处理循环，实现了安全智能的多源异构数据处理。小规模异常数据可直接通过数据监听单元进行负反馈调控，大规模异常数据可通过预设方案或人工根据数据可视化单元信息进行手动设定指令。本发明实施例充分利用pid控制系统理念来处理多源异构异常数据，作用于硬件设备，实现较为连续稳定的硬件设备输出。此外本发明实施例中所涉及的各模块均由通用模块组成，方法简单，功能可靠。
53.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
54.以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。