基于云计算的大数据统一分析处理系统的制作方法

1.本发明涉及数据处理技术领域，具体涉及基于云计算的大数据统一分析处理系统。


背景技术：

2.云计算，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。
3.数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
4.在专利申请号为cn201710542792.9的“一种基于云计算的大数据分析平台”专利中，在说明书中记载有“该大数据分析平台包括：资源获取模块和训练模块；资源获取模块，用于从云计算环境中获取目标资源，并将获取的目标资源发送至训练模块；训练模块，利用基于区域的卷积神经网络目标检测算法faster-rcnn，对所述目标资源进行训练，将训练的结果作为分析结果输出。应用本发明实施例所提供的大数据分析平台，能够快速、高效、及时地对云计算网络环境中海量的数据资源进行分析处理，为设备安全、稳定、高效地运行提供有序的保障”，但是上述专利所提供的系统，虽然具有数据处理的功能，但是其缺少对于数据的统一化处理，同时，在整个数据处理过程中，难以结合管理人员的需求进行分析，也不能够根据管理需求进行分析预警，无法满足使用者的使用需求。
5.综上所述，研发基于云计算的大数据统一分析处理系统，仍是数据处理技术领域中急需解决的关键问题。


技术实现要素：

6.针对现有技术所存在的上述缺点，本发明在于提供基于云计算的大数据统一分析处理系统，本发明对各数据进行统一化处理，并进行统一化验证，将未完成统一化的数据重新返回数据统一模块进行重新统一化处理，从而能够有效的保证数据统一化处理的准确性，管理人员能够输入所需分析的数据类型以及预警的设定阈值，根据管理人员的输入的信息，对数据进行筛选，并基于云计算进行大数据的分析，将分析结果通过结果展示单元进行显示，使得管理人员能够查看数据的分析结果，同时，根据设定的预警阈值，对分析结果进行预警分析，由预警提醒单元发出预警提醒。
7.为实现上述目的，本发明提供了如下技术方案：基于云计算的大数据统一分析处理系统，包括数据采集终端、数据处理单元、数据分析单元和预警提醒单元，其中：所述数据采集终端用于获取所需的数据，并将数据传输给数据处理单元；所述数据处理单元用于对接收的数据进行统一化处理，对统一化处理后的数据进
行验证和存储，所述数据处理单元与数据采集终端连接；所述数据分析单元按照分析设定，基于云计算对统一化后的数据进行分析以及对分析结果进行存储，所述数据分析单元与数据处理单元连接；所述预警提醒单元用于接收数据分析单元的预警指令，并发出预警提醒，所述预警提醒单元与数据分析单元连接。
8.本发明进一步设置为：还包括结果展示单元，所述结果展示单元用于展示大数分析的结果。
9.本发明进一步设置为：所述数据分析单元还用于根据分析结果发出预警指令。
10.本发明进一步设置为：所述数据采集终端包括数据获取模块和数据传输模块，其中：所述数据获取模块用于采集获取所需的数据；所述数据传输模块用于将数据获取模块采集的数据传输给数据处理单元，所述数据传输模块与数据获取模块连接。
11.本发明进一步设置为：所述数据处理单元包括数据统一模块和第一存储模块，其中：所述数据统一模块用于将各采集的数据按照统一的格式进行统一化，所述数据统一模块与数据传输模块连接；所述第一存储模块用于对统一化的数据进行存储，所述第一存储模块与数据统一模块连接。
12.本发明进一步设置为：所述数据处理单元还包括数据验证模块，所述数据验证模块用于调取统一化验证标准，对统一化后的数据进行验证。
13.本发明进一步设置为：所述数据分析单元包括管理输入模块、数据筛选模块、云计算模块和第二存储模块，其中：所述管理输入模块用于管理人数输入所需分析的数据类型；所述数据筛选模块根据筛选设定，从大数据中筛选出待分析的数据，所述数据筛选模块与数据验证模块连接；所述云计算模块基于云计算实现对大数据的分析，所述云计算模块与数据筛选模块连接；所述第二存储模块用于存储筛选的大数据以及大数据分析结果，所述第二存储模块与数据筛选模块和云计算模块连接。
14.本发明进一步设置为：所述数据分析单元还包括预警对比模块，所述预警对比模块根据设定的各预计阈值，对分析的大数据结果进行预警分析，并下达预警指令，所述预警对比模块与管理输入模块、云计算模块以及预警提醒单元均连接。
15.有益效果采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：本发明通过数据获取模块获取数据，将数据通过数据传输模块传输给数据处理单元，在数据处理单元内由数据统一模块对各数据进行统一化处理，并进行统一化验证，将未完成统一化的数据重新返回数据统一模块进行重新统一化处理，至全部数据均完成统一化处理，从而能够有效的保证数据统一化处理的准确性，以便后续对数据进行分析，经过统一
化处理后的数据，会传输给数据分析单元，管理人员能够输入所需分析的数据类型以及预警的设定阈值，根据管理人员的输入的信息，对数据进行筛选，并基于云计算进行大数据的分析，将分析结果通过结果展示单元进行显示，使得管理人员能够查看数据的分析结果，同时，根据设定的预警阈值，对分析结果进行预警分析，由预警提醒单元发出预警提醒。
附图说明
16.图1为基于云计算的大数据统一分析处理系统的系统图；图2为基于云计算的大数据统一分析处理系统中数据采集终端的示意图；图3为基于云计算的大数据统一分析处理系统中数据处理单元的示意图；图4为基于云计算的大数据统一分析处理系统中数据分析单元的示意图。
17.图中标号说明：100、数据采集终端；110、数据获取模块；120、数据传输模块；200、数据处理单元；210、数据统一模块；220、第一存储模块；230、数据验证模块；300、数据分析单元；310、管理输入模块；320、数据筛选模块；330、云计算模块；340、第二存储模块；350、预警对比模块；400、预警提醒单元；500、结果展示单元。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
20.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
21.实施例：请参照图1-4所示，基于云计算的大数据统一分析处理系统，包括数据采集终端100、数据处理单元200、数据分析单元300和预警提醒单元400，其中：数据采集终端100用于获取所需的数据，并将数据传输给数据处理单元200；数据处理单元200用于对接收的数据进行统一化处理，对统一化处理后的数据进行验证和存储，数据处理单元200与数据采集终端100连接；数据分析单元300按照分析设定，基于云计算对统一化后的数据进行分析以及对分析结果进行存储，数据分析单元300与数据处理单元200连接；预警提醒单元400用于接收数据分析单元300的预警指令，并发出预警提醒，预警提醒单元400与数据分析单元300连
接；还包括结果展示单元500，结果展示单元500用于展示大数分析的结果；数据分析单元300还用于根据分析结果发出预警指令。
22.在本实施例中，通过设置的数据采集终端100进行数据的获取，并将获得数据传输给数据处理单元200，由数据处理单元200将数据进行数据统一化处理，以便后续按照统一的数据格式对数据进行处理，经过统一化后数据会传输给数据分析单元300，管理人员能够通过设定待分析的数据类型，从统一化后的数据中挑选出所需的数据，使得大数据分析能够满足需求，减少无关数据分析的赘余，提升了数据分析实用性，大数据分析结果会传输给结果展示单元500，由结果展示单元500展示分析的大数据结果，便于管理人员查看，此外，在大数据分析后，能够根据管理人员所设定的预警阈值进行预警，实现对某一或多个采集数据的分析结果预警，由预警提醒单元400进行提醒，在实现大数据分析的基础上，还能够实现预警作用。
23.在本发明中，数据采集终端100包括数据获取模块110和数据传输模块120，其中：数据获取模块110用于采集获取所需的数据；数据传输模块120用于将数据获取模块110采集的数据传输给数据处理单元200，数据传输模块120与数据获取模块110连接。
24.在本实施例中，数据获取模块110可以为温度传感器或其他采集设备，能够进行数据采集，将采集的数据通过数据传输模块120传输给数据处理单元200，数据传输模块120可以为发射器或其他传输设备。
25.在本发明中，数据处理单元200包括数据统一模块210和第一存储模块220，其中：数据统一模块210用于将各采集的数据按照统一的格式进行统一化，数据统一模块210与数据传输模块120连接；第一存储模块220用于对统一化的数据进行存储，第一存储模块220与数据统一模块210连接。
26.此外，数据处理单元200还包括数据验证模块230，数据验证模块230用于调取统一化验证标准，对统一化后的数据进行验证。
27.在本实施例中，数据统一模块210会接收采集的数据，将各数据统一化处理，并将统一化处理后的数据存储到第一存储模块220，经过统一化处理后的数据会由数据验证模块230进行统一化验证，验证数据是否统一化成功，将未完成统一化的数据重新返回数据统一模块210进行统一化处理，以保证数据统一化的准确性，以便后续对数据进行分析。
28.在本发明中，数据分析单元300包括管理输入模块310、数据筛选模块320、云计算模块330和第二存储模块340，其中：管理输入模块310用于管理人数输入所需分析的数据类型；数据筛选模块320根据筛选设定，从大数据中筛选出待分析的数据，数据筛选模块320与数据验证模块230连接；云计算模块330基于云计算实现对大数据的分析，云计算模块330与数据筛选模块320连接；第二存储模块340用于存储筛选的大数据以及大数据分析结果，第二存储模块340与数据筛选模块320和云计算模块330连接。
29.此外，数据分析单元300还包括预警对比模块350，预警对比模块350根据设定的各预计阈值，对分析的大数据结果进行预警分析，并下达预警指令，预警对比模块350与管理输入模块310、云计算模块330以及预警提醒单元400均连接。
30.在本实施例中，管理人员通过管理输入模块310设定所需分析的数据以及预警阈值，数据筛选模块320根据管理人员输入的信息，对数据进行分析，基于云计算由云计算模块330进行大数据的分析，将分析结果存储到第二存储模块340进行存储，经过云计算的大
数据分析结果会经过预警对比模块350进行阈值对比，在超出预警阈值时，向预警提醒单元400发出预警指令，预警提醒单元400会发出预警提醒，便于管理人员及时的发现预警信息，通过大数据的分析结果会传输给结果展示单元500，由结果展示单元500显示分析的结果。
31.本发明对各数据进行统一化处理，并进行统一化验证，将未完成统一化的数据重新返回数据统一模块210进行重新统一化处理，从而能够有效的保证数据统一化处理的准确性，管理人员能够输入所需分析的数据类型以及预警的设定阈值，根据管理人员的输入的信息，对数据进行筛选，并基于云计算进行大数据的分析，将分析结果通过结果展示单元500进行显示，使得管理人员能够查看数据的分析结果，同时，根据设定的预警阈值，对分析结果进行预警分析，由预警提醒单元400发出预警提醒。
32.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。