一种准确性高的基于多形式处理的大数据分析系统的制作方法

1.本发明涉及大数据分析领域，具体涉及一种准确性高的基于多形式处理的大数据分析系统。


背景技术：

2.大数据技术，指的是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。数据多样化的形成主要有两方面的原因：一是数据来源多，有搜索引擎、社交网络、通话记录、传感器等等；二是数据格式多，有结构数据、半结构数据和非结构数据，随着大数据时代的来临，大数据分析也应运而生。
3.目前，现有的大数据分析通常使用单一的分析方式，在处理一些多样化的数据时，其有效性和准确性较差。
4.因此，发明一种准确性高的基于多形式处理的大数据分析系统来解决上述问题很有必要。


技术实现要素：

5.本发明的目的是提供一种准确性高的基于多形式处理的大数据分析系统，通过多源数据综合单元分别接收统计综合单元、对比综合单元和发掘综合单元的分析结果，并对分析结果进行综合运算，得到数据综合结果，并通过反馈单元将数据综合结果传输至输出单元，然后通过输出单元反馈数据综合结果，以解决技术中的上述不足之处。
6.为了实现上述目的，本发明提供如下技术方案：一种准确性高的基于多形式处理的大数据分析系统，包括用户交互模块，所述用户交互模块连接端连接有数据收集模块和综合分析模块，所述数据收集模块连接端连接有数据仓库，所述数据仓库连接端连接有数据统计模块、数据对比模块和数据挖掘模块，所述综合分析模块连接端分别与数据统计模块、数据对比模块和数据挖掘模块连接；
7.所述用户交互模块用于人机交互，输入获取数据的检索范围，输出大数据分析结果；
8.所述数据收集模块根据用户需求，通过多源渠道获取数据；
9.所述数据仓库用于存储数据收集模块获取的数据；
10.所述数据统计模块用于提取数据，并依据统计学知识对数据进行处理；
11.所述数据对比模块用于提取数据，对数据进行横向对比和纵向对比处理；
12.所述数据挖掘模块用于提取数据，通过人工智能对数据进行深度处理，发掘数据隐藏的规律；
13.所述综合分析模块用于综合数据统计模块、数据对比模块和数据挖掘模块的处理结果，对大数据进行综合分析处理。
14.优选的，所述用户交互模块包括输入单元和输出单元，所述输入单元通过人机交
互，根据用户需求输入收集数据的主题范围，所述输出单元用于接收综合分析模块的分析处理结果并对用户进行反馈。
15.优选的，所述数据收集模块包括网络爬取单元和大数据平台交互单元，所述网络爬取单元用于连接互联网，根据用户输入的主题范围在互联网网页中不断的获取与主题相关联的数据，所述大数据平台交互单元通过与主题相关联的大数据平台进行数据交互，获取相关数据。
16.优选的，所述数据仓库包括数据预处理单元和数据存储单元，所述数据预处理单元用于网络爬取单元和大数据平台交互单元获取数据的预处理，对数据进行筛选，剔除重复数据和垃圾数据，所述数据存储单元用于存储数据预处理单元处理后的数据。
17.优选的，所述数据统计模块包括统计分析单元和统计综合单元，所述统计分析单元提取数据存储单元中存储的数据，并对数据进行排序、筛选、运算等统计学处理，分析数据内容，所述统计综合单元用于获取统计分析单元的分析结果，提取其中与用户输入主题相近的结果。
18.优选的，所述数据对比模块包括对比分析单元和对比综合单元，所述对比分析单元提取数据存储单元中存储的数据，并对不同数据进行相同时间条件下的横向对比，以及不同时间下相同数据的纵向对比，对数据进行分析处理，所述对比综合单元用于获取对比分析单元的分析结果，提取与用户输入主题相关的结论。
19.优选的，所述数据挖掘模块包括发掘分析单元和发掘综合单元，所述发掘分析单元提取数据存储单元中存储的数据，并依据人工智能以及聚类分析、时序分析等各种算法，对数据进行深度挖掘，发掘出数据中隐藏的更深层次的规律，所述发掘综合单元获取发掘分析单元的分析结论，提取其中与用户输入主题关联的数据。
20.优选的，所述综合分析模块包括多源数据综合单元和反馈单元，所述多源数据综合单元分别接收统计综合单元、对比综合单元和发掘综合单元的分析结果，并对分析结果进行综合运算，得到数据综合结果，所述反馈单元用于传输数据综合结果至输出单元。
21.在上述技术方案中，本发明提供的技术效果和优点：
22.通过多源数据综合单元分别接收统计综合单元、对比综合单元和发掘综合单元的分析结果，并对分析结果进行综合运算，得到数据综合结果，并通过反馈单元将数据综合结果传输至输出单元，然后通过输出单元反馈数据综合结果，通过多样化处理大数据，提高大数据的有效性和准确性。
附图说明
23.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
24.图1为本发明的系统图；
25.图2为本发明的单元图。
26.附图标记说明：
27.1用户交互模块、2数据收集模块、3综合分析模块、4数据仓库、5数据统计模块、6数据对比模块、7数据挖掘模块、8输入单元、9输出单元、10网络爬取单元、11大数据平台交互
单元、12数据预处理单元、13数据存储单元、14统计分析单元、15统计综合单元、16对比分析单元、17对比综合单元、18发掘分析单元、19发掘综合单元、20多源数据综合单元、21反馈单元。
具体实施方式
28.为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
29.本发明提供了如图1
‑
2所示的一种准确性高的基于多形式处理的大数据分析系统，包括用户交互模块1，所述用户交互模块1连接端连接有数据收集模块2和综合分析模块3，所述数据收集模块2连接端连接有数据仓库4，所述数据仓库4连接端连接有数据统计模块5、数据对比模块6和数据挖掘模块7，所述综合分析模块3连接端分别与数据统计模块5、数据对比模块6和数据挖掘模块7连接；
30.所述用户交互模块1用于人机交互，输入获取数据的检索范围，输出大数据分析结果；
31.所述数据收集模块2根据用户需求，通过多源渠道获取数据；
32.所述数据仓库4用于存储数据收集模块2获取的数据；
33.所述数据统计模块5用于提取数据，并依据统计学知识对数据进行处理；
34.所述数据对比模块6用于提取数据，对数据进行横向对比和纵向对比处理；
35.所述数据挖掘模块7用于提取数据，通过人工智能对数据进行深度处理，发掘数据隐藏的规律；
36.所述综合分析模块3用于综合数据统计模块5、数据对比模块6和数据挖掘模块7的处理结果，对大数据进行综合分析处理。
37.进一步的，在上述技术方案中，所述用户交互模块1包括输入单元8和输出单元9，所述输入单元8通过人机交互，根据用户需求输入收集数据的主题范围，所述输出单元9用于接收综合分析模块3的分析处理结果并对用户进行反馈。
38.进一步的，在上述技术方案中，所述数据收集模块2包括网络爬取单元10和大数据平台交互单元11，所述网络爬取单元10用于连接互联网，根据用户输入的主题范围在互联网网页中不断的获取与主题相关联的数据，所述大数据平台交互单元11通过与主题相关联的大数据平台进行数据交互，获取相关数据。
39.进一步的，在上述技术方案中，所述数据仓库4包括数据预处理单元12和数据存储单元13，所述数据预处理单元12用于网络爬取单元10和大数据平台交互单元11获取数据的预处理，对数据进行筛选，剔除重复数据和垃圾数据，所述数据存储单元13用于存储数据预处理单元12处理后的数据。
40.进一步的，在上述技术方案中，所述数据统计模块5包括统计分析单元14和统计综合单元15，所述统计分析单元14提取数据存储单元13中存储的数据，并对数据进行排序、筛选、运算等统计学处理，分析数据内容，所述统计综合单元15用于获取统计分析单元14的分析结果，提取其中与用户输入主题相近的结果。
41.进一步的，在上述技术方案中，所述数据对比模块6包括对比分析单元16和对比综合单元17，所述对比分析单元16提取数据存储单元13中存储的数据，并对不同数据进行相
同时间条件下的横向对比，以及不同时间下相同数据的纵向对比，对数据进行分析处理，所述对比综合单元17用于获取对比分析单元16的分析结果，提取与用户输入主题相关的结论。
42.进一步的，在上述技术方案中，所述数据挖掘模块7包括发掘分析单元18和发掘综合单元19，所述发掘分析单元18提取数据存储单元13中存储的数据，并依据人工智能以及聚类分析、时序分析等各种算法，对数据进行深度挖掘，发掘出数据中隐藏的更深层次的规律，所述发掘综合单元19获取发掘分析单元18的分析结论，提取其中与用户输入主题关联的数据。
43.进一步的，在上述技术方案中，所述综合分析模块3包括多源数据综合单元20和反馈单元21，所述多源数据综合单元20分别接收统计综合单元15、对比综合单元17和发掘综合单元19的分析结果，并对分析结果进行综合运算，得到数据综合结果，所述反馈单元21用于传输数据综合结果至输出单元9。
44.实施方式具体为：使用时，首先用户通过与输入单元8交互，输入收集数据的主题范围，然后网络爬取单元10连接互联网，根据用户输入的主题范围在互联网网页中不断的获取与主题相关联的数据，同时大数据平台交互单元11通过与主题相关联的大数据平台进行数据交互，获取相关数据，然后数据预处理单元12收网络爬取单元10和大数据平台交互单元11获取的数据，随后对数据进行筛选，剔除重复数据和垃圾数据，并将预处理后的数据存入数据存储单元13中，统计分析单元14提取数据存储单元13中存储的数据，并对数据进行排序、筛选、运算等统计学处理，分析数据内容，统计综合单元15获取统计分析单元14的分析结果，提取其中与用户输入主题相近的结果，并将结果发送至多源数据综合单元20，对比分析单元16提取数据存储单元13中存储的数据，并对不同数据进行相同时间条件下的横向对比，以及不同时间下相同数据的纵向对比，对数据进行分析处理，对比综合单元17用于获取对比分析单元16的分析结果，提取与用户输入主题相关的结论，并将结论发送至多源数据综合单元20，发掘分析单元18提取数据存储单元13中存储的数据，并依据人工智能以及聚类分析、时序分析等各种算法，对数据进行深度挖掘，发掘出数据中隐藏的更深层次的规律，发掘综合单元19获取发掘分析模块的分析结论，提取其中与用户输入主题关联的数据，并将数据发送至多源数据综合单元20，多源数据综合单元20分别接收统计综合单元15、对比综合单元17和发掘综合单元19的分析结果，并对分析结果进行综合运算，得到数据综合结果，并通过反馈单元21将数据综合结果传输至输出单元9，然后通过输出单元9反馈数据综合结果，该实施方式具体解决了现有技术中大数据分析通常使用单一的分析方式，在处理一些多样化的数据时，其有效性和准确性较差的问题。
45.以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。