一种基于云计算的大数据统一分析处理系统的制作方法

1.本发明涉及云计算技术领域，更具体地说，本发明涉及一种基于云计算的大数据统一分析处理系统。


背景技术：

2.现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物，大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像mapreduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
3.大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。大数据时代具有数据量大、类型繁多、价值密度低和速度快、时效高的特征。大数据的起始计量单位至少是p(1000个t)，包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求，且多数数据价值有限，价值密度相对较低，数据更新速度快，时效性要求高。
4.由于数据较复杂，而且更新速度快，需要通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题；既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，是得不偿失的，无法快速检索有效数据。


技术实现要素：

5.为了克服现有技术的上述缺陷，本发明的实施例提供一种基于云计算的大数据统一分析处理系统，通过数据采集模块筛选采集有用的完整数据信息，数据分析模块选取可靠来源数据并利用准确性判断公式判断数据准确性，获得精准信息，数据存储模块对信息数据进行分类处理，分类梳理数据，提高统一分析处理的准确性，在数据建模单元构建数据模型，通过搜索引擎单元输入关键词与数据模型中关键词链接，有利于快速获取准确数据信息。
6.为实现上述目的，本发明提供如下技术方案：一种基于云计算的大数据统一分析处理系统，包括数据源服务器、中央服务器和检索服务器，所述数据源服务器的连接端设有中央服务器，所述中央服务器的连接端设有检索服务器，所述检索服务器的连接端设有若干客户端；
7.所述数据源服务器内部设有数据采集模块，所述数据采集模块用于筛选有用信息数据并将其通过物联网发送给中央服务器；
8.所述中央服务器和检索服务器内部设有数据分析模块、数据处理模块、数据存储模块和数据建模单元，所述数据分析模块用于分析采集的信息数据，分析检测信息来源的可靠性和数据的准确性，并将合理的信息数据转交数据处理模块分类处理，数据处理模块
对信息数据编码并归类，统一存储在数据存储模块内部，数据建模单元对同类数据集进行建模并关联内容关键词；
9.所述检索服务器内部设有搜索引擎单元，所述搜索引擎单元用于输入关键词并在中央服务器获得相关数据。
10.在一个优选地实施方式中，所述数据存储模块内部设有a数据子存储模块、b数据子存储模块、c数据子存储模块、d数据子存储模块和e数据子存储模块五个存储子单元，五个所述存储子模块内部均设有若干不同数据分区。
11.在一个优选地实施方式中，所述数据源服务器的数据来源包括人工输入、物联网和云数据库，所述客户端设置为手机端或pc端。
12.一种基于云计算的大数据统一分析处理系统具体包括以下分析处理步骤：
13.步骤一、数据采集，数据源服务器连接物联网，在数据库对总体数据进行总体浏览，并通过数据采集模块筛选采集有用的完整数据信息，采集收集后通过物联网将信息数据发送中央服务器；
14.步骤二、数据分析处理，数据分析模块接收数据信息并分析检测信息来源的可靠性，筛选可靠信息来源，并将不可靠来源的信息数据剔除，对筛选的可靠来源信息进行数据比对，比较其差异性，分析数据的准确性，将数据差异大的数据剔除，获得准确可靠的信息数据；
15.步骤三、数据分类存储，将步骤二中获得的准确可靠的信息数据发送至数据存储模块，数据存储模块对信息数据进行分类处理，根据信息数据来源和信息数据相关内容生成关键词，针对信息数据的相关程度进行编码，编码为a’、b’、c’、d’和e’，分别表示相关性为0、25％、50％、75％和100％，将具有相同编码的信息数据归为一类，五类信息数据分别存储在五个子数据子存储模块内，同类编码信息数据根据其不同内容分类存储在多个数据分区中；
16.步骤四、数据信息建模，构建数据相似模型，将步骤三中分类存储的信息数据内容与相似模型关联；
17.步骤五、数据应用，通过客户端登录检索服务器，并在搜索引擎单元输入关键词，关键词通过物联网发送至中央服务器，被数据相似模型接收并带入，数据建模单元根据关键词快速编辑相关内容，并获得检索信息数据，检索服务器利用公式获得检索信息数据均值。
18.在一个优选地实施方式中，所述步骤一中使用数据完整性筛选器筛分，所述数据完整性筛选器具体如下：
19.|si-s|/si《q
20.认为该误差为合理区间，其中si为数据库单个数据的数据量值，s为数据库各数据的数据量值平均数，q为判断定值，所述q值设置为0.1。
21.在一个优选地实施方式中，所述步骤二中利用准确性判断公式分析数据的准确性，表达式为：
22.|zi-z|＞t
·
σ
23.认为该误差为粗大误差，其中zi为检测数据，z为数据均值，t为判别系数，σ为标准差,设计变系数自适应莱以特准则，开始时取t的值接近于零，后逐步扩大t的值，每次都有
新的数据点被剔除，直至获得足够准确的信息数据。
24.在一个优选地实施方式中，标准差的计算公式为：
[0025][0026]
在一个优选地实施方式中，所述步骤三中的数据相关性计算公式为:
[0027][0028]
用相关性指数w表示数据相关性，j表示数据整体信息关系值，k表示数据拆分信息关系值。
[0029]
在一个优选地实施方式中，所述步骤四中的数据相似模型表达式为:
[0030][0031]
本发明的技术效果和优点：
[0032]
1、通过数据采集模块筛选采集有用的完整数据信息，数据分析模块选取可靠来源数据并利用准确性判断公式判断数据准确性，获得精准信息，数据存储模块对信息数据进行分类处理，分类梳理数据，提高统一分析处理的准确性，在数据建模单元构建数据模型，通过搜索引擎单元输入关键词与数据模型中关键词链接，有利于快速获取准确数据信息；
[0033]
2、通过数据存储模块对信息数据进行分类处理，生成信息数据关键词，便于与搜索关键词链接，搜索关键词后，利用关键词反向搜索数据库，数据存储模块8利用相关性计算公式计算搜索信息数据的相关程度并根据编码存储在多个数据分区中，有利于提高数据检索索精度和效率，方便查看检索结果；
[0034]
3、通过数据完整性筛选器计算数据的完整程度，与数据均值比较，剔除不完整的信息数据，再次利用准确性判断公式判断信息数据的准确性，将差异较大的数据剔除，提高数据的准确性，有利于减少错误信息干扰，提高检索效率。
附图说明
[0035]
图1为本发明的系统结构框图图。
[0036]
图2为本发明数据存储模块的结构示意图。
[0037]
附图标记为：1数据源服务器、2中央服务器、3检索服务器、4客户端、5数据采集模块、6数据分析模块、7数据处理模块、8数据存储模块、9数据建模单元、10搜索引擎单元。
具体实施方式
[0038]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
实施例1：
[0040]
根据图1-2所示的一种基于云计算的大数据统一分析处理系统，包括数据源服务器1、中央服务器2和检索服务器3，所述数据源服务器1的连接端设有中央服务器2，所述中央服务器2的连接端设有检索服务器3，所述检索服务器3的连接端设有若干客户端4；
[0041]
所述数据源服务器1内部设有数据采集模块5，所述数据采集模块5用于筛选有用信息数据并将其通过物联网发送给中央服务器2；
[0042]
所述中央服务器2和检索服务器3内部设有数据分析模块6、数据处理模块7、数据存储模块8和数据建模单元9，所述数据分析模块6用于分析采集的信息数据，分析检测信息来源的可靠性和数据的准确性，并将合理的信息数据转交数据处理模块7分类处理，数据处理模块7对信息数据编码并归类，统一存储在数据存储模块8内部，数据建模单元9对同类数据集进行建模并关联内容关键词，通过数据采集模块5筛选采集有用的完整数据信息，数据分析模块6选取可靠来源数据并利用准确性判断公式判断数据准确性，获得精准信息，数据存储模块8对信息数据进行分类处理，分类梳理数据，提高统一分析处理的准确性，在数据建模单元9构建数据模型，通过搜索引擎单元10输入关键词与数据模型中关键词链接，有利于快速获取准确数据信息；
[0043]
所述检索服务器3内部设有搜索引擎单元10，所述搜索引擎单元10用于输入关键词并在中央服务器2获得相关数据；
[0044]
进一步的，所述数据存储模块8内部设有a数据子存储模块、b数据子存储模块、c数据子存储模块、d数据子存储模块和e数据子存储模块五个存储子单元，五个所述存储子模块内部均设有若干不同数据分区；
[0045]
进一步的，所述数据源服务器1的数据来源包括人工输入、物联网和云数据库，所述客户端4设置为手机端或pc端；
[0046]
通过数据采集模块5筛选采集有用的完整数据信息，数据分析模块6选取可靠来源数据并利用准确性判断公式判断数据准确性，获得精准信息，数据存储模块8对信息数据进行分类处理，分类梳理数据，提高统一分析处理的准确性，在数据建模单元9构建数据模型，通过搜索引擎单元10输入关键词与数据模型中关键词链接，有利于快速获取准确数据信息。
[0047]
实施例2：
[0048]
根据图1-2所示的一种基于云计算的大数据统一分析处理系统，具体包括以下分析处理步骤：
[0049]
步骤一、数据采集，数据源服务器1连接物联网，在数据库对总体数据进行总体浏览，并通过数据采集模块5筛选采集有用的完整数据信息，采集收集后通过物联网将信息数据发送中央服务器2；
[0050]
步骤二、数据分析处理，数据分析模块6接收数据信息并分析检测信息来源的可靠性，筛选可靠信息来源，并将不可靠来源的信息数据剔除，对筛选的可靠来源信息进行数据比对，比较其差异性，分析数据的准确性，将数据差异大的数据剔除，获得准确可靠的信息数据；
[0051]
步骤三、数据分类存储，将步骤二中获得的准确可靠的信息数据发送至数据存储模块8，数据存储模块8对信息数据进行分类处理，根据信息数据来源和信息数据相关内容
生成关键词，针对信息数据的相关程度进行编码，编码为a’、b’、c’、d’和e’，分别表示相关性为0、25％、50％、75％和100％，将具有相同编码的信息数据归为一类，五类信息数据分别存储在五个子数据子存储模块内，同类编码信息数据根据其不同内容分类存储在多个数据分区中；
[0052]
步骤四、数据信息建模，构建数据相似模型，将步骤三中分类存储的信息数据内容与相似模型关联；
[0053]
步骤五、数据应用，通过客户端4登录检索服务器3，并在搜索引擎单元10输入关键词，关键词通过物联网发送至中央服务器2，被数据相似模型接收并带入，数据建模单元9根据关键词快速编辑相关内容，并获得检索信息数据，检索服务器3利用公式获得检索信息数据均值；
[0054]
进一步的，所述步骤一中使用数据完整性筛选器筛分，所述数据完整性筛选器具体如下：
[0055]
|si-s|/si《q
[0056]
认为该误差为合理区间，其中si为数据库单个数据的数据量值，s为数据库各数据的数据量值平均数，q为判断定值，所述q值设置为0.1；
[0057]
进一步的，所述步骤二中利用准确性判断公式分析数据的准确性，表达式为：
[0058]
|zi-z|＞t
·
σ
[0059]
认为该误差为粗大误差，其中zi为检测数据，z为数据均值，t为判别系数，σ为标准差,设计变系数自适应莱以特准则，开始时取t的值接近于零，后逐步扩大t的值，每次都有新的数据点被剔除，直至获得足够准确的信息数据。
[0060]
标准差的计算公式为：
[0061][0062]
进一步的，所述步骤三中的数据相关性计算公式为:
[0063][0064]
用相关性指数w表示数据相关性，j表示数据整体信息关系值，k表示数据拆分信息关系值；
[0065]
进一步的，所述步骤四中的数据相似模型表达式为:
[0066][0067]
最后应说明的几点是：首先：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
[0068]
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。