一种大数据的分析方法及系统与流程

1.本发明涉及大数据技术领域，具体为一种大数据的分析方法及系统。


背景技术：

2.大数据就是指巨大、海量数据资料，其来源于英文big data，直接翻译应该是巨量资料，大数据在合理时间内达到撷取、管理、分析处理可以成为帮助企业经营决策的有益资料，大数据对企业经营发展起到极大的影响，其中撷取和管理庞大的数据信息并不是重要的，重要的是将庞大的数据资料进行分析处理，将数据中含有意义的数据进行专业化处理，分析得到对企业具有积极性结果的信息，换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值，才是最重要的一部分。
3.现有做法中，对于大数据的分析，通常会直接采用大数据的数据信息直接分析，得到的分析结果往往容易出现较大误差，主要是由于其对含有意义的数据提取不够准确，导致一些无效数据混杂其中，影响到分析结果。


技术实现要素：

4.本发明的目的在于提供一种大数据的分析方法及系统，以解决上述背景技术中提出的问题。
5.为了解决上述技术问题，本发明提供如下技术方案：一种大数据的分析方法及系统，包括以下步骤：
6.s1、开启系统，系统对数据进行采集并标记时间；
7.s2、系统对采集的数据进行分类处理；
8.s3、系统对每类数据进行有效性筛选；
9.s4、系统根据有效数据对数据进行预测模拟变化趋势；
10.s5、对采集的有效数据和预测的数据建立数据表以及建立双线时间坐标曲线图；
11.s6、将数据表格和数据图形分别存储到数据库相应单元中。
12.进一步地，在步骤s2中，将采集到的数据根据其相关性分类，获取相关的数据并整理成数据集：a＝{a1，a2，a3...an}，b＝{b1，b2，b3...bn}，c＝{c1，c2，c3...cn}，d＝{d1，d2，d3...dn}...。
13.进一步地，在步骤s3中，对数据进行处理如下：
14.例如：数据集a＝{a1，a2，a3...an}，设ai为数据集a中任一数据，取得数据集的数据均值：
[0015][0016]ai
与a
均
的比值为：
[0017][0018]
当1/2《za《2时，数据ai为有效数据，保留数据；
[0019]
当za≤1/2或za≥2时，数据ai为无效数据，进行删除处理
[0020]
...
[0021]
例如：数据集d＝{d1，d2，d3...dn}，di为数据集d中任一数据，取得数据集的数据均值：
[0022][0023]di
与d
均
的比值为：
[0024][0025]
当1/2《zd《2时，数据di为有效数据，保留数据；
[0026]
当zd≤1/2或zd≥2时，数据di为无效数据，进行删除处理；
[0027]
将数据有效化处理，快速删除无效性数据，提高数据的精确性，减少无效数据干扰，减少无用存储占用空间。
[0028]
进一步地，在步骤s4中，对数据进行模拟预测如下：
[0029]
设预测温度数据集设为e＝{k1，k2，k3...kn},设ki为预测数据任一数据；
[0030]
以最近的100个数据为预测参考基准，
[0031][0032]
进一步地，在所述步骤s5中，将有效数据和模拟预测的数据建立数据表以及建立双线时间坐标曲线图步骤如下：
[0033]
以数据时间为坐标图的x轴，数据自身数值为y轴建立有效数据坐标图，并将有效数据用曲线连接，得到有效数据变化曲线图；
[0034]
以数据时间为坐标图的x轴，预测的数据自身数值为y轴建立预测数据坐标图，并将预测数据用曲线连接，得到预测数据变化曲线图；
[0035]
将二者合并在一个曲线图中，即可需要得到双线时间坐标曲线图，数据更加直观，可视化强，可以直观了解数据的实际变化曲线以及预测数据的变化曲线。
[0036]
所述系统包括：云平台、数据采集模块、时间标记模块、数据分析模块、数据库和智能终端，所述云平台用于对系统进行云端式管理，所述数据采集模块用于对大数据进行采集获取，时间标记模块用于对数据进行时间标记，所述数据分析模块用于对数据分析整合处理，数据库用于分类储存数据和为云平台以及智能终端提供系统数据，智能终端用于控制系统以及查看系统数据，所述云平台的输入端分别与数据采集模块、时间标记模块、数据分析模块、数据库和智能终端的输出端连接，所述云平台的输出端分别与数据采集模块、时间标记模块、数据分析模块、数据库和智能终端的输入端连接。
[0037]
进一步地，所述云平台包括数据收发单元、中央处理单元和存储单元，所述数据收发单元用于收发数据，所述中央处理单元用于对数据整合分析处理，所述存储单元用于对数据的临时存储。
[0038]
进一步地，所述数据分析模块包括数据分类单元、数据筛除单元和数据预测单元，所述数据分类单元用于将相关数据分类筛选出来获得需要数据的集合，所述数据筛除单元用于对数据有效性判断，并将无效性数据删除，得到保留有效数据，所述数据预测单元用于对数据进行预测。
[0039]
进一步地，所述数据库包括数据表格单元和数据图形单元，所述数据表格单元用于存储有效数据和预测数据的表格，所述数据图形单元用于存储有效数据和预测数据的双线时间坐标曲线图。
[0040]
进一步地，所述智能终端包括输入单元和显示单元，所述输入单元用于控制系统开关以及数据的修改，所述显示单元用于显示系统的数据库中数据表格和数据图形。
[0041]
与现有技术相比，本发明所达到的有益效果是：
[0042]
1、该大数据的分析方法及系统，通过数据分类单元对数据进行分类，分别将不同相关性的数据分别整理出不同合集，提高数据处理效率，利用数据筛除单元对数据进行有效性判断，对数据进行有效化分析处理，将有效数据保留，对无效性数据进行删除处理，减少无效数据干扰，减少无用存储占用空间，提高数据分析效率，提高数据分析结果的准确性，利用数据预测单元对数据进行模拟预测，对未来数据进行模拟预测，方便分析数据未来变化趋势。
[0043]
2、该大数据的分析方法及系统，利用以数据时间为坐标图的x轴，数据自身数值为y轴建立有效数据坐标图，并将有效数据用曲线连接，得到有效数据变化曲线图，以数据时间为坐标图的x轴，预测的数据自身数值为y轴建立预测数据坐标图，并将预测数据用曲线连接，得到预测数据变化曲线图，将二者合并在一个曲线图中，即可需要得到双线时间坐标曲线图，数据更加直观，可视化强，可以直观了解数据的实际变化曲线以及预测数据的变化曲线，利用数据表格单元和数据图形单元分别对数据表格和图形进行存储，便于数据存储和管理，更加方便系统数据获取和观看。
附图说明
[0044]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0045]
图1是本发明中整体的工作原理示意图；
[0046]
图2是本发明中系统的模块结构连接示意图。
[0047]
图中：1、云平台；11、数据收发单元；12、中央处理单元；13、存储单元；2、数据采集模块；3、时间标记模块；4、数据分析模块；41、数据分类单元；42、数据筛除单元；43、数据预测单元；5、数据库；51、数据表格单元；52、数据图形单元；6、智能终端；61、输入单元；62、显示单元。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
如图1-图2所示的一种大数据的分析方法及系统，包括以下步骤：
[0050]
s1、开启系统，系统对数据进行采集并标记时间；
[0051]
s2、系统对采集的数据进行分类处理；
[0052]
s3、系统对每类数据进行有效性筛选；
[0053]
s4、系统根据有效数据对数据进行预测模拟变化趋势；
[0054]
s5、对采集的有效数据和预测的数据建立数据表以及建立双线时间坐标曲线图；
[0055]
s6、将数据表格和数据图形分别存储到数据库相应单元中；
[0056]
在步骤s2中，将采集到的数据根据其相关性分类，获取相关的数据并整理成数据集：a＝{a1，a2，a3...an}，b＝{b1，b2，b3...bn}，c＝{c1，c2，c3...cn}，d＝{d1，d2，d3...dn}...；
[0057]
在步骤s3中，对数据进行处理如下：
[0058]
例如：数据集a＝{a1，a2，a3...an}，设ai为数据集a中任一数据，取得数据集的数据均值：
[0059][0060]ai
与a
均
的比值为：
[0061][0062]
当1/2《za《2时，数据ai为有效数据，保留数据；
[0063]
当za≤1/2或za≥2时，数据ai为无效数据，进行删除处理
[0064]
...
[0065]
例如：数据集d＝{d1，d2，d3...dn}，di为数据集d中任一数据，取得数据集的数据均值：
[0066][0067]di
与d
均
的比值为：
[0068][0069]
当1/2《zd《2时，数据di为有效数据，保留数据；
[0070]
当zd≤1/2或zd≥2时，数据di为无效数据，进行删除处理；
[0071]
将数据有效化处理，快速删除无效性数据，提高数据的精确性，减少无效数据干扰，减少无用存储占用空间；
[0072]
在步骤s4中，对数据进行模拟预测如下：
[0073]
设预测温度数据集设为e＝{k1，k2，k3...kn},设ki为预测数据任一数据；
[0074]
以最近的100个数据为预测参考基准，
[0075][0076]
在所述步骤s5中，将有效数据和模拟预测的数据建立数据表以及建立双线时间坐标曲线图步骤如下：
[0077]
以数据时间为坐标图的x轴，数据自身数值为y轴建立有效数据坐标图，并将有效数据用曲线连接，得到有效数据变化曲线图；
[0078]
以数据时间为坐标图的x轴，预测的数据自身数值为y轴建立预测数据坐标图，并将预测数据用曲线连接，得到预测数据变化曲线图；
[0079]
将二者合并在一个曲线图中，即可需要得到双线时间坐标曲线图，数据更加直观，可视化强，可以直观了解数据的实际变化曲线以及预测数据的变化曲线。
[0080]
所述系统包括：云平台1、数据采集模块2、时间标记模块3、数据分析模块4、数据库5和智能终端6，所述云平台1用于对系统进行云端式管理，所述数据采集模块2用于对大数据进行采集获取，时间标记模块3用于对数据进行时间标记，所述数据分析模块4用于对数据分析整合处理，数据库5用于分类储存数据和为云平台1以及智能终端6提供系统数据，智能终端6用于控制系统以及查看系统数据，所述云平台1的输入端分别与数据采集模块2、时间标记模块3、数据分析模块4、数据库5和智能终端6的输出端连接，所述云平台1的输出端分别与数据采集模块2、时间标记模块3、数据分析模块4、数据库5和智能终端6的输入端连接；
[0081]
所述云平台包括数据收发单元11、中央处理单元12和存储单元13，所述数据收发单元11用于收发数据，所述中央处理单元12用于对数据整合分析处理，所述存储单元13用于对数据的临时存储。
[0082]
所述数据分析模块4包括数据分类单元41、数据筛除单元42和数据预测单元43，所述数据分类单元41用于将相关数据分类筛选出来获得需要数据的集合，所述数据筛除单元42用于对数据有效性判断，并将无效性数据删除，得到保留有效数据，所述数据预测单元43用于对数据进行预测；
[0083]
所述数据库5包括数据表格单元51和数据图形单元52，所述数据表格单元51用于存储有效数据和预测数据的表格，所述数据图形单元52用于存储有效数据和预测数据的双线时间坐标曲线图；
[0084]
所述智能终端6包括输入单元61和显示单元62，所述输入单元61用于控制系统开关以及数据的修改，所述显示单元62用于显示系统的数据库中数据表格和数据图形。
[0085]
本发明的工作原理：
[0086]
参照说明书附图1-图2，通过数据分类单元41对数据进行分类，分别将不同相关性的数据分别整理出不同合集，提高数据处理效率，利用数据筛除单元42对数据进行有效性判断，对数据进行有效化分析处理，将有效数据保留，对无效性数据进行删除处理，减少无效数据干扰，减少无用存储占用空间，提高数据分析效率，提高数据分析结果的准确性，利用数据预测单元43对数据进行模拟预测，对未来数据进行模拟预测，方便分析数据未来变化趋势，利用以数据时间为坐标图的x轴，数据自身数值为y轴建立有效数据坐标图，并将有
效数据用曲线连接，得到有效数据变化曲线图，以数据时间为坐标图的x轴，预测的数据自身数值为y轴建立预测数据坐标图，并将预测数据用曲线连接，得到预测数据变化曲线图，将二者合并在一个曲线图中，即可需要得到双线时间坐标曲线图，数据更加直观，可视化强，可以直观了解数据的实际变化曲线以及预测数据的变化曲线，利用数据表格单元51和数据图形单元52分别对数据表格和图形进行存储，便于数据存储和管理，更加方便系统数据获取和观看。
[0087]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0088]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。