一种基于云计算的大数据信息处理方法和系统与流程

1.本发明属于大数据信息处理技术领域，尤其涉及一种基于云计算的大数据信息处理方法和系统。


背景技术：

2.大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”，从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(mpp)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
3.大数据采集信息一般都是从多个渠道进行收集的，这样会导致收集的数据不可避免的出现重复的情况，而重复的数据一般都会被筛选并删除掉，数据无法得到有效利用，因而无法很好的提高数据采集效率，导致花费大量时间采集的数据重复率较高，影响数据的及时更新公布。


技术实现要素：

4.本发明的目的在于：为了解决大数据采集信息一般都是从多个渠道进行收集的，这样会导致收集的数据不可避免的出现重复的情况，而重复的数据一般都会被筛选并删除掉，数据无法得到有效利用，因而无法很好的提高数据采集效率，导致花费大量时间采集的数据重复率较高，影响数据的及时更新公布的问题，而提出的一种基于云计算的大数据信息处理方法和系统。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于云计算的大数据信息处理方法和系统，包括数据采集模块、数据通道模块和数据云端存储模块，所述数据通道模块与数据采集模块双向电性连接，数据采集模块的输出端与数据云端存储模块的输入端电性连接，数据云端存储模块的输出端与云计算模块的输入端电性连接，云计算模块的输出端与重复数据筛选模块的输入端电性连接，重复数据筛选模块的输出端与重复数据删除模块的输入端电性连接，重复数据筛选模块的输出端与重复数据率计算模块的输入端电性连接，重复数据率计算模块的输出端与数据重复率表制作模块的输入端电性连接，数据重复率表制作模块的输出端与数据公布模块的输入端电性连接。
7.作为上述技术方案的进一步描述：
8.所述数据公布模块的输出端与重复率高时段检测模块的输入端电性连接，重复率
高时段检测模块的输出端与采集方向更改模块的输入端电性连接，采集方向更改模块的输出端与数据采集模块的输入端电性连接。
9.作为上述技术方案的进一步描述：
10.所述云计算模块包括采集数据分类模块、多通道传输模块、云储存空间分割模块和数据备份模块。
11.作为上述技术方案的进一步描述：
12.所述采集数据分类模块的输出端与多通道传输模块的输入端电性连接，多通道传输模块的输出端与云储存空间分隔模块的输入端电性连接。
13.作为上述技术方案的进一步描述：
14.所述数据备份模块的输出端与云储存空间分隔模块的输入端电性连接。
15.作为上述技术方案的进一步描述：
16.所述数据公布模块包括市场公布数据采集模块、数据对比模块、重复数据信息上传模块、数据总量占比计算模块和正常数据信息上传模块。
17.作为上述技术方案的进一步描述：
18.所述市场公布数据采集模块的输出端与数据对比模块的输入端电性连接，重复数据信息上传模块的输出端与数据对比模块的输入端电性连接。
19.作为上述技术方案的进一步描述：
20.所述数据对比模块的输出端与数据总量占比计算模块的输入端电性连接，正常数据信息上传模块的输出端与数据总量占比计算模块的输入端电性连接。
21.综上所述，由于采用了上述技术方案，本发明的有益效果是：
22.1、本发明中，通过设置数据采集模块和数据通道模块，数据通道模块分别为多个不同的数据采集端口，而数据采集模块根据不同的数据采集端口采集到大量不同的数据，并将大量数据输送到数据云端存储模块内存储起来，而数据云端存储模块能够将收集的数据一起发送给云计算模块，云计算模块经过数据对比后利用重复数据筛选模块将重复的数据筛选出来，最后利用重复数据删除将重复的数据删除掉，而重复数据率计算模块计算相同数据出现的次数，并将信息传递给数据重复率表制作模块，而数据重复率表制作模块能够制作统计表，最后有数据公布模块将数据公布出来，而数据公布模块将数据传递给重复率高时段检测模块，重复率高时段检测模块检测多个重复的数据是从何种时间段和何种通道采集所得，并将信息发送给采集方向更改模块，而采集方向更改模块能够更改数据采集模块从何种通道采集数据，以及在何种时间增大或降低采集量，能够有效降低数据采集重复率。
23.2、本发明中，通过设置云计算模块，其中采集数据分类模块能够将采集到的所有数据进行分类，并通过多通道传输模块将数据从多个不同的通道传输给多个不同的云存储子空间，而云存储空间分隔模块将云空间分成多个不同的子空间，并利用数据备份模块在多个不同子空间被备份相同的数据，这样不仅能够大大提高数据传输效率，提高了数据计算的速度，且采集的数据进入到云存储子空间内，也能在最短的时间内筛选出重复的数据。
24.3、本发明中，通过设置数据公布模块，其中市场公布数据采集模块采集市场已经公布的数据，而重复数据信息上传模块将重复的数据上传到数据公布模块内，数据对比模块对比两个数据之间从重复概率，数据总量占比计算模块计算重复数据信息上传模块将重
复的数据与采集市场已经公布的数据进行占比计算，当重复的数据占比较大时，正常数据信息上传模块上传大量未重复的数据，当重复的数据占比较小时，正常数据信息上传模块上传少量未重复的数据，通过更新数据，保证比场已经公布的数据具备更新更多的信息，吸引需要数据的人群。
附图说明
25.图1为本发明提出的一种基于云计算的大数据信息处理方法和系统的结构示意图；
26.图2为本发明提出的一种基于云计算的大数据信息处理方法和系统中云计算模块的子模块结构示意图；
27.图3为本发明提出的一种基于云计算的大数据信息处理方法和系统中数据公布模块的子模块结构示意图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
29.请参阅图1-3，本发明提供一种技术方案：一种基于云计算的大数据信息处理方法和系统，包括数据采集模块、数据通道模块和数据云端存储模块，所述数据通道模块与数据采集模块双向电性连接，数据采集模块的输出端与数据云端存储模块的输入端电性连接，数据云端存储模块的输出端与云计算模块的输入端电性连接，所述云计算模块包括采集数据分类模块、多通道传输模块、云储存空间分割模块和数据备份模块，所述采集数据分类模块的输出端与多通道传输模块的输入端电性连接，多通道传输模块的输出端与云储存空间分隔模块的输入端电性连接，所述数据备份模块的输出端与云储存空间分隔模块的输入端电性连接；
30.具体实施方式为：通过设置数据采集模块和数据通道模块，数据通道模块分别为多个不同的数据采集端口，而数据采集模块根据不同的数据采集端口采集到大量不同的数据，并将大量数据输送到数据云端存储模块内存储起来，而数据云端存储模块能够将收集的数据一起发送给云计算模块，云计算模块经过数据对比后利用重复数据筛选模块将重复的数据筛选出来，最后利用重复数据删除将重复的数据删除掉，而重复数据率计算模块计算相同数据出现的次数，并将信息传递给数据重复率表制作模块，而数据重复率表制作模块能够制作统计表，最后有数据公布模块将数据公布出来。
31.云计算模块的输出端与重复数据筛选模块的输入端电性连接，重复数据筛选模块的输出端与重复数据删除模块的输入端电性连接，重复数据筛选模块的输出端与重复数据率计算模块的输入端电性连接，重复数据率计算模块的输出端与数据重复率表制作模块的输入端电性连接；
32.具体实施方式为：通过设置云计算模块，其中采集数据分类模块能够将采集到的所有数据进行分类，并通过多通道传输模块将数据从多个不同的通道传输给多个不同的云
存储子空间，而云存储空间分隔模块将云空间分成多个不同的子空间，并利用数据备份模块在多个不同子空间被备份相同的数据，这样不仅能够大大提高数据传输效率，提高了数据计算的速度，且采集的数据进入到云存储子空间内，也能在最短的时间内筛选出重复的数据。
33.数据重复率表制作模块的输出端与数据公布模块的输入端电性连接，所述数据公布模块包括市场公布数据采集模块、数据对比模块、重复数据信息上传模块、数据总量占比计算模块和正常数据信息上传模块；
34.具体实施方式为：通过设置数据公布模块，其中市场公布数据采集模块采集市场已经公布的数据，而重复数据信息上传模块将重复的数据上传到数据公布模块内，数据对比模块对比两个数据之间从重复概率，数据总量占比计算模块计算重复数据信息上传模块将重复的数据与采集市场已经公布的数据进行占比计算，当重复的数据占比较大时，正常数据信息上传模块上传大量未重复的数据，当重复的数据占比较小时，正常数据信息上传模块上传少量未重复的数据，通过更新数据，保证比场已经公布的数据具备更新更多的信息，吸引需要数据的人群。
35.所述市场公布数据采集模块的输出端与数据对比模块的输入端电性连接，重复数据信息上传模块的输出端与数据对比模块的输入端电性连接，所述数据对比模块的输出端与数据总量占比计算模块的输入端电性连接，正常数据信息上传模块的输出端与数据总量占比计算模块的输入端电性连接，所述数据公布模块的输出端与重复率高时段检测模块的输入端电性连接，重复率高时段检测模块的输出端与采集方向更改模块的输入端电性连接，采集方向更改模块的输出端与数据采集模块的输入端电性连接；
36.具体实施方式为：数据公布模块将数据传递给重复率高时段检测模块，重复率高时段检测模块检测多个重复的数据是从何种时间段和何种通道采集所得，并将信息发送给采集方向更改模块，而采集方向更改模块能够更改数据采集模块从何种通道采集数据，以及在何种时间增大或降低采集量，能够有效降低数据采集重复率。
37.工作原理：使用时，数据通道模块分别为多个不同的数据采集端口，而数据采集模块根据不同的数据采集端口采集到大量不同的数据，并将大量数据输送到数据云端存储模块内存储起来，而数据云端存储模块能够将收集的数据一起发送给云计算模块，其中采集数据分类模块能够将采集到的所有数据进行分类，并通过多通道传输模块将数据从多个不同的通道传输给多个不同的云存储子空间，而云存储空间分隔模块将云空间分成多个不同的子空间，并利用数据备份模块在多个不同子空间被备份相同的数据，这样不仅能够大大提高数据传输效率，提高了数据计算的速度，且采集的数据进入到云存储子空间内，也能在最短的时间内筛选出重复的数据；
38.云计算模块经过数据对比后利用重复数据筛选模块将重复的数据筛选出来，最后利用重复数据删除将重复的数据删除掉，而重复数据率计算模块计算相同数据出现的次数，并将信息传递给数据重复率表制作模块，而数据重复率表制作模块能够制作统计表，最后有数据公布模块将数据公布出来，其中市场公布数据采集模块采集市场已经公布的数据，而重复数据信息上传模块将重复的数据上传到数据公布模块内，数据对比模块对比两个数据之间从重复概率，数据总量占比计算模块计算重复数据信息上传模块将重复的数据与采集市场已经公布的数据进行占比计算，当重复的数据占比较大时，正常数据信息上传
模块上传大量未重复的数据，当重复的数据占比较小时，正常数据信息上传模块上传少量未重复的数据，通过更新数据，保证比场已经公布的数据具备更新更多的信息，吸引需要数据的人群；
39.而数据公布模块将数据传递给重复率高时段检测模块，重复率高时段检测模块检测多个重复的数据是从何种时间段和何种通道采集所得，并将信息发送给采集方向更改模块，而采集方向更改模块能够更改数据采集模块从何种通道采集数据，以及在何种时间增大或降低采集量，能够有效降低数据采集重复率。
40.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。