一种用于计算机大数据的高效处理方法及装置

1.本发明涉及一种数据处理技术领域，特别是涉及一种用于计算机大数据的高效处理方法及装置。


背景技术：

2.计算机实时产生大量的数据资源，为了得到不同的有用数据，一般需要采集计算机的大数据，然后将这些大数据进行分类，按照分类后的数据再进行处理，以得到需要的数据资源。现有的数据采集方法一般是采集大量的数据，然后不进行分类就进行存储，导致数据来源无法分清。


技术实现要素：

3.有鉴于此，本发明的主要目的在于提供一种用于计算机大数据的高效处理方法及装置。
4.本发明采用的技术方案如下：
5.一种用于计算机大数据的高效处理方法，包括：
6.依据数据采集器获取的计算机生产数据，将该计算机生产数据输入至数据处理部，所述数据处理部具有：
7.被配置为对计算机生产数据以生产数据标记的时间为单位进行处理的第一数据处理器，第一数据处理器用于生成计算机生产数据的第一属性；
8.被配置为以第一属性为分类依据按照设定的程序模块获取第一属性的多个分类属性的第二数据处理器，第二数据处理器用于获取每一分类属性的标记值的集合；
9.被配置为用于对每一分类属性的标记值的集合进行检测的检测部，检测部用于确认每一分类属性标记值是否具有关联性；
10.被配置为将每一分类属性的标记值的集合进行缓存的缓存部，该缓存部用于标记检测部确认的每一分类属性标记值具有关联性的检测结果；
11.被配置为将得到的检测结果组合后进行判断的判断部，判断部用于判断检测结果组合中是否具有分类属性的不一致，
12.被配置为根据判断部得到的结果决定进行数据初始步骤还是驱动组合部进行组合的控制部，
13.被配置为按照设定的程序模块将检测结果中分类属性标记值具有关联性的每一分类属性进行组合的组合部，组合部用于将设定的多个分类属性进行组合形成一个关联数据集，并标记关联数据集的属性形成存储分类属性，
14.被配置为以存储分类属性为分类依据，按照设定的分类值写入在存储分类属性中的标记部；
15.分类表，用于关联写入后的存储分类属性。
16.进一步地，所述控制部进行数据初始步骤包括：
17.1)依据控制部的驱动命令，驱动数据采集器重新获取计算机生产数据；
18.2)对计算机生产数据以生产数据标记的时间为单位进行处理，生成计算机生产数据的第一属性；
19.3)以第一属性为分类依据按照设定的程序模块获取第一属性的多个分类属性，并获取每一分类属性的标记值的集合；
20.4)对每一分类属性的标记值的集合进行检测，确认每一分类属性标记值是否具有关联性；
21.5)将每一分类属性的标记值的集合进行缓存，并利用检测部确认的每一分类属性标记值具有关联性的检测结果；
22.6)将得到的检测结果组合后进行判断，判断检测结果组合中是否具有分类属性的不一致；
23.7)若检测结果组合没有分类属性的不一致，则反馈控制信号至控制部驱动组合部进行组合；
24.8)若检测结果组合存在分类属性的不一致，重复上述步骤1)-7)。
25.本发明还公开了一种用于计算机大数据的高效处理装置，包括
26.数据采集器，用于摄取计算机生产数据；
27.数据处理部，具有多个数据处理模块，所述数据处理模块用于按照设定的程序模块将计算机生产数据设置成多个分类属性，获取每一分类属性的标记值的集合，并检测、确认、标记每一分类属性中标记值具有关联性的检测结果；
28.判断部，将多个数据处理模块得到的检测结果组合后进行判断，以判断是否具有不一致的分类属性，
29.控制部，根据判断部得到的结果，决定进行数据初始步骤还是驱动组合部进行组合，
30.组合部，按照设定的程序模块将检测结果中分类属性标记值具有关联性的每一分类属性进行组合，形成一个关联数据集，并标记关联数据集的属性形成存储分类属性，
31.标记部，以存储分类属性为分类依据，按照设定的分类值写入在存储分类属性中；
32.分类表，用于关联写入后的存储分类属性。
33.进一步地，所述数据处理模块具体包括：
34.1)第一数据处理器，被配置为对计算机生产数据以生产数据标记的时间为单位进行处理，生成计算机生产数据的第一属性；
35.第二数据处理器，被配置为以第一属性为分类依据按照设定的程序模块获取第一属性的多个分类属性，并获取每一分类属性的标记值的集合；
36.2)检测部，用于对每一分类属性的标记值的集合进行检测，以确认每一分类属性标记值是否具有关联性；
37.3)缓存器，将每一分类属性的标记值的集合进行缓存，并标记检测部确认的每一分类属性标记值具有关联性的检测结果；
38.进一步地，所述控制部进行数据初始步骤包括：
39.数据初始模块，依据控制部的驱动命令，驱动数据采集器重新获取计算机生产数据。
40.本发明的有益效果为：
41.本发明先将计算机生产数据按照以生产数据标记的时间为单位进行处理，形成以生产数据标记的时间为单位的计算机生产数据的属性，按照设定的程序模块将获取的属性分割为多个分类属性，并逐一获取每一分类属性的标记值的集合；对每一分类属性的标记值的集合进行检测，确认每一分类属性标记值是否具有关联性；确认的每一分类属性标记值具有关联性的检测结果；将得到的检测结果组合后进行判断，判断检测结果组合中是否具有分类属性的不一致；若检测结果组合没有分类属性的不一致，则反馈控制信号至控制部驱动组合部进行组合；组合部按照设定的程序模块将检测结果中分类属性标记值具有关联性的每一分类属性进行组合，形成一个关联数据集，并标记关联数据集的属性形成存储分类属性，然后以存储分类属性为分类依据，按照设定的分类值写入在存储分类属性中形成存储分类属性，本发明对每一分类属性的标记值进行逐一关联性检测，若标记值存在不关联性，则说明该分类属性存在模糊或者存在部分缺失，因此检测的结果具有高度的精确性。
附图说明
42.图1为本发明的方法流程图；
43.图2为本发明中控制部进行数据初始步骤的流程图；
44.图3为发明中装置的框架原理图。
具体实施方式：
45.以下参照实施例和附图对本发明进行详细的描述。
46.参照图1至图3，
47.实施例1
48.本发明提供了一种用于计算机大数据的高效处理方法，包括：
49.依据数据采集器获取的计算机生产数据，将该计算机生产数据输入至数据处理部，所述数据处理部具有：
50.被配置为对计算机生产数据以生产数据标记的时间为单位进行处理的第一数据处理器，第一数据处理器用于生成计算机生产数据的第一属性；
51.被配置为以第一属性为分类依据按照设定的程序模块获取第一属性的多个分类属性的第二数据处理器，第二数据处理器用于获取每一分类属性的标记值的集合；
52.被配置为用于对每一分类属性的标记值的集合进行检测的检测部，检测部用于确认每一分类属性标记值是否具有关联性；
53.被配置为将每一分类属性的标记值的集合进行缓存的缓存部，该缓存部用于标记检测部确认的每一分类属性标记值具有关联性的检测结果；
54.被配置为将得到的检测结果组合后进行判断的判断部，判断部用于判断检测结果组合中是否具有分类属性的不一致，若检测结果组合中没有分类属性的不一致，
55.所述控制部控制组合部进行如下步骤：
56.按照设定的程序模块将检测结果中分类属性标记值具有关联性的每一分类属性进行组合，形成一个关联数据集，并标记关联数据集的属性形成存储分类属性，
57.被配置为以存储分类属性为分类依据，按照设定的分类值写入在存储分类属性中的标记部；
58.分类表，用于关联写入后的存储分类属性。
59.实施例2
60.本发明提供了一种用于计算机大数据的高效处理方法，包括：
61.依据数据采集器获取的计算机生产数据，将该计算机生产数据输入至数据处理部，所述数据处理部具有：
62.被配置为对计算机生产数据以生产数据标记的时间为单位进行处理的第一数据处理器，第一数据处理器用于生成计算机生产数据的第一属性；
63.被配置为以第一属性为分类依据按照设定的程序模块获取第一属性的多个分类属性的第二数据处理器，第二数据处理器用于获取每一分类属性的标记值的集合；
64.被配置为用于对每一分类属性的标记值的集合进行检测的检测部，检测部用于确认每一分类属性标记值是否具有关联性；
65.被配置为将每一分类属性的标记值的集合进行缓存的缓存部，该缓存部用于标记检测部确认的每一分类属性标记值具有关联性的检测结果；
66.被配置为将得到的检测结果组合后进行判断的判断部，判断部用于判断检测结果组合中是否具有分类属性的不一致，若检测结果组合中存在分类属性的不一致，
67.所述控制部进行数据初始步骤包括：
68.1)依据控制部的驱动命令，驱动数据采集器重新获取计算机生产数据；
69.2)对计算机生产数据以生产数据标记的时间为单位进行处理，生成计算机生产数据的第一属性；
70.3)以第一属性为分类依据按照设定的程序模块获取第一属性的多个分类属性，并获取每一分类属性的标记值的集合；
71.4)对每一分类属性的标记值的集合进行检测，确认每一分类属性标记值是否具有关联性；
72.5)将每一分类属性的标记值的集合进行缓存，并利用检测部确认的每一分类属性标记值具有关联性的检测结果；
73.6)将得到的检测结果组合后进行判断，判断检测结果组合中是否具有分类属性的不一致；
74.7)若检测结果组合没有分类属性的不一致，则反馈控制信号至控制部驱动组合部进行组合；
75.8)若检测结果组合存在分类属性的不一致，重复上述步骤1)-7)。
76.实施例3
77.本发明还公开了一种用于计算机大数据的高效处理装置，包括
78.数据采集器，用于摄取计算机生产数据；
79.数据处理部，具有多个数据处理模块，所述数据处理模块用于按照设定的程序模块将计算机生产数据设置成多个分类属性，获取每一分类属性的标记值的集合，并检测、确认、标记每一分类属性中标记值具有关联性的检测结果；
80.判断部，将多个数据处理模块得到的检测结果组合后进行判断，以判断是否具有
不一致的分类属性，
81.控制部，根据判断部得到的结果，决定进行数据初始步骤还是驱动组合部进行组合，
82.组合部，按照设定的程序模块将检测结果中分类属性标记值具有关联性的每一分类属性进行组合，形成一个关联数据集，并标记关联数据集的属性形成存储分类属性，
83.标记部，以存储分类属性为分类依据，按照设定的分类值写入在存储分类属性中；
84.分类表，用于关联写入后的存储分类属性。
85.所述数据处理模块具体包括：
86.1)第一数据处理器，被配置为对计算机生产数据以生产数据标记的时间为单位进行处理，生成计算机生产数据的第一属性；
87.第二数据处理器，被配置为以第一属性为分类依据按照设定的程序模块获取第一属性的多个分类属性，并获取每一分类属性的标记值的集合；
88.2)检测部，用于对每一分类属性的标记值的集合进行检测，以确认每一分类属性标记值是否具有关联性；
89.3)缓存器，将每一分类属性的标记值的集合进行缓存，并标记检测部确认的每一分类属性标记值具有关联性的检测结果；
90.所述控制部进行数据初始步骤包括：
91.数据初始模块，依据控制部的驱动命令，驱动数据采集器重新获取计算机生产数据。
92.本发明先将计算机生产数据按照以生产数据标记的时间为单位进行处理，形成以生产数据标记的时间为单位的计算机生产数据的属性，按照设定的程序模块将获取的属性分割为多个分类属性，并逐一获取每一分类属性的标记值的集合；对每一分类属性的标记值的集合进行检测，确认每一分类属性标记值是否具有关联性；确认的每一分类属性标记值具有关联性的检测结果；将得到的检测结果组合后进行判断，判断检测结果组合中是否具有分类属性的不一致；若检测结果组合没有分类属性的不一致，则反馈控制信号至控制部驱动组合部进行组合；组合部按照设定的程序模块将检测结果中分类属性标记值具有关联性的每一分类属性进行组合，形成一个关联数据集，并标记关联数据集的属性形成存储分类属性，然后以存储分类属性为分类依据，按照设定的分类值写入在存储分类属性中形成存储分类属性，本发明对每一分类属性的标记值进行逐一关联性检测，若标记值存在不关联性，则说明该分类属性存在模糊或者存在部分缺失，因此检测的结果具有高度的精确性。
93.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。