一种基于云技术的数据解析与分类处理的方法与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于云技术的数据解析与分类处理的方法。


背景技术：

2.数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。
3.当前的数据处理方法功能较为单一，在用于大量数据的处理过程中，会存在一些基础无用的数据，如果统一做校验处理，那么就会存在处理效率低下的问题，并且在大量数据出现的情况下，采用原有的单一校验方法会导致数据拥堵、系统卡死的问题出现。


技术实现要素：

4.针对现有技术存在的不足，本发明目的是提供一种基于云技术的数据解析与分类处理的方法，能够根据数据的类型针对性的匹配校验方法进行校验，以解决现有的数据校验过程的处理效率低下的问题。
5.为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于云识别的数据校验方法，所述校验方法包括如下步骤：
6.步骤s1，将输入的数据进行分类，并对每类数据设定一个预设标签，并针对相同标签的数据设置标签号，根据标签号的顺序将数据进行排列后输出；
7.步骤s2，对输入的输入的标签号进行预识别分类，并形成若干分类输出通道，根据分类输出通道对不同类型的数据进行分类输出；
8.步骤s3，将数据的标签号设置敏感标签，将带有敏感标签的标签号的数据进行针对性的集中缓存，对于集中缓存的数据进行再识别处理；
9.步骤s4，对分类的数据设置若干校验等级，针对不同校验等级的数据采用不同校验方式，输出校验后的数据至云存储模块。
10.进一步地，所述步骤s1还包括：将数据的预设标签分为一类数据标签、二类数据标签、三类数据标签以及特殊数据标签，对一类数据标签设置1作为标签号的开头，并设定校验处理的数据数量为千万级数量，将1作为开头后，每当输入一个一类数据标签的数据，即在该数据的标签号加一进行标记；对二类数据标签设置2作为标签号的开头，并设定校验处理的数据数量为千万级数量，将2作为开头后，每当输入一个二类数据标签的数据，即在该数据的标签号加一进行标记；对三类数据标签设置3作为标签号的开头，并设定校验处理的数据数量为千万级数量，将3作为开头后，每当输入一个三类数据标签的数据，即在该数据
的标签号加一进行标记；对特殊数据标签设置4作为标签号的开头，并设定校验处理的数据数量为千万级数量，将4作为开头后，每当输入一个特殊数据标签的数据，即在该数据的标签号加一进行标记。
11.进一步地，所述步骤s2还包括：设置四类数据通道，四类数据通道分别包括一类数据通道、二类数据通道、三类数据通道以及四类数据通道，所述一类数据通道用于一类数据标签的数据进行传输，所述二类数据通道用于二类数据标签的数据进行传输，所述三类数据通道用于三类数据标签的数据进行传输，所述四类数据通道用于特殊数据标签的数据进行传输，所述一类数据通道、二类数据通道以及三类数据通道分别与校验处理模块相连，所述四类数据通道与集中缓存处理模块相连。
12.进一步地，所述步骤s3还包括：当识别到特殊数据标签的数据时，通过四类数据通道进行输入，并进行缓存，采用人工校验和校验处理模块的双重校验模式进行校验。
13.进一步地，所述步骤s4还包括：分别设置第一校验方法、第二校验方法、第三校验方法以及第四校验方法对一类数据标签的数据、二类数据标签的数据、三类数据标签的数据以及特殊数据标签的数据进行校验，设置不同的存储单元分别对一类数据标签的数据、二类数据标签的数据、三类数据标签的数据以及特殊数据标签进行独立存储。
14.一种基于云识别的数据校验方法的校验系统，所述校验系统包括云存储模块、分类模块、预识别模块、集中缓存处理模块以及校验处理模块；
15.所述云存储模块用于对云识别校验的数据进行云存储；
16.所述分类模块用于将输入的数据进行分类，并对每类数据设定一个预设标签，并针对相同标签的数据设置标签号，根据标签号的顺序将数据进行排列后输出；
17.所述预识别模块用于对输入的输入的标签号进行预识别分类，并形成若干分类输出通道，根据分类输出通道对不同类型的数据进行分类输出；
18.所述集中缓存处理模块用于将数据的标签号设置敏感标签，将带有敏感标签的标签号的数据进行针对性的集中缓存，对于集中缓存的数据进行再识别处理；
19.所述校验处理模块用于对分类的数据设置若干校验等级，针对不同校验等级的数据采用不同校验方式，输出校验后的数据至云存储模块。
20.进一步地，所述分类模块包括分类策略，所述分类策略包括：将数据的预设标签分为一类数据标签、二类数据标签、三类数据标签以及特殊数据标签，对一类数据标签设置1作为标签号的开头，并设定校验处理的数据数量为千万级数量，将1作为开头后，每当输入一个一类数据标签的数据，即在该数据的标签号加一进行标记；对二类数据标签设置2作为标签号的开头，并设定校验处理的数据数量为千万级数量，将2作为开头后，每当输入一个二类数据标签的数据，即在该数据的标签号加一进行标记；对三类数据标签设置3作为标签号的开头，并设定校验处理的数据数量为千万级数量，将3作为开头后，每当输入一个三类数据标签的数据，即在该数据的标签号加一进行标记；对特殊数据标签设置4作为标签号的开头，并设定校验处理的数据数量为千万级数量，将4作为开头后，每当输入一个特殊数据标签的数据，即在该数据的标签号加一进行标记。
21.进一步地，所述云存储模块包括第一存储单元、第二存储单元、第三存储单元以及特殊存储单元，所述第一存储单元用于存储一类数据标签的数据，所述第二存储单元用于存储二类数据标签的数据，所述第三存储单元用于存储三类数据标签的数据，所述特殊存
储单元用于存储特殊数据标签的数据，且所述第一存储单元、第二存储单元、第三存储单元以及特殊存储单元内部分别包含若干存储子单元，若干存储子单元用于根据输入数据的标签号对数据进行分类存储；所述特殊存储单元分别与集中缓存处理模块和校验处理模块相连。
22.进一步地，所述预识别模块设置有四类数据通道，四类数据通道分别包括一类数据通道、二类数据通道、三类数据通道以及四类数据通道，所述一类数据通道用于一类数据标签的数据进行传输，所述二类数据通道用于二类数据标签的数据进行传输，所述三类数据通道用于三类数据标签的数据进行传输，所述四类数据通道用于特殊数据标签的数据进行传输，所述一类数据通道、二类数据通道以及三类数据通道分别与校验处理模块相连，所述四类数据通道与集中缓存处理模块相连。
23.进一步地，所述集中缓存处理模块包括集中缓存处理策略，所述集中缓存处理策略包括：当识别到特殊数据标签的数据时，通过四类数据通道进行输入，并进行缓存，采用人工校验和校验处理模块的双重校验模式进行校验；
24.所述校验处理模块配置有第一校验方法、第二校验方法、第三校验方法以及第四校验方法，所述第一校验方法的校验速度和校验简单度大于第二校验方法的校验速度和校验简单度，所述第二校验方法的校验速度和校验简单度大于第三校验方法的校验速度和校验简单度，所述第三校验方法的校验速度和校验简单度大于第四校验方法的校验速度和校验简单度。
25.本发明的有益效果：本发明通过将输入的数据进行分类，并对每类数据设定一个预设标签，并针对相同标签的数据设置标签号，根据标签号的顺序将数据进行排列后输出；对输入的输入的标签号进行预识别分类，并形成若干分类输出通道，根据分类输出通道对不同类型的数据进行分类输出；将数据的标签号设置敏感标签，将带有敏感标签的标签号的数据进行针对性的集中缓存，对于集中缓存的数据进行再识别处理；对分类的数据设置若干校验等级，针对不同校验等级的数据采用不同校验方式，输出校验后的数据至云存储模块，该设计能够对数据进行精准的分类处理，并且针对分类后的数据匹配不同的校验方法，有助于提高校验的效率的校验的有效性。
附图说明
26.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
27.图1为本发明的系统原理框图；
28.图2为本发明的方法流程图。
具体实施方式
29.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
30.请参阅图1，一种基于云识别的数据校验方法的校验系统，所述校验系统包括云存储模块、分类模块、预识别模块、集中缓存处理模块以及校验处理模块；
31.所述云存储模块用于对云识别校验的数据进行云存储；
32.所述分类模块用于将输入的数据进行分类，并对每类数据设定一个预设标签，并针对相同标签的数据设置标签号，根据标签号的顺序将数据进行排列后输出；
33.所述预识别模块用于对输入的输入的标签号进行预识别分类，并形成若干分类输出通道，根据分类输出通道对不同类型的数据进行分类输出；
34.所述集中缓存处理模块用于将数据的标签号设置敏感标签，将带有敏感标签的标签号的数据进行针对性的集中缓存，对于集中缓存的数据进行再识别处理；
35.所述校验处理模块用于对分类的数据设置若干校验等级，针对不同校验等级的数据采用不同校验方式，输出校验后的数据至云存储模块。
36.所述分类模块包括分类策略，所述分类策略包括：将数据的预设标签分为一类数据标签、二类数据标签、三类数据标签以及特殊数据标签，对一类数据标签设置1作为标签号的开头，并设定校验处理的数据数量为千万级数量，将1作为开头后，每当输入一个一类数据标签的数据，即在该数据的标签号加一进行标记；对二类数据标签设置2作为标签号的开头，并设定校验处理的数据数量为千万级数量，将2作为开头后，每当输入一个二类数据标签的数据，即在该数据的标签号加一进行标记；对三类数据标签设置3作为标签号的开头，并设定校验处理的数据数量为千万级数量，将3作为开头后，每当输入一个三类数据标签的数据，即在该数据的标签号加一进行标记；对特殊数据标签设置4作为标签号的开头，并设定校验处理的数据数量为千万级数量，将4作为开头后，每当输入一个特殊数据标签的数据，即在该数据的标签号加一进行标记。例如针对一类数据标签的数据出现的第一个数据标记为100000001，第二个数据标记为100000002，以后每传输一个数据进行加一标记；针对二类数据标签进行标识时，第一个数据标记为200000001，第二个数据标记为200000002，以后每传输一个数据进行加一标记；三类数据标签的数据和特殊数据标签的数据的标记方式与参照上述标记方式。
37.所述云存储模块包括第一存储单元、第二存储单元、第三存储单元以及特殊存储单元，所述第一存储单元用于存储一类数据标签的数据，所述第二存储单元用于存储二类数据标签的数据，所述第三存储单元用于存储三类数据标签的数据，所述特殊存储单元用于存储特殊数据标签的数据，且所述第一存储单元、第二存储单元、第三存储单元以及特殊存储单元内部分别包含若干存储子单元，若干存储子单元用于根据输入数据的标签号对数据进行分类存储；所述特殊存储单元分别与集中缓存处理模块和校验处理模块相连。
38.所述预识别模块设置有四类数据通道，四类数据通道分别包括一类数据通道、二类数据通道、三类数据通道以及四类数据通道，所述一类数据通道用于一类数据标签的数据进行传输，所述二类数据通道用于二类数据标签的数据进行传输，所述三类数据通道用于三类数据标签的数据进行传输，所述四类数据通道用于特殊数据标签的数据进行传输，所述一类数据通道、二类数据通道以及三类数据通道分别与校验处理模块相连，所述四类数据通道与集中缓存处理模块相连。
39.所述集中缓存处理模块包括集中缓存处理策略，所述集中缓存处理策略包括：当识别到特殊数据标签的数据时，通过四类数据通道进行输入，并进行缓存，采用人工校验和校验处理模块的双重校验模式进行校验；
40.所述校验处理模块配置有第一校验方法、第二校验方法、第三校验方法以及第四校验方法，所述第一校验方法的校验速度和校验简单度大于第二校验方法的校验速度和校
验简单度，所述第二校验方法的校验速度和校验简单度大于第三校验方法的校验速度和校验简单度，所述第三校验方法的校验速度和校验简单度大于第四校验方法的校验速度和校验简单度。
41.一种基于云识别的数据校验方法，所述校验方法包括如下步骤：
42.步骤s1，将输入的数据进行分类，并对每类数据设定一个预设标签，并针对相同标签的数据设置标签号，根据标签号的顺序将数据进行排列后输出；
43.将数据的预设标签分为一类数据标签、二类数据标签、三类数据标签以及特殊数据标签，对一类数据标签设置1作为标签号的开头，并设定校验处理的数据数量为千万级数量，将1作为开头后，每当输入一个一类数据标签的数据，即在该数据的标签号加一进行标记；对二类数据标签设置2作为标签号的开头，并设定校验处理的数据数量为千万级数量，将2作为开头后，每当输入一个二类数据标签的数据，即在该数据的标签号加一进行标记；对三类数据标签设置3作为标签号的开头，并设定校验处理的数据数量为千万级数量，将3作为开头后，每当输入一个三类数据标签的数据，即在该数据的标签号加一进行标记；对特殊数据标签设置4作为标签号的开头，并设定校验处理的数据数量为千万级数量，将4作为开头后，每当输入一个特殊数据标签的数据，即在该数据的标签号加一进行标记。
44.步骤s2，对输入的输入的标签号进行预识别分类，并形成若干分类输出通道，根据分类输出通道对不同类型的数据进行分类输出；
45.设置四类数据通道，四类数据通道分别包括一类数据通道、二类数据通道、三类数据通道以及四类数据通道，所述一类数据通道用于一类数据标签的数据进行传输，所述二类数据通道用于二类数据标签的数据进行传输，所述三类数据通道用于三类数据标签的数据进行传输，所述四类数据通道用于特殊数据标签的数据进行传输，所述一类数据通道、二类数据通道以及三类数据通道分别与校验处理模块相连，所述四类数据通道与集中缓存处理模块相连。
46.步骤s3，将数据的标签号设置敏感标签，将带有敏感标签的标签号的数据进行针对性的集中缓存，对于集中缓存的数据进行再识别处理；
47.当识别到特殊数据标签的数据时，通过四类数据通道进行输入，并进行缓存，采用人工校验和校验处理模块的双重校验模式进行校验。
48.步骤s4，对分类的数据设置若干校验等级，针对不同校验等级的数据采用不同校验方式，输出校验后的数据至云存储模块；
49.分别设置第一校验方法、第二校验方法、第三校验方法以及第四校验方法对一类数据标签的数据、二类数据标签的数据、三类数据标签的数据以及特殊数据标签的数据进行校验，设置不同的存储单元分别对一类数据标签的数据、二类数据标签的数据、三类数据标签的数据以及特殊数据标签进行独立存储。
50.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护
范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。