一种基于大数据的数据处理系统及方法与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于大数据的数据处理系统及方法。
2.

背景技术：

3.中国专利公开号：cn107818120b。公开了一种基于大数据的数据处理方法和装置。上述方法包括：实时监控并采集各个数据源的第一数据；将所述第一数据传输至分布式消息系统进行存储；从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；获取与所述第二数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中；通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。上述基于大数据的数据处理方法和装置，能够在保证数据处理框架集群的处理压力不会过大的情况下，将数据实时写入数据处理框架，并提高数据处理效率。但是在数据传输过程中，无法对数据传输过程进行把控，导致数据传输效率低的问题。
4.

技术实现要素：

5.为此，本发明提供一种基于大数据的数据处理方法，用以克服现有技术中，无法对数据传输过程进行把控，导致数据传输效率低的问题。
6.为实现上述目的，一方面，本发明提供一种基于大数据的数据处理方法，包括：步骤s101，获取各数据的数据特征以对数据进行分类；步骤s102，根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量；步骤s103，根据数据种类确定发送对应种类数据的数据发送通道的数量，并传输对应种类的数据；步骤s104，获取各数据发送通道的实际传输速度，并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩；在步骤s104中，实时获取各数据发送通道的实际传输速度，并将实际传输速度与预设数据传输速度进行比对，若判定实际传输速度小于预设数据传输速度，则判定需对剩余未发送数据进行压缩，若判定实际传输速度在预设数据传输速度范围内，则判定无需对剩余未发送数据进行压缩，若判定实际传输速度大于预设数据传输速度，则判定需调节该数据通道的发送的数据数量。
7.进一步地，在所述步骤s104中，实时获取单个所述数据发送通道的实际传输速度v，将实际传输速度v与对应的预设数据传输速度v0进行比对，并根据比对结果判定是否对剩余数据进行压缩；
所述预设数据传输速度包括第一预设数据传输速度v1和第二预设数据传输速度v2，其中，v1＜v2；当v＜v1时，则判定该数据传输通道的数据传输速度不符合标准，并需对剩余数据进行压缩；当v1≤v≤v2时，则判定该数据传输通道的数据传输速度符合标准，并无需对剩余数据进行压缩；当v＞v2时，则判定该数据传输通道的数据传输速度不符合标准，并需调节该所述数据传输通道发送的数据数量。
8.进一步地，当判定该数据传输通道的数据传输速度不符合标准，并需对剩余数据进行压缩时，以预设数据字符数量对单一数据拆分为若干数据段，并依次对各数据段进行压缩，压缩完成时，将任一单一数据压缩后的实际大小d与对应的预设数据大小d0进行比对，并根据比对结果判定是否修正预设数据字符数量；当d＞d0时，则判定该单一数据压缩不符合标准，并需调节预设数据字符数量；当d≤d0时，则判定该单一数据压缩符合标准，并使用预设数据字符数量对剩余未发送数据进行压缩。
9.进一步地，当判定该单一数据压缩不符合标准，并需调节预设数据字符数量时，计算实际数据大小差值
△
d，设定
△
d=d0-d，并根据实际数据大小差值修正预设数据字符数量，将修正后的预设数据字符数量记为r1，设定r1=r0
ⅹ
（1
‑△
d/d），当r1不为整数时，向下取整，其中，r0为预设数据字符数量。
10.进一步地，当需将预设数据字符数量修正至r1时，将修正后的预设数据字符数量r1与预设数据字符数量最小值rmin进行比对，当r1≥rmin时，则判定修正后的预设数据字符数量符合标准，并以修正后的预设数据字符数量r1对单一数据进行拆分，当r1＜rmin时，则判定无法使用修正后的预设数据字符数量对单一数据进行拆分，并以预设数据字符数量对单一数据进行拆分，且更换所述数据发送通道。
11.进一步地，当以预设数据字符数量对单一数据拆分为若干数据段时，读取任一数据段的末位字符，将末位字符与关键词信息字符进行比对，并根据比对结果判定是否修正该数据段的字符数量；当所述关键词信息中含有所述末位字符时，则初步判定需调整该数据段的字符数量；当所述关键词信息中不含有所述末位字符时，则判定无需调整该数据段的字符数量。
12.进一步地，当所述关键词信息中含有所述末位字符，且初步判定需调整该数据段的字符数量时，从任一数据段末位第1个字符开始，向相邻数据段选择n个字符，将n个字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增加所述任一数据段的字符数量，其中，增加的字符数量为n，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量；从任一数据段末位第2个字符开始，向相邻数据段选择n个字符，将n个字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增
加所述任一数据段的字符数量，其中，增加的字符数量为n-1，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量；从任一数据段末位第k个字符开始，向相邻数据段选择n个字符，将n个字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增加所述任一数据段的字符数量，其中，增加的字符数量为n-k，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量，其中k＜n，n小于或等于预设字符数量。
13.进一步地，当所述关键词信息中含有所述末位字符，且初步判定需调整该数据段的字符数量时，从任一数据段末位第1个字符开始，向相邻数据段选择j个字符，向自身所在的数据段选择z个字符，将j z组成的字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增加所述任一数据段的字符数量，其中，增加的字符数量为n，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量，设定j z=x-1，其中，x表示关键词信息的字符数量。
14.进一步地，当判定该数据传输通道的数据传输速度不符合标准，并需调节该所述数据传输通道发送的数据数量时，将调节后的实际数据发送数量记为w，设定w=（w0/e）
ⅹ
（1 （v-v2）/v2）,当w不为整数时，向上取整，其中，w0为单一种类数据的总数量，e为对应的数据发送通道数量。
15.另一方面，本发明还提供一种基于大数据的数据处理系统，包括：获取分类模块，用于获取各数据的数据特征以对数据进行分类；确定模块，用于根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量；数据发送模块，其包括若干数据发送通道，用于根据数据种类确定发送对应种类数据的数据发送通道的数量，并传输对应种类的数据；压缩调节模块，用于获取各数据发送通道的实际传输速度，并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩。
16.与现有技术相比，本发明的有益效果在于，本发明在根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时，通过各数据发送通道发送的数据种类选择对应的预设数据传输速度，将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对，并根据比对结果选择性的对剩余未发送数据进行压缩，以增加该数据发送通道的实际传输速度，通过实时比对，其一方面，通过对各数据发送通道的实际传输速度的把控，可以有效的掌握数据传输情况，并根据各种类数据数量，选择对应数量的数据发送通道数量，可以有效的保证对数据传输效率，其另一方面，当数据发送通道的实际传输速度不符合标准时，通过对剩余未发送数据进行压缩，可以有效的降低数据的大小，以增加单位时间内的数据传输速度，进一步的保证了数据传输效率，并有效的提高了数据传输速度。
17.进一步地，本发明将预设数据传输通道的数值具体设置为两个，根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时，通过各数据发送通道发送的数据种类选择对应的预设数据传输速度，将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对，并根据比对结果选择性的对剩余未发送数据进行压缩，以增加该数据发
送通道的实际传输速度，通过实时比对，其一方面，通过对各数据发送通道的实际传输速度的把控，可以有效的掌握数据传输情况，并根据各种类数据数量，选择对应数量的数据发送通道数量，可以有效的保证对数据传输效率，其另一方面，当数据发送通道的实际传输速度不符合标准时，通过对剩余未发送数据进行压缩，可以有效的降低数据的大小，以增加单位时间内的数据传输速度，进一步的保证了数据传输效率，并有效的提高了数据传输速度。
18.进一步地，本发明当判定该单一数据压缩不符合标准，并需调节预设数据字符数量时，通过对预设数据字符数量进行修正，以降低预设数据字符数量，以增加数据段的数量，通过降低预设数据字符的数量，可以增加压缩效率，可以有效的降低单个数据段压缩后的大小，进而可以有效的降低单一数据压缩后的大小，从而降低了剩余未发送数据的大小，进而有效的增加了在单位时间内发送数据的效率，并有效的提高了数据传输速度。
19.进一步地，本发明通过设置预设数据字符数量最小值，可以在对数据段进行压缩时，可以使用合理的对剩余未发送数据进行压缩，并在对预设数据字符数量进行修正时，可以精准的把握修正后预设数据字符数量的长度，防止因预设数据字符数量的长度过短，而导致数据拆分数量过多，从而可以精准的对单一数据进行拆分，以有效的提高数据传输速度。
20.进一步地，本发明在对单一数据进行拆分时，通过将任一数据段的末位字符与关键词字符进行比对，当关键词字符与所述末位字符有重合时，则初步判定拆分了数据信息中的关键词信息，并通过调整数据段的字数数量，以保证单一数据中的关键词信息，从而可以保证数据在传输过程中关键词的完整性，以提升数据传输的效率，并有效的提高了数据传输速度。
21.进一步地，本发明通过任一数据段的末位字符，向相邻数据段选择若干个字符，并通过选择若干个字符，以保证任一数据段中的关键词信息不被拆分，从而可以保证数据在传输过程中关键词的完整性，以提升数据传输的效率，并有效的提高了数据传输速度。
22.进一步地，本发明通过任一数据段的末位字符，向相邻数据段选择j个字符，同时，向自身所在的数据段选择z个字符，以保证任一数据段中的关键词信息不被拆分，同时，j z等于关键词字符信息的字符数量，以精确的对各数据段进行拆分，从而可以保证数据在传输过程中关键词的完整性，以提升数据传输的效率，并有效的提高了数据传输速度。
23.附图说明
24.图1为本发明所述基于大数据的数据处理方法的流程示意图；图2为本发明所述基于大数据的数据处理系统的结构示意图。
25.具体实施方式
26.为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
27.下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
28.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
29.此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内不的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
30.请参阅图1所示，为本发明实施例提供的基于大数据的数据处理方法的流程示意图，包括：步骤s101，获取各数据的数据特征以对数据进行分类；具体的，本发明实施例在对数据进行分类时，通过获取数据特征，其中，数据特征包括但不限于关键词、数据字符长度或数据字符的组合方式对数据进行分类，优选的，本实施例中，通过依次提取各数据中的关键词以对各数据进行分类，例如，关键词“101”为第一种类或关键词“我”为第二种类或关键词“me”为第三种类，通过获取各数据中的关键词，将各数据种类划分为第一种类、第二种类和第三种类，本领域技术人员可以理解的是，本领域技术人员可以根据实际需求定义关键词，只需可实现对数据进行种类划分即可。
31.步骤s102，根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量；具体的，本实施例中，根据每一个数据类型的数据总量，选择对应发送该数据种类的数据发送通道的数量，可以根据各种类数据的实际数量对数据发送通道的数量进行精准的选择，以保证在数据传输时的传输效率。
32.步骤s103，根据数据种类确定发送对应种类数据的数据发送通道的数量，并传输对应种类的数据；步骤s104，获取各数据发送通道的实际传输速度，并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩；在步骤s104中，实时获取各数据发送通道的实际传输速度，并将实际传输速度与预设数据传输速度进行比对，若判定实际传输速度小于预设数据传输速度，则判定需对剩余未发送数据进行压缩，若判定实际传输速度在预设数据传输速度范围内，则判定无需对剩余未发送数据进行压缩，若判定实际传输速度大于预设数据传输速度，则判定需调节该数据通道的发送的数据数量。
33.具体的，本发明实施例在根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时，通过各数据发送通道发送的数据种类选择对应的预设数据传输速度，当数据发送通道发送的数据类型为第一类型时，所述对应的预设数据传输速度为第一预设数据传输速度，并在各数据发送通道发送数据时，实时获取各数据发送的实际传输速度，将各数据发送通道的实际发送速度与对应的预设数据发送速度进行比对，具体的，当数据发送通道发送的数据类型为第一类型时，将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对，以此类推，并根据比对结果选择性的对剩余未发送数据进行压缩，以增加
该数据发送通道的实际传输速度。
34.具体而言，本发明实施例在根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时，通过各数据发送通道发送的数据种类选择对应的预设数据传输速度，将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对，并根据比对结果选择性的对剩余未发送数据进行压缩，以增加该数据发送通道的实际传输速度，通过实时比对，其一方面，通过对各数据发送通道的实际传输速度的把控，可以有效的掌握数据传输情况，并根据各种类数据数量，选择对应数量的数据发送通道数量，可以有效的保证对数据传输效率，其另一方面，当数据发送通道的实际传输速度不符合标准时，通过对剩余未发送数据进行压缩，可以有效的降低数据的大小，以增加单位时间内的数据传输速度，进一步的保证了数据传输效率，并有效的提高了数据传输速度。
35.具体而言，在所述步骤s104中，实时获取单个所述数据发送通道的实际传输速度v，将实际传输速度v与对应的预设数据传输速度v0进行比对，并根据比对结果判定是否对剩余数据进行压缩；所述预设数据传输速度包括第一预设数据传输速度v1和第二预设数据传输速度v2，其中，v1＜v2；当v＜v1时，则判定该数据传输通道的数据传输速度不符合标准，并需对剩余数据进行压缩；当v1≤v≤v2时，则判定该数据传输通道的数据传输速度符合标准，并无需对剩余数据进行压缩；当v＞v2时，则判定该数据传输通道的数据传输速度不符合标准，并需调节该所述数据传输通道发送的数据数量。
36.具体而言，本发明实施例将预设数据传输通道的数值具体设置为两个，根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩时，通过各数据发送通道发送的数据种类选择对应的预设数据传输速度，将该数据发送通道的实际传输速度与对应的预设数据传输速度进行比对，并根据比对结果选择性的对剩余未发送数据进行压缩，以增加该数据发送通道的实际传输速度，通过实时比对，其一方面，通过对各数据发送通道的实际传输速度的把控，可以有效的掌握数据传输情况，并根据各种类数据数量，选择对应数量的数据发送通道数量，可以有效的保证对数据传输效率，其另一方面，当数据发送通道的实际传输速度不符合标准时，通过对剩余未发送数据进行压缩，可以有效的降低数据的大小，以增加单位时间内的数据传输速度，进一步的保证了数据传输效率，并有效的提高了数据传输速度。
37.具体而言，当判定该数据传输通道的数据传输速度不符合标准，并需对剩余数据进行压缩时，以预设数据字符数量对单一数据拆分为若干数据段，并依次对各数据段进行压缩，压缩完成时，将任一单一数据压缩后的实际大小d与对应的预设数据大小d0进行比对，并根据比对结果判定是否修正预设数据字符数量；当d＞d0时，则判定该单一数据压缩不符合标准，并需调节预设数据字符数量；当d≤d0时，则判定该单一数据压缩符合标准，并使用预设数据字符数量对剩余未发送数据进行压缩。
38.具体的，本发明实施例在对单一数据进行压缩时，以预设数据字符数量对单一数
据拆分为若干数据段，其中，预设数据字符数量可以为3个、5个或6个，优选的，本实施例中，将预设字符数量设置为5个，当剩余未发送数据中的单一数据中的字符数量为23个时，则将该单一数据划分为5个数据段，并分别对每个数据段进行压缩，以完成对任一单一数据的压缩，从而以降低单一数据的大小，本领域技术人员可以理解的是，在选择预设字符数量时，可以根据实际数据的种类进行选择。具体的，其中预设数据大小根据实际数据的字符数量进行选择的，例如，当单一数据的实际字符数量为20时，可以将预设数据大小设置为1kb，并在单一数据的实际字符数量为30时，可以将预设数据大小设置为1.5kb，本领域技术人员也可根据数据的实际情况选择对应的预设数据大小。
39.具体而言，当判定该单一数据压缩不符合标准，并需调节预设数据字符数量时，计算实际数据大小差值
△
d，设定
△
d=d0-d，并根据实际数据大小差值修正预设数据字符数量，将修正后的预设数据字符数量记为r1，设定r1=r0
ⅹ
（1
‑△
d/d），当r1不为整数时，向下取整，其中，r0为预设数据字符数量。
40.具体而言，本发明实施例当判定该单一数据压缩不符合标准，并需调节预设数据字符数量时，通过对预设数据字符数量进行修正，以降低预设数据字符数量，以增加数据段的数量，通过降低预设数据字符的数量，可以增加压缩效率，可以有效的降低单个数据段压缩后的大小，进而可以有效的降低单一数据压缩后的大小，从而降低了剩余未发送数据的大小，进而有效的增加了在单位时间内发送数据的效率，并有效的提高了数据传输速度。
41.具体而言，当需将预设数据字符数量修正至r1时，将修正后的预设数据字符数量r1与预设数据字符数量最小值rmin进行比对，当r1≥rmin时，则判定修正后的预设数据字符数量符合标准，并以修正后的预设数据字符数量r1对单一数据进行拆分，当r1＜rmin时，则判定无法使用修正后的预设数据字符数量对单一数据进行拆分，并以预设数据字符数量对单一数据进行拆分，且更换所述数据发送通道。
42.具体而言，本发明实施例通过设置预设数据字符数量最小值，可以在对数据段进行压缩时，可以使用合理的对剩余未发送数据进行压缩，并在对预设数据字符数量进行修正时，可以精准的把握修正后预设数据字符数量的长度，防止因预设数据字符数量的长度过短，而导致数据拆分数量过多，从而可以精准的对单一数据进行拆分，以有效的提高数据传输速度。
43.具体而言，当以预设数据字符数量对单一数据拆分为若干数据段时，读取任一数据段的末位字符，将末位字符与关键词信息字符进行比对，并根据比对结果判定是否修正该数据段的字符数量；当所述关键词信息中含有所述末位字符时，则初步判定需调整该数据段的字符数量；当所述关键词信息中不含有所述末位字符时，则判定无需调整该数据段的字符数量；其中，当实际需比对末位字符为末尾数据段时，则将末位字符替换为该数据段的起始字符。
44.具体而言，本发明实施例在对单一数据进行拆分时，通过将任一数据段的末位字符与关键词字符进行比对，当关键词字符与所述末位字符有重合时，则初步判定拆分了数据信息中的关键词信息，并通过调整数据段的字数数量，以保证单一数据中的关键词信息，
从而可以保证数据在传输过程中关键词的完整性，以提升数据传输的效率，并有效的提高了数据传输速度。
45.具体而言，当所述关键词信息中含有所述末位字符，且初步判定需调整该数据段的字符数量时，从任一数据段末位第1个字符开始，向相邻数据段选择n个字符，将n个字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增加所述任一数据段的字符数量，其中，增加的字符数量为n，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量；从任一数据段末位第2个字符开始，向相邻数据段选择n个字符，将n个字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增加所述任一数据段的字符数量，其中，增加的字符数量为n-1，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量；从任一数据段末位第k个字符开始，向相邻数据段选择n个字符，将n个字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增加所述任一数据段的字符数量，其中，增加的字符数量为n-k，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量，其中k＜n，n小于或等于预设字符数量。
46.具体而言，本发明实施例通过任一数据段的末位字符，向相邻数据段选择若干个字符，并通过选择若干个字符，以保证任一数据段中的关键词信息不被拆分，从而可以保证数据在传输过程中关键词的完整性，以提升数据传输的效率，并有效的提高了数据传输速度。
47.具体而言，当所述关键词信息中含有所述末位字符，且初步判定需调整该数据段的字符数量时，从任一数据段末位第1个字符开始，向相邻数据段选择j个字符，向自身所在的数据段选择z个字符，将j z组成的字符与标准关键词字符作比对，若n个字符与标准关键词字符的重合度大于或等于90%时，则判定需增加所述任一数据段的字符数量，其中，增加的字符数量为n，若n个字符与标准关键词字符的重合度小于90%时，则判定该数据段中不含有关键词，且无需调整该数据段的字符数量，设定j z=x-1，其中，x表示关键词信息的字符数量。
48.具体而言，本发明实施例通过任一数据段的末位字符，向相邻数据段选择j个字符，同时，向自身所在的数据段选择z个字符，以保证任一数据段中的关键词信息不被拆分，同时，j z等于关键词字符信息的字符数量，以精确的对各数据段进行拆分，从而可以保证数据在传输过程中关键词的完整性，以提升数据传输的效率，并有效的提高了数据传输速度。具体的，本实施例中，当关键词信息的字符数量为5个时，选取任一除末位数据段的数据段，并在该数据段的末位字符开始，向相邻数据段选择1个字符，同时，向自身所在的数据段选择3个字符，或向相邻数据段选择2个字符，同时，向自身所在的数据段选择2个字符，或向相邻数据段选择3个字符，同时，向自身所在的数据段选择1个字符。本领域技术人员可以理解的是，本发明实施例关键词信息的字符数量还可以根据实际情况进行选择，本发明实施例不对关键词信息的字符数量进行限制。
49.具体而言，当判定该数据传输通道的数据传输速度不符合标准，并需调节该所述
数据传输通道发送的数据数量时，将调节后的实际数据发送数量记为w，设定w=（w0/e）
ⅹ
（1 （v-v2）/v2）,当w不为整数时，向上取整，其中，w0为单一种类数据的总数量，e为对应的数据发送通道数量。
50.请继续参阅图2所示，为本发明实施例实施例提供的基于大数据的数据处理系统的结构示意图，包括：获取分类模块，用于获取各数据的数据特征以对数据进行分类；具体的，本发明实施例在对数据进行分类时，通过获取数据特征，其中，数据特征包括但不限于关键词、数据字符长度或数据字符的组合方式对数据进行分类，优选的，本实施例中，通过依次提取各数据中的关键词以对各数据进行分类，例如，关键词“101”为第一种类或关键词“我”为第二种类或关键词“me”为第三种类，通过获取各数据中的关键词，将各数据种类划分为第一种类、第二种类和第三种类，本领域技术人员可以理解的是，本领域技术人员可以根据实际需求定义关键词，只需可实现对数据进行种类划分即可。
51.确定模块，用于根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量；具体的，本实施例中，根据每一个数据类型的数据总量，选择对应发送该数据种类的数据发送通道的数量，可以根据各种类数据的实际数量对数据发送通道的数量进行精准的选择，以保证在数据传输时的传输效率。
52.数据发送模块，其包括若干数据发送通道，用于根据数据种类确定发送对应种类数据的数据发送通道的数量，并传输对应种类的数据；压缩调节模块，用于获取各数据发送通道的实际传输速度，并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩。同时，实时获取各数据发送通道的实际传输速度，并将实际传输速度与预设数据传输速度进行比对，若判定实际传输速度小于预设数据传输速度，则判定需对剩余未发送数据进行压缩，若判定实际传输速度在预设数据传输速度范围内，则判定无需对剩余未发送数据进行压缩，若判定实际传输速度大于预设数据传输速度，则判定需调节该数据通道的发送的数据数量。
53.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
54.以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。