一种基于计算机设备的总线数据处理方法与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于计算机设备的总线数据处理方法。


背景技术：

2.数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。
3.数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程；随着计算机技术的发展，计算机需要处理的数据量也越来越大，单台计算机已经无法负载一些大规模数据的处理，例如从网络社交平台的海量用户中搜索出符合要求的用户。因此，通常需要将多台计算机联合起来，构成计算机群，并行处理大规模的数据。
4.现有的数据处理存在没有对同时处理的数据进行优先级别的判断，进而进行分批处理，以及没有合理的分配服务器进行处理的问题。


技术实现要素：

5.针对现有技术存在的不足，本发明目的是提供一种基于计算机设备的总线数据处理方法。本发明中提高对预处理数据进行分析，获取得到预处理数据的访问值，若访问值＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束后，临时存储模块将删除该无用数据；对数据进行筛选，去除无用数据，减轻数据处理压力；若访问值≥预设访问阈值，则判断该预处理数据重要程度高，并将其标记为待处理数据；对待处理数据作进一步分析；获取得到待处理数据的优处值；将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表；能够根据优处值对待处理数据进行分批处理，使数据处理更加有层次，有条不紊，提高数据处理效率；数据分配模块能够接收待处理数据并根据匹配值和云服务器的负荷分析分配对应的云服务器进行处理，得到目标数据，提高数据处理效率。
6.本发明的目的可以通过以下技术方案实现：
7.一种基于计算机设备的总线数据处理方法，包括如下步骤：
8.步骤一：对采集的数据进行预处理，得到预处理数据；对预处理数据进行分析，获取得到预处理数据的访问值，根据访问值判断预处理数据的重要程度，删除无用数据；并将重要程度高的预处理数据标记为待处理数据；
9.步骤二：对待处理数据作进一步分析；进而获取得到待处理数据的优处值；具体包括：
10.s21：将待处理数据的访问值标记为k1，将待处理数据的存储年限标记为k2，将待
处理数据的数据大小标记为k3；
11.s22：设定每种数据类型均有一个对应的预设值，将该待处理数据的数据类型与所有的数据类型进行匹配，获取得到该待处理数据的数据类型对应的预设值并标记为k4；
12.s23：利用公式k5＝k1
×
a3 k2
×
a4 k3
×
a5 k4
×
a6获取得到待处理数据的优处值k5，其中a3、a4、a5、a6均为预设系数；
13.步骤三：将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表，反馈该待处理数据在处理优先表所处的序列位置至控制中心；所述控制中心按照反馈的序列位置依次对该待处理数据进行传输；
14.步骤四：控制中心将待处理数据传输至数据分配模块，所述数据分配模块用于接收待处理数据并分配对应的云服务器进行处理，得到目标数据；具体步骤为：
15.v1：获取所有的云服务器的位置，将云服务器的位置与数据分配模块的位置进行距离差计算得到传输距离，将传输距离标记为l1；
16.v2：实时监测云服务器的网络访问速率，将网络访问速率标记为l2；
17.v3：实时监测云服务器的cpu使用率，将cpu使用率标记为l3，同时对cpu使用率进行稳态分析，获取得到cpu稳态值并标记为l4；
18.v4：将云服务器的设备值标记为l5，将云服务器的当天吞吐量标记为l6；将云服务器的处理次数标记为l7；
19.v5：利用公式l8＝(1/l1
×
b1 l2
×
b2 1/l3
×
b3 l5
×
b4
‑
l6
×
b5 l7
×
b6)/l4
‑
1.2356获取得到云服务器的匹配值l8，其中b1、b2、b3、b4、b5和b6均为预设系数；
20.v6：将云服务器按照匹配值l8的大小进行排序；
21.v7：按照云服务器的排序依次对云服务器进行负荷分析；若该云服务器还未满负荷，则将数据传输至该云服务器进行处理，得到目标数据；
22.步骤五：对目标数据进行加密，得到加密数据，将加密数据发送至存储模块进行存储。
23.进一步地，所述步骤一中对预处理数据进行分析，具体分析步骤为：
24.s11：获取预处理数据的存储信息，所述存储信息包括存储年限、数据类型、数据大小以及访问记录；所述访问记录包括访问次数和访问时间；
25.s12：采集预设时间段内预处理数据的访问记录；
26.将预处理数据的访问次数进行累加形成访问频次，并标记为f1；
27.将预处理数据的访问时间进行累加形成访问总时间，并标记为f2；
28.利用公式f3＝f1
×
a1 f2
×
a2获取得到预处理数据的访问值f3，其中a1、a2均为预设系数；
29.s13：将访问值f3与预设访问阈值进行比较；
30.若访问值f3＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束后，临时存储模块将删除该无用数据；
31.若访问值f3≥预设访问阈值，则判断该预处理数据重要程度高，并将其标记为待处理数据。
32.进一步地，所述步骤v7中按照云服务器的排序依次对云服务器进行负荷分析；具
体分析步骤为：
33.v71：首先选择排序第一的云服务器，为云服务器分配一个任务执行，当任务执行完后，将当前任务执行耗费时间标记为p1；将p1与预设阈值p进行对比；
34.v72：若p1≥p，则利用公式q1＝(p1
‑
p)/p
×
100％获取得到超出幅度q1，若q1≥13％，则认为该云服务器已经满负荷，不再将数据传输至该云服务器；继续选择排序第二的云服务器，重复执行v71；
35.若q1＜13％，则认为该云服务器还未满负荷，将数据传输至该云服务器；同时该云服务器的处理次数加一；
36.v73：若p1＜p，则认为该云服务器还未满负荷，将数据传输至该云服务器；同时该云服务器的处理次数加一。
37.进一步地，所述步骤v3中对cpu使用率进行稳态分析，获取得到cpu稳态值；具体分析步骤为：
38.v31：从初始时刻起，每间隔r2时间采集一次实时cpu使用率，将该实时cpu使用率标记为fi，i＝1，...，n；其中，r2为预设值；
39.v32：令最新采集的实时cpu使用率为fn，取fn及其前x1组实时cpu使用率的值，将其标记为区间使用率ji，i＝n
‑
x1，...，n；x1为预设值；
40.v33：生成区间使用率ji随时间变化的曲线图；计算曲线方程的实时区间使用率变化导数值，并将导数值标记为di；将导数值与预设导数阈值相比较；
41.v34：当导数值大于预设导数阈值时，将该导数值标记为影响导数；
42.统计影响导数出现的次数并标记为c1；将影响导数与预设导数阈值进行差值计算得到超导值，将所有的超导值进行求和得到超导总值并标记为c2；
43.v35：利用公式l4＝c1
×
d1 c2
×
d2获取得到cpu稳态值l4；其中d1、d2均为预设比例系数。
44.进一步地，所述预处理包括修复
‑
清洗
‑
聚合；具体表现为对缺损数据进行修复，删除无用数据；去除采集到的数据内含有的乱码和重复部分以及对采集到的数据进行长度控制，实现数据标准化；将清洗后的数据进行聚合。
45.进一步地，所述云服务器的设备值的具体计算方法为：
46.g1：获取云服务器在系统当期时刻前十天内的吞吐量并进行求和取其均值得到吞吐量均值标记为r1；
47.g2：将云服务器的注册时刻与系统当前时刻进行时间差计算获取得到云服务器的注册时长并标记为r2；
48.设定云服务器的维修次数为r3；
49.获取云服务器的维修时刻，将最近一次的维修时刻与系统当前时刻进行时间差计算获取得到缓冲时长，并标记为h1；
50.g3：设定每个云服务器的型号均有一个对应的预设值，将该云服务器的型号与所有的型号进行匹配获取得到该云服务器的型号的对应预设值并标记为r4；
51.g4：利用公式h2＝(r1
×
d3 r4
×
d4)/(r2
×
d5 r3
×
d6 h1
×
d7)获取得到云服务器的设备值；其中d3、d4、d5、d6、d7均为预设比例系数。
52.本发明的有益效果是：
53.1、本发明中对预处理数据进行分析，获取预处理数据的存储信息，采集预设时间段内预处理数据的访问记录，将预处理数据的访问次数进行累加形成访问频次；将预处理数据的访问时间进行累加形成访问总时间，利用公式f3＝f1
×
a1 f2
×
a2获取得到预处理数据的访问值f3；将访问值f3与预设访问阈值进行比较；若访问值f3＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束后，临时存储模块将删除该无用数据；对数据进行筛选，去除无用数据，减轻数据处理压力；
54.2、本发明中对预处理数据进行分析，若访问值f3≥预设访问阈值，则判断该预处理数据重要程度高，并将其标记为待处理数据；对待处理数据作进一步分析；结合待处理数据的访问值、存储年限、数据大小和数据类型对应的预设值；利用公式k5＝k1
×
a3 k2
×
a4 k3
×
a5 k4
×
a6获取得到待处理数据的优处值；将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表，反馈该待处理数据在处理优先表所处的序列位置至控制中心；所述控制中心按照反馈的序列位置依次对该待处理数据进行传输；能够根据优处值对待处理数据进行分批处理，使数据处理更加有层次，有条不紊，提高数据处理效率；
55.3、本发明中数据分配模块用于接收待处理数据并分配对应的云服务器进行处理，得到目标数据；获取所有的云服务器的位置，将云服务器的位置与数据分配模块的位置进行距离差计算得到传输距离，获取得到云服务器的网络访问速率、cpu使用率、cpu稳态值和云服务器的设备值、当天吞吐量、处理次数；利用公式l8＝(1/l1
×
b1 l2
×
b2 1/l3
×
b3 l5
×
b4
‑
l6
×
b5 l7
×
b6)/l4
‑
1.2356获取得到云服务器的匹配值，将云服务器按照匹配值的大小进行排序；然后按照云服务器的排序依次对云服务器进行负荷分析；首先选择排序第一的云服务器，为云服务器分配一个任务执行，当任务执行完后，将当前任务执行耗费时间标记为p1；将p1与预设阈值p进行对比；若p1≥p，则利用公式q1＝(p1
‑
p)/p
×
100％获取得到超出幅度q1，若q1≥13％，则认为该云服务器已经满负荷，不再将数据传输至该云服务器；继续选择排序第二的云服务器，依次类推；直至选出对应的云服务器对待处理数据进行处理，得到目标数据；为待处理数据分配合适的云服务器进行处理，提高数据处理效率。
附图说明
56.为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
57.图1为本发明的流程示意图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
59.如图1所示，一种基于计算机设备的总线数据处理方法，包括如下步骤：
60.步骤一：对采集的数据进行预处理，得到预处理数据，所述预处理包括修复
‑
清洗
‑
聚合；具体表现为对缺损数据进行修复，删除无用数据；去除采集到的数据内含有的乱码和重复部分以及对采集到的数据进行长度控制，实现数据标准化；将清洗后的数据进行聚合；
61.对预处理数据进行分析，获取得到预处理数据的访问值，根据访问值判断预处理数据的重要程度，删除无用数据；并将重要程度高的预处理数据标记为待处理数据；具体包括：
62.s11：获取预处理数据的存储信息，所述存储信息包括存储年限、数据类型、数据大小以及访问记录；所述访问记录包括访问次数和访问时间；
63.s12：采集预设时间段内预处理数据的访问记录；
64.将预处理数据的访问次数进行累加形成访问频次，并标记为f1；
65.将预处理数据的访问时间进行累加形成访问总时间，并标记为f2；
66.利用公式f3＝f1
×
a1 f2
×
a2获取得到预处理数据的访问值f3，其中a1、a2均为预设系数；
67.s13：将访问值f3与预设访问阈值进行比较；
68.若访问值f3＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束后，临时存储模块将删除该无用数据；
69.若访问值f3≥预设访问阈值，则判断该预处理数据重要程度高，并将其标记为待处理数据；
70.步骤二：对待处理数据作进一步分析；进而获取得到待处理数据的优处值；具体为：
71.s21：将待处理数据的访问值标记为k1，将待处理数据的存储年限标记为k2，将待处理数据的数据大小标记为k3；
72.s22：设定每种数据类型均有一个对应的预设值，将该待处理数据的数据类型与所有的数据类型进行匹配，获取得到该待处理数据的数据类型对应的预设值并标记为k4；
73.s23：利用公式k5＝k1
×
a3 k2
×
a4 k3
×
a5 k4
×
a6获取得到待处理数据的优处值k5，其中a3、a4、a5、a6均为预设系数；
74.步骤三：将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表，反馈该待处理数据在处理优先表所处的序列位置至控制中心；所述控制中心按照反馈的序列位置依次对该待处理数据进行传输；
75.步骤四：控制中心将待处理数据传输至数据分配模块，所述数据分配模块用于接收待处理数据并分配对应的云服务器进行处理，得到目标数据；具体步骤为：
76.v1：获取所有的云服务器的位置，将云服务器的位置与数据分配模块的位置进行距离差计算得到传输距离，将传输距离标记为l1；
77.v2：实时监测云服务器的网络访问速率，将网络访问速率标记为l2；
78.v3：实时监测云服务器的cpu使用率，将cpu使用率标记为l3，同时对cpu使用率进行稳态分析，获取得到cpu稳态值并标记为l4；
79.v4：将云服务器的设备值标记为l5，将云服务器的当天吞吐量标记为l6；将云服务器的处理次数标记为l7；
80.v5：利用公式l8＝(1/l1
×
b1 l2
×
b2 1/l3
×
b3 l5
×
b4
‑
l6
×
b5 l7
×
b6)/l4
‑
1.2356获取得到云服务器的匹配值l8，其中b1、b2、b3、b4、b5和b6均为预设系数；
81.v6：将云服务器按照匹配值l8的大小进行排序；
82.v7：按照云服务器的排序依次对云服务器进行负荷分析；若该云服务器还未满负荷，则将数据传输至该云服务器进行处理，得到目标数据；具体包括：
83.v71：首先选择排序第一的云服务器，为云服务器分配一个任务执行，当任务执行完后，将当前任务执行耗费时间标记为p1；将p1与预设阈值p进行对比；
84.v72：若p1≥p，则利用公式q1＝(p1
‑
p)/p
×
100％获取得到超出幅度q1，若q1≥13％，则认为该云服务器已经满负荷，不再将数据传输至该云服务器；继续选择排序第二的云服务器，重复执行v71；
85.若q1＜13％，则认为该云服务器还未满负荷，将数据传输至该云服务器；同时该云服务器的处理次数加一；
86.v73：若p1＜p，则认为该云服务器还未满负荷，将数据传输至该云服务器；同时该云服务器的处理次数加一；
87.步骤五：对目标数据进行加密，得到加密数据，将加密数据发送至存储模块进行存储。
88.所述步骤v3中对cpu使用率进行稳态分析，获取得到cpu稳态值；具体分析步骤为：
89.v31：从初始时刻起，每间隔r2时间采集一次实时cpu使用率，将该实时cpu使用率标记为fi，i＝1，...，n；其中，r2为预设值；
90.v32：令最新采集的实时cpu使用率为fn，取fn及其前x1组实时cpu使用率的值，将其标记为区间使用率ji，i＝n
‑
x1，...，n；x1为预设值；
91.v33：生成区间使用率ji随时间变化的曲线图；计算曲线方程的实时区间使用率变化导数值，并将导数值标记为di；将导数值与预设导数阈值相比较；
92.v34：当导数值大于预设导数阈值时，将该导数值标记为影响导数；
93.统计影响导数出现的次数并标记为c1；将影响导数与预设导数阈值进行差值计算得到超导值，将所有的超导值进行求和得到超导总值并标记为c2；
94.v35：利用公式l4＝c1
×
d1 c2
×
d2获取得到cpu稳态值l4；其中d1、d2均为预设比例系数，例如d1取值0.51，d2取值0.74；
95.所述云服务器的设备值的具体计算方法为：
96.g1：获取云服务器在系统当期时刻前十天内的吞吐量并进行求和取其均值得到吞吐量均值标记为r1；
97.g2：将云服务器的注册时刻与系统当前时刻进行时间差计算获取得到云服务器的注册时长并标记为r2；
98.设定云服务器的维修次数为r3；
99.获取云服务器的维修时刻，将最近一次的维修时刻与系统当前时刻进行时间差计算获取得到缓冲时长，并标记为h1；
100.g3：设定每个云服务器的型号均有一个对应的预设值，将该云服务器的型号与所有的型号进行匹配获取得到该云服务器的型号的对应预设值并标记为r4；
101.g4：利用公式h2＝(r1
×
d3 r4
×
d4)/(r2
×
d5 r3
×
d6 h1
×
d7)获取得到云服务器的设备值；其中d3、d4、d5、d6、d7均为预设比例系数，例如d3取值0.25，d4取值0.34，d5取值0.38，d6取值0.41，d7取值0.71。
102.本发明的工作原理是：
103.一种基于计算机设备的总线数据处理方法，在工作时，首先对采集的数据进行预处理，对缺损数据进行修复，删除无用数据，去除采集到的数据内含有的乱码和重复部分以及对采集到的数据进行长度控制，实现数据标准化，将清洗后的数据进行聚合得到预处理数据；对预处理数据进行分析，获取预处理数据的存储信息，采集预设时间段内预处理数据的访问记录，将预处理数据的访问次数进行累加形成访问频次；将预处理数据的访问时间进行累加形成访问总时间，利用公式f3＝f1
×
a1 f2
×
a2获取得到预处理数据的访问值f3；将访问值f3与预设访问阈值进行比较；若访问值f3＜预设访问阈值，则判断该预处理数据重要程度低，将其标记为无用数据，随后将无用数据发送至临时存储模块存储并存储时间设置为三天，存储时间结束后，临时存储模块将删除该无用数据；对数据进行筛选，去除无用数据，减轻数据处理压力；
104.若访问值f3≥预设访问阈值，则判断该预处理数据重要程度高，并将其标记为待处理数据；对待处理数据作进一步分析；结合待处理数据的访问值、存储年限、数据大小和数据类型对应的预设值；利用公式
105.k5＝k1
×
a3 k2
×
a4 k3
×
a5 k4
×
a6获取得到待处理数据的优处值；将待处理数据按照优处值的大小降序排列，生成待处理数据的处理优先表，反馈该待处理数据在处理优先表所处的序列位置至控制中心；所述控制中心按照反馈的序列位置依次对该待处理数据进行传输；能够根据优处值对待处理数据进行分批处理，使数据处理更加有层次，有条不紊，提高数据处理效率；
106.控制中心将预处理数据传输至数据分配模块，所述数据分配模块用于接收待处理数据并分配对应的云服务器进行处理，得到目标数据；获取所有的云服务器的位置，将云服务器的位置与数据分配模块的位置进行距离差计算得到传输距离，获取得到云服务器的网络访问速率、cpu使用率、cpu稳态值和云服务器的设备值、当天吞吐量、处理次数；利用公式l8＝
107.(1/l1
×
b1 l2
×
b2 1/l3
×
b3 l5
×
b4
‑
l6
×
b5 l7
×
b6)/l4
‑
1.2356获取得到云服务器的匹配值，将云服务器按照匹配值的大小进行排序；然后按照云服务器的排序依次对云服务器进行负荷分析；首先选择排序第一的云服务器，为云服务器分配一个任务执行，当任务执行完后，将当前任务执行耗费时间标记为p1；将p1与预设阈值p进行对比；若p1≥p，则利用公式q1＝(p1
‑
p)/p
×
100％获取得到超出幅度q1，若q1≥13％，则认为该云服务器已经满负荷，不再将数据传输至该云服务器；继续选择排序第二的云服务器，依次类推；直至选出对应的云服务器对待处理数据进行处理，得到目标数据；最后对目标数据进行加密，得到加密数据，将加密数据发送至存储模块进行存储。
108.上述公式均是由采集大量数据进行软件模拟及相应专家进行参数设置处理，得到与真实结果符合的公式。
109.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。