一种基于分布式处理的数据智能分析方法与流程

1.本发明涉及分布式处理技术领域，具体涉及一种基于分布式处理的数据智能分析方法。


背景技术：

2.分布式数据库系统是在集中式数据库系统的基础上发展起来的，是计算机技术和网络技术结合的产物。分布式数据库系统适合于单位分散的部门，允许各个部门将其常用的数据存储在本地，实施就地存放本地使用，从而提高响应速度，降低通信费用。分布式数据库系统与集中式数据库系统相比具有可扩展性，通过增加适当的数据冗余提高系统的可靠性。分布式数据库系统具有灵活的体系结构，能适应分布式的管理和控制机构，系统的可靠性高、可用性好，局部应用的响应速度快，并且经济性能优越，可扩展性好，易于集成现有系统。但是分布式数据库的系统开销相对较大，并且具有复杂的存取结构，在获取数据处理任务后若无差别地对数据进行处理，给运行部件造成压力的同时，还会降低数据处理的效率。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供一种基于分布式处理的数据智能分析方法，包括以下步骤：
4.s1：分布式数据处理中心建立加密数据库，密钥管理中心生成加密密钥，并根据加密密钥对加密数据库内数据进行加密；
5.s2：客户端向分布式数据处理中心发出访问请求数据；
6.s3：分布式数据处理中心接收到访问请求数据后，根据分布式数据处理内部预存的访问信息数据库对访问请求数据进行需求分析，若分析后发现访问请求数据中的数据为错误数据，则进入步骤s4，若分析后发现访问请求数据中的数据为有损数据，则执行步骤s5，若分析后发现访问请求数据中的数据为正确数据，则进入步骤s6；
7.s4：将错误数据删除；
8.s5：对有损数据进行缺失值填补，将填补后的访问请求数据发送到分布式数据处理中心重新进行需求分析；
9.s6：分布式数据处理中心根据客户端的访问请求数据，并基于自身加密数据库内设的公钥对访问请求数据进行认证，若认证通过，则进入步骤s7，若认证未通过，则将该访问请求数据判定为错误数据，并进入步骤s4；
10.s7：分布式数据处理中心将访问请求数据发送到加密服务器，加密服务器验证客户是否有权限访问请求的数据库内容，验证通过则进入步骤s8，若验证未通过，则将该访问请求数据判定为错误数据，并进入步骤s4；
11.s8：分布式数据处理中心从加密数据库中提取加密文件，根据加密密钥对加密文件进行解密，解密后的数据通过安全套阶层协议加密信道传输给客户端。
12.优选的，所述s3步骤中将访问请求数据被判断为有损数据后，进行以下步骤：
13.s31：分布式数据处理中心将有损数据存入热数据存储节点中，并设定存储时长s1；
14.s32：若分布式处理中心监测到在s1时长未计满时，热数据存储节点中的有损数据收到填补请求，则进入步骤s5，被读取若分布式处理中心监测到在s1时长计满后，热数据存储节点中的有损数据未收到填补请求，则进入步骤s33；
15.s33：分布式处理中心将未被读取的有损数据存入冷数据存储节点中，并设定存储时长s2，其数值选取遵循以下原则：s2＞＞s1；
16.s34：若分布式处理中心监测到s2时长未计满时，冷数据存储节点中的有损数据收到填补请求，则进入步骤s5，若分布式处理中心监测到s2时长计满后，冷存储节点中的有损数据仍未被读取，则进入步骤s4。
17.优选的，所述冷数据存储节点的配置高于所述热数据存储节点的配置。
18.优选的，所述步骤s5中，对有损数据进行缺失值填补时可采用均值插补、利用同类均值插补、极大似然估计、多重插补中的一个或多个缺失值填补方法。
19.优选的，所述步骤s6中，分布式数据处理中心基于自身加密数据库内设的密钥对访问请求数据进行认证时，还包括以下步骤：。
20.s61：依据步骤s3中正确数据的填补数据值长度，分布式数据处理中心设定第一规则，建立访问请求数据的第一数据列，第一规则将正确数据根据填补值长度从少到多进行排序，根据第一规则对第一数据列中的数据进行优先级排列，得到第一数据列中的优先处理信息；
21.s62：依据步骤s3中访问请求数据被判断为正确数据的时间点，分布式数据处理中心设立第二规则，第二规则根据访问请求数据被判断为正确数据的时间点从先至后进行排序，根据第二规则对第一优先处理信息进行排序，得出第一处理数据；
22.s63：分布式数据处理中心通过第一分布式数据处理节点对第一数据切片处理，生成多个子数据；
23.s64：提取多个子数据的标识信息，对处理多个子数据的第二分布式数据处理节点进行分配，得出访问请求数据的认证顺序。
24.优选的，第一分布式数据处理节点向分布式数据处理中心发送第一心跳包。
25.优选的，第二分布式数据处理节点向分布式数据处理中心发送第二心跳包。
26.优选的，加密数据库中数据的加密粒度为每个记录的字段数据。
27.本发明的有益效果是：
28.该系统能够根据分布式数据处理中心对数据的处理需求，对数据进行分类处理，筛选出的有用数据、有损数据进行处理，去除错误数据，提高分布式数据处理中心对数据处理时的效率，减轻运行部件的负载，且对有损数据进行填补后再筛选，增大有损数据的填补机会，提升系统的容错性。
附图说明
29.图1显示为一种基于分布式处理的数据智能分析方法的方法流程图。
具体实施方式
30.下面结合本发明的附图1，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施。
31.在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
32.如图1所示，一种基于分布式处理的数据智能分析方法，包括以下步骤：
33.s1：分布式数据处理中心建立加密数据库，密钥管理中心生成加密密钥，并根据加密密钥对加密数据库内数据进行加密；
34.s2：客户端向分布式数据处理中心发出访问请求数据；
35.s3：分布式数据处理中心接收到访问请求数据后，根据分布式数据处理内部预存的访问信息数据库对访问请求数据进行需求分析，若分析后发现访问请求数据中的数据为错误数据，则进入步骤s4，若分析后发现访问请求数据中的数据为有损数据，则执行步骤s5，若分析后发现访问请求数据中的数据为正确数据，则进入步骤s6；
36.s4：将错误数据删除；
37.s5：对有损数据进行缺失值填补，将填补后的访问请求数据发送到分布式数据处理中心重新进行需求分析；
38.s6：分布式数据处理中心根据客户端的访问请求数据，并基于自身加密数据库内设的公钥对访问请求数据进行认证，若认证通过，则进入步骤s7，若认证未通过，则将该访问请求数据判定为错误数据，并进入步骤s4；
39.s7：分布式数据处理中心将访问请求数据发送到加密服务器，加密服务器验证客户是否有权限访问请求的数据库内容，验证通过则进入步骤s8，若验证未通过，则将该访问请求数据判定为错误数据，并进入步骤s4；
40.s8：分布式数据处理中心从加密数据库中提取加密文件，根据加密密钥对加密文件进行解密，解密后的数据通过安全套阶层协议加密信道传输给客户端。
41.步骤s3中，分布式数据处理中心将访问请求数据与内部预存的访问信息数据库进行比对，若无相似度达到80％以上的预存访问信息，则判断为错误信息，若访问信息数据库中存在与该访问请求数据相似度达80％以上的预存访问信息，则提取与该访问请求数据相似度最高的预存访问信息，再将访问请求数据与该预存访问信息进行字节比对，首先将字节缺失比例范围为0
‑
10％，若访问请求数据无字节缺失，即字节缺失比例为0，则分布式数据处理中心将该访问请求数据判断为完整数据，继续进行比对，若访问请求数据字节缺失值在该段访问请求数据字节总长度的0
‑
10％之间，则分布式数据处理中心将该访问请求数据判断为可通过填补达到正确数据的数据，即有损数据，若访问请求数据字节缺失值大于该段访问请求数据字节总长度的10％，则分布式数据处理中信将该访问请求数据判断为不可通过填补达到正确数据的数据，即错误数据；
42.步骤s6中的公玥为客户端与分布式数据处理中心提前约定的唯一公玥；
43.步骤s7中加密服务器中预存有权限验证集合，权限验证集合中包括有若干权限已验证通过的用户信息，加密服务器根据该权限验证集合验证客户是否有权限访问请求的数据库内容。
44.进一步的，所述s3步骤中将访问请求数据被判断为有损数据后，进行以下步骤：
45.s31：分布式数据处理中心将有损数据存入热数据存储节点中，并设定存储时长s1；
46.s32：若分布式处理中心监测到在s1时长未计满时，热数据存储节点中的有损数据收到填补请求，则进入步骤s5，被读取若分布式处理中心监测到在s1时长计满后，热数据存储节点中的有损数据未收到填补请求，则进入步骤s33；
47.s33：分布式处理中心将未被读取的有损数据存入冷数据存储节点中，并设定存储时长s2，其数值选取遵循以下原则：s2＞＞s1；
48.s34：若分布式处理中心监测到s2时长未计满时，冷数据存储节点中的有损数据收到填补请求，则进入步骤s5，若分布式处理中心监测到s2时长计满后，冷存储节点中的有损数据仍未被读取，则进入步骤s4。
49.分布式数据处理中心接收到填补请求后，先在热存储中心中查找填补请求对应的有损数据，若热数据存储中心中未查找到该填补请求对应的有损数据，则再在冷数据存储中心中查找是否有与该填补请求对应的有损数据，若仍未找到，则将填补请求删除；
50.将未被读取的有损数据按接收填补请求的间隔时间进行分类存储，避免由于单一存储节点中的存储数据过多，在分布式处理中心接收到填补请求调取相应的有损数据时运算速度大幅降低，设置s2＞＞s1可延长有损数据的留存时间，增大有损数据的填补机会，提升系统的容错性。
51.进一步的，所述冷数据存储节点的配置高于所述热数据存储节点的配置。
52.由于设定存储时长s2＞＞s1，冷数据存储节点的运行负荷远高于热数据存储节点，若冷数据存储节点配置较低，容纳量不足，则有损数据从热数据存储节点转存到冷数据存储节点时可能出现数据转存受限或数据丢包等情况。
53.进一步的，所述步骤s5中，对有损数据进行缺失值填补时可采用均值插补、利用同类均值插补、极大似然估计、多重插补中的一个或多个缺失值填补方法。
54.根据有损数据的不同缺失情况，可以选用不同的缺失值填补方法，均值插补与利用同类均值插补两种方法适宜于缺失值的类型为随机缺失的情况，极大似然估计和多重插补对样本干扰小，当插补后的值作为解释变量进行回归时，参数的估计值与真实值的偏差较小。
55.进一步的，所述步骤s6中，分布式数据处理中心基于自身加密数据库内设的密钥对访问请求数据进行认证时，还包括以下步骤：。
56.s61：依据步骤s3中正确数据的填补数据值长度，分布式数据处理中心设定第一规则，建立访问请求数据的第一数据列，第一规则将正确数据根据填补值长度从少到多进行排序，根据第一规则对第一数据列中的数据进行优先级排列，得到第一数据列中的优先处理信息；
57.s62：依据步骤s3中访问请求数据被判断为正确数据的时间点，分布式数据处理中心设立第二规则，第二规则根据访问请求数据被判断为正确数据的时间点从先至后进行排
序，根据第二规则对第一优先处理信息进行排序，得出第一处理数据；
58.s63：分布式数据处理中心通过第一分布式数据处理节点对第一数据切片处理，生成多个子数据；
59.s64：提取多个子数据的标识信息，对处理多个子数据的第二分布式数据处理节点进行分配，得出访问请求数据的认证顺序。
60.第一规则将正确数据按填补值长度排序后，填补值长度一致的正确数据则为同一级别的优先处理信息，根据填补值从少到多的顺序依次根据第二规则进行排序，填补值最少的优先处理信息进行最先排序；第二规则将优先处理信息按被判断为正确数据的时间点排序后，由于同一时间点接收的访问请求数据只有一组，最先被判断为正确数据的访问请求数据为第一处理数据；分片处理时划分的依据可以是根据第一处理数据的字节长度、请求访问的数据所具有的特征词等，进行分片处理有利于提高数据处理的效率及数据的传输效率。
61.进一步的，第一分布式数据处理节点向分布式数据处理中心发送第一心跳包。
62.分布式数据处理中心可根据第一心跳包判断第一分布式数据处理节点在对第一数据进行切片处理时是否出现异常，由于数据处理的间隔时间短，对第一分布式数据处理节点的监控要求较高，所以设定第一心跳包的判定时间为6
‑
9秒，确保第一分布式数据处理节点运行状态上报的时效性。
63.进一步的，第二分布式数据处理节点向分布式数据处理中心发送第二心跳包。
64.分布式数据处理中心可根据第一心跳包判断第二分布式数据处理节点在对子数据处理时是否出现异常，由于数据处理的间隔时间短，对第二分布式数据处理节点的监控要求较高，所以设定第二心跳包的判定时间为6
‑
9秒，确保第二分布式数据处理节点运行状态上报的时效性
65.进一步的，加密数据库中数据的加密粒度为每个记录的字段数据。
66.当加密粒度为每个记录字段数据时，系统的安全性与灵活性最高。