一种数据传输的处理方法及处理系统与流程

1.本技术涉及数据处理领域，具体地，涉及一种数据传输的处理方法及处理系统。


背景技术：

2.随着数据的爆炸式增长，分布式存储系统如何对海量数据有效的进行查询、写入等处理成为了数据存储领域的研究重点。目前数据存储的方式主要是，通过设置一大型数据库来专用的存储海量数据，这种数据存储方式，虽然可通过大型数据库满足海量数据的高存储量要求，但从大型数据库中查询、写入某一数据的效率大幅的降低，牺牲了数据处理效率。并且，在数据的传输存储的过程中，也会遭遇各种不确定的因素而导致存储链路所不能进行数据的存储。
3.因此如何在兼顾数据处理效率，和海量数据的高存储量要求的情况下，实现数据的传输和存储，成为本领域技术人员急需解决的问题。


技术实现要素：

4.本技术提供了一种数据传输的处理方法，具体包括以下步骤：接收数据；进行数据存储传输路径的构建；将数据存储至数据存储传输路径中；根据数据的存储，确定数据的有效存储路径；进行有效路径的异常检测；若异常检测合格，则将接收数据存储至有效存储路径中。
5.如上的，其中，若异常检测不合格，则重新选取再生节点。
6.如上的，其中，存储传输路径由系统节点构成，系统节点包括根节点、中路节点和叶节点。
7.如上的，其中，将接收的数据存储至中路节点与叶节点中。
8.如上的，其中，当接收数据的数据量过大时，将数据分块存储至不同的中路节点，或将数据分块存储至不同的叶节点中。
9.如上的，其中，根据数据的存储，确定数据的有效存储路径，包括以下子步骤：根据数据在数据存储传输路径中的存储情况，确定有效存储路径；查看有效路径是否能完全容纳接收数据；进行新的有效路径的构建。
10.如上的，其中，进行新有效路径的构建还包括，根据评估指标，查看存储数据的节点是否能进行节点的再生。
11.如上的，其中，评估指标b1具体表示为；
[0012][0013]
其中，v表示磁盘读写速度，v
max
和v
min
为预先设定的磁盘读写速度比对标准。
[0014]
如上的，其中，选择存储数据的任意一个节点进行多个节点的再生，直至存储数据
以及再生节点完全容纳接收的数据。
[0015]
一种数据传输的处理系统，包括接收单元、构建单元、第一存储单元、路径确定单元、异常检测单元、选取单元以及第二存储单元；接收单元，用于接收数据；构建单元，用于进行数据存储传输路径的构建；第一存储单元，用于将数据存储至数据存储传输路径中；路径确定单元，用于根据数据的存储，确定数据的有效存储路径；异常检测单元，用于进行有效路径的异常检测；选取单元，用于若异常检测不合格，则重新选取再生节点；第二存储单元，用于若异常检测合格，将接收数据存储至有效存储路径中。
[0016]
本技术具有以下有益效果：
[0017]
本技术提供的数据传输的处理方法及处理系统能够在接收数据后，对数据的传输存储路径进行有效和高效的规划，并不断对该路径进行优化，保证了数据传输过程的可靠与安全性。
附图说明
[0018]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0019]
图1是根据本技术实施例提供的数据存储的优化方法流程图；
[0020]
图2是根据本技术实施例提供的数据存储的优化系统的内部结构图。
具体实施方式
[0021]
下面结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0022]
本技术涉及一种数据存储的优化方法及其系统。根据本技术，能够有效识别数据传输过程中存在的风险，并且对数据存储进行了良好的优化。
[0023]
实施例一
[0024]
如图1所示，是本技术提供的一种数据存储的优化方法，具体包括以下步骤：
[0025]
步骤s110：接收数据。
[0026]
具体地，在接收数据后，还包括，对数据进行检索，判断数据是否为有效数据。可使用已有的工具进行数据的检索，例如使用hbase平台进行数据的有效检索，hbase是一个分布式数据库，可以实时读写大规模数据，在读取数据的过程中，可以进行数据的聚合检索以及数据的连续检索。
[0027]
其中，对数据进行聚合检索是指对指定时间段内接收的数据进行统一检索，连续检索是指接收一段数据后就对该数据进行实时检索。
[0028]
具体地，其中数据一般具有标称属性、二元属性、序数属性、数值属性以及离散属性与连续属性等，因此数据的聚合检索以及数据的连续检索实质是进行数据属性检索。
[0029]
其中若接收的数据满足以上属性的至少一种，则执行步骤s120。
[0030]
步骤s120：进行数据存储传输路径的构建。
[0031]
具体地，其中数据存储传输为将数据传输到系统节点中进行存储，在数据传输过程之前，还包括，构建存储路径。
[0032]
具体地，存储路径由系统节点构成，系统节点包括根节点、中路节点和叶节点。其中根节点s，连接至其他第一层中路节点，根节点s与第一层中路节点为一对多的关系，第一层中路节点相互连接，且每一个中路节点连接至第二层中路节点，第一层中路节点的每一个节点与第二中路节点为一对一或一对多的关系，以此类推，直至完成第n层叶节点的布置，根节点，中路节点与叶节点连接成的拓扑结构，为数据传输存储的路径。
[0033]
进一步地，其中可以将数据存储至任意中路节点与叶节点中。如果存储至叶节点，则叶节点为存储节点，根节点与中路节点则作为传输数据的传输节点，如果存储至任意中路节点，该中路节点为存储节点，根节点与剩余中路节点作为传输数据的传输节点。换句话来说，存储数据的节点均可作为存储节点，剩余均可作为传输节点。
[0034]
步骤s130：将数据存储至数据存储传输路径中。
[0035]
具体地，将接收的数据存储至数据存储路径中，由于接收的数据的数据量可大可小，当接收数据的数据量过大时，可将数据分块存储至不同的中路节点，或将数据分块存储至不同的叶节点中。
[0036]
步骤s140：根据数据的存储，确定数据的有效存储路径。
[0037]
其中异常处理策略为，先确定有效数据存储传输路径，即，先确定异常处理策略，根据异常处理策略，确定拷贝数据的新的存储路径)
[0038]
步骤s1401：根据数据在数据存储传输路径中的存储情况，确定有效存储路径。
[0039]
其中，有效存储路径为不考虑系统节点是否能容纳接收数据，目前已经存储数据的节点所连接成的路径。
[0040]
步骤s1402：查看有效路径是否能完全容纳接收数据。
[0041]
若有效路径是否能完全容纳接收数据，则执行步骤s150，否则执行步骤s1403。
[0042]
步骤s1403：进行新的有效路径的构建。
[0043]
具体地，若系统节点不能容纳接收数据，则令某一节点进行节点的再生，再生节点以及之前存储数据的节点构成新的有效路径。新的有效路径能完全进行数据的存储，减轻系统节点存储数据的负担。
[0044]
其中，若将数据存储至节点a、b、c，此时其他节点已经存入数据，系统节点已经不具备了完全容纳该数据的能力，则令节点a、b、c分别进行一个或多个节点的再生，再生节点为节点a、b、c的子节点。
[0045]
具体地，进行新有效路径的构建还包括，根据预先制定的再生节点选取标准，查看存储数据的节点是否能进行节点的再生。
[0046]
其中，将存储数据的多个节点作为评估对象，评估对象定义为c1,c2,...cn，为每个对象设定m个评估指标，通过监测可以得到节点ci在评估指标b
j
中的观测值f
ij
。
[0047]
其中，评估指标具体为根据磁盘读写速度得到的评估指标b1，和根据网络传输延迟得到的评估指标b2。
[0048]
其中，用v来表示磁盘读写速度，认为节点的磁盘读写速度高于v
max
最好，低于v
min
最差，v
max
和v
min
为预先设定的磁盘读写速度比对标准，则评估指标b1具体表示为；
[0049][0050]
其中网络传输延迟表示一个节点向另一个节点发出传输请求，请求得到回应的时间t，是衡量节点间网络拥塞及稳定程度的标准，不同节点的网络传输延迟的差别是很大的，因此，认为网络传输延迟越小的节点是越好的。
[0051]
进一步地，认为节点的网络传输延迟低于t
min
最好，高于t
max
最差，其中t
min
和t
max
都是预先设定的，则评估指标b2具体表示为：
[0052][0053]
其中，根据评估指标得到每个节点ci的具体综合评价值，综合评价值w具体表示为：
[0054][0055]
其中，n表示存储数据的节点数量，m表示评估指标的数量，k表示存储数据时经过的节点数量，f
ij
表示节点ci在评估指标b
j
中监测到的观测值，i为自然数。
[0056]
若综合评价值w大于指定阈值，则认为存储数据的节点能够进行节点的再生。
[0057]
作为另一个实施例，可选择节点a、b、c中任意一个节点进行多个节点的再生，直至节点a、b、c以及再生节点能够容纳接收的数据。在多个节点中选择一个符合条件的节点进行再生节点的再生。
[0058]
具体地，其中可根据多个评估指标进行符合条件的节点。例如选取磁盘读写速度以及网络传输延迟相对最高的节点作为符合条件的节点，从而令该节点进行节点的再生。
[0059]
步骤s150：进行有效路径的异常检测。
[0060]
具体地，异常检测为确定有效路径(或新的有效路径)的每一层节点(包括再生节点)的阻碍带宽的概率分布。
[0061]
其中，阻碍带宽是指带宽小于指定阈值的节点对应的带宽，对于系统节点来讲，阻碍带宽是对系统节点存储数据有着极大的限制的，因此，需要判断系统节点的阻碍带宽的概率分布。
[0062]
其中，系统节点中任意两个节点构成一条相连边，任意两个节点的相连边可以是同层两个节点相连的边，也可以是上下层节点相连的边。
[0063]
其中，边权重指相连的边的重要程度，由于带宽是衡量网络的重要性能指标，每个
节点的带宽表示该节点所能传输的最高数据率。因此在计算阻碍带宽的概率分布之前，还包括，预先获取每个节点的带宽，根据每个节点的带宽设置边权重。
[0064]
其中，由于相连的边对应两个节点，为了保证路径异常检测的有效性，选取带宽较小的节点作为确定边权重的节点。
[0065]
其中节点的带宽越大，则设置的边权重越大，节点的带宽越小，设置的边权重越小。
[0066]
值得注意的是，边权重虽然可设置，但是不能超过指定范围，工作人员需要在合理范围内进行边权重的设置。
[0067]
系统节点的阻碍带宽的概率分布f
(a:n)
(x)表示为：
[0068]
f
(a:n)
(x)＝n*f
n
‑
a
(x)[1
‑
f(x)]
a
‑1/(n
‑
a)(a
‑
1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(公式四)
[0069]
其中，n表示系统节点中相连边的数量，a表示根据预先设置的边权重大于指定阈值对应的相连边的数量，f(x)表示带宽小于指定阈值对应的节点落在系统指定区域的概率，f
n
‑
a
(x)表示除去n
‑
a条相连边后，剩余节点中带宽小于指定阈值对应的节点落在系统指定区域的概率。其中指定区域由工作人员设置。
[0070]
若阻碍带宽的概率分布大于指定概率，则说明具有阻碍带宽的节点的分布较为密集，可能会造成数据传输或存储时的错误，则异常检测不合格，执行步骤s160。否则异常检测合格，执行步骤s170。
[0071]
步骤s160：重新选取再生节点。
[0072]
其中，此时重新选取的再生节点不同于步骤s140中选取的节点，本步骤中为根据除存储数据的节点之前的节点进行节点的再生。即若将数据存储至节点a、b、c，则进行再生节点的节点为除了节点a、b、c外的任意的一个或多个节点。
[0073]
进一步地，若选取多个节点进行节点的再生，则依然需要根据公式三进行节点判断，以确定该节点是否符合能够进行节点再生的标准。
[0074]
步骤s170：将接收数据存储至有效存储路径中。
[0075]
实施例二
[0076]
如图2所示，本技术提供一种数据传输的处理系统，具体包括：接收单元210、构建单元220、第一存储单元230、路径确定单元240、异常检测单元250、选取单元260以及第二存储单元270。
[0077]
接收单元210用于接收数据。
[0078]
构建单元220与接收单元210连接，用于进行数据存储传输路径的构建。
[0079]
第一存储单元230与构建单元220连接，用于将数据存储至数据存储传输路径中。
[0080]
路径确定单元240与第一存储单元230连接，用于根据数据的存储，确定数据的有效存储路径。
[0081]
异常检测单元250与路径确定单元240连接，用于进行有效路径的异常检测。
[0082]
选取单元260与异常检测单元250连接，用于若异常检测不合格，则重新选取再生节点。
[0083]
第二存储单元270与异常检测单元250连接，用于若异常检测合格，将接收数据存储至有效存储路径中。
[0084]
本技术具有以下有益效果：
[0085]
本技术提供的数据传输的处理方法及处理系统能够在接收数据后，对数据的传输存储路径进行有效和高效的规划，并不断对该路径进行优化，保证了数据传输过程的可靠与安全性。
[0086]
虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本技术的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本技术的范围。
[0087]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。