一种基于网络编码的数据备份方法与流程

1.本发明属于数据存储领域，具体涉及一种基于网络编码的数据备份方法。


背景技术：

2.根据国际知名数据公司idc的统计报告，在线应用产生的用户数据呈现爆发式增长。从2020年开始人类产生的数据每两年增加一倍，企业数据每6到9个月翻一番，预计至2025年将会产生175zb数据。云存储系统作为可以提供廉价数据存储服务的方案，被广泛应用于当前在线应用中，用于存储用户数据。在传统的云存储系统中，由于所有的用户数据被存储在同一个云服务提供商，当云存储节点失效或被黑客攻破时容易发生数据丢失和泄露问题。
3.云际存储系统作为一种高效的在线存储解决方案被用于保证存储数据的可靠性和安全性。通过将用户数据加密、编码并存储到多个云存储节点，云际存储系统可以在云际存储节点失效时恢复出原始的用户数据。当部分云存储节点被黑客攻破时，云际存储系统通过加密用户数据可以保证不会出现用户数据泄露的情况。
4.为了保证云端数据的可靠性，云服务系统通常需要将大量用户数据定期备份到另外的在线存储系统。然而，云际存储系统难以保证在线业务系统数据备份操作的性能。在云际存储系统备份过程中需要传输大量数据时，由于不同云存储节点之间需要通过互联网传输数据，由于网络带宽资源有限，通常需要消耗较多时间，引起较大数据备份时延。如何设计高效的数据传输机制来减少数据备份过程中数据传输开销成为一个亟待解决的问题。
5.针对云际存储系统数据备份操作消耗时间较长的问题，需要设计一种能够解决上述问题的方法。


技术实现要素：

6.本发明是为了解决上述问题而进行的，目的在于提供一种基于网络编码的数据备份方法。
7.本发明提供了一种基于网络编码的数据备份方法，具有这样的特征，包括如下步骤：步骤1，确定云存储点之间的可用网络带宽和编码参数；步骤2，根据可用网络带宽以及编码参数对用户云网络流量以及备份云网络流量进行决策，得到初始云候选合集以及网络编码过程中使用的编码组集合；步骤3，采用网络编码机制，并根据编码组集合将用户云数据备份到云际存储系统。
8.在本发明提供的基于网络编码的数据备份方法中，还可以具有这样的特征：其中，步骤2中的用户云网络流量决策包括如下子步骤：步骤s2
‑
1，根据编码参数，计算用户云需要上传到备份云的最小传输数据量；步骤s2
‑
2，根据用户云到备份云的可用网络带宽，计算在最小传输数据量的情况下用户云完成数据备份过程需要的最小上传时间；步骤s2
‑
3，在用户云的最小上传时间不变的前提下，增加用户云上传到备份云的数据量；步骤s2
‑
4，对于每个条带，根据需上传备份云的数据量，生成初始云候选集合，步骤2中的备份云网络流量
决策包括如下子步骤：步骤t2
‑
1，对每个条带，根据备份云之间的可用网络带宽和初始云候选集合为每个后继云分配初始云，保证单个后继云使用最小时间生成校验数据；步骤t2
‑
2，当多个后继云有相同的初始云时，检查通过后继云之间交换数据是否降低了数据备份操作消耗的时间，当判断为降低时，则将多个后继云归并为编码组，允许该编码组内的后继云交换数据，用于减少数据备份时间，否则保持原传输方案不变；步骤t2
‑
3，扫描所有条带，根据初始云和后继云的归并结果，生成网络编码过程中使用的编码组集合。
9.在本发明提供的基于网络编码的数据备份方法中，还可以具有这样的特征：其中，步骤3包括用户云数据编码传输过程和备份云网络编码传输过程。
10.在本发明提供的基于网络编码的数据备份方法中，还可以具有这样的特征：其中，用户云数据编码传输过程具体包括如下子步骤：步骤s3
‑
1，采用数据加密算法对待存储的用户消息进行加密，得到加密信息；步骤s3
‑
2，根据用户云和备份云之间的可用网络带宽和云际存储系统的编码参数，生成云存储节点之间需要传输的网络流量和编码组集合；步骤s3
‑
3，根据编码规则和编码组集合，对加密消息进行编码，生成分片数据和包数据；步骤s3
‑
4，根据网络流量和编码组集合，用户云将分片数据和包数据上传到备份云。
11.在本发明提供的基于网络编码的数据备份方法中，还可以具有这样的特征：其中，步骤s3
‑
1中的数据加密算法采用anot加密算法。
12.在本发明提供的基于网络编码的数据备份方法中，还可以具有这样的特征：其中，备份云网络编码传输过程具体包括如下子步骤：步骤t3
‑
1，对于给定的条带，备份云根据从用户云接收的编码组集合，明确在网络编码过程所需执行的网络编码操作；步骤t3
‑
2，判断备份云的云类型，当备份云为初始云时，则根据编码组集合的信息，初始云从用户端接收包数据，而后根据网络编码规则，将接收到的包数据转发给本组内的后继云，当备份云为后继云时，则后继云从同组内的初始云下载包数据，而后根据网络编码规则，计算生成校验数据，并与本组内的其他后继云节点交换校验数据，接着将编码的数据和接收的数据合并，生成本条带内的校验数据，从而完成本条带内所有备份云的网络编码操作；步骤t3
‑
3，重复步骤t3
‑
1和t3
‑
2，完成所有条带内所有备份云的网络编码操作，得到各个条带内的校验数据，并对其进行合并，得到分片数据。
13.发明的作用与效果
14.本发明的基于网络编码的数据备份方法针对云际存储系统中数据备份过程需要消耗较多时间的问题，引入了网络编码方案来加速数据备份过程；为了将用户云的数据快速地传输到多个备份云，本发明可根据云际存储系统的可用网络带宽，提出了基于网络编码的数据备份方法来调整云存储节点之间传输的数据量；为了保证提出的算法可以兼容各种云际存储系统，本发明构建了一种高效的数据编码方法，在不改变云际存储系统编码规则的情况下执行网络编码操作；另外，通过将网络编码的传输数据分成多个条带和编码组，并允许云存储节点之间交换数据，本方法可以充分利用云存储节点之间的网络资源，而后在此基础上，将云存储节点划分为初始云和后继云，通过本方法有效地控制传输数据的节点路由。
15.因此，本发明设计了高效的网络编码方案，兼容各种数据编码策略，根据云存储节点之间的网络带宽进行调节，从而充分利用云存储节点之间的网络带宽资源，可应用于云际存储系统，以减少网络链路带宽瓶颈对数据备份操作性能的影响，提升在线云服务系统
执行大数据量备份操作的效率。
附图说明
16.图1是本发明的基于网络编码的数据备份方法的用户云网络流量决策过程的流程图；
17.图2是本发明的基于网络编码的数据备份方法的备份云之间网络流量决策过程的流程图；
18.图3是本发明的基于网络编码的数据备份方法的数据备份过程的流程图；
19.图4是本发明的实施例中分布式存储系统瓶颈链路中云存储节点之间的网络拓扑的示意图；
20.图5是本发明的实施例中分布式存储系统瓶颈链路中传统云际存储系统数据备份方法示意图；
21.图6是本发明的实施例中分布式存储系统瓶颈链路中基于网络编码的数据备份方法示意图；
22.图7是本发明的实施例中数据备份过程中条带和编码组决策示例中条带和编码组的关系示意图；
23.图8是本发明的实施例中数据备份过程中条带和编码组决策示例中编码组内网络编码执行过程的示意图。
具体实施方式
24.为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
25.本发明提供一种基于网络编码的数据备份方法，包括如下步骤：
26.步骤1，确定云存储点之间的可用网络带宽和编码参数。
27.步骤2，根据可用网络带宽以及编码参数对用户云网络流量以及备份云网络流量进行决策，得到初始云候选合集以及网络编码过程中使用的编码组集合。
28.如图1所示，本发明中的用户云网络流量决策包括如下子步骤：
29.步骤s2
‑
1，根据编码参数，计算用户云需要上传到备份云的最小传输数据量；
30.步骤s2
‑
2，根据用户云到备份云的可用网络带宽，计算在最小传输数据量的情况下用户云完成数据备份过程需要的最小上传时间；
31.步骤s2
‑
3，在用户云的最小上传时间不变的前提下，增加用户云上传到备份云的数据量；
32.步骤s2
‑
4，对于每个编码组，根据需上传备份云的数据量，生成初始云候选集合。
33.以下将条带内接收来自用户端数据的云称为初始云，接收来自其他云存储节点数据的云称为后继云。
34.如图2所示，本发明中的备份云网络流量决策包括如下子步骤：
35.步骤t2
‑
1，对每个编码组，根据备份云之间的可用网络带宽和初始云候选集合为每个后继云分配初始云，保证单个后继云使用最小时间生成校验数据；
36.步骤t2
‑
2，当多个后继云有相同的初始云时，检查通过后继云之间交换数据是否
降低了数据备份操作消耗的时间，当判断为降低时，则将多个后继云归并为编码组，允许该编码组内的后继云交换数据，用于减少数据备份时间；
37.步骤t2
‑
3，扫描所有条带，根据初始云和后继云的归并结果，生成网络编码过程中使用的编码组集合。
38.步骤3，采用网络编码机制，并根据编码组集合将用户云数据备、份到云际存储系统。
39.如图3所示，本发明中的步骤3包括用户云数据编码传输过程和备份云网络编码传输过程。
40.具体地，用户云数据编码传输过程具体包括如下子步骤：
41.步骤s3
‑
1，采用数据加密算法对待存储的用户消息进行加密，得到加密信息，其中，数据加密算法采用anot加密算法即all or nothing加密算法；
42.步骤s3
‑
2，根据用户云和备份云之间的可用网络带宽和云际存储系统的编码参数，生成云存储节点之间需要传输的网络流量和编码组集合；
43.步骤s3
‑
3，根据编码规则和编码组集合，对加密消息进行编码，生成分片数据和包数据；
44.步骤s3
‑
4，根据网络流量和编码组集合，用户云将分片数据和包数据上传到备份云。
45.同时，备份云网络编码传输过程具体包括如下子步骤：
46.步骤t3
‑
1，对于给定的条带，备份云根据从用户云接收的编码组集合，明确在网络编码过程所需执行的网络编码操作；
47.步骤t3
‑
2，判断备份云的云类型，当备份云为初始云时，则根据编码组集合的信息，初始云从用户端接收包数据，而后根据网络编码规则，将接收到的包数据转发给本组内的后继云，当备份云为后继云时，则后继云从同组内的初始云下载包数据，而后根据网络编码规则，计算生成校验数据，并与本组内的其他后继云节点交换校验数据，接着将编码的数据和接收的数据合并，生成本条带内的校验数据，从而完成本条带内所有备份云的网络编码操作；
48.步骤t3
‑
3，重复步骤t3
‑
1和t3
‑
2，完成所有条带内所有备份云的网络编码操作，得到各个条带内的校验数据，并对其进行合并，得到分片数据。
49.本发明可以有效地提升在线云服务提供商将数据备份到云际存储系统的效率，可部署到以下在线服务应用场景：
50.(1)高可靠云际存储备份场景。在需要高可靠性的在线服务场景下，需要在给定的时间内完成数据备份操作。通过部署本发明提出的基于网络编码的数据备份方法，在线应用服务提供商可以有效地控制数据备份操作消耗的时间，从而保证存储数据的可靠性和效率。
51.(2)大数据量云际存储备份场景。当前在线应用会生成大量的用户数据，将这些数据备份到云际存储系统通常需要消耗较长的时间。本发明提出的基于网络编码的数据备份方法可以充分利用有云存储节点之间的网络带宽，减少执行数据备份操作所消耗的时间，提升在线应用服务的可用性。
52.实施例：
53.用户云需要将数据备份到云际存储系统，包括k＝2个备份云存储数据分片和m＝2个备份云存储校验分片。图4
‑
图6展示了在云际存储系统中各种数据备份方法的执行过程。
54.图4展示了一个包含一个用户云和四个备份云的云际存储系统。用户云需要备份m字节文件到备份云。图5展示了当前云际存储系统采用的数据备份方法。用户云将数据切分成数据分片a和数据分片b，编码生成校验分片a b和校验分片a 2*b。每一个分片大小为字节数据。在这个例子中，云际存储系统需要秒来完成数据备份操作。
55.通过分析上述数据备份过程可以发现，数据备份操作受到节点之间的瓶颈带宽的影响。为了保证数据备份操作的执行效率，本实施例提出基于网络编码的数据备份方法来充分利用云存储节点之间的网络带宽资源。图6展示了本方法的执行过程。
56.首先，用户云将数据分片a分成包a1和包b2校验分片a 2*b分成包a1 2*b1和包a2 2*b2。其中，每个包大小为字节。当云存储节点收到数据分片b切分为包b1和包b2，校验分片a b切分成包a1 b1和a2 b2。通过云存储节点之间通过交换包b1和a1 b1，云际存储系统可以生成分片a和a 2*b。在这个例子中，云际存储系统仅需要秒就可以完成数据备份操作。相较于传统数据备份方法，本实施例可减少一半的备份时间。
57.由上述例子可知，通过调整节点之间传输的数据量，基于网络编码的数据备份方法可以有效地减少数据备份时间。为了高效地决策云存储节点之间的网络流量并构建网络编码，根据云存储节点中分片的编码关系，本实施例将待编码的包分成了多个条带和编码组集合，并将云存储节点分为初始云和后继云。
58.图7和图8展示了图4
‑
图6的例子中基于网络编码的数据备份方法决策网络流量的过程。图7展示了图4
‑
图6示例中涉及到的条带和编码组。这里将存在编码关系的一组包称为一个条带。在给定条带中，云存储节点会根据网络编码规则交换组内的包编码生成需要的校验数据。
59.与此同时，基于网络编码的数据备份方法定义了初始云和后继云来描述网络编码过程的数据传输操作。图8展示了编码组g1和编码组g2执行网络编码操作的过程。本实施例将编码组内接收来自用户端数据的云称为初始云，接收来自其他云存储节点数据的云称为后继云。对条带1来说，备份云c2和备份云c3为初始云，备份云c1和备份云c4为后继云。对于每一个条带而言，后继云需要至少接收k＝2个初始云的数据来生成校验数据。
60.实施例的作用与效果
61.根据上述实施例可知，本发明通过云存储节点之间的网络带宽，同时基于网络编码的数据备份方法需要决定用户云上传到备份云的数据量和备份云之间传输的数据量。
62.进一步地，由于用户云需要决策编码生成包发送到各个云存储节点，云际存储系统需要生成用户云发送到各个备份云的包数量。用户云会根据可用网络带宽和分片切分包的数量计算用户云到备份云为了完成数据备份操作传输包数据所需的最小时间。为了充分利用用户云到备份云之间的网络带宽，在不增加上传时间的前提下，用户云会上传尽可能多的包到备份云。
63.在此基础上，备份云之间需要交换数据生成校验分片。根据编码规则，将为每个后继云分配初始云，最小化每个后继云的校验数据生成时间。由于后继云之间可以通过交换数据减少网络带宽的消耗量，需要进一步归并后继云来加速数据备份操作的执行效率。在后继云有相同的初始云且可以通过交换数据减少数据备份时间的情况下，云际存储系统存
储将归并后继云来生成编码组。
64.进一步地，根据云存储节点之间的网络流量方法，云际存储系统执行网络编码方法来生成校验数据。根据可用带宽资源和编码信息，在用户云计算编码组信息，并编码用户数据，将组信息和编码后的用户数据上传到备份云。对给定的条带，备份云可以作为初始云或后继云执行网络编码过程，而后根据从用户云收到的分组信息，备份云将执行对应的网络编码操作。当作为初始云时，备份云接收来自用户云的编码数据，并将这些接收到的数据转发给后继云。当作为后继云时，备份云接收来自其他云存储节点的数据，并根据编码规则生成校验数据。当云际存储系统完成所有条带的编码操作后，备份云根据编码结果生成分片，并存储到本地存储设备。
65.综上，本发明的基于网络编码的数据备份方法针对云际存储系统中数据备份过程需要消耗较多时间的问题，引入了网络编码方案来加速数据备份过程；为了将用户云的数据快速地传输到多个备份云，本发明可根据云际存储系统的可用网络带宽，提出了基于网络编码的数据备份方法来调整云存储节点之间传输的数据量；为了保证提出的算法可以兼容各种云际存储系统，本发明构建了一种高效的数据编码方法，在不改变云际存储系统编码规则的情况下执行网络编码操作；另外，通过将网络编码的传输数据分成多个条带和编码组，并允许云存储节点之间交换数据，本方法可以充分利用云存储节点之间的网络资源，而后在此基础上，将云存储节点划分为初始云和后继云，通过本方法有效地控制传输数据的节点路由。
66.因此，本发明设计了高效的网络编码方案，兼容各种数据编码策略，根据云存储节点之间的网络带宽进行调节，从而充分利用云存储节点之间的网络带宽资源，可应用于云际存储系统，以减少网络链路带宽瓶颈对数据备份操作性能的影响，提升在线云服务系统执行大数据量备份操作的效率。
67.上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。