一种跨数据中心数据传输节能优化方法及系统与流程

1.本发明涉及数据传输技术领域，尤其涉及一种跨数据中心数据传输节能优化方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.地理分布的云数据中心承载着海量的数据和多样化的应用。为了向全球用户提供丰富优质的云服务，诸多国际大型企业机构，如amazon、google以及microsoft等，越来越多地建设多个全球化数据中心，同时也带来跨数据中心的大量数据传输需求。例如网络搜索引擎、在线视频播放、容灾备份传输等服务，往往需要多个地理位置分散的数据中心参与。这种跨越多个数据中心的长距离、大数量的传输会产生巨大的能耗。
4.如果能有效降低云数据中心的能耗，就可以大大降低云数据中心运营成本，带来巨大的社会经济收益。当冷却设备节能问题通过自然冷却等技术解决之后，学术界和工业界将节能优化研究的方向指向了以网络转发节点为代表的网络单元。据统计，数据传输产生的交换和通信服务能耗约占云数据中心运行能耗的30％左右。如何减少传输过程中减少对网络转发节点的占用已经成为节能优化的一个重要研究方向。
5.发明人在研究中发现，跨数据中心大量数据传输的节能策略的高效性取决于对网络单元占用情况的优化，从空间维度(如，占用的网络转发节点数量)和时间维度(如，传输完成的时间)开展联合优化能够达到更好的节能效果。
6.已有的研究能够单方面地减少网络转发节点数量或缩短传输完成时间，但是不能确保对这两个指标的同时优化，节能效果尚存在改进的空间。


技术实现要素：

7.本发明为了解决上述问题，提出了一种跨数据中心数据传输节能优化方法及系统，本发明能够同时考虑最小化网络转发节点数量和最小化传输完成时间，能够进一步提高节能优化的效果。
8.根据一些实施例，本发明采用如下技术方案：
9.一种跨数据中心数据传输节能优化方法，包括：
10.获取数据传输任务和可用网络资源，将跨数据中心数据传输的节能优化归约为多目标优化问题；
11.根据每个目标的奖励向量，在双层强化学习中分别进行路径搜索和路径集选择，形成新的可行解；
12.根据得到的新的可行解，通过pareto近似集多个状态步更新以逼近最优解，得到跨数据中心数据传输节能优化解。
13.进一步地，所述多目标优化问题，将网络转发节点总数量的最小化归约为第一个
优化目标，将传输完成时间的最小化归约为第二个优化目标。
14.进一步地，所述双层强化学习包括内层强化学习，在路径搜索中提高节点共享度，并优先考虑剩余容量较大的链路。
15.进一步地，所述双层强化学习还包括外层强化学习，在路径集选择中减少占用网络转发节点的总数，并增加总传输流量。
16.进一步地，内层强化学习的路径搜索，包括，基于chebyshev标量化函数进行节点选择并更新路径集，为外层强化学习的路径集选择提供候选路径集。
17.进一步地，所述基于chebyshev标量化函数进行节点选择，包括使用chebyshev标量化函数标量化每一个候选下一跳节点的q值向量，根据每个状态-动作对的标量化q值计算每个动作的选择概率，采用伪随机比例规则选择动作以避免陷入局部最优。
18.进一步地，所述外层强化学习的路径集选择，包括，基于chebyshev标量化函数进行路径集选择，为pareto近似集多个状态步更新提供新的可行解。
19.一种跨数据中心数据传输节能优化系统，包括：
20.数据获取模块，被配置为，获取数据传输任务和可用网络资源，将跨数据中心数据传输的节能优化归约为多目标优化问题；
21.双层强化学习求解模块，被配置为，根据每个目标的奖励向量，在双层强化学习中分别进行路径搜索和路径集选择，形成新的可行解；
22.多目标优化模块，被配置为，根据得到的新的可行解，通过pareto近似集多个状态步更新以逼近最优解，得到跨数据中心数据传输节能优化解。
23.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种跨数据中心数据传输节能优化方法。
24.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种跨数据中心数据传输节能优化方法。
25.与现有技术相比，本发明的有益效果为：
26.本发明通过多目标优化问题归约、基于chebyshev标量化函数的节能路径搜索和节能路径集选择、pareto近似集多个状态步更新，得到更优的跨数据中心数据传输节能方案。同时考虑了最小化网络转发节点总数量和最小化传输完成时间，能够综合空间维度和时间维度进一步提高节能效果；分别设计了多目标的奖励向量来评估路径和路径集的节能效果，优化了路径搜索和路径集选择的动作；chebyshev标量化函数和伪随机比例规则简化了不同目标的权重选择过程，确保了能够稳定地得到较大超体积值的标量化权重元组；经过多个状态步不断地更新pareto近似集，能够逐渐地逼近最优解，最终获得更优的节能方案。
附图说明
27.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
28.图1是本实施例的流程图；
29.图2是本实施例的例子图；
30.图3是本实施例内层强化学习方法的流程图；
31.图4是本实施例内层强化学习方法的流程图。
具体实施方式：
32.下面结合附图与实施例对本发明作进一步说明。
33.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
34.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
35.实施例1.
36.如图1所示，一种跨数据中心数据传输节能优化方法，包括：
37.获取数据传输任务和可用网络资源，将跨数据中心数据传输的节能优化归约为多目标优化问题；
38.根据每个目标的奖励向量，在双层强化学习中分别进行路径搜索和路径集选择，形成新的可行解；
39.根据得到的新的可行解，通过pareto近似集多个状态步更新以逼近最优解，得到跨数据中心数据传输节能优化解。
40.具体的，
41.本实施例公开了基于多目标强化学习的跨数据中心数据传输的节能优化方法，将跨数据中心数据传输的节能优化归约为多目标优化问题，设计每个目标的奖励向量，在内层强化学习中进行节能路径搜索，在外层强化学习中进行节能路径集选择，不断更新pareto近似集来逼近最优解，得到在减少网络转发节点总数量、缩短传输完成时间、降低传输总能耗方面更优的跨数据中心数据传输方案。
42.多目标优化问题的归约：将网络转发节点数量最小化归约为第一个优化目标，将传输完成时间最小化归约为第二个优化目标，每个链路中的总流量不能超过最大链路容量，每个传输任务分配到的带宽不能低于完成传输任务的最小带宽，满足网络流量守恒。
43.网络转发节点总数量最小化：将所有传输任务占用的所有网络设备数量最小化。
44.传输完成时间最小化：根据数据量大小设置传输任务的带宽比例，在满足或逼近带宽比例的前提下寻找总流量最大化的分配方案。
45.每个目标的奖励向量：在内层强化学习中分别为每个目标设定奖励向量，提高节点共享度，优先考虑剩余容量较大的链路，在外层强化学习中分别为每个目标设定奖励向量，减少占用设备的总数，增加总传输流量。
46.在内层强化学习中分别为每个目标设定奖励向量：在第k步中节点共享度已确定的前提下设置第一个优化目标的奖励向量与第k 1步中节点共享度成正比，在第k步中链路剩余容量已确定的前提下设置第一个优化目标的奖励向量与第k 1步中链路剩余容量成正比。
47.在外层强化学习中分别为每个目标设定奖励向量：在第k步中占用设备的总数已确定的前提下设置第一个优化目标的奖励向量与第k 1步中占用设备的总数成反比，在第k步中总传输流量已确定的前提下设置第一个优化目标的奖励向量与第k 1步中总传输流量成正比。
48.在内层强化学习中进行节能路径搜索：对每一个传输任务，从源数据中心出发，基于chebyshev标量化函数进行下一个节点的选择，直到到达一个可用的目的数据中心为止，更新路径集合、网络状态、带宽分配，为外层强化学习的路径集选择提供候选路径集。
49.基于chebyshev标量化函数进行下一个节点的选择：使用chebyshev标量化函数标量化每一个候选下一跳节点的q值向量，根据每个状态-动作对的标量化q值计算每个动作的选择概率，采用伪随机比例规则选择动作以避免陷入局部最优。
50.在外层强化学习中进行节能路径集的选择：在每次迭代中，对所有的传输任务，基于chebyshev标量化函数进行下一个路径集的选择，直到达到最大迭代次数为止，得到一个新的节能传输的解，以供性能评估和pareto近似集更新。
51.基于chebyshev标量化函数进行下一个路径集的选择：使用chebyshev标量化函数标量化每一个路径集的q值向量，根据每个状态-动作对的标量化q值计算每个动作的选择概率，采用伪随机比例规则选择动作。
52.不断地更新pareto近似集来逼近最优解：经过迭代地执行多目标强化学习算法得到新的解，若新的解被pareto近似集中已存在的解所支配则丢弃该解，否则将该解加入pareto近似集并丢弃近似集中被该解所支配的那些解。
53.pareto近似集中存放的是迭代地执行算法后得到的非支配解；每个解包括传输路径集以及对传输任务的带宽分配；pareto近似集的作用是存放并不断更新非支配解，即，淘汰掉支配解，保留非支配解。
54.迭代地执行多目标强化学习算法：采用基于chebyshev标量化函数选择动作进入第k 1步后，通过贪婪算法预测第k 2步能获取的最大奖励值，从而更新q值函数，迭代执行上述步骤直到达到最大迭代次数；每次迭代都是一次求解的过程，通过迭代地执行算法，能够在多次执行中选择出最好的非支配解，从而尽可能逼近甚至得到最优解。
55.具体的，
56.如图1所示，网络转发节点数量和传输完成时间是影响跨数据中心大量数据传输节能效率的重要因素，相关研究没有同时对这两个指标进行优化，节能效果尚存在改进的空间。本发明公开了一种基于多目标强化学习的跨数据中心数据传输的节能优化方法，该方法包含的步骤主要为：将跨数据中心数据传输的节能优化归约为多目标优化问题，设计每个目标的奖励向量，在内层强化学习中进行节能路径搜索，在外层强化学习中进行节能路径集选择，不断更新pareto近似集来逼近最优解，最终实现减少网络转发节点总数量、缩短传输完成时间、降低数据传输总能耗。
57.具体的，
58.在如图2所示的拓扑结构上，考虑到网络转发节点数量最小化和传输完成时间最小化的优化目标，构建了跨数据中心数据传输的节能优化方法的实施例，实施描述如下：传输任务需要将15gb的数据从节点dci经过节点v1最终送达可用的目的数据中心dck或dcj中；连接节点的实线代表节点之间的可用链路，不同连线下方或右侧的数字分别代表该链路的
剩余可用带宽；在数据传输过程中，假设占用的网络转发节点数为n，每个节点被占用后产生的能耗功率为p，则经过传输完成时间t产生的能耗为n*p*t；在如图2所示的拓扑结构上，可供选择的传输路径有两条，分别是v1→
dcj和v1→
v2→
dck；在图2(a)所示的网络状态下，方案1仅以网络转发节点数量最小化为目标，选择v1→
dcj的传输路径，占用的网络转发节点数量为1，传输完成时间为12秒，产生的能耗为12p，若方案2增加对传输完成时间的考虑，选择v1→
v2→
dck的传输路径，占用的网络转发节点数量为2，传输完成时间为4.8秒，产生的能耗为9.6p，对比可知，尽管方案2在网络转发节点数量最小化的优化上不如方案1，但是前者的产生的传输能耗更低；在图2(b)所示的网络状态下，方案1仅以传输完成时间最小化为目标，选择v1→
v2→
dck的传输路径，占用的网络转发节点数量为2，传输完成时间为8秒，产生的能耗为16p，若方案2增加对占用的网络转发节点数量的考虑，选择v1→
dcj的传输路径，占用的网络转发节点数量为1，传输完成时间为12秒，产生的能耗为12p，对比可知，尽管方案2在传输完成时间最小化的优化上不如方案1，但是前者的产生的传输能耗更低；由此可见，在数据传输的节能优化上，针对网络转发节点数量或传输完成时间的单目标优化往往是片面的，综合考虑这两个指标开展多目标优化能够得到更好的节能优化解决方案。
59.如图3所示，该方法的内层强化学习包含的步骤主要为：将pareto近似集和q值表分别初始化为空集和0，迭代执行强化学习算法获取逼近最优解的pareto近似解集；在每一次强化学习算法的迭代执行中，首先在给定数量的状态步中，针对下一个节点的备选集，依次执行标量化q值向量、基于伪随机比例规则选择下一个节点、更新目标的奖励向量、更新q值函数，执行完状态步后获得所有任务的传输路径；为所有传输任务寻找路径和分配带宽，得到一个包含了所有任务的传输路径的候选路径集；迭代执行强化学习算法结束后，得到多个候选路径集，进入外层强化学习的路径集选择。方法结束。
60.如图4所示，该方法的外层强化学习包含的步骤主要为：将pareto近似集和q值表分别初始化为空集和0，迭代执行强化学习算法获取逼近最优解的pareto近似解集；在每一次强化学习算法的迭代执行中，首先按照数据量的降序对传输任务进行排序，然后在给定数量的状态步中，针对内层强化学习提供的多个备选路径集，依次执行标量化q值向量、基于伪随机比例规则选择路径集、更新目标的奖励向量、更新q值函数，执行完状态步后获得新的解；评估新的解，必要时更新pareto解集；迭代执行强化学习算法结束后，得到跨数据中心数据传输节能优化的解。方法结束。
61.实施例2.
62.一种跨数据中心数据传输节能优化系统，包括：
63.数据获取模块，被配置为，获取数据传输任务和可用网络资源，将跨数据中心数据传输的节能优化归约为多目标优化问题；
64.双层强化学习求解模块，被配置为，根据每个目标的奖励向量，在双层强化学习中分别进行路径搜索和路径集选择，形成新的可行解；
65.多目标优化模块，被配置为，根据得到的新的可行解，通过pareto近似集多个状态步更新以逼近最优解，得到跨数据中心数据传输节能优化解。
66.实施例3.
67.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行本实施例提供的一种跨数据中心数据传输节能优化方法。
68.实施例4.
69.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行本实施例提供的一种跨数据中心数据传输节能优化方法。
70.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
71.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
72.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
73.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
74.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
75.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。