一种基于深度增强学习的数据中心网络传输方法与流程

1.本发明涉及数据中心网络技术领域，具体为一种基于深度增强学习的数据中心网络传输方法。


背景技术：

2.近年来，随着互联网服务呈现井喷式增长，支撑互联网的物理基础设施的数据中心也保持蓬勃发展。数据中心网络中服务器通过存储大量数据，协作进行密集计算，向外提供多样的互联网服务。因此，数据中心网络的传输性能成为影响服务质量的关键。数据中心网络在传输模式、业务流量等方面具有独有的特点，包括高带宽低延迟、普遍存在的多对一传输模式、长短流混合等。此外，数据中心网络还需要支撑多种长短流数据应用的请求响应服务。上述独有的特点以及业务需求给数据中心网络传输带来了新的挑战。如何为数据中心网络不同的数据流提供低时延响应的数据传输服务至关重要，尤其是在重负载网络和短数据流服务方面，现有的数据中心网络传输协议不能适应于此类场景。
3.数据中心网络的传输性能是学术界、企业界网络建设关注的重要问题，也是大数据、云计算、虚拟化技术发展建设的关键技术。近年来，几乎所有的数据中心网络现有工作都集中在高负载、大数据包传输协议的研究上，包括tcp(transmission control protocol传输控制协议)协议改进协议以及很多新型协议，尚未有协议研究数据传输报文的大小对协议性能的影响，大多数协议的传输报文大小都在100kbyte左右，数据的传输时延也在毫秒级。对于微秒级的短时延协议研究还有所欠缺。例如dctcp(data center tcp数据中心传输控制协议)协议，采用非常简单的主动队列管理机制，当队列占用超过某一阈值k时，到达的数据包被标记上ce(congestion experience拥堵体验)标志。dctcp协议精确传达哪个数据包经历了拥塞。在发送端会对数据包被标记的概率进行估计，每经历一个rtt(round
‑
trip time往返时间)更新一次，该值也相当于估计了队列缓存大于阈值的概率，该阈值被用于拥塞窗的大小的调整。
4.当前有很多数据中心网络传输协议，例如hull(high
‑
bandwidth ultra
‑
low latency高带宽低延迟)、pdq(preemptive distributed quick抢占式分布式快速)、ndp(neighbor discovery protocol邻居发现协议)协议，这些协议通过建立队列限制机制，但都无法消除大量的排队时延。较新的ndp协议通过严格控制队列中数据包不超过8个数据包，来实际时延控制。这种机制对于一般大于50微秒rtt、数据包大小为100kbyte的网络较为适用，但对于rtt低于50微秒的低时延数据中心网络会增加了资源竞争，无法有效利用带宽。因此随着数据量的持续增长，如何切分数据发送报文的大小，如何提供低时延传输以及较小的数据流完成时间具有重要意义。


技术实现要素：

5.针对上述问题，本发明的目的在于提供一种基于深度增强学习的数据中心网络传输方法，能够突破低时延数据传输的这一关键技术，为数据中心网络中增长的数据传输量
提供更好的技术支撑。技术方案如下：
6.一种基于深度增强学习的数据中心网络传输方法，所述方法基于失序偏移的低时延数据传输协议sue，包括以下几个部分：
7.a：sue协议基于req发送请求全局唯一标识的数据包，req的请求能够同时发送多个数据包请求，再由多个发送端进行发送；
8.b：每个发送端包括发送高优先级数据和发送低优先级数据的两部分，同一服务器里的多个发送端自适应的调整并发数据量的数量；
9.c：客户端第一次接收数据后保存数据失序偏移进行判断，在服务器端进行高优先级数据发送及重传控制，低优先级数据队列只进行低优先级数据发送，不进行数据重传；
10.d：数据中心应用程序中，服务器拥有大量客户端，保留在服务器上的状态，由请求的数量及发送端判断的网络状态决定。
11.进一步的，b部分中所述多个发送端自适应的调整并发数据量的数量具体为：
12.基于深度增强学习制定报文大小调整策略，快速收敛到各类数据流的最佳发送报文大小；深度增强学习是根据策略进行选择的动作，定义系统策略为：
13.π(s,a):s
×
a
→
[0,1]
[0014]
式中，
→
前后表示状态
‑
动作对应的概率映射；s是状态空间；a是动作空间；π(s,a)表示在状态s中可能选择动作a的概率；[0,1]表示策略分布区间；
[0015]
采用策略函数进行逼近，以使增强学习拥有泛化能力，利用有限的学习经验、记忆完成大范围空间有效知识的获取与表示；策略梯度算法为直接逼近的优化策略，其表达式为：
[0016][0017]
式中，γ
t
是t时刻的折扣因子；r
t
表示奖励函数；表示优化的预期回报值；q
πθ
(s,a)表示根据策略π
θ
在状态s时选择动作a所获得的累积折扣奖励；θ表示观察值；t表示时刻。
[0018]
更进一步的，所述部分c中所说数据失序偏移的策略如下：
[0019]
当接收端数据收到发生失序的数据包时，接收端监控数据是否是重传数据，记录所有失序的偏移量，利用k
‑
means聚类算法进行多因素聚类，将n个对象间的相似聚类到指定的k个类中，每个对象到每个聚类中心的欧式距离为：
[0020][0021]
其中，x
i
是数据样本，c
j
表示每个聚类的中心；每个对象都具有m个维度的属性，x
in
表示数据样本x
i
第n个维度的属性，c
jn
表示聚类中心c
j
第n个维度的属性；
[0022]
k
‑
means算法用中心定义了类簇的原型，类簇中心就是类簇内所有对象在各个维度的均值，其计算公式如下：
[0023][0024]
其中，s
l
为第l个类簇中对象的集合，|s
l
|表示第l个类簇中对象的个数，x
i
表示第l个类簇中第i个对象；
[0025]
对于被判定为拥塞的数据包，当拥塞程度超过一定阈值时，接收方返回ack，发送端采用低优先级重传数据方案，当拥塞程度小于阈值时，则不需要重传数据，接收端不返回ack；判定为丢包的数据，发送端采用高优先级数据传输方案。
[0026]
本发明的有益效果是：本发明通过利用应用层最关注的数据传输完成时间，采用深度增强学习算法分析高负载网络中的数据报文大小与数据流尾部数据完成时间的关系建立模型，分析多对一传输模式与丢包数据之间的关系，采用基于聚类的数据失序偏移算法建立数据重传机制，提出了一种新型低时延传输协议sue，使数据传输时延尽可能的接近硬件延迟；该方法不影响现有数据传输的性能，保证良好的公平性，同时有效减少数据流传输时延，提升了数据流的平均完成时间，为现有数据中心网络中数据传输的指数级增长提供了实时响应的保障。
附图说明
[0027]
图1为当前各数据中心网络报文大小分布；w1 facebook分布式服务器，w2 google搜索引擎，w3 google数据中心网络，w4 facebook hadoop集群，w5基于dctcp的web搜索。
[0028]
图2为sue协议整体流程框架。
具体实施方式
[0029]
下面结合附图和具体实施例对本发明做进一步详细说明。本发明针对数据中心网络中数据流分析与传输模型建立这一核心问题，围绕数据中心网络低时延的长短流数据传输协议进行研究，提出包括：建立基于深度增强学习算法的长短数据流分布特点与协议性能模型，提出incast问题对传输协议的影响模型，提出基于失序偏移的低时延数据传输协议sue。通过突破低时延数据传输的这一关键技术，为数据中心网络中增长的数据传输量提供更好的技术支撑。
[0030]
sue协议的目标是在高负载网络中，为数据中心网络长短数据流提供可靠、低时延的数据传输。当前数据中心网络中有大量的超短报文消息，很多应用层的请求响应报文都利用短报文消息进行数据传输，如何既让这些短消息在高负载网络中能获得微秒级的时延，同时也能让大数据包、长数据流进行高效传输，使长短数据流能公平竞争，是sue协议研究的关键问题。其中，使短数据流百分位九十以上的尾部消息都能达到低时延传输是一个难点，也是数据中心网络中应用层最注重的指标。在高负载网络中，现有的传输协议也无法保证尾部消息的时延效率，尤其是在硬件时延在数微秒级的网络中。下面介绍sue协议在数据中心网络传输中主要的贡献：
[0031]
首先，研究数据包大小对数据传输时延的影响对数据中心网络传输具有重要的影响意义。本发明通过分析大量的数据中心网络传输数据，利用深度增强学习算法，根据不同的发送数据大小，研究发送端最佳的发送报文大小，以保证发送数据的时延最小。当数据较
大时，如果采用过小的数据包，则会造成数据包头部总量较大，增加链路负荷。如图1所示，google和facebook的数据中心网络85％以上的数据都小于1000字节，采用过大的数据包，则会导致incast丢包重传问题，因此当数据较小时，应合理的采用小数据包进行发送，以使时延最小化。
[0032]
其次，课题通过分析多对一传输模式与丢包数据之间的关系，采用基于聚类方案，分析传输失序数据和incast丢包数据成因，在数据接收端自适应地生成确认反馈机制。通过此方案，来有效减少数据包重复重传问题，相较现有可靠传输协议的重复ack和超时重传机制，能有效减少数据包的无意义重传。
[0033]
最后，课题基于以上模型研究，提出一种新型数据中心网络传输方案sue。除了以上模型，sue与tcp协议不同之处在于，sue是基于消息和流混合模式的协议。与此同时，sue还包括其它几个方面的协议优化，为了有效减少较小数据包的传输时延，sue协议去除了tcp协议的三次握手机制，并基于多个发送端进行数据发送，每个发送端都会基于高优先级数据流和低优先级数据流进行同时发送。发送端采用最有利于减少时延的报文大小，并根据网络的状况，数据会分为需返回ack的数据和低优先级数据。当接收端收到失序报文后，根据数据失序偏移的判定结果，进行选择性的ack确认返回，选择性进行报文重传。
[0034]
sue协议整体流程框架如图2所示，不同于传统tcp，sue协议不是面向连接的协议，而是基于消息和流的混合模式协议。sue基于req发送请求全局唯一标识的数据包，req的请求能够进行并发执行，即相当于可同时发送多个数据包请求，再由多个发送端进行发送。每个发送端包括两个部分，一部分发送高优先级数据流，另一部分发送低优先级数据，其中，高优先级数据需要类似于窗口式的ack确认机制，而低优先级数据不需要ack对接收数据进行确认。同一服务器里的多个发送端也会自适应的调整并发数据量的数量。
[0035]
在客户端向服务器发起req之前，不需要设置状态或连接，在客户端第一次接收数据后保存数据失序偏移进行判断，在服务器端进行高优先级数据发送及重传控制，而低优先级数据队列只进行低优先级数据发送，不进行数据重传。在数据中心应用程序中，服务器可以拥有大量客户端；例如，google数据中心的服务器通常有数十万个开放连接。sue的无连接方法意味着保留在服务器上的状态由请求的数量及发送端判断的网络状态决定。
[0036]
基于深度增强学习的报文大小调整策略：
[0037]
数据中心网络是一个基础设施网络已部署较为完善的场景，因此对这个场景不断的学习判断具有重要意义。深度增强学习考虑的问题就是发送端与网络场景交互任务的情形，当发送端在未知环境中，要根据探测数据和反馈来调整自己的行为，从而使积累的反馈数据最大。深度增强学习是根据策略进行选择的动作，定义系统策略为：
[0038]
π(s,a):s
×
a
→
[0,1]
[0039]
式中，
→
前后表示状态
‑
动作对应的概率映射；s是状态空间；a是动作空间；π(s,a)表示在状态s中可能选择动作a的概率；[0,1]表示策略分布区间；
[0040]
上述公式是一个状态
‑
动作对应的概率映射，在解密网络状态实际问题时，状态与动作映射非常多，要求增强学习拥有泛化能力，利用有限的学习经验、记忆完成大范围空间有效知识的获取与表示，因此，本发明采用策略函数进行逼近。策略梯度算法是直接逼近的优化策略，其表达式为：
[0041][0042]
式中，γ
t
是t时刻的折扣因子；r
t
表示奖励函数；表示优化的预期回报值；q
πθ
(s,a)表示根据策略π
θ
在状态s时选择动作a所获得的累积折扣奖励；θ表示观察值；t表示时刻。
[0043]
有研究表明，经典的tcp incast问题，对于小数据量，减少包大小比减小拥塞窗口能更有效降低tcp incast概率，因此，sue协议利用增强学习算法快速收敛到各类数据流的最佳发送报文大小。
[0044]
基于聚类的失序偏移分析策略：
[0045]
当接收端数据收到发生失序的数据包时，接收端监控数据是否是重传数据，记录所有失序的偏移量，利用k
‑
means聚类算法进行多因素聚类，将n个对象间的相似聚类到指定的k个类中，每个对象到每个聚类中心的欧式距离为：
[0046][0047]
其中，x
i
是数据样本，c
j
表示每个聚类的中心；每个对象都具有m个维度的属性，x
in
表示数据样本x
i
第n个维度的属性，c
jn
表示聚类中心c
j
第n个维度的属性；
[0048]
k
‑
means算法用中心定义了类簇的原型，类簇中心就是类簇内所有对象在各个维度的均值，其计算公式如下：
[0049][0050]
其中，s
l
为第l个类簇中对象的集合，|s
l
|表示第l个类簇中对象的个数，x
i
表示第l个类簇中第i个对象。
[0051]
对于被判定为拥塞的数据包，当拥塞程度超过一定阈值时，接收方返回ack，发送端采用低优先级重传数据方案，当拥塞程度小于阈值时，则不需要重传数据，接收端不返回ack；判定为丢包的数据，发送端采用高优先级数据传输方案。
[0052]
低优先级数据传输：
[0053]
sue协议利用发送低优先级数据尽可能的利用链路剩余带宽，可根据不同的网络状态自适应的调整小报文发送从而利用剩余带宽，同时不干扰高优先级数据流的传输效率，不给网络瓶颈链路增加过多的额外时延开销。该方法首先通过网络更新参数估计瓶颈链路排队情况和网络拥塞程度，再利用网络吞吐量与负载关系评估当前网络状态，最后，使用自适应低优先级速率控制策略在不同拥塞级别实现高带宽利用率和低优先级属性。