一种自适应的数据中心网络传输协议选择方法

1.本发明属于流量控制或拥塞控制技术领域，特别是涉及一种数据中心网络传输协议选择方法。


背景技术：

2.随着实时音视频，电子商务，在线游戏，股票交易，虚拟现实等互联网业务的增长，对于数据中心网络的时延性能要求越来越高，从过去的秒级转变为现在的微秒级。时延直接影响用户的满意度，从而影响企业的收入。因此设计一种低时延的数据中心拥塞控制方案成为数据中心网络中的热点问题。
3.对于数据中心网络的拥塞控制问题，近年来涌现了大量的解决方法。被动式拥塞控制(reactive congestion control，rcc)方案需要试探链路状况，向网络中盲发数据，然后根据拥塞信号调整速率。例如，dctcp根据标记ecn的数据包的比例调整发送窗口；timely根据精确测量的往返时延(round-trip time，rtt)调整发送速率。但是这是一种事后调节方法，即调速时已经出现交换机队列堆积，甚至丢包等情况，这严重地影响了网络的时延。
4.主动式拥塞控制(proactive congestion control，pcc)在中央控制器或接收端根据全局或本地流信息主动地分配带宽。例如，fastpass在中央控制器根据全局流信息为每个数据包决策合适的发送时间路径；expresspass的接收端根据链路状况向发送端发出信用包，并且利用交换机的漏桶算法，限制了信用包的数量，从而反向控制数据包在网络中的数量。但是拥有流信息的全局或本地视图是需要付出代价的，至少需要一个rtt的调度时间开销。一个rtt的时间对于大流来说可以容忍，但是对于占数据中心网络大多数的小流来说是致命的，因为小流的携带的字节数少，通常在一个rtt的时间就能完成，因此小流的流完成时间(flow completion time，fct)将至少被拖延一倍。所以这导致在相同的流量分布和负载的情况下，小流使用rcc可能比pcc跑得更快。


技术实现要素：

5.针对现有技术中的上述不足，本发明旨在一种自适应的数据中心网络传输协议选择系统及方法，当流一启动时，通过算法自适应地实现数据中心网络传输协议选择。
6.本发明利用以下技术方案实现：
7.一种自适应的数据中心网络传输协议选择系统，该系统包括流信息收集器和阈值学习器；其中：
8.所述流信息收集器用于收集已完成的被动式拥塞控制方案rcc流的fct和流大小信息，存储在rcchistory窗口中；所述流信息收集器收集的上述信息传输给所述阈值学习器，用于训练阈值学习器；以及，所述流信息收集器用于收集主动式拥塞控制方案pcc流的调度延迟；
9.所述阈值学习器用于根据流信息收集器收集的信息在线地计算阈值；所述计算过程如下：
10.筛选出流完成时间fct小于pcc流平均调度延迟d的历史rcc流即rcchistory，加入到一个空集合中，如果集合的大小除以窗口所得到的比例rw等于1，则表明上次选择的分流阈值过于保守或者网络不拥塞，向网络中发送更多rcc流；如果rw大于或等于预设值p且小于1，则表明上次所选择的分流阈值s
t-1
准确，所输出的当前阈值s随着s
t-1
和集合中最大的流大小增加或减小；如果比例rw小于预设值p且不等于1，则表明上次选择的分流阈值s
t-1
过大，导致使用rcc流过多，网络变得拥塞，需要减小分流阈值以减少使用rcc的个数；如果在这个窗口找不到足够多的流的fct小于d，则将rcchistory窗口的大小翻倍并再次重复上述过程，直至rcchistory窗口扩大为整个rcchistory
11.一种自适应的数据中心网络传输协议选择方法，该方法包括以下步骤：
12.步骤1、初始阶段，发送端以10kb为初始阈值进行分流，如果流大小大于阈值，则使用主动式拥塞控制方案，否则使用主动式拥塞控制方案的；利用rcchistory窗口记录使用dctcp流的流完成时间fct和流大小，最大窗口h
size
设置为40mtu，设置当前窗口w为初始窗口；
13.步骤2、判断当前窗口大于最大窗口？如是，转至步骤10；如否，转至步骤3；
14.步骤3、如否，则从当前窗口w中筛选出fct小于pcc流平均调度延迟d的历史rcc流即rcchistory，加入到一个空集合set中；
15.步骤4、判断集合set的大小占窗口w的比例rw是否大于或等于预设值p？如是，转至步骤5；
16.步骤5、判断集合set的大小占窗口w的比例rw是否等于1？
17.步骤6、如果集合set的大小占窗口w的比例rw等于1，则表明上次选择的分流阈值过于保守或者网络不拥塞，允许向网络中发送更多rcc流，将分流阈值设置为：
18.threshold＝last_threshold s
19.其中，threshold表示分流阈值，last_threshold表示上次选择的分流阈值，s为当前阈值增量；
20.步骤7、如果rw大于或等于预设值p且不等于1，则表明上次所选择的分流阈值准确，所输出的当前阈值增量随着上次所选择的分流阈值和集合中最大的流大小增加或减小，分流阈值threshold表示如下：
21.threshold＝(max(set) last_threshold)/2
22.其中，max(set)表示最大的流大小；
23.步骤8、输出threshold；
24.步骤9、如果比例rw小于预设值p，则表明上次选择的分流阈值过大，导致使用rcc流过多，网络变得拥塞，需要减小分流阈值以减少使用rcc的个数，将当前窗口p扩大到原来的两倍，即w＝2*w；
25.步骤10、设置阈值为最大值，即threshold＝max(set)。
26.与现有技术相比，本发明的有益效果及优点在于：
27.通过让大流使用主动式拥塞控制进行传输，从而控制了队列长度，让小流使用被动式拥塞控制直接发送，避免了过长的调度时间的同时，也保证了经历的排队时延较短。
附图说明
28.图1为本发明的一种自适应的数据中心网络传输协议选择系统架构示意图；
29.图2为本发明的阈值学习器计算过程整体流程图；
30.图3为本发明的一种自适应的数据中心网络传输协议选择方法结合fastpass的平均时延的测试结果；
31.图4为本发明的一种自适应的数据中心网络传输协议选择方法结合expresspass的尾部时延的测试结果。
具体实施方式
32.以下结合附图和具体实施例对本发明的技术方案进行详细说明。
33.图1所示，为本发明的一种自适应的数据中心网络传输协议选择系统架构示意图。包括流信息收集器10和阈值学习器20。
34.其中，所述流信息收集器10用于收集已完成的被动式拥塞控制方案rcc流的fct和流大小等信息，存储在rcchistory窗口中。如果新加入一条流导致rcchistory窗口大小大于最大窗口，则删除最先加入的流，以减小程序的开销。以及，流信息收集器10用于收集主动式拥塞控制方案pcc流的调度延迟。调度延迟等于第一个数据包发送的时间减去流开始时间。所述流信息收集器10收集的上述信息传输给所述阈值学习器20，用于训练阈值学习器20。
35.所述阈值学习器20根据流信息收集器10收集的信息在线地计算阈值，通过动态适应网络状况，来找到最佳分流阈值。每当流信息收集器10收集到新的rcc流，则通知阈值学习器20更新阈值。特别是，当一条rcc流产生时，直接将其大小和当前分流阈值进行比较，而不需要等待阈值学习器计算的过程。如果当前rcc流的大小小于或等于分流阈值则将rcc流直接发送到网络中，否则使用pcc流等到调度指令再发出，从而让小rcc流免于遭受过长的调度时间。
36.阈值学习器20的计算过程如下：
37.首先，筛选出fct(流完成时间，flow completion time)小于pcc流平均调度延迟d的历史rcc流即rcchistory，加入到一个空集合中，如果集合的大小除以窗口所得到的比例rw等于1，则表明上次选择的分流阈值过于保守或者网络不拥塞，可以向网络中发送更多rcc流，因此本发明的mixcc将试探性地提高分流阈值。如果rw大于或等于预设值p且小于1，则表明上次所选择的分流阈值s
t-1
准确，所输出的当前阈值s随着s
t-1
和集合中最大的流大小增加或减小；如果比例rw小于预设值p且不等于1，则表明上次选择的分流阈值s
t-1
过大，导致使用rcc流过多，网络变得拥塞，需要减小分流阈值以减少使用rcc的个数。为了提高效率，如果每次搜索整个rcchistory窗口需要的时间太长，首先从一个较小的rcchistory窗口开始寻找阈值，每次搜索rcchistory窗口时，都先从最新完成的rcc流中搜索。如果在这个窗口找不到足够多的流的fct小于d，则将rcchistory窗口的大小翻倍并再次重复上述过程，直至rcchistory窗口扩大为整个rcchistory。
38.如图2所示，为本发明的一种自适应的数据中心网络传输协议选择方法流程图。
39.步骤1、初始阶段，发送端以10kb为初始阈值进行分流，如果流大小大于阈值，则使用主动式拥塞控制方案的fastpass算法，否则使用dctcp。利用rcchistory窗口记录使用
dctcp流的fct和流大小，最大窗口h
size
设置为40mtu(最大传输单元)，设置当前窗口w为初始窗口；
40.步骤2、判断当前窗口大于最大窗口？如是，转至步骤10；如否，转至步骤3；
41.步骤3、如否，则从当前窗口w中筛选出流完成时间fct小于pcc流平均调度延迟d的历史rcc流即rcchistory，加入到一个空集合set中；
42.步骤4、判断集合set的大小占窗口w的比例rw是否大于或等于预设值p？如是，转至步骤5；
43.步骤5、判断集合set的大小占窗口w的比例rw是否等于1？
44.步骤6、如果集合set的大小占窗口w的比例rw等于1，则表明上次选择的分流阈值过于保守或者网络不拥塞，允许向网络中发送更多rcc流，因此本发明的mixcc将试探性地提高分流阈值，将分流阈值设置为：
45.threshold＝last_threshold s
46.其中，threshold表示分流阈值，last_threshold表示上次选择的分流阈值，s为当前阈值增量；
47.步骤7、如果rw大于或等于预设值p且不等于1，则表明上次所选择的分流阈值准确，所输出的当前阈值增量随着上次所选择的分流阈值和集合中最大的流大小增加或减小，分流阈值threshold表示如下：
48.threshold＝(max(set) last_threshold)/2
49.其中，max(set)表示最大的流大小；
50.步骤8、输出threshold；
51.步骤9、如果比例rw小于预设值p，则表明上次选择的分流阈值过大，导致使用rcc流过多，网络变得拥塞，需要减小分流阈值以减少使用rcc的个数，将当前窗口p扩大到原来的两倍，即w＝2*w；
52.步骤10，设置阈值为最大值，即threshold＝max(set)。
53.本发明实施例描述如下：
54.初始阶段，发送端以10kb为初始阈值进行分流，如果流大小大于阈值，则使用主动式拥塞控制方案的fastpass算法，否则使用主动式拥塞控制方案的dctcp算法。rcchistory窗口记录使用dctcp流的fct和流大小，最大窗口h
size
设设置为40mtu(最大传输单元)，当记录数目超过最大窗口，则删除当前窗口最靠前的dctcp流。设置初始窗口initw大小为10mtu。记录使用fastpass的流的调度时延，即流开始时间到第一个数据包发送到网络中的时间。当收集的dctcp流数目到达最大窗口，就开始对阈值进行决策。决策过程如下：
55.首先，获取rcchistory的窗口大小h
size
，将当前窗口大小w设为initw；
56.然后，根据当前窗口大小w开始循环筛选fct小于d的dctcp流，循环结束的终止条件是当前窗口大小超出了最大窗口。具体过程为：每次从rcchistory的最后加入的rcchistory窗口的第一条流h
head
开始，到rcchistory窗口的第w条流h
head-w-1
为止，在w条dctcp流中筛选出fct小于d的流，并把其流大小加入到一个空集合set中。
57.其次，将当前窗口中set的比例记为rw，其中rw＝size(set)/w。如果rw等于1，则输出的阈值s等于s
t-1
加上s，即s＝s
t-1
s，在这里将s设置为最大传输单元的大小；如果rw大于等于p且小于1，则s等于s
t-1
加上窗口中最大的流大小max(set)的的平均值，即s＝(max
(set) s
t-1
)/2；如果rw小于p，则将当前窗口p扩大到原来的两倍，w＝2*w。
58.最后，当w超过h
size
时，说明当前窗口没有足够多的dctcp流使得其fct小于d，需要减小阈值。在整个rcchistory窗口中，寻找fct小于d的最大的dctcp流的流大小作为新的阈值，即s＝max(set)。
59.当流一启动时，先将流的大小与阈值进行比较，判断应该使用何种传输协议；并且，传输协议一经选择就不再改变，这条流将一直使用它选择的传输协议。每当rcchistory收集了一定数量的新完成的dctcp流时，阈值计算器才会更新阈值，否则与流进行比较的还是上一次阈值。
60.本发明在yaps上进行了大规模的仿真实验。采用webserver、cachefollower、websearch和datamining真实工作负载。利用yaps实现了mixcc fastpass版本，网络拓扑是叶脊拓扑，包括144个服务器；采用的被动式拥塞控制算法是数据中心最常见的拥塞控制算法dctcp。
61.图3为本发明的一种自适应的数据中心网络传输协议选择方法结合fastpass的平均时延的测试结果。从图3可以看出本发明(mixcc)相比fastpass和dctcp将小流的平均fct都大幅降低了。在webserver、cachefollower、websearch和datamining四种工作负载下，和fastpass相比，mixcc将小流的平均fct降低了67.6％、72.7％、45.5％和43.9％；与dctcp相比，将小流的平均fct降低了95.8％、98.7％、82.1％和97.5％。
62.如图4所示，为本发明的一种自适应的数据中心网络传输协议选择方法结合expresspass的尾部时延的测试结果。从图中可以看出，本发明(mixcc)与现有方法相比，显著降低了小流的p99 fct。具体地说，在webserver、cachefollower、websearch和datamining四种工作负载下，mixcc和expresspass相比，将小流的p99 fct最多降低了71.1％、69.8％、63.9％和53.9％；和aeolus相比，将小流的p99 fct最多降低了62.2％、59.2％、67.1％和50.8％。
63.总之，本发明与现有方法相比，将小流的时延性能方面都展现出更好的效果。
64.以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。