一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

网络流量传输方法和装置与流程

2022-06-15 20:53:30 来源:中国专利 TAG:


1.本技术涉及网络技术领域,尤其涉及一种网络流量传输方法和装置。


背景技术:

2.随着移动互联网、大数据、物联网以及第五代移动通信技术等信息技术的发展,数据中心的业务越来越多,例如,高性能计算(high-performance computing,hpc)业务、人工智能(artificial intelligence,ai)业务、分布式存储业务、万维网(world wide web,www)业务和高频交易业务等。数据中心在处理业务时一般会有低时延的要求。示例性地,对hpc和ai业务而言,低时延可以降低任务的训练时间;对分布式存储业务而言,低时延可以降低读/写操作的访问时间,提升业务系统的每秒输入输出操作次数(input/output operations per second,iops);对www业务而言,低时延可以提升用户体验。
3.由于数据中心时刻都在运转,可以随时处理各种不同业务,所以在不同时间段,数据中心的网络流量是不一样的,因此,数据中心的网络流量具有一个典型特征:流量突发(burst)。流量突发会导致大量报文连续到达服务器,当多个报文连续到达服务器时,服务器会先处理该多个报文中优先到达的报文,若该优先到达的报文还未被处理完,下一个报文已经到达服务器,则该下一个报文可能会打断服务器对上述优先到达的报文的处理进程,这样便会增加数据中心处理业务的时延,降低业务的性能和质量,影响用户的体验。


技术实现要素:

4.本技术提供了一种网络流量传输方法和装置,有利于解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
5.第一方面,提供了一种网络流量传输方法,包括:根据网络侧设备的流量参数,确定该网络侧设备的流量是否处于流量突发状态;若该网络侧设备的流量处于流量突发状态,确定第一数值,该第一数值用于调整网络侧设备的流量的传输速率;根据该第一数值,调整该网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
6.示例性地,上述网络侧设备可以是服务器,也可以是交换机。
7.应理解,网络侧设备流量突发可能会导致网络轻载、或者服务器拥塞、或者网络轻载以及服务器拥塞等场景,这些场景都会影响到网络流量的传输,使得网络流量的传输效率降低,业务性能降低,因此,本技术实施例对具体场景不作限定,只要网络侧设备的流量处于突发状态,都可采用本技术实施例的网络流量传输方法。
8.上述流量参数可以包括队列深度、吞吐量、报文长度以及报文个数中的一个或多个参数。
9.上述第一数值用于调整网络侧设备的流量的传输速率也可以称为上述第一数值用于对网络侧设备的流量进行整形。即在网络侧设备的流量处于流量突发状态的情况下,网络侧设备可以按照第一数值对网络侧设备的流量进行整形,使网络侧设备的流量在不同
时刻分批次输出,且流量之间存在一定时间间隔,用于缓解网络侧设备流量突发的状态。
10.本技术实施例提供的网络流量传输方法,通过对流量进行整形,调整流量的传输速率,使流量在不同时刻分批次输出,有利于解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
11.结合第一方面,在第一方面的某些实现方式中,上述确定网络侧设备的流量是否处于流量突发状态,包括:将该网络侧设备的流量参数输入至机器学习模型,以获得机器学习模型的第一输出结果,该第一输出结果用于表示到达网络侧设备的流量是否处于流量突发状态。其中,该机器学习模型是根据历史流量参数训练得到的。
12.本技术实施例是以历史流量参数作为样本对机器学习模型进行训练的。
13.在一种可能的实现方式中,上述历史流量参数可以包括历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数以及这些参数所对应的流量是否处于流量突发状态的信息。
14.在另一种可能的实现方式中,上述历史流量参数可以包括对上述历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数进行预处理后得到的参数以及这些参数所对应的流量是否处于流量突发状态的信息。这里的预处理方法可以包括将流量参数归一化、计算流量参数的平均值、或者计算方差值等方法中的一个或多个,本技术实施例对此不作限定。
15.在又一种可能的实现方式中,上述历史流量参数可以包括历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数,对上述历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数进行预处理后得到的参数以及这些参数所对应的流量是否处于流量突发状态的信息。
16.应理解,上述参数所对应的流量是否处于流量突发状态的信息可以通过一个或多个比特来表示,例如,0可以表示流量不处于突发状态,1可以表示流量处于突发状态;或者,1可以表示流量不处于突发状态,0可以表示流量处于突发状态。
17.本技术实施例提供的网络流量传输方法,通过使用机器学习模型确定网络侧设备的流量是否处于流量突发状态,能够结合历史流量参数,更符合实际情况,从而提高了判断的准确率。
18.结合第一方面,在第一方面的某些实现方式中,上述第一输出结果表示与上述流量参数对应的传输速率;上述确定第一数值,可以包括:将该第一输出结果确定为该第一数值。
19.本技术实施例提供的网络流量传输方法,通过将机器学习模型的输出结果直接确定为第一数值,提高了网络侧设备确定第一数值的效率和准确率。
20.结合第一方面,在第一方面的某些实现方式中,上述第一输出结果表示与上述流量参数对应的标识;上述确定第一数值,可以包括:基于该第一输出结果和映射表,将该映射表中与该第一输出结果对应的数值确定为该第一数值。其中,该映射表包括多个输出结果和多个数值之间的对应关系,该多个输出结果包括该第一输出结果。
21.应理解,在机器学习模型的第一输出结果是该流量参数对应的标识的情况下,网络侧设备可以根据该第一输出结果查询映射表,从该映射表中得到与该第一输出结果对应
的第一数值。
22.在本技术实施例中,当网络拓扑结构改变或者网络在处理不同的业务时,网络侧设备通过根据当前的网络拓扑或当前业务实时改变映射表中数值和标识的对应关系,就可以确定出与当前流量对应的第一数值,无需针对不同的网络拓扑或不同业务重新训练机器学习模型,因此,本方法可以适用于多种不同场景,更加通用,更加灵活。
23.结合第一方面,在第一方面的某些实现方式中,确定网络侧设备的流量是否处于流量突发状态,可以包括:若流量参数大于或等于预设阈值,确定网络侧设备的流量处于流量突发状态;或者,若流量参数小于预设阈值,确定网络侧设备的流量未处于流量突发状态。
24.应理解,该流量参数可以包括队列深度、吞吐量、报文长度以及报文个数中的一个或多个参数,则预设阈值与流量参数的个数相对应,可以是一个,也可以是多个。
25.本技术实施例提供的网络流量传输方法,网络侧设备通过采用非机器学习的方法确定网络侧设备的流量是否处于流量突发状态,无需对大量数据进行计算分析,可以降低计算成本。
26.结合第一方面,在第一方面的某些实现方式中,确定第一数值之前,该方法还可以包括:获取第一时间段内的网络侧设备的流量参数;确定第一数值,可以包括:将第一时间段内的网络侧设备的流量参数的平均值确定为第一数值。
27.结合第一方面,在第一方面的某些实现方式中,根据第一数值,调整网络侧设备的流量的传输速率,并以调整后的传输速率输出流量之后,该方法还可以包括:根据当前网络侧设备的流量参数,确定网络侧设备的流量是否处于流量突发状态;若网络侧设备的流量处于流量突发状态,确定第二数值,该第二数值用于调整网络侧设备的流量的传输速率;根据该第二数值,调整网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
28.本技术实施例提供的网络流量传输方法,网络侧设备可以根据实时流量参数,不断调整和优化第一数值(即获得上述确定的第二数值),可以达到更好地业务性能,提升用户的体验。
29.第二方面,提供了一种网络流量传输装置,用于执行上述第一方面中任一种可能的实现方式中的方法。具体地,该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。
30.第三方面,提供了另一种网络流量传输装置,包括处理器,该处理器与存储器耦合,可用于执行存储器中的指令,以实现上述第一方面中任一种可能实现方式中的方法。可选地,该装置还包括存储器。可选地,该装置还包括通信接口,处理器与通信接口耦合。
31.第四方面,提供了又一种网络流量传输装置,包括处理器和存储器。该处理器用于读取存储器中存储的指令,并可通过接收器接收信号,通过发射器发射信号,以执行上述第一方面中任一种可能实现方式中的方法。
32.可选地,处理器为一个或多个,存储器为一个或多个。
33.可选地,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
34.在具体实现过程中,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,rom),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限
定。
35.应理解,相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程,接收能力信息可以为处理器接收输入能力信息的过程。具体地,处理输出的数据可以输出给发射器,处理器接收的输入数据可以来自接收器。其中,发射器和接收器可以统称为收发器。
36.上述第四方面中的处理装置可以是一个芯片,该处理器可以通过硬件来实现也可以通过软件来实现,当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于该处理器之外,独立存在。
37.第五方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行上述第一方面中任一种可能实现方式中的方法。
38.第六方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序(也可以称为代码,或指令)当其在计算机上运行时,使得计算机执行上述第一方面中任一种可能实现方式中的方法。
附图说明
39.图1是数据中心的系统架构图;
40.图2是数据中心的流量传输过程的示意图;
41.图3是本技术实施例提供的一种网络流量传输方法的示意性流程图;
42.图4是本技术实施例的数据中心调整后的流量传输过程的示意图;
43.图5是本技术实施例提供的一种部署框图;
44.图6是本技术实施例提供的另一种部署框图;
45.图7是本技术实施例提供的又一种部署框图;
46.图8是本技术实施例提供的另一种部署框图;
47.图9是本技术实施例提供的又一种部署框图;
48.图10是本技术实施例提供的另一种部署框图;
49.图11是本技术实施例提供的又一种部署框图;
50.图12是本技术实施例提供的另一种部署框图;
51.图13是本技术实施例提供的一种网络流量传输装置的示意性框图;
52.图14是本技术实施例提供的另一种网络流量传输装置的示意性框图。
具体实施方式
53.下面将结合附图,对本技术中的技术方案进行描述。
54.数据中心是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算以及存储数据信息。数据中心可以包括多个通信设备,例如服务器和交换机等,为客户端提供相关的网络服务。随着移动互联网、大数据、物联网以及第五代移动通信技术等信息技术的发展,数据中心的业务可以包括hpc业务、ai业务、分布式存储业务、万维网业务以及浏览器访问业务等。
55.图1示出了数据中心的系统架构100,图1包括客户端101、服务器102、交换机103、服务器104、服务器105以及服务器106,应理解,图中服务器的个数以及交换机的个数仅仅是一个示例。
56.在图1中,客户端101可以是计算机、电脑、平板、智能手机等,本技术不做限定,业务访问可以由客户端101上的浏览器或者app发起。交换机103可以用于服务器之间传送消息。服务器102、服务器104、服务器105以及服务器106,是提供计算服务的设备,可以响应服务请求,并进行处理,具备承担服务并且保障服务的能力。服务器102用于接收客户端101的业务访问,并根据该业务访问对应的内容向服务器104、或者服务器105、或者服务器106发送请求。服务器104、或者服务器105、或者服务器106用于接收服务器102的请求并进行回复。
57.本技术以数据中心处理浏览器访问业务为例,对数据中心处理业务的过程进行说明。用户可以通过客户端101上的浏览器上输入一个网址,以请求该网址对应的内容。浏览器可以根据用户的操作产生网页访问请求,并将该请求通过超文本传输协议(hyper text transfer protocol,http)发送给数据中心的服务器102。服务器102收到该请求后解析该请求的内容,并根据解析的内容,比如文字、图片或者视频等,向服务器104、或者服务器105、或者服务器106发送请求。若服务器102根据解析的内容向服务器104发送请求,交换机103可以将该请求传输至服务器104。服务器104接收该请求,根据该请求对应的内容,并通过交换机103将该请求对应的内容发送给服务器102。服务器102接收该请求对应的内容后,将该请求对应的内容发送给客户端101,客户端101的浏览器接收到该请求对应的内容之后,向用户展示该请求对应的内容。应理解,若服务器104需要进一步向其它服务器发送请求,则可以通过其他交换机传输该请求,相应地,其它服务器也会根据该请求向服务器104进行回复。
58.服务器102会连续接收到多个客户端101发送的大量请求,相应地,服务器104、服务器105以及服务器106也会接收到服务器102发送的大量请求,在这种情况下,会造成数据中心网络流量突发。
59.下面,以流量从交换机103传输至服务器104为例,对数据中心流量传输的过程进行详细说明。
60.图2示出了数据中心的流量传输过程的示意图,在图2中,交换机103的共享缓冲区中有很多流量,用不同的字母标识不同的流量。不同的字母所标识的矩形框之间没有间隙,代表流量传输之间没有时间间隔;不同的字母所标识的矩形框之间存在间隙,代表流量传输之间存在时间间隔。从交换机103的共享缓存区中的流量可以通过报文的形式传输到服务器104,应理解,此报文可以是一个报文、一组报文、一个消息或者是一组消息,此处不作限定。
61.服务器中的网卡用于交换机与服务器之间的连接。服务器104中的网卡会接收到交换机103的报文并将该报文传输到服务器104的中央处理单元。在图2中,不同的报文也用字母a、b、c、d、e以及f标识,该报文与上述流量对应,报文a、报文b以及报文c之间传输没有时间间隔,连续到达服务器104,报文d、报文e以及报文f之间传输也没有时间间隔,也连续到达服务器104,报文c和报文d之间传输存在时间间隔,即报文c到达服务器104后,间隔一段时间,报文d到达服务器104,后续到达的报文可以重复上述过程。应理解,上述流量传输
的过程仅仅为一个示例。
62.在图2中,椭圆形代表业务进程,表示报文正在处理,长方形代表业务队列,表示报文在等待被处理。报文a先到达服务器104的网卡,由于业务队列中没有报文在等待被处理,故报文a从服务器104的网卡直接到达中央处理单元的业务进程,开始被服务器104的中央处理单元处理。因报文b与报文a没有时间间隔,故报文b随后到达服务器104的网卡,此时,服务器104的中央处理单元正在处理报文a,故报文b从服务器104的网卡到达中央处理单元的业务队列,等待被处理。因业务队列有报文b等待处理,故服务器104的中央处理单元会停止处理报文a,将报文a传输至服务器104的存储器中,并将报文b传输至业务进程,服务器104的中央处理单元会开始处理报文b。由于业务进程还没有处理完报文a,所以服务器104的中央处理单元又会将报文b传输至业务队列,并将报文a传输至业务进程,又会开始处理报文a。
63.由此可以看出,当网络流量突发时,服务器104的中央处理单元在处理报文时,会被后续连续到达的报文打断,增加处理报文的时间,影响了数据中心处理业务的时延,从而影响用户体验。
64.因此,本技术提供了一种网络流量传输方法和装置,通过对网络流量进行整形,调整流量的传输速率,使流量在不同时刻分批次输出,有利于解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
65.本技术实施例的网络流量传输方法,可以部署在交换机内部,可以是交换机的中央处理单元(central processing unit,cpu)、网络处理器(network processor,np)、应用型专用集成电路(application-specific integrated circuit,asic)或现场可编程门阵列(field programmable gate array,fpga);也可以部署交换机的外部,可以是交换机外部的服务器或者单板上;还可以部署在服务器上,可以是服务器的网卡或者服务器的cpu上。
66.图3为本技术实施例提供的一种网络流量传输方法300的示意性流程图。该方法300可以由网络侧设备执行,网络侧设备可以是服务器,也可以是交换机,本技术实施例不作限定。该方法300可以包括下列步骤:
67.s301,根据网络侧设备的流量参数,确定该网络侧设备的流量是否处于流量突发状态。
68.上述流量突发是指流量急剧增加。数据中心在不同时间段处理各种不同的业务,可能会出现流量突发。例如,对于火车订票软件,每年的春运都是流量突发高峰期;对于购物软件,每年的双十一都是流量突发的时间。
69.应理解,网络侧设备流量突发可能会导致网络轻载、或者服务器拥塞、或者网络轻载以及服务器拥塞等场景,这些场景都会影响到网络流量的传输,使得网络流量的传输效率降低,业务性能降低,因此,本技术实施例对具体场景不作限定,只要网络侧设备的流量处于突发状态,都可采用本技术实施例的网络流量传输方法。
70.上述流量参数可以包括队列深度、吞吐量、报文长度以及报文个数中的一个或多个参数。
71.应理解,当数据中心在处理不同的业务时,网络侧设备的流量参数可以不限于上
述参数。
72.示例性地,数据中心处理远程直接内存访问(remote direct memory access,rdma)流量或者基于融合以太网的rdma(rdma over converged ethernet,roce)流量,流量参数还可以包括基于优先级流控(priority-based flow control,rfc)帧个数和报文的显示拥塞通知(explicit congestion notification,ecn)达标个数中一个或多个参数。
73.还应理解,当网络侧设备为服务器时,流量参数还可以包括中央处理器的使用率,内存使用率和磁盘使用率中一个或多个参数。
74.s302,若该网络侧设备的流量处于流量突发状态,确定第一数值,该第一数值用于调整网络侧设备的流量的传输速率。
75.上述第一数值用于调整网络侧设备的流量的传输速率也可以称为上述第一数值用于对网络侧设备的流量进行整形。即在网络侧设备的流量处于流量突发状态的情况下,网络侧设备可以按第一数值对网络侧设备的流量进行整形,使网络侧设备的流量在不同时刻分批次输出,且流量之间存在一定时间间隔,用于缓解网络侧设备流量突发的状态。
76.上述第一数值可以是一个数值,也可以是多个数值,本技术实施例对此不作限定。
77.示例性地,网络侧设备在1s时间内传输的数据量是1g,传输过程中,网络侧设备用前0.1秒的时间将1g的数据量传输完成,后0.9秒没有数据量传输,此种情况可以视为网络侧设备流量突发。网络侧设备检测到流量突发,确定第一数值,该第一数值可以对流量进行整形,可以使网络侧设备每0.1秒传输0.1g数据量,缓解流量突发。
78.上述第一数值的确定方法可以采用机器学习的方法确定,也可以使用非机器学习的方法确定。
79.s303,根据该第一数值,调整该网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
80.网络侧设备可以按该第一数值对网络侧设备的流量进行整形,使网络侧设备的流量在不同时刻分批次输出,且流量之间存在一定时间间隔,用于缓解网络侧设备流量突发的状态。
81.网络侧设备按该第一数值对网络侧设备的流量进行整形的方式可以是:网络侧设备将该第一数值转换成配置命令或者消息,并下发给网络侧设备。
82.网络侧设备可以实时采集网络侧设备的流量参数,确定网络侧设备的流量是否处于流量突发状态,若网络侧设备的流量处于流量突发状态,确定第一数值;若网络侧设备的流量未处于流量突发状态,取消第一数值的配置命令或者消息。
83.本技术实施例提供的网络流量传输方法,通过对流量进行整形,调整流量的传输速率,使流量在不同时刻分批次输出,有利于解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
84.下面以流量从交换机103传输至服务器104为例,对数据中心调整后的流量传输的过程进行详细说明。图4示出了本技术实施例的数据中心调整后的网络流量传输过程的示意图。网络设备可以按第一数值对交换机共享缓冲区中的流量进行整形,使得连续的流量传输之间存在时间间隔,相应地,使报文a、报文b、报文c、报文d、报文e以及报文f到达服务器104的时间存在间隔。此时间间隔可以使服务器104的中央处理单元在处理报文a的过程
中,报文b并未到达业务队列等待被处理。在这种情况下,服务器的中央处理单元可以先处理完报文a,然后处理报文b,后续到达的报文可以重复该过程。此方法可以尽量避免后续到达的报文打断服务器正在处理的报文,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
85.作为一个可选的实施例,s301,确定网络侧设备的流量是否处于流量突发状态,包括:将该网络侧设备的上述流量参数输入至机器学习模型,以获得机器学习模型的第一输出结果,该第一输出结果用于表示到达网络侧设备的流量是否处于流量突发状态。其中,该机器学习模型是根据历史流量参数训练得到的。
86.上述网络侧设备将队列深度、吞吐量、报文长度以及报文个数中的一个或多个参数输入至机器学习模型,得到第一输出结果。网络侧设备根据第一输出结果,可以确定流量突发到达网络侧设备的流量是否处于流量突发状态,即可以确定流量突发是否导致了网络轻载和/或服务器拥塞。
87.上述机器学习模型可以是一个,也可以是多个。网络侧设备可以使用一个机器学习模型识别网络轻载以及服务器拥塞,也可以使用一个机器学习模型识别网络轻载,使用另一个机器学习模型识别服务器拥塞。
88.本技术实施例是以历史流量参数作为样本对机器学习模型进行训练的。
89.在一种可能的实现方式中,上述历史流量参数以包括历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数以及这些参数所对应的流量是否处于突发状态的信息。
90.在另一种可能的实现方式中,上述历史流量参数可以包括对上述历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数进行预处理后得到的参数以及这些参数所对应的流量是否处于流量突发状态的信息。这里的预处理方法可以包括将流量参数归一化、计算流量参数的平均值、或者计算方差值等方法中的一个或多个,本技术实施例对此不作限定。
91.在又一种可能的实现方式中,上述历史流量参数可以包括历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数,对上述历史队列深度、历史吞吐量、历史报文长度以及历史报文个数中的一个或多个参数进行预处理后得到的参数以及这些参数所对应的流量是否处于流量突发状态的信息。
92.应理解,上述参数所对应的流量是否处于流量突发状态的信息可以通过一个或多个比特来表示,例如,0可以表示流量不处于突发状态,1可以表示流量处于突发状态;或者,1可以表示流量不处于突发状态,0可以表示流量处于突发状态。
93.本技术实施例提供的网络流量传输方法,通过使用机器学习模型确定网络侧设备的流量是否处于流量突发状态,能够结合历史流量参数,更符合实际情况,从而提高了判断的准确率。
94.作为一个可选的实施例,上述第一输出结果表示与上述流量参数对应的传输速率,s302,确定第一数值,可以包括:将该第一输出结果确定为该第一数值。
95.应理解,第一输出结果可以是一个值,也可以是两个值。若第一输出结果是一个值,则第一输出结果可以用于判断网络侧设备是否处于流量突发,也可以作为第一数值,用于对网络侧设备的流量进行整形。若第一输出结果是两个值,则第一个值可以用于判断网
络侧设备是否处于流量突发,第二个值可以作为第一数值,用于对网络侧设备的流量进行整形。
96.本技术实施例提供的网络流量传输方法,通过将机器学习模型的输出结果直接确定为第一数值,提高了网络侧设备确定第一数值的效率和准确率。
97.作为一个可选的实施例,上述第一输出结果表示与上述流量参数对应的标识,s302,确定第一数值,可以包括:基于该第一输出结果和映射表,将该映射表中与该第一输出结果对应的数值确定为该第一数值。其中,该映射表包括多个输出结果和多个数值之间的对应关系,该多个输出结果包括该第一输出结果。
98.应理解,在机器学习模型的第一输出结果是该流量参数对应的标识的情况下,网络侧设备可以根据该第一输出结果查询映射表,从该映射表中得到与该第一输出结果对应的第一数值。
99.表一为上述映射表的一个示例。映射表中可以包括输出结果以及数值的对应关系。其中,数值的单位可以是兆比特每秒(million bits per second,mbps)、千兆比特每秒(giga bit per second,gbps)。当网络带宽发生变化,或者网络侧设备处理的业务类型以及业务规模不同时,表一中的数值会发生相应的变化。
100.示例性地,上述流量参数输入至机器学习模型,得到的第一输出结果为2,则第一数值为1gbps,若网络带宽变化,第一输出结果为2,第一数值可以为10gbps。
101.表一
102.输出结果数值1100mbps21gbps310gbps
103.在本技术实施例中,当网络拓扑结构改变或者网络在处理不同的业务时,网络侧设备通过根据当前的网络拓扑或当前业务实时改变映射表中数值和标识的对应关系,就可以确定出与当前流量对应的第一数值,无需针对不同的网络拓扑或不同业务重新训练机器学习模型,因此,本方法可以适用于多种不同场景,更加通用,更加灵活。
104.作为一个可选的实施例,s301,确定网络侧设备的流量是否处于流量突发状态,可以包括:若流量参数大于或等于预设阈值,确定网络侧设备的流量处于流量突发状态;或者,若流量参数小于预设阈值,确定网络侧设备的流量未处于流量突发状态。
105.应理解,该流量参数可以包括队列深度、吞吐量、报文长度以及报文个数中的一个或多个参数,则预设阈值与流量参数的个数相对应,可以是一个也可以是多个。
106.示例性地,若流量参数包括队列深度和报文个数两个参数,其中,队列深度参数对应预设第一阈值,报文个数参数对应预设第二阈值,若网络侧设备的队列深度大于或等于预设第一阈值,并且报文个数大于或等于预设第二阈值时,确定网络侧设备的流量处于流量突发状态。若网络侧设备的报文个数小于预设第一阈值,并且报文个数小于预设第二阈值时,确定网络侧设备的流量未处于流量突发状态。
107.本技术实施例提供的网络流量传输方法,网络侧设备通过采用非机器学习的方法确定网络侧设备的流量是否处于流量突发状态,无需对大量数据进行计算分析,可以降低计算成本。
108.作为一个可选的实施例,在s302,确定第一数值之前,该方法还可以包括:获取第一时间段内的网络侧设备的流量参数;s302,确定第一数值,可以包括:将第一时间段内的网络侧设备的流量参数的平均值确定为第一数值。
109.示例性地,若流量参数包括吞吐量,则可以计算第一时间段内吞吐量的移动平均值,将该移动平均值确定为第一数值,用于对网络流量进行整形。
110.作为一个可选的实施例,在s303,根据该第一数值,调整该网络侧设备的流量的传输速率,并以调整后的传输速率输出流量之后,该方法还可以包括:根据当前网络侧设备的流量参数,确定网络侧设备的流量是否处于流量突发状态;若网络侧设备的流量处于流量突发状态,确定第二数值,该第二数值用于调整网络侧设备的流量的传输速率;根据该第二数值,调整网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
111.应理解,在本技术实施例中,网络侧设备可以一直根据实时的流量参数,确定网络侧设备的流量是否处于流量突发状态,若网络侧设备的流量处于流量突发状态,可以调整该网络侧设备的流量进行整形。
112.示例性地,网络侧设备可以通过强化学习的方法调整和优化第一数值。
113.本技术实施例提供的网络流量传输方法,网络侧设备可以根据实时流量参数,通过不断调整和优化第一数值(即获得上述确定的第二数值),可以达到更好地业务性能,提升用户的体验。
114.可选地,在本技术实施例中,上述网络流量传输方法可以由流量突发识别模块(a)、网络处理模块(b)以及网络处理下发模块(c)实现。流量突发识别模块(a)用于执行上述s301,网络处理模块(b)用于执行上述s302,网络处理下发模块(c)用于执行上述s303。
115.上述流量突发识别模块(a)、网络处理模块(b)以及网络处理下发模块(c)可以均部署在同一设备上,也可以分别部署在不同设备上,本技术实施例对此不作限定。下面,结合图5至图12,对本技术实施例的部署架构进行详细说明。
116.图5和图6分别示出了流量突发识别模块(a)、网络处理模块(b)以及网络处理下发模块(c)部署在同一设备的架构。
117.一种可实现的方式如图5所示。图5示出了一种部署架构500,该部署架构500中,流量突发识别模块(a)、网络处理模块(b)以及网络处理下发模块(c)均可以部署在交换机的内部,例如,交换机的中央处理单元(central processing unit,cpu)、网络处理器(network processor,np)、应用型专用集成电路(application-specific integrated circuit,asic)或现场可编程门阵列(field programmable gate array,fpga)。
118.本技术实施例提供的网络流量传输方法部署在交换机的内部,部署简单,实现速率较快,调整网络流量的效果较好。根据交换机的流量参数信息,确定交换机处于流量突发状态,然后可以快速确定第一数值,进行调整网络流量的传输速率,有利于解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
119.另一种可实现的方式如图6所示。图6示出了一种部署架构600,该部署架构600中,流量突发识别模块(a)、网络处理模块(b)以及网络处理下发模块(c)均可以部署在交换机的外部,例如,交换机外部的服务器或者单板上。
120.其中,网络处理下发模块(c)可以采用命令行界面(command-line interface,
cli)、简单网络管理协议(simple network management protocol,snmp)、网络配置协议(the network configuration protocol,netconf)以及restful应用程序接口(application program interface,api)等方式将第一数值转换成交换机的配置信息,并下发配置信息给交换机。应理解,配置信息可以包括配置命令或消息。
121.其中,性状态转移(representational state transfer,rest)指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是restful。restful主要用于客户端和服务器交互类的软件。
122.本技术实施例提供的网络流量传输方法部署在交换机的外部,部署方便,且不需要修改或更改交换机的性能,就可以实现调整到达交换机的网络流量速率,有利于解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
123.图7至图9分别示出了上述流量突发识别模块(a)、网络处理模块(b)以及网络处理下发模块(c)部署在两个设备上的架构。该两个设备可以分别是交换机和接收端服务器。
124.第一种可实现的方式如图7所示。图7示出了一种部署架构700,该部署架构700中,流量突发识别模块(a)可以部署在接收端服务器上,可以是接收端服务器的网卡或者是接收端服务器的cpu;网络处理模块(b)以及网络处理下发模块(c)可以部署在交换机的内部上。应理解,网络处理模块(b)以及网络处理下发模块(c)也可以部署在交换机的外部。
125.若流量突发识别模块(a)识别网络侧设备的流量处于流量突发状态,则流量突发识别模块(a)可以向网络处理模块(b)发送通知报文;网络处理模块(b)接收到该通知报文,确定第一数值,该第一数值用于调整网络侧设备的流量的传输速率;网络处理下发模块(c)根据该第一数值,调整网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
126.其中,该通知报文可以是一个报文、一组报文、一个消息或者是一组消息,此处不做限定。
127.应理解,若流量突发识别模块(a)识别网络侧设备的流量为处于流量突发状态,则取消发送上述通知报文。
128.在本技术实施例中,流量突发识别模块(a)部署在接收端服务器上,判断流量突发的流量参数还可以包括中央处理器的使用率,内存使用率和磁盘使用率中一个或多个参数,有利于更好的判断流量是否处于突发的状态以及更好地解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
129.第二种可实现的方式如图8所示。图8示出了一种部署架构800,该部署架构800中,流量突发识别模块(a)可以包括服务器拥塞识别模块(a1)和网络轻载识别模块(a2)。服务器拥塞识别模块(a1)用于识别服务器是否处于拥塞,网络轻载识别模块(a2)用于识别网络是否处于轻载。服务器拥塞识别模块(a1)可以部署在接收端服务器上,可以是接收端服务器的网卡或者是接收端服务器的cpu。网络轻载识别模块(a2)、网络处理模块(b)以及网络处理下发模块(c)可以部署在交换机的内部。应理解,流量突发识别模块(a)中的网络轻载识别模块(a2)、网络处理模块(b)以及网络处理下发模块(c)也可以部署在交换机的外部。
130.若服务器拥塞识别模块(a1)识别服务器处于拥塞,则服务器拥塞识别模块(a1)可以向网络轻载识别模块(a2)发送服务器拥塞报文;网络轻载识别模块(a2)接收该报文,若网
络轻载识别模块(a2)识别网络处于轻载,则网络处理模块(b)可以确定第一数值;网络处理下发模块(c)根据该第一数值,调整网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
131.其中,服务器拥塞报文可以是一个报文、一组报文、一个消息或者是一组消息,此处不作限定。
132.应理解,服务器拥塞识别模块(a1)识别服务器未处于拥塞,则取消发送上述服务器拥塞报文。
133.服务器拥塞识别模块(a1)识别服务器是否处于拥塞的方法有不同的实现方式。
134.示例性地,服务器拥塞识别模块(a1)可以采集队列深度、吞吐量、中央处理器的使用率,内存使用率和磁盘使用率中一个或多个参数,将其输入机器学习模型一,得出服务器是否处于拥塞。
135.示例性地,服务器拥塞识别模块(a1)可以采集队列深度、吞吐量、中央处理器的使用率,内存使用率和磁盘使用率中一个或多个参数,为每个参数设置相应的阈值条件,得出服务器是否处于拥塞。
136.应理解,网络轻载识别模块(a2)识别网络是否处于轻载的方法也有不同的实现方式。
137.示例性地,网络轻载识别模块(a2)可以采集队列深度、吞吐、报文长度和报文个数中一个或多个参数,将其输入机器学习模型二,得出网络是否处于轻载。
138.示例性地,网络轻载识别模块(a2)可以采集队列深度、吞吐、报文长度和报文个数中一个或多个参数,为每个参数设置相应的阈值条件,得出网络是否处于轻载。
139.上述机器学习模型一和机器学习模型二可以是同一个机器学习模型,也可以是不同的机器学习模型。
140.第三种可实现的方式如图9所示。图9示出了一种部署架构900,该部署架构900中,流量突发识别模块(a)以及网络处理模块(b)可以部署在接收端服务器上,可以是接收端服务器的网卡或者是接收端服务器的cpu;网络处理下发模块(c)可以部署在交换机的内部。应理解,网络处理下发模块(c)也可以部署在交换机的外部。
141.网络处理模块(b)确定第一数值后,可以向网络处理下发模块(c)发送网络处理报文,该网络处理报文包括该第一数值;网络处理下发模块(c)接收该网络处理报文,并取出该第一数值,然后根据该第一数值,调整所述网络侧设备的流量的传输速率,并以调整后的传输速率输出所述流量。
142.其中,该网络处理报文可以是一个报文、一组报文、一个消息或者是一组消息,此处不做限定。
143.应理解,若流量突发识别模块(a)识别网络侧设备的流量未处于流量突发状态,则网络处理模块(b)取消发送上述网络处理报文。
144.图10至图12分别示出了上述流量突发识别模块(a)、网络处理模块(b)以及网络处理下发模块(c)部署在两个设备上的架构,该两个设备可以分别是接收端服务器和发送端服务器。
145.第一种可实现的方式如图10所示。图10示出了一种部署架构1000,该部署架构1000中,流量突发识别模块(a)可以部署在接收端服务器上,网络处理模块(b)以及网络处
理下发模块(c)可以部署在发送端服务器上。
146.若流量突发识别模块(a)识别网络侧设备的流量处于流量突发状态,则流量突发识别模块(a)可以向网络处理模块(b)发送通知报文;交换机可以将该通知报文发送到发送端服务器;网络处理模块(b)接收到该通知报文,确定第一数值,该第一数值用于调整网络侧设备的流量的传输速率;网络处理下发模块(c)根据该第一数值,调整网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
147.其中,该通知报文可以是一个报文、一组报文、一个消息或者是一组消息,此处不做限定。
148.应理解,若流量突发识别模块(a)识别网络侧设备的流量为处于流量突发状态,则取消发送上述通知报文。
149.本技术实施例提供的网络流量传输方法部署在服务器上,修改或者更改服务器的性能更容易实现,有利于解决数据中心的网络流量出现流量突发导致服务器的处理业务进程被打断的问题,能够降低数据中心处理业务的时延,提高业务的性能和质量,从而提升用户的体验。
150.第二种可实现的方式如图11所示。图11示出了一种部署架构1100,该部署架构1100中,流量突发识别模块(a)中的服务器拥塞识别模块(a1)可以部署在接收端服务器上;流量突发识别模块(a)中的网络轻载识别模块(a2)、网络处理模块(b)以及网络处理下发模块(c)可以部署在发送端服务器上。
151.若服务器拥塞识别模块(a1)识别服务器处于拥塞,则服务器拥塞识别模块(a1)可以向网络轻载识别模块(a2)发送服务器拥塞报文;交换机可以将该服务器拥塞报文发送到发送端服务器;网络轻载识别模块(a2)接收该服务器拥塞报文,若网络轻载识别模块(a2)识别网络处于轻载,则网络处理模块(b)可以确定第一数值;网络处理下发模块(c)根据该第一数值,调整网络侧设备的流量的传输速率,并以调整后的传输速率输出流量。
152.其中,服务器拥塞报文可以是一个报文、一组报文、一个消息或者是一组消息,此处不做限定。
153.应理解,服务器拥塞识别模块(a1)识别服务器未处于拥塞,则取消发送上述服务器拥塞报文。
154.第三种可实现的方式如图12所示。图12示出了一种部署架构1200,该部署架构1200中,流量突发识别模块(a)以及网络处理模块(b)可以部署在接收端服务器上;网络处理下发模块(c)可以部署在发送端服务器上。
155.网络处理模块(b)确定第一数值后,可以向网络处理下发模块(c)发送网络处理报文,该网络处理报文包括该第一数值;交换机可以将该网络处理报文发送到发送端服务器;网络处理下发模块(c)接收该网络处理报文,并取出该第一数值,然后根据该第一数值,调整所述网络侧设备的流量的传输速率,并以调整后的传输速率输出所述流量。
156.其中,该网络处理报文可以是一个报文、一组报文、一个消息或者是一组消息,此处不做限定。
157.应理解,若流量突发识别模块(a)识别网络侧设备的流量未处于流量突发状态,则网络处理模块(b)取消发送上述网络处理报文。
158.在另一可实现的方式中,流量突发识别模块(a)、网络处理模块(b)以及网络处理
下发模块(c)还可以既部署在发送端服务器,又接收端服务器上,此处不再详细赘述。
159.应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
160.上文中结合图1和图12,详细描述了本技术实施例的方法,下面将结合13和图14,详细描述本技术实施例的装置。
161.图13示出了本技术实施例提供的一种网络流量传输装置1300。该装置1300包括:确定模块1310和调整模块1320。
162.该确定模块1310用于:根据该装置的流量参数,确定该装置的流量是否处于流量突发状态;若该装置的流量处于流量突发状态,确定第一数值,该第一数值用于调整该装置的流量的传输速率。
163.该调整模块1320用于:根据该第一数值,调整该装置的流量的传输速率,并以调整后的传输速率输出流量。
164.可选地,该装置还包括获取模块。该获取模块用于:将该装置的流量参数输入至机器学习模型,以获得机器学习模型的第一输出结果,该第一输出结果用于表示该装置的流量是否处于流量突发状态。其中,机器学习模型是根据历史流量参数训练得到的。
165.可选地,第一输出结果表示与流量参数对应的传输速率,该确定模块1310还用于:将第一输出结果确定为第一数值。
166.可选地,第一输出结果表示与流量参数对应的标识,该确定模块1310还用于:基于第一输出结果和映射表,将该映射表中与第一输出结果对应的数值确定为第一数值。其中,该映射表包括多个输出结果和多个数值之间的对应关系,多个输出结果包括第一输出结果。
167.可选地,该确定模块1310还用于:若流量参数大于或等于预设阈值,确定该装置的流量处于流量突发状态;或者,若流量参数小于预设阈值,确定该装置的流量未处于流量突发状态。
168.可选地,该获取模块还用于:获取第一时间段内的该装置的流量参数。该确定模块1310还用于:将第一时间段内的该装置的流量参数的平均值确定为第一数值。
169.可选地,流量参数包括队列深度、吞吐量、报文长度以及报文个数中的一个或多个参数。
170.可选地,流量突发状态包括服务器拥塞和/或网络轻载。
171.应理解,这里的装置以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit,asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中,本领域技术人员可以理解,该装置可以具体为上述实施例中的网络侧设备,或者,上述实施例中网络侧设备的功能可以集成在该装置中,该装置可以用于执行上述方法实施例中与网络侧设备对应的各个流程和/或步骤,为避免重复,在此不再赘述。
172.上述装置具有实现上述方法300中网络侧设备执行的相应步骤的功能;上述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。例如,上述获取模块可以为通信接口,例如收发接口。
173.图14示出了本技术实施例提供的一种网络流量传输装置1400。该装置1400包括:处理器1410、收发器1420和存储器1430。其中,处理器、收发器和存储器通过内部连接通路互相通信,该存储器用于存储指令,该处理器用于执行该存储器存储的指令,以控制该收发器发送信号和/或接收信号。
174.上述装置用于执行上述网络流量传输方法中的各个流程和步骤。其中,该处理器1410用于:用于根据该装置的流量参数,确定该装置的流量是否处于流量突发状态;若该装置的流量处于流量突发状态,确定第一数值,该第一数值用于调整该装置的流量的传输速率;根据该第一数值,调整该装置的流量的传输速率,并以调整后的传输速率输出流量。
175.应理解,该装置1400可以用于执行上述方法实施例中与网络侧设备对应的各个步骤和/或流程。可选地,该存储器1430可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如,存储器还可以存储设备类型的信息。该处理器1410可以用于执行存储器中存储的指令,并且当该处理器1410执行存储器中存储的指令时,该处理器1410用于执行上述与该网络侧设备对应的方法实施例的各个步骤和/或流程。该收发器1420可以包括发射器和接收器,该发射器可以用于实现上述收发器对应的用于执行发送动作的各个步骤和/或流程,该接收器可以用于实现上述收发器对应的用于执行接收动作的各个步骤和/或流程。
176.应理解,在本技术实施例中,上述装置的处理器可以是中央处理单元(central processing unit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
177.在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
178.本技术提供一种可读计算机存储介质,该可读计算机存储介质用于存储计算机程序,该计算机程序用于实现上述实施例中各种可能的实现方式所示的网络侧设备对应的方法。
179.本技术提供了一种计算机程序产品,该计算机程序产品包括计算机程序(也可以称为代码,或指令),当该计算机程序在计算机上运行时,该计算机可以执行上述实施例中各种可能的实现方式所示的网络侧设备对应的方法。
180.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
181.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、
装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
182.在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
183.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
184.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
185.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
186.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献