数据流传输方法、系统、装置及设备与流程
本技术涉及通信,特别涉及数据流传输方法、系统、装置及设备。
背景技术:
1、在通信技术领域中,多个数据中心(data center,dc)之间会进行数据流传输。以训练人工智能(artificial intelligence,ai)大模型为例,由于单个dc无法提供训练ai大模型所需的计算资源,会利用多个dc协同训练,在协同训练的过程中,多个dc之间会传输数据流。但是,dc在运行过程中可能会出现链路故障,因此,如何在链路故障的情况下传输数据流,成为亟需解决的问题。
技术实现思路
1、本技术提供了一种数据流传输方法、系统、装置及设备,以在链路故障的情况下传输数据流,技术方案如下。
2、第一方面,提供了一种数据流传输方法,方法应用于第一通信装置,第一通信装置通过第一出端口和第二出端口连接第二通信装置,方法包括:通过第一入端口接收第一数据流;根据第一入端口对应的第一对应关系,通过第一出端口向第二通信装置传输第一数据流,第一对应关系指示第一入端口接收的数据流通过第一出端口发送;获取故障信息,故障信息指示发生故障的故障链路或者通过故障链路传输的第一数据流中的至少一种,故障链路为第一通信装置和第二通信装置之间的链路;根据故障信息,确定第一数据流对应的第二对应关系,第二对应关系指示第一入端口接收的第一数据流通过第二出端口发送;通过第二出端口向第二通信装置传输第一数据流的后续报文,第一数据流的后续报文在第一通信装置和第二通信装置间传输的链路不包括故障链路。
3、由于第一数据流在由第一出端口发往第二通信装置的时候会经过故障链路,而第一数据流由第二出端口发往第二通信装置的时候不会经过故障链路,通过确定第一数据流对应的第二对应关系,以使第一通信装置在利用第一入端口接收第一数据流后,可以使用第二出端口发送第一数据流,避免传输第一数据流的后续报文的过程中经过故障链路,可以实现第一数据流的传输链路的切换,切换链路的过程简单。由于第一通信装置用于发送第一数据流,属于靠近第一数据流的发端的近端,通过在第一数据流的近端调整传输第一数据流的出端口,可以保证第一数据流在近端和远端处的传输速率匹配,避免远端因为无法及时传输第一数据流而出现拥塞的情况。
4、在一种可能的实现方式中,第一入端口对应的第一对应关系指示第一通信装置的第一入端口接收的数据流通过第一出端口发送,该第一对应关系可以包括第一入端口对应的出端口为第一出端口,确定第一数据流对应的第二对应关系,包括:将第一对应关系中第一入端口对应的出端口由第一出端口调整为第二出端口,得到第二对应关系。该情况下,通过第一入端口接收的数据流可以通过第二出端口发送。
5、在一种可能的实现方式中,第二对应关系的优先级比第一对应关系的优先级高。由于第二对应关系的优先级高于第一对应关系的优先级,即使第一通信装置中同时保存了第一对应关系和第二对应关系,第一通信装置在转发第一数据流的过程中,所查找的也是第二对应关系,避免了在传输第一数据流的过程中,误查找第一对应关系,依旧采用第一出端口发送第一数据流的情况出现。
6、在一种可能的实现方式中,第二出端口的端口号和第一出端口的端口号连续。该种情况下,可以选择和第一出端口的端口号连续的出端口作为第二出端口,选择第二出端口的过程简单,操作复杂度低。
7、在一种可能的实现方式中,第一通信装置保存有第二入端口对应的第三对应关系,第三对应关系指示第一通信装置的第二入端口接收的数据流通过第二出端口发送,方法还包括:通过第二入端口接收第二数据流,通过第二出端口向第二通信装置发送第二数据流,第二数据流在第一通信装置和第二通信装置间传输的链路和第一数据流的后续报文在第一通信装置和第二通信装置间传输的链路相同。该情况下,即使第二出端口还用于向第二通信装置传输第二数据流,由于第二数据流和第一数据流全程共路,第二数据流和第一数据流在第一通信装置采用同一个第二出端口发送,在第二通信装置采用同一个入端口接收,数据流(第一数据流和第二数据流)在第一通信装置处的传输速率与数据流在第二通信装置处的传输速率匹配,避免第二通信装置连接的链路因为无法及时传输数据流而出现拥塞的情况。
8、在一种可能的实现方式中,获取故障信息,包括:接收控制设备发送的故障信息。由于控制设备可以确定全局的网络状态,基于全局的网络状态下发的故障信息的准确率高。
9、在一种可能的实现方式中,通过第二出端口向第二通信装置传输第一数据流的后续报文之后,还包括:在故障链路的故障恢复的情况下,确定第一入端口对应的第四对应关系,第四对应关系指示第一入端口接收的数据流通过第一出端口发送;通过第一入端口接收第一数据流中待传输的报文,通过第一出端口向第二通信装置传输第一数据流中待传输的报文。在故障链路的故障恢复后,利用第四对应关系将第一入端口在转发第一数据流时所对应的出端口由第二出端口还原回第一出端口,以及时利用故障恢复的链路传输第一数据流,链路利用率高。
10、在一种可能的实现方式中,确定第一入端口对应的第四对应关系,包括:获取恢复信息,恢复信息指示恢复故障的故障链路或者通过恢复故障的故障链路传输的第一数据流中的至少一种;根据恢复信息确定第四对应关系。本技术不限定恢复信息,恢复信息可以指示恢复故障的故障链路,也可以指示第一数据流,还可以两种都指示,灵活度高。在一种可能的情况下,第四对应关系可以是第一对应关系,也可以是新创建的端口对应关系,本技术对此不进行限定。
11、在一种可能的实现方式中,第一出端口和第二出端口通过第三通信装置和第四通信装置连接第二通信装置。本技术不限定第一通信装置和第二通信装置的连接情况,可以是通过多个通信装置间接连接,可适用于间接连接场景。
12、在一种可能的实现方式中,故障链路连接第一通信装置和第三通信装置,或者,故障链路连接第三通信装置和第四通信装置,或者,故障链路连接第四通信装置和第二通信装置。本技术实施例不限定故障链路,可以和第一通信装置直接连接,也可以是间接连接,适用于多种故障场景,通用度高。
13、在一种可能的实现方式中,第一通信装置和第三通信装置位于第一数据中心,第三通信装置位于第一数据中心的出口,第二通信装置和第四通信装置位于第二数据中心,第四通信装置位于第二数据中心的入口。本技术适用于跨数据中心的远距场景,应用场景广。
14、在一种可能的实现方式中,第一通信装置和第二通信装置为叶(leaf)交换机。本技术提供的数据流传输方法可应用于脊-叶(spine-leaf)组网结构的数据中心,可以在spine-leaf组网中的链路出现故障的情况下,继续在leaf交换机之间传输第一数据流,提高了spine-leaf组网中的数据流传输可靠性。
15、第二方面,提供了一种传输系统,系统包括第一通信装置和第二通信装置,第一通信装置通过第一出端口和第二出端口连接第二通信装置;第一通信装置,用于通过第一入端口接收第一数据流;第一通信装置,还用于根据第一入端口对应的第一对应关系,通过第一出端口向第二通信装置传输第一数据流,第一对应关系指示第一入端口接收的数据流通过第一出端口发送;第一通信装置,还用于获取故障信息,故障信息指示发生故障的故障链路或者通过故障链路传输的第一数据流中的至少一种,故障链路为第一通信装置和第二通信装置之间的链路;第一通信装置,还用于根据故障信息,确定第一数据流对应的第二对应关系,第二对应关系指示第一入端口接收的第一数据流通过第二出端口发送;第一通信装置,还用于通过第二出端口向第二通信装置传输第一数据流的后续报文;第二通信装置,用于接收第一数据流的后续报文,第一数据流的后续报文在第一通信装置和第二通信装置间传输的链路不包括故障链路。
16、在一种可能的实现方式中,第二对应关系的优先级比第一对应关系的优先级高。
17、在一种可能的实现方式中,第二出端口的端口号和第一出端口的端口号连续。
18、在一种可能的实现方式中,第一通信装置保存有第二入端口对应的第三对应关系,第三对应关系指示第一通信装置的第二入端口接收的数据流通过第二出端口发送;第一通信装置,还用于通过第二入端口接收第二数据流,通过第二出端口向第二通信装置发送第二数据流;第二通信装置,还用于接收第二数据流,第二数据流在第一通信装置和第二通信装置间传输的链路和第一数据流的后续报文在第一通信装置和第二通信装置间传输的链路相同。
19、在一种可能的实现方式中,第一通信装置,用于接收控制设备发送的故障信息。
20、在一种可能的实现方式中,第一通信装置,还用于在故障链路的故障恢复的情况下,确定第一入端口对应的第四对应关系,第四对应关系指示第一入端口接收的数据流通过第一出端口发送;通过第一入端口接收第一数据流中待传输的报文,通过第一出端口向第二通信装置传输第一数据流中待传输的报文;第二通信装置,还用于接收第一数据流中待传输的报文。
21、在一种可能的实现方式中,第一通信装置,用于获取恢复信息,恢复信息指示恢复故障的故障链路或者通过恢复故障的故障链路传输的第三数据流中的至少一种;根据恢复信息确定第四对应关系。
22、在一种可能的实现方式中,系统还包括第三通信装置和第四通信装置,第一出端口和第二出端口通过第三通信装置和第四通信装置连接第二通信装置。
23、在一种可能的实现方式中,第一通信装置,用于通过第二出端口向第三通信装置传输第一数据流的后续报文;第三通信装置,用于接收第一数据流的后续报文,根据第一数据流在第三通信装置的端口对应关系向第四通信装置传输第一数据流的后续报文;第四通信装置,用于接收第一数据流的后续报文,根据第一数据流在第四通信装置的端口对应关系向第二通信装置传输第一数据流的后续报文。
24、在一种可能的实现方式中,故障链路连接第一通信装置和第三通信装置,或者,故障链路连接第三通信装置和第四通信装置,或者,故障链路连接第四通信装置和第二通信装置。
25、在一种可能的实现方式中,第一通信装置和第三通信装置位于第一数据中心,第三通信装置位于第一数据中心的出口,第二通信装置和第四通信装置位于第二数据中心,第四通信装置位于第二数据中心的入口。
26、在一种可能的实现方式中,第一通信装置和第二通信装置为leaf交换机。
27、第三方面,提供了一种数据流传输装置,装置应用于第一通信装置,第一通信装置通过第一出端口和第二出端口连接第二通信装置,装置包括:收发模块,用于执行第一方面或第一方面任一种可能的实现方式中接收和/或发送相关的操作;处理模块,用于执行第一方面或第一方面任一种可能的实现方式中的接收和/或发送相关的操作之外的其它操作。
28、在一种可能的实现方式中,收发模块,用于通过第一入端口接收第一数据流;收发模块,还用于根据第一入端口对应的第一对应关系,通过第一出端口向第二通信装置传输第一数据流,第一对应关系指示第一入端口接收的数据流通过第一出端口发送;收发模块,还用于获取故障信息,故障信息指示发生故障的故障链路或者通过故障链路传输的第一数据流中的至少一种,故障链路为第一通信装置和第二通信装置之间的链路;处理模块,用于根据故障信息,确定第一数据流对应的第二对应关系,第二对应关系指示第一入端口接收的第一数据流通过第二出端口发送;收发模块,还用于通过第二出端口向第二通信装置传输第一数据流的后续报文,第一数据流的后续报文在第一通信装置和第二通信装置间传输的链路不包括故障链路。
29、在一种可能的实现方式中,第二对应关系的优先级比第一对应关系的优先级高。
30、在一种可能的实现方式中,第二出端口的端口号和第一出端口的端口号连续。
31、在一种可能的实现方式中,第一通信装置保存有第二入端口对应的第三对应关系,第三对应关系指示第一通信装置的第二入端口接收的数据流通过第二出端口发送,收发模块,还用于通过第二入端口接收第二数据流,通过第二出端口向第二通信装置发送第二数据流,第二数据流在第一通信装置和第二通信装置间传输的链路和第一数据流的后续报文在第一通信装置和第二通信装置间传输的链路相同。
32、在一种可能的实现方式中,收发模块,用于接收控制设备发送的故障信息。
33、在一种可能的实现方式中,处理模块,还用于在故障链路的故障恢复的情况下,确定第一入端口对应的第四对应关系,第四对应关系指示第一入端口接收的数据流通过第一出端口发送;收发模块,还用于通过第一入端口接收第一数据流中待传输的报文,通过第一出端口向第二通信装置传输第一数据流中待传输的报文。
34、在一种可能的实现方式中,收发模块,用于获取恢复信息,恢复信息指示恢复故障的故障链路或者通过恢复故障的故障链路传输的第一数据流中的至少一种;处理模块,用于根据恢复信息确定第四对应关系。
35、在一种可能的实现方式中,第一出端口和第二出端口通过第三通信装置和第四通信装置连接第二通信装置。
36、在一种可能的实现方式中,故障链路连接第一通信装置和第三通信装置,或者,故障链路连接第三通信装置和第四通信装置,或者,故障链路连接第四通信装置和第二通信装置。
37、在一种可能的实现方式中,第一通信装置和第三通信装置位于第一数据中心,第三通信装置位于第一数据中心的出口,第二通信装置和第四通信装置位于第二数据中心,第四通信装置位于第二数据中心的入口。
38、在一种可能的实现方式中,第一通信装置和第二通信装置为leaf交换机。
39、第四方面,提供了一种数据流传输设备,该设备包括处理器,处理器和存储器耦合,存储器用于存储至少一条指令,处理器用于加载并执行至少一条指令,以使数据流传输设备执行上述各方面中的方法。
40、在一种可能的实现方式中,该设备包括存储器。
41、第五方面,提供了一种计算机可读存储介质,计算机可读存储介质中存储有至少一条指令,指令由处理器加载并执行以实现上述各方面中的方法。
42、第六方面,提供了一种计算机程序(产品),计算机程序(产品)包括计算机程序/指令,计算机程序/指令被处理器执行,以使计算机实现上述各方面中的方法。
43、第七方面,提供了一种通信装置,该装置包括:收发器、存储器和处理器。其中,该收发器、该存储器和该处理器通过内部连接通路互相通信,该存储器用于存储指令,该处理器用于执行该存储器存储的指令,以控制收发器接收信号,并控制收发器发送信号,并且当该处理器执行该存储器存储的指令时,使得该处理器执行上述各方面中的方法。可选地,该通信装置可以是芯片。
44、可选地,处理器为一个或多个,存储器为一个或多个。
45、可选地,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
46、在具体实现过程中,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,rom),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本技术对存储器的类型以及存储器与处理器的设置方式不做限定。
47、第八方面,提供了一种芯片,包括处理器,用于从存储器中调用并运行存储器中存储的运行程序指令或代码,使得安装有该芯片的设备执行上述各方面中的方法。
48、第九方面,提供另一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,该处理器用于执行存储器中的代码,当代码被执行时,处理器用于执行上述各方面中的方法。
49、应当理解的是,上述第三方面或第七方面提及的装置可以为第八方面或第九方面提及的芯片,还可以为第四方面的数据流传输设备。本技术的第二方面至第九方面的技术方案及对应的可能的实现方式所取得的有益效果可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com