一种数据传输方法、装置、系统、网关及存储介质与流程

本发明涉及通信领域，特别涉及一种数据传输方法、装置、系统、网关及存储介质。

背景技术：

1、随着全球化数字经济的发展，跨境办公、跨境电商、跨境文娱等场景对跨境网络传输的需求日益增长，vpn（virtual private network，虚拟专用网络）作为实现跨境安全通信的核心技术，被广泛应用于上述场景。跨境vpn的核心诉求是保障传输的可靠性、低延迟与高带宽利用率，同时需要兼顾业务隔离等功能。但跨境网络环境存在天然的复杂特性，现有的vpn传输方案存在高rtt（round-trip time，往返时延）、高丢包率等问题，因此如何实现一种更可靠的vpn传输方案成为目前急需解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据传输方法、装置、系统、网关及存储介质。其具体方案如下：

2、第一方面，本技术公开了一种数据传输方法，应用于数据传输系统中的任一网关，所述数据传输系统还包括客户端、服务器和至少一个代理，所述客户端和所述服务器均分别通过网关与所述代理进行数据传输；所述数据传输方法包括：

3、接收发送方发送的待传输数据，并将所述待传输数据分配至相应数据传输链路对应的逻辑通道的缓存队列；其中，不同数据传输链路预先分配有不同逻辑通道，各所述逻辑通道分别配置了对应的缓存队列；

4、基于各所述逻辑通道的缓存队列分别确定各所述逻辑通道需要传输的当前条目；

5、若接收方为服务器或客户端，将所有所述当前条目恢复为业务数据流，并发送所述业务数据流至所述接收方；

6、若接收方为代理，将所有所述当前条目封装为协议层数据报文，并发送所述协议层数据报文至接收方。

7、可选的，若所述发送方为代理，接收发送方发送的待传输数据，并将所述待传输数据分配至相应数据传输链路对应的逻辑通道的缓存队列，包括：

8、接收所述发送方发送的协议层数据报文；

9、解析所述协议层数据报文，以得到所述协议层数据报文中的各数据条目；

10、按照所述数据条目中的通道标识将各所述数据条目分别分配至相应数据传输链路对应的逻辑通道的缓存队列；

11、若所述发送方为客户端或服务器，接收发送方发送的待传输数据，并将所述待传输数据分配至相应数据传输链路对应的逻辑通道的缓存队列，包括：

12、接收所述发送方发送的业务数据流；

13、根据所述业务数据流对应的业务类型和/或业务重要级别将各所述业务数据流分配至相应数据传输链路对应的逻辑通道；

14、基于所述业务数据流和所述逻辑通道之间的分配关系，将各所述业务数据流封装为数据条目，并将所述数据条目缓存至对应的逻辑通道的缓存队列。

15、可选的，解析所述协议层数据报文之后，还包括：

16、提取所述协议层数据报文中包含的各数据条目；

17、解析各所述数据条目，得到所述数据条目对应的通道标识、条目序号和反向确认信息；所述反向确认信息为所述接收方对接收到的各所述数据条目进行校验后向发送方返回的；

18、基于所述通道标识、所述条目序号和所述反向确认信息调整各所述逻辑通道的待重传队列；

19、若存在任一逻辑通道的待重传队列达到预设重传条件，基于所述任一逻辑通道的待重传队列进行所述任一逻辑通道的重传。

20、可选的，基于所述通道标识、所述条目序号和所述反向确认信息调整各所述逻辑通道的待重传队列，包括：

21、基于所述通道标识、所述条目序号和所述反向确认信息确定各所述逻辑通道丢失的第一条目；所述第一条目的条目序号小于解析得到的所有条目序号、且未被所述反向确认信息覆盖；

22、按照对应的通道标识将所述第一条目分配至对应逻辑通道的待重传队列；

23、基于所述通道标识和所述反向确认信息确定所述接收方确认接收到的第二条目；

24、若所述待重传队列中存在所述第二条目，则从所述待重传队列中移除所述第二条目。

25、可选的，所述预设重传条件包括：

26、任一逻辑通道对应的反向确认信息持续一致的次数大于预设次数；

27、和/或，

28、任一逻辑通道对应的所述待重传队列中存在条目的保留时间超出所述任一逻辑通道的重传超时时间。

29、可选的，将所有所述当前条目封装为协议层数据报文，包括：

30、若所有所述当前条目均不支持合并传输，依次为各所述当前条目添加版本号和条目总数量，以分别将各所述当前条目封装为协议层数据报文；所述条目总数量为1；

31、若所有所述当前条目中存在支持合并传输的若干第三条目，确定支持合并传输的所有第三条目的总数量；

32、按照预设顺序排列所有所述第三条目；

33、在完成排列的字段最前方添加版本号和条目总数量，以将所述若干第三条目封装为协议层数据报文；所述条目总数量为所述所有第三条目的总数量。

34、可选的，按照预设顺序排列所有所述第三条目，包括：

35、若所述第三条目为待重传队列中的条目，按照各所述逻辑通道的优先级和所述第三条目的条目序号排列所有所述第三条目；其中，不同逻辑通道对应的待重传队列中的条目按照所述优先级排列；同一逻辑通道对应的待重传队列中的条目按照所述条目序号排列；

36、若所述第三条目不为待重传队列中的条目，按照所述第三条目对应的通道标识排列所有所述第三条目。

37、可选的，所述数据传输方法还包括：

38、根据业务优先级为所述协议层数据报文配置优先级标记；

39、在接收到待传输数据时，基于所述协议层数据报文的优先级标记确定所述协议层数据报文的发送顺序。

40、可选的，所述网关和所述代理均配置了与各所述逻辑通道一一对应的重排序窗口，所述重排序窗口被配置为接收乱序传输的数据条目；所述重排序窗口的大小基于对应的逻辑通道的优先级进行配置。

41、可选的，所述数据传输系统包括若干代理，任意两个相邻的代理通过网关进行数据传输；若发送方为代理，发送所述协议层数据报文至接收方，包括：

42、基于所述发送方确定的目标传输链路和/或发送速率发送所述协议层数据报文至接收方。

43、可选的，所述发送方确定目标传输链路的具体过程包括：

44、采集所有候选传输链路的链路指标；所述链路指标包括往返时延、丢包率、传输抖动、带宽利用率、稳定时长和历史故障率中的一种或多种组合；

45、基于所述链路指标确定各所述候选传输链路的质量评估结果；

46、按照所述质量评估结果确定目标传输链路，并将当前传输链路切换为目标传输链路。

47、可选的，基于所述链路指标确定各所述候选传输链路的质量评估结果，包括：

48、对于任一候选传输链路，分别为所述任一候选传输链路各所述链路指标配置对应的预设权重；

49、计算所有所述链路指标的加权结果，以得到所述任一候选传输链路的质量评估结果。

50、第二方面，本技术公开了一种数据传输装置，应用于数据传输系统中的任一网关，所述数据传输系统还包括客户端、服务器和至少一个代理，所述客户端和所述服务器均分别通过网关与所述代理进行数据传输；所述数据传输装置包括：

51、分配单元，用于接收发送方发送的待传输数据，并将所述待传输数据分配至相应数据传输链路对应的逻辑通道的缓存队列；其中，不同数据传输链路预先分配有不同逻辑通道，各所述逻辑通道分别配置了对应的缓存队列；

52、当前传输目标确定单元，用于基于各所述逻辑通道的缓存队列分别确定各所述逻辑通道需要传输的当前条目；

53、第一传输单元，用于若接收方为服务器或客户端，将所有所述当前条目恢复为业务数据流，并发送所述业务数据流至所述接收方；

54、第二传输单元，用于若接收方为代理，将所有所述当前条目封装为协议层数据报文，并发送所述协议层数据报文至接收方。

55、第三方面，本技术公开了一种数据传输系统，包括客户端、服务器和至少一个代理，所述客户端和所述代理之间通过网关进行数据传输，所述代理和所述服务器之间通过网关进行数据传输；

56、任一所述网关用于执行如前述所述的数据传输方法。

57、第四方面，本技术公开了一种网关，所述网关包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如前述所述的数据传输方法。

58、第五方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现如前述所述的数据传输方法。

59、本发明提供了一种数据传输方法、装置、系统、网关及存储介质，在客户端和服务器之间设置了至少一个代理来将整个数据传输路径划分为多个数据传输子路径，有效降低数据传输的rtt；同时对任一个数据传输子路径均预先配置了若干独立的逻辑通道，通过各逻辑通道独立的缓存队列设计方便实现业务数据传输过程中的隔离，同时所有逻辑通道的数据条目共用协议层数据报文的方式进行传输，既实现了业务隔离，又通过协议层会话聚合来提升传输资源利用率，通过逻辑通道和协议层会话的双层架构为数据传输过程中的路径切换提供支持，同时代理以数据条目为单位进行传输管理，有效降低数据传输过程中的丢包率。