基于连接状态迁移的数据处理方法、系统、设备及介质与流程
本申请涉及计算机网络,具体涉及一种基于连接状态迁移的数据处理方法、系统、设备及介质。
背景技术:
1、目前,内容分发网络(content delivery network/content distributionnetwork,简称为cdn)与云服务商普遍采用开放最短路径优先(open shortest pathfirst,简称为ospf)协议配合等价多路径(equal-cost multi-path,简称为ecmp)策略实现四层负载均衡。
2、具体地,通常是由交换机根据传输控制协议(transmission control protocol,简称为tcp)连接的五元组进行哈希计算,以将来自客户端的请求流量均衡分发至集群的多台主机上。
3、然而,由于ospf协议/ecmp策略的哈希结果通常在整个tcp连接生命周期内保持不变,因此同一个连接所有的请求和响应均由同一台主机处理,这就使得该主机在处理多个大文件下载任务时其公网带宽可能被长时间占用(例如,当主机带宽较小或集群较小时容易产生此类不均衡情况,即恰好对应多个大文件下载的连接集中在某一台主机处理),从而导致该主机上其他正常请求响应缓慢甚至超时,严重制约了整体吞吐能力与实时响应性能,降低了数据处理效率并影响用户体验。
技术实现思路
1、鉴于现有技术中的上述缺陷或不足,期望提供一种基于连接状态迁移的数据处理方法、系统、设备及介质,该方法能够实现连接状态的动态迁移,以避免单个计算单元过载,从而提升整体的吞吐能力与实时响应性能。
2、第一方面,本发明提供了一种基于连接状态迁移的数据处理方法,应用于同一局域网内的多个计算单元,该方法包括:
3、控制第一计算单元监控客户端访问接口,当客户端访问接口的负载状态达到第一预设条件时,从当前处于活动状态的多个连接中确定目标迁移连接;其中,负载状态根据客户端访问接口的出口吞吐量和/或处于活动状态的应用层请求数量确定;
4、基于目标迁移连接的连接状态信息与待发送数据生成迁移数据包,并由第一计算单元将迁移数据包发送至第二计算单元;其中,第二计算单元与第一计算单元配置有相同的虚拟网络地址,且预先建立有数据传输通道;
5、控制第二计算单元通过数据传输通道接收迁移数据包,基于迁移数据包中的连接状态信息绑定目标迁移连接对应的端口,并将待发送数据发送至客户端。
6、在一种可能的实现方式中,第一预设条件包括:
7、客户端访问接口的出口吞吐量达到第一阈值,和/或
8、客户端访问接口处于活动状态的应用层请求数量大于第二阈值。
9、在一种可能的实现方式中,从当前处于活动状态的多个连接中确定目标迁移连接,包括:
10、遍历第一计算单元对应的当前处于活动状态的多个连接,获取每一连接的数据传输信息;
11、根据各个连接对应的数据传输信息,将数据传输模式与数据传输大小满足第二预设条件的连接确定为目标迁移连接。
12、在一种可能的实现方式中,目标迁移连接的连接状态信息的获取过程包括:
13、控制第一计算单元将目标迁移连接对应的通信接口设置为修复模式,并通过通信接口的参数读取方式,获取通信接口在内核中维护的连接状态信息;其中,连接状态信息至少包括:序列号信息、连接参数以及连接标识;
14、基于目标迁移连接的连接状态信息与待发送数据生成迁移数据包,包括:
15、将应用程序缓冲区中目标迁移连接未发送的末段数据确定为待发送数据,并对连接状态信息与待发送数据进行打包处理,形成迁移数据包。
16、在一种可能的实现方式中,第二计算单元接收到迁移数据包后,该方法还包括:
17、控制第二计算单元创建新的通信接口,并设置透明传输参数;
18、基于迁移数据包中的连接状态信息绑定目标迁移连接对应的端口,包括:
19、将新的通信接口设置为修复模式,通过新的通信接口的参数设置方式,将迁移数据包中的连接状态信息恢复至新的通信接口在内核中的状态,并将新的通信接口绑定至目标迁移连接对应的端口。
20、在一种可能的实现方式中,将待发送数据发送至客户端,包括:
21、控制新的通信接口退出修复模式,并由第二计算单元通过新的通信接口将待发送数据发送至客户端。
22、在一种可能的实现方式中,该方法还包括:
23、利用第一计算单元上的报文过滤规则,匹配来自客户端的后续请求报文并设置路由标记;
24、根据策略路由规则,将带有路由标记的报文关联至指定的独立路由表,并在独立路由表中设置指向第二计算单元的默认路由,以使后续请求报文转发至第二计算单元。
25、第二方面,提供了一种基于连接状态迁移的数据处理系统,其特征在于,应用于同一局域网内的多个计算单元,该系统包括:
26、第一处理单元用于,控制第一计算单元监控客户端访问接口,当客户端访问接口的负载状态达到第一预设条件时,从当前处于活动状态的多个连接中确定目标迁移连接;其中,负载状态根据客户端访问接口的出口吞吐量和/或处于活动状态的应用层请求数量确定;
27、发送单元用于,基于目标迁移连接的连接状态信息与待发送数据生成迁移数据包,并由第一计算单元将迁移数据包发送至第二计算单元;其中,第二计算单元与第一计算单元配置有相同的虚拟网络地址,且预先建立有数据传输通道;
28、第二处理单元用于,控制第二计算单元通过数据传输通道接收迁移数据包,基于迁移数据包中的连接状态信息绑定目标迁移连接对应的端口,并将待发送数据发送至客户端。
29、第三方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现上述第一方面中任一项的方法。
30、第四方面,提供了一种计算机程序产品,计算机程序产品中包含指令,当指令被运行时,上述第一方面中任一项的方法被执行。
31、本申请实施例提供的基于连接状态迁移的数据处理方法、系统、设备及介质,通过在客户端访问接口负载达到预设条件时动态迁移连接状态,将目标迁移连接的连接状态信息与待发送数据传输至其他计算单元,从而释放原计算单元的带宽资源,有效避免了资源分配僵化问题;基于此,本实施例具有能够动态迁移连接状态以避免单个计算单元过载,从而提升系统整体吞吐能力与实时响应性能的优点。
1.一种基于连接状态迁移的数据处理方法,其特征在于,应用于同一局域网内的多个计算单元,所述方法包括:
2.根据权利要求1所述的基于连接状态迁移的数据处理方法,其特征在于,所述第一预设条件包括:
3.根据权利要求1所述的基于连接状态迁移的数据处理方法,其特征在于,所述从当前处于活动状态的多个连接中确定目标迁移连接,包括:
4.根据权利要求1所述的基于连接状态迁移的数据处理方法,其特征在于,所述目标迁移连接的连接状态信息的获取过程包括:
5.根据权利要求1所述的基于连接状态迁移的数据处理方法,其特征在于,所述第二计算单元接收到所述迁移数据包后,所述方法还包括:
6.根据权利要求5所述的基于连接状态迁移的数据处理方法,其特征在于,所述将所述待发送数据发送至客户端,包括:
7.根据权利要求1所述的基于连接状态迁移的数据处理方法,其特征在于,所述方法还包括:
8.一种基于连接状态迁移的数据处理系统,其特征在于,应用于同一局域网内的多个计算单元,所述系统包括:
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com