一种长连接负载均衡管理方法与流程
本发明涉及云计算与网络通信,更具体的说是涉及一种长连接负载均衡管理方法,尤其涉及一种在kubernetes(k8s)容器编排环境中,针对运行自研tcp长连接协议的客户端,实现负载均衡与健康管理方法。
背景技术:
1、随着云计算技术的发展,应用部署逐渐从物理机迁移至容器化环境,通过操作系统层虚拟化实现应用及其依赖的隔离与打包,显著提升了交付效率与资源利用率。然而,当容器规模扩大时,单纯的容器化面临管理难题,由此引入了k8s容器编排系统,以实现容器的自动化部署、扩缩容及生命周期管理。
2、在k8s环境下,针对tcp长连接服务(如即时通讯、物联网iot、金融行情推送等场景),传统的service负载均衡机制存在以下显著缺陷:一旦tcp三次握手完成,连接路径即被固定,无法感知后端pod的就绪状态变化,导致流量无法动态迁移。
3、虽然headless service(无头服务)允许客户端通过dns解析获取所有后端pod ip地址,实现客户端侧负载均衡,但存在以下问题:客户端域名解析模块通常会缓存dns记录(如30秒),当pod下线或变为未就绪(not ready)状态时,dns记录更新存在延迟,导致客户端仍尝试连接失效节点;在采用自研的高性能网络库的场景中,为了性能通常采用连接池复用长连接,若某个pod异常崩溃,连接池中的“幽灵连接”将无法被及时清理,导致数据发送失败。
4、更重要的是,客户端dns域名解析模块仅能确认pod的网络协议栈可达性或service的逻辑存在性,无法感知容器内应用进程(尤其是自研tcp协议服务)的真实存活状态(如死锁导致的假死),从而导致负载分配盲目。
5、现有技术中,解决上述问题通常依赖服务网格(service mesh)的sidecar代理(如envoy),但这引入了额外的资源消耗和网络跳转延迟,对于采用任何编程语言开发、但对时延极度敏感的底层服务而言代价过高。
6、因此,亟需一种能够解决上述技术问题的方案。
技术实现思路
1、鉴于上述问题,本发明提出了一种长连接负载均衡管理方法,旨在克服上述问题或者至少部分解决上述问题。为了实现上述目的,本发明采用如下技术方案:
2、本发明实施例提供的一种长连接负载均衡管理方法,步骤包括:
3、获取对headless service域名解析得到的后端pod ip地址集合,构建第一端点快照;
4、基于所述第一端点快照中的pod ip地址建立tcp连接,并将建立完成的pod ip地址加入活跃连接池;
5、按预设周期对所述headless service域名进行间隔解析,根据所得新的pod ip地址集合构建第二端点快照;
6、比对所述第二端点快照与所述第一端点快照,若pod ip地址集合一致,保留现有连接;若pod ip地址下线,将下线pod ip地址对应的连接标记为只读并移入排干连接池,在满足预设排干条件后关闭当前下线pod ip地址对应的连接;若新增上线pod ip地址,建立与上线pod ip地址的连接,并对新建连接执行应用层预热,若预热通过将所述新建连接加入所述活跃连接池;
7、将所述第二端点快照作为新的第一端点快照,用于下一周期的比对。
8、优选地,若pod ip地址集合一致,保留现有连接,包括:对于pod ip地址无变化的连接,根据健康得分进行流量软降级,步骤包括:
9、当健康得分不小于第一阈值时,判定对应的连接处于健康状态,充分承载流量;
10、当健康得分大于等于第二阈值且小于等于第一阈值时,判定对应的连接处于亚健康状态,减少流量压力,为恢复预留时间;
11、当健康得分小于第二阈值时,判定对应的连接处于熔断状态,强制将当前连接从活跃连接池迁移至排干连接池;其中第一阈值大于第二阈值。
12、优选地,所述健康得分通过如下方式获得:
13、
14、式中,为连接在当前周期的健康得分,为连接在上一周期的健康得分,为平滑衰减因子,为理想健康基面,为相对理想健康基面的偏离惩罚。
15、作为优选,对所述健康得分进行饱和截断处理,以限制在有效区间。
16、优选地,所述相对理想健康基面的偏离惩罚通过如下步骤确定:
17、若检测到tcp重传,定义为传输层拥堵惩罚,表示为,为重传次数,为拥塞惩罚基准权重;
18、若运行心跳时延高于预设心跳阈值,定义为应用层延迟惩罚,表示为:
19、
20、其中,为运行心跳时延,为预设心跳阈值,为延迟敏感因子;
21、若心跳正常且运行心跳时延低于预设心跳阈值,定义为健康恢复奖励,表示为,为恢复信用步长。
22、优选地,当所述pod ip地址集合一致时,重置本地静默计时器,当所述本地静默计时器静默时间超过预设时长时,强制对所述活跃连接池中全部连接进行健康得分探测,当探测结果小于所述第二阈值时,将所述探测结果对应的连接迁移至排干连接池。
23、所述预设时长大于所述预设周期。
24、优选地,所述预设排干条件,包括:
25、设定老化窗口期,当所述老化窗口期结束且无未决请求时,将下线pod ip地址对应的连接迁移至关闭状态;
26、所述老化窗口期为固定值与当前连接上最长未决请求超时时间中的较大值。
27、优选地,对新建连接执行应用层预热,包括:
28、将新建连接加入准入连接池,并向所述新建连接发送携带时间戳的 ping 帧消息;
29、当基线往返时延小于预设阈值且能正确解析ping帧,则判定当前新建连接通过预热,将所述新建连接从所述准入连接池移入所述活跃连接池;
30、若基线往返时延大于预设阈值或未收到pong 帧预期响应,重试发送ping 帧消息,当重试次数达到预设次数仍未通过,将所述新建连接移入所述排干连接池。
31、优选地,当新增上线pod ip地址时,若所述活跃连接池中连接数量已达到活跃连接池的最大容量,则拒绝新建连接。
32、优选地,比对所述第二端点快照与所述第一端点快照,包括:以端点快照版本号为索引进行比对,其中所述第一端点快照绑定有第一版本号,所述第二端点快照绑定有第二版本号,所述第二版本号为基于所述第一版本号单调自增生成的逻辑时钟。
33、优选地,同一pod ip地址被移入排干连接池后,若在后续连续若干快照版本内,消失或出现状态跳变次数达到设定阈值,则忽略当前pod ip地址在后续快照中的出现通知,并将当前pod ip地址强制维持在排干连接池进行冷却,冷却结束后允许重连。
34、本发明实施例提供了一种长连接负载均衡管理方法,通过周期性解析headlessservice域名,将获取的pod ip地址集合封装为具备版本号的端点快照,并以此为基础执行多级连接管理。本发明中dns解析结果仅作为候选而非立即可用端点,即当检测到新旧端点快照存在差异时,不仅执行ip集合的增删运算,进一步将该差异作为触发信号,启动对候选端点连通性及可信度的全量重评估,从而有效规避传统dns服务发现中解析可达但实际不可用的盲区。同时,针对活跃连接池中的长连接,本发明实时监测其传输质量,采用健康计分与调度权重相分离的架构设计,依据健康评分动态调整调度权重,确保流量切换过程的平滑性与稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com