基于连接迁移的数据库代理无损版本升级方法及存储介质

摘要: 本发明属于数据库,更具体地,涉及基于连接迁移的数据库代理无损版本升级方法及存储介质。背景技术:1、在云原生技术全面普及的背景下,云原生数据库已成为企业数字化业务...
基于连接迁移的数据库代理无损版本升级方法及存储介质

本发明属于数据库,更具体地,涉及基于连接迁移的数据库代理无损版本升级方法及存储介质。

背景技术:

1、在云原生技术全面普及的背景下,云原生数据库已成为企业数字化业务的核心数据存储中枢,而数据库代理中间件作为连接应用客户端与数据库集群的核心枢纽,凭借资源解耦、流量调度、协议解析、故障转移等核心能力,成为了高可用数据服务架构中不可或缺的组件。据统计,79%以上的企业在混合使用多类型数据库平台,进一步放大了代理中间件在统一流量入口、屏蔽底层架构复杂性上的不可替代性。

2、随着业务的快速迭代与安全合规要求的提升,部署在线上的数据库代理中间件面临着日益频繁的版本升级需求,包括高危安全漏洞修复、新协议特性引入、性能优化迭代等。但数据库代理进程通常需要同时维持海量客户端的活跃tcp长连接,这种“重状态”特性给版本升级带来了极大的风险与挑战,代理版本升级的稳定性,直接决定了整个数据访问链路的业务连续性。

3、目前主流的代理版本升级方案主要分为两类,均存在显著的技术缺陷:第一类是停机升级方案,以开源redis代理twemproxy为典型代表,其操作流程为停止旧版本代理进程,替换新版本二进制文件后重启服务。该方案会导致旧进程持有的所有tcp连接被内核强制复位,海量连接的集体断开会引发严重的“重连风暴”,瞬间耗尽后端数据库的连接资源与cpu配额,造成服务中断与业务降级,仅能在业务低谷期的运维窗口执行,无法适配7×24小时不间断运行的全球化业务。

4、第二类是滚动升级方案,以codis、oceanbase的obproxy为典型代表,通过新旧代理实例并行服务,借助注册中心将新建连接路由至新实例,旧实例停止接收新请求,等待存量连接自然断开后优雅下线。该方案虽避免了全集群同时中断服务,但面对数据库典型的长连接场景,旧进程往往需要数小时甚至数天才能排空存量连接,升级周期被无限拉长,若强制终止旧进程,仍会造成存量连接异常中断。此外,滚动升级方案中,新旧进程并行监听同一端口时,内核默认的哈希分配策略仍会将部分新建连接分配给即将关闭端口的旧进程,导致客户端建连失败,形成有损中断窗口。

5、除此之外,现有针对连接迁移的相关研究,大多聚焦于服务器间的故障转移场景,需要通过网络全栈传输连接全量上下文,传输开销大、延迟高,无法直接适配同主机内代理进程的版本升级场景;而quic、sctp等传输层协议虽原生支持连接迁移,但主流数据库客户端与服务端尚未广泛支持,无法解决数据库会话的应用层状态恢复问题,难以落地应用。

6、综上,现有技术无法同时解决数据库代理中间件版本升级过程中,内核层增量连接有损分配、系统调用层存量连接重建性能瓶颈的问题,难以满足云原生业务对代理升级“业务透明无损、系统轻量高效”的核心要求。

技术实现思路

1、针对现有技术的缺陷和改进需求,本发明提供了基于连接迁移的数据库代理无损版本升级方法及存储介质,其目的在于,通过连接状态的跨进程平滑迁移实现代理版本的无损升级,同时解决升级过程中新建连接分配失败、存量连接迁移开销大的问题,在对上层业务零感知的前提下,实现代理中间件快速、低开销、全量连接的版本升级。

2、为实现上述目的,按照本发明的一个方面,提供了一种基于连接迁移的数据库代理无损版本升级方法,包括:

3、系统初始化后,进入正常状态;在正常状态下,按照默认分配策略分配用于新建连接的线程;

4、在正常状态下,接收到升级指令后,启动新代理,并进入准备状态;在准备状态下,进行系统环境验证,准备ebpf字节码,并预分配加载ebpf程序所需系统资源;

5、在准备状态下,系统环境验证通过后,进入激活状态;在激活状态下,加载ebpf程序,通过所加载的ebpf程序修改线程分配策略,使得接收到新建连接的请求后,以轮询的方式将新建连接的任务分配给新代理中的线程,并将旧代理中的连接迁移至新代理中;

6、在激活状态下,当旧代理中的线程均被关闭时,进入监控状态;在监控状态下,检查新代理中各线程的健康状态;

7、在监控状态下,检测新代理中各线程的健康状态均符合要求时,卸载所加载的ebpf程序,清理ebpf程序所占用的资源,并恢复正常状态;

8、在任一状态下,发生异常时,进入回退状态;在回退状态下,卸载所加载的ebpf程序,按照默认分配策略分配用于新建连接的线程;当异常解除时,恢复正常状态;

9、其中,默认分配策略按照连接的五元组中的线程号分配用于新建连接的线程。

10、进一步地,旧代理的线程与新代理的线程依次连续编号;

11、并且,在准备状态下,还包括:

12、初始化轮询指针为current_pos=0;

13、并且,在激活状态下,接收到新建连接的请求后,以轮询的方式将新建连接的任务分配给新代理中的线程,包括:

14、按照si=(n-k)+current_pos计算用于新建连接的线程号si,并将新建连接任务分配给线程si;

15、当旧代理中的某一个线程上的连接均迁移至新代理后,关闭该线程,将所有线程的编号相应调整,使得旧代理的线程与新代理的线程依次连续编号,并按照current_pos=(current_pos + 1) %m更新轮询指针;

16、其中,n为旧代理中原有的线程数,m为新代理的线程数,k为旧代理中已关闭的线程数,“%”表示取模运算。

17、进一步地,在激活状态下,将旧代理中的连接迁移至新代理中,包括:

18、在旧代理中,对于每个待迁移的连接,执行以下步骤:

19、s1:将待迁移的连接元数据序列化为字节流;

20、s2:将字节流切割为多个数据块,每个数据块的大小不超过最大包长度减去固定头部大小;

21、s3:为每个数据块构造数据包头部,将数据包头部和数据块封装为数据包;对于最后一个数据包,分配辅助数据缓冲区,并在其中填入连接的五元组对应的文件描述符;

22、s4:调用sendmsg通过unix socket向新代理发送各数据包;

23、其中,数据包头部记录的信息包括:数据包长度packet_len、数据包类型packet_type、数据包序号packet_no、最后一个数据包标识flags、连接的唯一标识conn_id和连接类型conn_type;

24、在新代理中,循环调用recvmsg从unix socket接收旧代理发送的数据包,将同一连接对应的数据包中的数据块按顺序拼接后反序列化,得到连接元数据;从辅助数据缓冲区中提取文件描述符;使用文件描述符和连接元数据重建连接对象,完成该连接的迁移。

25、进一步地,在新代理中,循环调用recvmsg以接收旧代理发送的数据包,将同一连接对应的数据包中的数据块按顺序拼接后反序列化,得到连接元数据;从辅助数据缓冲区中提取文件描述符;使用文件描述符和连接元数据重建连接对象,完成该连接的迁移,包括:

26、维护一个哈希表,哈希表以连接标识conn_id为键,用于存储每个连接当前已接收到的数据块列表和已接收的包序列号位图;循环调用recvmsg以接收旧代理发送的数据包;对于接收到的每一个数据包,执行以下步骤:

27、r1:解析数据包头部,以提取数据包头部记录的信息;

28、r2:根据解析得到的conn_id查找对应的连接缓存结构,若不存在,则新建对应的连接缓存结构;

29、r3:将数据包中的数据块存储对应的连接缓存结构,并更新哈希表;

30、r4:根据解析得到的flags判断所接收到的数据包是否是连接中的最后一个数据包,若是,则转入r5;否则,转入r6;

31、r5:根据哈希表判断同一连接中的数据包序号是否连续,若是,则将对应的连接缓存结构中数据块按顺序拼接后进行反序列化,得到连接元数据;从辅助数据缓冲区中提取文件描述符;使用文件描述符和连接元数据重建连接对象,完成该连接的迁移,并从哈希表中移除相应的连接信息;

32、r6:当前数据包的处理结束。

33、进一步地,在旧代理中,同一连接的数据包按顺序发送,且多个连接的数据包交织发送。

34、进一步地,在准备状态下,还包括:

35、给旧代理发送信号使其关闭管控端口;

36、给新代理发送信号使其与旧代理监听相同的数据端口和管控端口;

37、给旧代理发送信号使其关闭数据端口;

38、并且,在激活状态下,将旧代理中的连接迁移至新代理中之前,还包括:

39、给新代理发送信号使其监听预设的unix socket端口;

40、旧代理通过新代理监听的unix socket端口发送数据包;

41、并且,在激活状态下,当旧代理中的线程均被关闭时,进入监控状态之前还包括:

42、给新代理发送信号使其关闭unix socket端口,并给旧代理发送信号使其关闭进程。

43、进一步地,本发明提供的基于连接迁移的数据库代理无损版本升级方法,还包括:基于多级异常处理与重试机制保证连接迁移的原子性和数据完整性;多级异常处理与重试机制包括:

44、在旧代理中:

45、若调用sendmsg后返回临时性错误信息,则采用指数退避策略进行重试,重试次数不超过预设的重试上限;

46、若调用sendmsg后返回致命错误信息,或重试次数达到重试上限后仍失败,则判定当前批次的迁移失败,关闭当前批次中已尝试发送的所有文件描述符,并将当前批次中的所有连接标记为“连接失败”,当前批次中未迁移的连接保留在旧代理中服务,并记录错误日志;

47、若当前批次的迁移经过设定的超时阈值后未接收到新代理返回的确认消息,则判断相应的文件描述符是否被关闭,若是,则放弃迁移;若否,则重新执行s1~s4以对相应的连接进行重传;

48、在新代理中:

49、若数据包头部中的packet_len和packet_type验证不通过,或者同一连接对应的数据包的packet_no不连续,则丢弃所接收到的数据包,并向旧代理发送错误响应;

50、若发现连接对应的文件描述符不存在,则关闭已接收的所有文件描述符,并向旧代理发送错误响应;

51、若重建连接对象时,资源不足或连接状态异常,则关闭对应的文件描述符,并仅对重建成功的连接发送确认响应;对于重建失败的连接,向旧代理发送重传响应或放弃重建。

52、进一步地,在激活状态下,将旧代理中的连接迁移至新代理中之前,还包括:判断是否满足迁移条件,若是,则创建多个无锁的迁移队列,每个迁移队列与一个连接类型相对应,按照连接类型将旧代理中的各连接放入相应的迁移队列;若否,则禁止迁移;

53、维护一个定时器,每当定时器超时时,将所有迁移队列中的连接组织为一个批次,进行迁移,并将定时器清零;

54、其中,迁移条件包括:来自客户端的请求处于旧代理中,未成功传递给数据库或客户端。

55、进一步地,若待迁移的连接为事务类型连接,且连接上请求处于事务中,则在执行s1~s4对该连接进行迁移之前,还包括:在其元数据中标记“正在进行事务”,并将该事务还未提交的前序命令集合加入到迁移元数据中;

56、若待迁移的连接为携带过期时间的常规命令,则在过期时间达到前不对其进行迁移,在过期时间达到后,通过s1~s4对其进行迁移;

57、若待迁移的连接为订阅类型连接,则在执行s1~s4对该连接进行迁移时,s1和s2之间还包括:将该连接所绑定的各数据库侧连接信息进行序列化为字节流;

58、若待迁移的连接为监控类型连接,则在执行s1~s4对该连接进行迁移时,s1和s2之间还包括:将该连接所绑定的数据库侧连接信息进行序列化为字节流。

59、按照本发明的又一个方面,提供了一种计算机可读存储介质,包括存储的计算机程序;计算机程序被处理器执行时,实现本发明提供的基于连接迁移的数据库代理无损版本升级方法。

60、总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:

61、(1)本发明采用连接迁移的方式进行数据库代理中间件版本升级,能够通过连接连接状态的跨进程平滑迁移实现代理版本的无损升级,在此基础上,本发明利用ebpf来强制修改内核的连接分配策略,将新建连接都分配新代理中的线程,保证版本升级期间不会出现重建连接失败的情况,有效解决了传统升级方法中新建连接分配失败的问题。总体而言,本发明能够同时解决升级过程中新建连接分配失败、存量连接迁移开销大的问题,在对上层业务零感知的前提下,实现代理中间件快速、低开销、全量连接的版本升级。

62、(2)本发明在利用ebpf来强制修改内核的连接分配策略的基础上,采用轮询的方式动态计算用于执行新建连接任务的线程号,能够进一步实现新代理线程间的负载均衡。

63、(3)本发明在旧代理中对待迁移的连接元数据进行序列化后,将其划分为网络数据包,并调用sendmsg通过unix socket向新代理发送数据包;与此同时,新代理调用recvmsg通过unix socket接收旧代理发送的数据包,实现了轻量级的连接迁移,解决了传统的滚动升级方案中出现的连接重建瓶颈问题。在此基础上,本发明令同一连接对应的一系列数据包中的最后一个数据包携带描述符fd作为分隔符,避免了在数据流中插入额外的分隔符,且无需在接收端进行复杂的边界扫描,极大程度上节省了传统分包方法总尾部标识信息所消耗的内存。

64、(4)本发明在旧代理中将多个连接的数据包交织发送,并使同一连接的数据包按顺序发送,在保证新代理可准确重建连接的情况下提高发送效率。

65、(5)本发明提出了多级异常处理与重试机制针对旧代理和新代理中出现的异常情况设计了具体的识别和处理手段,可有效保证连接迁移的原子性和数据完整性。

66、(6)本发明针对特殊连接的具体特性设计了相应的迁移规则,保证了特殊连接迁移到新代理后,可由新代理完成连接重建,解决了传统的滚动升级方案中的特殊连接语义丢失问题。