容器环境下分布式唯一标识生成方法、装置、设备及介质与流程

摘要: 本技术涉及分布式集群处理,具体涉及一种容器环境下分布式唯一标识生成方法、装置、设备及介质。背景技术:1、在分布式微服务系统中,业务数据通常需要全局唯一标识(id...
容器环境下分布式唯一标识生成方法、装置、设备及介质与流程

本技术涉及分布式集群处理,具体涉及一种容器环境下分布式唯一标识生成方法、装置、设备及介质。

背景技术:

1、在分布式微服务系统中,业务数据通常需要全局唯一标识(id)作为数据库主键、业务流水号或消息标识。雪花算法(snowflake,一种分布式唯一id生成算法)凭借趋势递增、高性能、低存储开销等优势,成为java微服务体系下分布式唯一id的主流生成方案。雪花算法的核心依赖唯一的工作机器标识(workerid)区分不同服务实例,从根源避免分布式场景下id生成重复问题。

2、然而,在云原生kubernetes(k8s,容器编排系统)容器化部署架构中,pod(容器组,k8s中最小的可部署单元)具备动态扩缩容、节点漂移、重启重建、副本动态调度等特性,传统静态配置固定workerid的方式,极易出现多服务实例workerid冲突,直接引发数据库主键重复、业务流程报错、数据写入失败等生产故障。

3、为解决上述静态配置缺陷,当前行业主流改进方案,普遍采用zookeeper(zk,分布式协调集群)创建临时有序节点的方式,为每个pod动态分配唯一workerid,替代人工静态配置模式,一定程度适配了k8s容器动态调度特性。但该类纯中心化zk分配架构存在三大固有原生缺陷,始终无法有效解决生产高可用核心痛点,行业内仍存在技术瓶颈:

4、一是强依赖zk集群整体可用性,一旦zk集群宕机、网络分区、节点失联,服务启动后无法正常申请workerid,直接导致服务初始化失败、id生成功能完全不可用,无任何容灾降级兜底能力,生产故障风险极高;

5、二是网络短时抖动易引发zk会话超时,临时节点被误删除销毁,原有workerid被提前释放,新启动pod会重复分配到已在用workerid,依旧造成id批量重复,数据库主键冲突频发;

6、三是大规模k8s集群批量扩缩容场景下,大量pod同时竞争创建zk有序节点,中心化竞争压力大、分配延迟升高,集群横向扩展性能受限,无法适配业务快速弹性扩容需求。

7、由此可见,目前行业通用的zk中心化workerid分配方案,仅解决了人工静态配置的基础问题,未解决集群故障容灾、网络抖动id冲突、大规模扩容性能瓶颈等核心刚需,整体容错能力弱、稳定性不足。

8、因此,亟需一种适配k8s云原生环境、兼容现有zk运维体系,兼具中心化强一致分配与去中心化故障降级兜底能力的分布式唯一id生成改进方案。

技术实现思路

1、为解决上述问题,本技术实施例提供了一种容器环境下分布式唯一标识生成方法、装置、设备及介质。构建中心化分配与去中心化自治相结合的双模式自动切换架构,常态下依托分布式协调集群实现全局workerid统一强一致分配,保障集群运行规范有序;分布式协调集群故障或网络分区时自动无感降级至去中心化自治模式,解除对分布式协调集群的强依赖。在完全兼容原生雪花算法、业务零侵入、适配k8s全生命周期调度特性的前提下,解决分布式协调集群故障服务不可用、网络抖动导致雪花id重复、大规模集群扩容压力大等核心问题,全面提升分布式唯一id生成服务的整体可用性、容错能力与横向扩展性能。

2、本技术实施例采用下述技术方案:

3、第一方面,本技术提供了一种容器环境下分布式唯一标识生成方法,包括:

4、在容器环境下服务实例运行过程中,持续获取分布式协调集群的健康状态探测结果;

5、当探测结果为持续可用时,执行中心化分配模式,获取分布式协调集群为服务实例分配的工作机器标识,基于工作机器标识生成分布式唯一标识;

6、当探测结果为持续不可用时,执行去中心化自治模式,基于服务实例的环境固有标识生成工作机器标识,基于工作机器标识生成分布式唯一标识;

7、当探测结果由持续可用切换为持续不可用时,执行由中心化分配模式向去中心化自治模式的降级切换;

8、当探测结果由持续不可用切换为持续可用时,执行由去中心化自治模式向中心化分配模式的平滑回迁切换;

9、当探测结果在短时可用与短时不可用之间抖动时,在预设模式切换宽限期内维持当前执行模式,等待预设模式切换宽限期后判定是否执行降级切换或平滑回迁切换;

10、在中心化分配模式、去中心化自治模式以及二者切换过程中,基于共享状态对工作机器标识执行共享锁定占用校验,以避免同一工作机器标识被重复使用,共享状态用于记录工作机器标识的锁定占用状态。

11、第二方面,本技术还提供了一种容器环境下分布式唯一标识生成装置,包括:

12、状态探测单元,用于在容器环境下服务实例运行过程中,持续获取分布式协调集群的健康状态探测结果;

13、模式控制单元,用于当探测结果为持续可用时,执行中心化分配模式,获取分布式协调集群为服务实例分配的工作机器标识,基于工作机器标识生成分布式唯一标识;当探测结果为持续不可用时,执行去中心化自治模式,基于服务实例的环境固有标识生成工作机器标识,基于工作机器标识生成分布式唯一标识;当探测结果由持续可用切换为持续不可用时,执行由中心化分配模式向去中心化自治模式的降级切换;当探测结果由持续不可用切换为持续可用时,执行由去中心化自治模式向中心化分配模式的平滑回迁切换;当探测结果在短时可用与短时不可用之间抖动时,在预设模式切换宽限期内维持当前执行模式,等待预设模式切换宽限期后判定是否执行降级切换或平滑回迁切换;

14、锁定控制单元,用于在中心化分配模式、去中心化自治模式以及二者切换过程中,基于共享状态对工作机器标识执行共享锁定占用校验,以避免同一工作机器标识被重复使用,共享状态用于记录工作机器标识的锁定占用状态。

15、第三方面,本技术还提供了一种电子设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述容器环境下分布式唯一标识生成方法的步骤。

16、第四方面,本技术还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述容器环境下分布式唯一标识生成方法的步骤。

17、本技术实施例采用的上述至少一个技术方案能够达到以下有益效果:

18、第一,解除zk强依赖,容灾可用性大幅提升。区别于传统纯zk中心化架构无任何降级兜底能力的缺陷,本技术混合架构实现zk故障自动降级兜底,zk宕机、网络分区场景下服务仍可正常生成唯一id,不影响核心业务持续运行,适配企业生产高可用核心刚需,生产故障风险大幅降低。

19、第二,解决网络抖动引发的雪花id重复顽疾。通过会话宽限期缓冲、本地强锁定、全局冲突预校验三重防护机制,避免zk临时节点因网络抖动被误删除、workerid被误回收复用的问题,从实操层面有效减少数据库主键冲突、业务报错频发故障,分布式id生成稳定性显著提升。

20、第三,适配k8s云原生全调度特性,实现自动化运维零人工干预。兼容pod漂移、重启重建、动态扩缩容、副本调度等k8s核心运行场景,无需人工配置任何workerid参数,全流程自动分配、自动降级、自动回迁,运维成本大幅降低,集群弹性伸缩能力显著增强。

21、第四,分流zk集群运行压力,大规模集群横向扩展性提升。批量扩缩容场景下故障节点自动切换本地自治分配,减少zk节点创建竞争与网络交互开销,降低中心化集群负载,有效提升分布式id生成整体吞吐性能与大规模集群横向扩展能力。

22、第五,业务零侵入、兼容性强、落地成本低。底层仅封装id生成专属组件,完全兼容java微服务原生雪花算法使用方式,上层业务代码无需任何改造即可快速接入,适配各类微服务业务场景,落地部署简单便捷,企业推广应用门槛低。