基于元数据驱动与持久化状态机的大数据组件DAG编排部署方法及系统与流程

摘要: 本技术涉及大数据集群自动化部署与任务编排调度,尤其涉及一种基于元数据驱动与持久化状态机的大数据组件dag编排部署方法及系统。背景技术:1、随着大数据技术的快速发...
基于元数据驱动与持久化状态机的大数据组件DAG编排部署方法及系统与流程

本技术涉及大数据集群自动化部署与任务编排调度,尤其涉及一种基于元数据驱动与持久化状态机的大数据组件dag编排部署方法及系统。

背景技术:

1、随着大数据技术的快速发展,大规模集群环境中需要部署数十种具有复杂依赖关系的大数据组件,包括分布式协调服务、分布式存储系统、分布式计算引擎、消息队列、数据仓库等。这些组件之间存在复杂的启动依赖关系,部署过程涉及安装、配置、启动、停止、升级等多种生命周期操作,传统的人工部署方式效率低下、容易出错,已无法满足大规模集群自动化运维的需求。

2、现有技术中,dag(有向无环图,directedacyclicgraph)编排已被用于软件升级、电力数据处理、工业自动化等领域,其共性特征是:先构建任务依赖图,再进行拓扑排序,最后按序执行。然而,上述方案均针对特定领域的任务执行流程,并未解决大数据集群组件部署场景中的核心问题。

3、具体而言,现有技术主要存在以下缺点:

4、1.扩展需编码:现有方案需通过编程方式定义任务节点和依赖关系,新增组件或服务时需要修改调度代码,无法实现声明式"零代码"扩展。随着大数据组件种类不断增加,系统对开发资源的依赖显著加剧,导致迭代周期长、响应速度慢。

5、2.优先级维度单一:现有方案通常仅支持任务级别或节点级别的单一优先级排序,缺少服务间依赖、角色类型(管理节点/计算节点/客户端)、实例排序、处理器匹配等多层优先级协同机制。在大规模集群中,不同角色类型的节点具有不同的启动顺序要求,单一优先级无法有效协调复杂的服务依赖关系。

6、3.失败恢复粒度粗:现有方案在任务执行失败后,通常需要全部重新执行或仅支持简单的重试计数,缺少基于持久化dag状态机的选择性断点续传能力,即仅重新执行失败和被取消的节点,已成功节点自动跳过。在大规模部署场景中,若在最后环节失败,传统方案需全部重跑,恢复效率低下。

7、4.状态校验时机僵化:现有方案通常在单个任务执行后立即校验结果,无法根据同类节点整体执行情况进行灵活的延迟状态校验和快速检查优化。对于安装、启动等需要等待生效的操作,立即校验往往无法准确反映实际状态,导致误判或不必要的等待。

8、有鉴于此,有必要提出一种基于元数据驱动与持久化状态机的大数据组件dag编排部署方法及系统,以解决上述问题。

技术实现思路

1、本技术的目的在于提出一种基于元数据驱动与持久化状态机的大数据组件dag编排部署方法及系统,通过声明式的服务元数据描述文件定义每个组件的完整生命周期信息,由编排引擎自动解析依赖关系并构建dag,在dag执行过程中应用多粒度优先级排序策略和持久化状态机,实现高效、可靠、可恢复的自动化部署,有效提高了大数据组件部署的效率、灵活性和可靠性。

2、第一方面,本技术提出了一种基于元数据驱动与持久化状态机的大数据组件dag编排部署方法,所述方法包括:

3、接收用户选择的大数据组件列表;

4、对所述列表中的每个组件,自动加载其对应的元数据描述文件,从所述元数据描述文件中提取依赖声明字段,以每个组件为dag节点、以所述依赖声明字段定义的依赖关系为有向边,自动构建服务级有向无环图g=(v,e),其中v为服务节点集合,e为有向边集合;

5、对所述服务级有向无环图进行环检测,在存在循环依赖的情况下拒绝执行并提示修正,在不存在循环依赖的情况下进行拓扑排序,将节点划分为多个执行层级,同一层级内的节点无相互依赖关系;

6、判断当前执行是否为重试模式,在首次执行的情况下从第一层级开始按序执行,在重试模式的情况下从持久化存储中加载每个dag节点v的执行状态state(v),遍历所有节点,将state(v)为failed或cancel的节点重置为pending状态,将state(v)为success的节点保持成功状态并自动跳过,执行起点定位至存在pending节点的最小层级;

7、对当前层级中未执行的服务节点s_i的角色集合r(s_i)={r_i1,r_i2,...,r_im}执行多粒度优先级排序,所述多粒度优先级排序包括:基于当前操作类型的角色类型t(r_ij)排序、基于排序序号o(r_ij)的角色排序、基于主机维度的实例排序以及基于处理器优先级值p(h_k)的处理器匹配排序;

8、按所述多粒度优先级排序确定的顺序,对每个角色组逐个执行所述角色在各主机上的实例,在任一实例执行失败的情况下立即终止当前角色组的后续实例执行;

9、对于安装、启动、升级、重启命令类型,在当前角色组所有实例执行完毕后统一进行延迟状态校验,记录成功实例数量successcount和总实例数量rolelist.size,在successcount等于rolelist.size的情况下执行标准状态校验,在successcount小于rolelist.size的情况下将校验策略降级为快速检查;

10、汇总当前服务节点所有角色组的执行结果,在所有角色组均执行成功的情况下将当前dag节点v的状态标记为success并持久化存储,在任一角色组执行失败的情况下将当前dag节点v的状态标记为failed并持久化存储,同时遍历所述当前节点的所有下游节点并将其状态标记为cancel并持久化存储。

11、可选地,所述自动构建服务级有向无环图g=(v,e),包括:

12、从所述元数据描述文件中解析每个服务s_i的依赖服务集合d(s_i);

13、以所述用户选择的大数据组件列表s={s_1,s_2,...,s_n}中的每个服务s_i为顶点,以所述依赖服务集合d(s_i)定义的服务间依赖关系为有向边,构建所述服务级有向无环图g=(v,e);

14、对所述服务级有向无环图执行环检测算法,在检测到环结构的情况下输出循环依赖提示信息并终止执行,在未检测到环结构的情况下执行拓扑排序,生成层级化的执行序列。

15、可选地,所述判断当前执行是否为重试模式,包括:

16、读取重试模式标志isretry,在isretry为false的情况下判定为首次执行,在isretry为true的情况下判定为重试模式;

17、在所述重试模式下,从所述持久化存储中加载所述服务级有向无环图中每个节点v的历史执行状态state(v),所述state(v)的取值集合为{pending,running,success,failed,cancel};

18、遍历所述服务级有向无环图的所有节点,对于state(v)∈{failed,cancel}的节点,将其状态重置为pending,对于state(v)=success的节点,保持其状态不变;

19、将执行起点定位至包含pending状态节点的最小层级,已成功层级自动跳过。

20、可选地,所述对当前层级中未执行的服务节点s_i的角色集合r(s_i)={r_i1,r_i2,...,r_im}执行多粒度优先级排序,包括:

21、第一层排序:基于当前操作类型对角色类型t(r_ij)进行排序,在所述操作类型为安装、启动、重启或升级的情况下,按管理节点、客户端、工作节点的正序排列,在所述操作类型为停止的情况下,按工作节点、客户端、管理节点的反序排列;

22、第二层排序:在同一角色类型内,按各角色的排序序号o(r_ij)升序排列,所述排序序号o(r_ij)由所述元数据描述文件的sortnum字段定义,默认值为最大整数值;

23、第三层排序:在同一角色内,按主机维度对角色实例进行排序并逐个执行;

24、第四层排序:对于安装操作,通过处理器集合h={h_1,h_2,...,h_p}中各处理器的优先级值p(h_k)进行匹配竞争,优先级值p(h_k)越小的处理器优先获得匹配权,形成处理器spi优先级链。

25、可选地,所述角色类型t(r_ij)包括管理节点角色、客户端角色和工作节点角色,所述管理节点角色对应集群管理功能,所述客户端角色对应客户端访问功能,所述工作节点角色对应数据计算或存储功能;

26、所述管理节点角色的基数约束为"1+",所述工作节点角色的基数约束为"3+"。

27、可选地,所述处理器spi优先级链应用于共享安装包场景,在所述共享安装包场景下,高优先级处理器执行安装包下载、解压、权限设置和软链接创建操作,低优先级处理器检测到安装包已解压后直接复用已解压内容并跳过解压步骤。

28、可选地,所述按所述多粒度优先级排序确定的顺序,对每个角色组逐个执行所述角色在各主机上的实例,包括:

29、通过分布式通信框架将操作命令从管理节点异步分发至目标工作节点;

30、所述工作节点接收所述操作命令,执行具体的组件生命周期操作,并将执行结果返回所述管理节点;

31、在所述管理节点接收到当前实例执行成功的结果的情况下,继续执行同角色组的下一个实例,在接收到当前实例执行失败的结果的情况下,立即终止当前角色组的后续实例执行并记录失败信息。

32、可选地,所述工作节点执行的组件生命周期操作,包括:

33、从包存储下载安装包并执行增量校验,所述增量校验通过md5签名比对实现;

34、在所述md5签名比对通过的情况下,执行解压到目标目录、设置权限、创建软链接、渲染配置模板中的至少一项操作;

35、执行资源策略配置、启动操作、停止操作或状态检查操作,并将操作结果返回所述管理节点。

36、可选地,所述在当前角色组所有实例执行完毕后统一进行延迟状态校验,包括:

37、记录所述当前角色组的成功实例数量successcount和总实例数量rolelist.size;

38、在successcount等于rolelist.size的情况下,对每个成功实例执行标准状态校验,所述标准状态校验采用轮询检查机制,轮询次数为n次,每次间隔t秒,n和t为可配置参数;

39、在successcount小于rolelist.size的情况下,将所述校验策略降级为快速检查,所述快速检查的轮询次数降为1次,取第一个校验失败的结果作为所述角色组的最终结果;

40、在所述标准状态校验或所述快速检查通过的情况下,执行后置逻辑,所述后置逻辑包括保存安装元数据和更新服务运行状态。

41、可选地,所述汇总当前服务节点所有角色组的执行结果,包括:

42、在所述当前服务节点的所有角色组均执行成功的情况下,将所述当前dag节点v的状态标记为success并持久化存储,检查是否存在未执行的服务层级,在存在未执行层级的情况下返回执行所述多粒度优先级排序步骤,在不存在未执行层级的情况下判定dag执行完成;

43、在所述当前服务节点的任一角色组执行失败的情况下,将所述当前dag节点v的状态标记为failed并持久化存储,遍历所述当前节点的所有下游节点,将所述下游节点的状态标记为cancel并持久化存储,所述被标记为cancel的节点在下一次重试时被选择性恢复。

44、第二方面,本技术还提出了一种基于元数据驱动与持久化状态机的大数据组件dag编排部署系统,所述系统包括:

45、元数据管理模块,配置为加载、解析和管理json格式的服务元数据描述文件,将所述元数据描述文件解析为内部数据结构;

46、dag编排引擎,配置为根据用户选择的服务列表和所述元数据描述文件中的依赖声明,自动构建服务级有向无环图g=(v,e),执行环检测和拓扑排序,并以持久化方式存储节点和边的关系;

47、优先级调度模块,配置为在dag分层执行的基础上,对同层节点内部的执行顺序进行多粒度优先级控制;

48、状态机持久化模块,配置为将每个dag节点的执行状态state(v)持久化存储,在重试时加载已持久化的状态并选择性跳过已成功节点;

49、命令分发模块,配置为通过分布式通信框架将操作命令从管理节点异步分发至工作节点,并接收所述工作节点回传的执行结果;

50、工作节点,配置为接收所述管理节点下发的命令,执行具体的组件生命周期操作并将结果返回。

51、可选地,所述元数据描述文件,包括:

52、服务唯一标识、依赖列表、多架构安装包映射、角色定义、配置生成器定义和参数定义;

53、所述角色定义包括角色类型、基数约束、启动命令、停止命令、状态检查命令和资源策略;

54、所述多架构安装包映射包括x86_64架构和aarch64架构对应的包名映射。

55、第三方面,本技术还提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现一种基于元数据驱动与持久化状态机的大数据组件dag编排部署方法的步骤。

56、相对于现有技术,本技术提供的一种基于元数据驱动与持久化状态机的大数据组件dag编排部署方法、系统及计算机可读存储介质,通过元数据驱动实现组件声明式定义,利用持久化状态机支持断点续传,采用多粒度优先级排序优化执行顺序,并实施延迟状态校验策略提升校验效率,具有实现声明式零代码扩展,支持服务间依赖、角色类型、实例维度及处理器匹配的多层优先级协同控制,提供基于持久化状态的选择性断点续传功能,并根据同类节点执行结果动态优化状态校验策略,从而显著提升大数据组件部署的自动化水平、执行效率和系统可靠性。