动态依赖图构建方法及基于动态依赖图的依赖分析方法与流程
本技术涉及大数据处理,特别涉及一种动态依赖图构建方法及基于动态依赖图的依赖分析方法。
背景技术:
1、随着大数据分布式任务调度系统的规模日益扩大,任务数量可达数千甚至上万,任务之间通过数据流转和调度依赖形成复杂的关联网络。血缘分析作为追踪数据或任务在系统中传播路径的核心技术,能够回答任务依赖哪些上游任务、任务失败会影响哪些下游任务、数据从哪里来以及到哪里去等关键问题,为故障排查、影响面评估和调度优化提供全局依赖视图。
2、然而,相关技术中,主要采用静态血缘关系分析方法,该方法通过解析任务配置文件和依赖声明文件构建任务间的静态依赖拓扑图。在任务配置解析阶段,系统读取azkaban、airflow、oozie等调度系统的任务定义文件,提取任务标识、依赖列表、输入输出路径等静态元数据;在依赖关系构建阶段,基于解析得到的依赖声明构建有向无环图,顶点表示任务,边表示依赖关系;在血缘查询阶段,通过深度优先搜索或广度优先搜索等图遍历算法追溯上游数据源或下游影响顶点。但是,静态血缘关系分析方法仅反映任务执行前的静态拓扑结构,无法感知任务执行过程中的状态变化和资源消耗情况,导致血缘图与实际运行态脱节。
技术实现思路
1、为了解决上述问题,本技术提供了一种动态依赖图构建方法及基于动态依赖图的依赖分析方法。
2、根据本技术实施例的一方面,公开了一种动态依赖图构建方法,该方法包括:基于调度系统的任务配置文件创建预定义任务顶点,并基于所述任务配置文件中的依赖声明,在所述预定义任务顶点之间创建预定义边,所述预定义任务顶点用于表征所述调度系统中在配置阶段定义的任务,所述预定义边用于表征任务间在配置阶段确定的静态依赖关系;响应于任务启动事件,创建与所述预定义任务顶点对应的执行态顶点,通过执行关联边连接所述执行态顶点与对应的预定义任务顶点,并向所述执行态顶点注入任务状态属性,所述任务状态属性用于表征任务当前所处阶段;采集任务执行过程中的资源消耗指标,创建与所述预定义任务顶点对应的资源快照顶点,通过资源关联边连接所述资源快照顶点与对应的预定义任务顶点,并向所述资源快照顶点注入资源属性,所述资源属性用于表征任务在某一时刻的资源消耗情况;监测上游预定义任务顶点对应的执行态顶点的任务状态属性,当所述任务状态属性满足预设完成条件时,在所述上游预定义任务顶点与下游预定义任务顶点之间创建执行依赖边,所述执行依赖边用于表征任务间的动态执行依赖关系;监测所述资源快照顶点的资源属性,当所述资源属性对应的资源消耗达到消耗阈值时,在所述资源消耗达到消耗阈值的任务对应的预定义任务顶点与因资源竞争处于等待状态的任务对应的预定义任务顶点之间创建资源依赖边,所述资源依赖边用于表征资源竞争导致的隐式依赖关系;其中,所述预定义任务顶点、所述执行态顶点、所述资源快照顶点、所述预定义边、所述执行关联边、所述执行依赖边和所述资源依赖边共同形成动态依赖图。
3、在一些实施例中,所述任务状态属性包括阶段属性和进度属性,所述阶段属性以枚举值表征任务当前所处阶段,所述枚举值包括等待状态、运行中状态、成功状态、失败状态、终止状态及跳过状态,所述进度属性以百分比数值表征任务执行进度;其中,所述等待状态是任务处于排队等待调度执行的阶段,所述终止状态是任务在执行过程中被外部强制中断而非正常结束的阶段,所述跳过状态是任务被调度系统标记为跳过的阶段。
4、在一些实施例中,所述执行依赖边包括执行强依赖边和执行弱依赖边;所述执行强依赖边在所述上游预定义任务顶点对应的任务为必须执行的任务,且所述上游预定义任务顶点对应的执行态顶点的任务状态属性指示所述上游预定义任务顶点对应的任务已执行成功时创建;所述执行弱依赖边在所述上游预定义任务顶点对应的任务为可选执行的任务,且所述上游预定义任务顶点对应的执行态顶点的任务状态属性指示所述上游预定义任务顶点对应的任务未执行成功时创建;所述方法还包括:向所述执行依赖边注入边状态属性;所述边状态属性用于表征所述执行依赖边当前是否已满足,包括等待状态、满足状态和失败状态。
5、在一些实施例中,所述方法还包括:监测跨系统事件信号,所述跨系统事件信号为不同调度系统之间传递的任务触发消息;当所述跨系统事件信号由发送任务产生时,创建信号发送边连接所述发送任务对应的预定义任务顶点与虚拟信号顶点,所述虚拟信号顶点为图结构中用于表征所述跨系统事件信号的虚拟顶点,不对应实际调度任务;当所述跨系统事件信号被接收任务消费时,创建信号接收边连接所述虚拟信号顶点与所述接收任务对应的预定义任务顶点;所述信号发送边与所述信号接收边通过所述虚拟信号顶点桥接,形成所述发送任务与所述接收任务之间的跨系统信号依赖关系。
6、在一些实施例中,所述方法还包括:响应于子工作流任务的启动事件,确定所述子工作流任务包含的内部子任务列表及入口子任务;将所述子工作流任务的上游外部依赖转换为所述入口子任务的依赖;创建展开依赖边连接所述上游外部依赖对应的上游预定义任务顶点与所述入口子任务对应的预定义任务顶点;其中,所述子工作流任务为父工作流中内部引用一个子工作流的预定义任务,其内部包含多个子任务,所述内部子任务列表为子工作流所包含的子任务集合;所述入口子任务为所述内部子任务列表中作为子工作流的执行入口、且无上游内部依赖的子任务;所述上游外部依赖为所述子工作流任务的外部上游任务与所述子工作流任务之间的依赖关系;所述展开依赖边用于表征所述上游外部依赖穿透所述子工作流任务边界后向内部层级展开的依赖关系。
7、在一些实施例中,所述方法还包括:为所述执行依赖边和所述资源依赖边中的至少一种注入边权重值,所述边权重值基于多种因素加权计算得到,用于表示对应依赖边的影响强度;所述多种因素包括依赖类型系数、依赖状态系数、传播延迟因素、历史执行特征因子和资源消耗强度中的至少两种;其中,所述依赖类型系数为根据依赖边所属类型确定的权重基准值,所述类型包括执行强依赖、执行弱依赖、资源依赖、信号传递依赖及展开依赖;所述依赖状态系数为根据依赖边当前所处状态确定的权重系数,所述状态包括等待状态、满足状态、失败状态和终止状态;所述传播延迟因素为上下游任务间依赖信息传递的时间延迟对权重的影响值;所述历史执行特征因子为基于所述依赖边所连接任务的历史执行统计信息计算的归一化特征值,所述历史执行统计信息包括历史执行成功次数、历史执行失败次数、平均执行时长或平均等待时长中的至少一种;所述资源消耗强度为所述依赖边所连接任务的资源消耗指标对权重的影响值。
8、根据本技术实施例的另一方面,公开了一种基于动态依赖图的依赖分析方法,所述依赖分析方法包括:获取动态依赖图,所述动态依赖图采用前述的动态依赖图构建方法构建;在所述动态依赖图中进行依赖传播路径遍历,遍历过程中基于所经过依赖边的边权重值累积计算得到路径累积权重值;当所述路径累积权重值低于预设剪枝阈值时,终止所述依赖传播路径的搜索。
9、在一些实施例中,所述动态依赖图包含子工作流任务;所述方法还包括:在所述动态依赖图中进行依赖传播路径遍历前,确定所述子工作流任务的边界子任务,所述边界子任务包括入口子任务和出口子任务,所述入口子任务为所述子工作流任务中作为执行入口、且依赖关系来自所述子工作流任务外部的子任务;所述出口子任务为所述子工作流任务中作为执行出口、且依赖关系指向所述子工作流任务外部的子任务。
10、在一些实施例中,确定所述子工作流任务的边界子任务,包括:采用融合多元信息的概率模型计算所述子工作流任务中各子任务的边界概率值,将所述边界概率值满足预设边界条件的子任务确定为边界子任务;所述概率模型基于拓扑结构维度、顶点属性维度、数据血缘维度和历史行为维度的特征得分加权计算得到所述边界概率值;所述拓扑结构维度的特征得分基于所述子任务对应的预定义任务顶点的入度值、出度值和路径深度值确定,所述入度值为指向所述预定义任务顶点的输入边数量,所述出度值为从所述预定义任务顶点发出的输出边数量,所述路径深度值为从子工作流的入口子任务到所述预定义任务顶点的最短路径长度;所述顶点属性维度的特征得分基于所述子任务对应的预定义任务顶点的任务类型和嵌套标识符确定,所述任务类型包括工作流引用类型和叶子任务类型,所述工作流引用类型表示所述预定义任务顶点引用一个嵌入的子工作流,所述叶子任务类型表示所述预定义任务顶点对应不包含下游依赖的末端任务,所述嵌套标识符为所述预定义任务顶点中用于关联嵌入的子工作流的标识属性,当所述嵌套标识符非空时,表示所述预定义任务顶点关联嵌入的子工作流,当所述嵌套标识符为空时,表示所述预定义任务顶点对应一个不包含子工作流的单个任务;所述数据血缘维度的特征得分基于所述子任务对应的预定义任务顶点的源表集合和目标表集合的上下游使用关系确定,所述源表集合为所述预定义任务顶点所读取的数据表集合,所述目标表集合为所述预定义任务顶点所写入的数据表集合,所述上下游使用关系包括所述源表集合的上游生产任务所在位置及所述目标表集合的下游消费任务所在位置;所述历史行为维度的特征得分基于所述子任务对应的预定义任务顶点的历史执行时长和依赖等待时长确定,所述历史执行时长为所述预定义任务顶点在历次执行中的执行时间平均值,所述依赖等待时长为所述预定义任务顶点在历次执行中等待上游依赖满足的时间平均值。
11、在一些实施例中,所述概率模型的权重系数基于历史准确率,通过梯度下降算法迭代优化;其中,所述历史准确率为各维度特征得分对所述边界子任务判定结果的贡献准确度记录;所述梯度下降算法以所述边界子任务判定误差的累积总和作为损失函数,迭代优化所述概率模型的权重矩阵以使所述损失函数最小化;经所述梯度下降算法优化后,贡献准确度高的维度对应的权重系数提高,贡献准确度低的维度对应的权重系数降低。
12、在一些实施例中,当所述依赖传播路径到达所述边界子任务时,基于所述边界子任务的边界概率值决策是否穿透进入所述子工作流任务内部搜索,所述决策包括:计算所述子工作流任务的所有边界子任务的平均边界概率值,若所述平均边界概率值大于预设穿透阈值,则触发穿透进入所述子工作流任务内部搜索,否则终止所述依赖传播路径在所述边界子任务处的搜索。
13、本技术的实施例提供的技术方案至少包括以下有益效果:
14、本技术公开的方案,通过预定义任务顶点与预定义边构建配置阶段的静态依赖拓扑,并响应于任务启动事件创建执行态顶点注入任务状态属性、基于资源消耗指标创建资源快照顶点注入资源属性,实现了静态任务定义与动态运行数据在图结构中的分层存储与关联映射;在此基础上,通过监测执行态顶点的任务状态属性动态创建执行依赖边,以及监测资源快照顶点的资源属性动态创建资源依赖边,使依赖关系能够随任务执行状态和资源消耗情况的演变而实时生成。由此构建的动态依赖图突破了仅在任务执行前构建静态拓扑图的局限,使血缘关系能够同步反映任务运行过程中的状态变化与资源波动,并将资源竞争导致的隐式依赖显式化为图结构中的边,显式化随任务执行状态实时演化的动态执行依赖,从而为调度系统提供精准、实时的血缘数据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com