任务分层模型的建立方法及任务依赖关系的检测方法与流程

技术特征：
1.一种任务分层模型的建立方法，其特征在于，包括：建立任务数据库，所述任务数据库的数据层包括数据抽取层、数据清洗层和数据支撑层；获取分层任务及所述分层任务的任务信息，所述任务信息包括任务类型、运行周期、任务对应的数据层、执行类型；根据所述任务信息对所述分层任务进行命名，生成所述分层任务的任务名称，所述任务名称为：任务类型_运行周期_任务对应的数据层_执行类型；其中，所述任务对应的数据层选自所述任务数据库的数据层，所述执行类型是指所述分层任务在所述任务对应的数据层中对应的执行类型。2.根据权利要求1所述的建立方法，其特征在于，所述任务类型包括作业和转换；所述运行周期按照任务的运行频率进行命名，包括：小时任务、日任务、周任务、月任务、季度任务和年任务；其中，所述运行周期命名的优先级为小时>日>周>月>季度>年。3.根据权利要求1所述的建立方法，其特征在于，所述数据抽取层包括数据库抽取、外部脚本读取，所述数据清洗层包括数据库内部脚本清洗、外部脚本清洗，所述数据支撑层包括数据库分发、外部脚本分发；其中，所述数据库抽取的执行类型包括源数据库名称_源数据库表名，所述外部脚本读取的执行类型包括脚本名称_目标数据库表名；所述数据库内部脚本清洗的执行类型包括内部脚本名称，所述外部脚本清洗的执行类型包括外部脚本名称；所述数据库分发的执行类型包括目标数据库名称_源数据库表名，所述外部脚本分发的执行类型包括目标数据库名称_脚本名称。4.一种任务依赖关系的检测方法，其特征在于，包括：步骤s10，获取目标任务及所述目标任务对应的目标存储信息；步骤s20，若所述目标存储信息符合预设条件，则将所述目标任务作为目标检测任务；步骤s30，获取所述目标检测任务的下级依赖任务及其存储信息，分别作为当前任务及所述当前任务对应的当前存储信息；步骤s40，若所述当前存储信息符合所述预设条件，则将所述当前任务作为当前检测任务，且对所述目标存储信息、所述当前存储信息进行第一更新；步骤s50，若所述当前检测任务具有下级依赖任务，则将所述当前检测任务作为新的目标检测任务，第一更新后的当前存储信息作为新的目标存储信息，循环执行步骤s30-s50，直至新的当前检测任务不具有下级依赖任务，则对新的当前存储信息进行第二更新并结束循环；步骤s60，将所述目标任务和所述当前任务作为分层任务，根据权利要求1-3任一项所述的建立方法分别获取所述目标任务的目标任务名称，及所述当前任务的当前任务名称；其中，所述目标任务、所述当前任务均为任务数据库中的任务。5.根据权利要求4所述的检测方法，其特征在于，存储信息包括是否已查找、依赖层次、依赖任务组，且是否已查找的初始值为否、依赖层次的初始值为1，依赖任务组的初始值为空；若所述存储信息中的是否已查找为否，则符合所述预设条件；
所述第一更新包括将所述目标存储信息中是否已查找更新为是、依赖任务组更新为包括当前任务，将所述当前存储信息中依赖层次的值更新为目标存储信息中依赖层次的值与1的和、依赖任务组更新为包括目标检测任务；所述第二更新包括将第一更新后的当前存储信息中是否已查找更新为是。6.根据权利要求5所述的检测方法，其特征在于，步骤s40之前还包括步骤s41，若所述当前存储信息不符合所述预设条件，则比较所述目标存储信息中依赖层次的值x0和所述当前存储信息中依赖层次的值x1；若x1和x0的差值小于1，则对所述目标存储信息、所述当前存储信息进行第三更新，否则进行第四更新；其中，所述第三更新包括将所述目标存储信息中是否已查找更新为是、依赖任务组更新为包括当前任务，将所述当前存储信息中依赖层次的值x1更新为x0与1的和、依赖任务组更新为包括目标检测任务，且将上级依赖与所述当前任务相关的关联任务的存储信息中依赖层次的值更新为原依赖层次的值与1的和；所述第四更新包括将所述目标存储信息中是否已查找更新为是、依赖任务组更新为包括当前任务，将所述当前存储信息中依赖任务组更新为包括目标检测任务。7.根据权利要求5所述的检测方法，其特征在于，所述当前检测任务a包括任务a1、任务a2
…
任务an，与所述当前检测任务一一对应的所述当前存储信息b包括当前存储信息b1、当前存储信息b2
…
当前存储信息bn；其中，n为大于或等于2的整数；所述步骤s50包括：步骤s502，选取所述当前检测任务a中任一具有下级依赖任务的任务am作为新的目标检测任务am，目标检测任务am对应的第一更新后的当前存储信息bm作为新的目标存储信息bm0，循环执行步骤s30-s50，直至新的当前检测任务不具有下级依赖任务，则对新的当前存储信息进行第二更新并结束循环；其中，m为大于或等于1的整数；步骤s504，再选取所述当前检测任务a中任一具有下级依赖任务的任务at作为新的目标检测任务at，目标检测任务at对应的第一更新后的当前存储信息bt作为新的目标存储信息bt0，循环执行步骤s30-s50，直至新的当前检测任务不具有下级依赖任务，则对新的当前存储信息进行第二更新并结束循环；其中，t为大于或等于1的整数；步骤s506，依次执行步骤s502-s504，直至所述当前检测任务a中不存在符合预设条件的任务。8.根据权利要求7所述的检测方法，其特征在于，步骤s506之后还包括：对所述当前检测任务a中剩余的不具有下级依赖任务的当前检测任务对应的当前存储信息进行第二更新。9.根据权利要求7所述的检测方法，其特征在于，所述任务am、任务at均包括一个下级依赖任务。10.根据权利要求6所述的检测方法，其特征在于，所述依赖任务组包括下级依赖任务组和上级依赖任务组。11.根据权利要求10所述的检测方法，其特征在于，所述第一更新将所述目标存储信息中下级依赖任务组更新为包括当前任务，将所述当前存储信息中上级依赖组更新为包括目标检测任务；所述第三更新将所述目标存储信息中的下级依赖任务组更新为包括当前任
务，将所述当前存储信息中上级依赖任务组更新为包括目标检测任务；所述第四更新将所述目标存储信息中的下级依赖任务组更新为包括当前任务，将所述当前存储信息中上级依赖任务组更新为包括目标检测任务。12.根据权利要求10所述的检测方法，其特征在于，所述任务am包括多个存储信息符合预设条件的下级依赖任务作为当前检测任务m1，当前检测任务m1中的任一任务n1包括多个存储信息符合预设条件的下级依赖任务作为当前检测任务m2，
…
，当前检测任务mn-1中的任一任务nn-1包括多个存储信息符合预设条件的下级依赖任务作为当前检测任务mn，且当前检测任务mn中的任一任务nn均不具有下级依赖任务；所述步骤s502中循环执行步骤s30-s50包括：对当前检测任务mn中的任务nn进行第二更新；对当前检测任务mn-1中的其余任务循环执行步骤s30-s50；以此类推，直至对当前检测任务m1中其余任务循环执行步骤s30-s50。13.根据权利要求4所述的检测方法，其特征在于，步骤s60之后还包括：步骤s70，输出所述目标任务、所述目标检测任务、所述当前检测任务及其之间的依赖关系。14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4至13中任一项所述的方法的步骤。

技术总结
本发明涉及一种任务分层模型的建立方法及任务依赖关系的检测方法，该建立方法包括：建立任务数据库，任务数据库的数据层包括数据抽取层、数据清洗层和数据支撑层；获取分层任务及分层任务的任务信息，任务信息包括任务类型、运行周期、任务对应的数据层、执行类型；根据任务信息对分层任务进行命名，生成分层任务的任务名称，所述任务名称为：任务类型_运行周期_任务对应的数据层_执行类型；其中，任务对应的数据层选自所述任务数据库的数据层，执行类型是指分层任务在任务对应的数据层中对应的执行类型。从而降低维护人员的工作量，提高数据库系统的稳定性。数据库系统的稳定性。数据库系统的稳定性。


技术研发人员：高汉旭 张辉
受保护的技术使用者：长鑫存储技术有限公司
技术研发日：2021.05.28
技术公布日：2022/11/29