基于表画像的数据同步任务编排方法、装置、系统及介质与流程

本发明涉及数据库，尤其涉及基于表画像的数据同步任务编排方法、装置、系统及介质。

背景技术：

1、在数据同步领域，通常借助第三方同步工具创建同步任务，将数据从源端数据库同步至目标端数据库。其中，同步任务的白名单配置是否合理，直接决定了任务能否在预定的同步窗口期内完成。因此，如何科学地编排同步任务、合理地配置白名单，成为保障数据同步时效性与可靠性的关键。

2、目前，业界普遍采用的方式仍是数据库管理员（database administrator，dba）提前介入，通过人工方式进行分析、配置白名单并创建同步任务。这种依赖人工的模式在实际运维中不仅人工分析成本与配置门槛均较高，且难以确保同步任务编排的合理性，从而影响了数据同步的效率和可靠性。

技术实现思路

1、鉴于上述现有技术的不足，本发明的目的在于提供可应用于金融科技或其它相关领域的基于表画像的数据同步任务编排方法、装置、系统及介质，旨在实现同步任务的自动化智能化编排，有效降低人工成本与配置门槛，提高数据同步的效率和可靠性。

2、本发明的技术方案如下：

3、一种基于表画像的数据同步任务编排方法，包括：

4、采集源端数据库中所有待同步数据表的元数据；

5、对所述元数据进行多维度量化处理，生成所述待同步数据表对应的表画像特征向量；

6、根据所述表画像特征向量对所有待同步数据表进行归类，确认每张待同步数据表的表类型与同步任务属性；

7、通过预设代价模型基于每张待同步数据表的表类型与同步任务属性进行最优任务编排求解，得到最优的任务分组和执行优先级；

8、为每个任务分组生成相应的任务参数配置，在触发执行指令时按所述执行优先级以及所述任务参数配置执行相应的同步任务。

9、在一个实施例中，所述为每个任务分组生成相应的任务参数配置之后，方法还包括：

10、根据所述最优的任务分组的任务参数配置和执行优先级输出可视化的任务编排视图；

11、接收用户对所述任务编排视图的微调指令，根据所述微调指令对所述任务参数配置和/或执行优先级进行调整，得到最终的任务编排结果。

12、在一个实施例中，所述采集源端数据库中所有待同步数据表的元数据，包括：

13、接收用户提交的全量白名单；

14、基于所述全量白名单与源端数据库建立数据连接，并采集所述全量白名单中所有待同步数据表的元数据。

15、在一个实施例中，所述对所述元数据进行多维度量化处理，生成所述待同步数据表对应的表画像特征向量，包括：

16、按预设维度对所述元数据进行数据提取，分别提取得到基础规模维度数据、结构特征维度数据、特有属性维度数据及负载特征维度数据；

17、对各维度数据执行相应的标准量化计算，生成对应维度的特征值；

18、将每张待同步数据表各维度的特征值进行拼接组合，生成每张待同步数据表对应的表画像特征向量。

19、在一个实施例中，所述根据所述表画像特征向量对所有待同步数据表进行归类，确认每张待同步数据表的表类型与同步任务属性，包括：

20、调用预设的可扩展规则库，遍历所有待同步数据表的表画像特征向量与所述可扩展规则库中的规则条件进行匹配；

21、将满足对应规则条件的待同步数据表匹配对应的分类标签，并标注对应的同步模式约束与资源限制要求；

22、按照所述分类标签对所有待同步数据表进行分组归类，确定每张数据表对应的表类型，并根据同步标注内容确认相应的同步任务属性。

23、在一个实施例中，所述通过预设代价模型基于每张待同步数据表的表类型与同步任务属性进行最优任务编排求解，得到最优的任务分组和执行优先级，包括：

24、基于每张待同步数据表的表类型与同步任务属性，将每张待同步数据表映射为带有资源开销属性的调度单元，并将单个同步任务映射为带有资源容量约束的执行容器，其中一个执行容器对应一个任务分组；

25、通过预设代价模型计算各调度单元对应的预估同步耗时与资源占用量；

26、通过优化算法在单个执行容器的资源容量上限约束下，以总同步耗时最短、所需执行容器总容量最小为优化目标进行最优求解，输出最优的任务分组与各任务分组的执行优先级。

27、在一个实施例中，所述通过优化算法在单个执行容器的资源容量上限约束下，以总同步耗时最短、所需执行容器总容量最小为优化目标进行最优求解，输出最优的任务分组与各任务分组的执行优先级，包括：

28、根据所述资源开销属性在所有调度单元中筛选出特殊调度单元，并将所述特殊调度单元分配至独立的执行容器，得到特殊任务分组；

29、对剩余的普通调度单元按预估同步耗时与资源占用量进行降序排序，利用首次适应装箱算法执行最优任务划分，在满足单个执行容器的资源容量上限约束下求解得到总同步耗时最短、所需执行容器总容量最小的普通任务分组；

30、结合各任务分组对应的业务优先级要求，对所有任务分组进行执行顺序排布，确定各任务分组的执行优先级。

31、一种基于表画像的数据同步任务编排装置，包括：

32、数据采集模块，用于采集源端数据库中所有待同步数据表的元数据；

33、画像构建模块，用于对所述元数据进行多维度量化处理，生成所述待同步数据表对应的表画像特征向量；

34、规则分类模块，用于根据所述表画像特征向量对所有待同步数据表进行归类，确认每张待同步数据表的表类型与同步任务属性；

35、编排优化模块，用于通过预设代价模型基于每张待同步数据表的表类型与同步任务属性进行最优任务编排求解，得到最优的任务分组和执行优先级；

36、任务生成与执行模块，用于为每个任务分组生成相应的任务参数配置，在触发执行指令时按所述执行优先级以及所述任务参数配置执行相应的同步任务。

37、一种基于表画像的数据同步任务编排系统，所述系统包括至少一个处理器；以及，

38、与所述至少一个处理器通信连接的存储器；其中，

39、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于表画像的数据同步任务编排方法。

40、一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于表画像的数据同步任务编排方法。

41、有益效果：本发明公开了基于表画像的数据同步任务编排方法、装置、系统及介质，相比于现有技术，本发明实施例通过采集源端数据库中所有待同步数据表的元数据并进行多维度量化处理，生成对应的表画像特征向量；根据表画像特征向量对所有待同步数据表进行归类，确认每张待同步数据表的表类型与同步任务属性；通过预设代价模型基于每张待同步数据表的表类型与同步任务属性进行最优任务编排求解，得到最优的任务分组和执行优先级；为每个任务分组生成相应的任务参数配置，在触发执行指令时按执行优先级以及任务参数配置执行相应的同步任务。通过多维度表画像进行智能归类与最优任务编排，实现同步任务的自动化智能编排执行，有效降低了人工成本与配置门槛，提高数据同步的效率和可靠性。