基于配置抽象与策略自动构建的数据同步管理系统及方法与流程
本发明涉及数据集成与任务编排,具体涉及一种基于配置抽象与策略自动构建的数据同步管理系统及方法,尤其适用于基于kafka connect框架的数据同步场景中面向业务人员的统一任务管理与自动配置生成。
背景技术:
1、apache kafka connect是当前广泛使用的数据集成框架,用于在apache kafka与其他系统之间进行可扩展且可靠的数据迁移。kafka connect通过连接器(connector)这一高级抽象来协调数据流,每个连接器实例负责管理kafka与另一系统之间的数据复制任务。用户可以通过kafka connect rest api或属性文件来配置和管理连接器实例。
2、在实际应用中,一个完整的数据同步链路通常需要分别配置源端连接器(sourceconnector)和目标端连接器(sink connector)。源端连接器负责从源数据库监听或拉取变更数据并写入kafka主题,目标端连接器负责从kafka主题读取数据并写入目标数据库。以jdbc连接器为例,其配置项包括连接地址、认证信息、表过滤规则、轮询间隔、批量大小、增量列名称、快照模式等数十个参数,且不同数据库类型(mysql、postgresql、sql server等)的配置参数存在显著差异。当涉及mongodb、elasticsearch等其他数据源时,配置参数体系又有很大不同。
3、随着kafka connect在生产环境中的广泛应用,其配置复杂性已成为影响使用效率的主要障碍。经分析发现,现有技术至少存在以下问题:
4、第一,配置门槛高、面向人群受限。kafka connect的配置参数面向开发人员或运维人员设计,涉及连接器类名、转换器、任务数、偏移量存储主题、状态存储主题等大量底层技术参数。对于仅需表达“监听哪个数据库的哪个表、同步到哪个数据库的哪个表”这一业务意图的实施人员而言,必须面对大量与业务语义无关的技术细节,导致任务创建门槛高、学习成本高、出错率高。
5、第二,source任务与sink任务割裂配置。现有模式下,源端连接器和目标端连接器需要分别独立配置和管理。用户必须分别掌握源端连接参数、目标端写入参数、主题绑定关系,并手动确保两者的主题名称、数据格式等保持一致。这种割裂的配置方式增加了配置的复杂度和出错概率。
6、第三,标准同步任务与扩展处理任务分散管理。企业在实际落地过程中,常常需要在标准数据同步链路之外挂接额外的处理逻辑,例如将主题中的数据按模板组装后投递到http接口、追加业务标签、进行扩展字段注入或执行自定义处理。这类扩展逻辑通常以独立程序实现,与标准同步任务缺乏统一的任务模型和控制入口,难以实现创建、暂停、删除、编辑及状态回写等完整的生命周期管理。
7、第四,kafka connect任务的生命周期管理能力有限。虽然kafka connect提供了rest api用于管理连接器,但用户仍需要通过底层的http接口调用或属性文件操作来完成任务的创建、启动、暂停、删除等操作。对于运行中的任务,难以通过统一的业务层面控制接口进行配置更新和状态管理。
8、综上所述,现有数据同步方案在配置抽象程度、任务统一描述、扩展任务管理和生命周期控制等方面存在明显不足,亟需一种能够降低使用门槛、实现自动配置构建、统一管理标准任务与扩展任务的系统及方法
技术实现思路
1、本为解决上述背景技术中存在的问题,本发明提供一种基于配置抽象与策略自动构建的数据同步管理系统及方法。
2、本发明提供一种基于配置抽象与策略自动构建的数据同步管理系统,包括:
3、业务配置端,用于接收用户输入的任务描述信息;
4、管理端应用服务层,与所述业务配置端通信连接,用于接收所述任务描述信息并构建统一任务对象;
5、策略自动构建层,与所述管理端应用服务层通信连接,用于根据所述统一任务对象中各连接器的角色与数据源类型确定对应的策略模板,并将所述任务描述信息中的业务级输入参数映射到所述策略模板中,自动生成底层执行参数;
6、kafka connect执行层,与所述策略自动构建层通信连接,用于接收所述底层执行参数并执行标准数据同步任务;
7、hook执行层,用于执行扩展处理任务;
8、任务编排与生命周期管理模块,分别与所述管理端应用服务层、所述kafkaconnect执行层和所述hook执行层通信连接,用于对标准同步任务和扩展任务执行统一的创建、启动、暂停、删除、状态查询和配置编辑操作;
9、任务定义存储模块,与所述管理端应用服务层通信连接,用于存储所述统一任务对象。
10、作为本技术优选方案,所述统一任务对象至少包括任务名称、连接器集合connectors以及扩展任务集合hookconfigs;其中,所述连接器集合connectors用于描述标准同步任务,每个连接器对象至少包括名称name、角色role、数据源类型datasource、状态state、通用参数集合common以及增强参数集合options;所述角色role用于标识该连接器是源端角色还是目标端角色。
11、作为本技术优选方案,所述通用参数集合common用于容纳标准连接参数,包括但不限于主机地址、端口、用户名、密码、数据库名称、表名称、主题前缀和任务并发数;所述增强参数集合options用于容纳连接器的特有配置或增强配置,包括但不限于快照模式、删除策略、替换策略和模式变更开关。
12、作为本技术优选方案,所述增强参数集合options下还设置有fields子结构,作为前端自定义属性信息的承载区域,用于携带业务标签、扩展元数据或路由标识;所述fields中的自定义属性可在后续的模板构造、hook处理、接口投递、审计记录或下游扩展逻辑中被读取和使用。
13、作为本技术优选方案,所述策略自动构建层包括:
14、策略模板存储单元,用于存储与不同数据源类型和不同角色对应的策略模板;
15、策略匹配单元,用于根据所述统一任务对象中连接器的角色role和数据源类型datasource匹配对应的策略模板;
16、参数映射单元,用于将所述任务描述信息中的业务级输入参数映射到所述策略模板中,自动补齐默认值、生成主题名称、构造源端监听范围、生成目标端写入参数,并对删除策略、快照模式、替换策略和任务并发数进行预定义优化;
17、模板扩展单元,用于在接入新的数据库类型时扩展相应的数据源策略模板。
18、作为本技术优选方案,所述hook执行层包括:
19、配置读取单元,用于从所述统一任务对象的hookconfigs中读取主题列表、消费组标识、任务状态、请求体模板、目标http地址和请求头参数;
20、消息订阅单元,用于订阅指定的kafka主题并获取消息;
21、模板渲染单元,用于按照模板变量替换规则将消息中的键、值、主题和时间戳映射到所述请求体模板中,构造http请求体;
22、请求投递单元,用于将构造的http请求体投递到外部业务接口或触发自定义扩展逻辑。
23、作为本技术优选方案,所述任务编排与生命周期管理模块包括:
24、任务创建单元,用于根据所述统一任务对象在所述kafka connect执行层创建或更新对应的source任务和sink任务,并在所述hook执行层创建对应的hook任务;
25、任务状态管理单元,用于通过所述kafka connect执行层的rest api获取source任务和sink任务的运行状态,并获取hook任务的运行状态,将所述运行状态同步回统一控制面;
26、任务控制单元,用于对source任务、sink任务和hook任务执行启动、暂停、删除和配置更新操作。
27、本发明还提供一种基于配置抽象与策略自动构建的数据同步管理方法,所述方法应用于上述任一项所述的系统,所述方法包括以下步骤:
28、s1、接收任务请求,所述任务请求由业务人员通过业务配置端发起,所述任务请求中包含数据同步的任务描述信息,至少包括源数据库类型、源数据库名称、源表名称、目标数据库类型、目标数据库名称和目标表名称;
29、s2、管理端应用服务层根据所述任务描述信息构建统一任务对象,即解析并生成统一任务描述模型,所述统一任务对象至少包括连接器集合connectors和扩展任务集合hookconfigs,每个连接器对象至少包括角色role、数据源类型datasource、通用参数集合common和增强参数集合options;
30、s3、策略自动构建层根据所述统一任务对象,自动构建底层执行参数,针对统一任务对象中的每个连接器分别生成对应的source参数、sink参数,同时针对hookconfigs生成hook执行所需的参数;
31、s4、任务编排与生命周期管理模块根据步骤s3中策略自动构建层生成的source底层执行参数,在kafka connect执行层创建或更新对应的source任务,建立源端监听或变更捕获链路;
32、s5、任务编排与生命周期管理模块根据步骤s3中策略自动构建层生成的sink底层执行参数,在kafka connect执行层创建或更新对应的sink任务,绑定topic与目标表,形成从源端数据库到消息主题再到目标端数据库的完整同步链路;
33、s6、任务编排与生命周期管理模块根据所述统一任务对象中的hookconfigs,在hook执行层创建对应的hook任务,注册hook消费者实例,订阅指定主题并按模板构造http请求体执行扩展处理逻辑;
34、s7、任务编排与生命周期管理模块对source任务、sink任务和hook任务执行统一的运行态控制操作,包括启动、暂停、删除和配置编辑;
35、s8、任务编排与生命周期管理模块对source任务、sink任务和hook任务执行统一的监控与回溯操作,记录状态、日志、审计信息并对投递失败的任务执行重试策略。
36、作为本技术优选方案,所述步骤s3具体包括:
37、s31、策略自动构建层从所述统一任务对象中提取各连接器的角色role和数据源类型datasource;
38、s32、根据所述角色role和所述数据源类型datasource,从策略模板存储单元中匹配对应的策略模板;
39、s33、将所述通用参数集合common中的业务级参数映射到所述策略模板的对应字段;
40、s34、根据所述数据源类型和所述角色自动补齐默认值,生成主题名称,构造源端监听范围或目标端写入参数;
41、s35、对删除策略、快照模式、替换策略和任务并发数进行预定义优化,生成完整的底层执行参数。
42、作为本技术优选方案,所述步骤s4具体包括:
43、s41、任务编排与生命周期管理模块通过kafka connect rest api提交source连接器的配置;
44、s42、kafka connect执行层根据该配置启动source任务,建立源端监听或变更捕获链路。
45、作为本技术优选方案,所述步骤s5具体包括:
46、s51、任务编排与生命周期管理模块通过kafka connect rest api提交sink连接器的配置;
47、s52、kafka connect执行层根据该配置启动sink任务;
48、s53、绑定topic与目标表,形成从源端数据库到消息主题再到目标端数据库的完整同步链路。
49、作为本技术优选方案,所述步骤s6具体包括:
50、s61、从所述统一任务对象的hookconfigs中读取主题列表、消费组标识、请求体模板、目标http地址和请求头参数;
51、s62、所述hook执行层订阅指定的kafka主题并获取消息;
52、s63、按照模板变量替换规则将消息中的键、值、主题和时间戳映射到所述请求体模板中,按模板构造http请求体;
53、s64、将构造的http请求体投递到外部业务接口或触发自定义扩展逻辑。
54、作为本技术优选方案,所述步骤s7中,对source任务和sink任务的配置编辑操作包括:将更新后的策略结果重新提交到kafka connect执行层,完成配置更新和状态回写;对hook任务的配置编辑操作包括:对请求模板、目标地址、请求头和自定义属性映射进行编辑并重新下发。
55、作为本技术优选方案,所述步骤s8具体包括:
56、s81、任务状态管理单元通过所述kafka connect执行层的rest api获取source任务和sink任务的运行状态,并通过内部接口获取hook任务的运行状态,将所述运行状态同步回统一控制面;
57、s82、监控审计模块记录系统中所有任务的操作日志和运行日志;
58、s83、监控审计模块对投递失败的hook任务执行重试策略;
59、s84、所有任务的状态信息、日志信息和审计信息统一展示在管理端界面上。
60、本发明还提供一种电子设备,包括处理器、存储器及存储在所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述任一项所述的方法。
61、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现上述任一项所述的方法。
62、本发明的有益效果:
63、(1)本发明通过统一任务描述模型,将源端连接器、目标端连接器和扩展任务纳入同一任务对象进行描述,业务人员只需提供源库、源表、目标库、目标表及少量业务级属性即可完成任务定义,无需接触kafka connect面向开发人员的大量底层配置参数,显著降低了数据同步任务的创建门槛和学习成本。
64、(2)本发明通过策略自动构建层,根据连接器的角色(source/sink)和数据源类型自动匹配对应的策略模板,并将业务级输入参数自动映射到底层执行参数,自动补齐默认值、生成主题名称、构造监听范围和写入参数,减少了人工配置错误,提高了任务创建效率和配置一致性。
65、(3)本发明通过将标准同步任务(source/sink)与hook扩展任务纳入统一任务模型和统一生命周期管理接口,实现了两类任务的统一创建、启动、暂停、删除、状态查询和配置编辑,解决了现有技术中标准同步任务与扩展处理任务分散管理的问题,便于集中管理和审计。
66、(4)本发明通过在增强参数集合options下设置fields子结构,为前端自定义属性信息提供了承载区域,在不破坏标准连接参数结构的前提下为业务侧保留了灵活的扩展注入能力,使业务标签、扩展元数据、路由标识等自定义属性可在模板构造、hook处理、接口投递等环节被读取和使用。
67、(5)本发明通过管理端统一的生命周期控制接口,支持对运行中任务的配置内容进行编辑并重新下发,对于source和sink任务可将更新后的策略结果重新提交到kafkaconnect执行层完成配置更新,对于hook任务支持请求模板、目标地址等内容的编辑更新,提升了系统的可维护性。
68、(6)本发明通过在策略构建层采用模板化的扩展方式,当需要接入新的数据库类型时,只需在策略构建层扩展相应的数据源策略模板即可沿用统一任务模型完成自动构建,具备对kafka connect支持范围内数据源进行继承式扩展的能力。
69、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到,当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com