一种私募股权领域的配置化数据同步方法及系统与流程
本发明涉及数据处理,尤其涉及一种私募股权领域的配置化数据同步方法及系统。
背景技术:
1、在私募股权领域,基金、有限合伙人、项目、募资台账、出资台账、投资台账和退出台账等业务对象分散存储于不同的业务系统数据库中。现有技术中,实现上述多源异构数据的同步通常需要开发人员针对每个源逻辑表名和目标数据表单独编写数据抽取、清洗、转换和加载程序。例如,新增一个基金出资台账的同步任务时,需手工编写从源出资台账表到目标数据表的数据抽取、字段映射、清洗和加载代码;新增项目投资台账同步时又需重新编写一套类似代码,工作量大、重复度高。
2、现有配置化同步工具虽然能够通过字段映射关系生成同步脚本,但其增量同步通常依赖单一标识字段。当源业务系统发生逻辑删除、事务提交时间与时间戳顺序不一致等情况时,基于标识字段的增量捕获会导致数据丢失或重复。此外,当同步任务加载至大数据集群时,若发生中断,缺乏幂等性保障和断点续传机制,容易导致数据不一致;统计结果写回业务系统数据库时,也需要防止重复写入导致数据不一致。在基于数据库日志的增量同步场景中,私募股权领域的历史数据修正,例如出资日期变更、出资额修正,会引发基于时间窗口的统计指标需要重新计算,现有配置化同步工具无法自动识别并触发重算,导致统计结果失真。另外,当源业务系统发生分表或字段重命名时,同步配置中的源逻辑表名和字段名需同步修改,配置维护成本较高。
3、因此,需要一种能够以配置化方式实现私募股权领域多对象数据同步,同时兼顾增量捕获可靠性、指标计算统一管理以及历史数据变更后指标级联重算的技术方案。
技术实现思路
1、针对现有技术的不足,本发明提供了一种私募股权领域的配置化数据同步方法及系统,解决了上述背景技术提到的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、第一方面,一种私募股权领域的配置化数据同步方法,包括以下步骤:
4、构建业务对象元模型并存储于存储模块,业务对象元模型包含业务对象的源逻辑表名、目标表信息、写回目标表信息、字段映射关系、增量同步策略、增量标识字段和统计指标;
5、其中,增量同步策略为基于增量标识字段的抽取或基于数据库日志的增量同步;统计指标包括:指标类型、指标计算适配器标识、业务日期字段、指标计算字段和时间窗口规则,指标计算字段为影响指标计算结果的数值字段,业务日期字段独立参与事件筛选和时间窗口定位;
6、接收同步任务配置,同步任务配置至少包含待同步的业务对象标识和同步模式,同步模式为全量同步或增量同步;
7、根据业务对象标识从存储模块获取对应的业务对象元模型;
8、根据业务对象元模型和同步模式生成读取脚本和写入脚本;其中,在生成读取脚本之前,通过数据访问层将源逻辑表名解析为实际物理表名;当同步模式为全量同步时,生成全量读取脚本;当同步模式为增量同步且增量同步策略为基于增量标识字段的抽取时,在读取脚本中生成基于增量标识字段的过滤条件;当同步模式为增量同步且增量同步策略为基于数据库日志的增量同步时,生成用于执行全量快照的读取脚本以及日志解析配置;
9、执行读取脚本和写入脚本,从源数据库抽取业务数据,按照字段映射关系进行清洗和转换后,按主键进行幂等写入至大数据集群;
10、其中,当增量同步策略为基于数据库日志的增量同步时,还包括:
11、在执行全量快照前记录源数据库的日志位点;执行全量快照,将源数据库中的全量数据加载至大数据集群;在全量快照完成后,从日志位点开始读取增量日志,并将增量数据加载至大数据集群;在读取增量日志时,若变更事件涉及任一统计指标中的指标计算字段或业务日期字段变化,则将该变更事件写入变更事件存储区;其中,变更事件记录至少包含变更记录的主键、变更字段列表以及每个变更字段的变化前旧值和变化后新值;
12、根据统计指标,调用对应的指标计算适配器生成统计任务并在大数据集群中执行,得到最终统计结果;其中,统计计算包括:基于大数据集群中已加载的业务数据按时间窗口进行增量聚合,得到初始统计结果;从变更事件存储区中读取处理状态为未处理的变更事件,当变更事件中变更字段列表包含任一统计指标的指标计算字段或业务日期字段时,根据该统计指标的时间窗口规则确定受影响的时间窗口和关联指标;针对受影响的时间窗口重新读取窗口内全部业务数据并执行聚合计算,得到重算结果,用重算结果替换初始统计结果中对应时间窗口的原指标值,得到最终统计结果,并将已处理的变更事件的处理状态更新为已处理;
13、将最终统计结果按主键幂等写回至业务系统数据库。
14、作为本发明进一步的方案,业务对象包括基金、有限合伙人、项目、募资台账、出资台账、投资台账和退出台账中的至少一种;目标表信息包括目标业务系统标识、目标数据库实例标识和目标数据表标识;写回目标表信息包括写回目标业务系统标识、写回目标数据库实例标识和写回目标数据表标识;字段映射关系包括源逻辑表字段名与目标数据表字段名之间的对应关系。
15、作为本发明进一步的方案,数据访问层将源逻辑表名解析为实际物理表名,包括:
16、若源业务系统存在分表,则根据分表规则将源逻辑表名解析为多个实际物理表名;
17、若源业务系统存在字段重命名,则根据映射规则将业务对象元模型中的源逻辑表字段名解析为实际物理表字段名。
18、作为本发明进一步的方案,时间窗口规则包括时间窗口划分单位、指标统计时间范围列表以及重算规则;
19、重算规则为:业务日期字段变化时,将其旧值和新值对应的时间窗口均确定为受影响时间窗口;业务日期字段未变而指标计算字段变化时,根据事件对应业务日期确定受影响时间窗口;将计算依赖的时间范围与受影响时间窗口相交的指标确定为关联指标,并按各关联指标依赖的完整时间范围重算;
20、相交的判断方式为:时间窗口和指标统计时间范围均采用包含起点、不包含终点的区间;将时间窗口与指标统计时间范围列表中的各时间范围逐一比较,若时间窗口的起点小于时间范围的终点,且时间窗口的终点大于时间范围的起点,则判定两者相交。
21、作为本发明进一步的方案,当增量同步策略为基于增量标识字段的抽取时,增量标识字段为时间戳字段或自增字段;
22、时间戳字段适用于其顺序与提交可见顺序一致的记录,以前次成功同步范围上界为本次下界,以任务开始时确定的范围上界为本次上界; 自增字段适用于仅追加且提交可见顺序与自增顺序一致的记录,抽取大于前次成功同步最大值且不超过本次确定上界的记录;不满足相应顺序条件或需要捕获历史更新、删除时,采用基于数据库日志的增量同步。
23、作为本发明进一步的方案,当同步模式为增量同步且增量同步策略为基于数据库日志的增量同步时,日志解析配置包括:日志源信息、订阅的数据库表、事件过滤规则和字段解析映射。
24、作为本发明进一步的方案,指标计算适配器预置有基金规模、有限合伙人出资进度、项目投资成本、退出收益、投入资本分红率、总收益倍数、内部收益率中的至少一种计算模块;指标计算适配器中包含内部收益率计算模块,内部收益率计算模块通过现金流折现迭代算法计算内部收益率。
25、作为本发明进一步的方案,变更事件存储区为关系型数据库表、消息队列或分布式文件系统中的结构化日志文件;
26、变更事件记录包含源表及记录主键、变更字段列表、变更字段的旧值和新值、事件对应业务日期、任务批次号和处理状态,处理状态初始为未处理; 同步任务开始时生成任务批次号并在重试时沿用;记录数据加载和事件持久化均成功的检查点,重试时跳过该检查点确认完成的部分,尚未确认的部分重新执行;
27、在相应最终统计结果持久化且写回成功后,将对应变更事件的处理状态更新为已处理。
28、第二方面,一种私募股权领域的配置化数据同步系统,该系统用于执行一种私募股权领域的配置化数据同步方法,该系统包括:
29、存储模块,用于存储业务对象元模型;
30、接收模块,用于接收同步任务配置;
31、获取模块,用于根据业务对象标识获取对应的业务对象元模型;
32、生成模块,用于根据业务对象元模型和同步模式生成读取脚本和写入脚本,并在生成读取脚本之前通过数据访问层解析源逻辑表名;
33、执行模块,用于执行读取脚本和写入脚本,进行数据抽取、清洗、转换和加载,并在基于数据库日志的增量同步时记录日志位点、读取增量日志以及写入变更事件存储区;
34、统计模块,用于根据业务对象元模型中的统计指标调用指标计算适配器生成统计任务并执行,得到初始统计结果,依据变更事件存储区中的未处理变更事件确定受影响的时间窗口并执行重算,得到最终统计结果,并更新变更事件处理状态;
35、写回模块,用于将最终统计结果按主键幂等写回至业务系统数据库。
36、第三方面,一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种私募股权领域的配置化数据同步方法;
37、本发明提供了一种私募股权领域的配置化数据同步方法及系统。与现有技术相比,具备以下有益效果:
38、通过构建业务对象元模型,将源逻辑表名、目标表信息、写回目标表信息、字段映射关系、增量同步策略、增量标识字段和统计指标统一抽象为机器可读的结构化元数据,并通过数据访问层将源逻辑表名与实际物理表名解耦,使得新增同步任务仅需指定业务对象标识和同步模式,无需重复编写数据抽取、清洗、转换和加载程序,减少开发工作量。
39、基于增量标识字段抽取和基于数据库日志同步。后者通过全量快照前记录日志位点、快照后从该位点读取增量日志,减少增量数据丢失和重复,提高可靠性。
40、通过按主键进行幂等写入、任务批次号和检查点信息管理,实现同步任务的断点续传和失败重试,并对统计结果写回业务系统数据库采用按主键进行幂等写入,避免同步中断导致数据不一致。
41、通过指标计算适配器,将统计指标的计算逻辑与业务对象元模型解耦,支持基金规模、有限合伙人出资进度、项目投资成本、退出收益、投入资本分红率、总收益倍数、内部收益率等多种私募股权指标的管理。
42、在基于数据库日志的增量同步过程中,系统将涉及指标计算字段或业务日期字段变化的变更事件写入变更事件存储区,并记录处理状态和任务批次号,统计模块从变更事件存储区读取未处理变更事件,根据时间窗口规则确定受影响的时间窗口及关联指标并执行重算,解决私募股权业务中历史数据修正导致统计失真的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com