一种元数据自适应混合采集与实时同步方法、系统、终端及存储介质与流程
本发明涉及数据管理,尤其涉及一种元数据自适应混合采集与实时同步方法、系统、终端及计算机可读存储介质;本发明可广泛应用于各类需要对多源异构数据进行元数据管理的场景,如企业数据中台建设、大数据分析平台构建等,为数据的精准管理与高效检索提供有力支持。
背景技术:
1、在当今数字化经济浪潮下,企业业务系统日益复杂,数据资产呈现出爆发式增长态势。数据来源不仅包括传统的关系型数据库(如 mysql、oracle、postgresql)中的结构化表数据,还广泛涵盖 kafka、rocketmq等消息队列中的流式数据,以及分布式文件系统(如hdfs)、对象存储(如 s3)中存放的日志文件、json/xml/parquet 等半结构化或非结构化文件。面对如此多样且海量的数据源,元数据-即“描述数据的数据”,诸如数据表结构、字段含义、分区信息、数据血缘关系、访问权限及变更历史等,成为企业实现数据理解、数据资产管理、数据质量监控和数据安全合规的基石。
2、目前,业界主流的元数据采集方案主要分为两类:
3、第一类为被动采集方式,亦称基于事件驱动的采集方式。该方式通过监听数据源端的变化事件(例如mysql的binlog、oracle的redo log、kafka消费组的偏移量更新、文件系统的inotify事件等),实时捕获元数据的变动,并将其推送至元数据中心。此类方式的优势在于实时性高,能够近乎即时地反映数据源的细微变化,适用于对时效性要求严苛的场景。然而,其缺陷同样显著:由于依赖数据源自身的事件输出能力,对于不支持事件日志的老旧系统或定制化存储引擎,往往存在采集盲区;同时,事件流本身可能因网络抖动或日志清理导致丢失,造成元数据不一致。
4、第二类为主动采集方式,亦称基于轮询或全量扫描的采集方式。该方式通过定时调度任务,主动连接数据源,执行全量或增量扫描,获取当前时刻的元数据快照。此类方式覆盖范围广,几乎适用于所有可编程访问的数据源,且实现简单、可控性强。但其固有不足在于:轮询周期无法无限缩小,否则将极大消耗源端系统资源,因此实时性较差;此外,每次全量扫描需传输大量冗余信息,自动化程度低,频繁的人工配置与调优增加了运维负担,且难以感知两次扫描间隔内的瞬时变更,导致元数据版本滞后。
5、实践中,许多企业为兼顾实时性与覆盖度,往往同时部署上述两种采集管道,但由于缺乏统一的采集调度与融合策略,两条管道产生的元数据版本冲突频发,反而加剧了数据不一致问题。
6、在元数据采集完成后,下一步关键操作是将元数据持久化存储并同步至检索系统(尤其是elasticsearch等分布式搜索引擎),以供数据目录、数据血缘分析、影响分析等上层应用进行高效查询。然而,现有同步机制普遍存在效率瓶颈:
7、首先,采集到的原始元数据通常以关系型数据库或键值存储作为中间缓存,再通过定时批量导出或变更数据捕获(cdc)方式同步至 elasticsearch。该链路较长,中间状态多,导致端到端延迟可达数分钟甚至数小时。
8、其次,元数据之间具有复杂的关联关系(如表与字段的嵌套、表间的外键依赖、字段与业务术语的映射等),传统扁平化的同步方式难以维持关系一致性,造成检索结果中关联信息缺失或错误。
9、再次,当元数据规模达到千万级乃至亿级时,全量重建索引的时间开销巨大,而增量更新又常因缺乏精确的变更顺序保障而导致目标索引与源端状态偏离,最终使得数据查询出现延迟、遗漏或重复,严重影响数据消费者的使用体验。
10、此外,现有元数据采集与同步流程的自动化水平普遍不足。具体表现为:新数据源接入时,需要管理员手动编写连接配置、字段映射规则、采集频率等参数,缺乏自动发现与智能适配能力;采集任务的异常恢复(如源端断连、权限变更、格式演变)多依赖人工介入,无法实现自愈式重试或降级;元数据变更的冲突检测与合并策略(例如被动事件与主动扫描结果不一致时)往往由人工裁定,缺乏规则驱动的自动仲裁机制;同步链路的监控与告警虽已部分实现,但缺乏基于预测的自适应调优,例如根据elasticsearch集群负载动态调整批量提交大小,这些仍需人工经验干预。
11、上述自动化缺陷不仅显著增加了企业的运维成本和管理复杂度,更因人为操作失误而引入额外风险,难以支撑企业敏态业务快速迭代的需求。
12、综上所述,现有技术中缺乏一种能够统一整合主动与被动采集优势、实现高实时性与广覆盖并存的元数据获取方案;亦缺乏一种高效、一致、自动化的元数据同步与索引更新机制;更缺乏一套从采集、融合、同步到检索的全链路自适应调度体系。这些问题共同导致企业元数据管理的时效性、准确性和易用性远未达到理想水平,成为制约数据中台与数据治理平台发挥价值的核心瓶颈。
13、因此,现有技术还有待于改进和发展。
技术实现思路
1、本发明的主要目的在于提供一种元数据自适应混合采集与实时同步方法、系统、终端及计算机可读存储介质,旨在解决现有技术中现有元数据采集方式无法兼顾实时性与覆盖范围、同步至检索系统效率低且一致性差、全流程自动化程度不足,从而导致数据管理延迟、不准确及运维成本高的问题。
2、为实现上述目的,本发明提供一种元数据自适应混合采集与实时同步方法,所述元数据自适应混合采集与实时同步方法包括如下步骤:
3、针对数据库表数据、kafka消息队列数据和文件数据,通过被动采集方式或者主动采集方式进行元数据采集,得到元数据;
4、对所述元数据进行转换和清洗操作,将不同数据源的元数据格式统一为适合elasticsearch存储和查询的格式,去除重复、无效和错误的元数据,得到目标元数据;
5、根据所述目标元数据的重要性和实时性要求,制定不同的同步策略,对于高实时性要求的目标元数据,采用实时同步或近实时同步,对于低实时性要求的目标元数据,采用定时批量同步;
6、开发专门的同步接口,将所述目标元数据通过所述同步接口同步到elasticsearch进行存储;
7、将所述目标元数据按照不同的维度进行分类和索引,通过查询接口接收用户的查询请求,根据所述查询请求在elasticsearch进行查询得到查询结果,并将所述查询结果进行可视化展示。
8、可选地,所述的元数据自适应混合采集与实时同步方法,其中,所述针对数据库表数据、kafka消息队列数据和文件数据,通过被动采集方式或者主动采集方式进行元数据采集,得到元数据,具体包括:
9、启动被动采集模块,通过内置的监视器机制实时监控数据库表的结构变更操作,并通过日志订阅机制订阅数据库的日志文件捕获元数据的动态变化;
10、其中,所述监视器机制通过与关系型数据库或非关系型数据库的交互接口,实时获取包括表的创建、修改、删除以及字段的增删改在内的元数据变更信息;
11、所述日志订阅机制通过解析mysql数据库的binlog日志文件,在数据库发生数据定义语言或数据操纵语言变更时,从日志记录中提取出相应的元数据实时变化信息;
12、根据预设的配置管理规则,定时触发主动采集模块,通过调用应用程序编程接口的方式主动获取kafka消息队列和文件数据的元数据信息;
13、其中,针对kafka消息队列,通过调用管理应用程序编程接口获取主题、分区和副本的元数据信息;
14、针对文件数据,通过调用文件系统应用程序编程接口获取包括文件路径、大小、创建时间和修改时间的元数据信息;
15、通过被动采集与主动采集两种方式并行执行数据采集,得到元数据,并将采集到的所有元数据统一存储至临时缓冲区。
16、可选地,所述的元数据自适应混合采集与实时同步方法,其中,所述对所述元数据进行转换和清洗操作,将不同数据源的元数据格式统一为适合elasticsearch存储和查询的格式,去除重复、无效和错误的元数据,得到目标元数据,具体包括:
17、从所述临时缓冲区中批量读取已采集的原始元数据,根据预设的元数据模型和转换规则,将来自数据库表、kafka消息队列和文件数据源的异构元数据字段映射为统一的标准化格式;
18、其中,所述标准化格式的字段定义与elasticsearch中的索引数据结构相匹配,包括数据源类型标识、元数据类型、名称、描述信息、创建时间、修改时间和数据来源路径;
19、在完成格式统一之后,对标准化后的元数据执行数据清洗操作,通过比对元数据的唯一标识符对重复记录进行去重,通过校验必填字段是否完整和数据类型是否合法来筛除无效数据,并通过逻辑校验规则识别和修正错误数据;
20、将清洗后得到的目标元数据存储至中间存储区,并记录清洗过程的日志信息,包括处理的数据总量、剔除的无效数据量和去重的记录数量。
21、可选地,所述的元数据自适应混合采集与实时同步方法,其中,所述根据所述目标元数据的重要性和实时性要求,制定不同的同步策略,对于高实时性要求的目标元数据,采用实时同步或近实时同步,对于低实时性要求的目标元数据,采用定时批量同步,具体包括:
22、在将所述目标元数据同步至elasticsearch之前,根据预设的分级规则对所述中间存储区中的目标元数据进行重要性等级和实时性需求的评估;
23、对于源自被动采集模块且涉及核心业务表结构变更的元数据,标记为高实时性等级,对于源自主动采集模块且涉及历史文件属性变更的元数据,标记为低实时性等级;
24、其中,所述分级规则支持用户通过配置管理系统进行自定义调整,以适应不同业务场景下的差异化需求;
25、对于标记为高实时性等级的目标元数据,触发实时同步或近实时同步流程,通过增量传输方式在毫秒级或秒级延迟内将数据推送至elasticsearch;
26、对于标记为低实时性等级的目标元数据,则按照配置管理系统中设定的时间间隔触发定时批量同步流程,在单个同步任务中批量传输多条元数据记录。
27、可选地,所述的元数据自适应混合采集与实时同步方法,其中,所述开发专门的同步接口,将所述目标元数据通过所述同步接口同步到elasticsearch进行存储,具体包括:
28、开发专用的同步接口组件,将所述同步接口组件分别与中间存储区和elasticsearch集群建立通信连接;
29、其中,所述同步接口组件采用高性能的批量数据传输协议,支持将中间存储区中的目标元数据以批量文档索引请求的形式写入elasticsearch,并在数据传输过程中采用数据压缩和连接池复用机制;
30、在同步执行前,所述同步接口组件根据目标元数据所属的数据源类型和元数据类型,动态选择elasticsearch中对应的索引名称和文档类型,以确保目标元数据被正确路由至预定的存储位置;
31、在目标元数据同步至elasticsearch的过程中,所述同步接口组件实时记录包含同步时间戳、同步数据量、传输耗时及同步结果状态的详细日志,并将日志信息输出至监控系统;
32、当同步过程中出现网络超时、elasticsearch写入异常或数据格式不匹配时,所述同步接口组件自动触发重试机制,按照指数退避策略重新尝试同步操作,并将最终失败的同步任务记录至异常队列以供人工介入处理。
33、可选地,所述的元数据自适应混合采集与实时同步方法,其中,所述将所述目标元数据按照不同的维度进行分类和索引,通过查询接口接收用户的查询请求,根据所述查询请求在elasticsearch进行查询得到查询结果,并将所述查询结果进行可视化展示,具体包括:
34、在elasticsearch中根据目标元数据的特点和业务查询需求设计多维度分层索引结构,按照数据源类型、元数据类型和创建时间三个维度建立分类索引,并为每个维度配置合适的字段类型和分词器;
35、对于数据源类型维度,区分数据库表、kafka主题和文件数据三个类别;
36、对于元数据类型维度,区分结构定义类元数据和属性描述类元数据;
37、对于创建时间维度,按年、月、日粒度构建时间层级索引;
38、基于开发完成的查询接口,接收用户提交的包含关键字匹配、时间范围筛选和/或数据源过滤条件的查询请求,并将所述查询请求转换为elasticsearch的标准查询语法进行执行;
39、在获取elasticsearch返回的查询结果后,将查询结果传递至可视化展示模块,所述可视化展示模块以图表和报表形式展示元数据的统计信息和明细列表,并支持用户对展示结果进行交互式筛选、排序和导出操作,以供用户直观理解和分析多源异构元数据的整体分布与变化趋势。
40、可选地,所述的元数据自适应混合采集与实时同步方法,其中,所述元数据自适应混合采集与实时同步方法还包括:
41、预先建立集中式的配置管理平台,通过所述配置管理平台向用户提供可视化的配置交互界面,使用户针对数据库表、kafka消息队列和文件数据,分别独立设置主动采集任务的定时调度周期、采集数据源的范围限定以及待采集的元数据字段白名单;
42、所述配置管理平台还用于用户根据不同业务域的实际需求,自定义元数据的重要性等级划分标准和实时性阈值参数,并将所有配置信息持久化存储至配置数据库,在系统运行期间支持配置的热加载更新,使得采集频率、同步策略以及分级规则的调整无需重启任何服务进程。
43、此外,为实现上述目的,本发明还提供一种元数据自适应混合采集与实时同步系统,所述元数据自适应混合采集与实时同步系统用于实现所述元数据自适应混合采集与实时同步方法,其中,所述元数据自适应混合采集与实时同步系统包括:
44、数据采集模块,用于针对数据库表数据、kafka消息队列数据和文件数据,通过被动采集方式或者主动采集方式进行元数据采集,得到元数据;
45、数据处理模块,用于对所述元数据进行转换和清洗操作,将不同数据源的元数据格式统一为适合elasticsearch存储和查询的格式,去除重复、无效和错误的元数据,得到目标元数据;
46、数据同步模块,用于根据所述目标元数据的重要性和实时性要求,制定不同的同步策略,对于高实时性要求的目标元数据,采用实时同步或近实时同步,对于低实时性要求的目标元数据,采用定时批量同步;
47、数据存储模块,用于开发专门的同步接口,将所述目标元数据通过所述同步接口同步到elasticsearch进行存储;
48、数据查询模块,用于将所述目标元数据按照不同的维度进行分类和索引,通过查询接口接收用户的查询请求,根据所述查询请求在elasticsearch进行查询得到查询结果,并将所述查询结果进行可视化展示。
49、此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的元数据自适应混合采集与实时同步程序,所述元数据自适应混合采集与实时同步程序被所述处理器执行时实现如上所述的元数据自适应混合采集与实时同步方法的步骤。
50、此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有元数据自适应混合采集与实时同步程序,所述元数据自适应混合采集与实时同步程序被处理器执行时实现如上所述的元数据自适应混合采集与实时同步方法的步骤。
51、本发明中,针对数据库表数据、kafka消息队列数据和文件数据,通过被动采集方式或者主动采集方式进行元数据采集,得到元数据;对所述元数据进行转换和清洗操作,将不同数据源的元数据格式统一为适合elasticsearch存储和查询的格式,去除重复、无效和错误的元数据,得到目标元数据;根据所述目标元数据的重要性和实时性要求,制定不同的同步策略,对于高实时性要求的目标元数据,采用实时同步或近实时同步,对于低实时性要求的目标元数据,采用定时批量同步;开发专门的同步接口,将所述目标元数据通过所述同步接口同步到elasticsearch进行存储;将所述目标元数据按照不同的维度进行分类和索引,通过查询接口接收用户的查询请求,根据所述查询请求在elasticsearch进行查询得到查询结果,并将所述查询结果进行可视化展示。本发明通过结合被动采集和主动采集两种方式,充分发挥各自优势,实现对数据库中表数据、kafka 消息队列数据以及文件等多种数据源的元数据高效采集,并将采集到的元数据及时、准确地同步至 elasticsearch,以便用户进行快速查询和分析。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com