基于多源异构数据融合的采集方法、系统和存储介质与流程

摘要: 本公开涉及大数据数据采集、多源数据融合领域,具体涉及一种基于多源异构数据融合的采集方法、系统和存储介质。背景技术:1、随着企业数字化业务系统不断增多,业务数据分...
基于多源异构数据融合的采集方法、系统和存储介质与流程

本公开涉及大数据数据采集、多源数据融合领域,具体涉及一种基于多源异构数据融合的采集方法、系统和存储介质。

背景技术:

1、随着企业数字化业务系统不断增多,业务数据分散存储于关系型数据库、各类文档文件、第三方接口、消息队列等不同载体中,形成典型的多源异构数据特征。各类数据源协议不统一、数据结构差异大、存储格式繁杂,传统人工采集和单一类型采集方式难以实现跨源数据统一汇聚。

2、现有数据采集技术普遍存在以下缺陷:一是缺乏统一的异构数据源管理体系,各类数据源分散管控,接入流程不标准,连通性和权限难以统一维护;二是采集模式单一,大多仅支持全量采集,无法适配增量变更数据的轻量化采集,造成资源浪费和数据冗余;三是缺少采集过程内置的数据脱敏能力,敏感数据在采集、传输、存储环节存在泄露风险;四是采集任务配置繁琐,缺少可视化统一配置能力,跨源数据融合规则难以自定义;五是采集执行过程缺乏管控,运行状态、采集结果、异常问题无法直观查看和溯源排查。

技术实现思路

1、为克服现有技术的不足,本公开提供一种基于多源异构数据融合的采集方法,包括:多源异构数据源管理,对各类异构数据源进行统一接入、分类注册,建立标准化数据源资产库,统一管控不同类型数据源的连接参数、访问权限;采集任务配置,基于已注册的异构数据源,通过可视化配置界面完成采集任务基础信息、采集范围、采集模式、调度策略、字段映射规则及数据脱敏算法的自定义配置,生成能够调度执行的采集任务方案;采集任务执行,根据采集任务方案,区分全量采集和增量采集两种执行模式,按照设定调度策略自动触发或者手动触发任务运行,完成多源异构数据的拉取、格式解析、结构归一与跨源数据融合汇聚,跨源数据融合汇聚为将不同来源、不同结构、不同格式的异构数据统一转换为标准结构化格式后存入数据汇聚仓库;采集数据脱敏,在数据采集传输、落地存储以及结果查看展示环节,依据预设的脱敏规则对敏感信息字段进行自动化脱敏处理;以及采集结果查看,对所有采集任务的运行状态、采集总量、成功条数、失败条数、异常日志进行多维度可视化展示。

2、根据本公开的一个实施例,多源异构数据源管理可以包括:接入关系型数据库、文件数据、接口数据、流式数据多种异构数据类型;按照业务领域、数据类型、接入方式进行分类归档;统一维护数据源地址、端口、账号权限配置;将完成接入与分类注册的数据源统一编目入库,生成数据源资产台账,建立标准化数据源资产库。

3、根据本公开的一个实施例,采集模式可以包括全量采集与增量采集;全量采集为首次任务初始化或历史数据重建时,一次性拉取数据源目标表或目标文件的全部存量数据;增量采集基于增量标记方式,定时采集上一次采集后新增及变更的数据。

4、根据本公开的一个实施例,自动触发可以支持自定义多种调度策略,包括每日定点执行、固定时间间隔轮询和循环周期执行,能够配置任务执行时段与执行优先级,按照既定时间规则自动触发任务启停。

5、根据本公开的一个实施例,采集任务执行可以包括:多个采集任务按队列串行排队依次执行,单个采集任务内采用多线程并行采集;对异构数据进行自动格式解析、字段自动映射;将不同结构、不同格式的异构数据统一转换为标准结构化格式后存入数据汇聚仓库。

6、根据本公开的一个实施例,采集数据脱敏可以包括:静态脱敏,在采集数据落地存储时,基于脱敏规则对敏感信息字段执行脱敏处理后持久化保存,该脱敏规则可以包括字段掩码屏蔽、部分字符隐藏、数据加密、随机替换;以及动态脱敏,在采集结果查看环节,按字段级别、业务级别自定义脱敏范围,依据查看权限对敏感信息字段实时执行脱敏展示,脱敏策略与采集任务绑定,随任务执行自动生效。

7、根据本公开的一个实施例,采集结果查看可以包括:采集任务列表总览、单任务运行详情、数据采集明细、异常错误日志、脱敏效果校验。

8、根据本公开的一个实施例,采集结果查看可以包括:响应于实时监测到的包括数据源断连、任务启动失败、采集超时、数据条数异常、脱敏报错的各类问题,基于自定义的告警阈值与告警级别,触发告警并通过指定渠道推送告警提醒。

9、本公开还提供一种基于多源异构数据融合的采集系统,包括:多源异构数据源管理部分、采集任务配置部分、采集任务执行部分、采集数据脱敏部分、采集结果查看部分;其中,多源异构数据源管理部分包括:数据源管理模块;采集任务配置部分包括应用数据采集模块、文件数据采集模块、流式数据采集模块,以及应用程序编程接口api数据采集模块;采集任务执行部分包括:立即执行模块和定时执行模块;采集数据脱敏部分包括:脱敏规则管理模块和脱敏算法配置模块;采集结果查看部分包括:采集日志查看模块、同步性能查看模块、监控报警模块,以及采集数据预览模块;其中,数据源管理模块,用于统一对接包括关系型数据库、远程文件、api接口、消息队列的多源异构数据源,完成数据源注册、连接参数录入、分类归档与集中管控;应用数据采集模块,用于面向各类业务应用产生的数据库数据开展采集工作,适配主流关系型数据库;文件数据采集模块,用于负责包括远程服务器文件、分布式文件的各类文件类数据采集;流式数据采集模块,用于针对包括消息队列、实时数据流的不间断产生的流式数据进行实时接入与持续采集;api数据采集模块,用于对接第三方及内部系统 api接口数据;立即执行模块,用于对应采集任务手动触发运行模式,响应操作人员在配置完成采集方案后,一键启动任务即时执行;定时执行模块,用于承担采集任务自动化周期调度工作,支持自定义多种调度策略,包括每日定点执行、固定时间间隔轮询和循环周期执行;脱敏规则管理模块,用于统一维护数据脱敏策略,对敏感字段配置脱敏规则,实现数据在查询、导出、展示场景自动脱敏;脱敏算法配置模块,用于管理各类数据脱敏处理算法,为脱敏规则提供底层算法能力支撑,实现对不同敏感数据的屏蔽、转换处理;采集日志查看模块,用于完整记录全生命周期任务运行日志,涵盖包括任务启动、数据拉取、字段映射、脱敏处理、数据落地的全流程操作记录;同步性能查看模块,用于全方位监控采集任务运行性能指标,统计单任务及整体集群的包括数据采集总量、单条数据处理耗时、整体任务运行时长、传输速率的核心参数;监控报警模块,用于搭建全维度异常监控与告警体系,实时监测包括数据源断连、任务启动失败、采集超时、数据条数异常、脱敏报错的问题;采集数据预览模块,用于提供采集结果可视化预览功能,在线查看原始解析数据、字段映射效果以及敏感字段脱敏状态。

10、本公开还提供一种非易失性计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,执行根据本公开实施例的基于多源异构数据融合的采集方法。

11、本公开实现多源异构数据源标准化接入管控、采集任务可视化灵活配置、全量与增量双模式自动化采集、采集敏感数据自动脱敏、采集运行结果可查可追溯,解决异构数据接入杂乱、采集效率低、重复采集、数据安全隐患、任务管控难的技术问题。

1.一种基于多源异构数据融合的采集方法,其特征在于,包括:

2.根据权利要求 1 所述的基于多源异构数据融合的采集方法,其特征在于,所述多源异构数据源管理包括:接入关系型数据库、文件数据、接口数据、流式数据多种异构数据类型;按照业务领域、数据类型、接入方式进行分类归档;统一维护数据源地址、端口、账号权限配置;将完成接入与分类注册的数据源统一编目入库,生成数据源资产台账,建立所述标准化数据源资产库。

3.根据权利要求1或2所述的基于多源异构数据融合的采集方法,其特征在于,所述采集模式包括全量采集与增量采集;所述全量采集为首次任务初始化或历史数据重建时,一次性拉取数据源目标表或目标文件的全部存量数据;所述增量采集基于增量标记方式,定时采集上一次采集后新增及变更的数据。

4.根据权利要求1或2所述的基于多源异构数据融合的采集方法,其特征在于,所述自动触发支持自定义多种调度策略,包括每日定点执行、固定时间间隔轮询和循环周期执行,能够配置任务执行时段与执行优先级,按照既定时间规则自动触发任务启停。

5.根据权利要求1或2所述的基于多源异构数据融合的采集方法,其特征在于,所述采集任务执行包括:多个采集任务按队列串行排队依次执行,单个采集任务内采用多线程并行采集;对异构数据进行自动格式解析、字段自动映射;将不同结构、不同格式的异构数据统一转换为标准结构化格式后存入数据汇聚仓库。

6.根据权利要求1或2所述的基于多源异构数据融合的采集方法,其特征在于,所述采集数据脱敏包括:静态脱敏,在采集数据落地存储时,基于所述脱敏规则对敏感信息字段执行脱敏处理后持久化保存,所述脱敏规则包括字段掩码屏蔽、部分字符隐藏、数据加密、随机替换;以及动态脱敏,在采集结果查看环节,按字段级别、业务级别自定义脱敏范围,依据查看权限对敏感信息字段实时执行脱敏展示,脱敏策略与采集任务绑定,随任务执行自动生效。

7.根据权利要求1或2所述的基于多源异构数据融合的采集方法,其特征在于,所述采集结果查看包括:采集任务列表总览、单任务运行详情、数据采集明细、异常错误日志、脱敏效果校验。

8.根据权利要求7所述的基于多源异构数据融合的采集方法,其特征在于,所述采集结果查看包括:响应于实时监测到的包括数据源断连、任务启动失败、采集超时、数据条数异常、脱敏报错的各类问题,基于自定义的告警阈值与告警级别,触发告警并通过指定渠道推送告警提醒。

9.一种基于多源异构数据融合的采集系统,包括:多源异构数据源管理部分、采集任务配置部分、采集任务执行部分、采集数据脱敏部分、采集结果查看部分;其中,

10.一种非易失性计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,执行根据权利要求1至8中任一项所述的基于多源异构数据融合的采集方法。