基于Flink的实时数据质量检测方法及系统与流程

技术特征：
1.一种基于flink的实时数据质量检测方法，其特征在于，该方法具体如下：配置质量检测规则；配置flink窗口配置；选择待检测的数据源、数据表及待检测字段，并为待检测字段配置相应的检测规则；将待检测数据源与检测规则以及flink窗口配置完成后，形成一条任务，并将该任务发送到任务调度中心进行统一调度；调度中心管理并调度质量检测任务，任务被触发后调用flink数据处理模块执行实际的数据质量检测。2.根据权利要求1所述的基于flink的实时数据质量检测方法，其特征在于，质量检测规则包括内置通用规则和自定义规则；其中，内置通用规则包括数据的格式校验、数据范围校验、空值校验、数据的唯一性校验、完整性校验和正则表达式校验；自定义规则按照业务需要编写检测方法。3.根据权利要求1或2所述的基于flink的实时数据质量检测方法，其特征在于，flink窗口配置包括窗口类型和延时或统计时间类型；窗口类型包括滑动窗口或翻滚窗口；延时或统计时间类型包括处理时间或业务时间。4.一种基于flink的实时数据质量检测系统，其特征在于，该系统包括，规则定制模块，用于数据质量检测的规则定制；任务配置模块，用于配置待检测数据源、flink窗口配置及数据源与检测规则的关联，形成检测任务；任务调度模块，用于管理所有任务以及任务的触发和停止；flink数据处理模块，用于实际执行数据质量检测；调度中心，用于管理与调度质量检测任务。5.根据权利要求4所述的基于flink的实时数据质量检测系统，其特征在于，所述规则定制模块包括内置通用规则和自定义规则；其中，内置通用规则包括数据的格式校验、数据范围校验、空值校验、数据的唯一性校验、完整性校验和正则表达式校验；自定义规则按照业务需要编写检测方法。6.根据权利要求4所述的基于flink的实时数据质量检测系统，其特征在于，所述flink窗口配置包括窗口类型和延时或统计时间类型；窗口类型包括滑动窗口或翻滚窗口；延时或统计时间类型包括处理时间或业务时间。7.根据权利要求4所述的基于flink的实时数据质量检测系统，其特征在于，所述调度中心触发任务后，调用flink数据处理模块，通过任务id获取待检测数据源以及各类配置信息，再按照规则对数据进行实时的数据质量检测。8.根据权利要求4-7中任一所述的基于flink的实时数据质量检测系统，其特征在于，该系统的工作过程具体如下：(1)、用户通过前端页面配置检测规则、flink窗口信息及数据源，同时配置告警信息；
(2)、调度中心管理所有已经配置的任务，任务触发后执行flink数据处理模块，通过任务id获取待检测数据源以及各类配置信息，再按照规则对数据进行实时的数据质量检测；(3)、任务执行的过程中，根据业务需要配置任务监听与日志。9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；其中，所述存储器上存储有计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求1至3任一项所述的基于flink的实时数据质量检测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至3中任一项所述的基于flink的实时数据质量检测方法。

技术总结
本发明公开了基于Flink的实时数据质量检测方法及系统，属于数据质量检测领域，本发明要解决的技术问题为如何实现大批量有界或无界数据流的实时数据质量检测，丰富的时间语义支持，保证数据处理的实时性，采用的技术方案为：该方法具体如下：配置质量检测规则；配置Flink窗口配置；选择待检测的数据源、数据表及待检测字段，并为待检测字段配置相应的检测规则；将待检测数据源与检测规则以及Flink窗口配置完成后，形成一条任务，并将该任务发送到任务调度中心进行统一调度；调度中心管理并调度质量检测任务，任务被触发后调用Flink数据处理模块执行实际的数据质量检测。该系统包括规则定制模块、任务配置模块、任务调度模块、Flink数据处理模块及调度中心。Flink数据处理模块及调度中心。Flink数据处理模块及调度中心。


技术研发人员：段雅鑫 曹成峰
受保护的技术使用者：浪潮软件股份有限公司
技术研发日：2021.09.06
技术公布日：2022/1/7