一种数据质量智能检测与优化方法、系统、设备及介质与流程

本发明涉及数据质量管理，尤其涉及一种数据质量智能检测与优化方法、系统、设备及介质。

背景技术：

1、随着信息技术的广泛应用，大量数据如专业业务数据等被采集、传输和存储，然而，由于数据来源复杂、采集设备多样以及数据处理过程的不确定性，数据质量问题（如缺失、冗余、格式不一致、噪声数据等）在实际应用中越来越突出，且对决策制定、资源协调领域带来极大的风险。

2、数据质量提升主要基于设定规则的数据质量检测并结合相关方法进行数据质量优化，当前设定规则主要为人工设定，如数据类型、范围检查、依赖关系等规则；数据优化方法主要包括特征选择、数据标准化、单一值缺失值异常值处理等传统方法。

3、传统人工规则难以处理复杂、动态变化的数据，且未形成智能化的检测机制，难以自动化检测和优化数据质量，数据质量优化方法主要通过机器学习和人工智能技术基于数据质量检测结果完成数据清洗，但缺乏自适应性、智能性，无法对既定人工规则产生反馈效果，在复杂业务中难以提升效率。

技术实现思路

1、有鉴于此，有必要提供一种数据质量智能检测与优化方法、系统、设备及介质，用以解决数据质量检测与优化的效率和精确度不高的技术问题。

2、为了解决上述问题，第一方面，本发明提供一种数据质量智能检测与优化方法，包括：

3、基于不同数据源、数据类型以及应用场景动态配置初始数据质量检测规则；

4、基于所述初始数据质量检查规则对待检测数据集进行数据质量检测，获得数据质量评估结果；

5、构建与所述数据质量评估结果对应的智能优化算法库，基于所述数据质量评估结果以及智能优化算法库对所述待检测数据集进行优化处理，获得优化后的数据集以及优化报告，其中，所述智能优化算法库用于优化待检测数据集的完整性缺陷、唯一性冲突、一致性偏差、准确性异常、时效性滞后以及合规性风险；

6、当所述优化后的数据集不满足预设的优化目标时，基于所述优化报告对所述初始数据质量检测规则进行修正，获得修正后的数据质量检测规则，并基于所述修正后的数据质量检测规则对所述初始数据质量检测规则进行更新，当所述优化后的数据集满足所述优化目标时，将所述优化后的数据集作为最优质量的数据集。

7、在一种可能的实现方式中，所述初始数据质量检测规则至少包括唯一性规则、一致性规则、值域规则、空值规则、正则表达式规则、完整性规则、精度规则、数据格式规则、准确性规则、参照性规则、波动性规则、关系性规则、逻辑性规则中的一种或多种。

8、在一种可能的实现方式中，所述基于所述初始数据质量检查规则对待检测数据集进行数据质量检测，获得数据质量评估结果，包括：

9、基于所述初始数据质量检查规则对待检测数据集进行逐条检测，以确定待检测数据集的质量问题，并生成与所述质量问题对应的数据质量评估结果。

10、在一种可能的实现方式中，所述数据质量评估结果包括完整性缺陷、唯一性冲突、一致性偏差、准确性异常、时效性滞后、合规性风险中的一种或多种。

11、在一种可能的实现方式中，所述智能优化算法库包括线性插值算法、knn算法、基于时间戳的优先级判定机制、聚类算法、小波变换平滑算法、分位数截断法、数据融合算法、离线批处理、替换算法、遮蔽算法中的一种或多种。

12、在一种可能的实现方式中，所述基于所述数据质量评估结果以及智能优化算法库对所述待检测数据集进行优化处理，获得优化后的数据集以及优化报告，包括：

13、当所述数据质量评估结果为完整性缺陷时，采用线性插值算法和/或knn算法对所述待检测数据集进行优化处理，得到优化后的数据集以及优化报告；

14、当所述数据质量评估结果为唯一性冲突时，采用基于时间戳的优先级判定机制对所述待检测数据集进行优化处理，得到优化后的数据集以及优化报告；

15、当所述数据质量评估结果为准确性异常时，采用小波变换平滑算法对所述待检测数据集进行优化处理，得到优化后的数据集以及优化报告；

16、当所述数据质量评估结果为一致性偏差时，采用数据融合算法对所述待检测数据集进行优化处理，得到优化后的数据集以及优化报告；

17、当所述数据质量评估结果为时效性滞后时，采用离线批处理对所述待检测数据集进行优化处理，得到优化后的数据集以及优化报告；

18、当所述数据质量评估结果为合规性风险时，采用替换算法对所述待检测数据集进行优化处理，得到优化后的数据集以及优化报告。

19、在一种可能的实现方式中，所述基于所述优化报告对所述初始数据质量检测规则进行修正，获得修正后的数据质量检测规则，包括：

20、根据优化后的数据集的完整性、准确性、一致性、唯一性、有效性、关联性预设优化目标，基于所述优化报告以及优化目标对所述初始数据质量检测规则进行修正，获得修正后的数据质量检测规则。

21、第二方面，本发明还提供一种数据质量智能检测与优化系统，包括：

22、检测规则配置模块，用于基于不同数据源、数据类型以及应用场景动态配置初始数据质量检测规则；

23、检测模块，用于基于所述初始数据质量检查规则对待检测数据集进行数据质量检测，获得数据质量评估结果；

24、优化模块，用于构建与所述数据质量评估结果对应的智能优化算法库，基于所述数据质量评估结果以及智能优化算法库对所述待检测数据集进行优化处理，获得优化后的数据集以及优化报告，其中，所述智能优化算法库用于优化待检测数据集的完整性缺陷、唯一性冲突、一致性偏差、准确性异常、时效性滞后以及合规性风险；

25、规则修正模块，用于当所述优化后的数据集不满足预设的优化目标时，基于所述优化报告对所述初始数据质量检测规则进行修正，获得修正后的数据质量检测规则，并基于所述修正后的数据质量检测规则对所述初始数据质量检测规则进行更新，当所述优化后的数据集满足所述优化目标时，将所述优化后的数据集作为最优质量的数据集。

26、第三方面，本发明还提供一种电子设备，包括：处理器和存储器；

27、所述存储器上存储有可被所述处理器执行的计算机可读程序；

28、所述处理器执行所述计算机可读程序时实现如上所述的数据质量智能检测与优化方法中的步骤。

29、第四方面，本发明还提供一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述各方法项中任意一项所述的数据质量智能检测与优化方法中的步骤。

30、本发明的有益效果是：基于初始数据质量检查规则对待检测数据集进行数据质量检测，获得数据质量评估结果；构建与数据质量评估结果对应的智能优化算法库，基于数据质量评估结果以及智能优化算法库对待检测数据集进行优化处理，获得优化后的数据集以及优化报告，当优化后的数据集不满足预设的优化目标时，基于优化报告对初始数据质量检测规则进行修正，获得修正后的数据质量检测规则，基于修正后的数据质量检测规则对初始数据质量检测规则进行更新，当优化后的数据集满足优化目标时，将优化后的数据集作为最优质量的数据集，通过规则对数据进行检测，并通过算法对数据进行优化，并通过优化报告优化规则，提高了数据处理的效率与准确性。