一种数据质量检测方法、装置和设备与流程

技术特征：
1.一种数据质量检测方法，其特征在于，包括：基于查询条件生成数据血缘关系信息集；其中，所述数据血缘关系信息集用于表征数据之间的关系；利用所述数据血缘关系信息集，确定需要检测的数据范围；基于所述需要检测的数据范围设置质量检测参数；根据所述需要检测的数据范围和所述质量检测参数生成目标结构化查询语句；利用所述目标结构化查询语句对所述需要检测的数据范围内的数据进行质量检测，得到质量检测结果；其中，所述质量检测结果用于表示数据是否通过质量检测。2.根据权利要求1所述的方法，其特征在于，基于查询条件生成数据血缘关系信息集，包括：根据所述查询条件从目标数据库中获取端到端血缘关系明细数据；对所述端到端血缘关系明细数据进行转换得到节点信息；其中，所述节点信息用于确定字段的元数据；根据所述端到端血缘关系明细数据和所述节点信息，绘制数据血缘关系图；将所述数据血缘关系图作为所述数据血缘关系信息集。3.根据权利要求1所述的方法，其特征在于，所述查询条件包括：系统名、表名、字段名、版本信息、表征业务含义的关键字。4.根据权利要求1所述的方法，其特征在于，在基于查询条件生成数据血缘关系信息集之后，还包括：获取预设剖析策略；根据所述查询条件和所述预设剖析策略，生成数字类型数据的结构化查询语句和非数字类型数据的结构化查询语句；执行所述数字类型数据的结构化查询语句和非数字类型数据的结构化查询语句，得到数字类型数据剖析报告和非数字类型数据剖析报告。5.根据权利要求4所述的方法，其特征在于，利用所述数据血缘关系信息集，确定需要检测的数据范围，包括：根据所述数据血缘关系信息集、数字类型数据剖析报告和非数字类型数据剖析报告，确定需要检测的数据范围。6.根据权利要求1所述的方法，其特征在于，所述质量检测参数包括：输出字段、筛选条件、输出排序方式、输出分组方式。7.根据权利要求1所述的方法，其特征在于，利用所述目标结构化查询语句对所述需要检测的数据范围内的数据进行质量检测，得到质量检测结果，包括：将所述目标结构化查询语句在预设界面中展示；设置所述目标结构化查询语句执行的时间频率；在确定不需要修改后所述目标结构化查询语句的情况下，按照所述时间频率执行所述目标结构化查询语句对所述需要检测的数据范围内的数据进行质量检测，得到质量检测结果。8.根据权利要求1所述的方法，其特征在于，在得到质量检测结果之后，还包括：获取预设阈值；
根据所述质量检测结果，确定通过质量检测的数据条数和参与质量检测的数据总条数；在所述通过质量检测的数据条数与参与质量检测的数据总条数的比值小于所述预设阈值的情况下，生成质量检测提示信息；将所述质量检测提示信息发送给目标处理对象。9.一种数据质量检测装置，其特征在于，包括：第一生成模块，用于基于查询条件生成数据血缘关系信息集；其中，所述数据血缘关系信息集用于表征数据之间的关系；确定模块，用于利用所述数据血缘关系信息集，确定需要检测的数据范围；设置模块，用于基于所述需要检测的数据范围设置质量检测参数；第二生成模块，用于根据所述需要检测的数据范围和所述质量检测参数生成目标结构化查询语句；处理模块，用于利用所述目标结构化查询语句对所述需要检测的数据范围内的数据进行质量检测，得到质量检测结果；其中，所述质量检测结果用于表示数据是否通过质量检测。10.一种数据质量检测设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至8中任一项所述方法的步骤。11.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至8中任一项所述方法的步骤。

技术总结
本说明书实施例提供了一种数据质量检测方法、装置和设备，涉及人工智能技术领域，其中，该方法包括：基于查询条件生成数据血缘关系信息集；数据血缘关系信息集用于表征数据之间的关系；利用数据血缘关系信息集，确定需要检测的数据范围；基于需要检测的数据范围设置质量检测参数；根据所述需要检测的数据范围和质量检测参数生成目标结构化查询语句；利用目标结构化查询语句对所述需要检测的数据范围内的数据进行质量检测，得到质量检测结果。在本说明书实施例中，可以通过设置各个质量检测参数的数值自动生成目标结构化查询语句，从而解决了业务人员不会编码的问题，并且有效提高了质量检测的效率，可以高效的响应业务数据治理的需求。理的需求。理的需求。


技术研发人员：彭雪琼 徐怡欣 陈彦明 赵锡豪
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2021.07.16
技术公布日：2021/10/23