针对数据库的数据质量管理方法和装置与流程

技术特征：
1.一种针对数据库的数据质量管理方法，所述数据库包括多个数据表，每个数据表包括多个字段，所述方法包括：获取用于针对所述数据库执行目标行为操作的目标结构化查询语言sql语句；对所述目标sql语句进行解析，得到所述目标行为操作涉及的若干个数据对象，以及该若干个数据对象之间的目标关联关系，其中单个数据对象为字段或数据表；根据所述若干个数据对象和所述目标关联关系，更新预先建立的数据关系记录，所述数据关系记录中包含所述数据库中至少部分数据对象，以及其间的已有关联关系；对所述若干个数据对象进行数据质量监控，判断所述若干个数据对象中是否存在数据质量不满足要求的问题数据对象；当判断结果为存在所述问题数据对象时，针对所述问题数据对象，从更新后的数据关系记录中，查询与所述问题数据对象具有预设关联关系的目标数据对象；针对所述问题数据对象和所述目标数据对象，进行数据质量管理。2.如权利要求1所述的方法，其中，所述获取用于针对所述数据库执行目标行为操作的目标sql语句，包括：定时对所述数据库中的历史sql语句进行汇总，将汇总的历史sql语句作为所述目标sql语句。3.如权利要求1所述的方法，其中，所述获取用于针对所述数据库执行目标行为操作的目标sql语句，包括：捕获用户提交运行的sql语句，作为所述目标sql语句。4.如权利要求1所述的方法，其中，所述对所述若干个数据对象进行数据质量监控，判断所述若干个数据对象中是否存在数据质量不满足要求的问题数据对象，包括：根据预先设定的质量评估规则，确定所述若干个数据对象中任一数据对象的评估分数，并将评估分数在预设区间的数据对象确定为问题数据对象。5.如权利要求1所述的方法，其中，所述数据关系记录以图谱的形式存储，所述图谱包括节点和连接边，节点对应于所述数据对象，连接边对应于关联关系。6.如权利要求5所述的方法，其中，所述根据所述若干个数据对象和所述目标关联关系，更新预先建立的数据关系记录，包括：根据所述若干个数据对象中包括的所述数据关系记录中没有的第一字段，在预先建立的所述图谱中添加对应于所述第一字段的节点；所述第一字段属于所述数据关系记录中已有的第一数据表；根据所述目标关联关系中包括的所述第一字段与所述数据关系记录中已有的第二字段之间的第一关联关系，在所述图谱中添加对应于所述第一关联关系的连接边；所述第二字段属于所述数据关系记录中已有的第二数据表；根据所述目标关联关系中包括的所述第一字段与所述第一数据表之间的第二关联关系，在所述图谱添加对应于所述第二关联关系的连接边。7.如权利要求5所述的方法，其中，所述根据所述若干个数据对象和所述目标关联关系，更新预先建立的数据关系记录，包括：根据所述若干个数据对象中包括的所述数据关系记录中没有的第三字段和其所属的第三数据表，在预先建立的所述图谱中添加对应于所述第三字段的节点，以及添加对应于
所述第三数据表的节点；根据所述目标关联关系中包括的所述第三字段与所述数据关系记录中已有的第四字段之间的第三关联关系，在所述图谱中添加对应于所述第三关联关系的连接边；所述第四字段属于所述数据关系记录中已有的第四数据表；根据所述目标关联关系中包括的所述第三字段与所述第三数据表之间的第四关联关系，在所述图谱中添加对应于所述第四关联关系的连接边。8.如权利要求5所述的方法，其中，所述从更新后的数据关系记录中，查询与所述问题数据对象具有预设关联关系的目标数据对象，包括：根据所述预设关联关系，确定图查询语句；利用所述图查询语句，从更新后的所述图谱中查询相应的节点，该节点对应于所述目标数据对象。9.如权利要求1所述的方法，其中，所述目标数据对象包括：与所述问题数据对象具有预设关联关系的上游数据对象，和/或，与所述问题数据对象具有预设关联关系的下游数据对象；其中，若第一数据对象经由任意行为操作生成第二数据对象，则第一数据对象为第二数据对象的上游数据对象，第二数据对象为第一数据对象的下游数据对象。10.如权利要求1所述的方法，其中，所述问题数据对象和所述目标数据对象均为字段，所述预设关联关系包括截断，所述截断为提取所述问题数据对象对应的字符串的子串，或者，所述截断为提取所述目标数据对象对应的字符串的子串。11.如权利要求1所述的方法，其中，所述针对所述问题数据对象和所述目标数据对象，进行数据质量管理，包括：对所述目标数据对象进行数据质量监控，判断所述目标数据对象是否数据质量不满足要求；针对所述问题数据对象和判断结果为数据质量不满足要求的所述目标数据对象，发出警报。12.如权利要求9所述的方法，其中，所述目标数据对象包括与所述问题数据对象具有预设关联关系的至少一个下游数据对象；所述针对所述问题数据对象和所述目标数据对象，进行数据质量管理，包括：针对所述问题数据对象和所述至少一个下游数据对象，发出警报。13.如权利要求9所述的方法，其中，所述目标数据对象包括与所述问题数据对象具有预设关联关系的多个上游数据对象；所述针对所述问题数据对象和所述目标数据对象，进行数据质量管理，包括：寻找所述多个上游数据对象中初始存在问题的上游数据对象，将该上游数据对象作为数据质量管理的根源。14.如权利要求1所述的方法，其中，所述针对所述问题数据对象和所述目标数据对象，进行数据质量管理，包括：针对所述问题数据对象和所述目标数据对象，反馈给数据技术人员进行数据治理，或根据预设置的数据治理规则进行清洗整理。15.一种针对数据库的数据质量管理装置，所述数据库包括多个数据表，每个数据表包
括多个字段，所述装置包括：获取单元，用于获取用于针对所述数据库执行目标行为操作的目标结构化查询语言sql语句；解析单元，用于对所述获取单元获取的目标sql语句进行解析，得到所述目标行为操作涉及的若干个数据对象，以及该若干个数据对象之间的目标关联关系，其中单个数据对象为字段或数据表；更新单元，用于根据所述解析单元得到的所述若干个数据对象和所述目标关联关系，更新预先建立的数据关系记录，所述数据关系记录中包含所述数据库中至少部分数据对象，以及其间的已有关联关系；监控单元，用于对所述解析单元得到的若干个数据对象进行数据质量监控，判断所述若干个数据对象中是否存在数据质量不满足要求的问题数据对象；查询单元，用于当所述监控单元的判断结果为存在所述问题数据对象时，针对所述问题数据对象，从所述更新单元更新后的数据关系记录中，查询与所述问题数据对象具有预设关联关系的目标数据对象；管理单元，用于针对所述监控单元得到的问题数据对象和所述查询单元得到的目标数据对象，进行数据质量管理。16.如权利要求15所述的装置，其中，所述监控单元，具体用于根据预先设定的质量评估规则，确定所述若干个数据对象中任一数据对象的评估分数，并将评估分数在预设区间的数据对象确定为问题数据对象。17.如权利要求15所述的装置，其中，所述目标数据对象包括：与所述问题数据对象具有预设关联关系的上游数据对象，和/或，与所述问题数据对象具有预设关联关系的下游数据对象；其中，若第一数据对象经由任意行为操作生成第二数据对象，则第一数据对象为第二数据对象的上游数据对象，第二数据对象为第一数据对象的下游数据对象。18.如权利要求15所述的装置，其中，所述管理单元包括：监控子单元，用于对所述目标数据对象进行数据质量监控，判断所述目标数据对象是否数据质量不满足要求；告警子单元，用于针对所述问题数据对象和所述监控子单元判断结果为数据质量不满足要求的所述目标数据对象，发出警报。19.如权利要求17所述的装置，其中，所述目标数据对象包括与所述问题数据对象具有预设关联关系的至少一个下游数据对象；所述管理单元，具体用于针对所述问题数据对象和所述至少一个下游数据对象，发出警报。20.如权利要求17所述的装置，其中，所述目标数据对象包括与所述问题数据对象具有预设关联关系的多个上游数据对象；所述管理单元，具体用于寻找所述多个上游数据对象中初始存在问题的上游数据对象，将该上游数据对象作为数据质量管理的根源。21.如权利要求15所述的装置，其中，所述管理单元，具体用于针对所述问题数据对象和所述目标数据对象，反馈给数据技术人员进行数据治理，或根据预设置的数据治理规则
进行清洗整理。22.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-14中任一项的所述的方法。23.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-14中任一项的所述的方法。

技术总结
本说明书实施例提供一种针对数据库的数据质量管理方法和装置，方法包括：获取针对数据库的目标SQL语句；解析目标SQL语句，得到若干个数据对象，以及该若干个数据对象之间的目标关联关系，单个数据对象为字段或数据表；根据若干个数据对象和目标关联关系，更新预先建立的数据关系记录，数据关系记录中包含数据库中至少部分数据对象，以及其间的已有关联关系；对若干个数据对象进行数据质量监控，判断是否存在数据质量不满足要求的问题数据对象；当判断结果为存在问题数据对象时，从更新后的数据关系记录中，查询与问题数据对象具有预设关联关系的目标数据对象；针对问题数据对象和目标数据对象，进行数据质量管理。能够提高数据管理效率。据管理效率。据管理效率。


技术研发人员：鲍梦瑶 刘佳伟 章鹏 张谦 殷雪梅
受保护的技术使用者：蚂蚁区块链科技（上海）有限公司
技术研发日：2021.11.10
技术公布日：2022/2/24