一种数据治理方法、装置、电子设备及计算机可读介质与流程
本申请涉及计算机,尤其涉及一种数据治理方法、装置、电子设备及计算机可读介质。
背景技术:
1、数据的存储资源治理是降本增效的有效手段,目前市面上缺乏与应用集成的自动化的资源治理手段,通常需要人工的去对监控系统或应用系统中的表进行无调用或资源占用统计,对于使用数据较多的应用来说既浪费人工也耗时间,数据治理效率低。
技术实现思路
1、有鉴于此,本申请实施例提供一种数据治理方法、装置、电子设备及计算机可读介质,能够解决现有的需要人工的去对监控系统或应用系统中的表进行无调用或资源占用统计,对于使用数据较多的应用来说既浪费人工也耗时间,数据治理效率低的问题。
2、为实现上述目的,根据本申请实施例的一个方面,提供了一种数据治理方法,包括:
3、获取目标埋点对应的资源使用数据和规则数据,基于规则数据筛选资源使用数据,以获得可治理数据;
4、根据规则数据,确定目标治理节点;
5、将可治理数据推送至目标治理节点,获取目标治理节点返回的针对可治理数据的数据治理结果数据;
6、推送数据治理结果数据至目标埋点对应的目标应用的应用负责节点。
7、可选地,获取目标埋点对应的资源使用数据,包括:
8、定期扫描目标应用对应的上报的埋点数据,根据埋点数据确定目标埋点;
9、根据目标埋点,确定目标数据源;
10、获取目标数据源对应的数据库连接信息,基于数据库连接信息连接至目标数据库以获取目标数据库的资源使用数据。
11、可选地,目标应用配置有上报规则和需要代理的数据库驱动包;在目标应用的启动脚本上增加代理程序;以及
12、数据治理方法还包括:
13、根据数据库驱动包确定数据库驱动路径,当代理程序执行时对数据库驱动路径进行动态代理,以完成对数据库驱动包名对应的数据库访问的埋点,得到各个目标埋点;
14、在目标应用运行过程中,基于上报规则执行对各个目标埋点产生的埋点数据的上报。
15、可选地,基于规则数据筛选资源使用数据,以获得可治理数据,包括:
16、基于规则数据,生成查询条件;
17、获取目标埋点对应的默认筛选条件,基于查询条件和默认筛选条件从资源使用数据中查询得到可治理数据。
18、可选地,根据规则数据,确定目标治理节点,包括:
19、确定规则数据的类型为自定义规则数据,将自动治理节点确定为目标治理节点;以及
20、数据治理方法还包括:
21、确定对可治理数据的删除方式,由目标治理节点执行删除方式对应的删除程序以对可治理数据进行删除。
22、可选地,根据规则数据,确定目标治理节点,包括:
23、确定规则数据的类型为默认规则数据,将人工治理节点确定为目标治理节点。
24、可选地,埋点数据包括应用标识、数据库标识和数据表标识。
25、另外,本申请还提供了一种数据治理装置,包括:
26、第一获取单元,被配置成获取目标埋点对应的资源使用数据和规则数据,基于规则数据筛选资源使用数据,以获得可治理数据;
27、目标治理节点确定单元,被配置成根据规则数据,确定目标治理节点;
28、第二获取单元,被配置成将可治理数据推送至目标治理节点,获取目标治理节点返回的针对可治理数据的数据治理结果数据;
29、推送单元,被配置成推送数据治理结果数据至目标埋点对应的目标应用的应用负责节点。
30、可选地,第一获取单元进一步被配置成:
31、定期扫描目标应用对应的上报的埋点数据,根据埋点数据确定目标埋点;
32、根据目标埋点,确定目标数据源;
33、获取目标数据源对应的数据库连接信息,基于数据库连接信息连接至目标数据库以获取目标数据库的资源使用数据。
34、可选地,目标应用配置有上报规则和需要代理的数据库驱动包;在目标应用的启动脚本上增加代理程序;以及
35、数据治理装置还包括埋点单元,被配置成:
36、根据数据库驱动包确定数据库驱动路径,当代理程序执行时对数据库驱动路径进行动态代理,以完成对数据库驱动包名对应的数据库访问的埋点,得到各个目标埋点;
37、在目标应用运行过程中,基于上报规则执行对各个目标埋点产生的埋点数据的上报。
38、可选地,第一获取单元进一步被配置成:
39、基于规则数据,生成查询条件;
40、获取目标埋点对应的默认筛选条件,基于查询条件和默认筛选条件从资源使用数据中查询得到可治理数据。
41、可选地,目标治理节点确定单元进一步被配置成:
42、确定规则数据的类型为自定义规则数据,将自动治理节点确定为目标治理节点;以及
43、数据治理装置还包括删除单元,被配置成:
44、确定对可治理数据的删除方式,由目标治理节点执行删除方式对应的删除程序以对可治理数据进行删除。
45、可选地,目标治理节点确定单元进一步被配置成:
46、确定规则数据的类型为默认规则数据,将人工治理节点确定为目标治理节点。
47、可选地,埋点数据包括应用标识、数据库标识和数据表标识。
48、另外,本申请还提供了一种数据治理电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述的数据治理方法。
49、另外,本申请还提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述的数据治理方法。
50、为实现上述目的,根据本申请实施例的又一个方面,提供了一种计算机程序产品。
51、本申请实施例的一种计算机程序产品,包括计算机程序,程序被处理器执行时实现本申请实施例提供的数据治理方法。
52、上述发明中的一个实施例具有如下优点或有益效果:本申请通过获取目标埋点对应的资源使用数据和规则数据,基于规则数据筛选资源使用数据,以获得可治理数据;根据规则数据,确定目标治理节点;将可治理数据推送至目标治理节点,获取目标治理节点返回的针对可治理数据的数据治理结果数据;推送数据治理结果数据至目标埋点对应的目标应用的应用负责节点。提高数据治理效率。
53、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
1.一种数据治理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述获取目标埋点对应的资源使用数据,包括:
3.根据权利要求1所述的方法,其特征在于,所述目标应用配置有上报规则和需要代理的数据库驱动包;在所述目标应用的启动脚本上增加代理程序;以及
4.根据权利要求1所述的方法,其特征在于,所述基于所述规则数据筛选所述资源使用数据,以获得可治理数据,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述规则数据,确定目标治理节点,包括:
6.根据权利要求1所述的方法,其特征在于,所述根据所述规则数据,确定目标治理节点,包括:
7.根据权利要求2或3所述的方法,其特征在于,所述埋点数据包括应用标识、数据库标识和数据表标识。
8.一种数据治理装置,其特征在于,包括:
9.一种数据治理电子设备,其特征在于,包括:
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com