数据处理方法及装置、存储介质及电子设备与流程

1.本发明涉及数据处理技术领域，特别涉及一种数据处理方法及装置、存储介质及电子设备。


背景技术：

2.随着计算机科学技术的发展，大数据处理系统也越来越广泛的应用在各个领域之中，例如，可以应用于银行的大数据处理，可以极大的提升银行的数据处理效率。
3.然而，银行具有多个独立的业务，每个业务对应的大数据应用通常会独自从贴源数据区(原始数据区)、公共计算和公共访问区(加工后的基础主题数据)及各个大数据应用区复制数据至本地大数据应用，以进行后续的数据加工，导致数据表存在大量冗余，耗费大量存储资源。


技术实现要素：

4.本发明所要解决的技术问题是提供一种数据处理方法，能够减少数据冗余，节约存储资源。
5.本发明还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。
6.一种数据处理方法，包括：
7.响应于数据处理指令，确定所述数据处理指令对应的各个数据表；
8.在各个所述数据表中确定出第一数据表，以及与所述第一数据表存在关联关系的第二数据表；所述第一数据表所属的集群与所述第二数据表所属的集群不同；
9.确定出所述第二数据表对应的用户；
10.授予所述用户访问所述第一数据表的权限，使得所述用户基于所述权限访问所述第一数据表。
11.上述的方法，可选的，所述在各个所述数据表中确定出与所述第一数据表存在关联关系的第二数据表，包括：
12.获取所述第一数据表的配置参数，所述配置参数包括目标数据库ip地址以及目标表标识；
13.根据所述第一数据表的配置参数中的目标数据库ip地址以及目标表标识，在各个所述数据表中确定出与所述第一数据表存在关联关系的第二数据表；
14.获取所述第二数据表的配置参数，在所述第二数据表的配置参数中存在新的目标数据库ip地址以及新的目标表标识的情况下，重新根据所述新的目标数据库ip地址以及所述新的目标表标识，在各个所述数据表中确定出与所述第一数据表存在关联关系的新的第二数据表，直至新的第二数据表的配置参数中不存在新的目标数据库ip地址以及新的目标表标识。
15.上述的方法，可选的，所述确定出所述第二数据表对应的用户，包括：
16.根据所述第一数据表与所述第二数据表之间的关联关系、所述第一数据表的表信
息以及所述第二数据表的表信息，构建数据表血缘关系信息；
17.根据所述数据表血缘关系信息确定出所述第二数据表对应的用户。
18.上述的方法，可选的，所述授予所述用户访问所述第一数据表的权限，包括：
19.根据所述第一数据表以及所述第二数据表生成数据表视图；所述数据表视图包含所述第一数据表的虚拟表信息以及所述第二数据表的虚拟表信息；
20.在所述数据表视图上为所述用户授予访问第一数据表的权限。
21.上述的方法，可选的，所述确定所述数据处理指令对应的各个数据表之后，还包括：
22.获取每个所述数据表的基础信息；
23.根据每个所述数据表的基础信息在各个所述数据表中确定出无效数据表；
24.对所述无效数据表进行清理。
25.上述的方法，可选的，所述确定所述数据处理指令对应的各个数据表之后，还包括：
26.获取各个所述数据表的基础信息；
27.根据每个所述数据表的基础信息生成数据表基线清单，并获取每个所述数据表所属集群的数据库的执行日志信息；
28.基于所述执行日志信息确定与所述数据库关联的各个待处理数据表的执行频率；
29.根据每个所述待处理数据表的执行频率在各个所述待处理数据表中确定出冷数据表；
30.将所述冷数据表与所述数据表基线清单进行匹配；
31.若所述冷数据表与所述数据表基线清单匹配成功，则对所述冷数据表进行归档；
32.若所述冷数据表与所述数据表基线清单匹配失败，则对所述冷数据表进行清理。
33.一种数据处理装置，包括：
34.第一确定单元，用于响应数据处理指令，确定所述数据处理指令对应的各个数据表；
35.第二确定单元，用于在各个所述数据表中确定出第一数据表，以及与所述第一数据表存在关联关系的第二数据表；所述第一数据表所属的集群与所述第二数据表所属的集群不同；
36.第三确定单元，用于确定出所述第二数据表对应的用户；
37.执行单元，用于授予所述用户访问所述第一数据表的权限，使得所述用户基于所述权限访问所述第一数据表。
38.上述的装置，可选的，所述第二确定单元，包括：
39.第一获取子单元，用于获取所述第一数据表的配置参数，所述配置参数包括目标数据库ip地址以及目标表标识；
40.确定子单元，用于根据所述第一数据表的配置参数中的目标数据库ip地址以及目标表标识，在各个所述数据表中确定出与所述第一数据表存在关联关系的第二数据表；
41.第二获取子单元，用于获取所述第二数据表的配置参数，在所述第二数据表的配置参数中存在新的目标数据库ip地址以及新的目标表标识的情况下，重新根据所述新的目标数据库ip地址以及所述新的目标表标识，在各个所述数据表中确定出与所述第一数据表
存在关联关系的新的第二数据表，直至新的第二数据表的配置参数中不存在新的目标数据库ip地址以及新的目标表标识。
42.一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的数据处理方法。
43.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的数据处理方法。
44.与现有技术相比，本发明包括以下优点：
45.本发明提供了一种数据处理方法及装置、存储介质及电子设备，该方法包括：响应于数据处理指令，确定所述数据处理指令对应的各个数据表；在各个所述数据表中确定出第一数据表，以及与所述第一数据表存在关联关系的第二数据表；所述第一数据表所属的集群与所述第二数据表所属的集群不同；确定出所述第二数据表对应的用户；授予所述用户访问所述第一数据表的权限，使得所述用户基于所述权限访问所述第一数据表。应用本发明实施提供的方法，能够确定出与第一数据表具有关联关系的第二数据表，并授予第二数据表对应的用户访问权限，使得用户可以直接访问第一数据表，而无需对第一数据表进行复制，能够减少数据冗余，节约存储资源。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
47.图1为本发明提供的一种数据处理方法的方法流程图；
48.图2为本发明提供的一种大数据处理系统的结构示例图；
49.图3为本发明提供的一种数据表的访问流程的示意图；
50.图4为本发明提供的一种读取数据的过程的流程图；
51.图5为本发明提供的一种数据访问策略的示意图；
52.图6为本发明提供的一种清理无效数据表的过程的流程图；
53.图7为本发明提供的一种冷热数据分级存储的过程的示例图；
54.图8为本发明提供的一种数据处理装置的结构示意图；
55.图9为本发明提供的一种电子设备的结构示意图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有
明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
58.本发明实施例提供了一种数据处理方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：
59.s101：响应于数据处理指令，确定所述数据处理指令对应的各个数据表。
60.在本实施例中，可以对各个预设的集群进行扫描，以获得各个集群的数据表清单，根据数据表清单确定出所述数据处理指令对应的数据表。
61.s102：在各个所述数据表中确定出第一数据表，以及与所述第一数据表存在关联关系的第二数据表；所述第一数据表所属的集群与所述第二数据表所属的集群不同。
62.在本实施例中，第一数据表可以是各个数据表中的任意一个数据表，该关联关系可以是复制作业配置关系，即，第二数据表可以是对第一数据表进行复制得到的副本表。
63.s103：确定出所述第二数据表对应的用户。
64.在本实施例中，该用户可以是第二数据表所属集群的集群用户。
65.s104：授予所述用户访问所述第一数据表的权限，使得所述用户基于所述权限访问所述第一数据表。
66.在本实施例中，在第二数据表对应的用户具有访问第一数据表的需求的情况下，为该用户授予访问第一数据表的权限，使得用户基于访问权限访问第一数据表。
67.应用本发明实施提供的方法，能够确定出与第一数据表具有关联关系的第二数据表，并授予第二数据表对应的用户访问权限，使得用户可以直接访问第一数据表，而无需将第一数据表中的内容复制到第二数据表，能够减少数据冗余，节约存储资源。
68.在本发明提供的一实施例中，基于上述的实施过程，可选的，所述在各个所述数据表中确定出与所述第一数据表存在关联关系的第二数据表，包括：
69.获取所述第一数据表的配置参数，所述配置参数包括目标数据库ip地址以及目标表标识；
70.根据所述第一数据表的配置参数中的目标数据库ip地址以及目标表标识，在各个所述数据表中确定出与所述第一数据表存在关联关系的第二数据表；
71.获取所述第二数据表的配置参数，在所述第二数据表的配置参数中存在新的目标数据库标识以及新的目标表标识的情况下，重新根据所述新的目标数据库ip地址以及所述新的目标表标识，在各个所述数据表中确定出与所述第一数据表存在关联关系的新的第二数据表，直至新的第二数据表的配置参数中不存在新的目标数据库ip地址以及新的目标表标识。
72.在本实施例中，配置参数可以包括源数据库ip地址、源表标识、目标数据库ip地址以及目标表标识。
73.可选的，每个数据表的配置参数用于标记从源数据库中的源表复制到目标数据库中的目标表，源数据库为源数据库ip地址对应的数据库，源表为源表标识对应的表，目标数据库为目标数据库ip地址对应的数据库，目标表为目标表标识对应的表。即，配置参数中记录有数据表的关联关系，也即复制作业配置关系。
74.在本发明提供的一实施例中，基于上述的实施过程，可选的，所述确定出所述第二
数据表对应的用户，包括：
75.根据所述第一数据表与所述第二数据表之间的关联关系、所述第一数据表的表信息以及所述第二数据表的表信息，构建数据表血缘关系信息；
76.根据所述数据表血缘关系信息确定出所述第二数据表对应的用户。
77.在本实施例中，第一数据表的表信息可以是第一数据表的表名以及第一数据表所属的数据库集群，第二数据表的表信息可以是第二数据表的表名、第二数据表所属的数据库集群以及第二数据表的访问用户。
78.可选的，数据表血缘关系信息中可以包括源数据库表名，即，第一数据表的表名，目标数据库表名，即第二数据表的表名；具体的，数据表血缘关系信息如表1所示：
[0079][0080]
表1
[0081]
其中，访问用户可以为具有访问需求的用户，表a1、表a2为表a的第二数据表，表b1为表b的第二数据表。
[0082]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述授予所述用户访问所述第一数据表的权限，包括：
[0083]
根据所述第一数据表以及所述第二数据表生成数据表视图；所述数据表视图包含所述第一数据表的虚拟表信息以及所述第二数据表的虚拟表信息；
[0084]
在所述数据表视图上为所述用户授予访问第一数据表的权限。
[0085]
在本发明实施例中，数据表视图是由第一数据表和第二数据表导出的虚拟表，其内容由查询定义，具有普通数据表的结构，但是不实现数据存储。
[0086]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述确定所述数据处理指令对应的各个数据表之后，还包括：
[0087]
获取每个所述数据表的基础信息；
[0088]
根据每个所述数据表的基础信息在各个所述数据表中确定出无效数据表；
[0089]
对所述无效数据表进行清理。
[0090]
在本实施例中，基础信息可以包括数据表的名称、创建时间、表大小、表用户、表分区数、表分区类型、日增量等信息。
[0091]
可选的，可以先确定出各个数据表的表名称中是否包含无效关键字，若数据表的表名称中包含无效关键字，则将表名称包含无效关键字的数据表发往该数据表对应的用户，接收所述用户对该数据表的标记，若所述标记为第一类型标记，则确定该数据表为业务表，若所述标记为第二类型标记，确定该数据表为无效数据表，第一类型标记还可以携带表的业务用途以及保存期限。
[0092]
在本实施例中，可以按预设的时间间隔对无效数据进行清理。
[0093]
在一些实施例中，无效关键字可以包括“_bak”、“_temp”、“_tmp”、“_error”和“_
20211020”等其中一种或多种。
[0094]
在一些实施中，还可以按预设的时间间隔确定预设的集群中的各个数据表中是否已超期，对已超期的数据表进行清理。
[0095]
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述确定所述数据处理指令对应的各个数据表之后，还包括：
[0096]
获取各个所述数据表的基础信息；
[0097]
根据每个所述数据表的基础信息生成数据表基线清单，并获取每个所述数据表所属集群的数据库的执行日志信息；
[0098]
基于所述执行日志信息确定与所述数据库关联的各个待处理数据表的执行频率；
[0099]
根据每个所述待处理数据表的执行频率在各个所述待处理数据表中确定出冷数据表；
[0100]
将所述冷数据表与所述数据表基线清单进行匹配；
[0101]
若所述冷数据表与所述数据表基线清单匹配成功，则对所述冷数据表进行归档；
[0102]
若所述冷数据表与所述数据表基线清单匹配失败，则对所述冷数据表进行清理。
[0103]
在本实施例中，数据表的基础信息可以包括数据表的名称、创建时间、表大小、表用户、表分区数、表分区类型、日增量等信息，数据库的执行日志信息可以是sql执行日志信息，可以对每一时段的执行日志信息进行解析，以确定与数据库关联的待处理数据表以及每个待处理数据表在该时段的访问次数，根据各个时段的访问次数确定数据表的执行频率，将执行频率小于预设的执行频率阈值的数据表确定为冷数据表。
[0104]
可选的，将冷数据表与数据表基线清单进行匹配，可以确定冷数据表是否在预设的业务范围内，若匹配成功，则说明冷数据表处于该业务范围内，可以对该冷数据表进行归档，若匹配失败，则说明冷数据表不处于该业务范围内，可以对冷数据表进行清理。
[0105]
在本发明实施例提供的数据处理方法中，可以应用于各个领域之中，例如，可以应用于银行领域的大数据处理系统中，如图2所示，为本发明实施例提供的一种大数据处理系统的结构示例图，大数据处理系统中包含数据缓冲区、贴源数据区、公共计算区、公共访问区、历史归档区以及多个应用计算区。
[0106]
其中，对于数据缓冲区，上游的各个开放系统、分行及外部数据每日通过日终的形式，将原始数据下载并生成文件，将文件传输至数据缓冲区。
[0107]
贴源数据区，用于每天检核、加载缓冲区的数据文件至数据仓库，并以贴近源系统的数据格式、表结构存储原始数据；
[0108]
公共计算区，用于通过复制贴源区的源数据至公共计算区进行加工计算，并按客户、产品、合约、员工、渠道、账户等维度进行数据组织、加工，形成全行公用的基础主题数据，给下游应用计算区使用。
[0109]
公共访问区，用于根据全行数字化经营、信息应用等建设需求，从上游贴源计算区、公共计算区，组织形成总行、分行共享的事实表数据，满足全行业务人员的固定报表、自助报表、即席查询等大数据分析需求。
[0110]
应用计算区，用于根据各个对口业务部门、监管部门，从上游贴源数据区、公共计算区、公共访问区复制数据至本地应用计算区，根据对口的报送需求组织生成需要报送各个业务部门模型数据，用于进一步支撑业务发展。
[0111]
历史归档区，用于各个应用计算区超期的历史数据，统一归档至历史归档区，供后续业务人员调阅、审计及查询。
[0112]
在本发明实施例中，如图3所示，为本发明实施例提供的一种数据表的访问流程的示意图，首先，可以扫描出各个大数据集群的数据表清单，建立大数据表基线；从任一数据表出发，根据数据表的配置参数，抽取出源数据库ip、源表、目标数据库ip、目标表，建立数据表之间的映射关系，如a-a1，b-b1；然后根据映射关系形成数据表之间的数据血缘关系清单，并制定新的数据访问策略，若大数据应用集群自身的数据表有被其它大数据应用集群数据访问的需求，则针对该表创建一个数据表视图，并对有数据访问需求的集群用户进行读权限授权，这样其它集群就可以直接读取该集群上的物理数据，读取数据的过程如图4所示，应用计算区可以直接读取公共计算区中的数据表或贴源数据区中的数据表，公共计算区也可以直接读取贴源数据区的数据表，避免需要数据复制后再数据读取。为了清楚的解释数据访问策略，下面进行举例说明：
[0113]
参见图5，为本发明实施例提供的一种数据访问策略的示意图，集群a创建数据表a的数据表视图，并授予集群b和集群c用户读取权限，使得集群b和集群c可以直接访问数据表a，使得集群b和集群c无需对数据表a进行复制；集群b创建数据表b的数据表视图，并授予集群a和集群c用户读取权限，使得集群a和集群c可以直接访问数据表b，使得集群a和集群c无需对数据表b进行复制；集群c创建数据表c的数据表视图，并授予集群a和集群b用户读取权限，使得集群a和集群b可以直接访问数据表c，使得集群a和集群b无需对数据表c进行复制。
[0114]
应用本发明实施例，新的数据访问策略，通过视图授权的方式，使得其它大数据集群通过用户授权后，可以直接读取源数据库的数据表数据信息，规避了数据冗余复制并落地存储的问题，同时节省数据复制带来的网络带宽消耗，大幅提高数据的流转效率，节省大量数据机房的存储空间。
[0115]
在本发明实施例中，如图6所示，为本发明实施例提供的一种清理无效数据表的过程的流程图，具体包括如下步骤：
[0116]
步骤一、扫描各个大数据区的数据表，获取各个数据表的名称、创建日期、表大小、表用户、表分区数、表分区类型、日增量等基础信息。
[0117]
步骤二、制定数据表名称的匹配规则，如数据表名称中包含_bak、_temp、_tmp、_error、_20211020等关键字的先打标为备份表或错误表；
[0118]
步骤三、将已生成的数据表清单发各个项目组和业务确认，有真正业务用途的数据表，补充数据表的业务用途及保存期限，并标记为业务表，对于应用上线过程中的备份表或程序运行过程中产生的临时表等标记为无效表，建立总的业务数据表基线清单。
[0119]
步骤四、根据项目组反馈的业务表基线及无效数据表基线，对无效数据表进行定期清理。
[0120]
步骤五、定期每周重新获取生产的数据表清单，识别出新的无效数据，纳入清理计划；与建立的业务表清单进行对比，识别出新增的业务表，继续反馈项目组和业务部门补充业务用途及数据保存期限，定期不断更新业务表基线清单形成闭环。
[0121]
步骤六、定期每周扫描业务数据表的分区数量及创建日期，并与步骤三中登记的数据表保存周期进行比较，识别当前业务表数据保存范围是否已有数据超期，对于超期的
数据纳入清理计划。
[0122]
步骤七、根据识别出的无效数据进行清理，并定期重复执行清理无效数据表的过程，不断闭环更新业务表基线，闭环定期比较、识别无效数据进行清理，大幅缓解机房空间及存储压力，同时由于无效数据的清理、超期数据的清理，极大减少大数据集群的元数据数量及数据访问时数据块扫描的数量，大幅提升数据的访问效率。
[0123]
在本发明实施例中，可以根据业务使用场景，有的数据访问频繁，对cpu资源配置要求较高，为提升访问速度，单台设备的数据存储量不能过大，提升数据块的扫描效率，将此类访问频繁的热度数据，存在普通高密服务器；部分业务场景数据访问频率低甚至极少或无人访问，时效性要求低，此类数据消耗极大存储资源，若存储在普通高密服务器上，需要大量的计算服务器，占据大量机房空间，为此将冷数据归档至超高密主机，大幅节省机器的数量，降低采购成本，释放机房空间。
[0124]
参见图7，为本发明实施例提供的一种冷热数据分级存储的过程的示例图，具体包括：扫描各个大数据区的数据表，获取各个数据表的名称、创建日期、表大小、表用户、表分区数、表分区类型、日增量等基础信息；每日抓取大数据应用各个大数据集群的sql执行日志信息；解析sql执行日志，抽取sql中关联的数据表信息，并对有访问过的表进行记数；统计近一个月所有数据表的执行频率，并对从未访问过的数据表标记为冷数据；比对冷数据数据表与业务基线表，不在业务基线表范围的数据表形成清单，标记为待清理的无效数据，对于命中为业务表的数据表，标记为待归档的冷数据；按计划清理无效数据，同时针对标记为的冷数据归档至低cpu配置超高密集型存储设备，以备业务临时查数需求。
[0125]
与图1所述的方法相对应，本发明实施例还提供了一种数据处理装置，用于对图1中方法的具体实现，本发明实施例提供的数据处理装置可以应用于电子设备中，其结构示意图如图8所示，具体包括：
[0126]
第一确定单元801，用于响应数据处理指令，确定所述数据处理指令对应的各个数据表；
[0127]
第二确定单元802，用于在各个所述数据表中确定出第一数据表，以及与所述第一数据表存在关联关系的第二数据表；所述第一数据表所属的集群与所述第二数据表所属的集群不同；
[0128]
第三确定单元803，用于确定出所述第二数据表对应的用户；
[0129]
执行单元804，用于授予所述用户访问所述第一数据表的权限，使得所述用户基于所述权限访问所述第一数据表。
[0130]
在本发明提供的一实施例中，基于上述的方案，可选的，所述第二确定单元，包括：
[0131]
第一获取子单元，用于获取所述第一数据表的配置参数，所述配置参数包括目标数据库ip地址以及目标表标识；
[0132]
确定子单元，用于根据所述第一数据表的配置参数中的目标数据库ip地址以及目标表标识，在各个所述数据表中确定出与所述第一数据表存在关联关系的第二数据表；
[0133]
第二获取子单元，用于获取所述第二数据表的配置参数，在所述第二数据表的配置参数中存在新的目标数据库ip地址以及新的目标表标识的情况下，重新根据所述新的目标数据库ip地址以及所述新的目标表标识，在各个所述数据表中确定出与所述第一数据表存在关联关系的新的第二数据表，直至新的第二数据表的配置参数中不存在新的目标数据
库ip地址以及新的目标表标识。
[0134]
在本发明提供的一实施例中，基于上述的方案，可选的，所述确定第三确定单元803，被配置为：
[0135]
根据所述第一数据表与所述第二数据表之间的关联关系、所述第一数据表的表信息以及所述第二数据表的表信息，构建数据表血缘关系信息；
[0136]
根据所述数据表血缘关系信息确定出所述第二数据表对应的用户。
[0137]
在本发明提供的一实施例中，基于上述的方案，可选的，所述执行单元804，被配置为：
[0138]
根据所述第一数据表以及所述第二数据表生成数据表视图；所述数据表视图包含所述第一数据表的虚拟表信息以及所述第二数据表的虚拟表信息；
[0139]
在所述数据表视图上为所述用户授予访问第一数据表的权限。
[0140]
在本发明提供的一实施例中，基于上述的方案，可选的，所述数据处理装置，还包括：
[0141]
第一获取单元，用于获取每个所述数据表的基础信息；
[0142]
第四确定单元，用于根据每个所述数据表的基础信息在各个所述数据表中确定出无效数据表；
[0143]
第一清理单元，用于对所述无效数据表进行清理。
[0144]
在本发明提供的一实施例中，基于上述的方案，可选的，所述数据处理装置，还包括：
[0145]
第二获取单元，用于获取各个所述数据表的基础信息；
[0146]
生成单元，用于根据每个所述数据表的基础信息生成数据表基线清单，并获取每个所述数据表所属集群的数据库的执行日志信息；
[0147]
第五确定单元，用于基于所述执行日志信息确定与所述数据库关联的各个待处理数据表的执行频率；
[0148]
第六确定单元，用于根据每个所述待处理数据表的执行频率在各个所述待处理数据表中确定出冷数据表；
[0149]
匹配单元，用于将所述冷数据表与所述数据表基线清单进行匹配；
[0150]
归档单元，用于若所述冷数据表与所述数据表基线清单匹配成功，则对所述冷数据表进行归档；
[0151]
第二清理单元，用于若所述冷数据表与所述数据表基线清单匹配失败，则对所述冷数据表进行清理。
[0152]
上述本发明实施例公开的数据处理装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的数据处理方法相同，可参见上述本发明实施例提供的数据处理方法中相应的部分，这里不再进行赘述。
[0153]
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述数据处理方法。
[0154]
本发明实施例还提供了一种电子设备，其结构示意图如图9所示，具体包括存储器901，以及一个或者一个以上的指令902，其中一个或者一个以上指令902存储于存储器901中，且经配置以由一个或者一个以上处理器903执行所述一个或者一个以上指令902进行以
下操作：
[0155]
响应于数据处理指令，确定所述数据处理指令对应的各个数据表；
[0156]
在各个所述数据表中确定出第一数据表，以及与所述第一数据表存在关联关系的第二数据表；所述第一数据表所属的集群与所述第二数据表所属的集群不同；
[0157]
确定出所述第二数据表对应的用户；
[0158]
授予所述用户访问所述第一数据表的权限，使得所述用户基于所述权限访问所述第一数据表。
[0159]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0160]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0161]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0162]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0163]
以上对本发明所提供的一种数据处理方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。