一种数据表管理的方法、装置、计算机设备及存储介质与流程

1.本技术属于大数据技术领域，具体涉及一种数据表管理的方法、装置、计算机设备和存储介质。


背景技术：

2.数据生命周期管理包含对数据的产生、使用、迁移、清理、销毁的全生命周期管理过程。通过数据生命周期管理可以有效控制生产系统数据规模，提高数据访问效率，从而提高系统运行的整体效率，帮助企业在数据生命的各个阶段以最低的成本获得最大的价值。
3.目前，在已知数据活跃度情况后，可依据该数据的跃度情况通过人为判定的方式判断何时应该需要发起数据生命周期管理流程，即通常是数据开发人员根据自身对数据类型的理解，在数据上线前就设定数据表类型，以及设定登记数据保留期限，后续根据此期限进行数据归档或销毁。但是通过人为的方式设定数据表类型存在处理效率低和准确性低的缺陷，且通过人为的方式设定数据表类型容易导致数据泄露，难以保证数据安全。


技术实现要素：

4.本技术实施例的目的在于提出一种数据表管理的方法、装置、计算机设备及存储介质，以解决现有的人为判定数据表类型方案存在的处理效率低、准确性差以及容易导致数据泄露，难以保证数据安全的技术问题。
5.为了解决上述技术问题，本技术实施例提供一种数据表管理的方法，采用了如下所述的技术方案：
6.一种数据表管理的方法，包括：
7.接收数据表类型识别指令，确定与数据表类型识别指令对应的目标数据表；
8.获取目标数据表的血缘关系信息和访问记录信息；
9.利用预设的图处理框架将目标数据表的血缘关系信息转换为血缘特征关系图谱；
10.基于血缘特征关系图谱获取目标数据表的出入度信息和上下游表结构；
11.基于出入度信息、上下游表结构和访问记录信息确定目标数据表的类型。
12.进一步地，获取目标数据表的血缘关系信息和访问记录信息的步骤，具体包括：
13.读取与目标数据表相关的hql语句；
14.解析读取到的hql语句，得到目标数据表的血缘关系信息和访问记录信息。
15.进一步地，预设的图处理框架为spark graphx，利用预设的图处理框架将目标数据表的血缘关系信息转换为血缘特征关系图谱的步骤，具体包括：
16.利用spark graphx生成目标数据表的初始关系图谱；
17.将目标数据表导入到初始关系图谱的初始节点内，得到目标节点；
18.基于目标数据表的血缘关系信息对初始关系图谱进行填充，生成目标数据表的血缘特征关系图谱。
19.进一步地，基于血缘特征关系图谱获取目标数据表的出入度信息的步骤，具体包
括：
20.基于预设的图计算引擎对血缘特征关系图谱进行图计算，得到与目标节点相关联的三元组；
21.获取三元组中目标节点的属性信息；
22.基于三元组中目标节点的属性信息，得到目标数据表的出入度信息。
23.进一步地，三元组包括起始节点、边和终止节点，基于三元组中目标节点的属性信息，得到目标数据表的出入度信息的步骤，具体包括：
24.统计目标节点作为起始节点的三元组的数量，得到目标数据表的出度数；
25.统计目标节点作为终止节点的三元组的数量，得到目标数据表的入度数。
26.进一步地，基于血缘特征关系图谱获取目标数据表的上下游表结构的步骤，具体包括：
27.基于目标节点的三元组，确定目标数据表的上游表节点和下游表节点；
28.获取上游表节点的三元组和下游表节点的三元组；
29.基于上游表节点的三元组确定上游表结构，以及基于下游表节点的三元组确定下游表结构。
30.进一步地，出入度信息包括同源出入度和异源出入度，同源出入度包括同库出入度和异库出入度，基于出入度信息、上下游表结构和访问记录信息确定目标数据表的类型的步骤，具体包括：
31.当异源入度数大于第一阈值、同源出入度数均等于第一阈值，且目标数据表的表结构与上游表结构相同时，目标数据表为直接贴源表；
32.当异源入度数为第一阈值、同库入度数等于第二阈值或异库入度数等于第二阈值，且目标数据表的表结构与上游表结构相同时，目标数据表为二次贴源表；
33.当异源入度数大于第一阈值、同库入度数与异库入度数之和大于第一阈值、同库出度数与异库出度数之和大于第一阈值、且异源出度数等于第一阈值时，目标数据表为中间表；
34.当同库入度数与异库入度数之和大于第一阈值、同库出度数为第一阈值或异库出度数与异源出度数之和大于第一阈值，且预设第一时间周期内存在访问记录信息时，目标数据表为结果表；
35.当异库出度数为第一阈值、异源出度数为第一阈值，且预设第二时间周期内未存在访问记录信息时，目标数据表为临时表。
36.为了解决上述技术问题，本技术实施例还提供一种数据表管理的装置，采用了如下所述的技术方案：
37.一种数据表管理的装置，包括：
38.指令接收模块，用于接收数据表类型识别指令，确定与数据表类型识别指令对应的目标数据表；
39.信息获取模块，用于获取目标数据表的血缘关系信息和访问记录信息；
40.关系转换模块，用于利用预设的图处理框架将目标数据表的血缘关系信息转换为血缘特征关系图谱；
41.图谱计算模块，用于基于血缘特征关系图谱获取目标数据表的出入度信息和上下
游表结构；
42.类型确定模块，用于基于出入度信息、上下游表结构和访问记录信息确定目标数据表的类型。
43.为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：
44.一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述的数据表管理的方法的步骤。
45.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
46.一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述的数据表管理的方法的步骤。
47.与现有技术相比，本技术实施例主要有以下有益效果：
48.本技术属于一种数据表管理的方法、装置、计算机设备和存储介质，属于大数据技术领域，本技术通过预设的图处理框架spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱，并基于血缘特征关系图谱得到目标数据表的出入度信息以及目标数据表的上下游表结构，最后结合出入度信息、上下游表结构和访问信息，服务器可以实现自动判断目标数据表的类型。本技术通过目标数据表的血缘特征关系图谱得到目标数据表的出入度信息以及上下游表结构，再结合目标数据表的访问信息自动识别目标数据表的类型，以便确定数据生命周期策略智能化，可以大大减少了人工干预，提高处理效率，同时降低了数据泄露的风险。
附图说明
49.为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
50.图1示出了本技术可以应用于其中的示例性系统架构图；
51.图2示出了根据本技术的数据表管理的方法的一个实施例的流程图；
52.图3示出了根据本技术的数据表管理的装置的一个实施例的结构示意图；
53.图4示出了根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
54.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
55.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
56.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
57.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
58.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
59.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
60.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
61.需要说明的是，本技术实施例所提供的数据表管理的方法一般由服务器执行，相应地，数据表管理的装置一般设置于服务器中。
62.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
63.现有的数据表类型的确认通常是由数据开发人员根据自身对数据类型的理解，在数据上线前就设定数据表类型，以及设定登记数据保留期限，后续根据该期限进行数据表归档或销毁。但是通过人为的方式设定数据表类型存在处理效率低和准确性低的缺陷，且通过人为的方式设定数据表类型容易导致数据泄露，难以保证数据安全。本技术通过预设的图处理框架spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱，并基于血缘特征关系图谱得到目标数据表的出入度信息以及目标数据表的上下游表结构，最后结合出入度信息、上下游表结构和访问信息，服务器可以实现自动判断目标数据表的类型。
64.继续参考图2，示出了根据本技术的数据表管理的的方法的一个实施例的流程图。所述的数据表管理的方法，包括以下步骤：
65.s201，接收数据表类型识别指令，确定与数据表类型识别指令对应的目标数据表。
66.其中，在本技术具体的实施例中，目标数据表指的是大数据hive表，hive表的数据加工主要通过hql(hive query language，查询语言)语句来实现。
67.具体的，当存在数据表类型识别需求时，服务器在接收用户的数据表类型识别指令，同时基于数据表类型识别指令确定与数据表类型识别指令对应的目标数据表。其中，数据表类型识别指令至少包括目标数据表的集群信息、数据库信息和目标数据表的名称，服务器根据上述信息查找目标数据表。
68.在本实施例中，数据表管理的方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收数据表类型识别指令。需要指
出的是，上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
69.s202，获取目标数据表的血缘关系信息和访问记录信息。
70.其中，每一个目标数据表都具有一个或多个关联数据表，关联数据表中的数据和目标数据表的数据具有一定的关联关系，例如，目标数据表的数据通过关联数据表的数据计算生成，目标数据表和关联数据表存在一定的依赖关系，即血缘关系。
71.具体的，服务器通过读取目标数据表的hql语句获取目标数据表的血缘关系信息和访问记录信息。其中，血缘关系信息和访问记录信息通过hql语句进行存储，通过读取并执行目标数据表的hql语句可以获取目标数据表的血缘关系信息和访问记录信息。
72.s203，利用预设的图处理框架将目标数据表的血缘关系信息转换为血缘特征关系图谱。
73.其中，预设的图处理框架为spark graphx，spark graphx是基于spark的一个分布式图处理框架，其可以基于spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。
74.具体的，服务器通过预先布置的图处理框架为spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱。本技术通过预设的图处理框架spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱，并基于血缘特征关系图谱可以得到目标数据表的出入度信息以及目标数据表的上下游表结构。
75.s204，基于血缘特征关系图谱获取目标数据表的出入度信息和上下游表结构。
76.具体的，服务器将血缘特征关系图谱导入图计算引擎进行图计算，生成目标数据表的三元组，通过目标数据表的三元组获取目标数据表的出入度信息和上下游表结构。其中，三元组triplet顾名思义就是有三个元素的组合，三元组包括起始节点、边、终止节点，每一个三元组是血缘特征关系图谱中的一个组件，一个血缘特征关系图谱就是由多个三元组构成的，在三元组中，信息传递方向由起始节点经过边传向终止节点。图计算引擎可以使用pregel引擎，利用pregel对血缘特征关系图谱进行图计算，获取目标数据表所在节点相关联的三元组。
77.s205，基于出入度信息、上下游表结构和访问记录信息确定目标数据表的类型。
78.具体的，服务器获得出入度信息、上下游表结构和访问记录信息后，基于出入度信息、上下游表结构、访问记录信息，服务器调用目标数据表类型判别规则对目标数据表的类型进行判断。其中，数据表的类型包括直接贴源表、二次贴源表、中间表、结果表和临时表，临时表为无需长期使用的数据表，直接贴源表为从联机层源数据库(如：pgsql)同步至hive的数据表，二次贴源表为由直接贴源表转存的数据表，中间表为数据库中专门存放中间计算结果的数据表，结果表为用于支持业务应用的数据表。目标数据表类型判别规则由开发人员根据业务需求预先存储在存储器中，目标数据表类型判别规则如目标数据表的出入度数是否符合预设阈值，目标数据表的表结构与上下游表结构是否相符，预定时间周期内是否存在访问记录等等。
79.在本技术一种具体的实施例中，一种具体的目标数据表类型判别规则如表1所示：
80.表1
[0081][0082]
进一步地，出入度信息包括同源出入度和异源出入度，同源出入度包括同库出入度和异库出入度，基于出入度信息、上下游表结构和访问记录信息确定目标数据表的类型的步骤，具体包括：
[0083]
当异源入度数大于第一阈值、同源出入度数均等于第一阈值，且目标数据表的表结构与上游表结构相同时，目标数据表为直接贴源表；
[0084]
当异源入度数为第一阈值、同库入度数等于第二阈值或异库入度数等于第二阈值，且目标数据表的表结构与上游表结构相同时，目标数据表为二次贴源表；
[0085]
当异源入度数大于第一阈值、同库入度数与异库入度数之和大于第一阈值、同库出度数与异库出度数之和大于第一阈值、且异源出度数等于第一阈值时，目标数据表为中间表；
[0086]
当同库入度数与异库入度数之和大于第一阈值、同库出度数为第一阈值或异库出度数与异源出度数之和大于第一阈值，且预设第一时间周期内存在访问记录信息时，目标数据表为结果表；
[0087]
当异库出度数为第一阈值、异源出度数为第一阈值，且预设第二时间周期内未存在访问记录信息时，目标数据表为临时表。
[0088]
其中，在一个三元组中，若目标数据表的上游表或下游表与目标数据表不在同一个数据集群内，则它们之间的出入度称为其他数据出入度，若目标数据表上游表或下游表与目标数据表在来自同一个数据集群中的同一个数据库，则它们之间的出入度称为同库出
入度，若目标数据表上游表或下游表与目标数据表在来自同一个数据源中的不同数据库，则它们之间的出入度称为异库出入度。
[0089]
在上述的实施例中，第一阈值为“0”，第二阈值为“1”，这里的“0”和“1”表示的是出入度的数量，例如根据某一个目标数据表出入度信息和上下游表结构得到该目标数据表的其他数据入度为2，同库入度数和异库入度数均为0，且该目标数据表的表结构与上游表结构一致，则服务器判定该目标数据表为直接贴源表。第一时间周期为90天，第二时间周期为180天。需要说明的是，若某一个目标数据表出入度信息、上下游表结构和访问记录信息均不满足上述任意一个判别规则，则输出表类型识别错误的提示信息，以提示用户。在上述实施例中，服务器根据步骤s205得到的目标数据表的出入度信息、上下游表结构和访问记录信息以及预设的表类型判别规则可以快速判定目标数据表的类型。
[0090]
本技术属于一种数据表管理的方法、装置、计算机设备和存储介质，属于大数据技术领域，本技术通过预设的图处理框架spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱，并基于血缘特征关系图谱得到目标数据表的出入度信息以及目标数据表的上下游表结构，最后结合出入度信息、上下游表结构和访问信息，服务器可以实现自动判断目标数据表的类型。本技术通过目标数据表的血缘特征关系图谱得到目标数据表的出入度信息以及上下游表结构，再结合目标数据表的访问信息自动识别目标数据表的类型，以便数据表的类型确定数据表的生命周期策略，可以大大减少了人工干预，提高处理效率，同时降低了数据泄露的风险。
[0091]
进一步地，获取目标数据表的血缘关系信息和访问记录信息的步骤，具体包括：
[0092]
读取与目标数据表相关的hql语句；
[0093]
解析读取到的hql语句，得到目标数据表的血缘关系信息和访问记录信息。
[0094]
具体的，本技术的hive表的数据加工主要通过hql语句来实现，目标数据表的血缘关系信息和访问记录信息通过hql语句进行存储，服务器通过读取并执行目标数据表的hql语句可以获取目标数据表的血缘关系信息和访问记录信息。
[0095]
进一步地，预设的图处理框架为spark graphx，利用预设的图处理框架将目标数据表的血缘关系信息转换为血缘特征关系图谱的步骤，具体包括：
[0096]
利用spark graphx生成目标数据表的初始关系图谱；
[0097]
将目标数据表导入到初始关系图谱的初始节点内，得到目标节点；
[0098]
基于目标数据表的血缘关系信息对初始关系图谱进行填充，生成目标数据表的血缘特征关系图谱。
[0099]
其中，预设的图处理框架为spark graphx，spark是一种快速、通用、可扩展的大数据并行计算框架，其基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将spark部署在大量廉价硬件之上，形成集群。spark graphx是基于spark的一个分布式图处理框架，其可以基于spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。
[0100]
具体的，服务器利用图处理框架spark graphx生成目标数据表的初始关系图谱，初始关系图谱包括若干个节点，将目标数据表导入到初始关系图谱的初始节点内，该初始节点即为目标节点，按照血缘关系信息分别对初始关系图谱中的其余节点进行填充，得到与初始节点关联的关联节点，初始节点与所有关联节点共同生成目标数据表的血缘特征关
系图谱。
[0101]
在上述实施例中，通过图处理框架spark graphx将血缘关系信息转化为血缘特征关系图谱，方便后续进行图计算以获得目标数据表的三元组。
[0102]
进一步地，基于血缘特征关系图谱获取目标数据表的出入度信息的步骤，具体包括：
[0103]
基于预设的图计算引擎对血缘特征关系图谱进行图计算，得到与目标节点相关联的三元组；
[0104]
获取三元组中目标节点的属性信息；
[0105]
基于三元组中目标节点的属性信息，得到目标数据表的出入度信息。
[0106]
进一步地，三元组包括起始节点、边和终止节点，基于三元组中目标节点的属性信息，得到目标数据表的出入度信息的步骤，具体包括：
[0107]
统计目标节点作为起始节点的三元组的数量，得到目标数据表的入度数；
[0108]
统计目标节点作为终止节点的三元组的数量，得到目标数据表的出度数。
[0109]
其中，图计算引擎可以使用pregel引擎，pregel是一种图计算引擎，可以将图分析过程分析为若干轮计算，每一轮各个顶点独立地执行各自的顶点程序，通过消息传递在顶点之间同步状态,其中,每一轮迭代也可以称作一次超步(super step)。可以利用pregel对血缘特征关系图谱进行图计算，获取目标数据表所在节点相关联的三元组。
[0110]
具体的，服务器将血缘特征关系图谱导入预设的图计算引擎中，通过图计算引擎对血缘特征关系图谱进行图计算，得到目标节点相关联的三元组，然后服务器通过判断每一个三元组中目标节点作为起始节点或终止节点来计算出入度信息，其中，统计目标节点作为起始节点的三元组的数量，得到目标数据表的出度数，统计目标节点作为终止节点的三元组的数量，得到目标数据表的入度数。
[0111]
在上述实施例中，通过图计算引擎对血缘特征关系图谱进行图计算，得到目标节点的三元组，然后基于得到的三元组统计目标数据表的出度数和目标数据表的入度数，以获得目标数据表的出入度信息。
[0112]
进一步地，基于血缘特征关系图谱获取目标数据表的上下游表结构的步骤，具体包括：
[0113]
基于目标节点的三元组，确定目标数据表的上游表节点和下游表节点；
[0114]
获取上游表节点的三元组和下游表节点的三元组；
[0115]
基于上游表节点的三元组确定上游表结构，以及基于下游表节点的三元组确定下游表结构。
[0116]
具体的，在一个三元组中，当目标节点作为该三元组的起始节点时，该三元组的终止节点为目标数据表的下游表节点，当目标节点作为该三元组的终止节点时，该三元组的起始节点为目标数据表的上游表节点，通过上述方法确定确定目标数据表的上游表节点和下游表节点，然后利用图计算引擎分别获得每一个上游表节点和下游表节点的三元组，基于上游表节点的三元组确定上游表结构，以及基于下游表节点的三元组确定下游表结构。
[0117]
在上述实施例中，通过目标节点在三元组中的位置确定确定目标数据表的上游表节点和下游表节点，然后分别对上游表节点和下游表节点进行图计算，获得上游表节点和下游表节点的三元组，基于上游表节点的三元组确定上游表结构，以及基于下游表节点的
三元组确定下游表结构，一般后续对目标数据表结构和上下游表结构进行比对。
[0118]
进一步地，基于出入度信息、上下游表结构和访问记录信息确定目标数据表的类型的步骤之后，还包括：
[0119]
在预设的处理策略集合中获取与目标数据表的类型相匹配的数据表处理策略；
[0120]
按照匹配的数据表处理策略对目标数据表进行处理。
[0121]
具体的，开发人员根据每一个类型表格的处理需求为各种类型的数据表配置相应的数据表处理策略，数据表处理策略预先存储于存储器，服务器在判断所述目标数据表的类型后，根据所述目标数据表的类型在存储器中调用相应的数据表处理策略，并按照匹配的数据表处理策略对目标数据表进行处理。
[0122]
在本技术一种具体的实施例中，一种具体的数据表处理策略如表2所示：
[0123]
表2
[0124]
[0125][0126]
其中，直接贴源表和结果表永久保留，过期自动退出，二次贴源表和中间表默认保留3个月，过期自动删除，临时表默认保留1个月，过期自动删除。在上述实施例例中，在步骤s205判定目标数据表的类型之后，服务器根据预设的数据表处理策略自动完成目标数据表的后续处理。
[0127]
需要强调的是，为进一步保证上述目标数据表的私密和安全性，上述目标数据表还可以存储于一区块链的节点中。
[0128]
本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0129]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0130]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他
步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0131]
进一步参考图3，作为对上述图2所示方法的实现，本技术提供了一种数据表管理的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0132]
如图3所示，本实施例所述的数据表管理的装置包括：
[0133]
指令接收模块301，用于接收数据表类型识别指令，确定与数据表类型识别指令对应的目标数据表；
[0134]
信息获取模块302，用于获取目标数据表的血缘关系信息和访问记录信息；
[0135]
关系转换模块303，用于利用预设的图处理框架将目标数据表的血缘关系信息转换为血缘特征关系图谱；
[0136]
图谱计算模块304，用于基于血缘特征关系图谱获取目标数据表的出入度信息和上下游表结构；
[0137]
类型确定模块305，用于基于出入度信息、上下游表结构和访问记录信息确定目标数据表的类型。
[0138]
进一步地，信息获取模块302具体包括：
[0139]
语句读取单元，用于读取与目标数据表相关的hql语句；
[0140]
信息获取单元，用于解析读取到的hql语句，得到目标数据表的血缘关系信息和访问记录信息。
[0141]
进一步地，预设的图处理框架为spark graphx，关系转换模块303具体包括：
[0142]
图谱构建单元，用于利用spark graphx生成目标数据表的初始关系图谱；
[0143]
节点构建单元，用于将目标数据表导入到初始关系图谱的初始节点内，得到目标节点；
[0144]
关系填充单元，用于基于目标数据表的血缘关系信息对初始关系图谱进行填充，生成目标数据表的血缘特征关系图谱。
[0145]
进一步地，图谱计算模块304具体包括：
[0146]
图计算单元，用于基于预设的图计算引擎对血缘特征关系图谱进行图计算，得到与目标节点相关联的三元组；
[0147]
属性信息获取单元，用于获取三元组中目标节点的属性信息；
[0148]
出入度信息单元，用于基于三元组中目标节点的属性信息，得到目标数据表的出入度信息。
[0149]
进一步地，三元组包括起始节点、边和终止节点，出入度信息单元具体包括：
[0150]
第一统计子单元，用于统计目标节点作为起始节点的三元组的数量，得到目标数据表的出度数；
[0151]
第二统计子单元，用于统计目标节点作为终止节点的三元组的数量，得到目标数据表的入度数。
[0152]
进一步地，图谱计算模块304还包括：
[0153]
图谱计算单元，用于基于目标节点的三元组，确定目标数据表的上游表节点和下游表节点；
[0154]
三元组获取单元，用于获取上游表节点的三元组和下游表节点的三元组；
[0155]
表结构获取单元，用于基于上游表节点的三元组确定上游表结构，以及基于下游表节点的三元组确定下游表结构。
[0156]
进一步地，该数据表管理的装置还包括：
[0157]
策略获取模块，用于在预设的处理策略集合中获取与目标数据表的类型相匹配的数据表处理策略；
[0158]
表格处理模块，用于按照匹配的数据表处理策略对目标数据表进行处理。
[0159]
本技术属于一种数据表管理的装置，属于大数据技术领域，本技术通过预设的图处理框架spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱，并基于血缘特征关系图谱得到目标数据表的出入度信息以及目标数据表的上下游表结构，最后结合出入度信息、上下游表结构和访问信息，服务器可以实现自动判断目标数据表的类型。本技术通过目标数据表的血缘特征关系图谱得到目标数据表的出入度信息以及上下游表结构，再结合目标数据表的访问信息自动识别目标数据表的类型，以便确定数据生命周期策略智能化，减少了人工干预，提高处理效率，同时降低了数据泄露的风险。
[0160]
为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
[0161]
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41
‑
43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0162]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0163]
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如数据表管理的方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0164]
所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机
可读指令或者处理数据，例如运行所述数据表管理的方法的计算机可读指令。
[0165]
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
[0166]
本技术属于一种计算机设备，属于大数据技术领域，本技术通过预设的图处理框架spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱，并基于血缘特征关系图谱得到目标数据表的出入度信息以及目标数据表的上下游表结构，最后结合出入度信息、上下游表结构和访问信息，服务器可以实现自动判断目标数据表的类型。本技术通过目标数据表的血缘特征关系图谱得到目标数据表的出入度信息以及上下游表结构，再结合目标数据表的访问信息自动识别目标数据表的类型，以便确定数据生命周期策略智能化，可以大大减少了人工干预，提高处理效率，同时降低了数据泄露的风险。
[0167]
本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据表管理的方法的步骤。
[0168]
本技术属于一种存储介质，属于大数据技术领域，本技术通过预设的图处理框架spark graphx将目标数据表的血缘关系信息转换为血缘特征关系图谱，并基于血缘特征关系图谱得到目标数据表的出入度信息以及目标数据表的上下游表结构，最后结合出入度信息、上下游表结构和访问信息，服务器可以实现自动判断目标数据表的类型。本技术通过目标数据表的血缘特征关系图谱得到目标数据表的出入度信息以及上下游表结构，再结合目标数据表的访问信息自动识别目标数据表的类型，以便确定数据生命周期策略智能化，可以大大减少了人工干预，提高处理效率，同时降低了数据泄露的风险。
[0169]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0170]
显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。