用于多源异构数据的虚拟表管理方法、装置及存储介质与流程

1.本发明属于信息处理的技术领域，特别是关于用于多源异构数据的虚拟表管理方法、装置及存储介质。


背景技术：

2.随着信息化的不断深入发展，数据生成速度正在提高，需要处理的数据量急速膨胀，随着大数据时代的到来，所涉及的数据多为多源异构数据，其具有量规模巨大、数据来源多样化、数据结构存在差异性的特点，以至于难以在合理的时间内进行处理。
3.封装表包含源表的全部内容，同时它和它对应的源表存在一对一的对应关系，对数据消费者来讲，这些全部的信息是不必要的，不同的场景可能需要不同的行和列，也可能存在需要多个表通过连接连在一起的大表，多源异构数据智能融合模型系统通过在封装表之上创建虚拟表可满足这些需求。
4.创建一个虚拟表意味着定义一个映射关系，映射关系定义了一个虚拟表的结构和底层数据源的数据如何通过转换成为虚拟表的内容。映射关系的定义也可称为虚拟表的定义过程。虚拟表的概念非常类似于普通关系数据库中的视图的概念。通过对虚拟表的增删改查操作，可以实现对源表数据的改变。
5.因此，一个封装表格展示了一个源表格的所有内容。同样的，一个封装表格与它所绑定的源表格有相同的结构。源表格内的所有内容或许不是所有的消费者都想看到的，如一些人可能不想看到所有的列，一些人可能不想看到所有的行，或者一些人希望以聚合形式看到数据，一些人希望看到将一些源数据表格聚合成一个大表格的形式。在这种情况下，需要在封装表格之上定义虚拟表。
6.然而现有技术中，多源异构数据处理系统并不存在着一种能够对底层数据进行管理的方法和装置。
7.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

8.本发明的目的在于提供用于多源异构数据的虚拟表管理方法、装置及存储介质，其可以应用于多源异构数据智能融合模型系统中，可以实现多源异构数据的自动化查询，有效、快速地查询底层数据中的数据，有利于数据的发现、理解。
9.为实现上述目的，本发明提供了用于多源异构数据的虚拟表管理方法，其应用于底层数据源与数据消费者之间，包括以下步骤：
10.s1：创建虚拟表，定义虚拟表结构；
11.s2：建立虚拟表与底层数据之间的映射关系，将底层数据源的数据转换为虚拟表中的数据；
12.s3：对数据消费者授权虚拟表访问权限；
13.s4：数据消费者通过界面浏览和查询虚拟表中的数据。
14.在本发明的一实施方式中，在所述步骤s1中，根据数据消费者的数据需求，创建虚拟表，定义虚拟表结构，在虚拟表中将包含数据消费者所需要的所有数据对象。
15.在本发明的一实施方式中，在所述步骤s2中，映射关系包括行列操作，多个数据关联，列名称更改及组合。
16.在本发明的一实施方式中，在所述步骤s3中，在授权虚拟表访问权限时，设置指定的列及增加行过滤条件作为赋权条件。
17.在本发明的一实施方式中，所述步骤s4包括：数据消费者通过界面化的方式选择列及设置过滤条件来访问虚拟表中的数据，或者通过正则表达式或类sql的方式来访问虚拟表中的数据。
18.本发明还提供了用于多源异构数据的虚拟表管理装置，其应用于底层数据源与数据消费者之间，包括：虚拟表创建模块、映射建立模块、授权模块和浏览模块；
19.所述虚拟表创建模块，用于创建虚拟表，其中，虚拟表中将包括数据消费者所需要的所有数据对象；
20.所述映射建立模块，用于建立虚拟表与底层数据之间的映射关系，将底层数据源的数据转换为虚拟表中的数据；
21.所述授权模块，用于对数据消费者授权虚拟表访问权限；
22.所述浏览模块，用于数据消费者通过界面浏览和查询虚拟表中的数据。
23.在本发明的一实施方式中，所述虚拟表创建模块还用于根据数据消费者的数据需求，创建虚拟表，定义虚拟表结构，在虚拟表中将包含数据消费者所需要的所有数据对象。
24.在本发明的一实施方式中，所述映射建立模块中，映射关系包括行列操作，多个数据关联，列名称更改及组合。
25.在本发明的一实施方式中，数据消费者通过界面化的方式选择列及设置过滤条件来访问虚拟表中的数据，或者通过正则表达式或类sql的方式来访问虚拟表中的数据。
26.本发明还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的用于多源异构数据的虚拟表管理方法的步骤。
27.与现有技术相比，根据本发明的用于多源异构数据的虚拟表管理方法、装置及存储介质，应具有以下优点：建立虚拟表与底层数据之间的映射关系，能够将底层数据映射于虚拟表中，并且可以通过界面化的方式浏览和查询数据，便于数据消费者方便快捷地查询底层数据。
附图说明
28.图1是根据本发明一实施方式的用于多源异构数据的虚拟表管理方法的流程图；
29.图2是根据本发明一实施方式的用于多源异构数据的虚拟表管理装置的结构示意图。
具体实施方式
30.下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
31.除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
32.本发明中，对多源异构数据的访问是在数据虚拟化技术的指导下，与底层数据源的数据建立连接，进而可以像普通数据库表一样对多源异构数据进行查询和更改操作。
33.如图1所示，根据本发明优选实施方式的用于多源异构数据的虚拟表管理方法，其应用于底层数据源与数据消费者之间，使得数据消费者能够根据需求方便快捷地获取底层数据源中的数据，该方法包括以下步骤：
34.s1：创建虚拟表，定义虚拟表结构。
35.具体地，根据数据消费者的数据需求，创建虚拟表，定义虚拟表结构，在虚拟表中将包含数据消费者所需要的所有数据对象。
36.同时，虚拟表结构中支持对虚拟表的修改和删除功能，进而能够对虚拟表进行管理和维护。
37.s2：建立虚拟表与底层数据之间的映射关系，将底层数据源的数据转换为虚拟表中的数据。
38.在步骤s1创建一个虚拟表后接着需要定义映射关系。通过该映射关系，能够将来自于底层数据源的数据按目标虚拟表结构和格式转换成为目标虚拟表中的所需的数据。
39.映射关系的定义也可称为虚拟表的定义过程。
40.映射关系通常包括行列操作(诸如列选择、行选择和行列转换)，多个数据关联，列名称更改及组合等。如果不对虚拟表定义映射关系，对应虚拟表将没有任何内容，同时也不能被数据消费者查询和更新。
41.s3：对数据消费者授权虚拟表访问权限。
42.具体地，将虚拟表访问权限授权给对应的数据消费者用户，以便数据消费者能够根据需要访问虚拟表中的数据。在授权虚拟表访问权限时，可以根据需要设置指定的列及增加行过滤条件作为赋权条件，这样就可以实现在一个虚拟表根据不同数据消费者的需求使其访问不同范围的数据内容。
43.s4：数据消费者通过界面浏览和查询虚拟表中的数据。即通过界面化的方式获取虚拟表中的数据。
44.在虚拟表被授权给数据消费者后，数据消费者即可以通过界面化的方式选择列及设置过滤条件访问所需数据，同时也支持让数据消费者采用正则表达式或类sql等方式更加灵活的访问所需数据。
45.基于同样的发明构思，如图2所示，一实施方式中还提供了用于多源异构数据的虚拟表管理装置，其应用于底层数据源与数据消费者之间，使得数据消费者能够根据需求方便快捷地获取底层数据源中的数据。
46.该管理装置包括虚拟表创建模块1、映射建立模块2、授权模块3和浏览模块4。
47.虚拟表创建模块1用于创建虚拟表，定义虚拟表结构。
48.具体地，虚拟表创建模块1根据数据消费者的数据需求，创建虚拟表，定义虚拟表结构，在虚拟表中将包含数据消费者所需要的所有数据对象。
49.同时，虚拟表结构中支持对虚拟表的修改和删除功能，进而能够对虚拟表进行管
理和维护。
50.映射建立模块2用于建立虚拟表与底层数据之间的映射关系，将底层数据源的数据转换为虚拟表中的数据。
51.在虚拟表创建模块1创建虚拟表之后，接着需要定义映射关系。通过模块2建立的映射关系，能够将来自于底层数据源的数据按目标虚拟表结构和格式转换成为目标虚拟表中的所需的数据。
52.映射关系的定义也可称为虚拟表的定义过程。
53.映射关系通常包括行列操作(诸如列选择、行选择和行列转换)，多个数据关联，列名称更改及组合等。如果不对虚拟表定义映射关系，对应虚拟表将没有任何内容，同时也不能被数据消费者查询和更新。
54.授权模块3用于对数据消费者授权虚拟表访问权限。
55.具体地，授权模块3将虚拟表访问权限授权给对应的数据消费者用户，以便数据消费者能够根据需要访问虚拟表中的数据。授权模块3在授权虚拟表访问权限时，可以根据需要设置指定的列及增加行过滤条件作为赋权条件，这样就可以实现在一个虚拟表根据不同数据消费者的需求使其访问不同范围的数据内容。
56.浏览模块4用于数据消费者通过界面浏览和查询虚拟表中的数据。即通过界面化选择列及设置过滤条件获取虚拟表中的数据。
57.在虚拟表被授权给数据消费者后，数据消费者即可以通过浏览模块4的界面化的方式选择列及设置过滤条件访问所需数据，同时浏览模块4也支持让数据消费者采用正则表达式或类sql等方式更加灵活的访问所需数据。
58.基于同样的发明构思，一实施方式中还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述一实施方式所述的用于多源异构数据的虚拟表管理方法的步骤。
59.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
60.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
61.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
62.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
63.前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。