数据资产查询系统及相应设备和存储介质的制作方法

1.本技术涉及电数字数据处理领域，尤其涉及数据资产查询系统及相应设备和存储介质。


背景技术：

2.数据资产是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源。它分为结构化数据、半结构化数据与非结构数据，例如：业务规则、数据库对象、api、json或xml文件、图片、音频、视频等。通常，企业的数据资产散落在各业务系统的数据孤岛，比如：字典或主数据在核心业务系统的字典管理模块或主数据管理系统、业务规则在erp系统、数据分析模型在数据仓库、数据转换规则在集成平台、业务图片或文件在文件服务器。数据资产管理系统对数据资产进行统一管理维护、分析监控并对外提供数据资产查询等接口服务。
3.数据资产查询是数据资产管理的价值产出的重要手段，它的软件实现有两种方式。第一种是定制研发：针对要采集的不同数据源的连接信息及其数据对象通过页面或配置文件进行配置；第二种是基于传统的元数据管理来实现的。这两种方式都存在一些问题。
4.上述第一种方式缺乏统一的标准的元数据管理规范，不便实现数据资产统一定义管理维护的核心功能，同时，对于不同类型数据源及其数据对象的元数据都需要定制研发，软件扩展性差、研发成本高。
5.上述第二种方式不能简单地使用传统的元数据管理，需要考虑如下三个问题：
6.1)传统的元数据管理一般都遵从cwm(公共仓库元模型)数据管理规范，但cwm规范只针对数据仓库，并且模型结构定义复杂，不能友好地、清晰地定义数据资产元数据模型；
7.2)传统的元数据采集一般以静态采集为主，依据数据资产元数据的文档模板，人工收集各业务系统或数据源相关元数据，然后再导入系统。这个方式工作量大，容易有数据误差，并且定时更新工作繁琐；
8.3)传统的元数据管理只提供数据资产元数据的查询，不提供对数据资产元数据内容的查询，例如：hr数据库里人员表，有字段20个字段与200行记录，数据资产表元数据只采集人员表其中5个字段，数据资产查询hr数据库的人员表信息就只能返回5个字段对应在200行记录。这个问题通常会有集中式与分散式两种解决方案，集中式可以使用数据集成或应用集成把数据资产采集存储到集中的数据资产库，然后查询，但这需要企业建设数据中台或数据平台，对企业信息化程度要求较高，且要进行大规模的软件资源、人员等成本投入；分散式是指相关数据资产还在原来的地方，通过接口定制化开发方式实现数据资产内容的查询。因为各系统特点不同，接口不同，这种方式工作量比较大，软件不具备通用性。


技术实现要素：

9.本发明提供一种数据资产查询系统及相应设备和存储介质，其能够使用统一的数据资产查询接口实现数据资产元数据的查询，支持动态连接数据资产所在的外部数据源，
访问数据资产内容。
10.在本发明的第一方面，提供一种数据资产查询系统，所述系统包括：
11.采集引擎，用于依据数据资产元模型的定义自动采集数据资产元数据，其中所述数据资产元模型按照优化的元数据管理规范进行定义，所述优化的元数据管理规范仅包括：元模型属于元模型包、元模型由元模型属性组成、元模型之间的关系为元模型组合关系和元模型依赖关系、元数据依据元模型定义进行定义、元数据之间的关系为元数据组合关系；
12.存储模块，用于对采集的数据资产元数据按照数据资产类型存储到元数据库，其中每一数据资产元数据具有全局唯一编码，所述数据资产类型包括数据库对象、规则和文档；
13.查询引擎，用于根据传入的数据资产元数据编码从所述元数据库找到对应的数据源或目录连接信息。
14.在本发明的第二方面，提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现根据本发明的第一方面的系统的功能。
15.根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据本发明的第一方面的系统的功能。
16.按照本发明，通过提供包括采集引擎、存储模块、查询引擎的数据资产查询系统，其中采集引擎依据按照优化的元数据管理规范定义的数据资产元模型自动采集数据资产元数据，存储模块对采集的数据资产元数据按照数据资产类型存储到元数据库，其中每一数据资产元数据具有全局唯一编码，查询引擎根据传入的数据资产元数据编码从所述元数据库找到对应的数据源或目录连接信息，元数据统一管理各种数据源连接协议与方式，连接方式与元数据采集内容支持动态建立与调整，查询引擎自动识别、建立与维护连接，依据元数据访问数据内容，可实现元数据的动态采集以及不同的系统采用统一的查询接口进行查询，大大减小了工作量和数据误差并提高了通用性。
17.结合附图阅读本发明实施方式的详细描述后，本发明的其它特点和优点将变得更加清楚。
附图说明
18.图1为根据本发明系统的一实施例的框图。
19.为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。
具体实施方式
20.下面参照附图对本发明的实施方式和实施例进行详细说明。
21.通过下面给出的详细描述，本发明的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。
22.图1示出了根据本发明的数据资产查询系统的一优选实施例的框图，该系统包括：
23.采集引擎102，用于依据数据资产元模型的定义自动采集数据资产元数据。
24.传统的元数据管理的cwm规范只针对数据仓库并且模型结构定义复杂。在此，对传统的cwm的元模型管理和元数据管理进行了改造和优化。具体地，将元数据管理规范优化成仅包括：元模型属于元模型包、元模型由元模型属性组成、元模型之间的关系为元模型组合关系和元模型依赖关系、元数据依据元模型定义进行定义、元数据之间的关系为元数据组合关系。数据资产元模型按照优化的元数据管理规范进行定义，在系统中可预置常用的数据资产元模型定义。
25.数据资产元模型抽象为系统、数据库对象、文档和规则四种元模型。系统指业务系统的基本信息；数据库对象包括数据库、表、字段、视图、存储过程等；文档指目录与各种类型的文件，包括文件夹、文件、图片、音频、视频等；规则包括规则集与规则，规则可以是数据管理规则例如数据质量规则、数据安全策略等，也可以是业务规则，例如产品打折策略等。
26.元数据可依据上述四种数据资产元模型以及相互的关系即元模型依赖关系和元模型组合关系进行定义。
27.在实施例中，采集引擎包括：
28.数据源动态适配处理模块，用于动态地自动创建与维护数据源连接池。网络连接是重要的网络资源，不能每次访问数据资产时都建立一个网络连接，这样浪费网络资源，同时软件性能低。通过采集与扫描新加入的数据资产元数据连接信息，以连接池技术，事先建立好连接，连接有存活周期，到期会销毁，对于销毁后的连接，如果再次使用时重新创建进行连接池。数据源连接池的维护包括自动销毁闲置的连接池。
29.元模型管理模块，用于按照上述优化的元数据管理规范定义数据资产元模型，例如数据库、表、视图、字段、目录、文档等元模型；
30.元数据管理模块，用于依据数据资产元模型以及相应元模型之间的依赖关系和组合关系定义数据资产元数据并填写数据源连接信息、目录连接信息等；
31.数据库对象配置模块，用于对于数据库对象采集，配置采集的表和字段集；
32.文档对象配置模块，用于对于文档对象采集，配置采集的目录和文档属性；调度配置模块，用于配置采集周期；
33.采集模块，用于依据元数据定义、各个数据源连接的元数据定时执行采集任务。
34.对于系统、数据库对象、文档、规则元模型对应的元数据，系统信息可在元数据管理模块界面手工输入；规则集与元数据“数据库”建立依赖关系，规则理解为“数据库”里“表”，这样，数据资产元数据采集就可以简化为数据库对象与文件对象采集。
35.数据库对象采集依赖数据库、表、视图、字段等元模型的定义，例如，数据库的核心元模型属性包括：数据库名、url、用户名、密码、jdbc连接驱动等；表的核心元模型属性包括表名、表描述等；字段的核心元模型属性包括字段名、数据类型、长度、精度、注释等。文件对象采集依赖目录、文档的元模型定义，目录的核心元模型属性可包括连接地址、用户名、密码、连接协议、备注等；文档的核心元模型属性包括名称、文档类型、文档编码、保存路径、查询方式等。
36.数据库对象采集协议可采用通用的jdbc协议，它适用于传统数据库oracle、sqlserver、mysql等以及大数据库hive、greenplum等。文件对象采集协议可采用传统的企业文件服务器常用sftp协议以及云文件服务器s3主流协议。只要适当，也可采用其他扩展协议。
37.在实施例中，采集引擎还包括更新模块，用于使得元数据采集方与数据资产管理方的元数据一致。在采集过程中需要保证数据资产管理方与采集方的元数据的一致性、及时性。例如：数据库对象采集事先确定采集的表以及字段集，在第一次采集成功后的计划采集任务中，采集数据源的元数据发生变化时，如果是新增字段，可以配置对新增的字段进行采集或者忽略，如果是对原字段信息进行了修改(除字段名外)，则需要把已采集的字段集与此轮要采集的字段集进行对比，自动更正为修改后原字段的信息。
38.存储模块104，用于对采集的数据资产元数据按照数据资产类型存储到元数据库，其中每一数据资产元数据具有全局唯一编码。
39.元数据存储可使用传统数据库：oracle、sqlserver、mysql等。
40.在实施例中，数据资产查询系统还包括内容管理模块，用于存储采集的数据资产元数据，对采集的数据资产元数据进行内容管理。即数据资产元数据的管理，是对数据资产元数据信息进行组织、维护管理、展示。查询依赖的数据资产的属性以及连接信息都在内容管理(数据资产元数据管理)的元数据里。内容管理的管理方式可包括：对于数据库对象，从业务系统或业务系统与数据库的维度，以树状目录形式，对数据库里包含的表、视图、字段等进行展示；对于文档，以文件服务器的目录维度，对目录包含的文件集信息进行展示；对于规则，以业务系统与业务域的维度，对业务规则进行展示。
41.查询引擎106，用于根据传入的数据资产元数据编码从元数据库找到该数据资产元数据编码对应的数据库或目录的连接信息。由于数据库对象与文档的查询处理方式和技术有所不同，查询引擎还建立相应的查询处理方式。
42.在实施例中，查询引擎还包括：
43.外部查询模块，用于依据找到的数据源或目录连接信息以及不同协议(jdbc、sftp、s3或其他扩展协议)访问相应的外部数据源进行查询并显示返回的数据资产元数据的对应数据记录；
44.访问连接管理模块，用于管理访问数据源所建立的连接，例如维持/释放数据源的连接能力，不用每次访问都重新建立连接。
45.查询引擎可提供成统一的数据资产查询接口，满足对数据资产元数据以及数据资产内容的查询。该接口可以内部使用，也可以作为外部服务进行共享。
46.数据资产统一查询接口例如是http的restful api接口，定义如下：
47.http://ip:端口号/query？type＝《查询类型》&p＝《数据资产元数据编码》&secretkey＝《密钥key》
48.其中：
49.《查询类型》：01表示元数据，02表示数据内容；
50.《数据资产元数据编码》：某个数据库对象或文档的元数据编码；
51.《密钥key》：api访问安全策略。使用接口需要申请相关访问的密钥key。
52.本发明数据资产查询系统提供元数据驱动的数据资产查询的完整解决方案，在元数据管理功能的基础上，对其进行改造与优化，采集数据资产元数据并存储与管理，提供数据资产元数据与数据内容的统一即时查询接口，更好地支撑了数据资产管理功能。
53.在另一实施例中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现结合图1所示所述的系统实施例或其它相应系统实施例
的功能，在此不再赘述。
54.在另一实施例中，本发明提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现结合图1所示所述的系统实施例或其它相应系统实施例的功能，在此不再赘述。
55.在此所述的多个不同实施方式或者其特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。另外，在某些情形下，只要适当，流程图中和/或流水处理描述的步骤顺序可修改，并不必须精确按照所描述的顺序执行。另外，本发明的多个不同方面可使用软件、硬件、固件或者其组合和/或执行所述功能的其它计算机实施的模块或装置进行实施。本发明的软件实施可包括保存在计算机可读介质中并由一个或多个处理器执行的可执行代码。计算机可读介质可包括计算机硬盘驱动器、rom、ram、闪存、便携计算机存储介质如cd-rom、dvd-rom、闪盘驱动器和/或具有通用串行总线(usb)接口的其它装置，和/或任何其它适当的有形或非短暂计算机可读介质或可执行代码可保存于其上并由处理器执行的计算机存储器。本发明可结合任何适当的操作系统使用。
56.除非明确指出，在此所用的单数形式“一”、“该”均包括复数含义(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、步骤、操作、元件、部件和/或其组合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。
57.前面说明了本发明的一些优选实施例，但是应当强调的是，本发明不局限于这些实施例，而是可以本发明主题范围内的其它方式实现。本领域技术人员可以在本发明技术构思的启发和不脱离本发明内容的基础上对本发明做出各种变型和修改，这些变型或修改仍落入本发明的保护范围之内。