元数据管理系统的制作方法

1.本发明涉及元数据管理技术领域，特别是涉及一种元数据管理系统。


背景技术：

2.随着公司的业务产品线不断增多，底层数据记录越来越复杂，每个业务条线自己的数据自成体系，烟囱式的业务开发形式，也极易形成数据孤岛。公司级的数据仓库建设是该情况下的最优选择，其汇总层与展示层的数据，既可以作为bi分析的基础，更可以直接包装成数据接口。越来越多的业务数据与数据仓库数据，在数据分析、业务赋能过程中，如何更快速的检索数据，根据不同需求的业务口径选择数据，成为了数据管理的重点。元数据作为数据的数据，就是记录这些信息的核心。数据全生命周期的元数据管理与维护，是数据治理的根基，为保证公司数据平稳高效赋能奠定基础。
3.现有技术对数据进行管理过程中，容易导致元数据的缺失，而且无法实现数据的全生命周期溯源，导致后续在应用数据过程中，加大了数据的查找难度。


技术实现要素：

4.有鉴于此，本发明提供一种元数据管理系统，通过该方法，可以实现对元数据的管理，并通过对元数据的管理实现数据的溯源。
5.一种元数据管理系统，其特征在于，包括：
6.数据概况模块、数据指标模块、数据反馈模块和搜索引擎模块；
7.所述数据概况模块，用于实时扫描数据仓库的元数据信息，并基于数据仓库中的元数据信息实时校准数据资产库中的数据；基于预设的第一分类规则，对所述数据资产库中的各个数据进行分类，获得所述数据资产库中每个类别对应的数据列表；当检测到用户登录时，向所述用户展示所述数据资产库的资产库信息，所述资产库信息包括各个所述数据列表；当接收到所述搜索引擎模块发送的搜索信息时，查找所述搜索信息对应的各个目标数据列表，并所述目标数据列表关联的各个目标数据，构建各个所述目标数据对应的血缘关系；
8.所述数据指标模块，用于基于预设的第二分类规则，对每个所述数据列表中的各个数据进行指标划分，获得每个所述数据列表下多个指标类别数据指标；
9.所述数据反馈模块，用于接收用户发送的数据修正消息，确定所述数据修正消息对应的反馈类别，所述反馈类型为数据类型或指标类型；将所述数据修正消息发送至所述反馈类型对应的业务端；当接收到所述业务端反馈的所述数据修正消息对应的反馈结果时，基于所述反馈类型调用所述数据概况模块或所述数据指标模块对所述反馈结果对应的结果数据进行分类；
10.所述搜索引擎模块，用于接收用户发送的搜索信息，并将所述搜索信息发送至所述数据概况模块，使得所述数据概况模块从所述数据资产库中的查询所述搜索信息对应的数据。
11.上述的元数据管理系统，可选的，所述数据概况模块，用于基于所述元数据信息，判断所述数据仓库是否存在新增的数据，以及判断所述数据仓库中是否存在更新的数据；当所述数据仓库存在新增的数据时，将所述新增的数据添加至预设的新增列表；当所述数据仓库存在更新的数据时，将所述更新的数据添加至预设的更新列表；将所述新增列表中新增的数据存储至所述数据资产库；基于所述更新列表中更新的数据，更新所述数据资产库中的数据。
12.上述的元数据管理系统，可选的，所述数据概况模块，用于确定用户的用户类型；当所述用户的用户类型为普通用户时，向所述用户展示所述数据资产库的各个所述数据列表及各个所述数据列表对应的数据详情；当所述用户的用户类型为管理用户时，向所述用户展示所述数据资产库的各个所述数据列表、各个所述数据列表对应的数据详情及所述数据资产库对应的数据管理模块。
13.上述的元数据管理系统，可选的，所述数据概况模块，用于获取所述搜索信息中包含的表编号；确定所述数据资产库中与所述表编号匹配的目标数据列表；基于所述表编号，查找与所述目标数据列表关联的各个目标数据。
14.上述的元数据管理系统，可选的，所述数据概况模块，用于基于与所述目标数据列表关联的各个目标数据之间的血缘关系，将与所述id匹配的各个数据进行关联，获得关联数据，向所述用户发送所述关联数据。
15.上述的元数据管理系统，可选的，所述数据概况模块，还用于：当接收到所述数据资产库中任意的数据列表对应的废弃指令时，取消展示所述废弃指令对应的数据列表。
16.上述的元数据管理系统，可选的，所述数据概况模块，还用于当接收到已废弃的数据列表对应的恢复指令时，恢复展示所述恢复指令对应的数据列表。
17.上述的元数据管理系统，可选的，所述数据反馈模块，用于获取所述数据修正消息包含的反馈标识；当所述反馈标识为第一反馈标识时，确定所述数据修正消息对应的反馈类型为数据类型；当所述反馈标识为第二反馈标识时，确定所述数据修正消息对应的反馈类型为指标类型。
18.上述的元数据管理系统，可选的，所述数据反馈模块，用于当所述数据修正消息对应的反馈类型为数据类型时，将所述反馈结果记录至预设的第一存储库，并调用所述数据概况模块按照所述第一分类规则对所述反馈结果进行分类；当所述数据修正消息对应的反馈类型为指标类型时，将所述反馈结果记录至预设的第二存储库，并调用所述数据指标模块按照所述第二分类规则对所述反馈结果进行分类。
19.上述的元数据管理系统，可选的，所述搜索引擎模块，用于获取所述搜索信息中包含的库名及数据类别，基于所述库名及所述数据类别，从所述数据资产库中的查询所述搜索信息对应的数据。
20.与现有技术相比，本发明包括以下优点：
21.本发明提供了一种元数据管理系统，包括：数据概况模块，用于实时扫描数据仓库的元数据信息，并基于数据仓库中的元数据信息实时校准数据资产库中的数据；基于预设的第一分类规则，对所述数据资产库中的各个数据进行分类，获得所述数据资产库中每个类别对应的数据列表；当检测到用户登录时，向所述用户展示所述数据资产库的资产库信息，所述资产库信息包括各个所述数据列表；当接收到所述搜索引擎模块发送的搜索信息
时，查找所述搜索信息对应的各个目标数据列表，并所述目标数据列表关联的各个目标数据，构建各个所述目标数据对应的血缘关系；数据指标模块，用于基于预设的第二分类规则，对每个所述数据列表中的各个数据进行指标划分，获得每个所述数据列表下多个指标类别数据指标；数据反馈模块，用于接收用户发送的数据修正消息，确定所述数据修正消息对应的反馈类别，所述反馈类型为数据类型或指标类型；将所述数据修正消息发送至所述反馈类型对应的业务端；当接收到所述业务端反馈的所述数据修正消息对应的反馈结果时，基于所述反馈类型调用所述数据概况模块或所述数据指标模块对所述反馈结果对应的结果数据进行分类；搜索引擎模块，用于接收用户发送的搜索信息，并将所述搜索信息发送至所述数据概况模块，使得所述数据概况模块从所述数据资产库中的查询所述搜索信息对应的数据。应用本发明提供的系统，可以实现对元数据的管理，并通过对元数据的管理实现数据的溯源。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
23.图1为本发明实施例提供的一种元数据管理系统的系统结构图；
24.图2为本发明实施例提供的一种元数据管理系统中数据概况模块的应用示例图；
25.图3为本发明实施例提供的一种元数据管理系统中数据概况模块的又一应用示例图；
26.图4为本发明实施例提供的一种元数据管理系统中数据反馈模块的应用示例图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
29.本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
30.本发明实施例提供了一种元数据管理系统，所述元数据管理系统的系统结构图如
图1所示，具体包括：
31.数据概况模块100、数据指标模块200、数据反馈模块300和搜索引擎模块400；
32.所述数据概况模块100，用于实时扫描数据仓库的元数据信息，并基于数据仓库中的元数据信息实时校准数据资产库中的数据；基于预设的第一分类规则，对所述数据资产库中的各个数据进行分类，获得所述数据资产库中每个类别对应的数据列表；当检测到用户登录时，向所述用户展示所述数据资产库的资产库信息，所述资产库信息包括各个所述数据列表；当接收到所述搜索引擎模块400发送的搜索信息时，查找所述搜索信息对应的各个目标数据列表，并所述目标数据列表关联的各个目标数据，构建各个所述目标数据对应的血缘关系；
33.所述数据指标模块200，用于基于预设的第二分类规则，对每个所述数据列表中的各个数据进行指标划分，获得每个所述数据列表下多个指标类别数据指标；
34.所述数据反馈模块300，用于接收用户发送的数据修正消息，确定所述数据修正消息对应的反馈类别，所述反馈类型为数据类型或指标类型；将所述数据修正消息发送至所述反馈类型对应的业务端；当接收到所述业务端反馈的所述数据修正消息对应的反馈结果时，基于所述反馈类型调用所述数据概况模块或所述数据指标模块对所述反馈结果对应的结果数据进行分类；
35.所述搜索引擎模块400，用于接收用户发送的搜索信息，并将所述搜索信息发送至所述数据概况模块，使得所述数据概况模块从所述数据资产库中的查询所述搜索信息对应的数据。
36.本发明实施例提供的元数据管理系统中，数据概况模块主要展示数据列表的信息，根据登录的用户的用户类型不同也会有不同的显示。数据资产库中包含多个数据列表，用于存储从数据仓库中的各个数据。通过扫描数据仓库的元数据信息设计数据库表对数据表的信息、分类、标签进行持久化存储记录。和之前的人工维护方式比，能够在不增加成本的情况下设计更多的辅助描述字段，记录数据更为完整可靠。对血缘关系数据进行路径生成，通过前端进行完整的关系路径展示。比起之前的单级上下游关系展示，可以从全局更直观的看到整个的依赖路径，不必再一层层自行查询。用户可直接通过日常办公的网络环境直接访问，无需登录断网生产环境，就可以访问了解数据列表结构及元数据信息。其中，数据血缘关系是元数据管理的基本概念，指数据产生的链路。是为了在数据溯源的过程中找到相关数据之间的联系。例如仓库汇总层表b中的字段abc,是从贴源层a中提取出来的abc,那么b表与a表就存在了数据血缘关系。第一分类规则根据数据仓库架构中的不同层的表做分类处理，可以清晰的显示每层表的总量以及每张表具体的大类和小类的区分，点击每张表可以查看每张表的详情数据。每层即为一个schema，每个schema对应多张表。
37.数据指标管理模块是按照规则对数据做了更细粒度的划分，管理人员可以通过管理模块对数据按照规则进行分类，提高用户的查询效率。第二分类规则是根据业务做了类别划分，方便管理人员更快的找到对应分类下的指标，每个分类下的指标可以进行增加、删除、修改、查询，从而更好的实现管理人员对指标的管理。
38.数据反馈模块是为用户提供数据修正的模块，用户可以根据自己的需求进行选择提交关于数据方面的修正、指标方面的修正或者整个系统中其他方面数据的修正，从而方便用户提交自己的建议、问题等反馈。即，根据反馈类型进行数据的修正。
39.搜索引擎模块是为了更好的方便用户针对表查询设置的，此模块支持单独查询，同时也支持组合查询，不仅如此，此模块中还支持模糊搜索。组合查询中包含库名、大类和小类，以及搜索数据的组合查询，从而更大的提高检索的效率。
40.应用本发明实施例提供的方法，可以实现对元数据的管理，对内容进行补充，并通过对元数据的管理实现数据的溯源。
41.具体的，对于数据概况模块，其可以实现数据校准、列表生成和展示，以及数据血缘的关联和搜索等。
42.在本发明实施例中，数据概况模块用于进行数据的校准、列表生成的过程为：基于所述元数据信息，判断所述数据仓库是否存在新增的数据，以及判断所述数据仓库中是否存在更新的数据；当所述数据仓库存在新增的数据时，将所述新增的数据添加至预设的新增列表；当所述数据仓库存在更新的数据时，将所述更新的数据添加至预设的更新列表；将所述新增列表中新增的数据存储至所述数据资产库；基于所述更新列表中更新的数据，更新所述数据资产库中的数据。
43.具体的，参考图2，图2为对数据资产库中进行数据校准的过程，其中，图2中的触发端为数据概况模块，图2对应的具体实现过程为：
44.(1)获取准生产数仓和业务的数据source_column_set，
45.(2)获取数据资产中未删除的数据target_column_set，
46.(3)根据(1)(2)中获取的数据得到待新增的数据，待新增的数据等于当前数据仓库中的所有数据过滤掉数据资产中已经存在的数据，
47.(4)根据(1)(2)中获取的数据得到待更新的数据，待更新数据就是目前数据资产中已经存在的数据和当前数仓的数据对比，将有内容不同的进行存储得到待更新的数据，
48.(5)判断待新增数据是否为空，如果不为空则整合数据到待插入的列表中，整合结束，将数据插入到数据资产，
49.(6)判断待更新的数据是否为空，如果不为空则整合数据到待更新的列表中，整合结束，更新数据资产的数据。
50.在本发明实施例中，数据概况模块用于进行数据展示过程为：
51.当所述用户的用户类型为普通用户时，向所述用户展示所述数据资产库的各个所述数据列表及各个所述数据列表对应的数据详情；当所述用户的用户类型为管理用户时，向所述用户展示所述数据资产库的各个所述数据列表、各个所述数据列表对应的数据详情及所述数据资产库对应的数据管理模块。
52.可以理解的是，根据登录的用户不同也会有不同的显示，普通用户展示的功能有：数据列表和数据详情，管理员用户在普通用户的基础上增加了数据管理模块，方便管理员对数据表的管理。展示的数据来源于数据仓库，通过迭代会定时将数据表的最新信息同步到数据资产系统。此模块主要显示查看的表的相关信息，其中包含：表的基本信息(创建时间，维护人等)，表所属的分类，表中的字段信息，表的血缘关系，使用情况。
53.在本发明实施例中，数据概况模块用于进行数据血缘的关联和搜索的过程为：获取所述搜索信息中包含的表编号；确定所述数据资产库中与所述表编号匹配的目标数据列表；基于所述表编号，查找与所述目标数据列表关联的各个目标数据。基于与所述目标数据列表关联的各个目标数据之间的血缘关系，将与所述id匹配的各个数据进行关联，获得关
联数据，向所述用户发送所述关联数据。
54.参考图3，图3为对数据进行搜索以及血缘关系的连接过程示意图，对应的具体过程为：
55.(1)根据传入的查询表的编号获取表的相关数据。
56.(2)判断(1)中获取数据是否为空，如果不为空则整合数据。
57.(3)根据传入表的编号查询这个表的上游表和下游表，将数据和(2)中的数据整合在一起，返回结果。
58.本发明实施例中，数据概况模块除了可以实现对数据的校准、搜索、展示等功能外，还可以实现列表的废弃以及恢复过程。因此，数据概况模块还用于当接收到已废弃的数据列表对应的恢复指令时，恢复展示所述恢复指令对应的数据列表。
59.在废弃数据列表后，数据概况模块还用于获取所述数据修正消息包含的反馈标识；当所述反馈标识为第一反馈标识时，确定所述数据修正消息对应的反馈类型为数据类型；当所述反馈标识为第二反馈标识时，确定所述数据修正消息对应的反馈类型为指标类型。
60.需要说明的是，数据概况模块主要是对表进行管理，每次迭代会将新的数据同步到数据资产，由管理员严格审核后，这个表的整体数据和相关信息才会展现在数据列表中，否则此表会处于审核状态，直到审核完成。因此，数据概况模块对表进行管理具体包括：
61.(1)进入数据表管理：默认按照表建表时间倒序获取所有表的数据，展示在列表中。
62.(2)数据表的筛选：可以根据库名、建表的时间、表的状态、模糊搜索进行组合查询，提高用户的筛选效率。
63.(3)审核功能：在每张表的后面会有审核功能，进入后需要填写此表的相关信息，填写完成则可以进行审核。
64.(4)废弃功能：在进行审核的同时，也可以废弃这张表，表废弃之后则不会在数据概况中展示此表的信息，如果后期此表需要重新恢复使用，此处还支持恢复此表。
65.在本发明实施例中，数据反馈模块，具体用于获取所述数据修正消息包含的反馈标识；当所述反馈标识为第一反馈标识时，确定所述数据修正消息对应的反馈类型为数据类型；当所述反馈标识为第二反馈标识时，确定所述数据修正消息对应的反馈类型为指标类型。
66.可以理解的是，用户在发送数据修正消息时，定义待修正的数据为数据类型或者指标类型。例如，第一反馈标识为0，第二反馈标识为1。当数据修正消息中反馈标识为0时，反馈类型为数据类型，为1则反馈类型为指标类型。
67.进一步地，数据反馈模块，具体用于当所述数据修正消息对应的反馈类型为数据类型时，将所述反馈结果记录至预设的第一存储库，并调用所述数据概况模块按照所述第一分类规则对所述反馈结果进行分类；当所述数据修正消息对应的反馈类型为指标类型时，将所述反馈结果记录至预设的第二存储库，并调用所述数据指标模块按照所述第二分类规则对所述反馈结果进行分类。
68.需要说明的是，内容补充的反馈结果为数据仓库新增更新的数据，因此在获得反馈结果后，由数据概况模块进行进一步的管理。
69.参考图4，图4为数据反馈模块的具体应用过程，具体包括数据反馈和指标反馈。其中，数据反馈的过程为：
70.(1)用户可以根据自己的问题选择要反馈数据的基本情况，其中包含：反馈类型，包括：数据质量、数据缺失；要反馈的数据所属的大类和小类，库名以及表明和字段；同时也可以直接填写问题描述；
71.(2)将(1)中数据添加完成，则可以进行提交；
72.(3)管理员端收到问题反馈则进行处理，最终将处理之后的结果回填，告知用户此问题处理的情况；
73.(4)用户可以通过反馈的问题，得知问题反馈的结果。
74.指标反馈的过程为：
75.(1)用户选择指标类别和指标名称，填写问题描述，则可以进行提交，
76.(2)管理员收到此指标问题反馈进行处理，同时将处理结果回填，用户则可以通过登录系统查看反馈的结果。
77.还需要说明的是，数据反馈模块在收到反馈结果后，若存在其他反馈内容，记录并保存反馈结果及其他反馈内容。
78.在本发明实施例中，搜索引擎模块具体用于获取所述搜索信息中包含的库名及数据类别，基于所述库名及所述数据类别，从所述数据资产库中的查询所述搜索信息对应的数据。
79.可以理解的是，搜索引擎模块是为了更好的方便用户针对表查询设置的，此模块支持单独查询，同时也支持组合查询，不仅如此，此模块中还支持模糊搜索。组合查询中包含库名、大类和小类，以及搜索数据的组合查询，从而更大的提高检索的效率。
80.其中，库名查询是根据选择的库名查出对应的数据，如果模糊查询中有数据，则会携带这个数据做组合查询。大类查询是根据大类查询对应的数据，如果库名或者大类不为空，则做组合查询，否则单独查询。小类查询是小类会受到大类的约束，如果大类为空则小类没有数据，否则根据对应的大类会显示对应的小类，根据选择做组合查询，显示查询的数据。
81.上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。
82.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
83.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。
84.为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的
特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
85.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。