一种基于数据库的数据管理方法及管理系统与流程

1.本发明涉及数据处理技术领域，具体而言，涉及一种基于数据库的数据管理方法及管理系统。


背景技术：

2.随着信息技术、大数据时代的发展，企业规模不断扩大，企业的数据资源散落在多个业务系统中，企业技术人员和业务人员无法及时感知到数据的分布与更新情况，无法快速找到符合自己需求的数据，也无法发现和识别有价值的数据并纳入数据资产。
3.有鉴于此，特提出本发明。


技术实现要素：

4.本发明的第一目的在于提供一种基于数据库的数据管理方法，该方法通过将各业务系统的业务信息整合到一个数据库中，能够最大限度减低信息查询的复杂性，可以帮助业务人员快速精确查找他们想要的数据，具有实用性、准确性、全面性、易用性的优势。
5.本发明的第二目的在于提供一种数据管理系统，该系统采用前后端分离设计的方式，实现逻辑层与展现层的解耦，易于操作维护成本低，具有灵活性、易扩展等特性。
6.本发明的第三目的在于提供一种终端设备，该设备通过运行存储的计算式程序，能够实现上述权限管理方法，从而提高数据的查询效率，同时提高数据存储的安全性。
7.本发明的第四目的在于提供一种计算机可读存储介质，该存储介质能够执行上述权限管理方法，通过上述权限管理方法提高查找效率。
8.为了实现本发明的上述目的，特采用以下技术方案：
9.本发明提供了一种基于数据库的数据管理方法，包括：
10.对业务信息数据进行整合，形成数据的技术元数据、业务元数据、管理元数据清单，并配置元数据模型；
11.通过etl从各业务系统抽取出所需的数据，经过数据抽取、数据清洗和数据转换，将数据按照所述元数据模型创建数据表并装载到数据库中；
12.获取查询请求，从所述查询请求中解析查询内容；
13.根据所述查询内容在所述数据库中进行查询，获得查询结果。
14.现有技术中，企业的部门根据自身业务和功能需要，建立了许多相互隔离的异构数据源，由于缺乏统一的信息规划，各信息管理系统开发的时间和来源不一致，采用的开发平台、数据结构和数据库管理系统也各不相同，造成了各系统间相互独立，信息无法交流和融合，在内部逐渐形成了“信息孤岛”，数据资源散落在多个业务系统中，企业技术人员和业务人员无法及时感知到数据的分布与更新情况，无法快速找到符合自己需求的数据，也无法发现和识别有价值的数据并纳入数据资产。
15.为解决上述技术问题，本发明提供了一种基于数据库的数据管理方法，该数据管理方法将各业务系统的业务信息统一整合到数据库中，能够最大限度降低信息查询的复杂
性，可以帮助业务人员快速精确查找他们想要的数据，具有实用性、准确性、全面性、易用性的优势。
16.本发明中，etl解决的主要问题是：不同来源数据的异构性和质量问题。例如：不同业务系统数据模型的差异；业务系统不同时期业务过程的差异；业务系统数据不完备带来的不一致性等等。
17.优选的，所述配置元数据模型包括：通过数据盘点对业务信息进行描述、定位、检索、评估、分析，生成元数据表信息。
18.优选的，所述生成元数据表信息包括：生成表信息、设置过滤条件和设置表展示信息。
19.优选的，所述表信息包括表说明和表字段说明；
20.所述表说明包括表中文名、表设计名、主键、业务主键、更新时间、更新频率、状态和说明，从而让用户对表的属性有所了解，便于用户能更及时的来获取相关数据。
21.表字段说明包括字段设计名、字段名、字段类型、字段长度、字段精度、枚举类型和备注，能够让用户在使用数据表时，能更为精准的找到所需的字段。
22.所述设置过滤条件包括配置每个元数据表为用户提供的过滤条件，所述过滤条件包括表类型、查询值、查询方式和查询范围。
23.所述设置表展示信息包括配置查询结果应显示的数据表界面和数据导出文件的格式。
24.优选的，所述数据抽取的方法包括：读取本次抽取任务的配置信息，所述配置信息包括各业务系统的数据源类型及源数据库的连接信息；
25.根据所述数据源类型确定与该数据源类型对应的数据抽取规则；
26.根据所述源数据库的连接信息连接所述源数据库；
27.确定本次抽取任务的抽取类型，所述抽取类型指示所述源数据库中待抽取的数据的属性；
28.根据所述数据抽取规则，自所述源数据库中抽取对应于所述抽取类型所指示的属性的数据；
29.将所抽取的数据储存至转储数据库。
30.优选的，所述数据清洗的方法包括：从所述转储数据库中获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表；
31.调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码；
32.将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则；
33.解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据。
34.优选的，所述数据转换的方法包括：基于所述待存储数据的结构和所述数据库的结构，制定转换规则；
35.根据所述待存储数据的类型，从所述转换规则中选取匹配的目标转换规则，并根
据所述目标转换规则构建数据转换器；
36.根据所述数据转换器，对所述待存储数据进行转换，并将转换得到的目标数据写入所述数据库中。
37.通过对数据进行抽取、清洗和转换，将数据整合，便于后续的查询操作。
38.优选的，所述获取查询请求，从所述查询请求中解析查询内容包括：获取来自代理服务器的查询请求，通过sql执行计划对查询语言进行分析。
39.优选的，所述根据所述查询内容在所述数据库中进行查询，获得查询结果包括：根据分析得到的查询语言获取查询结果，并将查询结果返回到展示界面中。
40.具体的，实际查询时，用户通过操作ui展示界面，向代理服务器发出查询请求，代理服务器再向web服务器发起请求，web服务器传送查询指令集至数据库服务器中，最终当数据库服务器收到查询指令集时，通过sql执行计划进一步分析查询语言，然后把查询结果返回给web服务器，web服务器将数据记录封装为json格式返回到浏览器，浏览器解析数据并展示到ui展示界面。
41.查询时，根据数据需要，可通过配置过滤条件和关联条件获取业务数据，并可下载导出。
42.优选的，对业务信息数据进行整合时，还可根据实际业务需要配置不同的类别分组。
43.优选的，所述业务信息包括业务指标、业务术语、业务规则和业务含义。
44.优选的，所述查询请求包括单表数据预览和多表关联查询。
45.所述单表数据浏览可通过勾选相应的数据表字段、通过可视化界面编辑过滤条件来查询所需的表数据信息，且可实现数据导出、sql手工编辑以及模板保存等功能。
46.所述多表关联查询可通过界面添加关联关系表、编辑关联关系、添加过滤条件来实现多表数据的查询，同时也支持数据下载、模板保存和sql复制。
47.本发明还提供了一种应用上述基于数据库的数据管理系统，包括：
48.数据库：所述数据库用于存储数据；
49.web前端：所述web前端用于查询所述数据库中的数据信息，并通过web页面的形式展示所述数据信息；
50.系统管理模块：包括用户管理、角色管理、菜单管理和权限管理。
51.本发明的数据管理系统技术上采用bs架构，前后端分离设计，实现逻辑层与展现层的解耦。前端采用vue脚手架，页面简洁大方，易于操作；后端采用轻量级的开源技术框架、并结合缓存技术，维护成本低，具有灵活性、易扩展等特性；存储采用配置与数据分离的模式，支持postgresql、mysql数据库等多数据源。
52.本发明还设置有系统管理模块，可通过用户、角色管理配置菜单实现权限管库，同时可通过后端实现数据库表、表字段以及数据量的查询权限管控，客户端用户可以进行修改密码及退出操作。
53.本发明还提供了一种终端设备，所述终端设备包括处理器，所述处理器用于执行存储器中存储的计算式程序实现如上述的方法的步骤。该设备通过运行存储的计算式程序，从而提高数据的查询效率，同时提高数据存储的安全性。
54.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机
程序被处理器执行时，实现上述的方法的步骤。该存储介质能够执行上述权限管理方法，通过上述权限管理方法提高查找效率。
55.与现有技术相比，本发明的有益效果在于：
56.本发明的基于数据库的数据管理方法从资产化管理和展示数据的角度出发，充分考虑技术与业务人员使用习惯，从实用性、准确性、全面性、易用性等方面进行规划设计，用户端不需要配置特殊的硬件和软件，只需要通过浏览器即可完成对数据库的可视化查询操作，从而最大限度减低信息查询的复杂性。本发明可以帮助业务人员快速精确查找他们想要的数据，且可以帮助数据开发者和数据使用者了解数据，并对数据资产管理进行有效监控。
附图说明
57.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
58.图1为本发明实施例提供的基于数据库的数据管理方法的流程图；
59.图2为本发明实施例提供的应用上述基于数据库的数据管理系统示意图。
具体实施方式
60.下面将结合附图和具体实施方式对本发明的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本发明一部分实施例，而不是全部的实施例，仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
61.为了更加清晰的对本发明中的技术方案进行阐述，下面以具体实施例的形式进行说明。
62.实施例
63.参阅图1所示，本实施例提供了一种基于数据库的数据管理方法，包括：
64.s1、对业务信息数据进行整合，形成数据的技术元数据、业务元数据、管理元数据清单，并配置元数据模型；业务信息包括业务指标、业务术语、业务规则和业务含义。
65.其中，配置元数据模型包括：通过数据盘点对业务信息进行描述、定位、检索、评估、分析，生成元数据表信息。
66.生成元数据表信息包括：生成表信息、设置过滤条件和设置表展示信息。
67.具体的，表信息包括表说明和表字段说明；
68.表说明包括表中文名、表设计名、主键、业务主键、更新时间、更新频率、状态和说明，从而让用户对表的属性有所了解，便于用户能更及时的来获取相关数据。
69.表字段说明包括字段设计名、字段名、字段类型、字段长度、字段精度、枚举类型、备注等属性，能够让用户在使用数据表时，能更为精准的找到所需的字段。
70.设置过滤条件包括配置每个元数据表为用户提供的过滤条件，过滤条件包括表类
型、查询值、查询方式和查询范围；
71.设置表展示信息包括配置查询结果应显示的数据表界面和数据导出文件的格式。数据导出文件的格式支持excel和csv格式。
72.s2、通过etl从各业务系统抽取出所需的数据，经过数据抽取、数据清洗和数据转换，将数据按照所述元数据模型创建数据表并装载到数据库中；
73.其中，元数据模型，包含数据库表、表字段、码表、表级血缘关系、数据表与码表关系等。
74.具体的，数据抽取的方法包括：读取本次抽取任务的配置信息，所述配置信息包括各业务系统的数据源类型及源数据库的连接信息；
75.根据所述数据源类型确定与该数据源类型对应的数据抽取规则；
76.根据所述源数据库的连接信息连接所述源数据库；
77.确定本次抽取任务的抽取类型，所述抽取类型指示所述源数据库中待抽取的数据的属性；
78.根据所述数据抽取规则，自所述源数据库中抽取对应于所述抽取类型所指示的属性的数据；
79.将所抽取的数据储存至转储数据库。
80.数据清洗的方法包括：从所述转储数据库中获取待清洗数据，将所述待清洗数据转化为十进制数据，并根据所述待清洗数据携带的数据来源终端的标识，将转化为十进制的所述待清洗数据生成数据来源对应的待清洗数据表；
81.调取预设的数据清洗规则文件，提取与所述待清洗数据表的表名对应的数据清洗规则后给每一所述数据清洗规则生成对应的数据清洗执行代码；
82.将所述待清洗数据表中的每一条待清洗数据打上标签，为所述待清洗数据匹配相应的数据清洗规则；
83.解析每一所述待清洗数据的标签，执行所述数据清洗执行代码，对所述待清洗数据进行清洗，得到待存储数据。
84.数据转换的方法包括：基于所述待存储数据的结构和所述数据库的结构，制定转换规则；
85.根据所述待存储数据的类型，从所述转换规则中选取匹配的目标转换规则，并根据所述目标转换规则构建数据转换器；
86.根据所述数据转换器，对所述待存储数据进行转换，并将转换得到的目标数据写入所述数据库中。
87.通过对数据进行抽取、清洗和转换，将数据整合，便于后续的查询操作。
88.s3、获取查询请求，从查询请求中解析查询内容；
89.具体的，获取查询请求，从查询请求中解析查询内容包括：获取来自代理服务器的查询请求，通过sql执行计划对查询语言进行分析。
90.s4、根据查询内容在数据库中进行查询，获得查询结果。
91.具体的，根据查询内容在数据库中进行查询，获得查询结果包括：根据分析得到的查询语言获取查询结果，并将查询结果返回到展示界面中。
92.实际查询时，用户通过操作ui展示界面，向代理服务器发出查询请求，代理服务器
再向web服务器发起请求，web服务器传送查询指令集至数据库服务器中，最终当数据库服务器收到查询指令集时，通过sql执行计划进一步分析查询语言，然后把查询结果返回给web服务器，web服务器将数据记录封装为json格式返回到浏览器，浏览器解析数据并展示到ui展示界面。
93.具体的，用户可通过可视化界面过滤查询数据项，并且可通过窗口编辑过滤条件，方便用户更为精确的查询所需数据，同时还提供常用数据模板的保存功能，便于用户下一次直接查询，节省用户时间。
94.本实施例中，查询请求包括单表数据预览和多表关联查询，单表数据浏览可通过勾选相应的数据表字段、通过可视化界面编辑过滤条件来查询所需的表数据信息，且可实现数据导出、sql手工编辑以及模板保存等功能；多表关联查询可通过界面添加关联关系表、编辑关联关系、添加过滤条件来实现多表数据的查询，同时也支持数据下载、模板保存和sql复制。
95.如图2所示，本实施例还提供了一种应用上述基于数据库的数据管理系统，包括：
96.数据库：数据库用于存储数据；
97.web前端：web前端用于查询数据库中的数据信息，并通过web页面的形式展示数据信息；
98.系统管理模块：包括用户管理、角色管理、菜单管理和权限管理。
99.具体的，web前端采用vue脚手架，数据库存储支持postgresql、mysql数据库等多数据源。
100.本发明的系统管理模块，可通过用户、角色管理配置菜单实现权限管库，同时可通过后端实现数据库表、表字段以及数据量的查询权限管控，客户端用户可以进行修改密码及退出操作。另外，登录后，还可以对元模型进行管理以及对元数据进行采集。
101.浏览时，可选择单表浏览和多表浏览，可通过全局检索进行精确查询，通过代理服务对数据库进行浏览，全库检索元数据、查看元数据层级目录树，通过树节点或者检索列表可对元数据表结构及表字段信息进行预览；通过配置各元数据的源端的数据源、数据权限，对源端数据进行单个或多个源数据预览，在浏览器中以列表方式展现，可进行sql查询和数据导出，并可对我的模板进行保存和复用。
102.多表浏览包含报表制作和预览数据，预览数据时可通过数据间的关联关系进行检索，也可通过sql查询，并可以对相关数据进行下载以及相应的模板进行保存。
103.本发明还提供了一种终端设备，终端设备包括处理器，处理器用于执行存储器中存储的计算式程序实现如上述的方法的步骤。该设备通过运行存储的计算式程序，从而提高数据的查询效率，同时提高数据存储的安全性。
104.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述的方法的步骤。该存储介质能够执行上述权限管理方法，通过上述权限管理方法提高查找效率。
105.总之，本发明的基于数据库的数据管理方法通过将业务信息整合并与数据库相结合，能够最大限度减低信息查询的复杂性，可以帮助业务人员快速精确查找他们想要的数据，具有实用性、准确性、全面性、易用性的优势。
106.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽
管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。