一种基于数据对象的数据资产平台构建方法与流程

1.本发明涉及数据资产平台领域，具体是指一种基于数据对象的数据资产平台构建方法。


背景技术：

2.当前，企业在数据治理与数据资产管理过程中面临几个问题，一是数据资源分布在众多业务数据库中，尽管通过这些业务数据库的元数据可以获知数据，管理服务于各自的设计目标，未形成具有业务意义的、统一的、全景式的企业数据模型。二是传统的数据模型包含在元数据中，而元数据管理依赖于特定数据库产品，不具备独立性，不利于数据模型的构建与维护管理。三是数据模型的实例化普遍通过sql中的ddl语言来实现，由于各数据库产品的sql语法、函数定义及数据类型等方面存在差异，开发与维护成本较高，不利于后期的数据共享与维护。四是目前常用的数据目录技术，难以描述数据之间复杂的依存关系，这些问题增加了数据资产管理平台的建设成本，也给运维工作带来很大的困难。


技术实现要素：

3.以解决上述背景技术中提出的问题，本发明的目的在于提供一种基于数据对象的数据资产平台构建方法，数据对象的构建以及相关的数据处理方法。
4.为解决上述技术问题，本发明提供的技术方案为：一种基于数据对象的数据资产平台构建方法，其特征在于，包括以下步骤：
5.(1)数据对象的定义，根据业务语义及业务主题，为来自不同业务数据库的同类数据项，按照数据表1建立统一的识别符、数据结构、属性描述、版本号、引用记录、业务类别、数据来源、数据权限、所有者等元数据定义，称完成上述定义的数据项为一个数据对象；
6.(2)数据对象的快速建立，可采取有效技术手段提高数据对象建立的效率，如通过图形界面以低代码方式建立数据对象，从业务数据源中批量选择数据表，快速注册为数据对象等；
7.(3)数据对象间关联关系的建立，数据对象间的关联关系是数据模型的关键内容，如图2所示，数据对象间的关联或依赖关系在实际应用场景中通过一个sql任务来描述；
8.(4)基于数据对象的数据资产建模，数据对象间具有依赖关系，所有数据对象及其依赖关系的总和称为数据对象模型；数据对象模型为有向无环图dag结构，如图3所示，这一拓扑结构是对数据目录技术的改进，可以支持复杂数据依赖关系的建模，并在此基础上进行数据血缘、影响力分析及可视化展示；
9.(5)数据对象的注册，数据对象写入到数据资产平台的企业级数据字典，成为具备唯一识别号的模型单元，称为数据对象的注册，经注册的数据对象，可以在企业数据资产平台上进行查询、追溯、共享及应用；
10.(6)数据对象的发布，已注册的数据对象是一个数据对象模型单元，经数据库sqlddl语言，可在指定的实体数据库中建立一个实例数据表，此过程称为数据对象的发布，
系统记录数据对象的所有发布操作，用于跟踪数据对象的使用情况；
11.(7)数据对象的版本管理，数据对象支持独立的版本号，支持对数据对象按照版本号进行发布；
12.(8)数据对象的共享，数据对象是独立于具体数据库的企业级元数据，可在不同大数据平台之间共享或发布，实现数据模型的快速迁移、数据仓库的快速构建；
13.(9)数据对象操作权限管理，数据对象的建立、修改、删除、查询等操作由平台进行权限控制；关于数据对象的操作全部记入操作日志；
14.(10)数据对象的安全性，数据对象模型在企业大数据平台上有多份拷贝，由分布式事务机制保证其一致性及可用性；建立备份机制，保障数据对象模型在极端情况下数据可恢复。
15.作为改进，所述数据对象模型可以实现不同平台间共享，并可导出为txt、csv、excel等格式。
16.作为改进，所述数据对象中属性描述包括业务属性、技术属性、操作属性及管理属性；业务属性包括：业务定义、业务术语、业务规则、质量规则、数据项说明、业务来源、指标统计口径等业务描述；技术属性包括：唯一标识、数据表名、数据列名、所属数据库名、存储位置、存储文件格式、生成数据对象的sql脚本、质量规则、校验规则等技术描述；操作属性包括；数据来源、数据权限、安全等级、数据负责人、数据价值等；管理属性包括：所有者、应用系统、业务线、业务负责人、访问权限/组/角色、访问方式/时间/限制、版本号等管理描述。
17.本发明的有益效果是：一种基于数据对象的数据资产平台构建方法，管理层面：统一定义了数据字典、数据对象，形成企业级元数据管理。
18.基于此数据模型，可方便地实现数据资产的查询、追溯、共享与应用。提供企业数据资源的全景视图，便于监控各业务板块的数字化成熟度，洞察业务间关联与依赖，发现业务流程中的问题；彻底解决系统中的数据不一致问题，若数据对象中某个字段变更(如数据类型、长度、描述等)，可实现一处修改，全局更新；为数据质量监控提供有力工具，若数据对象某字段违反质量规则，可通过依赖追溯一键获知其错误来源；可通过数据对象引用记录评估数据价值，等等。此外，基于数据对象的数据模型是一个有向无环图，可以描述复杂的数据依赖关系，与传统的数据目录方法相比具备显著的优越性。
19.存储层面：数据对象与各类数据库进行映射，通过注册、适配的方式自动适应不同数据库，为不同客户选择无论是云、还是op的各种数据存储进行适配。
20.开发层面：数据加工(etl)基于数据对象进行，用户不再需要掌握底层的数据库表结构，只需要基于数据对象即可进行数据开发，本方法自动将用户基于数据对象写的加工程序转化为不同数据库平台的语言。
21.系统接口层面：提供了统一的业务模型，避免了伴随业务系统变更带来的二次开发工作。数据治理层面：基于数据对象定义统一的数据质量规则，可实现数据统一的数据质量报告管理。数据资产层面：通过数据对象模型的整体呈现，不仅在技术层面掌握数据资产，更是从用户看得懂的业务角度掌握数据资产，可将企业全部数据资产直接以可视化方式呈现，一目了然看到数据实体。
22.业务人员层面：数据对象及相关技术通过对数据库中有关数据表的定义，把数据
库中的数据定义成有明确的业务含义的名称。业务人员所面对的不再是表、字段和它们之间复杂的关联、计算关系，而是熟悉的业务术语和指标名称。
23.数据开发人员层面：开发人员所面对的不再是各类不同的数据库语法、系统，而是统一的标准sql及业务可理解的数据模型。
附图说明
24.图1为本发明一种基于数据对象的数据资产平台构建方法流程图；
25.图2为本发明一种基于数据对象的数据资产平台构建方法数据对象间的依赖关系；
26.图3为本发明一种基于数据对象的数据资产平台构建方法基于数据对象的资产建模。
具体实施方式
27.下面用具体实施例说明本发明，并不是对本发明的限制。
28.实施例一
29.一种基于数据对象的数据资产平台构建方法，其特征在于，包括以下步骤：
30.数据对象的定义，根据业务语义及业务主题，为来自不同业务数据库的同类数据项，包含技术元数据、业务元数据、操作元数据、管理元数据等四类，如数据表1：
[0031][0032]
建立统一的识别符、业务类别名称、数据结构、属性描述、版本号、引用记录等元数据定义，称完成上述定义的数据项为一个数据对象；
[0033]
数据对象间关联关系的建立，数据对象间的关联关系是数据模型的关键内容，如图2所示，数据对象间的关联或依赖关系在实际应用场景中通过一个sql任务来描述；例如，数据表1是由数据表2经条件过滤而来，或者数据表1是由数据表2、数据表3经join操作关联而来等。
[0034]
数据对象的快速建立，可采取有效技术手段提高数据对象建立的效率，如通过图形界面以低代码方式建立数据对象，从业务数据源中批量选择数据表，快速注册为数据对象等。
[0035]
基于数据对象的数据资产建模，数据对象间具有依赖关系，所有数据对象及其依赖关系的总和称为数据对象模型；数据对象模型为有向无环图dag结构，如图3所示，这一拓
扑结构是对数据目录技术的改进，可以支持复杂数据依赖关系的建模，并在此基础上进行数据血缘、影响力分析及可视化展示；数据对象的注册，数据对象写入到数据资产平台的企业级数据字典，成为具备唯一识别号的模型单元，称为数据对象的注册，经注册的数据对象，可以在企业数据资产平台上进行查询、追溯、共享及应用。
[0036]
数据对象的发布，已注册的数据对象是一个数据对象模型单元，经数据库sqlddl语言，可在指定的实体数据库中建立一个实例数据表，此过程称为数据对象的发布，系统记录数据对象的所有发布操作，用于跟踪数据对象的使用情况；数据对象的版本管理，数据对象支持独立的版本号，支持对数据对象按照版本号进行发布。
[0037]
数据对象的共享，数据对象模型可以实现不同平台间共享，并可导出为txt、csv、excel等格式，数据对象是独立于具体数据库的企业级元数据，可在不同大数据平台之间共享或发布，实现数据模型的快速迁移、数据仓库的快速构建；数据对象的管理，数据对象的建立、修改、删除、查询等操作由平台进行权限控制；关于数据对象的操作全部记入操作日志，数据对象的安全性，数据对象模型在企业大数据平台上有多份拷贝，由分布式事务机制保证其一致性及可用性；建立备份机制，保障数据对象模型在极端情况下数据可恢复。
[0038]
数据对象中属性描述包括业务属性、技术属性、操作属性及管理属性；业务属性包括：业务定义、业务术语、业务规则、质量规则、数据项说明、业务来源、指标统计口径等业务描述；技术属性包括：唯一标识、数据表名、数据列名、所属数据库名、存储位置、存储文件格式、生成数据对象的sql脚本、质量规则、校验规则等技术描述；操作属性包括；数据来源、数据权限、安全等级、数据负责人、数据价值等；管理属性包括：所有者、应用系统、业务线、业务负责人、访问权限/组/角色、访问方式/时间/限制、版本号等管理描述。
[0039]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。