数据中台、数据资产建设方法和相关装置与流程

1.本发明涉及数据处理技术领域，具体涉及一种数据中台、数据资产建设方法和相关装置。


背景技术：

2.通过多年的信息化、政府/企业信息化已建立了一些软件系统，例如crm(customer relationship management，客户关系管理)、erp(enterprise resource planning，企业资源计划)、oa(office automation，办公自动化)、hr(human resources，人力资源)、供应链管理系统、物流系统、电子商务系统、集成门户、决策支持系统等，留存了大量的数据资产。但这些系统因建立时间先后不同，加上最近几年企业上云，上saas(software as a service，软件服务化)应用，与更多的公司服务商对接，数据分布在线上和线下，甚至分布在企业的内外部，对数据分析与应用带来了困难。
3.dw(data warehouse，数据仓库)/bi(business intelligence，商业智能)，是用来对数据进行再组织、再加工，基于数据视角对企业经营决策提供支持的一种方法论、解决方案以及工具链。具有面向主题、集成、相对稳定、反应历史变化等四个概念属性。
4.数据仓库具有历史性的特性，其中存储的数据大多是结构化数据。而数据中台的出现解决了数据仓库不能处理非结构化数据和报表开发周期长的问题。数据中台距离业务更近，能够更快速的响应业务和应用开发需求，从而为业务提供速度更快的服务；数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分析型场景，也适用于交易型场景；数据中台可以建立在数据仓库和数据平台之上，是加速企业从数据到业务价值的过程的中间层。


技术实现要素：

5.本发明主要解决的技术问题是，提供一种数据中台、数据资产建设方法和相关装置，用于提供新的数据资产建设模式。
6.本发明第一方面提供一种数据中台，包括贴源层、中间层、数据资产层和应用数据层，所述数据资产层用于在建设数据资产时，将资产实体的业务主键和资产属性分离，并把业务主键和资产属性关联。
7.可选的，所述数据资产层包括以下数据表：
8.资产实体表，用于存储资产实体数据，包括资产实体唯一标识、实体业务键和是否删除标识，所述实体业务键包括业务主键；
9.资产属性表，用于存储资产属性数据；
10.属性变更跟踪表，用于记录和追溯资产属性变更数据。
11.可选的，所述数据资产层用于按照以下流程建设数据资产：向数据库进行资产实体注册；获取数据库返回的实体对象编号，生成资产实体唯一标识，存储于资产实体表；从贴源层获取资产属性数据，存储于资产属性表；将资产实体的业务主键和资产属性关联。
12.可选的，所述数据中台还包括：在建设数据资产的流程中，采用范式建模方法确定和记录资产实体关系。
13.本发明第二方面提供一种数据资产建设方法，用于数据中台，所述数据中台包括贴源层、中间层、数据资产层和应用数据层，所述方法包括：在建设数据资产时，将资产实体的业务主键和资产属性分离，并把业务主键和资产属性关联。
14.可选的，所述数据资产层包括以下数据表：
15.资产实体表，用于存储资产实体数据，包括资产实体唯一标识、实体业务键和是否删除标识，所述实体业务键包括业务主键；
16.资产属性表，用于存储资产属性数据；
17.属性变更跟踪表，用于记录和追溯资产属性变更数据。
18.可选的，所述数据资产层按照以下流程建设数据资产：向数据库进行资产实体注册；获取数据库返回的实体对象编号，生成资产实体唯一标识，存储于资产实体表；从贴源层获取资产属性数据，存储于资产属性表；将资产实体的业务主键和资产属性关联。
19.可选的，所述方法还包括：在建设数据资产的流程中，采用范式建模方法确定和记录资产实体关系。
20.本发明第三方面，提供一种计算机设备，包括处理器和存储器，所述存储器中存储有程序，所述程序包括计算机执行指令，当所述计算机设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述计算机设备执行如上所述的数据资产建设方法。
21.本发明第四方面，提供一种存储有程序的计算机存储设备，当所述程序被包括处理器的计算机设备执行时，使所述计算机设备执行如上所述的数据资产建设方法。
22.从以上技术方案可以看出，本发明实施例具有以下优点：
23.本发明改进了构建数据资产的模式，在建设数据资产时，将资产实体的业务主键与资产属性分离，并将二者关联，以应对业务环境的变化，进一步提升了数据中台的各项性能。
附图说明
24.为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
25.图1是本发明实施例中数据中台的技术架构示意图；
26.图2是本发明实施例中数据中台的分层建设示意图；
27.图3是本发明实施例中数据中台的分层和对象描述图；
28.图4是本发明实施例中数据中台的数据资产建设流程图；
29.图5是本发明实施例中数据资产唯一标识、数据资产属性、数据资产注册的数据结构图；
30.图6是本发明实施例中全量entity和增量attribute数据的示意图；
31.图7是本发明实施例中场景例一的示意图；
32.图8是本发明实施例中场景例二的示意图。
具体实施方式
33.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
34.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
35.下面通过具体实施例，分别进行详细的说明。
36.本发明实施例提供一种数据中台。数据中台是集数据技术平台、数据资产、数据应用于一体的融合解决方案；基于技术平台，构建数据资产，提供数据服务供给，旨在实现数据全领域共享，推动数据业务化远景落地。
37.如图1至图3所示，数据中台分为多个层，包括：
38.贴源层(operation data store，ods)：贴源层数据与数据源保持一致，需处理数据源存在删除对贴源层数据的影响；该层包括：同源表，与数据源同名的数据表，记录的数据与数据源保持一致；临时表，临时存储增量数据的表；分区表，持久化存储全量数据，按某字段分区的表；
39.中间层，即中间结果层(stg)：作为中间结果缓冲层，不直接对外提供服务；该层是根据数据处理需要，用于中间数据落地的数据层，包括：用来存储中间结果的中间结果表；
40.数据资产层(data asset，da)，作为企业数据资产(内部资产、外部资产、互联网资产)沉淀层，以共享为目的，实现全领域数据拉通，消除数据二义性，建设企业数据资产；该层包括：资产实体表，用于存储资产实体数据，包括资产实体唯一标识(entity_id)、实体业务键和是否删除标识，所述实体业务键包括业务主键；资产属性表，用于存储资产属性数据；属性变更跟踪表(可选)，用于记录和追溯资产属性变更数据；
41.应用数据层(application，app)：是针对不同应用的个性化数据层，包括：针对不同数据应用生成的个性化数据表；
42.数据服务：应用数据层通过api、etl等方式对数据中台外部业务应用提供数据服务；以及，
43.数据中台内部数据应用，如bi(business intelligence，商业智能)，dmp(data management system，数据管理平台)等。
44.本发明技术方案的基本技术构思为：数据资产层基于data vault(电子数据仓库)数据模型，在建设数据资产时，将资产实体的业务主键与资产属性分离，并将二者关联，以应对业务环境的变化。
45.如图4所示，是数据资产层建设数据资产的建设流程，包括：
46.向数据库例如meta db进行资产实体注册；
47.获取数据库返回的实体对象编号，生成资产实体唯一标识(entity_id)，与实体业务键等，一起存储于资产实体表；
48.从贴源层获取资产属性数据，存储于资产属性表；
49.将资产实体的业务主键和资产属性关联。
50.请参考图5，分别示出了数据资产唯一标识、数据资产属性、数据资产注册的数据结构；请参考图6，示出了全量entity和增量attribute数据的示意图。
51.值得说明的是，本发明实施例中数据资产建模思路为：
52.1、属于data vault建模方法的变种：
53.取消link(关联)环节，采用范式建模的经典处理方法解决实体关系，确定和记录资产实体关系；该方法在保留了模型可理解、可追溯的特性同时，大大提升了模型易用性。
54.2、引入资产注册模型：
55.通过向meta db数据库进行资产实体注册，可用最小成本保障数据中台资产模型的整洁和数据加载的规则化配置。
56.3、模型、数据加载与底层存储方案松耦合。
57.为便于理解，本发明实施例还提供如下应用场景例。
58.(1)场景例一：营销系统房源实体建设，如图7所示。
59.(2)场景例一：主数据开发项目资产建设，如图8所示。
60.以上，本发明实施例公开了一种数据中台。本发明的关键在于基于自研的数据模型(data vault)构建数据资产的模式，在建设数据资产时，将资产实体的业务主键与资产属性分离，并将二者关联，以应对业务环境的变化。
61.该数据中台的业务价值(业务创新，形成核心壁垒)包括：
62.1、以客户为中心，用洞察驱动企业稳健行动
63.2、以数据为基础，直系大规模商业模式创新
64.3、盘活全量数据，构筑坚实壁垒已持续领先
65.该数据中台的技术价值(成本低、能力多、应用广)包括：
66.1、应对多数据处理的需求
67.2、丰富标签数据，减低管理成本
68.3、数据价值能体现业务系统效果而不仅是准确度
69.4、支持跨主题域访问数据
70.5、数据可以快速复用、不仅是复制
71.本发明实施例还提供一种数据资产建设方法，用于如上所述的数据中台，所述方法包括：在建设数据资产时，将资产实体的业务主键和资产属性分离，并把业务主键和资产属性关联。
72.可选的，所述数据资产层包括以下数据表：
73.资产实体表，用于存储资产实体数据，包括资产实体唯一标识、实体业务键和是否删除标识，所述实体业务键包括业务主键；
74.资产属性表，用于存储资产属性数据；
75.属性变更跟踪表，用于记录和追溯资产属性变更数据。
76.可选的，所述数据资产层按照以下流程建设数据资产：向数据库进行资产实体注册；获取数据库返回的实体对象编号，生成资产实体唯一标识，存储于资产实体表；从贴源层获取资产属性数据，存储于资产属性表；将资产实体的业务主键和资产属性关联。
77.可选的，所述的方法还包括：
78.在建设数据资产的流程中，采用范式建模方法确定和记录资产实体关系。
79.本发明实施例还提供一种计算机设备，包括处理器和存储器，所述存储器中存储有程序，所述程序包括计算机执行指令，当所述计算机设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述计算机设备执行如上所述的数据资产建设方法。
80.本发明实施例还提供一种存储有程序的计算机存储设备，当所述程序被包括处理器的计算机设备执行时，使所述计算机设备执行如上所述的数据资产建设方法。
81.以上，通过具体实施例对本发明的技术方案进行了详细说明。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
82.应当理解，上述各实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员，可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和保护范围。