生成数据同步脚本的方法、装置和电子设备与流程

1.本发明涉及数据存储技术领域，尤其涉及生成数据同步脚本的方法、装置和电子设备。


背景技术：

2.目前，越来越多领域已经使用flink实现ods层数据实时同步，但每次新添加表都需要定制化开发。
3.在现有的技术方案中，通常是采用手动编写代码的方式，根据数据模型一张一张表地进行定制化代码开发。开发时间与需要开发的表的字段数量、表数量呈正相关，表数量越多，每张表的字段数量越多，那么每张表的开发工作量就越大，因此手动开发方式存在开发效率较低，还无法保证代码质量，可能发生字段漏写等技术问题；而且采用手动编写代码的方式不具备扩展性与可复制性，导致测试成本较大。


技术实现要素：

4.有鉴于此，本发明实施例提供一种生成数据同步脚本的方法、装置和电子设备，以解决手动开发方式效率较低和测试成本较大的技术问题。
5.为实现上述目的，根据本发明实施例的一个方面，提供了一种生成数据同步脚本的方法，包括：
6.读取数据准备层的各个ods表对应的数据模型；
7.将所述各个ods表对应的数据模型分别提取到字典中；
8.遍历所述字典，并通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本；其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。
9.可选地，通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本，包括：
10.针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的数据同步脚本。
11.可选地，所述数据模型包括ods表的元数据和参数；
12.所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名；
13.和/或，
14.所述参数包括取数逻辑、entity是否适用普通模板、实时计算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。
15.可选地，在所述字典中，主键为ods表名，键值为ods表对应的数据模型。
16.可选地，所述数据模型的结构为pandas格式。
17.可选地，读取数据准备层的各个ods表对应的数据模型，包括：
18.采用python脚本读取数据准备层的各个ods表对应的数据模型。
19.可选地，所述数据同步脚本为java脚本。
20.另外，根据本发明实施例的另一个方面，提供了一种生成数据同步脚本的装置，包括：
21.读取模块，用于读取数据准备层的各个ods表对应的数据模型；
22.提取模块，用于将所述各个ods表对应的数据模型分别提取到字典中；
23.生成模块，用于遍历所述字典，并通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本；其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。
24.可选地，所述生成模块还用于：
25.针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的数据同步脚本。
26.可选地，所述数据模型包括ods表的元数据和参数；
27.所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名；
28.和/或，
29.所述参数包括取数逻辑、entity是否适用普通模板、实时计算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。
30.可选地，在所述字典中，主键为ods表名，键值为ods表对应的数据模型。
31.可选地，所述数据模型的结构为pandas格式。
32.可选地，所述读取模块还用于：
33.采用python脚本读取数据准备层的各个ods表对应的数据模型。
34.可选地，所述数据同步脚本为java脚本。
35.根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
36.一个或多个处理器；
37.存储装置，用于存储一个或多个程序，
38.当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。
39.根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
40.根据本发明实施例的另一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
41.上述发明中的一个实施例具有如下优点或有益效果：因为采用将各个表对应的数据模型分别提取到字典中，遍历字典并通过脚本生成函数分别生成各个表对应的数据同步脚本的技术手段，所以克服了现有技术中手动开发方式效率较低和测试成本较大的技术问题。本发明实施例通过定制化的数据模型，只需要预先填写数据模型中的元数据和参数，就可以快速高效地完成ods表实时同步代码的开发；表数量越多，每张表的字段数量越多，本发明实施例的效果就越显著；还能够保证代码质量，不会发生字段漏写、字段错写等问题。而且，本发明实施例具备扩展性与可复制性，能够有效降低测试成本。
42.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加
以说明。
附图说明
43.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
44.图1是根据本发明第一实施例的生成数据同步脚本的方法的主要流程的示意图；
45.图2是根据本发明第二实施例的生成数据同步脚本的方法的主要流程的示意图；
46.图3是根据本发明第三实施例的生成数据同步脚本的方法的主要流程的示意图；
47.图4是根据本发明实施例的生成数据同步脚本的装置的主要模块的示意图；
48.图5是本发明实施例可以应用于其中的示例性系统架构图；
49.图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
50.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
51.本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
52.图1是根据本发明实施例的生成数据同步脚本的方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述生成数据同步脚本的方法可以包括：
53.步骤101，读取数据准备层的各个ods表对应的数据模型。
54.数据分层自下到上依次为ods、dw和dm。
55.ods层：operation data store(ods)数据准备层。ods层将数据仓库源头系统的数据表原封不动的存储一份，它们是后续数据仓库层加工数据的来源。
56.dw层：data warehouse detail(dwd)数据仓库明细层和data warehouse summary(dws)数据仓库汇总层，是业务层与数据仓库的隔离层，是最接近数据源中数据的一层，数据源中的数据经过etl(extract-transform-load，抽取-转换-存储)后装入本层。这一层主要解决一些数据质量问题和数据的完整度问题。dw层的表通常包括两类，一个用于存储当前需要加载的数据，一个用于存储处理完后的历史数据。
57.dm层：又称数据集市层dm(date market)，基于dw上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表，用于提供后续的业务查询，olap分析(联机分析处理)，数据分发等。
58.在该步骤中，读取数据准备层的各个ods表对应的数据模型，所述数据模型包括ods表的元数据和参数。可选地，所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名。可选地，所述参数包括取数逻辑、entity是否适用普通模板、实时计算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。
59.具体地，数据模型可以如下所示：
[0060][0061][0062]
因此，在步骤101之前，还需要设计数据模型，填写要同步到ods层的ods表的表结构，配置ods表的元数据和参数。
[0063]
可选地，所述数据模型的结构为pandas格式，一方面是为了方便读取数据模型中的元数据和参数，另一方面是为了便于将数据模型中的元数据和参数输入到脚本生成函数中。
[0064]
可选地，步骤101可以包括：采用python脚本读取数据准备层的各个ods表对应的数据模型，采用python脚本来读取各个表对应的数据模型，可以提高读取效率和读取准确性。
[0065]
步骤102，将所述各个ods表对应的数据模型分别提取到字典中。
[0066]
为了方便遍历各个ods表对应的数据模型，本发明实施例将各个ods表对应的数据模型分别提取到字典中。可选地，在所述字典中，主键(key)为ods表名，键值(value)为ods表对应的数据模型。
[0067]
步骤103，遍历所述字典，并通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本。其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。
[0068]
在该步骤中，遍历字典中的各个主键及其对应的键值，即遍历字典中的各个表名对应的数据模型，同时通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本。具体地，在字典中每遍历一个ods表名及其对应的数据结构，就会通过脚本生成函数生成该ods表名对应的数据同步脚本，因此当遍历完字典中的所有ods表名，就会相应地生成每个ods表名对应的数据同步脚本。
[0069]
可选地，通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本，包括：针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的数据同步脚本。在本发明的实施例中，针对每个ods表，运行脚本生成函数，同时将该ods表对应的数据模型中的元数据和参数输入到该脚本生成函数中，通过该脚本生成函数输出该表对应的数据同步脚本。
[0070]
可选地，生成数据同步脚本之后，还可以将数据同步脚本保存到预先配置的文件路径中，以便于在数据同步过程中调用该数据同步脚本。可选地，所述数据同步脚本为java脚本，通过java脚本可以将数据仓库源头系统的数据表原封不动的存储一份。因此，每个文件就是一张ods表的java实时同步代码。
[0071]
采用本发明实施例提供的方法生成数据同步脚本，每一百张表的数据同步脚本的总共生成时间不超过5秒钟，有效地提高了数据同步脚本的生成效率。
[0072]
根据上面所述的各种实施例，可以看出本发明实施例通过将各个表对应的数据模型分别提取到字典中，遍历字典并通过脚本生成函数分别生成各个表对应的数据同步脚本的技术手段，解决了现有技术中手动开发方式效率较低和测试成本较大的技术问题。本发明实施例通过定制化的数据模型，只需要预先填写数据模型中的元数据和参数，就可以快速高效地完成ods表实时同步代码的开发；表数量越多，每张表的字段数量越多，本发明实施例的效果就越显著；还能够保证代码质量，不会发生字段漏写、字段错写等问题。而且，本发明实施例具备扩展性与可复制性，能够有效降低测试成本。
[0073]
图2是根据本发明第二实施例的生成数据同步脚本的方法的主要流程的示意图。作为本发明的又一个实施例，如图2所示，所述生成数据同步脚本的方法可以包括：
[0074]
步骤201，采用python脚本读取数据准备层的各个ods表对应的数据模型。其中，所述数据模型包括表的元数据和参数。
[0075]
可选地，所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名。可选地，所述参数包括取数逻辑、entity是否适用普通模板、实时计
算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。
[0076]
在该步骤中，采用python脚本来读取ods层的各个ods表对应的数据模型，这样可以提高读取效率和读取准确性。
[0077]
步骤202，将所述各个ods表对应的数据模型分别提取到字典中。
[0078]
为了方便遍历各个ods表对应的数据模型，本发明实施例将各个ods表对应的数据模型分别提取到字典中；其中，在所述字典中，主键(key)为ods表名，键值(value)为ods表对应的数据模型。
[0079]
步骤203，遍历所述字典，同时针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的数据同步脚本。
[0080]
在该步骤中，遍历字典中的各个主键及其对应的键值，即遍历字典中的各个表名对应的数据模型，同时通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本。具体地，在字典中每遍历一个ods表名及其对应的数据结构，就会通过脚本生成函数生成该ods表名对应的数据同步脚本，因此当遍历完字典中的所有ods表名，就会相应地生成每个ods表名对应的数据同步脚本。
[0081]
具体地，针对每个ods表，运行脚本生成函数，同时将该ods表对应的数据模型中的元数据和参数输入到该脚本生成函数中，通过该脚本生成函数输出该ods表对应的数据同步脚本。
[0082]
可选地，所述数据同步脚本为java脚本，通过java脚本可以将数据仓库源头系统的数据表原封不动的存储一份。因此，每个文件就是一张ods表的java实时同步代码。
[0083]
步骤204，将所述各个ods表对应的数据同步脚本保存到预先配置的文件路径中。
[0084]
生成数据同步脚本之后，还可以将数据同步脚本保存到预先配置的文件路径中，以便于在数据同步过程中调用该数据同步脚本。
[0085]
另外，在本发明第二实施例中生成数据同步脚本的方法的具体实施内容，在上面所述生成数据同步脚本的方法中已经详细说明了，故在此重复内容不再说明。
[0086]
图3是根据本发明第三实施例的生成数据同步脚本的方法的主要流程的示意图。作为本发明的另一个实施例，如图3所示，所述生成数据同步脚本的方法可以包括：
[0087]
步骤301，设计数据模型，填写要同步到ods层的ods表的表结构，配置ods表的元数据和参数。
[0088]
ods层将数据仓库源头系统的数据表原封不动的存储一份，它们是后续数据仓库层加工数据的来源。为了自动地生成各个ods表对应的数据同步脚本，需要先设计数据模型，并根据业务需要填写需要同步到ods层的ods表的表结构，配置ods表的元数据和参数。
[0089]
可选地，所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名。可选地，所述参数包括取数逻辑、entity是否适用普通模板、实时计算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。
[0090]
步骤302，配置数据同步脚本的文件路径。
[0091]
可以预先配置存储数据同步脚本的文件路径，那么生成的数据同步脚本就会存储到该文件路径下。
[0092]
步骤303，采用python脚本读取ods层的各个ods表对应的数据模型。其中，所述数据模型包括ods表的元数据和参数。
[0093]
采用python脚本来读取各个ods表对应的数据模型，这样可以提高读取效率和读取准确性。
[0094]
步骤304，将所述各个ods表对应的数据模型分别提取到字典中。
[0095]
为了方便遍历各个ods表对应的数据模型，本发明实施例将各个ods表对应的数据模型分别提取到字典中；其中，在所述字典中，主键(key)为ods表的表名，键值(value)为ods表对应的数据模型。
[0096]
步骤305，遍历所述字典，同时针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的java格式的数据同步脚本。
[0097]
在该步骤中，遍历字典中的各个主键及其对应的键值，即遍历字典中的各个ods表的表名对应的数据模型，同时通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本。具体地，在字典中每遍历一个ods表的表名及其对应的数据结构，就会通过脚本生成函数生成该ods表的表名对应的数据同步脚本，因此当遍历完字典中的所有ods表的表名，就会相应地生成每个ods表的表名对应的数据同步脚本。其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。
[0098]
具体地，针对每个ods表，运行脚本生成函数，同时将该ods表对应的数据模型中的元数据和参数输入到该脚本生成函数中，通过该脚本生成函数输出该ods表对应的数据同步脚本。
[0099]
可选地，所述数据同步脚本为java脚本，通过java脚本可以将数据仓库源头系统的数据表原封不动的存储一份。因此，每个文件就是一张ods表的java实时同步代码。
[0100]
步骤306，将所述各个ods表对应的java格式的数据同步脚本保存到预先配置的文件路径中。
[0101]
生成java格式的数据同步脚本之后，还可以将java格式的数据同步脚本保存到预先配置的文件路径中，以便于在数据同步过程中调用该数据同步脚本。
[0102]
另外，在本发明第三实施例中生成数据同步脚本的方法的具体实施内容，在上面所述生成数据同步脚本的方法中已经详细说明了，故在此重复内容不再说明。
[0103]
图4是根据本发明实施例的生成数据同步脚本的装置的主要模块的示意图。如图4所示，所述生成数据同步脚本的装置400包括读取模块401、提取模块402和生成模块403；其中，读取模块401用于读取数据准备层的各个ods表对应的数据模型；提取模块402用于将所述各个ods表对应的数据模型分别提取到字典中；生成模块403用于遍历所述字典，并通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本；其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。
[0104]
可选地，所述生成模块403还用于：
[0105]
针对每个ods表，运行脚本生成函数，将所述ods表对应的数据模型输入到所述脚本生成函数中，从而生成所述ods表对应的数据同步脚本。
[0106]
可选地，所述数据模型包括ods表的元数据和参数；
[0107]
所述元数据包括库名、表名、列名、字段类型、是否为主键、字段说明、数据项编号和源库字段名；
[0108]
和/或，
[0109]
所述参数包括取数逻辑、entity是否适用普通模板、实时计算rowkey拼接字段、实时计算lastupdatetime字段和operator是否适用普通模板。
[0110]
可选地，在所述字典中，主键为ods表名，键值为ods表对应的数据模型。
[0111]
可选地，所述数据模型的结构为pandas格式。
[0112]
可选地，所述读取模块501还用于：
[0113]
采用python脚本读取数据准备层的各个ods表对应的数据模型。
[0114]
可选地，所述数据同步脚本为java脚本。
[0115]
根据上面所述的各种实施例，可以看出本发明实施例通过将各个表对应的数据模型分别提取到字典中，遍历字典并通过脚本生成函数分别生成各个表对应的数据同步脚本的技术手段，解决了现有技术中手动开发方式效率较低和测试成本较大的技术问题。本发明实施例通过定制化的数据模型，只需要预先填写数据模型中的元数据和参数，就可以快速高效地完成ods表实时同步代码的开发；表数量越多，每张表的字段数量越多，本发明实施例的效果就越显著；还能够保证代码质量，不会发生字段漏写、字段错写等问题。而且，本发明实施例具备扩展性与可复制性，能够有效降低测试成本。
[0116]
需要说明的是，在本发明所述生成数据同步脚本的装置的具体实施内容，在上面所述生成数据同步脚本的方法中已经详细说明了，故在此重复内容不再说明。
[0117]
图5示出了可以应用本发明实施例的生成数据同步脚本的方法或生成数据同步脚本的装置的示例性系统架构500。
[0118]
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0119]
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0120]
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0121]
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。
[0122]
需要说明的是，本发明实施例所提供的生成数据同步脚本的方法一般由服务器505执行，相应地，所述生成数据同步脚本的装置一般设置在服务器505中。本发明实施例所提供的生成数据同步脚本的方法也可以由终端设备501、502、503执行，相应地，所述生成数据同步脚本的装置可以设置在终端设备501、502、503中。
[0123]
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0124]
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0125]
如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读
存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有系统600操作所需的各种程序和数据。cpu 601、rom 602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0126]
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0127]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本发明的系统中限定的上述功能。
[0128]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0129]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来
实现。
[0130]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括读取模块、提取模块和生成模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
[0131]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：读读取数据准备层的各个ods表对应的数据模型；将所述各个ods表对应的数据模型分别提取到字典中；遍历所述字典，并通过脚本生成函数分别生成所述各个ods表对应的数据同步脚本；其中，所述数据同步脚本用于将数据仓库源头系统的数据表实时同步至所述各个ods表。
[0132]
作为另一方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
[0133]
根据本发明实施例的技术方案，因为采用将各个表对应的数据模型分别提取到字典中，遍历字典并通过脚本生成函数分别生成各个表对应的数据同步脚本的技术手段，所以克服了现有技术中手动开发方式效率较低和测试成本较大的技术问题。本发明实施例通过定制化的数据模型，只需要预先填写数据模型中的元数据和参数，就可以快速高效地完成ods表实时同步代码的开发；表数量越多，每张表的字段数量越多，本发明实施例的效果就越显著；还能够保证代码质量，不会发生字段漏写、字段错写等问题。而且，本发明实施例具备扩展性与可复制性，能够有效降低测试成本。
[0134]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。