数据处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法、装置、电子设备、存储介质及计算机程序产品。


背景技术：

2.hadoop集群作为一种大数据软件系统运行框架，可以存储各种有业务价值的数据，并且提供数据共享服务，因此被广泛应用在各行各业。
3.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：hadoop集群进行数据处理时的能力和查询效率在一定程度上不满足用户的需求。


技术实现要素：

4.有鉴于此，本公开提供了一种数据处理方法、装置、电子设备、存储介质及计算机程序产品。
5.本公开的一个方面提供了一种数据处理方法，包括：
6.从存储于第一集群的同步表中，获取在预定时间段内存储的目标数据；
7.将目标数据存储至临时表中，其中，临时表的表结构与第二集群中的目标表的表结构一致；
8.基于临时表中的目标数据和目标表中的已存储数据，从多种存储方式中确定目标存储方式；
9.按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中。
10.根据本公开的实施例，其中，基于临时表中的目标数据和目标表中的已存储数据，从多种存储方式中确定目标存储方式，包括：
11.将目标数据的标识数据，与已存储数据的标识数据进行匹配，得到标识匹配结果；
12.在确定标识匹配结果用于表征匹配成功的情况下，将目标数据的业务属性数据，与已存储数据的业务属性数据进行匹配，得到属性匹配结果；
13.在确定属性匹配结果用于表征匹配成功的情况下，确定目标存储方式为更新式存储方式；
14.在确定属性匹配结果用于表征匹配失败的情况下，确定目标存储方式为合并式存储方式；
15.在确定标识匹配结果用于表征匹配失败的情况下，确定目标存储方式为合并式存储方式。
16.根据本公开的实施例，其中，按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中，包括：
17.响应于用于执行第i-1轮存储操作的请求，执行用于按照目标存储方式，将临时表中的目标数据存储于第二集群的目标表中的第i-1轮存储操作，其中，i大于或等于2；
18.在与第i-1轮存储操作对应的存储反馈信息，表征将目标数据存储于第二集群的
目标表中失败的情况下，生成用于执行第i轮存储操作的请求；
19.响应于用于执行第i轮存储操作的请求，执行用于按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中的第i轮存储操作。
20.根据本公开的实施例，其中，执行第i-1轮存储操作，包括：
21.根据目标数据的预定时间段，确定目标数据在目标表中的目标存储区域；
22.清理目标存储区域中的已存储数据；
23.按照目标存储方式，将临时表中的目标数据存储至目标表中的目标存储区域。
24.根据本公开的实施例，在从存储于第一集群的同步表中，获取在预定时间段内存储的目标数据之前，上述方法还包括：
25.获取存储于同步表中的初始化数据；
26.将初始化数据存储至第二集群的目标表中，得到已存储数据。
27.根据本公开的实施例，上述方法还包括：
28.获取目标表的清理规则，其中，清理规则包括已存储数据的清理周期的规则；
29.按照清理规则，对第二集群中的已存储数据进行清理。
30.本公开的另一方面提供了一种数据处理装置，包括：
31.第一获取模块，用于从存储于第一集群的同步表中，获取在预定时间段内存储的目标数据；
32.第一存储模块，用于将目标数据存储至临时表中，其中，临时表的表结构与第二集群中的目标表的表结构一致；
33.确定模块，用于基于临时表中的目标数据和目标表中的已存储数据，从多种存储方式中确定目标存储方式；
34.第二存储模块，用于按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中。
35.本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。
36.本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
37.本公开的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
38.通过将预定时间段内存储的目标数据自动存入临时表中，基于临时表中的目标数据与第二集群的目标表中的已存储数据，从多种存储方式中确定目标数据的目标存储方式，按照目标存储方式将目标数据存储到目标表中，实现自动、精准的数据同步，以便用户可以在第二集群中进行海量数据的多维度自助分析、复杂的结构化数据处理查询、数据集市以及习惯使用传统的关系数据库管理系统(relational database management system，rdbms)特性等功能，所以至少部分地克服了第一集群例如：hadoop集群进行数据处理时的能力和查询效率在一定程度上不满足用户的需求。
附图说明
39.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
40.图1示意性示出了根据本公开实施例的可以应用本公开实施例的数据处理方法的示例性系统架构；
41.图2示意性示出了根据本公开实施例的数据处理方法的流程图；
42.图3示意性示出了根据本公开实施例的确定目标存储方式的流程图；
43.图4示意性示出了根据本公开实施例的存储操作的流程图；
44.图5示意性示出了根据本公开实施例的清理已存储数据的流程图；
45.图6示意性示出了根据本公开的实施例的数据处理装置的框图；以及
46.图7示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。
具体实施方式
47.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
48.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
49.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
50.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
51.在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
52.在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
53.随着科技的发展，金融行业在科技赋能之下走向“新金融时代”，在这条“明线”的背后，其实还有一条“暗线”，那就是数字经济的蓬勃发展不仅促进了数字产业化的进程，也推动了产业数字化走向纵深。金融行业的数字化转型离不开互联网技术的基础设施，尤其
是数据基础设施的支撑和完善，数据作为一种新型生产要素成为数字产业创新和传统产业转型的核心资源。构建数据基础，强化数据管理，成为金融业数字化生态发展前行的战略重点。
54.在相关技术中，hadoop集群以数据湖为基础，最底部是分布式文件系统(hadoop distributed file system，hdfs)，它存储hadoop集群中所有存储节点上的文件。hdfs的上一层是mapreduce(mr)引擎。通过hadoop集群的分布式计算平台中最核心的分布式文件系统hdfs、mr引擎、数据仓库工具hive和分布式数据库hbase可以存储各种业务的数据。
55.但是，hadoop集群建立的分布式计算平台也存在局限性，例如，mr计算引擎的效率较低、hivesql兼容性和支持度不够、集群容量限制等等。并且，hadoop集群在结构化数据处理方面的优化能力较弱，查询效率也较低。因此，hadoop集群进行数据处理时的能力和查询效率在一定程度上不满足用户的需求。
56.有鉴于此，本公开的实施例提供了一种数据处理方法。该方法包括从存储于第一集群的同步表中，获取在预定时间段内存储的目标数据；将目标数据存储至临时表中，其中，临时表的表结构与第二集群中的目标表的表结构一致；基于临时表中的目标数据和目标表中的已存储数据，从多种存储方式中确定目标存储方式；按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中。
57.利用以上方法，能够实现将第一集群中的目标数据自动、精准地同步至第二集群，以便用户可以在第二集群中进行海量数据的多维度自助分析、复杂的结构化数据处理查询、数据集市以及习惯使用传统的关系数据库管理系统(relational database management system，rdbms)特性等功能，所以至少部分地克服了第一集群例如：hadoop集群进行数据处理时的能力和查询效率在一定程度上不满足用户的需求。
58.图1示意性示出了根据本公开实施例的可以应用本公开实施例的数据处理方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
59.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
60.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
61.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
62.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
63.需要说明的是，本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例
所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的数据处理方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的数据处理装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
64.例如，目标数据可以原本存储在服务器之中，然后服务器可以在本地执行本公开实施例所提供的数据处理方法，或者将目标数据发送到其他终端设备、服务器、或服务器集群，并由接收该目标数据的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的数据处理方法。
65.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
66.图2示意性示出了根据本公开实施例的数据处理方法的流程图。
67.如图2所示，该方法包括操作s201～s204。
68.在操作s201，从存储于第一集群的同步表中，获取在预定时间段内存储的目标数据。
69.根据本公开的实施例，预定时间段可以是预先设置好的、用于进行同步的时间段，例如，预定时间段可以是一天、两天或者三天，在此不做限定。
70.根据本公开的实施例，目标数据可以是在预定时间段内根据实际发生的业务存储的数据，例如，目标数据可以是a银行在一天内办理的存款业务数据。
71.根据本公开的实施例，同步表可以是存储目标数据的表，同步表可以有表名、目标数据的作业名、目标数据的存储频率，以及目标数据的存储方式等元信息，通过配置化生成模块可以存储的同步表的元信息，并部署到目标数据对应的数据库中，以便在存储目标数据的情况下获取元信息。同步表可以部署在第一集群，第一集群可以是hadoop集群。
72.根据本公开的实施例，目标数据包括存储时间数据，可以获取存储时间数据符合预定时间段的目标数据，以便能够根据存储时间数据自动地获取同步表中的目标数据。
73.在操作s202，将目标数据存储至临时表中，其中，临时表的表结构与第二集群中的目标表的表结构一致。
74.根据本公开的实施例，可以根据同步表的表名、目标数据的作业名、目标数据的存储频率、以及目标数据的存储方式等表信息将目标数据存储至临时表中。可以通过配置化生成模块自动生成建立临时表的语句，并部署到第二集群的数据库中。
75.根据本公开的实施例，目标表可以是在第二集群中存储目标数据的表，第二集群可以是大规模并行处理(massively parallel processors，mpp)集群。
76.根据本公开的实施例，临时表的的表结构可以和目标表的表结构一致，例如，临时表的表名、字段可以和目标表的表名、字段是一致的。从而有利于将临时表中的目标数据和目标表中的已存储数据进行对比，进而使目标数据能够快速、准确的储存至目标表中。
77.在操作s203，基于临时表中的目标数据和目标表中的已存储数据，从多种存储方式中确定目标存储方式。
78.根据本公开的实施例，已存储数据可以是已经存储至目标表中的数据。
79.根据本公开的实施例，在存储目标数据的情况下，可以有多种存储方式，可以根据目标数据与已存储数据之间的关系，从多种存储方式中确定目标数据的目标存储方式。
80.根据本公开的实施例，通过目标数据与已存储数据确定目标存储方式，可以使目标数据在存储的时候更加符合用户的需求。
81.在操作s204，按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中。
82.根据本公开的实施例，可以按照已经确定好的目标存储方式，将目标数据存储至目标表中。
83.根据本公开的实施例，可以通过目标数据处理模块动态生成数据处理的结构化查询语言(structured query language，sql)语句，按照每天或其他频度将第一集群同步表中的目标数据同步到第二集群的目标表中。
84.根据本公开的实施例，通过将预定时间段内存储的目标数据自动存入临时表中，基于临时表中的目标数据与第二集群的目标表中的已存储数据，从多种存储方式中确定目标数据的目标存储方式，按照目标存储方式将目标数据存储到目标表中，实现自动、精准的数据同步，以便用户可以在第二集群中进行海量数据的多维度自助分析、复杂的结构化数据处理查询、数据集市以及习惯使用传统的关系数据库管理系统(relational database management system，rdbms)特性等功能，所以至少部分地克服了第一集群例如：hadoop集群进行数据处理时的能力和查询效率在一定程度上不满足用户的需求。
85.根据本公开的实施例，其中，基于临时表中的目标数据和目标表中的已存储数据，从多种存储方式中确定目标存储方式，包括：
86.将目标数据的标识数据，与已存储数据的标识数据进行匹配，得到标识匹配结果；
87.在确定标识匹配结果用于表征匹配成功的情况下，将目标数据的业务属性数据，与已存储数据的业务属性数据进行匹配，得到属性匹配结果；
88.在确定属性匹配结果用于表征匹配成功的情况下，确定目标存储方式为更新式存储方式；
89.在确定属性匹配结果用于表征匹配失败的情况下，确定目标存储方式为合并式存储方式；
90.在确定标识匹配结果用于表征匹配失败的情况下，确定目标存储方式为合并式存储方式。
91.图3示意性示出了根据本公开实施例的确定目标存储方式的流程图。
92.如图3所示，确定目标存储方式可以包括操作s301～操作s306。
93.在操作s301，将目标数据的标识数据，与已存储数据的标识数据进行匹配，得到标识匹配结果。
94.在操作s302，确定标识匹配结果是否用于表征匹配成功。在标识匹配结果用于表征匹配成功的情况下，执行操作s303，在标识匹配结果用于表征匹配失败的情况下，执行操作s306。
95.在操作s303，将目标数据的业务属性数据，与已存储数据的业务属性数据进行匹配，得到属性匹配结果。
96.在操作s304，确定属性匹配结果是否成功。在属性匹配结果用于表征匹配成功的情况下，执行操作s305，在属性匹配结果用于表征匹配失败的情况下，执行操作s306。
97.在操作s305，确定目标存储方式为更新式存储方式。
98.在操作s306，确定目标存储方式为合并式存储方式。
99.根据本公开的实施例，目标数据可以是由用户在银行办理存款或者取款的业务而产生的流水数据，已存储数据可以是在历史时刻由第一集群存储至第二集群的目标数据。
100.根据本公开的实施例，目标数据的标识数据可以是用于识别目标数据的数据，例如，目标数据的标识数据可以是用户的身份证号码数据或者存储卡的号码数据。已存储数据的标识数据可以是用于识别已存储数据的数据，例如，已存储数据的标识数据可以是用户的身份证号码数据或者存储卡的号码数据。
101.根据本公开的实施例，目标数据的业务属性数据可以是目标数据中的业务类型、生成时间等数据。已存储数据的业务属性数据可以是已存储数据中的业务类型、生成时间等数据。
102.根据本公开的实施例，可以将目标数据的标识数据与已存储数据的标识数据进行匹配，在匹配成功的情况下，将目标数据的业务属性数据和已存储数据的业务属性数据进行匹配，然后根据属性匹配结果，确定目标存储方式。
103.根据本公开的实施例，存储方式可以包括多种，例如包括更新式存储方式和合并式存储方式。更新式存储方式可以指：利用目标数据替换已存储数据。在目标数据的标识数据与已存储数据的标识数据一致、且目标数据的业务属性数据与已存储数据的业务属性数据一致的情况下，可以理解为已存储数据为目标数据的历史数据，可以利用更新存储方式将已存储数据更新为目标数据。合并式存储方式可以指：将目标数据与已存储数据进行合并。在目标数据的业务属性数据与已存储数据的业务属性数据不一致、或者目标数据的标识数据与已存储数据的标识数据不一致的情况下，目标数据与已存储数据之间可以分别代表不同的业务数据，可以共同存储于同一个目标表中，即采用合并存储的存储方式即可。
104.例如，目标数据可以是2022年1月1日用户x在a银行储蓄卡m上的关于存款操作的数据，已存储数据可以是2021年12月31日用户x在a银行储蓄卡m上的关于存款操作的数据，目标数据的标识数据和已存储数据的标识数据可以是指用户x的身份数据、用户x在存款时使用的储蓄卡m的卡号数据或者其他用于识别目标数据的数据，匹配之后可以得到表征成功的标识匹配结果。目标数据的业务属性数据和已存储数据的业务属性数据可以是在储蓄卡m上存款操作的数据，可以得到表征成功的属性匹配结果，然后确定目标存储方式为更新式存储方式。
105.或者，目标数据可以是2022年1月1日用户x在a银行储蓄卡m上的关于存款操作的数据，已存储数据可以是2021年12月31日用户x在a银行储蓄卡n上的关于存款操作的数据，目标数据的标识数据可以是用户x的身份数据、用户x在存款时使用的储蓄卡m的卡号数据或者其他用于识别目标数据的数据，已存储数据的标识数据可以是用户x的身份数据、用户x在存款时使用的储蓄卡n的卡号数据或者其他用于识别目标数据的数据，匹配之后可以得到表征成功的标识匹配结果。目标数据的业务属性数据可以是在储蓄卡m上存款操作的数据，已存储数据的业务属性数据可以是在储蓄卡n上存款操作的数据，匹配之后可以得到表征失败的属性匹配结果，然后确定目标存储方式为合并式存储方式。
106.或者，目标数据是2022年1月1日用户x在a银行储蓄卡m上的关于存款操作的数据，已存储数据可以是2021年12月31日用户y在a银行储蓄卡p上的关于存款操作的数据，匹配之后可以得到表征失败的标识匹配结果，然后确定目标存储方式为合并式存储方式。
107.在确定目标存储方式为合并式存储方式的情况下，可以利用a算法或者f2算法支持通过采用合并式存储方式存储目标数据。在确定目标存储方式为合并式存储方式的情况下，可以利用f3算法支持通过采用合并式存储方式存储目标数据，如表1所示：
108.表1算法比较表
[0109][0110]
根据本公开的实施例，a算法的计算过程具体如下：预设时间段内的目标数据的日期字段数据可以为pt_dt，表示存储目标数据的预设时间段的日期，同步表中的目标数据可以按日期字段数据pt_dt＝2022-01-01分区存储，可以将同步表中日期字段数据为pt_dt＝2022-01-01的目标数据存储到临时表中，再将临时表中的目标数据存储至目标表中日期字段数据为pt_dt＝2022-01-01的位置，a算法可以默认存储pt_dt近13个月的已存储数据。
[0111]
根据本公开的实施例，f2算法的计算过程具体如下：预设时间段内的目标数据的日期字段数据可以为pt_dt，同步表中的目标数据可以按日期字段数据pt_dt＝9999-00-06(9999-00-00表示周日、9999-00-01表示周一...9999-00-06表示周六)分区存储，可以先计算同步表中预设时间段对应的9999分区。例如，2022-01-01对应的分区为9999-00-06，然后存储日期字段数据为pt_dt＝9999-00-06的目标数据到临时表中，再将临时表中的目标数据存储到目标表日期字段数据为pt_dt＝2022-01-01的位置，再将目标表中日期字段数据
为pt_dt＝2022-01-01的目标数据和前一天pt_dt＝2021-12-31的已存储数据进行合并，存储到目标表日期字段数据为pt_dt＝2022-01-01的位置，f2算法可以默认存储pt_dt近三天的已存储数据。
[0112]
根据本公开的实施例，f3算法的计算过程具体如下：预设时间段内的目标数据日期字段数据可以是start_dt(目标数据开始存储的日期)和end_dt(目标数据结束存储的日期)，可以用end_dt＝3000-12-31代表目标表存储的已存储数据。同步表中的目标数据可以按日期字段数据start_dt＝9999-00-06和end_dt＝9999-00-06分区存储，可以先计算同步表中预设时间段对应的9999分区。例如，2022-01-01对应的分区为9999-00-06，然后将start_dt＝9999-00-06和end_dt＝9999-00-06的目标数据存储至临时表中，再将临时表中的目标数据存储到到目标表日期字段数据为start_dt＝2022-01-01和end_dt＝2022-01-01的位置，然后将目标表中日期字段数据end_dt＝3000-12-31的已存储数据的主键信息和目标数据的主键信息进行关联，关联上的数据可以关链到end_dt＝2022-01-01，未关联到的数据和目标数据同时开链到end_dt＝3000-12-31即为当前的已存储数据，f3算法可以默认存储end_dt近2年的已存储数据。
[0113]
根据本公开的实施例，可以通过目标数据存储模块按照对应的算法目标数据和已存储数据进行处理，存储至目标表中。
[0114]
根据本公开的实施例，通过对目标数据的标识数据和已存储数据的标识数据进行匹配，得到标识匹配结果，在标识匹配结果用于表征成功的情况下，将目标数据的业务属性数据和已存储数据的业务属性数据进行匹配，得到属性匹配结果，由属性匹配结果和标识匹配结果可以确定目标数据的目标存储方式，以使目标数据精确的存储至目标表存储。
[0115]
图4示意性示出了根据本公开实施例的存储操作的流程图。
[0116]
如图4所述，操作s204，按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中：可以包括操作s401～操作s405。
[0117]
在操作s401，响应于用于执行第i-1轮存储操作的请求，执行用于按照目标存储方式，将临时表中的目标数据存储于第二集群的目标表中的第i-1轮存储操作，其中，i大于或等于2。
[0118]
在操作s402，确定与第i-1轮存储操作对应的存储反馈信息是否表征将目标数据存储于第二集群的目标表中失败，若是，执行操作s403，若不是，执行操作s405。
[0119]
在操作s403，生成用于执行第i轮存储操作的请求。
[0120]
在操作s404，响应于用于执行第i轮存储操作的请求，执行用于按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中的第i轮存储操作。
[0121]
在操作s405，停止执行第i轮存储操作。
[0122]
根据本公开的实施例，在执行第i-1轮存储操作的情况下，可以由存储操作生成存储反馈信息，如果存储反馈信息用于表征将目标数据存储于第二集群的目标表中失败，则可以执行第i轮存储操作，如果存储反馈信息表征将目标数据存储于第二集群的目标表中成功，则停止执行第i轮存储操作。
[0123]
根据本公开的其他实施例，操作s204，按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中，还可以包括如下操作：在执行完第1轮存储操作的情况下，可以确定与第1轮存储操作对应的第1轮存储反馈信息，如果第1轮存储反馈信息用于表征将
目标数据存储于第二集群的目标表中失败，则可以执行第2轮存储操作，如果第1轮存储反馈信息表征将目标数据存储于第二集群的目标表中成功，则停止执行第2轮存储操作。在与第2轮存储操作对应的第二轮存储反馈信息表征将目标数据存储于第二集群的目标表中失败的情况下，可以停止执行第3轮存储操作。然后发出第2轮存储操作失败的报警信息，以便人工根据报警信息进行干预分析，最终确定第2轮存储操作失败的原因。
[0124]
根据本公开的实施例，在将目标数据同步至目标表的情况下，可以通过判断存储反馈信息用于表征将目标数据存储于目标表中失败或者成功，自动确定是否执行将目标数据存储至目标表中的存储操作，从而提高目标数据的存储效率。
[0125]
数据处理方法在执行操作s401之前，还包括操作s201～操作s203，具体描述可以参见图2的实施例，在此不再赘述。
[0126]
根据本公开的实施例，其中，执行第i-1轮存储操作可以包括：
[0127]
根据目标数据的预定时间段，确定目标数据在目标表中的目标存储区域；
[0128]
清理目标存储区域中的已存储数据；
[0129]
按照目标存储方式，将临时表中的目标数据存储至目标表中的目标存储区域。
[0130]
根据本公开的实施例，目标数据可以按照时间分区存储在目标表中，由目标数据的预定时间段，可以知道目标数据在目标表存储的分区位置，从而确定在目标表中存储目标数据的目标存储区域。
[0131]
根据本公开的实施例，清理目标存储区域中的已存储数据，可以指删除目标存储区域中的已存储数据。
[0132]
根据本公开的实施例，在目标数据存储至目标表之前，先将目标表中存储目标数据的目标存储区域中的数据进行清理，使得在目标存储区域准确的存储目标数据。
[0133]
根据本公开的实施例，在从存储于第一集群的同步表中，获取在预定时间段内存储的目标数据之前，数据处理方法还包括：
[0134]
获取存储于同步表中的初始化数据；
[0135]
将初始化数据存储至第二集群的目标表中，得到已存储数据。
[0136]
根据本公开的实施例，初始化数据可以是指同步表中的、首次待存储到目标表中的数据。
[0137]
根据本公开的实施例，同步表中的元信息可以按照时间顺序存储在第一集群的数据库中，可以根据同步表的元信息将初始化数据一次性的存储至目标表，得到已存储数据。在存储初始化数据的情况下，可以将多张同步表的初始化数据一次性存储至目标表中，实现并行存储。
[0138]
根据本公开的实施例，可以利用元数据管理模块，根据同步表的相关信息，记录同步表从第一次同步、到修改再到删除的变化全过程，以管理同步表的生命周期。
[0139]
根据本公开的实施例，可以通过初始化数据存储模块读取初始化数据获取同步表的元信息，生成同步sql语句，将同步表中指定日期分区的初始化数据一次性存储到第二集群的目标表中。
[0140]
根据本公开的实施例，在目标数据存储至目标表之前，可以将初始化数据一次性存储至目标表中，由此提高存储初始化数据的效率，进而快速得到已存储数据。
[0141]
根据本公开的实施例，上述数据处理方法还包括：
[0142]
获取目标表的清理规则，其中，清理规则包括已存储数据的清理周期的规则；
[0143]
按照清理规则，对第二集群中的已存储数据进行清理。
[0144]
图5示意性示出了根据本公开实施例的清理已存储数据的流程图。
[0145]
如图5所示，清理已存储数据可以包括操作s501～操作s508。
[0146]
在操作s501，获取待清理的已存储数据。
[0147]
在操作s502，读取特殊清理规则表中的数据。
[0148]
在操作s503，确定特殊清理规则表中是否包括待清理的已存储数据的标识数据，若包括，执行操作s504，若不包括，执行操作s505。
[0149]
在操作s504，按照特殊清理规则清理待清理的已存储数据。
[0150]
在操作s505，按照默认清理规则清理待清理的已存储数据。
[0151]
在操作s506，确定清理操作是否报错，若是，执行操作s507，若否执行操作s508。
[0152]
在操作s507，发出清理操作报错的报警信息。
[0153]
在操作s508，结束清理操作。
[0154]
根据本公开的实施例，清理规则可以包括默认清理规则和特殊清理规则，默认清理规则可以是按照默认的清理周期对目标表中的已存储数据进行清理，例如，清理周期可以为默认的一周或者两周，可以设置每天自动对超过清理周期的已存储数据进行清理，可以清理多张目标表的已存储数据，例如可以同时清理五张目标表的已存储数据。
[0155]
特殊清理周期可以是预先设置的、不同于默认的清理周期。例如，目标表中周日分区的已存储数据的重要程度较高，在清理规则默认为一周的情况可以设置周日分区的清理周期为一个月，在每天清理已存储数据的情况下，可以首先确定清理目标表中是否有周日分区的已存储数据，如果有，则按照周日分区的特殊清理规则进行清理。如果没有，则按照默认清理规则进行清理。
[0156]
根据本公开的实施例，在按照清理规则，对第二集群中的已存储数据进行清理的情况下，如果因已存储数据中出现异常数据，而导致清理操作失败，可以发出清理操作报错的报警信息，以便人工根据报警信息进行干预分析，最终确定清理操作失败的原因。
[0157]
根据本公开的实施例，可以通过数据清理模块获取同步表的元信息，结合目标数据存入目标表的完成日期，按照目标表对应的清理规则生成数据清理sql语句，将超出清理周期的数据进行删除，减清存储压力。
[0158]
根据本公开的实施例，可以同时清理多张目标表中的已存储数据，实现并行清理。
[0159]
根据本公开的其他实施例，按照清理规则，对第二集群中的已存储数据进行清理的操作，可以包括对已存储数据进行删除的操作，还可以包括对碎片数据进行整理的操作。将对已存储数据进行删除的操作和对碎片数据进行整理的操作相结合，可以使得对第二集群中的已存储数据清理彻底、有效。
[0160]
根据本公开的实施例，定期对第二集群中的已存储数据进行清理，可以减轻第二集群中数据的缓存压力，增加缓存空间。
[0161]
根据本公开的实施例提出的数据处理方法，可以将第一集群同步表中的目标数据自动存储至第二集群目标表中，实现了跨集群的数据批量自动同步。例如，数据处理方法可以应用在第一集群为hadoop集群和第二集群为mpp集群的场景中，可以通过将数据湖建立在hadoop集群和mpp集群，扩展了数据湖的可用性；并且，对于mpp集群的下游使用方，可以
基于目标表中的目标数据和已存储数据提供服务支持，无需跨集群即可直接访问mpp集群存储的数据进行快速计算和分析。
[0162]
图6示意性示出了根据本公开的实施例的数据处理装置的框图。
[0163]
如图6所示，数据处理装置600包括第一获取模块610、第一存储模块620、确定模块630和第二存储模块640。
[0164]
第一获取模块610，用于从存储于第一集群的同步表中，获取在预定时间段内存储的目标数据；
[0165]
第一存储模块620，用于将目标数据存储至临时表中，其中，临时表的表结构与第二集群中的目标表的表结构一致；
[0166]
确定模块630，用于基于临时表中的目标数据和目标表中的已存储数据，从多种存储方式中确定目标存储方式；
[0167]
第二存储模块640，用于按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中。
[0168]
根据本公开的实施例，其中，确定模块630可以包括：
[0169]
第一确定单元，用于将目标数据的标识数据，与已存储数据的标识数据进行匹配，得到标识匹配结果；
[0170]
第二确定单元，用于在确定标识匹配结果用于表征匹配成功的情况下，将目标数据的业务属性数据，与已存储数据的业务属性数据进行匹配，得到属性匹配结果；
[0171]
第三确定单元，用于在确定属性匹配结果用于表征匹配成功的情况下，确定目标存储方式为更新式存储方式；
[0172]
第四确定单元，用于在确定属性匹配结果用于表征匹配失败的情况下，确定目标存储方式为合并式存储方式；
[0173]
第五确定单元，用于在确定标识匹配结果用于表征匹配失败的情况下，确定目标存储方式为合并式存储方式。
[0174]
根据本公开的实施例，其中，第二存储模块640可以包括：
[0175]
第一存储单元，用于响应于用于执行第i-1轮存储操作的请求，执行用于按照目标存储方式，将临时表中的目标数据存储于第二集群的目标表中的第i-1轮存储操作，其中，i大于或等于2；
[0176]
第二存储单元，用于在与第i-1轮存储操作对应的存储反馈信息，表征将目标数据存储于第二集群的目标表中失败的情况下，生成用于执行第i轮存储操作的请求；
[0177]
第三存储单元，用于响应于用于执行第i轮存储操作的请求，执行用于按照目标存储方式，将临时表中的目标数据存储至第二集群的目标表中的第i轮存储操作。
[0178]
根据本公开的实施例，其中，第一存储单元可以包括：
[0179]
第一存储子单元，用于根据目标数据的预定时间段，确定目标数据在目标表中的目标存储区域；
[0180]
第二存储子单元，用于清理目标存储区域中的已存储数据；
[0181]
第三存储子单元，用于按照目标存储方式，将临时表中的目标数据存储至目标表中的目标存储区域。
[0182]
根据本公开的实施例，上述装置600还包括：
[0183]
第二获取模块，用于获取存储于同步表中的初始化数据；
[0184]
得到模块，用于将初始化数据存储至第二集群的目标表中，得到已存储数据。
[0185]
根据本公开的实施例，上述装置600还包括：
[0186]
第三获取模块，用于获取目标表的清理规则，其中，清理规则包括已存储数据的清理周期的规则；
[0187]
清理模块，用于按照清理规则，对第二集群中的已存储数据进行清理。
[0188]
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0189]
例如，第一获取模块610、第一存储模块620、确定模块630和第二存储模块640中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一获取模块610、第一存储模块620、确定模块630和第二存储模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块610、第一存储模块620、确定模块630和第二存储模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0190]
需要说明的是，本公开的实施例中数据处理装置部分与本公开的实施例中数据处理方法部分是相对应的，数据处理装置部分的描述具体参考数据处理方法部分，在此不再赘述。
[0191]
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0192]
如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0193]
在ram 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、rom 702以及ram 703通过总线704彼此相连。处理器701通过执行rom 702和/或ram 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom702和ram 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0194]
根据本公开的实施例，电子设备700还可以包括输入/输出(i/o)接口705，输入/输出(i/o)接口705也连接至总线704。电子设备700还可以包括连接至i/o接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0195]
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0196]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0197]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0198]
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 702和/或ram 703和/或rom 702和ram 703以外的一个或多个存储器。
[0199]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规
定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
[0200]
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。