数据处理方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种数据处理方法、装置、设备及存储介质。


背景技术：

2.随着普惠消费信贷发展，个人、小微客群量越来越大，很多时候，申请过程的漫长、审批繁琐让很多客户都望而却步，此时相应的实时数仓显得必不可少，它将各个业务系统数据接入，按照申请、风控审批、贷后放款、还款、逾期、理赔划分主题模型，实时追踪整个业务流程，对其中耗时长、审批流程复杂进行优化，更好地决客户在申请过程中的问题，同时帮助企业改善服务质量，提高客户满意度。
3.传统的实时处理引擎是由批次组成的，全量数据是一个大批次，而实时数据是由一个个无限的小批次组成的，并且传统的方案获取数据后不能立即处理，具有较高的延迟。


技术实现要素：

4.本发明提供了一种数据处理方法、装置、设备及存储介质，用于提高数据处理的效率。
5.本发明第一方面提供了一种数据处理方法，所述数据处理方法包括：从预置的应用程序中获取实时数据和全量数据，并将所述实时数据和所述全量数据存储至预置的关系型数据库；根据预置的参数配置从所述关系型数据库中读取待处理实时数据，以及从所述关系型数据库中读取待处理全量数据；基于预置的flink工具对所述待处理实时数据和所述待处理全量数据进行加工和整合，得到所述待处理实时数据和所述待处理全量数据对应的标准数据；根据所述标准数据和预置的业务系统创建所述标准数据对应的数据仓库。
6.可选的，在本发明第一方面的第一种实现方式中，所述从预置的应用程序中获取实时数据和全量数据，并将所述实时数据和所述全量数据存储至预置的关系型数据库，包括：从预置的应用程序中获取实时数据和全量数据；将所述实时数据按照预设数表规则存储至预置的关系型数据库；将所述全量数据按照所述预设数表规则存储至所述关系型数据库。
7.可选的，在本发明第一方面的第二种实现方式中，所述根据预置的参数配置从所述关系型数据库中读取待处理实时数据，以及从所述关系型数据库中读取待处理全量数据，包括：从预置的参数数据库中查询参数配置；对所述参数配置和预置的实时表名规则进行比对，若所述参数配置与所述实时表名规则相对应，则从所述预设关系型数据库中读取实时数仓表上的实时数据作为待处理实时数据；对所述参数配置和预置的离线表名规则进行比对，若所述参数配置与所述离线表名规则相对应，则从所述预设关系型数据库中读取全量数仓表上的全量数据作为待处理全量数据。
8.可选的，在本发明第一方面的第三种实现方式中，在所述根据所述标准数据和预置的业务系统创建所述标准数据对应的数据仓库之后，所述数据处理方法还包括：基于所述数据仓库对所述实时数据和所述全量数据进行加工任务识别，得到目标数据处理任务；
基于所述目标数据处理任务对所述实时数据和所述全量数据进行整合处理，得到实时加工结果。
9.可选的，在本发明第一方面的第四种实现方式中，所述基于所述目标数据处理任务对所述实时数据和所述全量数据进行整合处理，得到实时加工结果，包括：基于所述目标数据处理任务确定所述目标数据处理任务中的时间信息；提取所述实时数据中与所述时间信息对应的全量实时数据，并从所述全量数据中提取所述时间信息对应的增量数据；对所述全量实时数据和所述增量数据进行合并加工处理，得到所述全量实时数据和所述增量数据对应的实时加工结果。
10.可选的，在本发明第一方面的第五种实现方式中，所述提取所述实时数据中与所述时间信息对应的全量实时数据，并从所述全量数据中提取所述时间信息对应的增量数据，包括：检测所述实时数据是否完成预置的数仓操作，得到检测结果；根据所述检测结果，对所述实时数据中的全量实时数据进行去重处理，得到全量实时数据；根据所述时间信息从所述全量实时数据中提取增量数据。
11.本发明第二方面提供了一种数据处理装置，所述数据处理装置包括：存储模块，用于从预置的应用程序中获取实时数据和全量数据，并将所述实时数据和所述全量数据存储至预置的关系型数据库；读取模块，用于根据预置的参数配置从所述关系型数据库中读取待处理实时数据，以及从所述关系型数据库中读取待处理全量数据；处理模块，用于基于预置的flink工具对所述待处理实时数据和所述待处理全量数据进行加工和整合，得到所述待处理实时数据和所述待处理全量数据对应的标准数据；创建模块，用于根据所述标准数据和预置的业务系统创建所述标准数据对应的数据仓库。
12.可选的，在本发明第二方面的第一种实现方式中，所述存储模块具体用于：从预置的应用程序中获取实时数据和全量数据；将所述实时数据按照预设数表规则存储至预置的关系型数据库；将所述全量数据按照所述预设数表规则存储至所述关系型数据库。
13.可选的，在本发明第二方面的第二种实现方式中，所述读取模块具体用于：从预置的参数数据库中查询参数配置；对所述参数配置和预置的实时表名规则进行比对，若所述参数配置与所述实时表名规则相对应，则从所述预设关系型数据库中读取实时数仓表上的实时数据作为待处理实时数据；对所述参数配置和预置的离线表名规则进行比对，若所述参数配置与所述离线表名规则相对应，则从所述预设关系型数据库中读取全量数仓表上的全量数据作为待处理全量数据。
14.可选的，在本发明第二方面的第三种实现方式中，所述创建模块还包括：识别单元，用于基于所述数据仓库对所述实时数据和所述全量数据进行加工任务识别，得到目标数据处理任务；整合单元，用于基于所述目标数据处理任务对所述实时数据和所述全量数据进行整合处理，得到实时加工结果。
15.可选的，在本发明第二方面的第四种实现方式中，所述整合单元还包括：配置子单元，用于基于所述目标数据处理任务确定所述目标数据处理任务中的时间信息；提取子单元，用于提取所述实时数据中与所述时间信息对应的全量实时数据，并从所述全量数据中提取所述时间信息对应的增量数据；加工子单元，用于对所述全量实时数据和所述增量数据进行合并加工处理，得到所述全量实时数据和所述增量数据对应的实时加工结果。
16.可选的，在本发明第二方面的第五种实现方式中，所述提取子单元具体用于：检测
所述实时数据是否完成预置的数仓操作，得到检测结果；根据所述检测结果，对所述实时数据中的全量实时数据进行去重处理，得到全量实时数据；根据所述时间信息从所述全量实时数据中提取增量数据。
17.本发明第三方面提供了一种数据处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据处理设备执行上述的数据处理方法。
18.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据处理方法。
19.本发明提供的技术方案中，从预置的应用程序中获取实时数据和全量数据，并将实时数据和全量数据存储至预置的关系型数据库；根据预置的参数配置从关系型数据库中读取待处理实时数据，从关系型数据库中读取待处理全量数据；基于预置的flink工具对待处理实时数据和待处理全量数据进行加工和整合，得到待处理实时数据和待处理全量数据对应的标准数据；根据标准数据和预置的业务系统创建所述标准数据对应的数据仓库，本发明通过flink工具实时构建数仓，构建的数仓可以对不同特性的数据进行存储，通过对实时数据和全量数据进行加工，降低了实时数据开发难度，提高了标准数据的处理效率，进而提高了数据仓库的创建效率。
附图说明
20.图1为本发明实施例中数据处理方法的一个实施例示意图；
21.图2为本发明实施例中数据处理方法的另一个实施例示意图；
22.图3为本发明实施例中数据处理装置的一个实施例示意图；
23.图4为本发明实施例中数据处理装置的另一个实施例示意图；
24.图5为本发明实施例中数据处理设备的一个实施例示意图。
具体实施方式
25.本发明实施例提供了一种数据处理方法、装置、设备及存储介质，用于提高数据处理的效率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据处理方法的第一个实施例包括：
27.101、从预置的应用程序中获取实时数据和全量数据，并将实时数据和全量数据存储至预置的关系型数据库；
28.可以理解的是，本发明的执行主体可以为数据处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。本发明实施例可
以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
29.具体的，服务器基于统计数据制作提供数据分析查询服务的数据仓库的过程中，服务器接收用户输入的配置参数实现获取实时数据，并按照预置的时间间隔统计该实时数据以得到全量数据，服务器按照相同的数据表规则将该实时数据和该全量数据都存储至到预设关系型数据库当中以备后续调用。
30.102、根据预置的参数配置从关系型数据库中读取待处理实时数据，以及从关系型数据库中读取待处理全量数据；
31.具体的，服务器在将获取得到的实时数据和全量数据都按表规则存储至到预设关系型数据库中之后，通过接收用户自定义输入预置的参数配置，判断当前从该预设关系型数据库当中提取实时数据作为待处理实时数据进行后续加工，或者提取全量数据作为待处理全量数据进行后续加工。需要说明的是，预置的参数配置为接收到的用户基于预设关系型数据库中，存储实时数据的实时数仓表与存储全量数据的全量数仓表之间的差异，所自定义输入以供准确区分提取实时数据还是提取全量数据用于数据处理操作的参数。
32.103、基于预置的flink工具对待处理实时数据和待处理全量数据进行加工和整合，得到待处理实时数据和待处理全量数据对应的标准数据；
33.具体的，预置的flink工具是一个面向分布式数据流处理和批量数据处理的开源计算平台，具有分布式、低延迟、高吞吐和高可靠的特性。服务器在基于接收到的参数配置从预设关系型数据库当中提取出待处理实时数据或者待处理全量数据之后，服务器调用预置的flink并按照当前数据处理任务以加工标准数据为目的对该待处理实时数据或者待处理全量数据进行加工得到标准数据，服务器对待处理实时数据和待处理全量数据进行加工时首先通过flink工具将待处理实时数据和待处理全量数据进行数据信息融合，得到融合后的数据信息，将融合后的数据信息进行合理分析，服务器生成该数据信息的分析报告，将对统一格式后的数据按照标准进行数据处理，生成统一标准的数据，服务器将统一标准的数据进行质量检查，将错误信息进行提示，对不符合质量要求的数据进行处理，最终得到待处理实时数据和待处理全量数据对应的标准数据。flink工具会将参数配置转化为flink任务，并自动提交到flink集群上执行，flink工具简化了数据同步任务的开发过程，用户只需提供一份数据同步任务的参数配置。服务器对待处理实时数据和待处理全量数据，加工标准数据为目的进行加工的数据处理逻辑，服务器通过用户基于实际需要自定义开发语句实现，服务器基于实际应用的不同设计需要，在不同可行的实施规则当中，只要保证对待处理实时数据或者待处理全量数据的数据处理是以加工标准数据为目的的，那么数据处理逻辑的具体内容当然可以是不同的。服务器通过对全量数据和实时数据的加工都以加工标准数
据为目的，而非现有实时指标加工中直接加工出具体的统计值为目的，因此可以基于标准数据向用户提供更加多维和复杂的查询服务。
34.104、根据标准数据和预置的业务系统创建标准数据对应的数据仓库。
35.具体的，服务器在以加工标准数据目的对待处理实时数据或者待处理全量数据进行加工得到标准数据之后，进一步根据已经连接好的预设业务系统的更新模式将该标准数据导出到该预设业务系统当中，从而制作得到基于该预设业务系统对外提供多维复杂查询服务的数据仓库。
36.需要说明的是，预设业务系统可以为es系统，是一个搜索服务器。服务器基于实际应用的不同设计需要，在其它可行的实施规则当中，当然也可以连接其它能够提供多维复杂查询服务的系统，从而将加工的标准数据导入到该系统中以制作得到数据仓库，本发明数据仓库的制作方法，并不对该预设业务系统的种类进行具体的限定。
37.进一步地，服务器将标准数据存储于区块链数据库中，具体此处不做限定。
38.本发明实施例中，从预置的应用程序中获取实时数据和全量数据，并将实时数据和全量数据存储至预置的关系型数据库；根据预置的参数配置从关系型数据库中读取待处理实时数据，从关系型数据库中读取待处理全量数据；基于预置的flink工具对待处理实时数据和待处理全量数据进行加工和整合，得到待处理实时数据和待处理全量数据对应的标准数据；根据标准数据和预置的业务系统创建标准数据对应的数据仓库，本发明通过flink工具实时构建数仓，构建的数仓可以对不同特性的数据进行存储，通过对实时数据和全量数据进行加工，降低了实时数据开发难度，提高了标准数据的处理效率，进而提高了数据仓库的创建效率。
39.请参阅图2，本发明实施例中数据处理方法的第二个实施例包括：
40.201、从预置的应用程序中获取实时数据和全量数据，并将实时数据和全量数据存储至预置的关系型数据库；
41.可选的，服务器从预置的应用程序中获取实时数据和全量数据；服务器分将实时数据按照预设数表规则存储至预置的关系型数据库；服务器将全量数据按照预设数表规则存储至关系型数据库。
42.具体的，服务器按照预设配置的数据表规则，先在预先连接的预设关系型数据库当中按照实时表名规则创建实时数仓表，服务器按照与该实时表名规则不相同的离线表名规则创建全量数仓表，服务器将获取得到的实时数据以及全量数据，分别存写在该实时数仓表和全量数仓表上，从而将实时数据和全量数据存储至预设关系型数据库当中。服务器按照相同规则将该日终全量数据即时的存写到关系型数据库中已经创建好的日终事实表上，服务器将实时数据和全量数据均存储至关系型数据库中以供后续进行调用。服务器通过将获取到的实时数据和全量数据都按表规则存储至关系型数据库中，从而在后续对该实时数据和/或者该全量数据进行数据处理时，服务器根据实际需要通过简单易开发语句，从对应的实时数仓表和/或者全量数仓表中来进行取数加工。
43.202、根据预置的参数配置从关系型数据库中读取待处理实时数据，以及从关系型数据库中读取待处理全量数据；
44.可选的，服务器从预置的参数数据库中查询参数配置；服务器对参数配置和预置的实时表名规则进行比对，若参数配置与实时表名规则相对应，则从预设关系型数据库中
读取实时数仓表上的实时数据作为待处理实时数据；服务器对参数配置和预置的离线表名规则进行比对，若参数配置与离线表名规则相对应，则从预设关系型数据库中读取全量数仓表上的全量数据作为待处理全量数据。
45.具体的，服务器接收到用户自定义输入的参数配置后，若该参数配置是用户基于预设关系型数据库中实时数仓表的实时表名规则进行定义输入，服务器判断到该参数配置与该实时表名规则相对应的，则即直接从该实时数仓表上存写的各实时数据当中，提取当前数据处理任务指向的数据作为待处理实时数据。具体的，服务器在接收到用户自定义输入的参数配置后，若该参数配置是用户基于预设关系型数据库中全量数仓表的离线表名规则进行定义输入，以供判断到该参数配置与该离线表名规则相对应的，则即直接从该全量数仓表上存写的各全量数据当中，提取当前数据处理任务指向的数据作为待处理全量数据。服务器按照当前数据处理任务从该日终事实表中提取对应的全量数据作为后续进行加工处理的待处理全量数据。
46.203、基于预置的flink工具对待处理实时数据和待处理全量数据进行加工和整合，得到待处理实时数据和待处理全量数据对应的标准数据；
47.具体的，预置的flink工具是一个面向分布式数据流处理和批量数据处理的开源计算平台，具有分布式、低延迟、高吞吐和高可靠的特性。服务器在基于接收到的参数配置从预设关系型数据库当中提取出待处理实时数据或者待处理全量数据之后，服务器调用预置的flink并按照当前数据处理任务以加工标准数据为目的对该待处理实时数据或者待处理全量数据进行加工得到标准数据，flink工具会将参数配置转化为flink任务，并自动提交到flink集群上执行，.flink工具简化了数据同步任务的开发过程，用户只需提供一份数据同步任务的参数配置。服务器对待处理实时数据和待处理全量数据，加工标准数据为目的进行加工的数据处理逻辑，服务器通过用户基于实际需要自定义开发语句实现，服务器基于实际应用的不同设计需要，在不同可行的实施规则当中，只要保证对待处理实时数据或者待处理全量数据的数据处理是以加工标准数据为目的的，那么数据处理逻辑的具体内容当然可以是不同的。服务器通过对全量数据和实时数据的加工都以加工标准数据为目的，而非现有实时指标加工中直接加工出具体的统计值为目的，因此可以基于标准数据向用户提供更加多维和复杂的查询服务。
48.204、根据标准数据和预置的业务系统创建标准数据对应的数据仓库；
49.具体的，服务器在以加工标准数据目的对待处理实时数据或者待处理全量数据进行加工得到标准数据之后，进一步根据已经连接好的预设业务系统的更新模式将该标准数据导出到该预设业务系统当中，从而制作得到基于该预设业务系统对外提供多维复杂查询服务的数据仓库。需要说明的是，预设业务系统可以为es系统，是一个搜索服务器。服务器基于实际应用的不同设计需要，在其它可行的实施规则当中，当然也可以连接其它能够提供多维复杂查询服务的系统，从而将加工的标准数据导入到该系统中以制作得到数据仓库，本发明数据仓库的制作方法，并不对该预设业务系统的种类进行具体的限定。
50.205、基于数据仓库对实时数据和全量数据进行加工任务识别，得到目标数据处理任务；
51.具体的，服务器在将获取得到的实时数据以及统计的全量数据存储至到预设关系型数据库当中之后，根据实时接收到或者要周期执行的目标数据处理任务，从该预设关系
型数据库当中提取实时数据和与该实时数据相关的全量数据，来一起进行整合处理得到实时加工结果，然后同样的将该实时加工结果也基于所连接的预设业务系统的更新模式进行导出，以通过该预设业务系统对外提供查询服务。其中，预置的目标数据处理任务可以为基于实时接收到的用户基于实际需求而开发语句生成的数据处理任务，根据该目标数据处理任务的计算时效从预设关系型数据库当中提取对应实时数据或者全量数据进行即时或者周期性的数据处理处理得到实时加工结果并输出。此外，该计算时效为基于数据处理任务的复杂度以及自身的计算性能进行计算得到。
52.206、基于目标数据处理任务对实时数据和全量数据进行整合处理，得到实时加工结果。
53.可选的，服务器基于目标数据处理任务确定目标数据处理任务中的时间信息；服务器提取实时数据中与时间信息对应的全量实时数据，并从全量数据中提取时间信息对应的增量数据；服务器对全量实时数据和增量数据进行合并加工处理，得到全量实时数据和增量数据对应的实时加工结果。
54.具体的，服务器在接收到基于用户配置生成的目标数据处理任务时，解析该目标数据处理任务得到用户所配置的时间间隔，并将该时间间隔确定为该目标数据处理任务所携带用于指向要进行加工的数据的时间信息。在确定出目标数据处理任务所携带的时间信息之后，基于该时间信息和预设关系型数据库中实时数仓表和全量数仓表各自的表命名规则，确定该时间信息所对应的全量实时数据，以及该时间信息所对应的增量数据，然后，从该预设关系型数据库中提取出该全量实时数据和增量数据用于进行合并加工处理得到实时加工结果。
55.可选的，服务器检测实时数据是否完成预置的数仓操作，得到检测结果；服务器根据检测结果，对实时数据中的全量实时数据进行去重处理，得到全量实时数据；服务器根据时间信息从全量实时数据中提取增量数据。
56.具体地，服务器检测实时数据是否完成预置的数仓操作，得到检测结果，以更新规则将该es实时结果表导出到es系统以对外提供多维实时分析查询服务，其中，业务系统可以为es系统。服务器基于实际应用的不同设计需要，在其它可行的实施规则当中可以连接其它能够提供多维复杂查询服务的系统，服务器将加工的标准数据导入到该系统中以制作得到数据仓库。
57.进一步地，服务器将标准数据存储于区块链数据库中，具体此处不做限定。
58.本发明实施例中，从预置的应用程序中获取实时数据和全量数据，并将实时数据和全量数据存储至预置的关系型数据库；根据预置的参数配置从关系型数据库中读取待处理实时数据，从关系型数据库中读取待处理全量数据；基于预置的flink工具对待处理实时数据和待处理全量数据进行加工和整合，得到待处理实时数据和待处理全量数据对应的标准数据；根据标准数据和预置的业务系统创建标准数据对应的数据仓库，本发明通过flink工具实时构建数仓，构建的数仓可以对不同特性的数据进行存储，通过对实时数据和全量数据进行加工，降低了实时数据开发难度，提高了标准数据的处理效率，进而提高了数据仓库的创建效率。
59.上面对本发明实施例中数据处理方法进行了描述，下面对本发明实施例中数据处理装置进行描述，请参阅图3，本发明实施例中数据处理装置第一个实施例包括：
60.存储模块301，用于从预置的应用程序中获取实时数据和全量数据，并将所述实时数据和所述全量数据存储至预置的关系型数据库；
61.读取模块302，用于根据预置的参数配置从所述关系型数据库中读取待处理实时数据，以及从所述关系型数据库中读取待处理全量数据；
62.处理模块303，用于基于预置的flink工具对所述待处理实时数据和所述待处理全量数据进行加工和整合，得到所述待处理实时数据和所述待处理全量数据对应的标准数据；
63.创建模块304，用于根据所述标准数据和预置的业务系统创建所述标准数据对应的数据仓库。
64.进一步地，服务器将标准数据存储于区块链数据库中，具体此处不做限定。
65.本发明实施例中，从预置的应用程序中获取实时数据和全量数据，并将实时数据和全量数据存储至预置的关系型数据库；根据预置的参数配置从关系型数据库中读取待处理实时数据，从关系型数据库中读取待处理全量数据；基于预置的flink工具对待处理实时数据和待处理全量数据进行加工和整合，得到待处理实时数据和待处理全量数据对应的标准数据；根据标准数据和预置的业务系统创建所述标准数据对应的数据仓库，本发明通过flink工具实时构建数仓，构建的数仓可以对不同特性的数据进行存储，通过对实时数据和全量数据进行加工，降低了实时数据开发难度，提高了标准数据的处理效率，进而提高了数据仓库的创建效率。
66.请参阅图4，本发明实施例中数据处理装置第二个实施例包括：
67.存储模块301，用于从预置的应用程序中获取实时数据和全量数据，并将所述实时数据和所述全量数据存储至预置的关系型数据库；
68.读取模块302，用于根据预置的参数配置从所述关系型数据库中读取待处理实时数据，以及从所述关系型数据库中读取待处理全量数据；
69.处理模块303，用于基于预置的flink工具对所述待处理实时数据和所述待处理全量数据进行加工和整合，得到所述待处理实时数据和所述待处理全量数据对应的标准数据；
70.创建模块304，用于根据所述标准数据和预置的业务系统创建所述标准数据对应的数据仓库。
71.可选的，存储模块301具体用于：
72.从预置的应用程序中获取实时数据和全量数据；将所述实时数据按照预设数表规则存储至预置的关系型数据库；将所述全量数据按照所述预设数表规则存储至所述关系型数据库。
73.可选的，读取模块302具体用于：
74.从预置的参数数据库中查询参数配置；对所述参数配置和预置的实时表名规则进行比对，若所述参数配置与所述实时表名规则相对应，则从所述预设关系型数据库中读取实时数仓表上的实时数据作为待处理实时数据；对所述参数配置和预置的离线表名规则进行比对，若所述参数配置与所述离线表名规则相对应，则从所述预设关系型数据库中读取全量数仓表上的全量数据作为待处理全量数据。
75.可选的，创建模块304还包括：
76.识别单元3041，用于基于所述数据仓库对所述实时数据和所述全量数据进行加工任务识别，得到目标数据处理任务；
77.整合单元3042，用于基于所述目标数据处理任务对所述实时数据和所述全量数据进行整合处理，得到实时加工结果。
78.可选的，整合单元3042还包括：
79.配置子单元30421，用于基于所述目标数据处理任务确定所述目标数据处理任务中的时间信息；
80.提取子单元30422，用于提取所述实时数据中与所述时间信息对应的全量实时数据，并从所述全量数据中提取所述时间信息对应的增量数据；
81.加工子单元30423，用于对所述全量实时数据和所述增量数据进行合并加工处理，得到所述全量实时数据和所述增量数据对应的实时加工结果。
82.可选的，提取子单元30422具体用于：
83.检测所述实时数据是否完成预置的数仓操作，得到检测结果；根据所述检测结果，对所述实时数据中的全量实时数据进行去重处理，得到全量实时数据；根据所述时间信息从所述全量实时数据中提取增量数据。
84.进一步地，服务器将标准数据存储于区块链数据库中，具体此处不做限定。
85.本发明实施例中，从预置的应用程序中获取实时数据和全量数据，并将实时数据和全量数据存储至预置的关系型数据库；根据预置的参数配置从关系型数据库中读取待处理实时数据，从关系型数据库中读取待处理全量数据；基于预置的flink工具对待处理实时数据和待处理全量数据进行加工和整合，得到待处理实时数据和待处理全量数据对应的标准数据；根据标准数据和预置的业务系统创建所述标准数据对应的数据仓库，本发明通过flink工具实时构建数仓，构建的数仓可以对不同特性的数据进行存储，通过对实时数据和全量数据进行加工，降低了实时数据开发难度，提高了标准数据的处理效率，进而提高了数据仓库的创建效率。
86.上面图3和图4从模块化功能实体的角度对本发明实施例中的数据处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据处理设备进行详细描述。
87.图5是本发明实施例提供的一种数据处理设备的结构示意图，该数据处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在数据处理设备500上执行存储介质530中的一系列指令操作。
88.数据处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图5示出的数据处理设备结构并不构成对数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
89.本发明还提供一种数据处理设备，所述数据处理设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述数据处理方法的步骤。
90.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据处理方法的步骤。
91.进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
92.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
93.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
94.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
95.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。