数据处理方法、装置、计算机设备和存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括如下步骤：步骤102，创建用于数据处理的工作流，为工作流创建定时任务；步骤104，当定时任务启动时，执行所述工作流；所述工作流包括：步骤a：清空数据缓冲层ods的相关表和缓存数据层cache的相关表；步骤b：读取待导入数据文件中的数据并写入所述数据缓冲层ods；步骤c：将数据缓冲层ods的数据进行加工后写入所述缓存数据层cache；步骤e：将所述缓存数据层cache的数据写入全量数据层dw，数据缓冲层ods、缓存数据层cache、全量数据层dw分别是将数据库进行分层设计后的数据层。2.根据权利要求1所述的方法，其特征在于，所述步骤a之前包括：判断前置条件是否满足；若满足前置条件，则判断所述数据文件是否已存在；若已存在，则判断所述数据文件是否已执行；若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。3.根据权利要求2所述的方法，其特征在于，在所述数据文件中的数据是全量数据时，在所述步骤c和所述步骤e之间还包括：步骤d：清空全量数据层dw的相关表。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤f之后，包括：对所述全量数据层dw中的数据进行去重和/或折叠处理；移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；记录所述数据文件为已执行状态。5.根据权利要求1至4中任一项所述的方法，其特征在于，为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。6.一种数据处理装置，其特征在于，包括：创建单元，创建用于数据处理的工作流，为工作流创建定时任务；执行单元，当定时任务启动时，执行所述工作流；所述工作流包括：步骤a：清空数据缓冲层ods的相关表和缓存数据层cache的相关表；步骤b：读取待导入数据文件中的数据并写入所述数据缓冲层ods；步骤c：将数据缓冲层ods的数据进行加工后写入所述缓存数据层cache；步骤e：将所述缓存数据层cache的数据写入全量数据层dw，数据缓冲层ods、缓存数据层cache、全量数据层dw分别是将数据库进行分层设计后的数据层。7.根据权利要求6所述的数据处理装置，其特征在于，所述装置包括：所述步骤a之前包括：判断前置条件是否满足；若满足前置条件，则判断所述数据文件是否已存在；
若已存在，则判断所述数据文件是否已执行；若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。8.根据权利要求7所述的数据处理装置，其特征在于，在所述数据文件中的数据是全量数据时，在所述步骤c和所述步骤e之间还包括：步骤d：清空全量数据层dw的相关表；所述步骤f之后，包括：对所述全量数据层dw中的数据进行去重和/或折叠处理；移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；记录所述数据文件为已执行状态。9.根据权利要求6至8中任一项所述的数据处理装置，其特征在于，所述创建单元为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。10.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至5中任一项所述的数据处理方法。11.一种存储介质，所述存储介质适于存储多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的数据处理方法。

技术总结
本发明属于计算机技术领域，具体提供一种数据处理方法、装置、计算机设备和存储介质，旨在解决在面对来自不同系统的大量数据需要进行导入工作时，需要人工对各个系统数据进行操作等问题。为此目的，本发明的方法包括：创建用于数据处理的工作流，为工作流创建定时任务；当定时任务启动时，执行所述工作流。应用本发明的方法，配置出一套完整的操作流作为任务，能通过定时器触发任务执行，从而提高数据导入的效率和准确性。的效率和准确性。的效率和准确性。


技术研发人员：靳立新 俞晓臣
受保护的技术使用者：广州云从洪荒智能科技有限公司
技术研发日：2021.07.12
技术公布日：2021/10/19