一种数据处理方法、装置、服务器和介质与流程

技术特征：
1.一种数据处理方法，应用于flink数据处理平台，其特征在于，包括：当接收到至少一个数据处理任务启动指令时，识别各数据处理任务启动指令中的数据处理任务标识；根据所述数据处理任务标识分别读取各数据处理任务对应的数据处理参数；分别将每一个所述数据处理任务对应的数据处理参数代入至预设通用数据处理业务代码中，并执行参数代入后的预设通用数据处理业务代码，完成数据处理任务。2.根据权利要求1所述的方法，其特征在于，所述预设通用数据处理业务代码包括动态配置代码段，所述分别将每一个所述数据处理任务对应的数据处理参数代入至预设通用数据处理业务代码中，包括：针对每一个所述数据处理任务，将所述数据处理任务对应的数据处理参数作为实际参数传入到所述动态配置代码段中形式参数的参数位置，以取代形式参数。3.根据权利要求1或2所述的方法，其特征在于，所述数据处理业务包括数据源接入任务，所述数据处理参数包括数据源类型、数据源连接标识、数据改表输出类型、输出参数、数据单表字段、数据算子名称及算子并行数量中的至少一项。4.根据权利要求3中所述的方法，其特征在于，所述执行参数代入后的预设通用数据处理业务代码，完成数据处理任务，包括：根据所述数据源连接标识连接对应的数据源类型的数据源，并获取所述数据源发出的第一数据表；提取出所述第一数据表中，所述数据单表字段对应的数据，并根据所述数据算子名称对应的算子方法对所述数据单表字段对应的数据进行处理；将经过算子处理的数据依据所述输出参数进行输出并保存，得到第二数据表，完成数据处理任务，其中，所述输出参数包括输出数据库标识、所述第二数据表的索引名和标题。5.根据权利要求4所述的方法，其特征在于，还包括：根据所述算子并行数，启动对应数目的flink任务线程，以使启动的各flink任务线程并行执行参数代入后的预设通用数据处理业务代码，完成数据处理任务。6.根据权利要求3所述的方法，其特征在于，所述预设通用数据处理业务代码还包括静态代码段，所述静态代码段包括数据源接入任务对应的通用操作类执行代码。7.根据权利要求1或2所述的方法，其特征在于，所述数据处理参数是预先被配置，并以json格式保存在缓存空间中的。8.一种数据处理装置，配置于flink数据处理平台，其特征在于，包括：任务识别模块，用于当接收到至少一个数据处理任务启动指令时，识别各数据处理任务启动指令中的数据处理任务标识；参数获取模块，用于根据所述数据处理任务标识分别读取各数据处理任务对应的数据处理参数；任务执行模块，用于分别将每一个所述数据处理任务对应的数据处理参数代入至预设通用数据处理业务代码中，并执行参数代入后的预设通用数据处理业务代码，完成数据处理任务。9.一种服务器，其特征在于，所述服务器包括：一个或多个处理器；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1
‑
7中任一所述的数据处理方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1
‑
7中任一所述的数据处理方法。

技术总结
本发明实施例公开了一种数据处理方法、装置、服务器和介质，其中，方法包括：当接收到至少一个数据处理任务启动指令时，识别各数据处理任务启动指令中的数据处理任务标识；根据数据处理任务标识分别读取各数据处理任务对应的数据处理参数；分别将每一个数据处理任务对应的数据处理参数代入至预设通用数据处理业务代码中，并执行参数代入后的预设通用数据处理业务代码，完成数据处理任务。本实施例的技术方案解决了执行多个同类别的数据处理任务时，要为每一个任务开发一个无需参数配置的程序包，导致程序开发工作量大，且过多的程序包占用内存问题，实现了基于通用数据处理业务代码进行参数的动态配置，减小了程序开发工作量及存储空间的占用。及存储空间的占用。及存储空间的占用。


技术研发人员：吕智文
受保护的技术使用者：北京京东振世信息技术有限公司
技术研发日：2021.03.09
技术公布日：2021/12/6