数据处理方法、装置、设备及介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：容器编排器调整数据处理容器的数量和数据生产容器中卡夫卡流数据处理平台中源头主题的分区数量，并且使得所述分区数量和数据处理容器的数量相同；所述卡夫卡流数据处理平台中的生产者将获取到的原始业务数据写入所述源头主题的不同分区中，得到分区数据；每个所述数据处理容器从所述源头主题中获取不同分区的所述分区数据；所述数据处理容器根据配置的卡夫卡流式数据处理库对所述分区数据进行处理，得到目标业务数据，并将所述目标业务数据存入所述卡夫卡流数据处理平台的目标主题中。2.根据权利要求1所述的方法，其特征在于，每个所述数据处理容器从所述源头主题中获取不同分区的所述分区数据，包括：对于每个数据处理容器，所述数据处理容器获取所述源头主题中的所有分区数据；对于每条分区数据，若所述分区数据的哈希值除以所述分区数量的余数不等于所述数据处理容器对应的分区号，则将所述分区数据删除。3.根据权利要求1所述的方法，其特征在于，每个所述数据处理容器从所述源头主题中获取不同分区的所述分区数据，包括：对于每个数据处理容器，根据所述数据处理容器对应的分区号，所述数据处理容器获取所述分区号对应分区中的所述分区数据。4.根据权利要求1至3任一项所述的方法，其特征在于，所述卡夫卡流数据处理平台中的生产者将获取到的原始业务数据写入所述源头主题的不同分区中，得到分区数据，包括：对于所述生产者获取到的每条原始业务数据，根据所述原始业务数据的哈希值和所述分区数量，确定分区号；将所述原始业务数据写入所述源头主题中所述分区号对应的分区中，得到所述分区数据。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述卡夫卡流数据处理平台的消费者获取所述目标主题，并将所述目标主题中的目标业务数据存入数据库，所述消费者配置在数据存储容器中。6.一种数据处理装置，其特征在于，包括：编排模块，用于通过容器编排器调整数据处理容器的数量和数据生产容器中卡夫卡流数据处理平台中源头主题的分区数量，并且使得所述分区数量和数据处理容器的数量相同；存储模块，用于通过所述卡夫卡流数据处理平台中的生产者将获取到的原始业务数据写入所述源头主题的不同分区中，得到分区数据；获取模块，用于通过每个所述数据处理容器从所述源头主题中获取不同分区的所述分区数据；处理模块，用于通过所述数据处理容器根据配置的卡夫卡流式数据处理库对所述分区数据进行处理，得到目标业务数据，并将所述目标业务数据存入所述卡夫卡流数据处理平台的目标主题中。7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：对于每个数据处理容器，所述数据处理容器获取所述源头主题中的所有分区数据；
对于每条分区数据，若所述分区数据的哈希值除以所述分区数量的余数不等于所述数据处理容器对应的分区号，则将所述分区数据删除。8.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：对于每个数据处理容器，根据所述数据处理容器对应的分区号，所述数据处理容器获取所述分区号对应分区中的所述分区数据。9.根据权利要求6至8任一项所述的装置，其特征在于，所述存储模块，具体用于：对于所述的生产者获取到的每条原始业务数据，根据所述原始业务数据的哈希值和所述分区数量，确定分区号；将所述原始业务数据写入所述源头主题中所述分区号对应的分区中，得到所述分区数据。10.根据权利要求9所述的装置，其特征在于，所述存储模块，还用于：通过所述卡夫卡流数据处理平台的消费者获取所述目标主题，并将所述目标主题中的目标业务数据存入数据库，所述消费者配置在数据存储容器中。11.一种电子设备，其特征在于，包括：处理器，存储器，通信接口；所述存储器用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至5任一项所述的数据处理方法。12.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的数据处理方法。

技术总结
本申请实施例提供的数据处理方法、装置、设备及介质，容器编排器调整源头主题的分区数量和数据处理容器的数量，并且分区数量和数据处理容器的数量相同。卡夫卡流数据处理平台中的生产者将原始业务数据写入源头主题的不同分区中，每个数据处理容器获取对应的分区中的原始数据进行处理，得到目标业务数据，并存入目标主题中。本方案通过调整源头主题的分区数量和数据处理容器的数量，实现了调节流数据处理平台处理数据的数据量，不需要停止流数据处理平台的运行，有效提高了数据处理的效率。有效提高了数据处理的效率。有效提高了数据处理的效率。


技术研发人员：杨怀宁 张明佳 罗贤魁 张勍 冯毅
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：2022.08.15
技术公布日：2022/11/15