一种基于分布式消息队列的用户权益数据处理方法与流程

技术特征：
1.一种基于分布式消息队列的用户权益数据处理方法，其特征在于，所述方法包括如下步骤：遍历从数据库的用户信息数据，所述用户信息数据包括用户标识数据和用户权益数据；获取预设提取数量的所述用户标识数据，并将所述用户标识数据逐个推入消息队列；根据所述消息队列中的用户标识数据，生成消息并记录所述消息数量，所述消息数量与所述用户标识数据数量对应；根据所述消息，通过查询主数据库数据，获取所述用户标识数据所对应的所述用户权益数据，所述主数据库数据与所述从数据库数据为实时同步状态；启用应用对所述用户权益数据进行处理，所述应用均配置有多个消费者；当所述用户权益数据处理完毕后，更新所述主数据库内对应的所述用户信息数据并释放所述消息队列中的对应消息；检测当前所述消息队列中的消息数量，若所述消息数量未超出预设的待处理消息数量，则重复执行获取预设提取数量的所述用户标识数据，并将所述用户标识数据逐个推入消息队列的操作。2.根据权利要求1所述的一种基于分布式消息队列的用户权益数据处理方法，其特征在于，检测当前所述消息队列中的消息数量后，还包括如下步骤：若所述消息数量超出预设的待处理消息数量，则暂停获取预设提取数量的所述用户标识数据的动作并休眠指定时间，所述指定时间通过人工预设定。3.根据权利要求1所述的一种基于分布式消息队列的用户权益数据处理方法，其特征在于，还包括如下步骤：将所述用户标识数据逐个推入消息队列前，根据所述用户标识数据对所述用户信息数据进行排序；根据所述排序顺序及所述预设提取数量，获取所述用户标识数据并将所述用户标识数据逐个推入消息队列，并记录最后一个已被推入所述消息队列的所述用户标识数据；当需执行重复执行获取预设提取数量的所述用户标识数据的动作时，查询所述被记录用户标识数据；根据所述被记录用户标识数据及所述排序顺序，重复获取预设提取数量的所述用户标识数据。4.根据权利要求3所述的一种基于分布式消息队列的用户权益数据处理方法，其特征在于，将所述用户标识数据逐个推入消息队列前，还包括如下步骤：根据所述用户标识数据，识别该用户标识数据所对应的用户权益数据是否为空；若所述用户权益数据为空，则不将所述用户标识数据推入所述消息队列，根据所述排序进行下一个用户标识数据的获取动作。5.根据权利要求3所述的一种基于分布式消息队列的用户权益数据处理方法，其特征在于，记录最后一个已被推入所述消息队列的所述用户标识数据后，还包括如下方法步骤：若所述被记录用户标识数据为所述排序顺序的最终用户标识数据，则结束查询，确认所述获取预设提取数量的所述用户标识数据的动作结束。6.根据权利要求5所述的一种基于分布式消息队列的用户权益数据处理方法，其特征
在于，根据所述用户标识数据对所述用户信息数据进行排序后，还包括如下方法步骤：根据所述排序顺序及所述预设提取数量，将所述用户信息数据分页，其中每页包括所述预设提取数量的用户信息数据；当需执行获取预设提取数量的所述用户标识数据的动作时，提取首页的所述用户标识数据，并根据所述首页的最后一条用户表述数据生成查询条件；当需执行重复获取预设提取数量的所述用户标识数据的动作时，根据所述查询条件，查询并提取所述查询条件下一页的所述用户标识数据。7.根据权利要求1所述的一种基于分布式消息队列的用户权益数据处理方法，其特征在于，启用应用对所述用户权益数据进行处理，具体包括如下步骤：获取用户信息数据中的指定信息，所述指定信息包括用户历史活动数据及注册时长；根据所述指定信息，通过预设的算法，计算得出所述用户权益数据。8.一种基于分布式消息队列的用户权益数据处理装置，其特征在于，包括：数据遍历模块，用于遍历从数据库的用户信息数据，所述用户信息数据包括用户标识数据和用户权益数据；数据提取模块，用于获取预设提取数量的所述用户标识数据，并将所述用户标识数据逐个推入消息队列；消息生成及记录模块，用于根据所述消息队列中的用户标识数据，生成消息并记录所述消息数量，所述消息数量与所述用户标识数据数量对应；权益数据获取模块，用于根据所述消息，通过查询主数据库数据，获取所述用户标识数据所对应的所述用户权益数据，所述主数据库数据与所述从数据库数据为实时同步状态；应用消费模块，用于启用应用对所述用户权益数据进行处理，所述应用均配置有多个消费者；数据更新及消息释放模块，用于当所述用户权益数据处理完毕后，更新所述主数据库内对应的所述用户信息数据并释放所述消息队列中的对应消息；消息数量检测模块，用于检测当前所述消息队列中的消息数量，若所述消息数量未超出预设的待处理消息数量，则重复执行获取预设提取数量的所述用户标识数据，并将所述用户标识数据逐个推入消息队列的操作。9.一种电子设备，其特征在于，包括：至少一个存储器以及至少一个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至7任一项所述的一种基于分布式消息队列的用户权益数据处理方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于分布式消息队列的用户权益数据处理方法的步骤。

技术总结
本申请实施例公开了一种基于分布式消息队列的用户权益数据处理方法、装置、电子设备及存储介质，通过按照用户标识分页遍历用户数据，并提取指定数量的用户数据分批次推入消息队列，并实时检测当前队列中的消息数量，从而在获取用户信息数据阶段进行限速，避免将过多的计算任务推入消息队列，造成消息的生产端和消费端速度不匹配发生系统故障；同时通过分布式消息保证多个应用的多个消费者都在均等的条件下进行消费，避免出现消息过度集中的问题，将用户计算任务分摊到多个应用的多个消费者，避免了耗时的任务过度集中，最大限度提高了资源利用率完成计算任务。了资源利用率完成计算任务。了资源利用率完成计算任务。


技术研发人员：谢方敏 周峰 郭陟 周鉴信 蔡梓浩
受保护的技术使用者：广州方舟信息科技有限公司
技术研发日：2022.07.27
技术公布日：2022/11/15