一种基于多级队列的任务处理方法及系统

技术特征：
1.一种基于多级队列的任务处理方法，其特征在于，包括：获取一个时间周期内的线程并进行映射，得到线程的初始优先级和数据量；将数据量小于预设数据量阈值的线程划分至一个单级队列，将数据量大于预设数据量阈值的线程按照其初始优先级划分至多级队列中排序好的各队列；在多级队列中的队列中将线程按照其数据量和初始优先级进行排序；先处理单级队列中线程的任务，再按照多级队列中的队列排序进行队列中线程的任务处理，完成任务处理，在多级队列中的队列中按照所述线程的排序进行处理。2.根据权利要求1所述的一种基于多级队列的任务处理方法，其特征在于，所述线程通过以下方法得到：抓取一个时间周期内连接至服务器的所有线程和等待队列中的所有线程，得到待处理的所有线程。3.根据权利要求1所述的一种基于多级队列的任务处理方法，其特征在于，对线程进行映射，包括：初始化一个hashmap对线程进行映射，得到线程的队列号、初始优先级和数据量。4.根据权利要求1所述的一种基于多级队列的任务处理方法，其特征在于，所述数据量阈值通过以下方法计算得到：hold＝len/(2n)其中，hold为数据量阈值，len为所有线程的数据量的总和，n为线程的数量。5.根据权利要求3所述的一种基于多级队列的任务处理方法，其特征在于，在多级队列中的队列中将线程按照其数据量和初始优先级进行排序，包括：通过公式xi＝di*pi计算各线程的优先量，其中，xi为线程i的优先量，di为线程i的数据量，pi为线程i的初始优先级；按照优先量从小到大的顺序将线程在多级队列中的队列中排序；对排序完成后的线程进行队列号的更新。6.根据权利要求1所述的一种基于多级队列的任务处理方法，其特征在于，处理单级队列中线程的任务，包括使用shirt job first算法对单级队列中的任务进行处理，所述shirt job first算法的规则为优先处理数据量小的任务。7.根据权利要求4所述的一种基于多级队列的任务处理方法，其特征在于，还包括设定一个单级队列和包含个队列的多级队列的步骤，其中，n是线程的数量。8.根据权利要求1所述的一种基于多级队列的任务处理方法，其特征在于，还包括设定一个待处理队列的步骤，以及将一个时间周期内任务未处理完的线程放入所述待处理队列的步骤。9.一种基于多级队列的任务处理系统，其特征在于，包括：获取模块：用于获取一个时间周期内的线程并进行映射，得到线程的初始优先级和数据量；划分模块：用于将数据量小于预设数据量阈值的线程划分至一个单级队列，将数据量大于预设数据量阈值的线程按照其初始优先级划分至多级队列中排序好的各队列；排序模块：用于在多级队列中的队列中将线程按照其数据量和初始优先级进行排序；
处理模块：用于先处理单级队列中线程的任务，再按照多级队列中的队列排序进行队列中线程的任务处理，完成任务处理，在多级队列中的队列中按照所述线程的排序进行处理。

技术总结
本发明公开了一种基于多级队列的任务处理方法及系统，属于任务调度和数据处理技术领域，所述方法包括：获取一个时间周期内的线程并进行映射，得到线程的初始优先级和数据量；将数据量小于预设数据量阈值的线程划分至一个单级队列，将数据量大于预设数据量阈值的线程按照其初始优先级划分至多级队列中排序好的各队列；在多级队列中的队列中将线程按照其数据量和初始优先级进行排序；先处理单级队列中线程的任务，再按照多级队列中的队列排序进行队列中线程的任务处理，完成任务处理，在多级队列中的队列中按照所述线程的排序进行处理；减少线程切换的问题，减轻了分组的开销和切换频繁问题，加快了任务的处理速度。加快了任务的处理速度。加快了任务的处理速度。


技术研发人员：倪晓军 庞子皓
受保护的技术使用者：南京邮电大学
技术研发日：2022.03.25
技术公布日：2022/8/5