进程槽位处理方法和装置、存储介质及电子设备与流程
本技术涉及金融科技,具体而言,涉及一种进程槽位处理方法和装置、存储介质及电子设备。
背景技术:
1、随着分布式数据库在关键业务系统中的规模化应用,高并发查询与批量任务引发的资源争用问题日益凸显。在数据库等系统中,通常采用基于进程槽位(proc slot)的资源管理机制来限制并发连接数,例如,在金融机构某业务系统中,由于业务侧频繁使用smp并行查询(如指定query\_dop的sql hint),导致大量stream线程被创建(峰值可达1175个)。由于stream线程与线程池线程的槽位分配相互独立且固定,当并发stream线程数增加时,会迅速消耗预留的proc槽位。一旦超过系统配置的max\_connections限制或预留槽位上限,系统将因proc槽位耗尽而拒绝新的连接(如8001端口连接失败),进而导致全量备份等关键任务中止,引发业务中断。
2、针对相关技术中进程槽位分配灵活性比较低的技术问题,目前尚未提出有效的解决方案。
技术实现思路
1、本技术的主要目的在于提供一种进程槽位处理方法和装置、存储介质及电子设备,以解决相关技术中进程槽位分配灵活性比较低的技术问题。
2、为了实现上述目的,根据本技术的一个方面,提供了一种进程槽位处理方法。该方法包括:接收待处理的目标任务请求,并确定目标任务请求对应的流式线程数;基于流式线程数,确定目标任务请求对应的所需进程槽位数;若流式线程对应的剩余进程槽位数小于所需进程槽位数,则对流式线程对应的第一进程槽位总数,和/或,线程池线程对应的第二进程槽位总数进行优化;基于流式线程对应的优化后的剩余进程槽位数和所需进程槽位数,为目标任务请求分配进程槽位,以通过进程槽位执行目标任务请求。
3、进一步地,确定目标任务请求对应的流式线程数,包括:解析目标任务请求对应的结构化查询语句,以检测目标任务请求是否包括并行度提示符;若目标任务请求包括并行度提示符,则确定并行度提示符中的并行度数值和结构化查询语句中涉及的并行子操作数量;基于并行度数值和并行子操作数量进行计算,得到流式线程数。
4、进一步地,在接收待处理的目标任务请求之前,该方法还包括:基于当前系统的中心处理器的核数进行计算,得到线程池中的目标进程槽位总数;依据流式线程对应的预测槽位数,确定流式线程对应的进程槽位的初始分配比例值,并依据初始分配比例值和目标进程槽位总数,得到第一进程槽位总数;基于模拟测试,得到线程池线程对应的第二进程槽位总数,其中,第二进程槽位总数和第一进程槽位总数的总和小于目标进程槽位总数。
5、进一步地,对流式线程对应的第一进程槽位总数,和/或,线程池线程对应的第二进程槽位总数进行优化,包括:基于当前系统资源状态,确定分配优化策略;若分配优化策略为第一优化策略,则基于目标进程槽位总数,增大第一进程槽位总数;若分配优化策略为第二优化策略,则减小第二进程槽位总数,并将减少量添加到第一进程槽位总数中。
6、进一步地,基于目标进程槽位总数,增大第一进程槽位总数,包括:确定目标进程槽位总数未被分配线程类型的待分配进程槽位数;基于待分配进程槽位数,增大第一进程槽位总数。
7、进一步地,若基于待分配进程槽位数,增大第一进程槽位总数之后,该方法还包括:若增大后的第一进程槽位总数小于所需进程槽位数,则增大目标进程槽位总数,并将新增的进程槽位分配至流式线程。
8、进一步地,减小第二进程槽位总数,并将减少量添加到第一进程槽位总数中,包括:获取线程池线程对应的预设安全水位值;依据预设安全水位值进行计算,得到线程池线程对应的可减少量;基于可减少量释放第二进程槽位总数占用的进程槽位,并将释放的进程槽位分配至流式线程,以增大第一进程槽位总数。
9、进一步地,该方法还包括:基于当前系统的中心处理器的核数和预设线程池的最小比例系数进行计算,得到预设安全水位值;或者,获取数据库中配置的最小线程池参数值,基于最小线程池参数值,得到预设安全水位值。
10、为了实现上述目的,根据本技术的另一方面,提供了一种进程槽位处理装置。该装置包括:接收单元,用于接收待处理的目标任务请求,并确定目标任务请求对应的流式线程数;第一确定单元,用于基于流式线程数,确定目标任务请求对应的所需进程槽位数;优化单元,用于若流式线程对应的剩余进程槽位数小于所需进程槽位数,则对流式线程对应的第一进程槽位总数,和/或,线程池线程对应的第二进程槽位总数进行优化;分配单元,用于基于流式线程对应的优化后的剩余进程槽位数和所需进程槽位数,为目标任务请求分配进程槽位,以通过进程槽位执行目标任务请求。
11、进一步地,接收单元,包括:解析模块,用于解析目标任务请求对应的结构化查询语句,以检测目标任务请求是否包括并行度提示符;第一确定模块,用于若目标任务请求包括并行度提示符,则确定并行度提示符中的并行度数值和结构化查询语句中涉及的并行子操作数量;计算模块,用于基于并行度数值和并行子操作数量进行计算,得到流式线程数。
12、进一步地,该装置还包括:第一计算单元,用于在接收待处理的目标任务请求之前,基于当前系统的中心处理器的核数进行计算,得到线程池中的目标进程槽位总数;第二确定单元,用于依据流式线程对应的预测槽位数,确定流式线程对应的进程槽位的初始分配比例值,并依据初始分配比例值和目标进程槽位总数,得到第一进程槽位总数;第三确定单元,用于基于模拟测试,得到线程池线程对应的第二进程槽位总数,其中,第二进程槽位总数和第一进程槽位总数的总和小于目标进程槽位总数。
13、进一步地,优化单元,包括:第二确定模块,用于基于当前系统资源状态,确定分配优化策略;增大模块,用于若分配优化策略为第一优化策略,则基于目标进程槽位总数,增大第一进程槽位总数;减少模块,用于若分配优化策略为第二优化策略,则减小第二进程槽位总数,并将减少量添加到第一进程槽位总数中。
14、进一步地,增大模块,包括:确定子模块,用于确定目标进程槽位总数未被分配线程类型的待分配进程槽位数;增大子模块,用于基于待分配进程槽位数,增大第一进程槽位总数。
15、进一步地,该装置还包括:增大单元,用于若基于待分配进程槽位数,增大第一进程槽位总数之后,若增大后的第一进程槽位总数小于所需进程槽位数,则增大目标进程槽位总数,并将新增的进程槽位分配至流式线程。
16、进一步地,减少模块,包括:获取子模块,用于获取线程池线程对应的预设安全水位值;计算子模块,用于依据预设安全水位值进行计算,得到线程池线程对应的可减少量;释放子模块,用于基于可减少量释放第二进程槽位总数占用的进程槽位,并将释放的进程槽位分配至流式线程,以增大第一进程槽位总数。
17、进一步地,该装置还包括:第二计算单元,用于基于当前系统的中心处理器的核数和预设线程池的最小比例系数进行计算,得到预设安全水位值;或者,第四确定单元,用于获取数据库中配置的最小线程池参数值,基于最小线程池参数值,得到预设安全水位值。
18、为了实现上述目的,根据本技术的另一方面,本技术提供一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行上述的进程槽位处理方法。
19、为了实现上述目的,根据本技术的另一方面,本技术提供一种电子设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行上述的进程槽位处理方法。
20、在本技术实施例中,采用以下步骤:接收待处理的目标任务请求,并确定目标任务请求对应的流式线程数;基于流式线程数,确定目标任务请求对应的所需进程槽位数;若流式线程对应的剩余进程槽位数小于所需进程槽位数,则对流式线程对应的第一进程槽位总数,和/或,线程池线程对应的第二进程槽位总数进行优化;基于流式线程对应的优化后的剩余进程槽位数和所需进程槽位数,为目标任务请求分配进程槽位,以通过进程槽位执行目标任务请求,解决了相关技术中进程槽位分配灵活性比较低的技术问题。
21、在本技术中,接收待处理的目标任务请求并确定其对应的流式线程数,进而基于该流式线程数确定目标任务请求所需的进程槽位数,在判断流式线程对应的剩余进程槽位数小于所需进程槽位数时,对流式线程对应的第一进程槽位总数和/或线程池线程对应的第二进程槽位总数进行优化调整,使得优化后的剩余进程槽位数能够满足分配需求,从而基于优化后的剩余进程槽位数和所需进程槽位数为目标任务请求分配进程槽位以执行任务,通过这种动态计算需求并在资源不足时灵活调整槽位总数的机制,解决了相关技术中进程槽位分配灵活性比较低的问题,达到提升进程槽位分配的灵活性和资源利用率,确保目标任务请求能够顺利执行的效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com