资源调度方法、电子设备及计算机可读存储介质与流程
本申请涉及资源管理,尤其涉及一种资源调度方法、电子设备及计算机可读存储介质。
背景技术:
1、语音ai(artificial intelligence,人工智能)推理服务已广泛部署于智能语音助手、实时翻译、会议转写等场景中,用户对语音交互的响应实时性要求不断提高,端到端延迟直接影响到最终用户的使用体验。
2、目前,语音ai推理服务普遍采用基于当前cpu(central processing unit,中央处理器)利用率、gpu(graphics processing unit,图形处理器)利用率或请求队列长度的反应式水平自动伸缩机制,当检测到资源负载超过设定阈值时触发扩容,将新增推理实例加入实例池以处理后续到达的推理请求。
3、然而,反应式扩缩容机制在检测到负载升高后才开始创建实例,而推理实例从创建到实际可服务需经历模型权重加载、推理引擎初始化和缓存填充等环节,在此期间新增实例无法立即处理请求,导致已到达的推理请求排队等待,响应延迟显著升高,尤其在流量突增场景下该延迟问题更为突出。因此,如何降低语音ai推理服务在流量突增场景下的响应延迟,已成为目前亟待解决的技术问题。
技术实现思路
1、本申请的主要目的在于提供一种资源调度方法、电子设备及计算机可读存储介质,旨在解决如何降低语音ai推理服务在流量突增场景下的响应延迟的技术问题。
2、为实现上述目的,本申请提供一种资源调度方法,资源调度方法包括以下步骤:
3、获取语音推理服务的负载特征数据,并根据负载特征数据对未来时间片的请求量进行预测,获得预测请求量;
4、若预测请求量大于实例池的当前可用容量,则根据预测请求量计算所需实例数,按照所需实例数创建推理实例并执行预热操作,其中,预热操作包括模型权重加载、推理引擎初始化和缓存填充;
5、将预热后的推理实例加入实例池,以为后续到达的语音推理请求预先调度处理资源。
6、此外,为实现上述目的,本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上述资源调度方法的步骤。
7、此外,为实现上述目的,本申请还提供一种可读存储介质,可读存储介质为计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行以实现如上方法的步骤。
8、本申请还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述方法的步骤。
9、本申请提出的一个或多个技术方案,至少具有以下技术效果:
10、本申请实施例通过获取语音推理服务的负载特征数据并预测未来时间片的请求量,能够提前感知流量突增趋势,从而在实例池容量不足时主动触发扩容准备,规避了传统方案中依赖负载阈值检测所引入的响应滞后。在此基础上,进一步根据预测请求量计算所需实例数并提前创建推理实例,同时执行涵盖模型权重加载、推理引擎初始化及缓存填充在内的预热操作,这使得新增实例在正式加入实例池之前便已完成耗时的初始化过程,就绪阶段被整体前置到流量实际到达之前。当经过完整预热的推理实例最终被加入实例池后,其已具备即时处理请求的条件,后续突发流量所对应的语音推理请求到达时,实例池能够即刻提供已就绪的计算资源进行调度处理,请求链路中因等待实例启动、引擎加载或缓存填充而产生的阻塞环节减少,请求无需排队等待便可获得即时响应,从而降低了语音ai推理服务在流量突增场景下的响应延迟。
1.一种资源调度方法,其特征在于,所述资源调度方法包括以下步骤:
2.如权利要求1所述的资源调度方法,其特征在于,所述将预热后的所述推理实例加入所述实例池的步骤之后,还包括:
3.如权利要求2所述的资源调度方法,其特征在于,所述按照各所述推理请求的服务等级标识将各所述推理请求分配至所述高优先级资源池或所述低优先级资源池的步骤之后,还包括:
4.如权利要求1所述的资源调度方法,其特征在于,所述将预热后的所述推理实例加入所述实例池的步骤之后,还包括:
5.如权利要求1所述的资源调度方法,其特征在于,所述根据所述负载特征数据对未来时间片的请求量进行预测,获得预测请求量的步骤,包括:
6.如权利要求5所述的资源调度方法,其特征在于,所述将预热后的所述推理实例加入所述实例池的步骤之后,所述方法还包括:
7.如权利要求1所述的方法,其特征在于,所述按照所述所需实例数创建推理实例并执行预热操作的步骤,包括:
8.根据权利要求7所述的方法,其特征在于,所述根据模型加载耗时、实例启动时间和历史预热耗时计算扩容提前量的步骤,包括:
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述资源调度方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述资源调度方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com