一种基于两阶段预测模型的函数资源开销评估系统及方法
本发明涉及无服务器边缘计算,特别是一种基于两阶段预测模型的函数资源开销评估系统及方法。
背景技术:
1、无服务器计算(serverless computing)作为一种轻量且易于管理的新兴应用部署模式,允许开发人员专注于业务逻辑代码的编写,而无需关心底层基础设施的配置与管理。云提供商负责自动分配、扩展和管理服务器资源。随着边缘计算的兴起,无服务器边缘计算应运而生,它结合了无服务器和边缘计算的优势,使函数能够在数据源附近执行,极大地降低了数据传输延迟,适用于实时分析和物联网(iot)应用。
2、然而,边缘计算平台面临计算资源有限与iot设备数据爆发式增长的矛盾。为了实现高效的资源利用,准确评估函数的资源开销(cpu和内存)至关重要。现有的资源评估方法主要分为两类:
3、基于历史数据的方法:依赖函数过往的执行数据建立性能模型。这类方法无法解决冷启动问题,即新提交的函数缺乏历史数据,导致无法准确预测。
4、基于采样的方法:通过遍历、贝叶斯优化或tpe等方法选择采样点,真实执行函数以收集数据。这种方法虽然有效,但每次采样都需要消耗真实的算力资源。在资源受限的边缘平台,尤其是在最差情况下可能需要上百次采样,这带来了极大的性能开销和成本浪费。
5、此外,现有技术往往只关注内存开销,忽视了cpu资源对性能的重要影响,无法有效应对cpu密集型或内存密集型函数的异构需求。针对dnn类函数,现有技术通常将整个模型视为黑盒,忽略了不同层(如卷积层、池化层)对资源需求的差异性,导致预测误差累积。
6、因此,亟需一种无需多次采样、能够同时考虑cpu和内存、并能适应新函数和dnn层异构特性的资源开销评估方法。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于两阶段预测模型的函数资源开销评估系统及方法,本发明无需多次采样执行函数,即可将预测误差控制在5%以内,解决了现有方法采样成本高、忽视cpu影响及dnn层误差累积的问题,显著提升了边缘平台下函数资源分配的准确性和效率。
2、为实现上述目的,本发明采用如下技术方案:一种基于两阶段预测模型的函数资源开销评估系统,应用于无服务边缘平台,所述系统包括控制中心和多个边缘服务器;
3、所述控制中心被配置为执行以下步骤:
4、响应于用户提交的无服务函数及其服务等级目标slo约束,进入初始阶段:提取所述无服务函数的内部特征信息,将所述内部特征信息输入至基于随机森林回归算法构建的预测模型a,以预测所述无服务函数在特定资源开销方案下的执行时间;基于预测的执行时间,利用线性搜索策略生成满足slo的候选资源开销方案集,并根据预设的成本效益指标从候选方案集中确定初始资源开销方案;
5、进入优化阶段:获取所述无服务函数在所述初始资源开销方案下运行产生的运行时特征信息;将所述运行时特征信息输入至基于全连接神经网络构建的预测模型b,以预测所述无服务函数在所有资源开销方案下的执行时间;根据预测的所有执行时间,遍历所有资源开销方案,并根据所述成本效益指标确定最终的函数资源开销方案;
6、所述边缘服务器根据所述控制中心下发的初始资源开销方案和最终资源开销方案,分别为所述无服务函数创建并配置对应的函数实例容器。
7、在一较佳的实施例中,所述运行时特征信息通过部署于边缘服务器上的监控系统采集;所述监控系统包括函数包装器、主容器、伴生容器和共享数据库;
8、所述函数包装器用于在原有函数代码前后增加交互代码,用于通知伴生容器开始和结束监听;
9、所述伴生容器部署于与主容器相同的pod中,用于从/proc虚拟文件系统读取主容器内函数执行过程中的资源消耗数据,并将所述资源消耗数据作为运行时特征信息写入共享数据库;
10、所述控制中心从所述共享数据库同步所述运行时特征信息并进行稳定性过滤。
11、在一较佳的实施例中,所述无服务函数包括java类方法函数和深度学习dnn函数;
12、对于java类方法函数,所述内部特征信息包括:方法内总语句数、分支语句占比、方法可执行路径数、分支嵌套层级数以及内部方法调用次数;
13、对于dnn函数,按层类型提取内部特征信息,所述层类型至少包括归一化层、卷积层、激活层、池化层和全连接层;其中,卷积层的内部特征至少包括输入数据尺寸、输入通道数、输出通道数、卷积核尺寸、滑动步长和边缘填充尺寸。
14、本发明还提供了一种基于两阶段预测模型的函数资源开销评估方法,基于所述的一种基于两阶段预测模型的函数资源开销评估系统,包括以下步骤:
15、初始阶段:响应于接收到用户提交的无服务函数及其slo约束,提取所述无服务函数的内部特征信息;将所述内部特征信息与预设的资源开销方案输入至预测模型a,预测所述无服务函数在所述预设的资源开销方案下的执行时间;基于预测的执行时间,通过线性搜索算法生成满足slo的候选资源开销方案集;根据所述成本效益指标从所述候选方案集中选择初始资源开销方案,所述成本效益指标表征资源增量与执行时间缩短程度的比率;
16、部署阶段:根据所述初始资源开销方案,在边缘服务器上创建并配置对应的函数实例容器;
17、优化阶段:收集所述无服务函数在运行过程中的运行时特征信息;将所述运行时特征信息输入至预测模型b,预测所述无服务函数在所有资源开销方案下的执行时间;根据预测的所有执行时间,遍历所有资源开销方案,并根据所述成本效益指标确定最终的函数资源开销方案。
18、在一较佳的实施例中,所述预测模型a的训练过程包括:
19、构建训练数据集,所述训练数据集包含多种类型的无服务函数在多种资源开销方案下的内部特征信息及对应的实际执行时间;
20、采用随机森林回归算法构建预测模型a,并对预测模型a参数进行优化;所述参数包括决策树数量、每棵树考虑的特征数量、树的最大深度、内部节点最小样本分裂数和叶节点最小样本数;
21、所述预测模型a被配置为输入函数的内部特征信息和单一资源开销方案,输出该单一资源开销方案下的单一执行时间预测值。
22、在一较佳的实施例中,所述线性搜索算法具体包括:
23、从最低资源开销方案开始,在固定最低cpu核数的情况下,逐步增加内存大小,寻找满足slo的最小内存值;
24、在找到的最小内存值基础上,逐步增加cpu核数,并在每个cpu核数下,从高到低逐步减少内存大小,寻找满足slo的最小内存值;
25、将每一组满足slo的cpu核数与对应的最小内存值组合作为候选资源开销方案,生成候选资源开销方案集。
26、在一较佳的实施例中,所述运行时特征信息的收集步骤包括:
27、在函数执行前,通过包装器代码触发伴生容器开始监听;
28、伴生容器从linux系统的/proc文件系统中读取进程的资源消耗数据,所述资源消耗数据至少包括:执行时间、cpu核数、内存大小、用户态执行时间、内核态执行时间、主动上下文切换次数、被动上下文切换次数、最大驻留集大小、交换区使用量、缺页中断次数、磁盘读写字节数以及网络收发字节数;
29、在函数执行完毕后,通过包装器代码触发伴生容器停止监听,并将采集的数据存入共享数据库。
30、在一较佳的实施例中,所述预测模型b的训练过程包括:
31、构建训练数据集,所述训练数据集包含多种类型的无服务函数在多种资源开销方案下的运行时特征信息及对应的在所有资源开销方案下的执行时间向量;
32、采用全连接神经网络fcnn构建预测模型b,利用网格搜索法确定预测模型b超参数;所述超参数包括优化器类型、损失函数类型、迭代周期数、每层神经元数量、l2正则化项和网络层数;
33、所述预测模型b被配置为输入函数在某一资源开销方案下的运行时特征信息,输出该函数在所有资源开销方案下的执行时间预测向量。
34、在一较佳的实施例中,所述成本效益指标的值为所增加使用的资源开销与执行时间的缩短程度之间的比率,量化为:
35、(1)
36、其中,是在所有候选方案中对应的最长执行时间,是归一化操作,目的在于将cpu和内存的大小标准化为0到1之间的值;为配置的成本效益指标,为在配置下函数的执行时间,和分别表示为配置下分配给函数的cpu和内存大小;
37、每个函数最终确认的资源开销方案表示为,其中为函数最终确认的资源开销方案,和分别表示最终确认分配给函数的cpu和内存大小;包括cpu和内存大小,即为所有候选方案中具有最高成本效益值的方案,计算为:
38、(2)
39、其中,为函数所有的候选配置方案,为函数的第个配置方案;
40、所述最终的函数资源开销方案为所有候选方案中使得ce值最大的方案。
41、在一较佳的实施例中,还包括成本监控步骤:
42、为所述伴生容器分配预设的固定资源开销,所述预设的固定资源开销包括0.2个cpu核和35mb内存;
43、统计由于部署所述监控系统和函数包装器所带来的额外资源消耗,确保所述额外资源消耗相对于函数实例本身的资源开销可忽略不计。
44、与现有技术相比,本发明具有以下有益效果:
45、1.通过静态特征分析和运行时特征优化,避免了传统方法所需的成百上千次真实采样执行,极大降低了评估成本,特别适合资源受限的边缘平台。
46、2.实验证明,初始阶段模型a的r2值可达0.99以上;优化阶段模型b的r2值可达0.9994,平均绝对百分比误差(ape)控制在5%以内。
47、3.通过区分java函数和dnn不同层类型的特征提取,能够精准捕捉cpu密集型和内存密集型函数的特性,解决了传统方法一刀切配置导致的资源浪费或性能不足问题。
48、4.设计的监控系统仅需为伴生容器分配0.2核cpu和35mb内存,对主函数性能的影响微乎其微(微秒级时延),实现了性能与开销的最佳平衡。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com