一种基于AI的CDN节点智能调度方法及系统与流程
本技术涉及网络,具体而言,涉及一种基于ai的cdn节点智能调度方法及系统。
背景技术:
1、内容分发网络(content delivery network,cdn)是一种通过在不同区域部署边缘节点,将网站内容、视频资源、图片文件、软件安装包等网络内容缓存至距离用户更近的节点,从而提高用户访问速度、降低源站压力的网络服务架构。在用户发起访问请求时,cdn调度系统通常需要根据用户所在区域、运营商类型、节点负载、链路质量以及目标内容缓存位置等因素,从多个cdn节点中选择合适的节点响应用户请求。
2、现有cdn节点调度方式多采用静态区域解析、固定权重分配、轮询调度或基于当前负载、当前延迟的简单调度策略。上述方式在网络环境相对稳定、用户访问量变化较小的情况下能够满足基本调度需求。但是,随着视频点播、直播、短视频、大文件下载等业务快速增长,用户请求具有明显的突发性和区域集中性,目标内容的访问热度也可能在短时间内快速升高。此时,如果仍然仅依据节点当前负载或当前链路质量进行调度,容易将大量请求持续分配至当前响应较快但未来即将过载的cdn节点,导致节点拥塞、响应延迟升高、请求失败率增加等问题。
3、因此,亟需提供一种基于ai的cdn节点智能调度方法及系统,能够综合考虑节点运行状态、链路质量、用户请求特征以及内容访问变化情况,并通过预测响应时间、节点负载趋势和内容热度趋势,提前识别热点访问引发的未来拥塞风险,动态修正cdn节点调度优先级,从而降低用户访问延迟、均衡节点负载并提升cdn整体服务效率。
技术实现思路
1、本技术的主要目的在于提供一种基于ai的cdn节点智能调度方法及系统,以解决传统cdn节点调度依赖静态规则或当前状态指标,难以及时应对内容热度突增、节点负载快速变化及网络环境动态波动的技术问题。
2、为了实现上述目的,根据本技术的一个方面,提供了一种基于ai的cdn节点智能调度方法及系统。
3、根据本技术的基于ai的cdn节点智能调度方法,包括如下步骤:
4、s1、采集cdn网络中的节点运行数据、链路质量数据、用户请求数据以及内容访问数据,并生成对应用户请求的调度特征向量;
5、s2、根据用户请求的来源区域、运营商类型、目标内容缓存位置以及cdn节点可用状态,筛选得到候选cdn节点集合;
6、s3、将调度特征向量输入训练好的ai预测模型,得到各候选cdn节点的预测响应时间、预测负载趋势以及目标内容在用户来源区域内的预测热度趋势;
7、s4、根据预测响应时间、预测负载趋势、预测热度趋势以及链路质量数据,计算各候选cdn节点的初始调度评分;
8、s5、根据预测热度趋势确定预测热度增长值,根据预测负载趋势确定预测负载增长斜率;当预测热度增长值超过内容热度增长阈值,且预测负载增长斜率超过负载增长阈值时,判定对应候选cdn节点存在未来拥塞风险;
9、s6、对存在未来拥塞风险的候选cdn节点进行评分衰减,得到修正调度评分;
10、s7、根据修正调度评分确定目标cdn节点,并将用户请求调度至目标cdn节点;
11、s8、采集实际响应数据,并根据实际响应数据对ai预测模型进行更新。
12、进一步的,节点运行数据包括:cdn节点的cpu占用率、内存占用率、磁盘i/o状态、缓存命中率、并发连接数、当前请求处理量、剩余可用带宽以及请求队列积压长度;
13、链路质量数据包括:用户至cdn节点的网络延迟、丢包率、抖动值、历史响应时间以及链路可用性;
14、用户请求数据包括:用户所在区域、运营商类型、访问时间、请求内容类型、请求内容大小以及终端类型;
15、内容访问数据包括:内容标识、内容缓存位置、内容访问频次、内容更新频率以及区域访问分布。
16、进一步的,步骤s1中,生成对应用户请求的调度特征向量包括:
17、对节点运行数据、链路质量数据、用户请求数据以及内容访问数据进行数据清洗、异常数据剔除、归一化处理和时间窗口聚合处理;
18、根据处理后的数据生成节点负载特征、链路质量特征、用户访问特征、内容热度特征以及时间周期特征;
19、由节点负载特征、链路质量特征、用户访问特征、内容热度特征以及时间周期特征组成调度特征向量。
20、进一步的,ai预测模型包括:响应时间预测子模型、节点负载趋势预测子模型以及内容热度趋势预测子模型;
21、响应时间预测子模型用于输出各候选cdn节点对应的预测响应时间;
22、节点负载趋势预测子模型用于输出各候选cdn节点在预设时间窗口内的预测负载趋势;
23、内容热度趋势预测子模型用于输出目标内容在用户来源区域内的预测热度趋势。
24、进一步的,步骤s2中,筛选得到候选cdn节点集合包括:剔除处于故障、维护、离线或不可访问状态的cdn节点;
25、剔除链路质量数据不满足预设链路质量阈值的cdn节点;
26、剔除当前负载超过预设负载阈值的cdn节点;
27、将已缓存目标内容且满足预设链路质量阈值和预设负载阈值的cdn节点加入候选cdn节点集合。
28、进一步的,对于未缓存目标内容的cdn节点,计算该cdn节点获取目标内容所需的回源成本;
29、当回源成本低于预设回源成本阈值,且该cdn节点的剩余可用带宽高于预设带宽阈值时,将该cdn节点加入候选cdn节点集合;
30、当回源成本不低于预设回源成本阈值,或者该cdn节点的剩余可用带宽不高于预设带宽阈值时,将该cdn节点从候选cdn节点集合中剔除。
31、进一步的,步骤s4中,计算各候选cdn节点的初始调度评分包括:
32、根据预测响应时间生成响应评分,根据预测负载趋势生成负载评分,根据预测热度趋势生成内容热度匹配评分,根据链路质量数据生成链路评分;
33、将响应评分、负载评分、内容热度匹配评分以及链路评分进行加权处理,得到初始调度评分;
34、其中,预测响应时间越短,响应评分越高;预测负载增长斜率越低,负载评分越高;候选cdn节点所在区域与目标内容预测热度升高区域越匹配,内容热度匹配评分越高;网络延迟、丢包率和抖动值越低,链路评分越高。
35、进一步的,步骤s6中,对存在未来拥塞风险的候选cdn节点进行评分衰减包括:根据各候选cdn节点的初始调度评分形成初始排序;
36、对存在未来拥塞风险的候选cdn节点按照预设衰减系数降低其初始调度评分,得到修正调度评分;
37、当初始排序第一的候选cdn节点存在未来拥塞风险时,使该候选cdn节点的修正调度评分低于至少一个不存在未来拥塞风险的候选cdn节点的修正调度评分。
38、进一步的,步骤s8中,实际响应数据包括:实际响应时间、实际节点负载变化、实际内容访问量、实际链路质量、缓存命中结果以及请求成功率;
39、根据实际响应时间与预测响应时间之间的差值生成响应时间偏差;
40、根据实际节点负载变化与预测负载趋势之间的差值生成负载趋势偏差;
41、根据实际内容访问量与预测热度趋势之间的差值生成热度趋势偏差;
42、根据响应时间偏差、负载趋势偏差以及热度趋势偏差生成模型更新样本,并利用模型更新样本对ai预测模型进行更新。
43、一种基于ai的cdn节点智能调度系统,包括:
44、数据处理模块,用于采集cdn网络中的节点运行数据、链路质量数据、用户请求数据以及内容访问数据,并生成对应用户请求的调度特征向量;
45、候选节点筛选模块,用于根据用户请求的来源区域、运营商类型、目标内容缓存位置以及cdn节点可用状态,筛选得到候选cdn节点集合;
46、ai预测模块,用于将调度特征向量输入训练好的ai预测模型,得到各候选cdn节点的预测响应时间、预测负载趋势以及目标内容在用户来源区域内的预测热度趋势;
47、初始评分模块,用于根据预测响应时间、预测负载趋势、预测热度趋势以及链路质量数据,计算各候选cdn节点的初始调度评分;
48、风险判断模块,用于根据预测热度趋势确定预测热度增长值,根据预测负载趋势确定预测负载增长斜率,并在预测热度增长值超过内容热度增长阈值且预测负载增长斜率超过负载增长阈值时,判定对应候选cdn节点存在未来拥塞风险;
49、评分修正模块,用于对存在未来拥塞风险的候选cdn节点进行评分衰减,得到修正调度评分;
50、请求调度模块,用于根据修正调度评分确定目标cdn节点,并将用户请求调度至目标cdn节点;
51、模型更新模块,用于采集实际响应数据,并根据实际响应数据对ai预测模型进行更新。
52、在本技术实施例中,采用基于ai预测模型的cdn节点动态调度方式,通过采集节点运行数据、链路质量数据、用户请求数据以及内容访问数据生成调度特征向量,并利用ai预测模型获得各候选cdn节点的预测响应时间、预测负载趋势以及目标内容在用户来源区域内的预测热度趋势,再结合预测热度增长值与预测负载增长斜率判断候选cdn节点是否存在未来拥塞风险,并对存在未来拥塞风险的候选cdn节点进行评分衰减,达到了在用户请求调度前提前识别即将过载节点并动态修正节点调度优先级的目的,从而实现了降低用户访问延迟、减少热点内容访问造成的节点拥塞、提高cdn节点调度前瞻性和负载均衡能力的技术效果,进而解决了传统cdn节点调度依赖静态规则或当前状态指标,难以及时应对内容热度突增、节点负载快速变化及网络环境动态波动的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com