一种融合大模型的CDN内容预分发方法及系统与流程
本技术涉及内容分发网络,具体而言,涉及一种融合大模型的cdn内容预分发方法及系统。
背景技术:
1、内容分发网络(contentdeliverynetwork,cdn)通过将内容缓存至靠近用户的边缘节点,使用户能够就近获取网络内容,从而降低源站访问压力、缩短内容响应时延并提升用户访问体验。随着视频直播、短视频、新闻资讯、在线活动和电商促销等业务快速发展,网络内容访问量呈现明显的突发性、区域性和时效性特征。例如,体育赛事开赛、影视剧上线、突发新闻传播、直播活动预热等场景中,相关内容可能在短时间内形成访问高峰。如果热点内容未能提前缓存至合适的边缘节点,则大量用户请求会集中回源或跨区域调度,容易造成源站压力升高、链路拥塞、访问时延增加以及用户播放卡顿等问题。
2、现有cdn通常采用内容预热或预分发方式,将可能被访问的内容提前分发至部分边缘节点。传统预分发策略多依赖历史访问日志、内容历史热度、人工配置的活动清单或业务方主动提交的预热任务进行判断。例如,系统可以根据某一内容在过去一段时间内的访问量、访问增长率、缓存命中率或回源次数,确定该内容是否需要预分发至边缘节点。该类方式对于已经形成访问趋势的热点内容具有一定效果,但对于尚未在cdn内部访问日志中形成明显访问峰值的新兴热点、突发热点或冷启动热点,往往存在感知滞后的问题。
3、在实际业务中,许多热点内容的传播苗头首先出现在cdn访问日志之外的外部信息空间中,例如新闻报道、社交平台话题、搜索关键词趋势、短视频标题、直播预告、赛事日程或活动公告等。传统cdn预分发系统通常难以对这些外部热点信息进行跨源语义理解,也难以将外部热点主题准确关联到cdn内容库中的具体内容。因此,即使某一内容已经具备潜在爆发趋势,cdn侧也可能因缺少访问统计数据而未及时进行预分发,导致预分发动作滞后于访问高峰。
4、此外,现有部分方案虽然引入了机器学习或人工智能模型对内容热度进行预测,但其预测对象通常仍然主要基于内容历史访问量、用户互动量、内容标签或平台内部行为数据,难以充分理解不同来源外部热点数据之间的语义关联关系。例如,多个新闻文本、社交话题和搜索关键词可能共同指向同一事件,但其表达方式、关键词形式和传播阶段并不完全一致,传统关键词匹配或简单统计模型难以准确识别其对应的统一热点主题。若仅根据关键词或历史访问量进行预分发决策,容易出现热点内容漏分发、误分发或预分发范围过大的问题。
5、因此,如何利用外部热点感知数据提前识别潜在热点主题,如何将外部热点主题准确映射至cdn内容库中的具体内容,如何在内容尚未形成cdn访问峰值之前识别冷启动热点状态,并结合边缘节点资源状态生成精细化、分级化的预分发策略,是当前cdn内容预分发技术中亟待解决的问题。
技术实现思路
1、本技术的主要目的在于提供一种融合大模型的cdn内容预分发方法,以解决传统cdn预分发策略主要依赖历史访问统计,难以及时捕捉新兴热点、突发热点及冷启动热点,导致预分发滞后、误分发和缓存资源利用率低的技术问题。
2、为了实现上述目的,根据本技术的一个方面,提供了一种融合大模型的cdn内容预分发方法及系统。
3、根据本技术的融合大模型的cdn内容预分发方法,包括如下步骤:
4、s1、采集外部热点感知数据和cdn内部运行数据;
5、s2、将外部热点感知数据输入大语言模型,由大语言模型对不同来源的热点感知数据进行跨源语义理解和语义聚合,生成结构化热点主题画像;结构化热点主题画像包括:主题关键词、关联实体、地域属性、预测爆发时间窗口、预测持续时间窗口、热度增长趋势和主题置信度;
6、s3、对cdn内容库中的内容进行语义特征提取,构建内容语义索引库;
7、s4、根据结构化热点主题画像与内容语义索引库之间的匹配关系,计算热点主题与cdn内容之间的候选内容匹配分值,并根据候选内容匹配分值确定候选预分发内容;
8、s5、根据候选预分发内容对应的外部热点趋势和cdn内部访问趋势,识别候选预分发内容是否处于冷启动热点状态;
9、s6、根据候选内容匹配分值、结构化热点主题画像、冷启动热点状态以及cdn内部运行数据,生成内容/区域/时间热度预测矩阵;
10、s7、根据内容/区域/时间热度预测矩阵以及边缘节点资源状态,计算候选预分发内容相对于边缘节点的预分发收益评分;
11、s8、根据预分发收益评分生成分级预分发策略,并按照分级预分发策略将对应候选预分发内容预分发至目标边缘节点。
12、进一步的,外部热点感知数据包括:新闻文本数据、社交平台话题数据、评论文本数据、搜索关键词趋势数据、短视频标题数据、直播预告数据、赛事日程数据、影视上线数据和活动公告数据中的一种或多种;
13、cdn内部运行数据包括:内容访问日志、用户请求地域、请求时间、访问频次、缓存命中率、回源次数、节点带宽占用率、节点缓存剩余容量、节点负载状态、链路时延、链路丢包率、内容大小、内容类型、内容发布时间、内容标签和内容历史访问生命周期中的一种或多种。
14、进一步的,在生成结构化热点主题画像时,大语言模型输出用于后续计算的热点主题画像字段;
15、热点主题画像字段还包括:主题标识、主题类型、对应内容类型、目标受众类型和传播阶段;主题类型包括:体育赛事、影视娱乐、社会新闻、游戏活动、电商促销、突发事件、直播活动和公众人物事件中的一种或多种;对应内容类型包括:直播流、点播视频、短视频切片、图文页面、新闻页面、图片资源、音频资源和静态页面资源中的一种或多种。
16、进一步的,构建内容语义索引库包括:
17、对于文本类内容,提取标题、摘要、正文关键词、栏目标签、发布时间和作者信息;
18、对于视频类内容,提取视频标题、字幕文本、封面识别结果、弹幕关键词、视频分类、时长、码率和分辨率信息;
19、对于直播类内容,提取直播标题、主播信息、直播分类、开播时间、关联活动和预告文本信息;
20、对于图片、音频或静态页面资源,提取名称、描述文本、标签、所属栏目和发布时间信息;
21、并根据提取得到的信息生成内容标识、内容语义向量、内容属性标签、内容大小、内容时效性、内容缓存策略和内容版权限制信息。
22、进一步的,计算热点主题与cdn内容之间的候选内容匹配分值时,根据关键词匹配度、语义相似度、关联实体匹配度、内容类型一致性、历史共现关系和主题置信度中的至少两项确定候选内容匹配分值;
23、其中,候选内容匹配分值m(c,k)满足如下关系:
24、m(c,k)=a1×k(c,k)+a2×v(c,k)+a3×e(c,k)+a4×t(c,k)+a5×c(k);
25、式中,c表示cdn内容,k表示热点主题,k(c,k)表示关键词匹配度,v(c,k)表示内容语义向量与热点主题语义向量之间的相似度,e(c,k)表示关联实体匹配度,t(c,k)表示内容类型一致性,c(k)表示热点主题置信度,a1至a5为预设权重系数;
26、当候选内容匹配分值大于预设匹配阈值时,将对应cdn内容确定为候选预分发内容。
27、进一步的,识别候选预分发内容是否处于冷启动热点状态包括:
28、获取候选预分发内容对应热点主题在外部热点感知数据中的热度增长趋势,以及候选预分发内容在cdn内部访问日志中的访问增长率;
29、当热度增长趋势大于第一趋势阈值,且访问增长率小于第二趋势阈值时,将候选预分发内容标记为冷启动预分发内容。
30、进一步的,生成内容/区域/时间热度预测矩阵时,根据候选预分发内容在不同目标区域和不同未来时间窗口内的预测访问热度生成矩阵元素;
31、预测访问热度根据候选内容匹配分值、热点主题在目标区域内的区域相关度、预测爆发时间窗口与未来时间窗口的重合度、候选预分发内容的历史访问增长率、相似内容在目标区域内的历史访问迁移规律、候选预分发内容的内容时效性、冷启动热点状态和内容热度衰减因子确定;
32、当候选预分发内容被标记为冷启动预分发内容时,提高地域属性、预测爆发时间窗口和主题置信度在热度预测中的权重;当候选预分发内容在cdn内部访问日志中形成访问增长时,提高历史访问增长率和相似内容历史访问迁移规律在热度预测中的权重。
33、进一步的,计算预分发收益评分时,根据候选预分发内容在边缘节点服务区域内的预测热度、预分发后预计提升的缓存命中收益、预计减少的回源请求量、边缘节点缓存剩余容量、边缘节点当前负载、边缘节点链路质量、内容分发成本和缓存占用成本确定候选预分发内容相对于边缘节点的预分发收益评分;
34、当预分发收益评分大于预设收益阈值,且边缘节点缓存剩余容量和链路状态满足预设条件时,将对应边缘节点确定为目标边缘节点。
35、进一步的,分级预分发策略包括:预分发内容、目标边缘节点、预分发开始时间、预分发结束时间、预分发优先级、缓存保留时间、缓存副本数量、内容分片策略、预热带宽上限、缓存淘汰保护策略和扩散触发条件;
36、分级预分发策略包括:
37、一级预分发策略,用于在候选预分发内容处于冷启动热点状态且主题置信度大于第一置信度阈值时,将对应内容预分发至预测热度最高的核心区域边缘节点;
38、二级预分发策略,用于在实际访问增长率达到第一访问增长阈值时,将对应内容从核心区域边缘节点扩散至相邻区域边缘节点;
39、三级预分发策略,用于在实际访问增长率达到第二访问增长阈值或缓存命中率达到预设命中阈值时,将对应内容扩散至更大范围的边缘节点。
40、一种融合大模型的cdn内容预分发系统,包括:
41、数据采集模块,用于采集外部热点感知数据和cdn内部运行数据;
42、热点主题画像生成模块,用于调用大语言模型对外部热点感知数据进行跨源语义理解和语义聚合,并输出结构化热点主题画像;
43、内容语义索引模块,用于对cdn内容库中的内容进行语义特征提取,生成内容语义向量和内容属性标签,并构建内容语义索引库;
44、候选内容匹配模块,用于根据结构化热点主题画像和内容语义索引库计算候选内容匹配分值,并确定候选预分发内容;
45、冷启动识别模块,用于根据外部热点趋势和cdn内部访问趋势判断候选预分发内容是否处于冷启动热点状态;
46、热度预测模块,用于根据候选内容匹配分值、结构化热点主题画像、冷启动热点状态、历史访问数据、区域访问特征和时间窗口特征,生成内容/区域/时间热度预测矩阵;
47、节点收益评分模块,用于根据内容/区域/时间热度预测矩阵、边缘节点服务区域、缓存剩余容量、节点负载、链路质量和预分发成本,计算候选预分发内容相对于边缘节点的预分发收益评分;
48、预分发策略生成模块,用于根据预分发收益评分生成分级预分发策略;
49、预分发执行模块,用于根据分级预分发策略向目标边缘节点下发预分发任务,并控制目标边缘节点获取、校验和缓存预分发内容;
50、反馈修正模块,用于根据预分发后的实际访问数据修正主题置信度、候选内容匹配分值、热度预测权重和预分发收益评分。
51、在本技术实施例中,采用大语言模型生成结构化热点主题画像并驱动cdn内容预分发决策的方式,通过对外部热点感知数据进行跨源语义理解和语义聚合,并将生成的结构化热点主题画像与cdn内容语义索引、冷启动热点状态、内容/区域/时间热度预测矩阵以及边缘节点资源状态相结合,达到了在cdn内部访问日志尚未形成明显访问峰值之前提前识别潜在热点内容并确定预分发内容、目标区域、目标边缘节点和预分发时机的目的,从而实现了提高cdn预分发前瞻性、准确性和边缘缓存命中率,降低源站回源压力以及减少无效预热造成的缓存资源浪费的技术效果,进而解决了传统cdn预分发策略主要依赖历史访问统计,难以及时捕捉新兴热点、突发热点及冷启动热点,导致预分发滞后、误分发和缓存资源利用率低的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com