一种基于标签共现与大模型语义感知融合技术的推荐算法标签增广方法

本发明涉及视频内容推荐与标签处理，具体涉及一种基于标签共现与大模型语义感知融合技术的推荐算法标签增广方法。

背景技术：

1、在视频推荐算法的应用场景中，视频原始标签普遍存在数量不足、覆盖范围有限的标签稀疏问题，导致推荐算法对视频内容的语义表征不充分，直接影响内容匹配与推荐分发的精度。

2、现有标签增广方法多采用单一技术路径，基于标签共现统计的增广方式仅能挖掘标签间的统计关联特征，依赖训练数据的标签覆盖密度，对低频标签的增广效果较差，且无法挖掘标签间的深层语义关联；基于语义匹配的增广方式仅从语义相似性出发筛选标签，忽略了标签在实际业务场景中的共现规律，易引入与实际内容场景匹配度较低的标签，增广标签的实际应用价值不足。

3、现有多路径标签增广方案多停留在标签集合的简单拼接层面，未针对不同来源标签的置信度与特征贡献度进行差异化加权处理，也未在特征向量层面实现深度融合，导致增广后的标签特征存在冗余噪声，对下游推荐任务的特征增强效果有限。

4、同时，现有标签增广方法大多缺少统一的候选标签范围约束与标准化的效果验证机制，增广结果的质量稳定性不足，难以持续支撑推荐算法对视频内容特征的增强需求。

技术实现思路

1、针对现有技术所存在的上述缺点，本发明提供了一种基于标签共现与大模型语义感知融合技术的推荐算法标签增广方法，能够有效解决背景技术中存在的标签稀疏、增广路径单一、特征融合不足的问题。

2、为解决上述技术问题，本发明采用如下技术方案：本发明提供一种基于标签共现与大模型语义感知融合技术的推荐算法标签增广方法，包括：s1、获取待增广视频的视频标题及原始标签，对原始标签进行清洗处理，原始标签数量不足时依次基于视频标题、视频封面文本提取关键词补足，得到补足后的原始标签。

3、以补足后的原始标签为检索依据，从数据集中获取相关视频并汇总其携带的标签，经去重处理构建标签候选池。

4、s2、基于训练集中的标签数据构建标签共现矩阵，统计补足后的原始标签与标签候选池中各候选标签的共现关系，表征标签间的关联程度。按关联程度对候选标签排序，筛选出具有较强共现关联的候选标签，形成共现增广标签集合。

5、s3、将待增广视频的视频标题及标签候选池分别通过文本向量编码、大语言模型推理两条路径筛选语义相关候选标签，对应得到文本向量语义增广标签集合与大模型语义增广标签集合。

6、s4、分别对原始标签及三类增广标签进行向量化编码，生成各标签来源对应的独立特征向量。依据不同标签来源的置信度与特征贡献程度设置差异化权重，对各特征向量进行加权融合，生成增强标签特征向量。

7、s5、将增强标签特征向量输入视频分类模型，通过分类性能与语义分布指标综合评价标签增广效果，验证通过后输出最终标签增广结果，作为推荐算法的增强视频内容特征。

8、优选地，其特征在于，补足后的原始标签的获取过程具体为：

9、获取待增广视频对应的视频标题及原始标签，对所述原始标签进行清洗处理，去除其中与视频实际内容关联性较低的流量热词、营销标签以及不符合标签要求的无效内容。

10、对清洗后的原始标签进行数量判断，在原始标签数量不足预设标签数量的情况下，对视频标题进行分词和关键词提取，从所述视频标题中筛选普通名词、人名、地名、机构名、作品名及英文实体作为候选补充标签，剔除动词、副词等不适合作为标签的词语，将筛选得到的关键词补充至清洗后的原始标签中。

11、当标题提取的关键词仍不足以补足时，进一步从视频封面文本中提取表征视频内容的关键词补充，获得补足后的原始标签。

12、优选地，其特征在于，标签候选池的构建过程具体为：

13、基于完成补足处理后的原始标签，将其作为检索依据，在指定数据集中分别检索与所述原始标签相关的视频数据，并获取各相关视频对应的自带标签。

14、将检索得到的各相关视频所携带的标签进行汇总，并对汇总后的标签进行去重处理，消除重复出现的标签内容。

15、完成标签汇总及去重后，将保留下来的标签作为后续标签共现增广和语义增广的统一候选范围，构建得到所述待增广视频对应的标签候选池。

16、优选地，其特征在于，标签之间关联程度的表征过程具体为：

17、基于全量训练数据集开展标签共现频次统计，以数据集中包含的所有独立标签为行列维度，统计任意两个标签在同一条视频中共同出现的次数，构建得到二维标签共现矩阵。

18、提取待增广视频对应的补足后原始标签在共现矩阵中的行向量作为基准共现向量，依次提取标签候选池中每个候选标签在共现矩阵中的行向量作为对比共现向量，采用余弦相似度量化基准共现向量与各对比共现向量之间的关联强度。

19、优选地，其特征在于，共现增广标签集合的构建过程具体为：

20、基于得到的共现相似度数据，逐一对应标签候选池中每个候选标签与待增广视频补足后的原始标签的共现关联强度值。

21、以共现关联强度值为排序依据，对标签候选池内的全部候选标签进行降序排列，形成按共现紧密程度由高到低排布的候选标签序列。

22、按照预设的共现增广标签选取数量，从排序后的候选标签序列首位开始依次截取标签，对截取得到的标签进行去重校验，剔除与待增广视频原始标签重复的标签项，得到共现增广标签集合。

23、优选地，其特征在于，文本向量语义增广标签集合的获取过程具体为：

24、加载预训练的中文句子嵌入模型，将待增广视频的视频标题输入模型，通过编码器将标题中的每个分词单元转换为上下文感知的词向量，再采用均值池化方法对所有分词单元向量取算术平均，排除特殊标记，得到固定维度的视频标题向量。

25、将标签候选池中的每个候选标签依次输入模型，采用相同编码方式得到各候选标签对应的标签向量。计算视频标题向量与每个候选标签向量之间的余弦相似度，按相似度排序筛选得到文本向量语义增广标签集合。

26、优选地，其特征在于，大模型语义增广标签集合的获取过程具体为：

27、配置大语言模型的调用参数，对标签候选池进行预处理，对池内的候选标签执行去重操作，将处理完成的标签候选池转换为结构化字符串格式。

28、构建包含系统指令、约束通知、少样本示例三个模块的结构化提示词模板，将待增广视频的标题与格式化后的标签候选池填入模板对应位置，生成标准化的提示文本。

29、调用大语言模型输入提示文本执行语义推理，解析模型返回的响应结果并按排序结果选取标签，得到大模型语义增广标签集合。

30、优选地，其特征在于，各标签来源对应的独立特征向量的生成过程具体为：

31、采用中文句子嵌入模型作为统一的特征编码工具，保障不同来源标签的向量处于同一语义空间。

32、将待增广视频对应的原始标签集合输入编码模型，通过编码器将标签文本转换为词向量，经均值池化聚合后生成原始标签对应的独立特征向量。

33、按照相同的编码方式，依次将共现增广标签集合、文本向量语义增广标签集合、大模型语义增广标签集合分别输入编码模型，对应生成各类增广标签对应的特征向量，得到四类标签来源各自对应的独立特征向量。

34、优选地，其特征在于，增强标签特征向量的生成过程具体为：

35、依据标签来源的置信度与特征贡献程度设置差异化权重系数，原始标签特征向量分配最高权重以保障基础特征的主导性与可靠性，共现增广标签特征向量分配次一级权重以补充统计关联特征，两类语义增广标签特征向量分配辅助权重以补充细粒度语义信息。

36、将各来源的特征向量与对应权重系数相乘后进行向量求和，完成加权融合，生成待增广视频的增强标签特征向量。

37、优选地，其特征在于，s5具体为：

38、采用预训练的视频内容分类器作为标签增广效果的验证模型，该模型以标签语义特征向量为输入，输出视频对应的内容类别。

39、将融合得到的增强标签特征向量输入该分类器，通过模型推理得到对应视频的内容类别预测结果。

40、以测试集的真实类别标注为基准，计算增强标签特征对应的分类性能指标，同时对比仅使用原始标签特征时的分类性能，量化标签增广对视频语义表征能力的提升效果。

41、分析增强标签特征的语义分布特性，形成综合评价结果并与预设验证标准比对，验证通过后输出最终的增强标签特征结果，作为下游视频推荐场景的增强内容特征输入。

42、本发明提供的技术方案，与已知的现有技术相比，具有如下有益效果：

43、1.原始标签清洗补足与标签候选池构建步骤，可补齐原始标签数量不足的短板，统一后续所有增广路径的候选标签范围，避免不同增广路径候选来源差异带来的偏差。

44、2.标签共现统计与筛选步骤，可挖掘标签在实际视频数据中的共现关联规律，补充统计维度的关联标签，弥补纯语义增广与实际业务场景脱节的问题。

45、3.双路径语义增广步骤，可从文本向量计算和大模型语义推理两个维度挖掘标签深层语义关联，覆盖共现统计无法识别的低频标签关联，丰富增广标签的语义维度。

46、4.多源标签向量化与加权融合步骤，可在特征向量层面实现多来源标签特征的深度融合，通过差异化权重平衡不同来源标签的可靠性，减少特征冗余噪声。

47、5.分类验证与结果输出步骤，可通过分类性能与语义分布双重指标校验增广效果，保障输出的增强标签特征质量，支撑下游推荐算法提升内容匹配精度。