一种用户兴趣标注模型训练方法及显示设备与流程
本技术涉及人工智能,尤其涉及一种用户兴趣标注模型训练方法及显示设备。
背景技术:
1、在个性化流媒体及大屏ott推荐场景中,显示设备(如智能电视、智能机顶盒等)通常内置推荐系统,通过刻画多层级、长短期的用户画像标签,为媒资内容的推送提供依据。
2、目前,由于用户行为具有高度模糊性与多义性,观看历史难以直接折射出精准的品类偏好,单次推理的随机性导致同一用户行为可能对应不同的标签输出,标签稳定性较差。另外,基于频次统计的全局单一阈值截断法导致高频标签占据绝对优势,而高精准度的三级细分标签因处于长尾频次区间,在单一阈值过滤阶段极易被误杀,造成高价值长尾兴趣的系统性流失。
技术实现思路
1、本技术提供了一种用户兴趣标注模型训练方法及显示设备,以获得兼具精度与效率的用户兴趣标注模型。
2、第一方面,本技术提供了一种用户兴趣标注模型训练方法,包括:根据用户行为数据和媒资属性信息,生成语义上下文;调用教师模型对语义上下文进行多次推理,获得多组推理结果,推理结果包括多个用于表征用户兴趣的标签;根据多组推理结果中同一标签的出现频次,确定至少一个共识标签,并为共识标签确定第一置信度;其中,共识标签为多组推理结果中出现频次满足预设要求的标签;针对每个共识标签,计算共识标签对应的预设层级权重与共识标签的第一置信度的乘积,得到共识标签的第二置信度;针对每个共识标签,根据共识标签对应的预设截断阈值以及共识标签的第二置信度,确定伪真值标签集合,伪真值标签集合包括大于预设截断阈值的第二置信度以及第二置信度对应的共识标签;基于语义上下文和伪真值标签集合,对学生模型进行训练,得到用户兴趣标注模型。
3、上述技术方案具有以下有益效果或优点:通过多路推理以及共识标签的筛选消除单次推理的随机性,通过层级差异化加权削弱高频标签在置信度评估中的优势,进而基于得到的伪真值标签集合以及语义上下文,训练学生模型,获得兼具精度与效率的用户兴趣标注模型。
4、在本技术的一些实施例中,根据多组推理结果中同一标签的出现频次,确定至少一个共识标签,并为共识标签确定第一置信度,包括:将多组推理结果中各标签与预置标准标签库进行匹配,筛选出匹配成功的标签;统计匹配成功的各标签在多组推理结果中的出现频次;将出现频次达到预设阈值的标签确定为共识标签;对共识标签在多组推理结果中的初始置信度进行累加,生成共识标签的第一置信度。
5、上述技术方案具有以下有益效果或优点:实现对教师模型多路推理结果的共识筛选,有效降低单次推理随机性带来的影响,保留在多路推理中具有统计一致性的标签,并综合多路推理的置信度信息生成第一置信度,为后续差异化权重配置和阈值截断提供可靠的量化基础。
6、在本技术的一些实施例中,针对每个共识标签,计算共识标签对应的预设层级权重与共识标签的第一置信度的乘积,得到共识标签的第二置信度,包括:确定各共识标签对应的业务层级,业务层级包括多个,每个层级的分类精细度不同;针对各所述共识标签,基于共识标签的业务层级对应的层级权重与共识标签的第一置信度的乘积,得到第三置信度,层级权重与共识标签对应的业务层级的分类精细度呈正相关;对同一语义上下文对应的多个共识标签的第三置信度进行归一化处理,得到多个共识标签的第二置信度。
7、上述技术方案具有以下有益效果或优点:通过识别各共识标签对应的业务层级,为不同业务层级的标签配置差异化的层级权重,并对第一置信度进行加权处理,实现对第二层级长尾标签的置信度补偿。
8、在本技术的一些实施例中,基于语义上下文和伪真值标签集合,对学生模型进行训练,得到用户兴趣标注模型,包括:以语义上下文为输入、以伪真值标签集合为监督信号,对学生模型进行监督微调,得到策略模型;对策略模型进行强化学习训练,得到用户兴趣标注模型。
9、上述技术方案具有以下有益效果或优点:通过监督微调使学生模型初步具备依据语义上下文生成标签及置信度的能力,再通过强化学习训练对策略模型进行策略优化,进一步提升模型输出的准确性。
10、在本技术的一些实施例中,对策略模型进行强化学习训练,得到用户兴趣标注模型,包括:获取由伪真值标签集合构建的训练样本集;针对训练样本集中的各训练样本,通过策略模型生成多个候选预测结果;对各候选预测结果进行质量评估,获得各候选预测结果的奖励值;根据同一训练样本对应的所有候选预测结果的奖励值的统计参数,对各奖励值进行变换处理,获得各候选预测结果在组内的相对优势值;根据相对优势值构建目标函数,利用目标函数更新策略模型的参数,得到用户兴趣标注模型。
11、上述技术方案具有以下有益效果或优点:在伪真值标签集合监督下抑制训练过程中的参数更新波动,使得强化学习训练能够平稳收敛,最终获得用户兴趣标注模型。
12、在本技术的一些实施例中,对各候选预测结果进行质量评估,获得各候选预测结果的奖励值,包括:对各候选预测结果进行格式校验;将未通过格式校验的候选预测结果的奖励值确定为预设惩罚值;将通过格式校验的候选预测结果中的预测标签与伪真值标签集合中的伪真值标签,以及预测标签的预测置信度与伪真值标签的第二置信度分别进行比对,确定分层业务奖励值,作为候选预测结果的奖励值。
13、上述技术方案具有以下有益效果或优点:通过格式校验,识别并剔除格式错误的候选预测结果,避免无效数据进入后续比对环节,同时,通过将格式校验与分层业务奖励值计算相解耦,使得格式错误的候选预测结果获得独立的固定惩罚值,而格式正确的候选预测结果则基于标签与置信度的双重比对获得差异化的分层奖励,为策略模型参数更新提供区分度更高、更贴合业务目标的优化信号。
14、在本技术的一些实施例中,根据同一训练样本对应的所有候选预测结果的奖励值的统计参数,对各奖励值进行变换处理,获得各候选预测结果在组内的相对优势值,包括:计算同一训练样本对应的所有候选预测结果的奖励值的均值及标准差;针对每个候选预测结果的奖励值,基于奖励值、均值以及标准差,确定候选预测结果的相对优势值。
15、上述技术方案具有以下有益效果或优点:实现对组内候选预测结果的相对比较与标准化评估,为后续策略模型参数更新提供标准化且区分度明确的优化信号。
16、在本技术的一些实施例中,获取由伪真值标签集合构建的训练样本集,包括:针对每个语义上下文,根据语义上下文对应的伪真值标签集合中各标签的第二置信度,确定样本的难度指标;基于难度指标落入预设取值区间的语义上下文、语义上下文对应的伪真值标签集合以及第二置信度,构建训练样本集。
17、上述技术方案具有以下有益效果或优点:在强化学习训练前对训练样本进行物理筛选,剔除极难高噪样本和极易冗余样本,为后续强化学习训练提供梯度平稳的训练样本集。
18、在本技术的一些实施例中,以语义上下文为输入、以伪真值标签集合为监督信号,对学生模型进行监督微调,得到策略模型,包括:获取教师模型在推理过程中产生的与伪真值标签集合关联的推理依据信息,推理依据信息为教师模型在多次推理过程中生成的,与共识标签对应的文本依据;将推理依据信息、伪真值标签集合中的标签及对应的第二置信度组合为目标序列;以语义上下文为输入,以目标序列为优化目标,对学生模型进行参数微调,得到策略模型。
19、上述技术方案具有以下有益效果或优点:以语义上下文为输入、以目标序列为优化目标对学生模型进行参数微调,使得学生模型在微调过程中学习推理依据与标签预测的对应关系,为后续强化学习训练提供策略模型。
20、第二方面,本技术提供了一种显示设备,包括:
21、显示器;
22、控制器,被配置为:
23、获取用户行为数据和媒资属性信息;
24、根据用户行为数据和媒资属性信息,生成语义上下文;
25、调用用户兴趣标注模型对语义上下文进行处理,得到用户兴趣标签;其中,用户兴趣标注模型基于第一方面实施例提出的用户兴趣标注模型训练方法训练得到;
26、基于用户兴趣标签,执行推荐任务。
27、上述技术方案具有以下有益效果或优点:由于用户兴趣标注模型在训练过程中通过多路推理以及共识标签的筛选消除单次推理的随机性,通过不同层级权重差异化,保障长尾兴趣标签的保留,使得模型输出的用户兴趣标签具有更高的准确性和完整性。基于该用户兴趣标签执行推荐任务时,能够向用户推送与其真实兴趣更加匹配的媒资内容,有效提升推荐结果的精准度和用户满意度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com