排序评估方法以及计算设备与流程

摘要: 本说明书实施例涉及内容评估,特别涉及一种排序评估方法,一种计算设备。背景技术:1、随着互联网内容平台的快速发展,信息流推荐已成为内容分发与商业变现的重要途径,如...
排序评估方法以及计算设备与流程

本说明书实施例涉及内容评估,特别涉及一种排序评估方法,一种计算设备。

背景技术:

1、随着互联网内容平台的快速发展,信息流推荐已成为内容分发与商业变现的重要途径,如何在信息流中合理地混合排列自然内容与推广内容,以在保障用户体验的同时提升变现效率,已成为推荐系统领域关注的重点问题。

2、目前,信息流推荐系统中的混排方案,通常将混排过程划分为候选序列生成与候选序列评估两个阶段,候选序列生成阶段通过束搜索方式并行产出多条包含自然内容与推广内容的合法候选混排序列,候选序列评估阶段对各候选混排序列的序列价值进行评估,并从中选择序列价值较高的候选混排序列下发给用户。

3、然而,上述方法在评估候选序列的序列价值时,通常仅关注候选序列在当前请求下的即时变现价值,未考虑当前序列的决策对用户后续浏览行为中推广收益的预期影响,也未考虑候选序列中推广内容的位置和类型对后续序列位置投放空间的限制作用,使得序列评估结果偏向短期收益,难以兼顾即时收益与长期收益之间的平衡,从而导致整体推荐效果较差。因此,亟须一种更准确的排序评估方法,以实现效果更好的内容推荐。

技术实现思路

1、有鉴于此,本说明书实施例提供了一种排序评估方法。本说明书一个或者多个实施例同时涉及一种应用于社区内容推荐场景的排序评估方法,一种应用于商品推荐场景的排序评估方法,一种应用于视频推荐场景的排序评估方法,一种应用于直播推荐场景的排序评估方法,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决上述技术问题。

2、根据本说明书实施例的第一方面,提供了一种排序评估方法,包括:

3、获取多个候选序列,其中,任一候选序列由多个内容项顺序排列,任一内容项为有约束类型或无约束类型,有约束类型限定了对应内容项的预设序列位置数量的后续约束区间,后续约束区间内各序列位置禁止插入有约束类型的内容项;

4、针对任一候选序列,利用未来预测模型,基于各有约束类型的内容项的序列位置和后续约束区间,预测该候选序列的远期评价量;

5、基于各候选序列对应的远期评价量,确定目标序列。

6、根据本说明书实施例的第二方面,提供了一种应用于社区内容推荐场景的排序评估方法,包括:

7、获取多个候选序列,其中,任一候选序列由多个社区内容项顺序排列,任一社区内容项为广告社区内容类型或用户生成社区内容类型,广告社区内容类型限定了对应社区内容项的预设序列位置数量的后续约束区间,后续约束区间内各序列位置禁止插入广告社区内容类型的社区内容项;

8、针对任一候选序列,利用未来预测模型,基于各广告社区内容类型的内容项的序列位置和后续约束区间,预测该候选序列的远期评价量;

9、基于各候选序列对应的远期评价量,确定目标序列。

10、根据本说明书实施例的第三方面,提供了一种应用于商品推荐场景的排序评估方法,包括:

11、获取多个候选序列,其中,任一候选序列由多个商品内容项顺序排列,任一商品内容项为推广商品类型或自然商品类型,推广商品类型限定了对应商品内容项的预设序列位置数量的后续约束区间,后续约束区间内各序列位置禁止插入推广商品类型的商品内容项;

12、针对任一候选序列,利用未来预测模型,基于各推广商品类型的内容项的序列位置和后续约束区间,预测该候选序列的远期评价量;

13、基于各候选序列对应的远期评价量,确定目标序列。

14、根据本说明书实施例的第四方面,提供了一种应用于视频推荐场景的排序评估方法,包括:

15、获取多个候选序列,其中,任一候选序列由多个视频内容项顺序排列,任一视频内容项为广告视频类型或用户生成视频类型,广告视频类型限定了对应视频内容项的预设序列位置数量的后续约束区间,后续约束区间内各序列位置禁止插入广告视频类型的视频内容项;

16、针对任一候选序列,利用未来预测模型,基于各广告视频类型的内容项的序列位置和后续约束区间,预测该候选序列的远期评价量;

17、基于各候选序列对应的远期评价量,确定目标序列。

18、根据本说明书实施例的第五方面,提供了一种应用于直播推荐场景的排序评估方法,包括:

19、获取多个候选序列,其中,任一候选序列由多个直播内容项顺序排列,任一直播内容项为带货直播类型或自然直播类型,带货直播类型限定了对应直播内容项的预设序列位置数量的后续约束区间,后续约束区间内各序列位置禁止插入带货直播类型的直播内容项;

20、针对任一候选序列,利用未来预测模型,基于各带货直播类型的内容项的序列位置和后续约束区间,预测该候选序列的远期评价量;

21、基于各候选序列对应的远期评价量,确定目标序列。

22、根据本说明书实施例的第六方面,提供了一种计算设备,包括:

23、存储器和处理器;

24、存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。

25、根据本说明书实施例的第七方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。

26、根据本说明书实施例的第八方面,提供了一种计算机程序产品,包括计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。

27、本说明书一个实施例实现了一种排序评估方法,包括:获取多个候选序列,其中,任一候选序列由多个内容项顺序排列,任一内容项为有约束类型或无约束类型,有约束类型限定了对应内容项的预设序列位置数量的后续约束区间,后续约束区间内各序列位置禁止插入有约束类型的内容项;针对任一候选序列,利用未来预测模型,基于各有约束类型的内容项的序列位置和后续约束区间,预测该候选序列的远期评价量;基于各候选序列对应的远期评价量,确定目标序列。

28、通过获取包含有约束类型内容项与无约束类型内容项的多个候选序列,并利用有约束类型内容项限定的后续约束区间约束各序列位置的类型分布,使候选序列中各序列位置的内容项类型排布受到明确规则约束,避免了有约束类型内容项在相邻序列位置上的密集堆叠,保障了候选序列的类型分布合理性;通过利用未来预测模型,基于各有约束类型内容项的序列位置和后续约束区间预测候选序列的远期评价量,将当前序列决策对未来序列位置投放空间的限制作用显式量化为可预测的远期评价指标,实现了序列评估视野从即时价值向未来收益的延伸;通过基于各候选序列对应的远期评价量确定目标序列,使最终确定的目标序列能够在序列类型分布合理的基础上优先兼顾后续收益,提升了针对推荐序列排序评估的准确性,实现了效果更好的内容推荐。

1.一种排序评估方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述有约束类型包括第一有约束子类型和第二有约束子类型,所述第一有约束子类型和所述第二有约束子类型分别限定了不同序列位置数量的后续约束区间,所述第一有约束子类型的后续约束区间内各序列位置禁止插入所述第一有约束子类型的内容项,所述第二有约束子类型的后续约束区间内各序列位置禁止插入所述第二有约束子类型的内容项。

3.根据权利要求1所述的方法,其特征在于,在所述基于各候选序列对应的远期评价量,确定目标序列之前,还包括:

4.根据权利要求3所述的方法,其特征在于,所述基于各序列位置的预估曝光概率值与对应内容项的瞬时评价量,确定该候选序列的即时评价量,包括:

5.根据权利要求3所述的方法,其特征在于,在所述基于各候选序列的即时评价量和远期评价量,确定目标序列之前,还包括:

6.根据权利要求5所述的方法,其特征在于,在所述基于各候选序列的所述评估基础分、所述即时评价量和所述远期评价量,确定目标序列之前,还包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,所述未来预测模型包括嵌入层、多层感知机编码层、多头注意力编码层、序列曝光预估头和未来评价预估头;

8.根据权利要求7所述的方法,其特征在于,所述嵌入层包括用户特征嵌入子层、序列特征嵌入子层和内容项特征嵌入子层;

9.根据权利要求7所述的方法,其特征在于,所述多层感知机编码层包括第一多层感知机编码层和第二多层感知机编码层;

10.根据权利要求7所述的方法,其特征在于,所述将所述内容项特征矩阵输入所述多头注意力编码层,输出经注意力增强的内容项表示矩阵,包括:

11.根据权利要求7所述的方法,其特征在于,所述将所述用户序列联合表征向量与所述经注意力增强的内容项表示矩阵拼接后输入所述序列曝光预估头,输出该候选序列中各序列位置的预估曝光概率值,包括:

12.根据权利要求7所述的方法,其特征在于,所述将所述用户序列联合表征向量与所述经注意力增强的内容项表示矩阵输入所述未来评价预估头,输出该候选序列的远期评价量,包括:

13.根据权利要求1-6任一项所述的方法,其特征在于,所述未来预测模型的训练步骤,包括:

14.根据权利要求13所述的方法,其特征在于,所述通过所述未来预测模型输出对应各切分点阈值的预测概率值,包括:

15.根据权利要求13所述的方法,其特征在于,所述获取训练样本集,包括:

16.一种应用于社区内容推荐场景的排序评估方法,其特征在于,包括:

17.一种应用于商品推荐场景的排序评估方法,其特征在于,包括:

18.一种应用于视频推荐场景的排序评估方法,其特征在于,包括:

19.一种应用于直播推荐场景的排序评估方法,其特征在于,包括:

20.一种计算设备,其特征在于,包括:

21.一种计算机可读存储介质,其特征在于,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至19任意一项所述方法的步骤。

22.一种计算机程序产品,其特征在于,包括计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至19任意一项所述方法的步骤。