一种新物料冷启动的自动流量分配方法与流程

1.本发明涉及推荐系统领域，特别涉及一种新物料冷启动的自动流量分配方法。


背景技术：

2.新物料冷启动是推荐系统中必不可少的环节，好的冷启动方式可以提高推荐结果的新颖性并提高推荐效果；差的冷启动方式将浪费对新物料的曝光流量。
3.在实际推荐场景中，每时每刻都会有新物料在推荐平台生效，而没有相应的用户交互行为记录，如何对这些新物料进行有效冷启动是推荐系统中的重要环节。目前推荐系统进行新物料冷启动大多通过随机或人工选择物料进行全流量展示，不仅可能浪费线上流量，还可能降低用户体验；少量调控新物料流量的策略丢弃了大量历史物料的交互信息，将所有物料均视为新物料进行随机展示，极大影响推荐系统效果。
4.传统推荐系统未考虑对新物料t 1展示对推荐效果的影响；对于新物料的展示多出于人工调控，未考虑基于优势或劣势物料对流量进行调控；少量调控新物料流量的策略将所有物料均视为新物料进行随机展示影响推荐效果；在评估新物料好坏时未考虑展示位置对其推荐效果的影响。


技术实现要素：

5.本发明要解决的技术问题是克服现有技术的缺陷，提供一种新物料冷启动的自动流量分配方法。
6.为了解决上述技术问题，本发明提供了如下的技术方案：
7.本发明提供一种新物料冷启动的自动流量分配方法，包括以下步骤：
8.s1、用户随机分桶及其对应流量开放等级生成：
9.利用hash的方式将登录用户随机平均分为m个桶，随机取其中的个设置流量开放等级1，个设置流量开放等级2，个设置流量开放等级3，其余设置等级4，将用户j及其对应的流量开放等级levelj存于hive表中；
10.s2、用户j非新物料集离线排序结果生成与存储：
11.读取hive表中用户特征数据，使用python文件对其进行召回、排序建模获取用户j非新物料集离线排序结果l
j,old
，并将结果存于hive表中；
12.s3、用户j新物料集排序位置生成：
13.用户j在该推荐场景最多被展示n个结果。将1-n这n个数随机排序，取前k个数并在原来基础上 0.5作为新物料插入的排序位置rank
j,new
并将结果存于hive表中，其中
14.s4、新物料集与各新物料对应流量开放等级生成：
15.每t小时更新新物料集l
new
以及各新物料对应流量开放等级新物料集为更新时当日新上线生效物料与生效时长在p日内物料的集合，新物料对应流量开放等级初始为1；
16.s5、用户j近线展示新物料生成：
17.每t小时对新物料集l
new
中满足流量开放等级物料随机排序，取前k个结果，不足k个则全取。将rank
j,new
的位置顺序依次赋予取出的新物料，形成用户j新物料排序结果l
j,new
。对于刚上线新物料其流量开放等级为1，仅在个用户桶的流量中进行测试，只有当其测试效果始终保持良好，其流量开放等级才会不断提升，从到再到最终到全量用户。该操作利用流量分发设计达到优胜劣汰的效果；
18.s6、用户在线推荐结果生成：
19.将l
j,old
与l
j,new
合并按rank大小进行排序生成用户在线展示结果lj，并对用户进行展示；
20.s7、t小时内实时数据统计指标生成：
21.使用kafka记录用户j对于itemn在第m展示位置的曝光与点击数据，利用flink实时计算以下统计指标：
22.itemn在第m展位曝光量expo
n,m
；itemn的总点击量clickn；
23.第m展位总曝光量expom；第m展位总点击量clickm；
24.s8、t小时内实时期望点击估计：
25.利用公式预估itemn点击期望，对不同展位赋予不同权重，能有效消除曝光位置对点击结果的影响；
26.s9、所有物料推荐效果评估生成：
27.对所有itemn计算并排序。并定义示性函数i
n,good
为新物料集l
new
中在所有itemn中排序前α0％则为1，否则为0；示性函数i
n,bad
为新物料集中l
new
在所有itemn中排序后α1％则为1，否则为0；
28.s10、新物料集中各新物料对应流量开放等级迭代：
29.对新物料集l
new
中各新物料迭代对应流量开放等级
30.s11、每t小时重复步骤s4-s10。
31.与现有技术相比，本发明的有益效果如下：
32.本发明针对推荐系统中的新物料冷启动策略，提出一种新型的能够消除位置的流
量分配方法，近实时地获取所有新物料，通过小流量对非新物料模型排序结果结合新物料进行展示，并实时计算在消除展示位置影响的情况下其推荐效果指标，对于效果优异的新物料进行自动扩大其流量，同时可对已扩大流量的新物料进行监测，一旦其扩大流量后效果不佳则自动对其减少流量，能够科学、有效、精准地评估推荐系统中新物料冷启动的效果，并有机结合对新物料的自动流量分配与非新物料的模型排序结果。
附图说明
33.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
34.图1是本发明算法基于用户离线排序结果与新物料匹配流量开放等级相结合的最终线上展示排序结果示意图；
35.图2是本发明的实施流程图。
具体实施方式
36.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
37.实施例1
38.本发明如图1-2所示，本发明提供一种新物料冷启动的自动流量分配方法，包括以下步骤：
39.依据经验取m＝10，t＝3，α0＝10，α1＝15；
40.s1、登录用户随机均分为10个桶，随机1个设置流量开放等级1,1个设置流量开放等级2,3个设置流量开放等级3,其余5个设置流量开放等级4并保存；
41.s2、建模得到用户j非新物料集离线排序结果l
j,old
；
42.s3、生成用户j新物料集排序位置rank
j,new
；
43.s4、每3小时更新新物料集l
new
及各新物料对应流量开放等级
44.s5、生成用户j新物料排序结果l
j,new
；
45.s6、合并l
j,old
与l
j,new
并按rank大小排序生成用户在线展示结果；
46.s7、每3小时中实时计算itemn在第m展位曝光量expo
n,m
；itemn的总点击量clickn；第m展位总曝光量expom；第m展位总点击量clickm；
47.s8、计算3小时内物料实时期望点击估计en；
48.s9、计算物料评价指标θn，i
n,good
，i
n,bad
；
49.s10、对新物料集l
new
中对应流量开放等级进行迭代；
50.s11、每3小时重复步骤4-10。
51.本发明技术点如下：
52.1.提出了对新物料冷启动自动分配流量的方法，能够通过对推荐效果的评估对优势物料扩大其流量，对劣势物料减小其流量，实现整体推荐效果的提升。
53.2.提出了在上述方法中评估新物料冷启动策略效果时消除位置偏置的方法，对不同展位赋予不同的权重，能够得到更为有效、准确的评估指标。
54.3.提出了近线更新展示新物料的方法，能够及时获取最新生效的物料，并在结合非新物料集物料排序结果的基础上对新物料集中的新物料进行展示
55.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。