一种基于多任务学习的再营销广告效果预估方法及系统与流程

1.本发明属于网络广告营销信息技术领域，涉及一种基于多任务学习的再营销广告效果预估方法及系统。


背景技术：

2.电商网站通常会对近期访问了网站、有购买意图但是没有完成购买的用户，在站外进行二次触达，这个过程就需要再营销广告来实现。独立第三方广告平台会帮助广告主在流量市场上进行流量采买，广告主跟独立第三方广告平台按照cps(cost per sale)进行结算，即看到独立第三方广告平台投放的广告点击并进站完成下单，按照下单金额，给独立第三方广告平台一定比例的分成。因此，独立第三方广告平台需要帮助广告主评估广告主网站的用户在外部媒体网站的投放效果，即用户点击广告并进站完成购买的概率，才能够最大化独立第三方广告平台的利润。
3.如图1所示，再营销广告完成转化的路径：用户在媒体网站看到再营销广告(impression)-》用户点击再营销广告(click)-》用户在广告主网站浏览商品(viewcontent)-》用户在广告主网站将商品加入购物车(addtocart)-》用户在广告住网站完成支付(purchase)
4.对用户点击广告的概率进行预估是ctr(click-through-rate)预估，对用户点击广告后完成购买的概率进行预估是cvr(conversion rate)预估，常规的做法是建立两个模型分别对点击率和转化率进行预估，目前广告行业对于点击率/转化率预估是非常成熟的，基本思路是通过在历史的广告曝光和转化效果来学习模型，然后线上实时的对流量点击率和转化率进行预估。常用的方法包括线性模型lr，非线性模型fm、ffm和gbdt，以及一些深度学习的模型wide&deep、deepfm模型等。点击率预估把展示后用户点击作为正样本、没有点击作为负样本，学习分类模型；转化率预估把点击后用户完成购买作为正样本，没有完成购买当作负样本，学习分类模型。
5.对于再营销场景，不能直接使用传统的方案，因为存在的以下挑战：
6.1)、再营销场景存在跨站行为，用户点击发生在媒体网站，用户购买发生在广告主的电商网站，用户点击跟媒体网站有关，用户是否购买跟用户本身的购买意愿有关，特征层面刻画存在冲突。
7.2)、中间步骤多，用户点击广告，进站浏览商品详情页，把商品加入购物车，完成支付，才能完成整个购买流程，直接预估用户是否会购买存在断层情况。
8.3)、随着购物链路的深入，用户行为会越来越少，会存在样本不足，无法准确预估的问题。


技术实现要素：

9.本发明的目的在于解决现有技术中的问题，提供一种基于多任务学习的再营销广告效果预估方法及系统。
10.为达到上述目的，本发明采用以下技术方案予以实现：
11.本发明提出的一种基于多任务学习的再营销广告效果预估方法，包括如下步骤：
12.将用户是否点击、用户是否有站内浏览行为、用户是否有加入购物车行为和用户是否有购买行为作为目标；
13.将广告相关的特征、用户相关的特征、上下文相关的特征作为特征列表；
14.根据目标和特征列表构建样本样例，并对样本样例进行标注；
15.根据标注的样本样例训练mmoe模型，学习mmoe模型参数；
16.根据离线训练的mmoe模型，在线实时抽取特征，获取多个目标的得分，实现实时的再营销广告效果预估。
17.优选地，广告相关的特征包括广告的id、创意素材id和广告的历史投放效果；
18.上下文相关的特征包括当前星期、小时、adx、媒体id、广告位类型、广告位大小和媒体的历史投放效果；
19.用户相关的特征包括用户的地理位置(国家/城市)、设备信息(手机型号/操作系统/操作系统版本/语言)和用户在广告主网上的行为统计。
20.优选地，用户是否点击、用户是否有站内浏览行为、用户是否有加入购物车行为和用户是否有购买行为能够根据唯一的追踪id进行关联，实现样本标注。
21.优选地，mmoe模型采用共享底层结构，shared-bottom网络位于mmoe模型的底层，多个任务公用shared-bottom网络来学习公用的特征；
22.shared-bottom网络中包含了多个专家网络能够学习样本不同方面的特性；每个任务都分别对应一个tower network，来学习当前任务独有的特征；
23.通过多个gate门控网络根据不同任务来选择专家网络的子集。
24.优选地，采用shared-bottom结构，学习购买行为的时候，用样本样例学习特征和模型参数。
25.优选地，采用mmoe模型训练特征列表时，加入classweight使用样本样例的倒数作为类别权重。
26.优选地，使用tensorflow框架的tf-serving的组建，tf-serving加载训练好的mmoe模型，从adx来的请求、广告库中的广告信息、dmp中的用户画像组合在一起，完成特征抽取；
27.根据特征抽取结果获取用户是否点击的概率p(click)、用户是否有站内浏览行为的概率p(viewcontent)、用户是否有加入购物车行为的概率p(addtocart)以及用户是否有购买行为的概率p(purchase)，根据用户是否点击的概率p(click)、用户是否有站内浏览行为的概率p(viewcontent)、用户是否有加入购物车行为的概率p(addtocart)以及用户是否有购买行为的概率p(purchase)，获取多个目标的得分，多个目标的得分计算如下：
28.多个目标的得分＝p(click)a*p(viewcontent)b*p(addtocart)c*p(purchase)d29.其中，a、b、c、d是参数，使用多个目标的得分对候选广告进行排序，将最高的多个目标的得分作为当前展示的广告，实现再营销广告效果预估。
30.本发明提出了一种基于多任务学习的再营销广告效果预估系统，包括：
31.目标获取模块，所述目标获取模块用于将用户是否点击、用户是否有站内浏览行为、用户是否有加入购物车行为和用户是否有购买行为作为目标；
32.特征列表获取模块，所述特征列表获取模块用于将广告相关的特征、用户相关的特征、上下文相关的特征作为特征列表；
33.样本样例获取模块，所述样本样例获取模块用于根据目标特征和特征列表构建样本样例，并对样本样例进行标注；
34.模型训练模块，所述模型训练模块用于根据标注的样本样例训练mmoe模型，学习模型参数；
35.在线推理模块，所述在线推理模块用于根据离线训练的mmoe模型，在线实时抽取特征，获取多个目标的得分，实现实时的再营销广告效果预估。
36.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现基于多任务学习的再营销广告效果预估方法的步骤。
37.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于多任务学习的再营销广告效果预估方法的步骤。
38.与现有技术相比，本发明具有以下有益效果：
39.本发明提出的一种基于多任务学习的再营销广告效果预估方法，通过特征设计、目标确定、样本样例构造和模型训练从海量的历史投放数据中学习知识，实时对请求完成特征抽取、获取多个目标的得分，将从离线模型训练出来的知识应用到生产环境中，实现实时的在营销广告效果预估。在特征设计阶段会将对各个目标有关的属性求并集当作特征，在模型训练阶段自动学习各个特征和目标之间的关系。本发明使用mmoe模型实现多个指标的预估，降低了传统多模型方案的复杂度，克服了因为购买/加购等行为数据稀疏而引发的训练效果不佳的问题。
40.进一步地，mmoe模型可以同时学习多个目标，通过专家网络和门控网络，可以把特征设计阶段各个目标相关的特征全部输入到模型中，自动学习特征和目标的关系。shared-bottom结构可以学习多个任务的共性特征，通过多个tower的设计，可以学习各个任务自己的特性，实现了多个任务的同时训练。
41.进一步地，通过shared-bottom结构，对于公共特征进行参数学习，缓解了purchase/addtocart训练任务因为行为数量太少导致的特征学习效果不佳的问题，因为公共特征在shared-bottom已经借助其他任务的数据进行了学习。
42.进一步地，在计算loss的时候，考虑上classweight，使mmoe模型能够平衡四个目标正负样本比例不一致的问题，最终是各个任务的训练效果达到均衡，不会出现在某个任务上表现非常好，其他任务上非常差的情况。
43.本发明提出的一种基于多任务学习的再营销广告效果预估系统，通过将预估系统划分为目标特征获取模块、特征列表获取模块、样本样例获取模块、模型训练模块和在线推理模块，采用模块化思想使各个模块之间相互独立，方便对各模块进行统一管理。
附图说明
44.为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
45.图1为现有技术的再营销广告的业务流程图。
46.图2为本发明基于多任务学习的再营销广告效果预估方法流程图。
47.图3为本发明的系统架构图。
48.图4为现有技术的mmoe模型结构图。
49.图5为本发明基于多任务学习的再营销广告效果预估系统图。
具体实施方式
50.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
51.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
53.在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
54.此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
55.在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
56.下面结合附图对本发明做进一步详细描述：
57.本发明的思路依然是在大规模的广告展示和对应效果数据上进行模型训练，线上实时对当前情况的广告展示进行评估，但是并没有采用传统的分别对ctr和cvr建模的方案，而是使用了一套多任务学习的方法，在一个模型里面同时进行多个目标的学习。同时去学习四个目标：1)用户是否点击click，2)用户是否有viewcontent行为(即站内浏览行为)，3)用户是否有addtocart行为，4)用户是否有purchase行为。
58.本发明提出的一种基于多任务学习的再营销广告效果预估方法，如图2所示，包括如下步骤：
59.将用户是否点击、用户是否有站内浏览行为、用户是否有加入购物车行为和用户
是否有购买行为作为目标；
60.将广告相关的特征、用户相关的特征、上下文相关的特征作为特征列表；
61.根据目标和特征列表构建样本样例，并对样本样例进行标注；
62.根据标注的样本样例训练mmoe模型，学习模型参数；
63.根据离线训练的mmoe模型，在线实时抽取特征，获取多个目标的得分，实现实时的再营销广告效果预估。
64.具体的：
65.步骤一：特征设计
66.特征是对一次广告展现的一个维度的刻画，因为本发明需要同时对多个效果指标进行预估，所以需要将影响这几个目标的因素都设计成为特征。
67.因为评估的是当前用户在当前上下文的情况下，是否会点击当前广告并产生购买行为，所以设计的特征主要包括三方面：广告相关的特征、上下文相关的特征和用户相关的特征。
68.广告相关的特征包括广告的id、创意素材id、广告的历史投放效果(例如，这个广告最近3/7/14天的展示量/点击量/转化量/点击率/转化率/曝光转化率)等等。
69.上下文相关的特征包括当前星期、小时、adx、媒体id、广告位类型、广告位大小、媒体的历史投放效果(例如，这个媒体最近3/7/14天的展示量/点击量/转化量/点击率/转化率/曝光转化率)等等。
70.用户相关的特征包括用户的地理位置(国家/城市)、设备信息(手机型号/操作系统/操作系统版本/语言)、用户在广告主网上的行为统计(例如，这个用户最近3/7/14天viewcontent次数/addtocart次数/purchase次数)等等。
71.这个特征体系里面，有些是跟用户是否点击当前广告有关：比如广告位类型、广告位大小、创意类型；有些是跟用户是否会产生购买有关系：比如用户在广告主网站的行为，如果最近有addtocart行为，但是没有付款，那么就会很大概率完成购买；还有一些是对多个目标都有关系，比如现在的星期、小时等。
72.步骤二：样本生成
73.样本生成是完成输出给模型的训练数据构造，将原始的数据构造成为一条条的《特征列表(featurelist),优化目标(target)》的pair对，在本发明中，因为要实现同时对多个目标的预估，所以最终构造的样本样例如下：
74.《广告相关的特征、用户相关的特征、上下文的特征、用户是否点击(0/1)、用户是否有viewcontent行为(0/1)、用户是否有addtocart行为(0/1)、用户是否有purchase行为(0/1)》
75.这里是否点击、是否有viewcontent、addtocart、purchase行为，都可以根据唯一的追踪id进行关联，来实现对一个记录的标注。离线从海量的历史广告投放数据中学习知识，广告展示是在媒体网站上发生的，后续行为是在广告主网站发生的，使用一个同一个tracking id关联各个阶段的行为，将抽取的特征和目标进行关联，基于历史的广告投放效果生成训练样本。
76.步骤三：模型训练
77.模型训练采用google的mmoe(multi-gate mixture-of-experts)模型进行训练，
如图3和图4所示，模型采用多任务学习中广泛采用的共享底层结构，shared-bottom网络位于底层，多个任务公用这一层，来学习一些公用的特征，shared-bottom网络中包含了多个专家网络，可以学习样本不同方面的特性；往上，每个任务都分别对应一个tower network，来学习当前任务独有的一些特征；中间通过gate网络连接，根据不同任务来选择专家网络的子集。
78.mmoe模型基于tensorflow实现，基于kerasapi实现网络结构的定义，每个任务的loss计算方法的定义，模型优化器的选择以及评估指标的选择，在数据集上进行多个epoch的迭代学习，每次epoch结束分别在训练集和验证集上计算truepositives，falsepositives，truenegatives，falsenegatives，binaryaccuracy，precision，recall，auc的指标，实时评估模型的学习效果，训练过程使用8卡的gpu服务器。
79.本发明提出的一种基于多任务学习的再营销广告效果预估方法，同时对用户是否点击click、用户是否有viewcontent行为(即站内浏览行为)、用户是否有addtocart行为以及用户是否有purchase行为这四个目标进行学习，因为这四个目标处于一个行为漏斗中，越往后用户行为越少，为了解决这个问题，本发明使用了两个解决方法：
80.1)、采用了shared-bottom结构，学习purchase的行为的时候，可以借用前面click/viewcontent/addtocart的样本学习特征和模型参数。这样公用特征就可以借用其他任务的样本进行参数学习，解决来链路后端行为太少，正样本不足引起的参数学习不准问题。
81.2)、加入classweight，使用样本数的倒数作为类别权重，在计算loss的时候，考虑上classweight，使模型能够同时优化四个目标。
82.步骤四：线上推理
83.线上推理使用tensorflow框架的tf-serving的组建，tf-serving加载训练好的模型，线上从adx来的请求、广告库中的广告信息、dmp中的用户画像组合在一起，完成特征抽取，将特征作为参数请求tf-serving，在tf-serving中输入的特征向量的值会在mmoe网络上进行前馈计算，网络参数使用离线训练好的模型参数，就可以得到四个概率：用户是否点击的概率p(click)、用户是否有viewcontent行为的概率p(viewcontent)、用户是否有addtocart行为的概率p(addtocart)以及用户是否有purchase行为的概率p(purchase)。
84.线上排序过程中，将四个概率进行指数加权并连乘，多个目标的得分＝p(click)a*p(viewcontent)b*p(addtocart)c*p(purchase)d，其中a、b、c、d是参数，可以根据重点想提升的维度对应的提权，使用最终得分对候选广告进行排序，取得分最高的作为当前展示的广告。在训练数据的验证集使用跟在线推理相同的公式计算所有样本的最终得分，求的中位数，以此作为是否竞价的标准，如果当前请求的最终得分大于阈值就使用最终得分最高的广告进行竞价，小于阈值就放弃竞价。
85.本发明提出了一种基于多任务学习的再营销广告效果预估系统，如图5所示，包括：
86.目标获取模块，所述目标获取模块用于将用户是否点击、用户是否有站内浏览行为、用户是否有加入购物车行为和用户是否有购买行为作为目标特征；
87.特征列表获取模块，所述特征列表获取模块用于将广告相关的特征、用户相关的特征、上下文相关的特征作为特征列表；
88.样本样例获取模块，所述样本样例获取模块用于根据目标特征和特征列表构建样本样例，并对样本样例进行标注；
89.模型训练模块，所述模型训练模块用于根据标注的样本样例训练mmoe模型，学习mmoe模型参数；
90.在线推理模块，所述在线推理模块用于根据离线训练的mmoe模型，在线实时抽取特征，获取多个目标的得分，实现实时的再营销广告效果预估。
91.本发明一实施例提供的终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
92.所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
93.所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
94.所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
95.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
96.所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
97.本发明提出的一种基于多任务学习的再营销广告效果预估方法及系统，具有以下优点：1)、特征同时包含了所有目标相关的feature，通过模型来学习特征对于目标的贡献度；2)、使用mmoe模型同时对多个目标进行预估，目标递进；3)、shared-bottom的结构是的相同的特征可以一起学习，保证了模型的鲁棒性，加入class weight，让各个目标在优化的过程中一样得到重视。
98.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。