基于双适配器响应建模的约束自动出价方法及系统
本发明属于计算广告及自动控制领域,具体涉及一种基于双适配器响应建模的约束自动出价方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
2、在线广告平台通常通过实时竞价机制分配展示机会,广告主在投放计划中设定总预算、目标单次转化成本等约束,自动出价系统则在多个连续决策区间内调整出价强度,以在满足投放约束的同时尽可能获得更多转化。由于当前动作既影响本区间的竞价结果,又会改变后续区间的剩余预算和可行动作集合,广告平台的自动出价属于长时域序贯决策问题。
3、现有方法主要包括基于策略模型的出价方法和基于响应模型的优化控制方法。基于策略模型的方法通常利用监督学习、强化学习或序列建模技术,根据当前投放状态、历史投放轨迹及约束信息直接生成出价动作。该类方法能够从历史数据中学习状态与动作之间的映射关系,但通常缺少对不同候选动作所对应预算消耗和转化收益的显式估计,因而难以直观分析动作选择依据,也不便于在决策过程中直接校验预算和目标单次转化成本等约束。
4、基于响应模型的优化控制方法首先预测不同候选出价动作对应的成本、转化等投放响应,再根据预测结果调整当前出价动作。该类方法能够显式比较不同候选动作的预期收益及约束满足情况,具有较好的决策可解释性和约束控制能力。然而,现有响应模型通常采用基于多个历史投放计划统一训练且在推理阶段参数固定的共享预测模型。一方面,不同投放计划在流量构成、竞争环境和转化特征等方面存在差异,统一的共享模型容易对不同的响应模式进行平均,难以准确描述当前投放计划的响应特征;另一方面,单个投放计划的响应关系还可能随投放进程发生变化,而参数固定的模型无法根据近期实际投放反馈及时调整,对响应预估的准确性难以保障,最终可能造成预算消耗过快、投放不足、目标单次转化成本超限或转化收益降低,从而降低低广告活动的投放效果和约束控制可靠性。
技术实现思路
1、本发明为了解决上述问题,提出了一种基于双适配器响应建模的约束自动出价方法及系统。
2、根据一些实施例,本发明采用如下技术方案:
3、一种基于双适配器响应建模的约束自动出价方法,包括以下步骤:
4、获取目标广告活动的投放信息,所述投放信息包括投放约束、当前活动状态、最近设定时间段内已完成决策区间的投放记录、未来目标区间上下文以及候选出价动作集合;所述投放约束包括总预算约束和目标单次转化成本约束;
5、以所述当前活动状态、未来目标区间上下文和候选出价动作集合作为双适配器响应预测模型的输入,所述双适配器响应预测模型包括共享响应预测骨干、时序元学习适配器、混合专家适配器和进度感知融合模块,其中,所述共享响应预测骨干生成各候选出价动作对应的成本响应基础预测和转化响应基础预测,混合专家适配器根据当前预测上下文生成跨广告活动残差修正,更新后的时序元学习适配器生成活动内残差修正,所述进度感知融合模块根据当前广告活动的投放进度,对所述跨广告活动残差修正和活动内残差修正进行加权融合,并将融合后的残差修正与所述基础预测结合,得到各候选出价动作在剩余投放时域内的成本响应预测和转化响应预测,根据所述成本响应预测和转化响应预测从候选出价动作集合中确定满足投放约束的当前出价动作;
6、所述时序元学习适配器的更新过程为:判断当前决策区间是否到达预设适配锚点,当到达适配锚点时,根据所述最近设定时间段内已完成决策区间的投放记录更新时序元学习适配器的活动专属参数;
7、以所述当前出价动作执行实际出价,并在当前决策区间结束后获取实际成本响应和实际转化响应,更新投放信息,在下一决策区间重复上述步骤,直至目标广告活动结束。
8、作为可选择的实施方式,获取目标广告活动的投放信息的过程包括:所述目标广告活动的投放信息还包括广告活动画像特征、预算节奏特征、最近设定时间段内市场反馈特征、历史目标区间先验特征和竞争环境特征,其中,广告活动画像特征包括广告主行业类别、广告活动总预算和目标单次转化成本;预算节奏特征包括当前决策时刻的剩余预算、累计成本、累计期望转化量、累计单次转化成本、预算消耗比例、预算剩余比例、期望预算消耗进度、实际预算消耗进度与期望预算消耗进度之间的偏差、剩余投放时间占比;最近设定时间段内市场反馈特征根据当前决策时刻之前已经产生的实际投放数据构造,包括历史回溯窗口内的成本、广告展示机会竞得率、平均预测转化概率和平均最低胜出成本;历史目标区间先验特征根据一个或多个历史广告活动中与未来目标区间相对应的投放数据构造,包括对应目标区间的平均广告展示机会数量和平均预测转化概率;
9、对投放信息中的连续变量进行标准化处理,对包括广告主行业类别在内的分类变量进行嵌入编码处理,并对缺失值进行填补。
10、作为可选择的实施方式,所述当前活动状态包括剩余预算、活动进度、累计成本、累计转化和近期投放统计,所述投放记录包括历史活动状态、已执行出价动作以及执行所述出价动作后产生的实际成本响应和实际转化响应。
11、作为可选择的实施方式,所述候选出价动作集合为,其中,为候选出价动作的数量,每一候选出价动作表示相对于目标单次转化成本的出价调节系数;
12、对于当前决策区间内的第个广告展示机会,所执行的实际出价表示为:
13、;
14、其中,表示实际出价,表示从候选出价动作集合中选出的当前出价动作,表示目标单次转化成本,表示第个广告展示机会对应的预测转化概率。
15、作为可选择的实施方式,对于决策区间,其观测响应向量表示为:
16、;
17、其中,表示执行出价动作后产生的实际成本响应,表示执行出价动作后产生的实际转化响应;
18、在当前决策区间,候选出价动作在未来目标区间的待预测响应向量表示为:
19、;
20、其中,为当前活动状态向量,由广告活动画像特征、预算节奏特征和最近设定时间段内市场反馈特征组合而成,为未来目标区间上下文,由历史目标区间先验特征、竞争环境特征以及目标区间的时间位置特征组合而成。
21、作为可选择的实施方式,所述共享响应预测骨干包括状态编码器、上下文编码器、成本预测头和转化预测头,状态编码器将当前活动状态向量编码为状态表示,上下文编码器将未来目标区间上下文和候选出价动作编码为动作条件上下文表示,表示为:
22、;
23、其中,表示当前决策区间,为当前活动状态向量,为未来目标区间上下文,表示状态编码器,表示上下文编码器,表示当前活动状态的隐藏表示,表示由未来目标区间上下文和候选出价动作共同确定的动作条件上下文表示;
24、成本预测头和转化预测头根据所述状态表示和动作条件上下文表示生成基础响应预测:
25、;
26、其中,表示成本预测头,表示转化预测头,表示候选出价动作在未来目标区间对应的成本响应和转化响应的基础预测。
27、作为进一步限定的实施方式,对成本响应标签和转化响应标签分别执行变换,并在变换后的响应空间中进行基线预测和残差修正;
28、共享响应预测骨干的训练损失表示为:
29、;
30、其中,表示由历史广告活动构成的离线训练集,表示未来目标区间的实际响应标签,实际响应标签包括成本响应标签和转化响应标签。
31、作为更进一步限定的实施方式,所述混合专家适配器包括个残差专家和路由网络,路由网络根据当前活动状态表示和动作条件上下文表示生成各残差专家对应的归一化权重:
32、;
33、其中,
34、;
35、所述混合专家适配器生成的跨广告活动残差修正为:
36、;
37、其中,表示第个残差专家,每个残差专家输出与基线预测维度相同的残差修正;
38、路由网络根据当前活动状态、未来目标区间和候选出价动作确定各残差专家的组合权重,将从历史广告活动中学习到的响应模式迁移至未参与训练的广告活动或历史反馈稀疏的广告活动。
39、在训练所述混合专家适配器时,固定所述共享响应预测骨干的模型参数,并优化残差专家和路由网络:
40、;
41、其中,为混合专家适配器网络的训练损失。
42、作为可选择的实施方式,时序元学习适配器在离线训练阶段将每个按照决策时间排序的广告活动序列构造为一个元学习任务,并在每个广告活动序列中设置一个或多个适配锚点;
43、对于第个适配锚点,将该适配锚点之前最近个已完成决策区间的观测数据构造为支持集:
44、;
45、其中,表示执行历史出价动作后观测到的实际成本响应和实际转化响应;
46、所述时序元学习适配器根据状态表示、动作条件上下文表示和基线预测生成活动内残差修正:
47、;
48、其中,表示参数为的时序元学习适配器;
49、对于任意响应样本集合,时序元学习适配器的预测损失为:
50、;
51、在广告活动开始时,将时序元学习适配器的活动专属参数初始化为共享初始化参数;在第个适配锚点处,根据对应支持集执行内循环更新:
52、;
53、其中,表示内循环学习率;更新后的活动专属参数被保留并作为下一适配锚点的初始参数,使当前广告活动的反馈信息能够随投放过程逐步积累。
54、作为进一步限定的实施方式,在离线元训练阶段,将位于适配锚点之后的多个决策区间构造为查询集;支持集用于更新时序元学习适配器,查询集仅用于评价根据支持集更新后的时序元学习适配器,不用于当前适配锚点处的内循环更新;
55、各适配锚点对应的查询损失之和为:
56、;
57、根据所述查询损失更新共享初始化参数:
58、;
59、其中,表示外循环学习率,表示忽略内循环更新所产生二阶导数的一阶近似梯度;
60、在线投放阶段,时序元学习适配器仅根据当前决策时刻之前已经观测到的实际投放反馈执行内循环更新,不构造查询集且不执行外循环更新;共享响应预测骨干和混合专家适配器的模型参数保持固定。
61、进一步地,根据当前广告活动的投放进度确定时序元学习适配器、混合专家适配器对应的融合权重,设广告活动包括个决策区间,当前决策区间为,则归一化投放进度为:
62、;
63、分配给跨广告活动残差修正的融合权重为:
64、;
65、其中,表示衰减系数,分配给活动内残差修正的融合权重为;
66、在变换后的响应空间中,融合预测表示为:
67、;
68、其中,表示当前决策区间对应的活动专属适配参数;
69、通过按元素执行逆变换,将融合预测恢复至原始成本和转化响应空间:
70、;
71、其中,和分别表示候选出价动作在未来目标区间的预测成本响应和预测转化响应;
72、进一步地,对于任一候选出价动作,假设在当前决策区间至活动结束的各未来目标区间内持续采用该候选出价动作,并对各未来目标区间的预测响应进行聚合:
73、;
74、其中,表示候选出价动作对应的预测剩余成本,表示候选出价动作对应的预测剩余转化;
75、设当前决策区间开始前已经产生的累计成本和累计转化分别为和,则候选出价动作对应的预测活动级单次转化成本为:
76、;
77、其中,为用于避免分母为零的常数;
78、当存在同时满足剩余预算约束和目标单次转化成本约束的候选出价动作时,按照下式选择当前出价动作:
79、;
80、满足:
81、;
82、其中,表示当前决策区间的剩余预算;
83、当不存在同时满足两项约束的候选出价动作时,对满足剩余预算约束的候选出价动作计算单次转化成本惩罚评分:
84、;
85、其中,表示单次转化成本超限惩罚系数,并按照下式选择当前出价动作:
86、;
87、仅在当前决策区间执行所选择的出价动作。
88、一种基于双适配器响应建模的约束自动出价系统,包括:
89、信息获取模块,用于获取目标广告活动的投放信息,所述投放信息包括投放约束、当前活动状态、最近设定时间段内已完成决策区间的投放记录、未来目标区间上下文以及候选出价动作集合;所述投放约束包括总预算约束和目标单次转化成本约束;
90、双适配器响应预测模块,用于以所述当前活动状态、未来目标区间上下文和候选出价动作集合作为双适配器响应预测模型的输入,所述双适配器响应预测模型包括共享响应预测骨干、时序元学习适配器、混合专家适配器和进度感知融合模块,其中,所述共享响应预测骨干生成各候选出价动作对应的成本响应基础预测和转化响应基础预测,混合专家适配器根据当前预测上下文生成跨广告活动残差修正,更新后的时序元学习适配器生成活动内残差修正,所述进度感知融合模块根据当前广告活动的投放进度,对所述跨广告活动残差修正和活动内残差修正进行加权融合,并将融合后的残差修正与所述基础预测结合,得到各候选出价动作在剩余投放时域内的成本响应预测和转化响应预测,根据所述成本响应预测和转化响应预测从候选出价动作集合中确定满足投放约束的当前出价动作;
91、活动内适配模块,用于判断当前决策区间是否到达预设适配锚点,当到达适配锚点时,根据所述最近设定时间段内已完成决策区间的投放记录更新时序元学习适配器的活动专属参数;
92、出价执行与反馈更新模块,用于以所述当前出价动作执行实际出价,并在当前决策区间结束后获取实际成本响应和实际转化响应,更新投放信息,在下一决策区间重复上述步骤,直至目标广告活动结束。
93、与现有技术相比,本发明的有益效果为:
94、本发明通过共享响应预测骨干和软路由混合专家适配器迁移历史广告活动的响应规律,并利用时序元学习适配器根据近期投放反馈适应当前广告活动的响应变化;同时结合进度感知融合和滚动时域模型预测控制,在预算和目标单次转化成本约束下选择出价动作,从而提高响应预测的适应能力以及自动出价决策的可解释性和约束控制可靠性。
95、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com