基于流匹配候选采样与预测器引导的实时竞价出价重排方法与流程

摘要: 本发明涉及计算机,更具体地说,涉及基于流匹配候选采样与预测器引导的实时竞价出价重排方法。背景技术:1、实时竞价(rtb)作为程序化广告的核心交易机制,要求广告主...
基于流匹配候选采样与预测器引导的实时竞价出价重排方法与流程

本发明涉及计算机,更具体地说,涉及基于流匹配候选采样与预测器引导的实时竞价出价重排方法。

背景技术:

1、实时竞价(rtb)作为程序化广告的核心交易机制,要求广告主在毫秒级的时间约束内快速生成出价。当前主流的出价策略生成方法主要包括传统线性规划优化、离线强化学习、序列决策模型(如decision transformer)以及基于深度生成模型的方法(如diffbid和条件流匹配cfm方法)。

2、现有技术方案虽然生成机制各异,但普遍存在一个共性结构缺陷:单次推理仅产生一个出价动作。无论是基于深度生成模型ode/sde 求解输出单一样本,还是decisiontransformer通过自回归预测获得单一动作。现有技术均采用“单次采样、直接采用”的范式。这种范式将生成模型在训练过程中学到的完整策略分布退化为单点输出,未能利用生成模型隐含的策略多样性,完全丢弃了候选间的相对优劣信息。在rtb这种结果反馈高度嘈杂的场景中,单一样本恰好命中最优动作的概率较低,导致决策效率不佳。而且历史竞价日志中往往包含大量违约或低效的样本,生成模型忠实学习该分布后,单次采样可能直接输出高风险动作。

3、此外,现有生成方法的训练均是以分布匹配为目标,不是效果最大化为目标,缺乏对候选动作预期效果的评估与筛选机制,无法进行候选动作间的比较与择优。

技术实现思路

1、有鉴于此,本发明提供了基于流匹配候选采样与预测器引导的实时竞价出价重排方法,用于解决现有出价生成方法,决策效率不佳,无法进行候选动作间的比较与择优的问题。

2、为实现上述目的,现提出的方案如下:

3、基于流匹配候选采样与预测器引导的实时竞价出价重排方法,包括:

4、获取当前决策时间步的状态向量,通过序列编码器对历史竞价序列进行编码,得到上下文向量,并将上下文向量与目标回报拼接构造条件向量;

5、基于多噪声并行采样策略,利用预训练的一维条件流匹配生成器生成k个候选出价乘数;

6、利用独立训练的结果预测器,根据条件向量和每个候选出价乘数,预测对应的预期奖励和/或预期成本;

7、根据预期奖励和/或预期成本计算评分,并从k个候选出价乘数中选出评分最高的候选出价乘数作为最优出价乘数;

8、利用最优出价乘数计算最终的实时竞价出价。

9、优选地,方法还包括:

10、获取当前决策时间步的实际竞价结果,更新剩余预算、各项历史统计量和目标回报,构造下一决策时间步的状态向量;

11、将新的状态向量追加到历史序列中,进行下一决策时间步的出价决策,直至满足预设结束条件。

12、优选地,基于多噪声并行采样策略,利用预训练的一维条件流匹配生成器生成k个候选出价乘数,包括:

13、对流匹配常微分方程的各条轨迹并行采样,得到k个初始噪声向量;

14、将k个初始噪声向量拼接为初始张量,并将条件向量在批维度上广播;其中k为大于1的整数;

15、采用欧拉法 n步迭代并行求解一维条件流匹配常微分方程,得到包含k个元素的候选集张量,所述候选集张量中的每个元素对应一个候选出价乘数。

16、优选地,流匹配常微分方程轨迹噪声采样策略包括:独立同分布采样、对偶采样、准蒙特卡洛采样或温度调节采样。

17、优选地,候选数k通过边际收益收敛准则、延迟预算回填准则和/或动态自适应在验证集上确定。

18、优选地,所述边际收益收敛准则为监测验证集上 候选数为k的最优出价乘数评分与候选数为k-1的最优出价乘数评分相对的边际改进,当连续若干个候选数k的边际改进低于阈值时停止增大候选数k;

19、所述延迟预算回填准则为根据实时竞价系统的端到端推理延迟预算进行候选数k回填,计算在允许的最大响应时间内能够并行求解的常微分方程轨迹的最大数量,并将该最大数量确定为候选数k值;

20、动态自适应为将候选数k作为推理时超参数,根据当前流量负载与剩余预算紧迫度自适应调节。

21、优选地,预测器与一维条件流匹配生成器完全解耦独立训练;

22、预测器独立训练过程,包括;

23、使用历史竞价日志构建训练样本,其中,各训练样本为各决策时间步的条件向量、出价乘数、实际奖励和实际成本的四元组;

24、以变换后的目标的均方误差为损失函数进行训练。

25、优选地,所述结果预测器训练过程,还包括:

26、若一维条件流匹配生成器采样落入历史策略未充分覆盖的区域时,结果预测器基于重要性加权训练、支撑集约束或集成方差惩罚进行系统性偏差调控;

27、若存在系统性偏差,结果预测器基于保序回归校准、温度缩放 / platt 缩放或置信区间评分进行校准。

28、优选地,通过标量评分函数将预期奖励和/或预期成本聚合得到评分;其中,标量评分函数为:纯奖励评分、奖励—成本比评分、奖励—成本加权差评分或复合 penalty 评分。

29、根据本发明提供的具体实施例,本发明公开了以下技术效果:

30、(1)本发明一维条件流匹配生成器通过多噪声并行采样显式重建k个候选出价乘数,配合预测器对每个候选给出预期效果估计,实现“采样—评估—选优”的完整决策链路。本发明通过候选打分择优锁定真实最优出价模式,大幅降低单次采样命中低效,提高了实时竞价场景下的决策质量与鲁棒性。

31、(2)本发明将一维条件流匹配生成器和结果预测器设置为两个独立模块,两者可独立设计、独立训练、独立替换。在部署时,生成器无需重训即可叠加预测器升级,反之亦然;预测器可基于线上回流数据持续在线学习,与离线训练的生成器形成“离线分布建模+在线效果校准”的双速度迭代结构;k值可作为推理时超参数动态调节,在算力宽裕时增大k 提升决策质量,在峰值流量时降低k节省算力,无需重训任何模型。本发明生成器和预测器均能够独立优化,大大提高了部署灵活性。

32、(3)本发明将一维条件流匹配生成器和结果预测器解耦训练,生成器的训练目标专注于忠实学习动作的边际分布,包括其多峰结构与尾部样本;预测器的训练目标独立于动作分布学习奖励/成本的判别函数。两者通过推理时的“采样—重排”链路串接,多峰分布下的不同模式作为不同候选独立呈现,由结果预测器分别打分后选出真正最优模式,避免了均值塌陷。

33、(4)本发明利用一维动作空间下流匹配常微分方程的标量结构,将k条常微分方程轨迹组织为批维度上的张量并行求解,k个候选采样的墙钟时间与k=1同阶,使“多候选采样—筛选”链路能够满足rtb实时性约束。

34、(5)本发明对回归目标施加单调凸的重尾压缩变换,在保持可解析逆变换的前提下显著降低高值样本的损失贡献,使预测器在主流区间获得更精细的拟合,同时保证了候选间相对排序在变换前后保持一致,不影响重排逻辑。

1.基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,包括:

2.根据权利要求1所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,还包括:

3.根据权利要求1所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,基于多噪声并行采样策略,利用预训练的一维条件流匹配生成器生成k个候选出价乘数,包括:

4.根据权利要求3所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,流匹配常微分方程轨迹噪声采样策略包括:独立同分布采样、对偶采样、准蒙特卡洛采样或温度调节采样。

5.根据权利要求1所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,候选数k通过边际收益收敛准则、延迟预算回填准则和/或动态自适应在验证集上确定。

6.根据权利要求5所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,所述边际收益收敛准则为监测验证集上 候选数为k的最优出价乘数评分与候选数为k-1的最优出价乘数评分相对的边际改进,当连续若干个候选数k的边际改进低于阈值时停止增大候选数k;

7.根据权利要求1所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,预测器与一维条件流匹配生成器完全解耦独立训练;

8.根据权利要求7所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,所述结果预测器训练过程,还包括:

9.根据权利要求1所述的基于流匹配候选采样与预测器引导的实时竞价出价重排方法,其特征在于,通过标量评分函数将预期奖励和/或预期成本聚合得到评分;其中,标量评分函数为:纯奖励评分、奖励—成本比评分、奖励—成本加权差评分或复合 penalty 评分。