一种基于强化学习的公告精准推送优化方法与流程

本发明涉及人工智能，尤其涉及一种基于强化学习的公告精准推送优化方法。

背景技术：

1、公告推送系统是互联网平台连接用户与信息的关键通道，其推送策略的优劣直接影响用户体验与平台运营效率。随着用户规模扩大和兴趣动态变化，基于静态规则的推送方法难以应对用户偏好的实时漂移，基于深度强化学习的推荐系统因具备序列决策与长期收益建模能力而受到关注。

2、离线强化学习旨在从预先收集的静态数据集中学习策略，无需与环境实时交互。bcq（batch-constrained q-learning）通过学习历史数据分布对动作空间进行约束，缓解了分布偏移导致的价值高估问题；cql（conservative q-learning）在贝尔曼目标中叠加正则化惩罚项以压低分布外动作的q值估计。然而，上述方法在公告推送场景中仍存在明显局限：bcq依赖条件变分自编码器（vae）生成候选动作，vae倾向于生成历史数据的均值回归结果，难以覆盖长尾用户群体的多样化需求；cql对所有分布外动作施加统一力度的保守惩罚，未区分高不确定区域与相对确定区域，导致策略在可准确估计的区域也过于保守。此外，现有方法较少考虑推送场景中用户反馈的随机性以及新用户冷启动阶段数据稀疏性问题。

技术实现思路

1、本发明的一个目的在于提出一种基于强化学习的公告精准推送优化方法，本发明引入条件扩散概率模型替代变分自编码器，融合等变性先验与保守q学习框架构建q网络集成体，对状态空间执行对称变换与等变性损失约束，对候选动作执行校正q值评估与选择，构建经验四元组存储于经验回放池，具备公告推送精准度高、冷启动适应性强、长短期收益协同好的优点。

2、根据本发明实施例的一种基于强化学习的公告精准推送优化方法，包括如下步骤：

3、采集用户日志与公告数据，对日志时间衰减加权得兴趣特征，对公告类别编码及时效标记，拼接得状态向量；

4、基于bcq学习框架，以离线状态-动作对训练条件扩散生成器替代标准变分自编码器，将状态向量作为条件输入扩散生成器，前向加噪将历史动作扰动至纯高斯噪声，反向去噪以当前状态为条件逐歩去除噪声恢复完整动作，从若干个随机噪声种子采样去噪后输出k个候选动作，候选动作含公告标识、推送延迟时长、渠道编码；

5、基于cql学习框架构建n个q子网络集成，定义状态平移反射对称群，构造等变性损失度量原始状态与变换后状态经逆映射的q值均方误差，等变性损失与td误差加权为子网络训练损失，引入保守正则化在贝尔曼目标叠加惩罚值，惩罚值与n个q输出方差正相关；

6、候选动作输入集成得基础q均值，减惩罚得校正q，选最大校正q值动作执行推送；

7、采集用户点击、阅读、关闭反馈计算奖励；

8、用奖励、前状态、动作、后状态组成四元组存经验池；

9、从经验池随机采样批量四元组；

10、计算td误差、等变性损失、正则项，加权求和后对扩散生成器与q集成体联合更新，以更新后的参数重新执行候选动作生成和推送决策。

11、可选的，所述对日志时间衰减加权得兴趣特征具体包括：

12、对用户行为日志预设行为类型权重，行为类型包含浏览、点击、完整阅读、关闭；对每条日志，根据行为发生时刻距当前时刻的时间差确定衰减系数；

13、用衰减系数调整此条日志的行为类型权重，得到此条日志的贡献值；将同一用户全部日志的贡献值按公告类别维度分别累加，得到此用户在各公告类别上的兴趣分值向量；

14、对兴趣分值向量进行归一化处理，将归一化后的兴趣分值向量作为兴趣特征。

15、可选的，所述训练条件扩散生成器替代标准变分自编码器包括：

16、条件扩散生成器采用去噪扩散概率模型架构，包含前向加噪过程和反向去噪过程；

17、前向加噪过程设定总步数t，t取值在100至1000之间，采用线性噪声调度策略，每一步向当前样本添加均值为零、方差随步数递增的高斯噪声，形成从初始动作样本到标准高斯分布的马尔可夫链，到达第t步时样本分布近似为标准高斯分布；

18、反向去噪过程学习从标准高斯分布出发，沿t步逆向逐步还原为完整动作的条件分布，每一步以当前状态向量作为引导条件，利用一个可训练的噪声预测网络接收三个输入：当前步的噪声样本、当前步数索引、状态向量，输出此步添加的预测噪声；

19、噪声预测网络采用u型网络结构，包含下采样编码路径和上采样解码路径，在各层级之间通过跳跃连接传递特征，状态向量通过交叉注意力机制在各解码层级注入网络；

20、训练阶段，从离线数据集中随机采样历史状态-动作对，对每个动作样本随机抽取一个步数索引，按前向过程生成此步的加噪样本和真实添加噪声，将加噪样本、步数索引、条件状态向量输入噪声预测网络，计算预测噪声与真实噪声之间的均方误差作为此步损失，所有步数的损失按预设权重表加权求和作为总训练损失；

21、训练完成后，反向去噪过程能够在给定任意当前状态向量的条件下，从随机高斯噪声逐步生成与离线数据分布一致且受当前状态约束的完整动作。

22、可选的，所述从若干个随机噪声种子采样去噪后输出k个候选动作包括：

23、在每次在线决策时刻，从标准高斯分布中独立采样k个随机噪声种子，k值根据业务需求预设为5至20之间的正整数，各噪声种子之间互不相同；

24、将k个噪声种子并行输入训练完成的条件扩散生成器，每个噪声种子各自独立执行完整的反向去噪全流程，每一步均以当前时刻的相同状态向量作为条件引导，经t步迭代后k个噪声种子分别收敛为k个互不相同的完整动作，各动作对应不同的公告标识、推送延迟时长和渠道编码组合；

25、对k个完整动作施加bcq框架的批量约束机制：训练一个独立的条件变分自编码器或高斯混合模型以学习离线数据集中状态-动作的联合分布，将此模型作为动作有效性判别器，对每个生成动作计算其在给定当前状态下的条件概率密度估计值；

26、当概率密度值低于预设阈值时拒绝此动作，保留概率密度值高于阈值的动作构成候选动作集合；

27、若经约束筛选后的候选动作数量不足，则从剩余未筛选动作中选取概率密度值最高的若干个动作补足至预设数量k；

28、公告标识采用独热编码向量表示待推送公告的唯一身份，推送延迟时长以秒为单位量化指定推送等待时间，渠道编码采用离散数值标记推送通道的类型。

29、可选的，所述基于cql学习框架构建n个q子网络集成包括：

30、构建包含n个独立初始化的q子网络，各q子网络采用相同的神经网络结构但参数初始化取值互不相同，n取值为3至10之间的正整数。

31、各q子网络的输入均为状态向量与动作拼接形成的状态-动作对，输出为标量q值；

32、对状态向量所在的状态空间定义一组对称变换群组，群组中的每个变换将状态向量映射为变换后状态向量，变换包括状态空间中各维度的平移变换和反射变换，且所有变换均为可逆变换，每个变换对应唯一的逆变换；

33、对每个q子网络构造等变性损失项：从状态空间中采样原始状态向量，对原始状态向量施加对称群组中的任一变换得到变换后状态向量，将原始状态向量与候选动作组成第一状态-动作对，输入q子网络得到第一q值，将变换后状态向量与同一候选动作组成第二状态-动作对，输入同一q子网络得到第二q值， 对第二q值施加变换对应的逆变换得到映射后q值，计算第一q值与映射后q值之间的均方误差作为变换下的等变性损失；

34、对每个q子网络，在全部变换下及各采样状态上计算等变性损失的均值作为子网络的等变性损失项；

35、各q子网络的个体训练损失由等变性损失项与标准时序差分误差项加权求和构成，其中等变性损失项的权重系数预设为正值，标准时序差分误差项的权重系数预设为1，各q子网络基于自身的个体训练损失独立更新网络参数。

36、可选的，所述引入保守正则化在贝尔曼目标叠加惩罚值包括：

37、在cql框架下，对各q子网络的贝尔曼更新目标中叠加保守正则化惩罚值；

38、惩罚值的计算方式为：将当前状态向量与候选动作组成状态-动作对，分别输入n个q子网络得到n个q值输出，计算n个q值输出的方差，将方差乘以预设的正系数得到惩罚值；

39、各q子网络的保守正则化损失为所有状态-动作对上的惩罚值期望，惩罚值期望通过对经验回放池中采样的批量状态-动作对取均值来估计；

40、各q子网络的完整训练目标函数包含三项：标准时序差分误差项用于保证q值估计的时间一致性，等变性损失项用于约束q函数在状态对称变换下的输出稳定性，保守正则化损失项用于压低分布外状态-动作对的q值估计；

41、三项损失按预设权重系数加权求和作为各q子网络的总训练损失，其中保守正则化损失项的权重系数与n个q子网络输出值的全局方差正相关；

42、惩罚值在贝尔曼目标中作为减法项参与q值更新。

43、可选的，所述选最大校正q值动作执行推送具体包括：

44、将候选动作集合中的各候选动作分别与当前状态向量组成状态-动作对，分别输入n个q子网络，对同一状态-动作对的n个q值取算术平均得到基础q均值；依据惩罚值计算方式获取状态-动作对所对应的惩罚值；将基础q均值减去惩罚值得到校正后q值；遍历k个候选动作，计算各自校正后q值，选取数值最大者对应的候选动作作为最优推送决策。

45、从最优推送决策中提取公告标识确定待推送公告，提取推送延迟时长确定推送前等待时间，提取渠道编码确定推送通道；等待时间期满后通过通道向目标用户发送公告；推送完成后记录实际推送时刻。

46、可选的，所述用奖励、前状态、动作、后状态组成四元组存经验池具体包括：

47、将执行推送前最后一次采集，拼接生成的状态向量作为前状态，将最优推送决策作为动作，将根据用户交互反馈计算得到的标量奖励值作为奖励，将推送执行后重新采集用户日志与公告数据，拼接生成的新状态向量作为后状态，将前状态、动作、奖励、后状态四个元素按序组合为一条经验四元组。

48、将经验四元组作为一条独立记录追加存储于经验回放池中，经验回放池采用先进先出队列结构，当池中存储的经验四元组总数达到预设容量上限时，删除存储时间最早的经验四元组以腾出存储空间，新存入的经验四元组携带时间戳标记。

49、可选的，所述从经验池随机采样批量四元组具体包括：

50、当经验回放池中存储的经验四元组数量达到预设最小采样阈值后触发批量采样操作，从经验回放池中均匀随机抽取b条经验四元组，各条被抽中的概率相等且各次抽取相互独立，抽取后原四元组仍保留于池中；将抽取出的b条四元组组织为一个训练批次，此批次中各四元组的前状态、动作、奖励、后状态分别对齐为四个张量。

51、可选的，所述计算td误差、等变性损失、正则项，加权求和后对扩散生成器与q集成体联合更新具体包括：

52、从训练批次中提取b条四元组，各四元组包含前状态、动作、奖励、后状态；将前状态与动作输入q集成体得到当前q值，将后状态输入目标q网络得到td目标值，计算两者均方误差作为td误差；将等变性损失项和正则项分别代入当前批次重新计算；将td误差、等变性损失、正则项按预设权重加权求和得到总损失，利用总损失对扩散生成器和q集成体进行梯度更新，以新参数替代旧参数后重新执行候选动作生成和推送决策直至训练收敛。

53、本发明的有益效果是：

54、（1）本发明采用条件扩散概率模型替代传统变分自编码器，通过前向加噪与反向去噪过程从多个随机噪声种子生成候选动作集合，能够覆盖历史数据中的多模态分布，避免动作生成陷入均值回归，显著提升推送策略的多样性和对长尾用户的覆盖能力。

55、（2）本发明在cql框架基础上引入状态空间的平移与反射等变性先验约束，利用等变性损失引导q网络学习状态变换下的输出一致性，能够从小样本中挖掘数据的对称结构，显著提升数据稀疏场景下的q值估计精度，缩短新用户冷启动时间。

56、（3）本发明将保守正则化惩罚值与q集成网络输出方差正相关，自动在数据分布外部区域施加更强惩罚，在数据密集区域减弱惩罚，实现保守力度的差异化调控，解决了传统cql统一惩罚导致的策略过于保守问题，提升了推送系统的整体收益。

57、（4）本发明通过条件扩散生成器与q网络集成体的联合梯度更新，形成“生成-评估-执行-反馈-学习”的闭环优化机制，使系统能够在保证短期点击率的同时维护长期用户留存，实现推送策略的持续自主进化。