物品推荐方法、装置、设备、计算机可读介质和程序产品与流程

本公开的实施例涉及计算机技术和人工智能领域，具体涉及物品推荐方法、装置、设备、计算机可读介质和程序产品。

背景技术：

1、目前，在现代工业级推荐系统中，无论是传统的级联框架（召回->粗排->精排->重排），还是近期基于生成式大语言模型（llm）的新一代推荐框架，重排序（re-ranking）始终是最靠近用户、直接决定最终曝光结果的关键阶段。重排序在实现业务目标（点击、转化、停留时长等）与控制曝光多样性、缓解信息冗余之间起着核心作用。对于上游输出的候选推荐物品序列的重排，通常采用的方式为：首先，由生成器产生多个候选推荐物品序列。然后，由评估器通过对真实曝光上下文进行建模，从多个候选推荐物品序列中挑选最优的候选推荐物品序列用于在线曝光。

2、然而，当采用上述方式，经常会存在如下技术问题：

3、现有重排放方法（例如，启发式分数加权采样、beam-search、pointer network等）容易产生同质化轨迹，使评估器仅在一个狭窄的子空间中进行选择，模型陷入局部最优，导致推荐结果精度受到影响。除此之外，难以在工业级的延迟约束下实现推荐结果的快速响应。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了物品推荐方法、装置、设备、计算机可读介质和程序产品，来解决以上背景技术部分提到的技术问题。

3、第一方面，本公开的一些实施例提供了一种物品推荐方法，包括：获取目标推荐请求对应的候选推荐物品集和目标用户对应的用户行为信息；将上述候选推荐物品集和上述用户行为信息输入至预训练的重排模型中的编码层，得到推荐物品编码信息，其中，上述重排模型还包括：多个并行的解码头；将上述推荐物品编码信息输入至上述多个并行的解码头，以多次并行输出多个推荐物品；利用多机制采样策略，生成上述多个推荐物品对应的推荐物品序列；执行针对上述推荐物品序列的物品推荐。

4、可选地，上述将上述候选推荐物品集和上述用户行为信息输入至预训练的重排模型中的编码层，得到推荐物品编码信息，包括：利用上述编码层，执行以下生成步骤：对于每个候选推荐物品，根据上述用户行为信息，提取在上述目标用户对应兴趣下的上述候选推荐物品的物品表征信息；基于得到的各个物品表征信息之间的全局上下文依赖，生成上述候选推荐物品集中的每个候选推荐物品的物品嵌入信息，得到物品嵌入信息集，作为推荐物品编码信息。

5、可选地，上述将上述推荐物品编码信息输入至上述多个并行的解码头，以多次并行输出多个推荐物品，包括：将上述物品嵌入信息集作为键值信息，上述候选推荐物品集对应位置嵌入集作为查询信息，对上述物品嵌入信息集进行查询嵌入更新，得到更新后物品嵌入信息集，作为推荐物品编码信息；将上述推荐物品编码信息输入至上述多个并行的解码头，以进行多次逐步并行解码，得到上述多个推荐物品。

6、可选地，上述多机制采样策略是基于组束搜索技术和启发式采样技术来进行序列生成的策略；以及上述利用多机制采样策略，生成上述多个推荐物品对应的推荐物品序列，包括：根据上述多个推荐物品，利用上述组束搜索技术，生成第一候选推荐物品序列集；根据上述多个推荐物品，利用上述启发式采样技术，生成第二候选推荐物品序列集；将上述第一候选推荐物品序列集和上述第二候选推荐物品序列集进行序列组合，得到候选推荐物品序列集；从上述候选推荐物品序列集中筛选出序列生成概率最高的候选推荐物品序列，作为推荐物品序列。

7、可选地，上述重排模型是通过以下步骤进行训练的：对于第一训练数据集中的第一目标训练数据，执行第一训练步骤：将上述第一目标训练数据中的候选推荐物品集和对应的用户行为信息输入至初始重排模型，得到多个推荐物品；利用多机制采样策略，生成上述多个推荐物品对应的候选推荐物品序列集；利用探索性奖励模型，生成上述候选推荐物品序列集中的每个候选推荐物品序列对应的探索性奖励信息；根据各个探索性奖励信息，生成针对上述候选推荐物品序列集的偏好损失；根据上述偏好损失，确定初始重排模型是否训练结束；响应于训练结束，将上述初始重排模型确定为重排模型；响应于训练未结束，根据上述偏好损失，对初始重排模型进行模型再训练，得到训练后重排模型；将从第一训练数据集中重新选择的第一训练数据作为第一目标训练数据，训练后重排模型作为初始重排模型，继续执行上述第一训练步骤。

8、可选地，上述根据各个探索性奖励信息，生成针对上述候选推荐物品序列集的偏好损失，包括：根据上述各个探索性奖励信息，对上述候选推荐物品序列集中的各个候选推荐物品序列进行序列排序，得到排序结果；从上述排序结果对应各个序列中筛选出各个分位点下的候选推荐物品序列，得到候选推荐物品序列子集和对应的偏好样本标签集；根据上述候选推荐物品序列子集、上述偏好样本标签集和每个候选推荐物品序列对应的序列生成概率，利用偏好损失函数，生成偏好损失。

9、可选地，上述根据上述偏好损失，确定初始重排模型是否训练结束，包括：确定上述多个推荐物品中各个物品之间的多样性损失；根据上述多样性损失和上述偏好损失，确定初始重排模型是否训练结束。

10、可选地，上述探索性奖励模型包括：共享编码层和双任务预测层；以及上述利用探索性奖励模型，生成上述候选推荐物品序列集中的每个候选推荐物品序列对应的探索性奖励信息，包括：将上述候选推荐物品序列输入至上述共享编码层，得到编码信息；将上述编码信息输入至上述双任务预测层，得到物品即时价值信息和序列探索价值信息，作为探索性奖励信息。

11、可选地，上述探索性奖励模型通过以下步骤训练的：对于第二训练数据集中的第二目标训练数据，执行第二训练步骤：将上述第二目标训练数据中的真实曝光日志序列输入至初始探索性奖励模型中的初始共享编码层，得到初始编码信息，其中，第二目标训练数据还包括：跨请求信号标签；将上述初始编码信息输入至初始探索性奖励模型中的初始双任务预测层，得到初始物品即时价值信息和初始序列探索价值信息；根据上述初始物品即时价值信息和上述跨请求信号标签，生成物品即时价值损失；根据上述初始序列探索价值信息，生成序列探索价值损失；根据上述物品即时价值损失和上述初始序列探索价值信息，确定初始探索性奖励模型是否训练结束；响应于训练结束，将上述初始探索性奖励模型确定为探索性奖励模型；响应于训练未结束，根据上述物品即时价值损失和上述初始序列探索价值信息，对上述初始探索性奖励模型进行模型再训练，得到训练后奖励模型；将从第二训练数据集中重新选择的训练数据作为目标训练数据，上述训练后奖励模型作为初始探索性奖励模型，继续执行上述第二训练步骤。

12、可选地，上述根据上述初始序列探索价值信息，生成序列探索价值损失，包括：根据上述跨请求信号标签对应的标签类型，确定上述第二目标训练数据对应的数据权重，其中，上述标签类型为以下之一：终止标签类型，无效探索标签类型，潜在兴趣标签类型，即时匹配标签类型，深度探索标签类型；根据上述数据权重和上述初始序列探索价值信息，生成序列探索价值损失。

13、可选地，上述根据上述跨请求信号标签对应的标签类型，确定上述第二目标训练数据对应的数据权重，包括：响应于上述标签类型为潜在兴趣标签类型或无效探索标签类型，确定上述真实曝光日志序列对应的数据质量；根据上述数据质量，确定上述第二目标训练数据对应的数据权重。

14、第二方面，本公开的一些实施例提供了一种物品推荐装置，包括：获取单元，被配置成获取目标推荐请求对应的候选推荐物品集和目标用户对应的用户行为信息；第一生成单元，被配置成将上述候选推荐物品集和上述用户行为信息输入至预训练的重排模型中的编码层，得到推荐物品编码信息，其中，上述重排模型还包括：多个并行的解码头；第二生成单元，被配置成将上述推荐物品编码信息输入至上述多个并行的解码头，以多次并行输出多个推荐物品；第三生成单元，被配置成利用多机制采样策略，生成上述多个推荐物品对应的推荐物品序列；执行单元，被配置成执行针对上述推荐物品序列的物品推荐。

15、可选地，第一生成单元可以被配置成：利用上述编码层，执行以下生成步骤：对于每个候选推荐物品，根据上述用户行为信息，提取在上述目标用户对应兴趣下的上述候选推荐物品的物品表征信息；基于得到的各个物品表征信息之间的全局上下文依赖，生成上述候选推荐物品集中的每个候选推荐物品的物品嵌入信息，得到物品嵌入信息集，作为推荐物品编码信息。

16、可选地，第二生成单元可以被配置成：将上述物品嵌入信息集作为键值信息，上述候选推荐物品集对应位置嵌入集作为查询信息，对上述物品嵌入信息集进行查询嵌入更新，得到更新后物品嵌入信息集，作为推荐物品编码信息；将上述推荐物品编码信息输入至上述多个并行的解码头，以进行多次逐步并行解码，得到上述多个推荐物品。

17、可选地，上述多机制采样策略是基于组束搜索技术和启发式采样技术来进行序列生成的策略；以及第三生成单元可以被配置成：根据上述多个推荐物品，利用上述组束搜索技术，生成第一候选推荐物品序列集；根据上述多个推荐物品，利用上述启发式采样技术，生成第二候选推荐物品序列集；将上述第一候选推荐物品序列集和上述第二候选推荐物品序列集进行序列组合，得到候选推荐物品序列集；从上述候选推荐物品序列集中筛选出序列生成概率最高的候选推荐物品序列，作为推荐物品序列。

18、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

19、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

20、第五方面，本公开的一些实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第一方面中任一实现方式所描述的方法。

21、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的物品推荐方法，利用多个并行的解码头和多机制采样策略，在探索更多物品序列组合的基础上，实现推荐物品序列的快速且精准地响应，避免出现推荐延迟。具体来说，造成相关的物品推荐不够精准且存在响应延迟的原因在于：现有重排放方法（例如，启发式分数加权采样、beam-search、pointer network等）容易产生同质化轨迹，使评估器仅在一个狭窄的子空间中进行选择，模型陷入局部最优，导致推荐结果精度受到影响。除此之外，难以在工业级的延迟约束下实现推荐结果的快速响应。基于此，本公开的一些实施例的物品推荐方法，首先，获取目标推荐请求对应的候选推荐物品集和目标用户对应的用户行为信息，以便于根据上游输出的候选推荐物品集和用户行为信息，在考虑用户行为语义内容的基础上，进行候选推荐物品的精准重排。然后，将上述候选推荐物品集和上述用户行为信息输入至预训练的重排模型中的编码层，得到推荐物品编码信息，其中，上述重排模型还包括：多个并行的解码头。在这里。通过编码层，可以基于用户行为语义内容，实现各个候选推荐物品的精准编码，便于后续进行推荐物品的精准解码，保障推荐物品的生成精准性。接着，将上述推荐物品编码信息输入至上述多个并行的解码头，以多次并行输出多个推荐物品。在这里，利益多个并行的解码头，可以并行机制将单批生成时间显著降低，满足工业级tp99约束，实现物品推荐结果的快速响应。进而，利用多机制采样策略，生成上述多个推荐物品对应的推荐物品序列，可以显著提升探索效率，避免局部最优，提高推荐物品序列的多样化和精准性。最后，执行针对上述推荐物品序列的物品推荐。综上，利用多个并行的解码头和多机制采样策略，在探索更多物品序列组合的基础上，实现推荐物品序列的快速且精准地响应，避免出现推荐延迟。