内容推荐模型的训练方法、装置、服务器及存储介质与流程

1.本公开涉及信息推荐技术领域，尤其涉及一种内容推荐模型的训练方法、装置、服务器及存储介质。


背景技术：

2.随着信息推荐技术的发展，出现了一种利用内容推荐模型为用户推荐信息内容的技术，该推荐模型可以通过对比学习的方式进行训练，即从样本池中分别筛选出一部分用户曾经进行消费行为的信息作为正样本，以及随机筛选出部分信息作为负样本，即可通过对比学习的方式实现推荐模型的训练。
3.然而，目前通过对比学习的方式实现内容推荐模型训练的过程中，负样本的筛选随机性较大，因此通过对比学习的方式训练的内容推荐模型的准确率较低。


技术实现要素：

4.本公开提供一种内容推荐模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中通过对比学习的方式训练的内容推荐模型的准确率较低的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种内容推荐模型的训练方法，包括：
6.在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的正样本，则在所述样本推荐信息集合中采样出第一负样本，以及第二负样本；所述正样本为第一样本账户交互过的样本推荐信息；所述第一负样本为第二样本账户交互过的样本推荐信息；所述第二负样本由所述样本推荐信息集合随机采样得到；所述第一样本账户为样本账户中的任意账户，所述第二样本账户为所述样本账户中除第一样本账户的任意账户；
7.分别将所述正样本、所述第一负样本和所述第二负样本输入至所述内容推荐模型，得到所述第一样本账户的预测推荐顺序；
8.基于所述预测推荐顺序与所述第一样本账户的期望推荐顺序之间的差异，对所述内容推荐模型进行训练；所述期望推荐顺序为所述正样本的推荐顺序先于所述第一负样本和所述第二负样本的推荐顺序。
9.在一示例性实施例中，所述在所述样本推荐信息集合中采样出第一负样本，包括：从第一负样本集合中采样得到所述第一负样本；所述第一负样本集合由样本推荐信息集合中，所述第二样本账户交互过的样本推荐信息组成。
10.在一示例性实施例中，所述在所述样本推荐信息集合中采样出第一负样本，以及第二负样本，包括：从所述第一负样本集合中采样得到所述第一负样本，以及从所述样本推荐信息集合中采样得到所述第二负样本；所述第一负样本的数量与所述第二负样本的数量之间的比例满足预设的比例关系。
11.在一示例性实施例中，所述从第一负样本集合中采样得到所述第一负样本，包括：
获取所述第一负样本集合包含的各样本推荐信息对应的出现频率；所述出现频率用于表征所述第二样本账户对所述第一负样本集合中各样本推荐信息的交互次数；根据所述出现频率，确定所述第一负样本集合中各样本推荐信息的采样权重，按照所述采样权重从所述第一负样本集合中采样得到所述第一负样本。
12.在一示例性实施例中，所述根据所述出现频率，确定所述第一负样本集合中各样本推荐信息的采样权重，包括：若当前样本推荐信息为所述第一负样本集合中，出现频率大于预设的第一出现频率，并且小于预设的第二出现频率的样本推荐信息，则将当前样本推荐信息的采样权重设置为大于其他样本推荐信息的采样权重；其中，所述其他样本推荐信息为所述第一负样本集合中，出现频率小于或等于所述第一出现频率，或者出现频率大于或等于所述第二出现频率的样本推荐信息；所述第一出现频率小于所述第二出现频率。
13.在一示例性实施例中，所述对所述内容推荐模型进行训练之后，还包括：将所述正样本，添加至所述第一负样本集合中。
14.在一示例性实施例中，所述分别将所述正样本、所述第一负样本和所述第二负样本输入至所述内容推荐模型，得到所述第一样本账户的预测推荐顺序，包括：分别将所述正样本、所述第一负样本和所述第二负样本输入至所述内容推荐模型，通过所述内容推荐模型得到所述正样本、所述第一负样本和所述第二负样本分别对应的向所述第一样本账户进行推荐的预测推荐概率；按照所述预测推荐概率的大小关系，对所述正样本、所述第一负样本和所述第二负样本进行排序，得到所述预测推荐顺序。
15.在一示例性实施例中，所述方法还包括：在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的负样本，则将所述负样本针对所述第一样本账户的期望推荐概率设置为零；所述负样本为第一样本账户没有交互过的样本推荐信息；将所述负样本输入至所述内容推荐模型，得到针对于所述负样本向所述第一样本账户进行推荐的预测推荐概率；基于所述负样本向所述第一样本账户进行推荐的预测推荐概率，与所述负样本针对所述第一样本账户的期望推荐概率之间的差异，对所述内容推荐模型进行训练。
16.在一示例性实施例中，所述对所述内容推荐模型进行训练之后，还包括：响应于内容推荐请求，获取与所述内容推荐请求对应的目标账户的账户特征，以及各待推荐信息的信息特征；将所述账户特征以及所述信息特征输入至训练完成的所述内容推荐模型，得到所述各待推荐信息针对所述目标账户的预测推荐概率；按照所述预测推荐概率的排序，从所述各待推荐信息中筛选出针对所述目标账户的召回信息。
17.根据本公开实施例的第二方面，提供一种内容推荐模型的训练装置，包括：
18.训练样本获取单元，被配置为执行在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的正样本，则在所述样本推荐信息集合中采样出第一负样本，以及第二负样本；所述正样本为第一样本账户交互过的样本推荐信息；所述第一负样本为第二样本账户交互过的样本推荐信息；所述第二负样本由所述样本推荐信息集合随机采样得到；所述第一样本账户为样本账户中的任意账户，所述第二样本账户为所述样本账户中除第一样本账户的任意账户；
19.预测顺序获取单元，被配置为执行分别将所述正样本、所述第一负样本和所述第二负样本输入至所述内容推荐模型，得到所述第一样本账户的预测推荐顺序；
20.推荐模型训练单元，被配置为执行基于所述预测推荐顺序与所述第一样本账户的期望推荐顺序之间的差异，对所述内容推荐模型进行训练；所述期望推荐顺序为所述正样本的推荐顺序先于所述第一负样本和所述第二负样本的推荐顺序。
21.在一示例性实施例中，所述训练样本获取单元，进一步被配置为执行从第一负样本集合中采样得到所述第一负样本；所述第一负样本集合由样本推荐信息集合中，所述第二样本账户交互过的样本推荐信息组成。
22.在一示例性实施例中，所述训练样本获取单元，进一步被配置为执行从所述第一负样本集合中采样得到所述第一负样本，以及从所述样本推荐信息集合中采样得到所述第二负样本；所述第一负样本的数量与所述第二负样本的数量之间的比例满足预设的比例关系。
23.在一示例性实施例中，所述训练样本获取单元，进一步被配置为执行获取所述第一负样本集合包含的各样本推荐信息对应的出现频率；所述出现频率用于表征所述第二样本账户对所述第一负样本集合中各样本推荐信息的交互次数；根据所述出现频率，确定所述第一负样本集合中各样本推荐信息的采样权重，按照所述采样权重从所述第一负样本集合中采样得到所述第一负样本。
24.在一示例性实施例中，所述训练样本获取单元，进一步被配置为执行若当前样本推荐信息为所述第一负样本集合中，出现频率大于预设的第一出现频率，并且小于预设的第二出现频率的样本推荐信息，则将当前样本推荐信息的采样权重设置为大于其他样本推荐信息的采样权重；其中，所述其他样本推荐信息为所述第一负样本集合中，出现频率小于或等于所述第一出现频率，或者出现频率大于或等于所述第二出现频率的样本推荐信息；所述第一出现频率小于所述第二出现频率。
25.在一示例性实施例中，所述装置还包括：第一集合构建模块，用于将所述正样本，添加至所述第一负样本集合中。
26.在一示例性实施例中，所述预测顺序获取单元，进一步被配置为执行分别将所述正样本、所述第一负样本和所述第二负样本输入至所述内容推荐模型，通过所述内容推荐模型得到所述正样本、所述第一负样本和所述第二负样本分别对应的向所述第一样本账户进行推荐的预测推荐概率；按照所述预测推荐概率的大小关系，对所述正样本、所述第一负样本和所述第二负样本进行排序，得到所述预测推荐顺序。
27.在一示例性实施例中，所述装置还包括：负样本训练单元，被配置为执行在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的负样本，则将所述负样本针对所述第一样本账户的期望推荐概率设置为零；所述负样本为第一样本账户没有交互过的样本推荐信息；将所述负样本输入至所述内容推荐模型，得到针对于所述负样本向所述第一样本账户进行推荐的预测推荐概率；基于所述负样本向所述第一样本账户进行推荐的预测推荐概率，与所述负样本针对所述第一样本账户的期望推荐概率之间的差异，对所述内容推荐模型进行训练。
28.在一示例性实施例中，所述装置还包括：召回信息获取单元，被配置为执行响应于内容推荐请求，获取与所述内容推荐请求对应的目标账户的账户特征，以及各待推荐信息的信息特征；将所述账户特征以及所述信息特征输入至训练完成的所述内容推荐模型，得到所述各待推荐信息针对所述目标账户的预测推荐概率；按照所述预测推荐概率的排序，
从所述各待推荐信息中筛选出针对所述目标账户的召回信息。
29.根据本公开实施例的第三方面，提供一种服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项实施例所述的内容推荐模型的训练方法。
30.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行如第一方面中任一项实施例所述的内容推荐模型的训练方法。
31.根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被服务器的处理器执行时，使得所述服务器能够执行如第一方面中任一项实施例所述的内容推荐模型的训练方法。
32.本公开的实施例提供的技术方案至少带来以下有益效果：
33.通过在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的正样本，则在样本推荐信息集合中采样出第一负样本，以及第二负样本；正样本为第一样本账户交互过的样本推荐信息；第一负样本为第二样本账户交互过的样本推荐信息；第二负样本由样本推荐信息集合随机采样得到；第一样本账户为样本账户中的任意账户，第二样本账户为样本账户中除第一样本账户的任意账户；分别将正样本、第一负样本和第二负样本输入至内容推荐模型，得到第一样本账户的预测推荐顺序；基于预测推荐顺序与第一样本账户的期望推荐顺序之间的差异，对内容推荐模型进行训练；期望推荐顺序为正样本的推荐顺序先于第一负样本和第二负样本的推荐顺序。本公开在通过对比学习的方式进行内容推荐模型的训练时，采集的负样本除了包括由样本推荐信息集合随机采样得到的第二负样本，还包括第二样本账户交互过的样本推荐信息组成的第一负样本，从而可以减少负样本筛选过程的随机性，并且通过将容易误判的第二样本账户交互过的样本推荐信息，作为第一样本账户的负样本，可以进一步提高通过对比学习的方式训练得到的内容推荐模型的准确率。
34.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
35.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
36.图1是根据一示例性实施例示出的一种内容推荐模型的训练方法的流程图。
37.图2是根据一示例性实施例示出的采样得到第一负样本内容的流程图。
38.图3是根据一示例性实施例示出的得到预测推荐顺序的流程示意图。
39.图4是根据另一示例性实施例示出的一种内容推荐模型的训练方法的流程图。
40.图5是根据一示例性实施例示出的筛选召回信息的流程图。
41.图6是根据一示例性实施例示出的一种内容推荐模型的训练装置的框图。
42.图7是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
43.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
44.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
45.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
46.图1是根据一示例性实施例示出的一种内容推荐模型的训练方法的流程图，如图1所示，内容推荐模型的训练方法用于服务器中，包括以下步骤。
47.在步骤s101中，在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的正样本，则在样本推荐信息集合中采样出第一负样本，以及第二负样本；正样本为第一样本账户交互过的样本推荐信息；第一负样本为第二样本账户交互过的样本推荐信息；第二负样本由样本推荐信息集合随机采样得到；第一样本账户为样本账户中的任意账户，第二样本账户为样本账户中除第一样本账户的任意账户。
48.其中，样本推荐信息集合指的是用于对内容推荐模型进行训练的样本推荐信息所组成的集合，该样本推荐信息可以包含各种用于推荐给用户账户的内容推荐信息，例如可以是推荐给用户账户的图片信息、文字信息或者视频信息等等。正样本则指的是样本推荐信息集合包含的样本推荐信息中，第一样本账户曾经对其存在交互行为的样本推荐信息。例如某一个样本推荐信息可以是针对于第一样本账户的一个推荐视频，如果该第一样本账户对推荐视频存在相应的交互行为，可以是对该推荐视频进行点击播放或者评论等等，那么此时该推荐视频可以作为第一样本账户的正样本。或者某一个样本推荐信息可以是针对于第一样本账户的一个推荐图片，如果该第一样本账户对推荐图片存在相应的交互行为，例如可以是对该推荐图片进行收藏或者分享等等，那么此时该推荐图片也可以作为第一样本账户的正样本。
49.而第一负样本则是样本推荐信息集合包含的样本推荐信息中，第二样本账户曾经对其存在交互行为的样本推荐信息，第二样本账户则指的是样本账户中除第一样本账户以外的其他样本账户。例如，该样本账户可以包含样本账户a、样本账户b以及样本账户c，此时，如果将样本账户a作为第一样本账户，那么样本账户b以及样本账户c都可以作为第二样本账户，那么此时样本推荐信息集合中的某一个样本推荐信息，如果样本账户b或者样本账户c曾经对其存在某种交互行为，那么该样本推荐信息则可以作为第一负样本。或者样本账户b作为第一样本账户，那么样本账户a以及样本账户c都可以作为第二样本账户，那么此时样本推荐信息集合中样本账户a，或者样本账户c存在交互行为的样本推荐信息都可以作为第一负样本。第二负样本则指的是由样本推荐信息集合中随机采样得到的样本内容，该样本直接从样本推荐信息集合中采样得到。
50.具体来说，在利用样本推荐信息集合对推荐模型进行训练时，如果当前采集的样本是针对于某一个第一样本账户的正样本，即第一样本账户曾经对该样本推荐信息存在交互行为时，服务器则可以进一步从样本推荐信息集合中采样出一部分信息作为第一负采样，即从样本推荐信息集合中，采样出第二样本账户曾经交互过的样本推荐信息作为第一负样本，以及从样本推荐信息集合中随机采样出一部分信息直接作为第二负样本。
51.在步骤s102中，分别将正样本、第一负样本和第二负样本输入至内容推荐模型，得到第一样本账户的预测推荐顺序。
52.预测推荐顺序则指的是输入至内容推荐模型中各个样本推荐信息，即正样本、第一负样本和第二负样本，由内容推荐模型得到的将上述样本推荐信息推荐至第一样本账户的推荐顺序，本实施例中，内容推荐模型可以对输入的各个正样本、第一负样本和第二负样本进行运算，从而根据运算结果得到将上述正样本、第一负样本和第二负样本推荐至第一样本账户的推荐顺序，作为预测推荐顺序。
53.在步骤s103中，基于预测推荐顺序与第一样本账户的期望推荐顺序之间的差异，对内容推荐模型进行训练；期望推荐顺序为正样本的推荐顺序先于第一负样本和第二负样本的推荐顺序。
54.期望推荐顺序则是该内容推荐模型期望得到的上述正样本、第一负样本和第二负样本直接的推荐顺序，由于第一样本账户曾经对正样本存在交互行为，即正样本可能更符合第一样本账户的推荐需求，因此相比于第一负样本和第二负样本，正样本可以设置有更优先的推荐顺序，以更优先的推荐至第一样本账户，因此在期望推荐顺序中，也可以设置正样本的推荐顺序先于第一负样本和第二负样本。此时，在步骤s102得到预测推荐顺序后，还可以利用预测推荐顺序以及期望推荐顺序之间的差异，对内容推荐模型进行训练，来优化模型，优化的目标可以是使正样本相比于第一负样本或第二负样本具有更高的预测推荐概率，即具有更高的分数，使其具有更优先的预测推荐顺序，以使内容推荐模型可以更优先的为第一样本账户推荐正样本，而避免优先推荐第一负样本或者第二负样本。
55.上述内容推荐模型的训练方法中，通过在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的正样本，则在样本推荐信息集合中采样出第一负样本，以及第二负样本；正样本为第一样本账户交互过的样本推荐信息；第一负样本为第二样本账户交互过的样本推荐信息；第二负样本由样本推荐信息集合随机采样得到；第一样本账户为样本账户中的任意账户，第二样本账户为样本账户中除第一样本账户的任意账户；分别将正样本、第一负样本和第二负样本输入至内容推荐模型，得到第一样本账户的预测推荐顺序；基于预测推荐顺序与第一样本账户的期望推荐顺序之间的差异，对内容推荐模型进行训练；期望推荐顺序为正样本的推荐顺序先于第一负样本和第二负样本的推荐顺序。本公开在通过对比学习的方式进行内容推荐模型的训练时，采集的负样本除了包括由样本推荐信息集合随机采样得到的第二负样本，还包括第二样本账户交互过的样本推荐信息组成的第一负样本，从而可以减少负样本筛选过程的随机性，并且通过将容易误判的第二样本账户交互过的样本推荐信息，作为第一样本账户的负样本，可以进一步提高通过对比学习的方式训练得到的内容推荐模型的准确率。
56.在一示例性实施例中，步骤s101可以进一步包括：从第一负样本集合中采样得到第一负样本；第一负样本集合由样本推荐信息集合中，第二样本账户交互过的样本推荐信
息组成。
57.其中，第一负样本集合指的是第二样本账户交互过的样本推荐信息形成的集合，本实施例中，服务器可以预先将第二样本账户交互过的样本推荐信息形成相应的样本集合，作为第一负样本集合，在服务器进行第一负样本采样时，则可以直接从第一负样本集合中进行抽样，从而可以得到第一负样本。
58.例如，第一负样本集合中可以包含：样本推荐信息a、样本推荐信息b以及样本推荐信息c，此时服务器在对第一负样本进行采样时，则可以从该第一负样本集合中进行随机采样，即从样本推荐信息a、样本推荐信息b以及样本推荐信息c中抽样得到第一负样本。
59.本实施例中，服务器中可以预先构建有第二样本账户交互过的样本推荐信息形成的集合，即第一负样本集合，从而在进行第一负样本的采样过程中，可以通过第一负样本集合中进行采样得到，相比于需要从样本推荐信息集合中筛选出第二样本账户交互过的样本推荐信息作为第一负样本的方式，直接从第一负样本集合进行抽样可以减少筛选第一负样本的步骤，从而可以提高第一负样本内容的采样效率，从而提高内容推荐模型的训练效率。
60.进一步地，步骤s101可以进一步包括：从第一负样本集合中采样得到第一负样本，以及从样本推荐信息集合中采样得到第二负样本；第一负样本的数量与第二负样本的数量之间的比例满足预设的比例关系。
61.其中，预设的比例关系是预先设定的针对第一负样本的数量与第二负样本的数量之间的比例，为了保证第一负样本与第二负样本内容数量的，以进一步保证训练得到的内容推荐模型的准确性，本实施例中，可以预先针对第一负样本和第二负样本之间的数量关系设置相应的比例，从而在服务器采样第一负样本与第二负样本时，则可以按照上述数量比例进行采样。例如，当需要采样总共10个的第一负样本和第二负样本时，并且第一负样本和第二负样本之间的数量比例可以设置为2:8，服务器则可以分别从第一负样本集合中随机抽样出2个样本推荐信息，作为第一负样本，同时，还可以从样本推荐信息集合中，随机抽样出8个样本推荐信息，作为第二负样本。而如果第一负样本和第二负样本之间的数量比例设置为4:6，服务器则可以分别从第一负样本集合中随机抽样出4个样本推荐信息，作为第一负样本，同时，还可以从样本推荐信息集合中，随机抽样出6个样本推荐信息，作为第二负样本等等，从而可以保证第一负样本与第二负样本内容之间的相对平衡。
62.本实施例中，服务器可以按照预先设定的第一负样本数量与第二负样本数量之间的比例，分别从第一负样本集合中采样得到第一负样本，以及从样本推荐信息集合中采样得到第二负样本，可以保证模型训练过程中每次抽样时，第一负样本与第二负样本数量之间的相对平衡，来避免某一次抽样过程中第一负样本或者第二负样本的数量过少，从而进一步减少负样本筛选的随机性，以进一步提高训练得到的内容推荐模型的准确性。
63.在一示例性实施例中，如图2所示，从第一负样本集合中采样得到第一负样本，可以进一步包括：
64.在步骤s201中，获取第一负样本集合包含的各样本推荐信息对应的出现频率；出现频率用于表征第二样本账户对第一负样本集合中各样本推荐信息的交互次数。
65.本实施例中，第一负样本集合中可能包含有同样的样本推荐信息，既针对某一个样本推荐信息，可能样本账户a曾经对其存在交互行为，也可能样本账户b也曾经对其存在交互行为，例如针对某一个推荐视频，样本账户a和样本账户b都可能对该推荐视频有过点
击播放的行为，因此样本账户a和样本账户b可以同时对该推荐视频存在交互行为，那么该推荐视频则可以重复存在于第一负样本集合中，出现频率则指的是第一负样本集合包含的各个样本推荐信息在该集合中的数量，可以用于表征第二样本账户对该样本推荐信息的交互次数，一般而言，出现频率越大，则表明有更多的样本账户可能对该样本内容存在用户行为，即第二样本账户对该各样本推荐信息的交互次数越多。
66.在步骤s202中，根据出现频率，确定第一负样本集合中各样本推荐信息的采样权重，按照采样权重从第一负样本集合中采样得到第一负样本。
67.采样权重则用于表征第一负样本集合中包含的各样本推荐信息的采样率，若某一个样本推荐信息采样权重越大，那么该样本推荐信息被采样为第一负样本的可能性也越大。例如，第一负样本集合中可以包含样本推荐信息a、样本推荐信息b、样本推荐信息c、样本推荐信息d以及样本推荐信息e，并且样本推荐信息a、样本推荐信息b以及样本推荐信息c的采样权重大于样本推荐信息d以及样本推荐信息e时，服务器在进行第一负样本采样时，将样本推荐信息a、样本推荐信息b或者样本推荐信息c作为第一负样本的可能性则会大于将样本推荐信息d以及样本推荐信息e作为第一负样本的可能性，从而可以使得采样得到的第一负样本，可以与出现频率相适应，来进一步提高第一负样本的抽样质量。
68.本实施例中，终端在对第一负样本进行抽样时，还可以先基于第一负样本集合包含的各样本推荐信息对应的出现频率，确定出相应的采样权重，再进一步按照采样权重采样得到第一负样本，可以使得采样得到的第一负样本，可以与出现频率相适应，由于出现频率可以用于表征第二样本账户的交互次数，因此抽样得到的第一负样本可以和第二样本账户的交互次数相适应，从而可以进一步提高第一负样本的抽样质量。
69.进一步地，步骤s202可以进一步包括：若当前样本推荐信息为第一负样本集合中，出现频率大于预设的第一出现频率，并且小于预设的第二出现频率的样本推荐信息，则将当前样本推荐信息的采样权重设置为大于其他样本推荐信息的采样权重；其中，其他样本推荐信息为第一负样本集合中，出现频率小于或等于第一出现频率，或者出现频率大于或等于第二出现频率的样本推荐信息；第一出现频率小于第二出现频率。
70.当前样本推荐信息则指的是第一负样本集合中包含的样本推荐信息中的任意一个，第一出现频率和第二出现频率则是服务器中预先设置的两个出现频率阈值，其中第一出现频率小于第二出现频率。由于某一个样本推荐信息在第一负样本集合中出现的频率较低的时候，则表明可能只是用户账户的偶发性正样本，即可能只是该用户账户偶然触发得到，因此可以认为该样本推荐信息成为第一样本账户的正样本的几率不大，但同时，对它加以分辨的意义也不会很大。同时，如果某一个样本推荐信息在第一负样本集合中频繁出现的时候，则可以认为这是一个受到广泛欢迎，可能是很热门的样本内容，此时如果将其作为第一样本账户的第一负样本，则可能会出现训练的错误，因为这个样本推荐信息会有较高概率成为第一样本账户的正样本。因此，在本实施例中，为了保证第一负样本采样的准确性，可以优先筛选第一负样本集合中出现频率大于第一出现频率，并且小于第二出现频率的样本推荐信息作为第一负样本，即可以是将出现频率大于第一出现频率，并且小于第二出现频率的样本推荐信息，相比于出现频率小于或等于第一出现频率，或者出现频率大于或等于第二出现频率的其他样本推荐信息，设置更大的采样权重，以更优先的筛选出现频率大于第一出现频率，并且小于第二出现频率的样本推荐信息，作为第一负样本。
71.例如，第一出现频率可以设置为2，第二出现频率可以设置为10，如果某个第一负样本集合中包含样本推荐信息a、样本推荐信息b、样本推荐信息c以及样本推荐信息d，其中样本推荐信息a的出现频率为1，样本推荐信息b的出现频率为4，样本推荐信息c的出现频率为8，样本推荐信息d的出现频率为13，由于样本推荐信息b和样本推荐信息c的出现频率位于第一出现频率与第二出现频率之间，因此相比于样本推荐信息a和样本推荐信息d，样本推荐信息b和样本推荐信息c可以对应设置有更大的采样权重，即在服务器采样第一负样本时，采样得到样本推荐信息b和样本推荐信息c的可能性要大于采样得到样本推荐信息a和样本推荐信息d的可能性。
72.本实施例中，服务器还可以将出现频率大于预设的第一出现频率，并且小于预设的第二出现频率的样本内容设置更大的采样权重，从而可以更优先的筛选出现频率大于第一出现频率，并且小于第二出现频率的样本推荐信息，作为第一负样本，相比于将出现频率小于或等于第一出现频率的其他样本推荐信息作为第一负样本，本实施例筛选出的第一负样本具有更大的分辨意义，而相比于将出现频率大于或等于第二出现频率的样本推荐信息作为第一负样本，本实施例筛选出的第一负样本则可以减少训练的错误，因此可以保证第一负样本的抽样质量，进一步提高训练得到的内容推荐模型的准确率。
73.另外，在步骤s103之后，还可以包括：将正样本，添加至第一负样本集合中。
74.由于针对于第一样本账户的正样本，相对于其他的第二样本账户而言，则属于第二样本账户的第一负样本，例如针对样本推荐信息a，对于样本账户a而言，属于正样本，即表明样本账户a曾经对样本推荐信息a存在交互行为，同时，如果将样本账户b作为第一样本账户，由于样本账户a是样本账户b的其他用户账户，因此样本账户a此时则作为第二样本账户，那么该样本推荐信息a则属于第二样本账户存在交互行为的样本推荐信息，属于第一负样本，因此服务器需要将正样本送至存储有第一负样本的第一负样本集合中。具体来说，当利用正样本进行内容推荐模型的训练之后，还可以将当前训练所使用的正样本，输入至第一负样本集合，以进一步丰富第一负样本集合中包含的样本推荐信息。
75.本实施例中，还可以通过将训练内容推荐模型所使用的正样本，加入至第一负样本集合，从而可以在内容推荐模型训练的过程中，实现第一负样本集合的更新，进一步丰富并实时更新第一负样本内容集合中包含的样本推荐信息。
76.在一示例性实施例中，如图3所示，步骤s102可以进一步包括：
77.在步骤s301中，分别将正样本、第一负样本和第二负样本输入至内容推荐模型，通过内容推荐模型得到正样本、第一负样本和第二负样本分别对应的向第一样本账户进行推荐的预测推荐概率。
78.其中，预测推荐概率指的是由内容推荐模型输出的针对于上述正样本内容、第一负样本内容和第二负样本内容分别对应的推荐至第一样本账户的概率。预测推荐概率越大，则表明第一样本账户对该样本推荐信息存在交互行为的可能性越大。具体来说，在步骤s101得到正样本、第一负样本和第二负样本之后，则可以进一步将得到的正样本、第一负样本和第二负样本都输入至内容推荐模型中，由内容推荐模型输出得到上述各正样本、第一负样本和第二负样本分别对应的预测推荐概率。
79.在步骤s302中，按照预测推荐概率的大小关系，对正样本、第一负样本和第二负样本进行排序，得到预测推荐顺序。
80.由于预测推荐概率可以用于表征第一样本账户对样本推荐信息存在交互行为的可能性，因此在进行样本推荐信息的推荐时，也可以按照预测推荐概率所表征的评分的大小关系来确定各样本推荐信息的推荐顺序，一般而言，为了使推荐的样本推荐信息可以更加符合第一样本账户的需求，服务器可以将预测推荐概率最大的样本推荐信息设置更优先的推荐顺序，以更优先的推荐预测推荐概率最大的样本推荐信息。因此，在步骤s301得到预测推荐概率后，还可以进一步按照预测推荐概率的大小关系，对各个正样本、第一负样本和第二负样本进行排序处理，从而得到相应的各个正样本、第一负样本和第二负样本的预测推荐顺序。
81.本实施例中，服务器在得到正样本、第一负样本和第二负样本后，则可以将上述样本推荐信息输入至内容推荐模型，由内容推荐模型输出相应的预测推荐概率，从而进一步按照预测推荐概率的大小顺序得到相应的预测推荐顺序，可以提高得到的预测推荐顺序的准确性。
82.另外，在一示例性实施例中，如图4所示，内容推荐模型的训练方法，还可以包括：
83.在步骤s401中，在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的负样本，则将负样本针对第一样本账户的期望推荐概率设置为零；负样本为第一样本账户没有交互过的样本推荐信息。
84.而如果当前用于训练内容推荐模型的样本推荐信息从未推荐至第一样本账户，又或者该样本推荐信息曾经推荐给第一样本账户，但第一样本账户未对该推荐的样本推荐信息执行相应的交互行为，那么此时第一样本账户则没有对该样本推荐信息存在用户交互行为，那么该样本推荐信息则可以作为第一样本账户的负样本。如果当前用于训练内容推荐模型的样本推荐信息为第一样本账户的负样本，服务器还可以将负样本的期望推荐概率设置为零，用于表征不期望向第一样本账户推荐上述负样本。
85.在步骤s402中，将负样本输入至内容推荐模型，得到针对于负样本向第一样本账户进行推荐的预测推荐概率；
86.在步骤s403中，基于负样本向第一样本账户进行推荐的预测推荐概率，与负样本针对第一样本账户的期望推荐概率之间的差异，对内容推荐模型进行训练。
87.之后，服务器还可以将当前得到的负样本输入至内容推荐模型中，由内容推荐模型输出针对于该负样本向第一样本账户进行推荐的预测推荐概率，即将该负样本推荐至第一样本账户的预测可能性，并且还可以计算该负样本的预测推荐概率与将其推荐至第一样本账户的期望推荐概率之间的差异损失，并根据该差异损失实现针对内容推荐模型的训练，从而使得训练后的内容推荐模型可以减少将该负样本推荐至第一样本账户的概率，进一步提高样本推荐信息推荐的有效性。
88.本实施例中，如果当前用于训练内容推荐模型的样本推荐信息为第一样本账户的负样本时，服务器还可以将该负样本的期望推荐概率设置为零，并且利用内容推荐模型输出得到的预测推荐概率，与上述期望推荐概率之间的差异进行模型的训练，从而可以使得训练后的内容推荐模型可以减少将该负样本推荐至第一样本账户的概率，进一步提高样本推荐信息推荐的有效性。
89.在一示例性实施例中，如图5所示，步骤s103之后，还可以包括：
90.在步骤s501中，响应于内容推荐请求，获取与内容推荐请求对应的目标账户的账
户特征，以及各待推荐信息的信息特征。
91.其中，内容推荐请求是目标账户触发的，用于获取推荐信息的请求，当某个用户账户可以通过其终端触发相关的推荐信息获取操作时，则可以向服务器发起用于获取服务器发送的推荐信息的容推荐请求，例如目标账户可以通过对某个显示页面进行刷新操作，来向服务器触发上述内容推荐请求，服务器则可以对该请求进行响应，从而获取该目标账户的账户特征，如目标账户的兴趣标签等等，以及每一个可以用于进行信息推荐的待推荐信息的信息特征。
92.在步骤s502中，将账户特征以及信息特征输入至训练完成的内容推荐模型，得到各待推荐信息针对目标账户的预测推荐概率；
93.在步骤s503中，按照预测推荐概率的排序，从各待推荐信息中筛选出针对目标账户的召回信息。
94.在步骤s501中得到目标账户的账户特征，以及每一个待推荐信息的信息特征后，则可以将上述账户特征以及信息特征，输入至已经训练完成的内容推荐模型中，由该内容推荐模型每一个待推荐信息推荐至目标账户的预测推荐概率，之后服务器还可以进一步按照预测推荐概率所表征的评分顺序，从上述待推荐信息中筛选出一部分，作为信息推荐的召回阶段中，针对目标账户的召回信息，例如召回信息的数量可以是100条，那么在得到每一个待推荐信息的预测推荐概率后，还可以按照预测推荐概率的大小进行排序，从而将排序前100的待推荐信息，作为针对目标账户的召回信息。
95.本实施例中，在完成内容推荐模型的训练之后，还可以将训练完成的内容推荐模型用于召回信息的筛选，通过在目标账户触发内容推荐请求时，将目标账户的账户特征以及各个待推荐信息的信息特征输入至上述训练完成的内容推荐模型，由内容推荐模型得到各个待推荐信息推荐至目标账户的预测推荐概率，并且还可以进一步根据预测推荐的顺序，从待推荐信息中筛选出相应的召回信息，由于本实施例中训练的内容推荐模型，是利用样本推荐信息集合随机采样得到的第二负样本，以及第二样本账户交互过的样本推荐信息组成的第一负样本，组成的负样本进行对比学习的方式进行训练，训练出的内容推荐模型具有更高的准确率，因此通过该内容推荐模型得到的召回信息也具有更高的准确率，从而可以提高推荐信息召回过程的准确性。
96.在一示例性实施例中，还提供了一种基于对比学习与难样本挖掘的推荐模型训练方法，该方法可以对对比学习进行细化，来避免召回阶段出现在其他用户那里属于正样本，在当前的用户这里不一定是个正样本的现象。通过将其他用户的正样本作为当前用户的负样本，从而在负采样时可以从其他用户的正样本中进行选取，来增强模型的分辨能力，从而可以合理避免召回中存在的大部分误判情况。该方法具体可以包括如下步骤：
97.在推荐系统的召回阶段中，可以把用户产生了用户行为(播放完成，点赞，关注等)的样本视为正样本，而与此相反的则为负样本。负样本包含两种来源，取得了曝光但没有用户行为的和没有取得曝光的。同时又可以进一步分为一般负样本和难负样本。其中，难负样本指的是对于其他用户(即之前就发送了请求的用户)可能产生了用户行为，但对于当前用户并不会的样本。除此之外的可以称为一般负样本。在本实施例中，采取了两个中间存储环节。一个用来存储一般的样本(a样本池)，构成了一般负样本。另一个用来存储难负样本，即其他用户的正样本(b样本池)，这些样本构成了难负样本。
98.在模型训练的过程中，a样本池与b样本池都用来保存负样本，a样本池基本保持静态。b样本池一开始为空，当训练中出现正样本，并且对应用户训练后，将这个正样本填入b样本池，用来给其他用户提供难负样本。直到达到b样本池的最大容量。在之后的每一次训练，如果当前样本为负样本，那么直接进行一次只考虑一个样本自身的正负的训练；若当前样本为正样本，则从a样本池中采样一定比例作为负样本，同时从b样本池中也采样一些作为负样本，并且对上述样本的排序关系进行训练，通过将当前采用的正样本和两类负样本共同组成一个列表，优化的目标是希望正样本在整个列表中的分数都相对最高。可以是将这些样本的输出为y1-yn，其中第一项是正样本，首先通过对得到的这些样本的分数进行softmax归一化：
[0099][0100]
其中，yi表示第i个样本的分数，j表示正样本和两类负样本的样本总数，si则表示各个样本分数的softmax归一化结果。之后，则可以在在loss的计算中，令第一项，即正样本项输出最大化，可如下所示：
[0101]
min-log(s1)
[0102]
由于所有分数都统一由softmax做了归一化，那么令第一项输出最大，本质上就是令这一项比其他的都大。
[0103]
同时，对于b样本池中的负样本，不应该以同样的权重进行训练。b样本池中也的样本存在错误的可能，即其他用户的正样本也有可能是现在这个用户的正样本。因此当某样本在其他样本中出现的频率较低的时候，该样本可能只是该用户的偶发性正样本，可以认为成为当前用户的正样本的几率不大，但同时，对它加以分辨的意义也不会很大。而当某样本在其他样本中频繁出现的时候，则可以认为这是一个受到广泛欢迎，可能是很热门的样本，此时如果在训练中占据较大的采样权重，则可能会出现训练的错误，即这个样本有高概率成为当前用户的正样本。
[0104]
因而，b样本池中的样本根据频率，是一个两边低，中间高的采样方式：按照出现频率排序，频率过高的和频率过低的物料都不应该给予高权重，而出现频率处于中间的样本，应当给较大的权重。由于上面的通过样本排序关系的学习方式只突出正样本的分数，不突出负样本的权重，通过改为采样率：b样本池采样的样本允许重复，当权重大的时候，更容易重复，而反过来当权重小的时候更不容易重复。
[0105]
通过这样一个方案可以将对比学习带入到了有正样本存在情况下的训练中。而对于a样本池存在的样本没有针对性的问题，通过构造了一个新的b样本池，收集其他用户的正样本作为当前用户的难负样本。从而提升了模型的分辨力，可以在召回环节达到更好的效果。
[0106]
上述实施例中，通过在召回阶段应用对比学习方式训练时构建用于存储其他用户正样本的b样本池，在训练时可以将其他用户正样本作为当前用户的负样本，使得正负样本之间行成有效的区分，从而提高模型的分辨能力，并且在b样本池的采样中，可以根据频率，实现两边低，中间高的采样方式，来进一步提高b样本池中采样得到的负样本的有效性，进一步提高模型输出的准确性。
[0107]
应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但
是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0108]
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
[0109]
图6是根据一示例性实施例示出的一种内容推荐模型的训练装置的框图。参照图6，该装置包括训练样本获取单元601，预测顺序获取单元602和推荐模型训练单元603。
[0110]
训练样本获取单元601，被配置为执行在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的正样本，则在样本推荐信息集合中采样出第一负样本，以及第二负样本；正样本为第一样本账户交互过的样本推荐信息；第一负样本为第二样本账户交互过的样本推荐信息；第二负样本由样本推荐信息集合随机采样得到；第一样本账户为样本账户中的任意账户，第二样本账户为样本账户中除第一样本账户的任意账户；
[0111]
预测顺序获取单元602，被配置为执行分别将正样本、第一负样本和第二负样本输入至内容推荐模型，得到第一样本账户的预测推荐顺序；
[0112]
推荐模型训练单元603，被配置为执行基于预测推荐顺序与第一样本账户的期望推荐顺序之间的差异，对内容推荐模型进行训练；期望推荐顺序为正样本的推荐顺序先于第一负样本和第二负样本的推荐顺序。
[0113]
在一示例性实施例中，训练样本获取单元601，进一步被配置为执行从第一负样本集合中采样得到第一负样本；第一负样本集合由样本推荐信息集合中，第二样本账户交互过的样本推荐信息组成。
[0114]
在一示例性实施例中，训练样本获取单元601，进一步被配置为执行从第一负样本集合中采样得到第一负样本，以及从样本推荐信息集合中采样得到第二负样本；第一负样本的数量与第二负样本的数量之间的比例满足预设的比例关系。
[0115]
在一示例性实施例中，训练样本获取单元601，进一步被配置为执行获取第一负样本集合包含的各样本推荐信息对应的出现频率；出现频率用于表征第二样本账户对第一负样本集合中各样本推荐信息的交互次数；根据出现频率，确定第一负样本集合中各样本推荐信息的采样权重，按照采样权重从第一负样本集合中采样得到第一负样本。
[0116]
在一示例性实施例中，训练样本获取单元601，进一步被配置为执行若当前样本推荐信息为第一负样本集合中，出现频率大于预设的第一出现频率，并且小于预设的第二出现频率的样本推荐信息，则将当前样本推荐信息的采样权重设置为大于其他样本推荐信息的采样权重；其中，其他样本推荐信息为第一负样本集合中，出现频率小于或等于第一出现频率，或者出现频率大于或等于第二出现频率的样本推荐信息；第一出现频率小于第二出现频率。
[0117]
在一示例性实施例中，内容推荐模型的训练装置，还包括：第一集合构建模块，用
于将正样本，添加至第一负样本集合中。
[0118]
在一示例性实施例中，预测顺序获取单元602，进一步被配置为执行分别将正样本、第一负样本和第二负样本输入至内容推荐模型，通过内容推荐模型得到正样本、第一负样本和第二负样本分别对应的向第一样本账户进行推荐的预测推荐概率；按照预测推荐概率的大小关系，对正样本、第一负样本和第二负样本进行排序，得到预测推荐顺序。
[0119]
在一示例性实施例中，内容推荐模型的训练装置，还包括：负样本训练单元，被配置为执行在采用样本推荐信息集合对内容推荐模型进行训练过程中，若当前样本为第一样本账户的负样本，则将负样本针对第一样本账户的期望推荐概率设置为零；负样本为第一样本账户没有交互过的样本推荐信息；将负样本输入至内容推荐模型，得到针对于负样本向第一样本账户进行推荐的预测推荐概率；基于负样本向第一样本账户进行推荐的预测推荐概率，与负样本针对第一样本账户的期望推荐概率之间的差异，对内容推荐模型进行训练。
[0120]
在一示例性实施例中，内容推荐模型的训练装置，还包括：召回信息获取单元，被配置为执行响应于内容推荐请求，获取与内容推荐请求对应的目标账户的账户特征，以及各待推荐信息的信息特征；将账户特征以及信息特征输入至训练完成的内容推荐模型，得到各待推荐信息针对目标账户的预测推荐概率；按照预测推荐概率的排序，从各待推荐信息中筛选出针对目标账户的召回信息。
[0121]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0122]
图7是根据一示例性实施例示出的一种用于内容推荐模型的训练的电子设备700的框图。例如，电子设备700可以为服务器。参照图7，电子设备700包括处理组件720，其进一步包括一个或多个处理器，以及由存储器722所代表的存储器资源，用于存储可由处理组件720的执行的指令，例如应用程序。存储器722中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件720被配置为执行指令，以执行上述方法。
[0123]
电子设备700还可以包括：电源组件724被配置为执行电子设备700的电源管理，有线或无线网络接口726被配置为将电子设备700连接到网络，和输入输出(i/o)接口728。电子设备700可以操作基于存储在存储器722的操作系统，例如windows server，mac os x，unix，linux，freebsd或类似。
[0124]
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器722，上述指令可由电子设备700的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0125]
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备700的处理器执行以完成上述方法。
[0126]
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
[0127]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或
者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0128]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。