用于内容推荐的方法、装置、设备和存储介质与流程

1.本公开的示例实施例总体涉及计算机技术领域，特别地涉及用于内容推荐的方法、装置、设备和计算机可读存储介质。


背景技术：

2.在技术信息化高速发展的时代，互联网提供了对各种各样资源的访问。例如，通过互联网可以访问各类新闻、文章、音视频内容、商品等。随着资源数量和种类快速增长，推荐系统作为一个热门话题和非常重要的应用，被用于向受众群推荐各类资源。在推荐时，期望所推荐的资源(也称为“推荐内容项”)符合用户需求，从而确保良好用户体验。


技术实现要素：

3.在本公开的第一方面，提供了一种内容推荐的方法。该方法包括：通过将候选推荐内容项集应用到质量评估模型，来确定候选推荐内容项集中相应候选推荐内容项的质量度量；基于质量度量来选择候选推荐内容项集中可被推荐的候选推荐内容项子集；以及从候选推荐内容项子集中确定要被推荐给目标受众群的至少一个目标推荐内容项。
4.在本公开的第二方面，提供了一种用于内容推荐的装置。该装置包括：质量评估模块，被配置为通过将候选推荐内容项集应用到质量评估模型，来确定候选推荐内容项集中相应候选推荐内容项的质量度量；候选项选择模块，被配置为基于质量度量来选择候选推荐内容项集中可被推荐的候选推荐内容项子集；以及目标项确定模块，被配置为从候选推荐内容项子集中确定要被推荐给目标受众群的至少一个目标推荐内容项。
5.在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。
6.在本公开的第四方面，提供了一种计算机可读存储介质。该介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法。
7.应当理解，该部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
8.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
9.图1示出了能够在其中实现本公开的实施例的示例环境的示意图；
10.图2示出了根据本公开的一些实施例的用于内容推荐的过程的流程图；
11.图3示出了能够在其中实现本公开的实施例的示例模型训练和应用环境的示意图；
12.图4示出了根据本公开的一些实施例的获得质量评估模型的流程图；
13.图5a和图5b示出了根据本公开的一些实施例的质量评估模型在推荐流程中的示例应用的示意图；
14.图6示出了根据本公开的一些实施例的用于内容推荐的装置的框图；以及
15.图7示出了其中可以实施本公开的一个或多个实施例的电子设备的框图。
具体实施方式
16.下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
17.在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
18.可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
19.可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
20.例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
21.作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
22.可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
23.如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联关系，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中，“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”，这些术语在本文中可互换地使用。
[0024]“神经网络”是一种基于深度学习的机器学习网络。神经网络能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层，从而增加网络的深度。神经网
络的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神经网络的输入，而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。
[0025]
通常，机器学习大致可以包括三个阶段，即训练阶段、测试阶段和应用阶段(也称为推理阶段)。在训练阶段，给定的模型可以使用大量的训练数据进行训练，不断迭代更新参数值，直到模型能够从训练数据中获得一致的满足预期目标的推理。通过训练，模型可以被认为能够从训练数据中学习从输入到输出之间的关联(也称为输入到输出的映射)。训练后的模型的参数值被确定。在测试阶段，将测试输入应用到训练后的模型，测试模型是否能够提供正确的输出，从而确定模型的性能。在应用阶段，模型可以被用于基于训练得到的参数值，对实际的输入进行处理，确定对应的输出。
[0026]
图1示出了能够在其中实现本公开的实施例的示例环境100的示意图。在环境100中，推荐系统110被配置为基于相应策略，向受众群提供与一个或多个资源相关的一个或多个特定推荐内容项(例如提供到终端设备130)。推荐内容库120包括可被推荐的一个或多个推荐内容项122-1、122-2、
……
122-m(为便于讨论，统称为或单独称为推荐内容项122)。
[0027]
一个或多个终端设备130-1、130-2、130-3等(为便于讨论，统称为或单独称为终端设备130)与推荐系统110相关联。推荐系统110可以向各个终端设备110发送相应的推荐内容项122，以提供给相应受众132-1、132-2、132-3等(为便于讨论，统称为或单独称为受众132)。作为示例，推荐系统110可以被应用到终端设备130可访问的各类应用、网站、网页、以及其他平台。
[0028]
在本文中，推荐内容项指的是要被推荐的内容或资源，其示例可以包括应用、实体商品、虚拟商品、音视频内容，等等。在本文中，受众群可以包括一个或多个受众成员，例如受众132。受众成员可以是资源的任何潜在消费者，例如用户、团体、组织、实体等等。
[0029]
在环境100中，终端设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(pcs)设备、个人导航设备、个人数字助理(pda)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，终端设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。推荐系统110例如可以被实现在能够提供计算能力的各种类型的计算系统/服务器，包括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。
[0030]
应当理解，仅出于示例性的目的描述环境100中各个元素的结构和功能，而不暗示对于本公开的范围的任何限制。
[0031]
在推荐流程中，推荐系统通常会根据不同的受众群及相关的交互行为来推荐不同的内容项，以便保持用户的长期黏性。在一些实施例中，还可以根据受众的反馈行为信息，进一步优化推荐系统，进而推荐更多样性和更优质的内容，使用户能够获得更多有用信息。然而，在一些情况下，由于没有获取足够的用户反馈信息或者在面对数以千万计的数据时，推荐系统可能无法了解受众的精准需求来进行内容推荐。例如，在推荐系统的冷启动阶段，包括在用户反馈信息较少或者在向用户推荐新内容时，如何从成千上万的数据中挑选出合适的内容推荐给用户，是冷启动阶段要考虑的重要环节。
[0032]
在一些推荐系统中，一般的冷启动方式是会根据某个受众群的信息构建受众特征，然后根据不同的受众特征来召回不同的推荐内容项。不同的受众特征召回的内容不一样。之后，还可以通过一系列的粗略排序、精细排序等阶段，并经过规则排序，来确定要呈现给受众群的内容。此种方式由于召回的推荐内容项比较固定。如果推荐的内容项不是受众群感兴趣的内容，则受众群可能不会产生任何的交互或反馈行为，因而无法及时获得新受众群的反馈信息，另一方面，如果召回的内容质量较差，将内容展现给受众，可能会造成不好的用户体验，最终可能会有用户丢失的风险。总体而言，这些内容推荐方案可能会存在这样的不足，即在冷启动阶段没有对内容质量进行评估，若质量较差的内容被推荐，则会造成不好的用户体验。此外，由于推荐流程相对固化，无法实现更好的推荐效果。
[0033]
在本公开的示例实施例中，提供了一种改进的内容推荐的方案。在该方案中，利用预定的质量评估模型来评估待推荐的候选推荐内容项集的各个候选推荐内容项的质量，并基于质量评估的结果来选择候选推荐内容项子集。该候选推荐内容项子集例如可以包括被认为是高质量的候选推荐内容项。后续，可以从推荐内容项子集中进一步选择要被推荐给目标受众群的目标推荐内容项。
[0034]
根据该方案，可以从待推荐内容项集中挑选出优质内容作为候选推荐子集，用于进一步选择与受众群匹配的目标推荐内容项。这样，可以通过客观评估内容质量，确保质量相对好的内容被推荐给用户。这样的内容推荐方式不仅能够在新用户的冷启动阶段可以提升用户体验，使用户能够积极、及时地给出交互和反馈，而且也能够确保被推荐给老用户的内容的质量，使老用户获得多样性的内容推荐，实现良好用户体验。
[0035]
以下将继续参考附图描述本公开的一些示例实施例。
[0036]
图2示出了根据本公开的一些实施例的用于内容推荐的过程200的流程图。过程200例如可以被实现在图1的推荐系统110处。
[0037]
在框210，推荐系统110通过将候选推荐内容项集应用到质量评估模型，来确定候选推荐内容项集中相应候选推荐内容项的质量度量。
[0038]
在本公开的实施例中，通过机器学习技术训练得到质量评估模型，用于对候选推荐内容项本身的质量好坏进行评估。在一些实施例中，质量评估模型提供的质量度量可以以离散分类的形式表示，例如质量度量可以指示各个候选推荐内容项在多个预定质量等级中的分类结果。例如，质量评估模型可以被配置为执行关于候选推荐内容项的二分类任务，以将候选推荐内容项划分为高质量推荐内容项(优质推荐内容项)或低质量推荐内容项。在一些示例中，还可以划分更细粒度的质量等级，例如高中低质量等级，等等。在一些实施例中，质量评估模型提供的质量度量可以指示预定质量得分范围中的具体质量得分。
[0039]
质量评估模型的输入包括候选推荐内容项或其相关信息。取决于要评估的候选推荐内容项的类型，质量评估模型可以基于不同类型的模型架构来构建。在一些实施例中，如果候选推荐内容项是主要为文本类的内容，例如文章、新闻、百科页面、知识内容等，那么质量评估模型可以被构建为适合处理文本的机器学习模型或神经网络。作为示例，质量评估模型可以基于诸如bert、roberta、xlnet、albert等模型。在一些实施例中，如果候选推荐内容项是图像类或视频类等内容，那么质量评估模型可以被构建为适合处理图像数据的机器学习模型或神经网络，例如卷积神经网络(cnn)及其各种变形。在一些实施例中，如果候选推荐内容项包括音频内容，那么质量评估模型可以被构建为适合处理音频信号的机器学习
模型或神经网络。当然，如果候选推荐内容项包括多个类型的内容，也可以构建适合处理这些类型的内容的复合模型。本公开的实施例对模型的结构和选择没有具体限制。
[0040]
质量评估模型可以被应用在内容推荐系统的推荐流程中的不同阶段，这在下文中将参考图5a和图5b的一些实施例来详细讨论。取决于质量评估模型被应用的阶段，要被评估的候选推荐内容项集可以包括推荐内容库120中的部分或全部推荐内容项122。
[0041]
在框220，推荐系统110基于质量度量来选择候选推荐内容项集中可被推荐的候选推荐内容项子集。通过质量评估模型对候选推荐内容项的质量进行衡量，可以选择出质量相对较高的候选推荐内容项用于做后续推荐。在一些实施例中，如果质量度量指示多个预定质量等级中的某个质量等级，例如高质量推荐内容项或低质量推荐内容项，那么可以通过设置质量等级阈值，来选择较高质量的推荐内容项作为候选推荐内容项子集。
[0042]
在框230，推荐系统110从候选推荐内容项子集中确定要被推荐给目标受众群的至少一个目标推荐内容项。在候选推荐内容项子集的基础上，可以推荐系统110中各种推荐策略，向不同的受众群推荐其中的内容项，这可以确保推荐给受众的均是优质的高质量内容，提升用户体验。
[0043]
对于冷启动阶段，在向新受众推荐内容时，因为推荐的内容相对质量好的内容，因此受众体验会更好，反馈也会更及时。此外，对于新入库的候选推荐内容，即使之前未收集到对这些内容的足够用户反馈，如果其质量高，这些内容也能够得到充分推荐。对于老受众群而言，被推荐的内容不仅可以具有高质量，而且内容多样性也能得到保证，因而可能实现更好的用户体验。
[0044]
在上文的推荐过程中应用了质量评估模型，该模型可以通过训练来获得。为便于理解机器学习模型的生命周期管理，图3示出了能够在其中实现本公开的实施例的示例环境300的示意图。在图3的环境300中，期望训练和使用这样的质量评估模型，用于评估输入的推荐内容项的质量度量。
[0045]
如图3所示，环境300包括模型训练系统310和模型应用系统320。在图3的示例实施例，模型训练系统310被配置利用训练数据314来训练质量评估模型312。训练数据314可以包括样本推荐内容项及其质量度量。
[0046]
在训练前，质量评估模型312的参数值可以是被初始化的，或者是可以通过预训练过程而获得经预训练的参数值。经过训练过程，质量评估模型312的参数值被更新和调整。在训练完成后，质量评估模型312具有训练后的参数值。基于这样的参数值，质量评估模型312能够完成对输入图像的特征点的提取。
[0047]
在模型应用阶段，模型应用系统320可以被配置为利用训练后的质量评估模型312对推荐内容库120中的候选推荐内容项进行质量评估，给出候选推荐内容项的质量度量。模型应用系统320可以基于质量评估的结果来确定要被推荐给目标受众132的目标推荐内容项。模型应用系统320例如可以包括推荐系统110。
[0048]
在图3中，模型训练系统310和模型应用系统320可以是任何具有计算能力的系统，例如各种计算设备/系统、终端设备、服务器等。终端设备可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。服务器包括但不限于大型机、边缘计算节点、云环境中的计算设
备，等等。
[0049]
应当理解，图3示出的环境中的部件和布置仅是示例，适于用于实现本公开所描述的示例实施例的计算系统可以包括一个或多个不同的部件、其他部件和/或不同的布置方式。例如，虽然被示出为是分离的，但模型训练系统310和模型应用系统320可以集成在相同系统或设备。本公开的实施例在此方面不受限制。
[0050]
应当理解，仅出于示例性的目的描述环境300中各个元素的结构和功能，而不暗示对于本公开的范围的任何限制。
[0051]
图4示出了根据本公开的一些实施例的获得质量评估模型312的流程400。
[0052]
流程400包括样本质量判定阶段410，训练样本构建阶段420，以及模型训练阶段440。
[0053]
在模型训练时，特别是在基于监督学习的训练中，训练数据需要使用模型输入和模型输出。对于质量评估模型312，其输入为推荐内容项，输出为推荐内容项的质量度量。由于推荐内容的质量好坏通常没有客观的、可直接获得的质量得分，因此，在本公开的一些实施例中，提出了基于样本推荐内容项的历史交互信息来确定其质量度量。
[0054]
如图5所示，质量评估模型312的训练数据包括样本推荐内容项402-1、402-2、
……
402-m(为便于讨论统称为或单独称为样本推荐内容项402)以及各个样本推荐内容项对应的历史交互信息404-1、404-2、
……
404-m(为便于讨论统称为或单独称为历史交互信息404)。历史交互信息404指的是从样本受众群对样本推荐内容项402的历史交互过程中采集到的。也就是说，样本推荐内容项402是已被推荐给受众群的内容。在推荐过程中可以获取这些受众对样本推荐内容项的交互，例如可以在有受众授权的情况下获取这些交互信息。这样，这些历史交互信息可以作为后验信号，用于引导质量评估模型312对于推荐内容项的质量评估。
[0055]
在样本质量判定阶段410，基于样本受众群对该样本推荐内容项的历史交互信息404来确定样本推荐内容项402的质量度量。
[0056]
在一些实施例中，样本推荐内容项402可以包括先前被推荐(或展示)多次的内容项，以便能够统计足够的交互信息。这样，可以筛选出被历史受众群验证过的交互状况好的内容，用于判定为优质内容。
[0057]
样本推荐内容项402的历史交互信息404可以指示该样本推荐内容项402在被推荐时样本受众群对该样本推荐内容项402的交互或反馈行为。受众群对推荐内容项的积极交互或反馈，可以反映出推荐内容项的质量较好，即，更受到受众青睐。在一些实施例中，样本推荐内容项402的历史交互信息404包括与对该样本推荐内容项402的多个历史交互行为相对应的多个交互得分。
[0058]
在一些实施例中，样本推荐内容项402的历史交互信息404可以指示该样本推荐内容项402在被推荐过程中采集到的交互行为相关信息，包括但不限于，点击率，浏览时长，浏览完成率，收藏率，评论率，点赞率，转发率，等等。在不同应用中，或在不同类型内容的推荐场景中，被选择用于判定样本推荐内容项的质量度量的交互行为可以不同。例如，对于文章或知识内容，点击率、浏览完成率、阅读时长是比较重要的判定指标，其他交互行为可以是辅助判定指标。在商品消费中，商品的收藏率、加入购物车的概率、用户在商品页面的停留时长、购买率等可以被认为是比较重要的判定指标，其他交互行为可以是辅助判定指标。
[0059]
在确定样本推荐内容项402的质量度量时，对不同的交互行为，可以将它们归一化到某个交互得分范围内的具体得分。在一些实施例中，点击率越高、浏览时长(例如，对文章的阅读时长，对网页的浏览时长，对视频内容的观看时长等)越长，浏览完成率越高，等等，这些更积极的交互行为可以对应更高的交互得分。在考虑多个交互行为时，对于某个样本推荐内容项402，可以首先基于历史交互信息中不同交互行为相关的信息，确定不同交互行为对应的交互得分，然后可以通过加权组合的方式对多个交互得分进行加权，得到该样本推荐内容项402的质量度量。在加权时，不同交互行为可以具有相对应的权重，以指示该交互行为对于推荐内容项的质量判定的重要程度。
[0060]
在一些实施例中，可以通过加权方式来计算样本推荐内容项402的质量得分，并将质量得分映射到对应的质量度量。作为一个示例，对于文章类的样本推荐内容项402，其质量得分“score”可以如下确定：
[0061]
score＝w
ctr
*ctr w
ratio
*ratio w
time
*time w
others
*others
ꢀꢀꢀ(i)[0062]
其中ctr表示点击率对应的得分，ratio表示完读率对应的得分，time表示阅读时长对应的得分，并且others表示其他交互行为(例如，点赞、收藏、转发、评论)等对应的得分，并且w
ctr
，w
ratio
，w
time
，w
others
分别表示前述四个交互行为对应的预定权重。
[0063]
在一些实施例中，如果样本推荐内容项402的质量度量被配置为多个质量等级，例如高质量等级和低质量等级，那么可以通过设置相应阈值以及通过质量得分与相应阈值的比较，来确定每个样本推荐内容项402对应的质量度量。通过上述方式，可以快速且用较低成本来确定样本推荐内容项的质量度量，以便支持对质量评估模型的训练。
[0064]
在一些实施例中，各个交互行为对应的权重，可以通过手动设置，或者可以通过拟合方式来自动学习到。在一些实施例中，可以获得标注推荐内容项集，标注推荐内容项集中的相应推荐内容项被标注有质量度量。标注推荐内容项集的质量度量可以是手动标注的。不过，在拟合时需要的标注推荐内容项数量不多，因此此处的手动标注工作量不大。此外，可以获得标注推荐内容项集中相应推荐内容项的多个历史交互行为相对应的多个交互得分。此处所考虑的交互行为与样本推荐内容项402中的历史交互信息404中相关的交互行为类型相同。然后，可以通过将标注推荐内容项集中相应推荐内容项的多个交互得分的加权和拟合到对应的质量度量，来确定与多个历史交互行为分别相关联的多个权重。在拟合过程中，通过调整权重，使各个标注推荐内容项的多个交互得分的加权和逼近所标注的质量度量(或质量得分)，从而获得较准确的权重。通过这种方式，可以利用较少的手动标注数据，就实现对大量样本推荐内容项的质量度量的确定。
[0065]
在训练样本构建阶段420，基于样本推荐内容项402的质量度量，确定模型训练时的样本。如果质量评估模型312被构建为执行二分类任务，可以确定针对该模型的正样本和负样本。正样本指的是被确定为高质量推荐内容项(例如，被标注为1)，负样本指的是被确定为低质量推荐内容项(例如，被标注为0)。如果质量评估模型312被构建为执行更多分类任务或者被确定为输出连续质量得分，那么也可以将每个样本推荐内容项402与对应的质量等级相关联，或者与对应的质量得分相关联，以构成一个训练样本。所构建的训练样本被存储在样本池430中。
[0066]
在模型训练阶段440，利用样本池430中的训练样本来执行模型训练。可以利用各种模型训练技术来完成对质量评估模型312的训练。
[0067]
在训练的初始阶段时，由于参数值不理想，质量评估模型312可能还不能够准确预测样本推荐项402对应的质量度量。随着参数值不断更新，模型的评估能力得到提高，从而目标函数，例如损失函数的值会被不断降低。基于损失函数来执行模型训练时，可以利用各种训练方法，例如随机梯度下降法等来更新模型参数，从而确定如何更新模型的参数值。本公开的实施例在模型训练算法方案不做限制。
[0068]
通过训练过程，可以获得训练后的质量评估模型312，其可以被投入到推荐系统110中使用。
[0069]
如前文提及的，质量评估模型可以被应用在推荐流程中的不同阶段。图5a和图5b示出了根据本公开的一些实施例的质量评估模型在推荐流程中的示例应用的示意图。
[0070]
在图5a的推荐流程500中，质量评估模型312可以被应用于对推荐内容库120中的候选推荐内容项进行质量评估。在一些实施例中，可以利用推荐系统110的召回策略，从候选推荐内容项全集中取出部分待展现的推荐内容项122，并由质量评估模型312进行质量评估。基于质量评估模型312确定的质量度量，可以执行推荐内容项的筛选，选择出质量较高的候选推荐内容项子集510。
[0071]
在候选推荐内容项子集510的基础上，可以执行对特定目标受众群的目标推荐内容项的选择。针对目标受众群，通常可以基于目标受众群的特征信息，从候选推荐内容项子集510中选择与特征信息相匹配的至少一个目标推荐内容项。
[0072]
具体地，在图5a的示例中，可以基于目标受众群的多个特征，分别从候选推荐内容项子集510中选择与相应特征匹配的召回集512-1、512-2、
……
512-n(为便于讨论，统称为或单独称为召回集512)。每个召回集512可以包括候选推荐内容项子集510中的多个候选推荐内容项。在一些实施例中，推荐系统110还可以利用多个排序模型520-1、520-2、
……
520-n(为便于讨论，统称为或单独称为排序模型510)。排序模型520可以包括粗排和细排部分。每个排序模型520将基于排序策略给出相应的排序结果522-1、522-2、
……
522-n(为便于讨论，统称为或单独称为排序结果522)，从每个排序结果522中可以选择前k1、k2、
……
kn等候选推荐内容项，提供到规则融合模块530。规则融合模块530可以基于预定内容呈现规则，选择要被呈现给目标受众群的一个或多个目标推荐内容项532，以及可以确定目标推荐内容项的呈现顺序。
[0073]
在一些实施例中，质量评估模型312可以被用于对被新加入推荐内容库120的候选推荐内容项进行质量评估，并且质量评估的结果(即，各个推荐内容项的质量度量)可以被保留用于筛选高质量内容用于对不同受众群的内容推荐。这样，在冷启动阶段，无论是向新受众群推荐内容，或者是向新、老受众群推荐新入库的内容，均能够确保优质内容的推荐。
[0074]
通过在推荐流程中增加了质量评估，使得通过召回策略召回出来的内容并不是所有内容都会进入排序模型，而是先经过质量评估模型进行优质内容的判别，筛选过滤掉部分劣质的内容，保证大部分的文章都是经过历史检验过的优质内容，最终实现冷启动阶段内容推荐体验友好的目标，提升了用户体验以及促进用户的即时反馈。
[0075]
在一些实施例中，质量评估模型还可以被应用到推荐流程中更靠后的阶段。例如，在图5b的推荐流程502中，质量评估模型312被应用在排序模型520之后。可以基于目标受众群的特征信息，目标从推荐内容库120选择与目标受众群的多个特征分别相匹配的召回集514-1、514-2、
……
514-n(统称为或单独称为召回集514)。这些召回集514分别被提供到各
个排序模型520，并且排序模型520基于排序策略给出相应的排序结果524-1、524-2、
……
524-n(为便于讨论，统称为或单独称为排序结果524)，从每个排序结果524中可以选择前k1、k2、
……
kn等候选推荐内容项。
[0076]
从排序结果524选择的候选推荐内容项均是与目标受众群的特征信息相匹配的候选推荐内容项。这些候选推荐内容项组成候选推荐内容项集，用于由质量评估模型312进行质量评估。基于质量评估模型312确定的质量度量，可以执行推荐内容项的筛选，选择出质量较高的候选推荐内容项子集526。候选推荐内容项子集526进一步被提供给规则融合模块530，以从中筛选出被提供给目标受众群的一个或多个目标推荐内容项534，以及可以确定目标推荐内容项的呈现顺序。在该推荐流程中，通过增加内容质量评估和筛选，确保高质量内容可以被提供给用户。
[0077]
应当理解，图5a和图5b示出的推荐流程仅是示例，在不同推荐系统中的操作和步骤可能会不同，可能会有所附加或省略的操作和步骤。质量评估模型可以根据应用需要被应用到不同阶段中，用于评估对应阶段可获得的候选推荐内容项。
[0078]
图6示出了根据本公开的一些实施例的用于内容推荐的装置600的示意性结构框图。装置600可以被实现为或者被包括在模型训练系统310和/或模型应用系统320中。装置600中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。
[0079]
如图所示，装置600包括质量评估模块610，被配置为通过将候选推荐内容项集应用到质量评估模型，来确定候选推荐内容项集中相应候选推荐内容项的质量度量。装置600还包括候选项选择模块620，被配置为基于质量度量来选择候选推荐内容项集中可被推荐的候选推荐内容项子集。装置600还包括目标项确定模块630，被配置为从候选推荐内容项子集中确定要被推荐给目标受众群的至少一个目标推荐内容项。
[0080]
在一些实施例中，质量评估模型基于样本推荐内容项集以及样本推荐内容项集中相应样本推荐内容项的质量度量，样本推荐内容项的质量度量基于样本受众群对该样本推荐内容项的历史交互信息来确定。
[0081]
在一些实施例中，样本推荐内容项的历史交互信息包括与对该样本推荐内容项的多个历史交互行为相对应的多个交互得分，并且样本推荐内容项的质量度量通过以下来确定：利用与多个历史交互行为分别相关联的多个预定权重来加权多个交互得分；以及合并加权后的多个交互得分以得到该样本推荐内容项的质量度量。
[0082]
在一些实施例中，多个预定权重通过以下来确定：获得标注推荐内容项集，标注推荐内容项集中的相应推荐内容项被标注有质量度量；获得标注推荐内容项集中相应推荐内容项的多个历史交互行为相对应的多个交互得分；以及通过将标注推荐内容项集中相应推荐内容项的多个交互得分的加权和拟合到对应的质量度量，来确定与多个历史交互行为分别相关联的多个预定权重。
[0083]
在一些实施例中，样本推荐内容项的历史交互信息指示该样本推荐内容项的以下至少一项：点击率，浏览时长，浏览完成率，收藏率，评论率，点赞率，转发率。
[0084]
在一些实施例中，候选推荐内容项的质量度量指示该候选推荐内容项在多个预定质量等级中的分类结果。
[0085]
在一些实施例中，候选推荐内容项集包括推荐内容项库中的候选推荐内容项。在一些实施例中，目标项确定模块630被配置为：基于目标受众群的特征信息，从候选推荐内
容项子集中选择与特征信息相匹配的至少一个目标推荐内容项。
[0086]
在一些实施例中，候选推荐内容项集包括与目标受众群的特征信息相匹配的候选推荐内容项。
[0087]
图7示出了其中可以实施本公开的一个或多个实施例的电子设备700的框图。应当理解，图7所示出的电子设备700仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图7所示出的电子设备700可以用于实现模型训练系统210和/或模型应用系统220。电子设备700可以包括或被实现为图6的装置600。
[0088]
如图7所示，电子设备700是通用计算设备的形式。电子设备700的组件可以包括但不限于一个或多个处理器或处理单元710、存储器720、存储设备730、一个或多个通信单元740、一个或多个输入设备750以及一个或多个输出设备760。处理单元710可以是实际或虚拟处理器并且能够根据存储器720中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备700的并行处理能力。
[0089]
电子设备700通常包括多个计算机存储介质。这样的介质可以是电子设备700可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器720可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(ram))、非易失性存储器(例如，只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存)或它们的某种组合。存储设备730可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备700内被访问。
[0090]
电子设备700可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图7中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器720可以包括计算机程序产品725，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
[0091]
通信单元740实现通过通信介质与其他电子设备进行通信。附加地，电子设备700的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备700可以使用与一个或多个其他服务器、网络个人计算机(pc)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
[0092]
输入设备750可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备760可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备700还可以根据需要通过通信单元740与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备700交互的设备进行通信，或者与使得电子设备700与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(i/o)接口(未示出)来执行。
[0093]
根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以
实现上文描述的方法。
[0094]
这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0095]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0096]
可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0097]
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0098]
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。