用于确定潜力推荐信息的方法及装置与流程

1.本公开涉及计算机技术领域，更具体地，涉及一种用于确定潜力推荐信息的方法、装置、计算设备及计算机可读存储介质。


背景技术：

2.随着计算机技术的发展，人们越来越多地使用终端设备通过计算机网络来处理生活、工作、学习等中的各种事务。相应地，越来越多的组织或个人开始通过网络平台来投放推荐信息，以向终端用户推荐诸如商品、应用程序、文章、视频等各种对象，从而吸引终端用户执行各种可以为投放方带来收益的行为，例如购买实体或虚拟商品、购买会员、对文章、图片或视频内容进行打赏等。
3.一般而言，投放推荐信息需要消耗一定的资源成本，并且投放方所预期付出的曝光成本与推荐信息的曝光几率通常是正相关的。由此，投放方可以通过增大预期付出的曝光成本来提高推荐信息的曝光几率。然而，在实际情况中，针对相同的曝光成本提升度，不同推荐信息的曝光提升度往往是不同的。因此，盲目提升各推荐信息的曝光成本很可能带来资源成本的过度消耗，而收益却不尽如人意，从而造成资源成本的浪费。此外，当投放方限定了预期的成本收益率时，难以直接通过调节针对转化、点击、曝光等的出价来调节所预期的曝光成本。


技术实现要素：

4.有鉴于此，本公开提供了一种用于确定潜力推荐信息的方法、装置、计算设备及计算机可读存储介质，可以缓解、减轻或甚至消除上述问题。
5.根据本公开的一方面，提供了一种用于确定潜力推荐信息的方法，包括：获取与目标推荐信息相关联的多组历史排序数据，其中，历史排序数据包括与多个候选推荐信息以及一个胜出推荐信息相关的数据，胜出推荐信息是从多个候选推荐信息中确定的曝光的推荐信息；基于所获取的多组历史排序数据，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系；基于所确定的曝光提升度与曝光成本提升度之间的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系；根据所确定的曝光提升度与成本回报率提升度之间的关系，针对一个或多个预定成本回报率提升度，预测对应的曝光提升度；以及响应于针对所述一个或多个预定成本回报率提升度中的至少一个预定成本回报率提升度所预测的曝光提升度大于或等于对应的提升度阈值，将目标推荐信息确定为潜力推荐信息。
6.在一些实施例中，提升度阈值取决于与所预测的曝光提升度对应的成本回报率提升度。
7.在一些实施例中，多组历史排序数据中的每组历史排序数据包括以下中的至少一个：目标推荐信息的曝光成本、在排序中胜出的推荐信息的曝光成本、指示目标推荐信息在排序中胜出的标识，以及其中，基于所获取的多组历史排序数据，确定目标推荐信息的曝光
提升度与曝光成本提升度之间的关系包括：基于多组历史排序数据中的每组历史排序数据，确定胜出的推荐信息的曝光成本与目标推荐信息的曝光成本的比值；针对基于每组历史排序数据确定的比值，确定当目标推荐信息的曝光成本提升度等于该比值减一时，目标推荐信息的曝光提升度；以及基于针对多组历史排序数据所确定的多组曝光成本提升度和曝光提升度，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。
8.在一些实施例中，基于针对所述多组历史排序数据所确定的多组曝光成本提升度和曝光提升度，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系包括：针对多组曝光成本提升度和曝光提升度，执行多项式拟合，以确定多项式中各项对应的参数；以及根据所确定的多项式中各项对应的参数，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。
9.在一些实施例中，基于所确定的曝光提升度与曝光成本提升度之间的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系包括：获取曝光成本提升度与成本回报率提升度之间的关系，该关系是基于曝光成本和成本回报率之间的负相关关系确定的；以及基于曝光提升度与曝光成本提升度之间的关系和所获取的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系。
10.在一些实施例中，该方法还包括：响应于目标推荐信息被确定为潜力推荐信息，对目标推荐信息进行分类处理，以便将目标推荐信息分类为最终潜力推荐信息和非最终潜力推荐信息之一。
11.在一些实施例中，响应于目标推荐信息被确定为潜力推荐信息，对目标推荐信息进行分类处理，包括：响应于目标推荐信息被确定为潜力推荐信息，使用经训练的机器学习模型对目标推荐信息进行分类处理，其包括：将目标推荐信息的特征输入至经训练的机器学习模型，并根据经训练的机器学习模型输出的分类结果将目标推荐信息确定为最终潜力推荐信息或非最终潜力推荐信息，其中，目标推荐信息的特征包括目标推荐信息的提价比例，提价比例是基于初始成本回报率和提升后的成本回报率之比确定的。
12.在一些实施例中，目标推荐信息的特征还包括以下中的一项或多项：目标推荐信息的标识、目标推荐信息的投放方、目标推荐信息在最近一个统计周期内的曝光量、目标推荐信息的投放优化类型、目标推荐信息的投放站点。
13.在一些实施例中，经训练的机器学习模型是通过以下步骤训练的：获取多个推荐信息的历史提价数据，每条历史提价数据包括历史提价比例和相应的曝光提升度，其中，提价比例是基于以下中的一项确定的：推荐信息的初始成本回报率和提升后的成本回报率之比，以及推荐信息的提升后的成本和初始成本之比；将曝光提升度大于或等于提升度阈值的推荐信息标记为最终潜力推荐信息，否则标记为非最终潜力推荐信息；以及使用经标记的多个推荐信息的历史提价数据来训练所述机器学习模型，使得机器学习模型输出的分类结果与各经标记的推荐信息的标记的误差最小化。
14.在一些实施例中，该方法还包括：响应于目标推荐信息被确定为潜力推荐信息，为目标推荐信息生成潜力标记，其中该潜力标记被配置为在被发送至投放方客户端时，使投放方客户端生成并呈现指示目标推荐信息具备潜力的标识。
15.在一些实施例中，该方法还包括：响应于目标推荐信息被确定为最终潜力推荐信息，为目标推荐信息生成潜力标记，其中该潜力标记被配置为在被发送至投放方客户端时，
使投放方客户端生成并呈现指示目标推荐信息具备潜力的标识。
16.在一些实施例中，该方法还包括：监听来自投放方客户端的查看前述标识的请求；以及响应于监听到该请求，向投放方客户端发送针对一个或多个预定成本回报率提升度中的至少一个预定成本回报率提升度所预测的对应的曝光提升度。
17.根据本公开的另一方面，提供了一种用于确定潜力推荐信息的装置，包括：获取模块，被配置为获取与目标推荐信息相关联的多组历史排序数据，其中，历史排序数据包括与多个候选推荐信息以及一个胜出推荐信息相关的数据，胜出推荐信息是从多个候选推荐信息中确定的曝光的推荐信息；第一确定模块，被配置为基于所获取的多组历史排序数据，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系；第二确定模块，被配置为基于所确定的曝光提升度与曝光成本提升度之间的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系；预测模块，被配置为根据所确定的曝光提升度与成本回报率提升度之间的关系，针对一个或多个预定成本回报率提升度，预测对应的曝光提升度；以及第三确定模块，被配置为响应于针对一个或多个预定成本回报率提升度中的至少一个预定成本回报率提升度所预测的曝光提升度大于或等于对应的提升度阈值，将目标推荐信息确定为潜力推荐信息。
18.根据本公开的又一方面，提供了一种计算设备，包括：存储器，其被配置成存储计算机可执行指令；处理器，其被配置成当计算机可执行指令被处理器执行时执行根据前述方面所描述的方法。
19.根据本公开的再一方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，当计算机可执行指令被执行时，执行根据前述方面所描述的方法。
20.根据本公开所提供的用于确定潜力推荐信息的方案，可以通过与目标推荐信息相关联的历史排序数据来确定该目标推荐信息是否为潜力推荐信息。具体而言，可以通过确定成本收益率提升度与曝光提升度之间的关系，预测一个或多个预定成本回报率提升度对应的曝光提升度，进而将针对至少一个预定成本回报率提升度所预测的曝光提升度大于或等于对应的提升度阈值的目标推荐信息确定为潜力推荐信息。所确定的潜力推荐信息可以通过相对较低的资源成本投入获取相对较高的曝光提升度，从而可以为投放方提供调整资源成本配置的依据和参考，有助于优化资源成本的配置，提高资源成本的转化效率。并且，本公开的方案在成本收益率提升度与曝光提升度之间建立的关联，也为通过调节成本收益率来调节曝光几率提供了可能性。
21.根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
22.在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：图1示意性示出了可以应用本公开提供的技术方案的示例场景；图2a示意性示出了相关技术中的示例界面图；图2b示意性示出了相关技术中的另一示例界面图；图3示意性示出了根据本公开的一些实施例的用于确定潜力推荐信息的方法的示
例流程图；图4a示意性示出了根据本公开的一些实施例的图3中的子步骤的示例流程图；图4b示意性示出了根据本公开的一些实施例的图3中的另一子步骤的示例流程图；图5示意性示出了根据本公开的一些实施例的用于确定潜力推荐信息的方法的另一示例流程图；图6示意性示出了根据本公开的一些实施例的用于训练机器学习模型的方法的示例流程图；图7a示意性示出了根据本公开的一些实施例的示例界面图；图7b示意性示出了根据本公开的一些实施例的另一示例界面图；图7c示意性示出了根据本公开的一些实施例的又一示例界面图；图8示意性示出了根据本公开的一些实施例的用于确定潜力推荐信息的装置的示例框图；图9示意性示出了根据本公开的一些实施例的计算设备的示例框图。
具体实施方式
23.在详细介绍本公开的实施例之前，首先对一些相关的概念进行解释：1、推荐信息：用于推荐一个或多个对象的信息，例如广告。推荐信息可以由组织或个人通过一个或多个网络平台进行投放，网络平台可以根据一定规则将所投放的推荐信息呈现在一个或多个用户的终端设备上。当用户点击呈现在终端设备上的推荐信息时，终端设备可以显示新页面或窗口以呈现被推荐的对象，例如商品购买页面、应用程序下载链接、文章浏览页面、视频播放页面等。
24.2、潜力推荐信息：指在对针对曝光、点击、转化或成本回报率的出价进行一定量的提升时，曝光量可以存在较大提升的推荐信息。例如，其可以定义为预估未来若干小时曝光提升度可以达到出价提升度的2倍及以上的推荐信息。取决于应用场景，潜力推荐信息例如可以是潜力广告等。潜力推荐信息的确定可以帮助推荐信息的投放方更好地优化资源成本配置，以及更好地达到起量以及实现曝光或转化的提升，其中起量可以指推荐信息在被成功投放后在预定时间内达到阈值数量次转化。
25.3、曝光：指推荐信息被呈现在用户的终端设备上，例如通过显示器、触摸屏、投影仪等被显示，通过耳机、音响等被播放，或者通过其他用户可感知的方式呈现。
26.4、曝光成本：指投放方为使推荐信息曝光所付出的资源成本，其可以通过金钱等来度量，或者通过点数、积分或网络平台的其他道具的量来度量，或者也可以通过双方认可的其他方式来度量。在本公开中，曝光成本可以通过千次曝光支出（cpm，cost per mille）或千次曝光收入（ecpm，effective cost per mille）来表示。cpm是在推荐信息的投放方的角度定义的，表示投放方针对推荐信息的千次曝光所支付的资源成本；ecpm是在用于投放推荐信息的网络平台的角度定义的，表示网络平台针对推荐信息的千次曝光所获得的资源收入。可选地，可以通过其他方式表示本公开所提及的曝光成本。
27.5、成本回报率：在本公开中，成本回报率是用于评估推荐信息的收益能力的指标参数，成本回报率越高，表示推荐信息在单位资源成本下可带来的收益越高。一般的，成本
回报率可以通过投资回报率（roi，return on investment）来表示，或者可以通过投资回报率的对数、投资回报率与预设系数的乘积等来表示，或者也可以通过其他量来表示。投资回报率可以被定义为投放方通过推荐信息获得的收益与投放该推荐信息所付出的资源成本的比值，即roi =所获收益/资源成本*100%。
28.在一些情况下，可以允许投放方预先设定期望的成本回报率，这也可以理解为针对成本回报率进行出价。示例性地，针对roi出价的推荐信息可以被称为roi推荐信息，这种类型的推荐信息正越来越多的出现在游戏、电商等领域，并逐渐成为这些领域内的主力投放形式。这种投放形式可以将推荐信息带来的收益考虑在内，有助于实现更可控的推荐信息投放效果，以及实现更准确的投放调控。
29.6、生命周期总价值（ltv，life time value）：一般地，指推荐信息的投放方从用户与该推荐信息涉及的推荐对象的所有互动中所得到的全部收益总和。实际上，可以根据需要设定ltv的统计周期，例如全周期（即从开始互动到彻底结束互动）、一天、一周、一月等。示例性地，对于推荐对象为游戏的推荐信息，每个用户的ltv可以指该用户通过点击该推荐信息进入该游戏后在该游戏中支付的金额，例如从登录到不再登录的时间段内支付的总金额或者一日、一周、一月内支付的金额等。对于推荐对象为其他对象的推荐信息，ltv可以被类似地定义。进一步地，ltv可以用于确定推荐信息的成本回报率，其统计周期可以与成本回报率的优化周期有关，例如，若推荐信息的优化目标是首日成本回报率，则所使用的ltv可以是用户的一日ltv。
30.在实际应用中，例如在确定推荐信息的成本回报率时，网络平台所使用的ltv一般为ltv的预测值，即pltv（predicted life time value），其可以基于用户的用户画像以及推荐信息的各种属性等使用相关技术中的各种预测算法或模型来得到。
31.7、点击率（ctr，click through rate）：点击是一种人机交互行为，可以用以触发与被点击的推荐信息相关的窗口、页面、应用程序等的打开。可以通过各种可能的方式实现点击，例如使用鼠标、触摸板、触控屏等输入设备或者通过手势控制、语音控制、动作控制、光信号等来实现点击行为。点击率用于表示推荐信息在曝光后被点击的概率，可以通过推荐信息的点击数与曝光数的比值来确定。
32.在实际应用中，网络平台所使用的ctr一般为ctr的预测值，即pctr（predicted click through rate），其可以基于用户的用户画像以及推荐信息的各种属性等使用相关技术中的各种预测算法或模型来得到。
33.8、转化率（cvr，conversion rate）：转化是指用户在点击推荐信息后，完成针对被推荐对象的预设用户行为，例如针对商品购买页面的购买行为、针对应用程序下载链接的下载行为、针对文章浏览页面或视频播放页面的浏览（诸如浏览时间超过预定阈值）、点赞、转发或打赏行为等。转化率用于表示用户点击推荐信息后执行相应转化行为的概率。
34.在实际应用中，网络平台所使用的cvr一般为cvr的预测值，即pcvr（predicted conversion rate），其可以基于用户的用户画像以及推荐信息的各种属性等使用相关技术中的各种预测算法或模型来得到。
35.9、出价：一般指针对推荐信息的单次曝光、点击或转化的预期成本，更具体地，指投放推荐信息的组织或个人所预期的针对推荐信息的单次曝光、点击或转化应当交付网络平台的资源量。出价通常由投放推荐信息的组织或个人预先设定。
36.在一些实施方式中，出价可以包括浅层出价和深层出价。浅层出价可以是针对浅层优化目标的出价，深层出价可以是针对深层优化目标的出价。优化目标可以根据投放方期望优化的项来设定，例如投放方可能期望获得更高的点击量、更多的下载量、更多的表单预约等。深层优化目标可以是相对于浅层转化目标而言在转化链路上处于更深位置的项，例如，一般地，针对商品链接类推荐信息，可以认为购买相对于点击处于转化链路的更深位置；针对应用程序类推荐信息，可以认为注册相对于下载处于转化链路的更深位置；等等。可选地，附加地或者替代浅层和/或深层出价，可以为推荐信息设置期望的成本回报率，例如设置期望roi。这种推荐信息可以被视为本公开中所提及的设定了期望成本回报率的推荐信息（诸如roi推荐信息）。
37.此外，应理解，尽管第一、第二等术语在本公开中可以用来描述各种步骤、模块等，但是这些步骤、模块等不应当由这些术语限制。这些术语仅用来将一个（或一组）步骤或模块与另一个（或另一组）步骤或模块相区分。还应理解，本公开中所提到的“多个”或类似词语应理解为至少两个，即两个或更多个。
38.图1示意性示出了可以应用本公开提供的技术方案的示例场景100。
39.如图1所示，场景100可以包括网络平台服务器110、在网络平台上投放推荐信息的投放方设备130以及用户终端设备150，以及可选地还包括用于存放投放数据（例如历史排序数据等）的数据库设备120，这些服务器或设备可以经由网络170实现通信。
40.示例性地，投放方管理人员140可以通过投放方设备130在网络平台上投放推荐信息，并为所投放的推荐信息设定针对曝光、点击和/或转化出价、期望的成本回报率等。网络平台服务器110可以基于预先编写的曝光算法来确定要曝光的推荐信息。示例性地，针对某一呈现位置，网络平台服务器110可以比较若干个候选推荐信息的点击率、转化率或曝光成本等，随后可以将曝光点击率、转化率或曝光成本最高的推荐信息（即胜出的推荐信息）推送至用户的终端设备，以在该呈现位置处呈现（即曝光），以便实现用户与所呈现的推荐信息的更高互动概率，进而可能有助于实现更高的平台收益以及更高的投放方的成本收益率。示例性地，可以至少部分地部署在网络平台服务器110上的推荐信息投放系统（例如广告投放系统）可以根据基于预估生命周期总价值、预估点击率、预估转化率预期投资回报率确定的曝光成本来对各推荐信息（例如广告）进行排序，从中选择排序最靠前的推荐信息对终端设备进行推荐信息的曝光。可选地，网络平台服务器110可以从单独的数据库设备120或者从本地数据库获取与推荐信息有关的数据，来实现上述确定曝光的推荐信息的过程。用户160可以在终端设备150上浏览网络平台服务器110推送的推荐信息，并可选地获取其提供的其他服务。用户160可以在终端设备150上点击感兴趣的推荐信息，并可选地执行转化行为以及付费行为。一般而言，这种转化行为和付费行为可以由推荐信息的投放方记录。
41.在本公开中，服务器110可以是单个服务器或服务器集群，其上可以运行用于执行确定潜力推荐信息的方法的应用程序以及存储相关数据。可选地，服务器110还可以运行其他应用程序以及存储其他数据。例如，服务器110可以包括多个虚拟主机，用以运行不同的应用程序并提供不同服务。
42.在本公开中，终端设备150以及投放方设备130可以是各种类型的设备，例如移动电话、平板电脑、笔记本电脑、诸如智能手表的可穿戴设备、车载设备等。终端设备150上可以部署有客户端，该客户端可以用于呈现推荐信息以及可选地提供其他服务，并且可以采
取如下形式中的任一种：本地安装的应用程序、经由其他应用程序访问的小程序、经由浏览器访问的web程序等。用户160可以通过终端设备150的输入/输出接口来查看客户端所呈现的推荐信息以及执行点击行为、实现转化行为、完成支付行为等。类似地，终端设备130上可以部署有用于投放推荐信息的客户端，投放方管理员140可以通过投放方设备130的输入/输出接口来输入与推荐信息相关的数据以及查看投放结果等。可选地，投放方设备130可以与网络平台服务器110集成在一起，在这种情况下，网络平台方与推荐信息投放方可以是相同主体。
43.在本公开中，数据库设备120可视为电子化的文件柜，即存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
44.此外，在本公开中，网络170可以是经由诸如电缆、光纤等连接的有线网络，也可以是诸如2g、3g、4g、5g、wi-fi、蓝牙、zigbee、li-fi等的无线网络。
45.在相关技术中，已经存在针对未设定期望成本收益率的推荐信息确定潜力推荐信息的方案，例如针对非roi推荐信息确定潜力推荐信息的方案。所确定的潜力推荐信息可以通过如图2a、2b所示的界面来展示。图2a和2b分别示意性示出了相关技术中的示例界面200a和200b，其以广告场景为例，示意性示出了与潜力广告相关的部分呈现界面。
46.如图2a所示，界面200可以呈现多条广告，每条广告涉及若干项属性信息。具体地，以图2a上方第一条广告信息为例，其状态为投放中；推广目标为销售线索收集，即收集意向客户商机，以便开发潜在客户；出价方式为ocpm（optimized cost per mille，优化的千次展示出价），浅层优化目标为表单预约，针对表单预约的出价（即浅层出价）为460.00元，即针对完成一次表单预约，投放方期望付出的资源成本为460元；深度优化目标及目标出价为空。这些属性信息可以是投放方预先设定的，网络平台可以根据这些属性信息来优化相应推荐信息的投放情况。如附图标记201所指示的，可以通过“潜”字标识来告知用户哪些广告为潜力广告。
47.当用户点击标识201时，可以呈现诸如界面200b中的窗口202。如图2b所示，窗口202可以包括系统推荐深度目标出价、相应的深度目标出价调整比例以及预估未来1小时曝光情况（包括曝光量和曝光提升度），还可以包括展示多个深度目标出价下的预估未来1小时曝光量及曝光涨幅/出价涨幅的图表。此外，窗口202可以包括允许投放方根据推荐的深度目标出价对相应广告投放进行一键优化的选项，以及允许投放方选择是否等比优化出价的选项。
48.然而，一般的cpm（cost per mille，千次展示出价）、ocpm、cpa（cost per action，每次行动成本）、ocpa（optimized cost per action，优化的每次行动成本）等出价方案仅仅涉及推荐信息的曝光、点击、转化过程，不涉及转化后的收益情况。因此，这些出价方式无法全面客观地衡量推荐信息的投放效果。申请人发现，通过为推荐信息设定期望成本收益率，可以将转化后的收益情况考虑在内，以实现更佳的投放效果。然而，针对这种设定了期望成本收益率的推荐信息（例如roi推荐信息），其曝光成本（例如ecpm）与浅层出价往往并不呈现明显的正相关或负相关关系，因而难以通过简单地调节浅层出价来调节推荐信息的曝光成本，进而也就难以调节其曝光量。并且，目前还不存在专门针对这种推荐信息确定潜力推荐信息的方案。然而，随着这种推荐信息的广泛使用，对于针对这种推荐信息确定潜力
推荐信息的方案的需求正变得愈发迫切。
49.图3示意性示出了根据本公开的一些实施例的用于确定潜力推荐信息的方法300的示例流程图。示例性地，方法300可以以应用程序等方式部署于图1所示的服务器110或其中的虚拟主机上，用以确定潜力推荐信息。
50.具体地，在步骤310，可以获取与目标推荐信息相关联的多组历史排序数据，其中，历史排序数据可以包括与多个候选推荐信息以及一个胜出推荐信息相关的数据，胜出推荐信息是从多个候选推荐信息中确定的曝光的推荐信息。示例性地，用于执行方法300的服务器或主机可以从本地存储装置或外部存储装置（诸如外部数据库设备）获取与目标推荐信息相关联的多组历史排序数据。如前文所提及的，当网络平台针对一个呈现位置确定要曝光的推荐信息时，会根据预定指标对多个候选推荐信息进行排序，并确定出一个胜出推荐信息，以在该呈现位置处曝光。此处所提及的历史排序数据可以是与该排序过程相关的数据。与目标推荐信息相关联的历史排序数据可以指该历史排序数据与目标推荐信息参与过的排序过程相关联。
51.在一些实施例中，当网络平台针对一个呈现位置确定要曝光的推荐信息时，可以先后对众多候选推荐信息进行多次筛选，例如先后经过召回、粗排、精排等中的一个或多个。召回可以用于通过简单的筛选条件（例如通过用户的各种信息确定的定向条件）对海量推荐信息进行初步筛选，以便迅速获取到用户可能感兴趣的若干推荐信息。粗排可以针对通过诸如召回过程获取到的若干推荐信息来进行，其可以基于某些特征对所获取的若干推荐信息进行进一步排序和/或筛选，以便从中确定多个推荐信息进入精排过程，允许进入精排过程的推荐信息的数量可以是预先设定的。精排可以用于根据预设指标（例如曝光成本）对多个推荐信息进行排序，并从中确定最终曝光的胜出推荐信息。一般而言，曝光成本最高的推荐信息可以被确定为胜出推荐信息。在这种实施例中，历史排序数据可以是与精排过程相关的数据。示例性地，一组历史排序数据可以包括进入一次精排过程的多个候选推荐信息的名称以及相应的曝光成本、指示哪个推荐信息在该次精排过程中胜出的标识等，其中，候选推荐信息的曝光成本例如可以由网络平台在本次精排过程中针对该候选推荐信息预测的ecpm来表示。可选地，该ecpm可以直接根据候选推荐信息的特征（例如推荐信息涉及的推荐对象的类别、投放方身份、推荐对象的价位或推荐信息的定向等）以及用户（通过本次精排过程确定的曝光的推荐信息将被呈现给该用户）的用户画像等信息来预测，或者可以间接地通过出价、pctr、pcvr以及pltv等中的一个或多个来计算。在这种示例中，与目标推荐信息相关联的多组历史排序数据可以分别对应目标推荐信息所参与过的多个精排过程，即，每组历史排序数据可以对应于一个精排过程。
52.此外，可选地，所获取的多组历史排序数据可以是在一定时间范围内的历史排序数据，例如最近1小时、最近6小时、最近12小时、最近一天、最近三天、前一天相同时刻附近1小时、直接指定的某一小时或几小时等。该时间范围可以根据实际应用场景及需求来具体设定。可选地，所获取的多组历史排序数据可以是经筛选的历史排序数据，例如可以根据地理位置特征、用户特征、呈现位置特征等进行筛选。
53.在步骤320，可以基于所获取的多组历史排序数据，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。在本公开中，曝光成本提升度可以理解为曝光成本的提升比例，即提升后的曝光成本/提升前的曝光成本-1。曝光提升度以及成本回报率提升度等
可以被类似地理解。曝光提升度与曝光成本提升度之间的关系可以是通过表格、折线图、函数表达式等各种方式表达的关系。
54.在一些实施例中，针对各组历史排序数据，可以基于目标推荐信息的曝光成本和曝光的胜出推荐信息的曝光成本之间的比较，来确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。示例性地，针对一组历史排序数据，可以基于目标推荐信息的曝光成本和胜出推荐信息的曝光成本，确定当目标推荐信息的曝光成本被提升至胜出推荐信息的曝光成本时，目标推荐信息的曝光提升度。进而，综合根据各组历史排序数据确定的目标推荐信息的曝光成本提升度和曝光提升度，可以确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系，例如函数关系。
55.在步骤330，可以基于所确定的曝光提升度与曝光成本提升度之间的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系。类似地，曝光提升度与成本回报率提升度之间的关系也可以是通过表格、折线图、函数表达式等各种方式表达的关系。
56.由于成本回报率涉及收益与成本的比值，因此，一般而言，成本回报率与曝光成本之间可以存在预定关系，该预定关系可以是已知的，或者可以是可通过数据分析手段确定的。示例性地，成本回报率与曝光成本可以呈负相关关系，例如反比例关系。或者，示例性地，可以通过分析推荐信息的历史投放数据中的成本回报率与曝光成本，来确定两者间的关系，例如通过数据拟合来确定两者间的函数关系。进而，可以根据成本回报率与曝光成本之间的关系确定出成本回报率提升度与曝光成本提升度之间的关系。可选地，也可以通过其他方法获取成本回报率提升度与曝光成本提升度之间的关系，例如可以通过分析推荐信息的历史投放数据中的成本回报率提升度与曝光成本提升度，来直接确定两者间的关系。由此，可以以曝光成本提升度为中间量，基于成本回报率提升度与曝光成本提升度之间的关系和在步骤320确定的曝光提升度与曝光成本提升度之间的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系。
57.在步骤340，可以根据所确定的曝光提升度与成本回报率提升度之间的关系，针对一个或多个预定成本回报率提升度，预测对应的曝光提升度。示例性地，可以预先设定多个成本回报率提升度，或预先设定多个成本回报率提升度的确定机制，使得可以根据预设机制自适应地确定多个成本回报率提升度。例如，针对诸如roi形式的成本回报率，可以设置成本回报率的降低梯度和成本回报率提升度的数量。例如，针对优化目标为首日成本回报率的目标推荐信息，可以将降低梯度设置为0.01，并将成本回报率提升度的数量设置为4，则多个预定成本回报率提升度可以为-0.01、-0.02、-0.03以及-0.04；针对优化目标为30日成本回报率的目标推荐信息，可以将降低梯度设置为0.1，并将成本回报率提升度的数量设置为4，则多个预定成本回报率提升度可以为-0.1、-0.2、-0.3以及-0.4。
58.进而，可以针对预先设定或所确定的每个成本回报率提升度，基于在步骤330确定的曝光提升度与成本回报率提升度之间的关系，预测相应的曝光提升度。示例性地，若所确定的曝光提升度与成本回报率提升度之间的关系为函数表达式描述的关系，则可以将各成本回报率提升度代入至函数表达式，以得到所预测的曝光提升度；若所确定的曝光提升度与成本回报率提升度之间的关系为折线图描述的关系，则可以通过折线图上的与各成本回报率提升度对应的点的坐标来预测对应的曝光提升度；若所确定的曝光提升度与成本回报率提升度之间的关系为表格描述的关系，则可以直接在表格中读取与各成本回报率提升度
对应的曝光提升度，或通过诸如线性插值的方法来基于表格中的数据预测与各成本回报率提升度对应的曝光提升度；等等。
59.应理解，以上描述仅仅是说明性和示例性地，可以根据实际需要灵活设定一个或多个预定成本回报率提升度并预测对应的曝光提升度。
60.在步骤350，可以响应于针对一个或多个预定成本回报率提升度中的至少一个预定成本回报率提升度所预测的曝光提升度大于或等于对应的提升度阈值，将目标推荐信息确定为潜力推荐信息。可选地，提升度阈值可以是固定的，也可以是根据目标推荐信息的特征和/或预定成本回报率提升度等的不同而变化的。在一些实施例中，提升度阈值可以取决于与所预测的曝光提升度对应的成本回报率提升度。例如，提升度阈值可以包括与所预测的曝光提升度对应的预定成本回报率提升度与预设阈值的乘积。以及可选地，提升度阈值可以等于与所预测的曝光提升度对应的预定成本回报率提升度与预设阈值的乘积，或者等于与所预测的曝光提升度对应的预定成本回报率提升度与预设阈值的乘积的绝对值或基于该乘积确定的其他值。预设阈值可以根据实际需要确定，例如可以是1、2、2.5、2.8、3等各种值。或者，在一些实施例中，提升度阈值可以包括与所预测的曝光提升度对应的预定成本回报率提升度与预设阈值的和、差、比值，或者也可以根据与所预测的曝光提升度对应的预定成本回报率提升度的平方、立方、对数等来确定提升度阈值。
61.可以理解，当步骤350中的条件不满足时，即，当针对一个或多个预定成本回报率提升度中的每个预定成本回报率提升度所预测的曝光提升度均小于对应的提升度阈值时，则不将目标推荐信息确定为潜力推荐信息，或者将其确定为非潜力推荐信息。
62.方法300提供了一种针对设定了期望成本收益率的推荐信息确定潜力推荐信息的方案。其基于与目标推荐信息相关的历史排序数据，建立了曝光提升度与成本收益率提升度之间的关系，并进而通过这种关系预测成本收益率的各预定成本回报率提升度下的曝光提升度，并根据预测值确定目标推荐信息是否为潜力推荐信息。所确定的潜力推荐信息在成本收益率的某个提升度下，可以达到期望的曝光提升度。因此，这种潜力推荐信息可以帮助投放方进行资源成本的合理配置，以获得满足期望的曝光提升度，进而可能获得更好的推荐信息投放效果及最终收益。
63.在一些实施例中，图3所示的步骤310中提到的多组历史排序数据中的每组历史排序数据可以包括以下中的至少一个：目标推荐信息的曝光成本、在排序中胜出的推荐信息的曝光成本、指示目标推荐信息在排序中胜出的标识。在这种实施例中，图3所示的步骤320可以根据图4a所示的流程图来执行。然而，应理解，虽然在图4a中示出了步骤320的子步骤，但这仅仅是示例性地，实际上，也可以根据其他流程来执行步骤320，例如根据历史排序数据中的其他项来确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系，或者，例如借助机器学习方式来根据多组历史排序数据获取目标推荐信息的曝光提升度与曝光成本提升度之间的关系，等等。
64.具体地，在图4a中，在步骤321，可以基于多组历史排序数据中的每组历史排序数据，确定胜出的推荐信息的曝光成本与目标推荐信息的曝光成本的比值。
65.示例性地，历史排序数据可以是与上文所提到的精排过程相关的数据，曝光成本可以用ecpm来表征。假设目标推荐信息在某个时间段内（例如1小时内），进入精排过程n次，其中胜出m次（m≤n），（n-m）次未胜出，也即，曝光m次，（n-m）次未曝光。针对每组历史排序数
据，可以确定胜出推荐信息的曝光成本与目标推荐信息的曝光成本的比值，在本示例下，也即胜出推荐信息的ecpm和目标推荐信息的ecpm的比值。显然，在目标推荐信息胜出的m组历史排序数据中，该比值为1；在剩余（n-m）组历史排序数据中，该比值为x，其中x的取值范围为(1， ∞)为x1, ..., x
n-m
。
66.可选地，也可以基于其他类型的历史排序数据和/或曝光成本表征方式来执行步骤321。
67.在步骤322，可以针对基于每组历史排序数据确定的比值，确定当目标推荐信息的曝光成本提升度等于该比值减一时，目标推荐信息的曝光提升度。
68.示例性地，在上文关于步骤321详细描述的示例中，可以进一步将所确定的比值按从小到大的顺序排序，从而获得一个长度为n的序列，即[1, 1,
ꢀ…
, 1, x1, x2,
ꢀ…
, x
n-m
]，其中1的个数为m个。可以理解，在理想情况下，当目标推荐信息的曝光成本（在本示例中即ecpm）达到原曝光成本的x1倍时，即当new_ecpm = (x
1 *original_ ecpm)时，也即当目标推荐信息的曝光成本提升度等于x
1-1时，目标推荐信息将在比值x1对应的精排过程中成为胜出推荐信息，也即，目标推荐信息将多获得倍的曝光；当目标推荐信息的曝光成本（在本示例中即ecpm）达到原曝光成本的x2倍时，即当new_ecpm = (x
2 *original_ ecpm)时，也即当目标推荐信息的曝光成本提升度等于x
2-1时，目标推荐信息将在比值x1以及x2对应的精排过程中成为胜出推荐信息，也即，目标推荐信息将多获得倍的曝光；依次类推，可以针对x3,
ꢀ…
, x
n-m
中的每一项，确定目标推荐信息的曝光提升度。
[0069]
在步骤323，可以基于针对多组历史排序数据所确定的多组曝光成本提升度和曝光提升度，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。
[0070]
在一些实施例中，可以根据多项式拟合来确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。具体地，可以针对步骤322中确定的多组曝光成本提升度和曝光提升度，执行多项式拟合，以确定多项式中各项对应的参数；以及根据所确定的多项式中各项对应的参数，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。
[0071]
示例性地，在上文关于步骤321和322详细描述的示例中，可以基于所确定的多组曝光成本提升度和曝光提升度，即（x
1-1，）、（x
2-1，）、...、（x
n-m-1，），来进行多项式拟合，例如三阶多项式拟合，以确定多项式中各项对应的参数，并进而根据所确定的参数获得目标推荐信息的曝光提升度与曝光成本提升度之间的关系式y = f(x)，其中x为曝光成本提升度，y为曝光提升度。
[0072]
可选地，可以采用与上述示例不同的方案来确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系。例如，可以采用其他类型的函数来对所确定的多组曝光成本提升度和曝光提升度进行拟合。或者，可选地，也可以采用绘制图表、机器学习等方式来确定曝光成本提升度和曝光提升度之间的关系。
[0073]
通过图4a所示的流程图，可以较为简便地基于所获取的多组历史排序数据来确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系，从而有助于保持较低的计算复杂度，进而有助于提高确定速度以及节省计算资源、存储资源等。
[0074]
图4b示意性示出了根据本公开的一些实施例的图3中的另一子步骤330的示例流程图。应理解，虽然在图4b中示出了步骤330的子步骤，但这仅仅是示例性地，实际上，也可以根据其他流程来执行步骤330。
[0075]
具体地，在步骤331，可以获取曝光成本提升度与成本回报率提升度之间的关系，该关系是基于曝光成本和成本回报率之间的负相关关系确定的。可选地，曝光成本提升度与成本回报率提升度之间的关系可以是固定的或可变的，以及执行步骤330的服务器或主机可以从本地或外部存储装置获取该关系，或者可以自行确定该关系。
[0076]
在一些实施例中，曝光成本可以通过ecpm表征，成本回报率可以由roi表征。在这种实施例中，roi的计算方式可以为与目标推荐信息相关的总收益和总成本的比值，即roi=总收益/总成本，该计算公式可改写为：。
[0077]
在理想情况下推荐信息的cpm与ecpm应相等，并且在实际应用中，ctr、cvr和ltv可以分别通过其预测值pctr、pcvr和pltv来估计。如此，上式可以被进一步改写为：,其中，coefficients用于指代可能存在的调整系数，其与本公开的方案无关，在此不做详细描述。由此，可以看出，ecpm与roi负相关，降低roi可以提升ecpm，并进而可以增加目标推荐信息的曝光几率。根据以上推导得到的ecpm与roi的关系式，可以通过下式描述ecpm提升度与roi提升度的关系：，其中，z为roi的提升度，g(z)为ecpm的提升度。至此，在上述实施例中，曝光成本提升度与成本回报率提升度之间的关系得以确定。
[0078]
可选地，在一些实施例中，曝光成本及成本回报率也可以由其他量来表征，在这种实施例中，曝光成本提升度与成本回报率提升度之间的关系可以通过与上述示例过程不同的过程来确定。
[0079]
在步骤332，可以基于曝光提升度与曝光成本提升度之间的关系和所获取的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系。示例性地，可以以曝光成本提升度为中间量，基于曝光提升度与曝光成本提升度之间的关系和在步骤331中获取的曝光成本提升度与成本回报率提升度之间的关系，来确定曝光提升度与成本回报率提升度之间的关系。
[0080]
示例性地，在上文关于步骤331详细描述的实施例中，曝光成本提升度与成本回报率提升度之间的关系可以被确定为，由此，可以将该关系式代入至曝光提升度与曝光成本提升度之间的关系，即以替换曝光成本提升度，来确定曝光提升度与成本回报率提升度之间的关系。
[0081]
此外，示例性地，在上文关于图4a的各步骤详细描述的实施例中，假设其中的曝光
提升度与成本回报率提升度之间的关系可以根据关于图4b详细描述的实施例来确定，则可以基于目标推荐信息的曝光提升度与曝光成本提升度之间的关系式y = f(x)以及曝光成本提升度与成本回报率提升度之间的关系式，得到复合函数y = f(g(z))，可以进一步将其表示为y = h(z)，其中z为roi的提升度，y为曝光提升度。在这种情况下，当针对多个roi提升度-0.01、-0.02、-0.03以及-0.04确定相应的曝光提升度时，可以分别通过计算h(-0.01)、h(-0.02)、h(-0.03)以及h(-0.04)来确定，进而，当h(-0.01)、h(-0.02)、h(-0.03)以及h(-0.04)中的任一个或多个大于或等于对应的提升度阈值时，可以认为目标推荐信息为潜力推荐信息；当针对多个roi提升度-0.1、-0.2、-0.3以及-0.4确定相应的曝光提升度时，可以分别通过计算h(-0.1)、h(-0.2)、h(-0.3)以及h(-0.4)来确定，进而，当h(-0.1)、h(-0.2)、h(-0.3)以及h(-0.4)中的任一个或多个大于或等于对应的提升度阈值时，可以认为目标推荐信息为潜力推荐信息。进一步地，当提升度阈值为与所预测的曝光提升度对应的成本回报率提升度与预设阈值的乘积时，可以通过判断或者是否成立来确定，其中，z为相应的成本回报率提升度，t为预设阈值，该阈值可以如上文所述地根据需要来预先设定。
[0082]
通过图4b所示的流程图，可以较为简便且准确地确定曝光提升度与成本回报率提升度之间的关系，从而有助于保持较低的计算复杂度，并且有助于快速且准确地确定目标推荐信息是否为潜力推荐信息。
[0083]
图5示意性示出了根据本公开的一些实施例的用于确定潜力推荐信息的方法300'的示例流程图。类似于方法300，方法300'可以以应用程序等方式部署于图1所示的服务器110或其中的虚拟主机上，用以确定潜力推荐信息。
[0084]
与方法300相比，方法300'同样包括步骤310-350，不同之处在于还包括步骤360。方法300'所包括的步骤310-350与关于图3和图4a、图4b描述的步骤310-350相同，在此不再赘述。
[0085]
在步骤360，可以响应于目标推荐信息被确定为潜力推荐信息，对目标推荐信息进行分类处理，以便将目标推荐信息分类为最终潜力推荐信息和非最终潜力推荐信息之一。
[0086]
在一些实施例中，当针对众多推荐信息依次根据方法300确定其是否为潜力推荐信息时，所确定的潜力推荐信息的数量可能较多，此时，可以通过步骤360对这些潜力推荐信息进行二次筛选，从而获取到更为精简的最终潜力推荐信息。这有助于更为准确地确定出高潜力的推荐信息，以便更好地帮助投放方进行资源配置。
[0087]
在一些实施例中，可以借助机器学习模型来实现步骤360中的分类处理，即，响应于目标推荐信息被确定为潜力推荐信息，可以使用经训练的机器学习模型对目标推荐信息进行分类处理。具体地，可以将目标推荐信息的特征输入至经训练的机器学习模型，并根据经训练的机器学习模型输出的分类结果将目标推荐信息确定为最终潜力推荐信息或非最终潜力推荐信息，其中，目标推荐信息的特征可以包括目标推荐信息的提价比例，该提价比例是基于初始成本回报率和提升后的成本回报率之比确定的。例如，该提价比例可以等于，或者可以是其他与相关的量。示例性地，该提价
比例可以根据步骤350中提到的至少一个预定成本回报率提升度来确定，在该至少一个预定成本回报率提升度处，所预测的曝光提升度大于或等于对应的提升度阈值。
[0088]
可选地，可以使用xgboost模型来执行上述分类处理。xgboost是一种二分类模型，输出值可以被分类为0和1，其中，0可以对应于非最终潜力推荐信息，1可以对应于最终潜力推荐信息。可选地，xgboost模型的输出值可以与一阈值进行比较，若大于阈值，则被分类为1，反之，则被分类为0。可选地，可以通过调整该阈值来调节模型的准确度和/或调控最终潜力推荐信息的数量。示例性地，该阈值可以被设置为0.7或其他值。此外，可选地，也可以使用其他机器学习模型来执行上述分类处理，例如，逻辑回归模型、全连接神经网络、支持向量机、gbdt、lightgbm等。
[0089]
在一些实施例中，除了提价比例之外，被输入至经训练的机器学习模型的目标推荐信息的特征还包括以下中的一项或多项：目标推荐信息的标识、目标推荐信息的投放方、目标推荐信息在最近一个统计周期内的曝光量、目标推荐信息的投放优化类型、目标推荐信息的投放站点，其中，投放优化类型可以包括针对转化行为进行优化、针对成本回报率进行优化等。示例性地，该一项或多项特征可以连同提价比例以及可选的其他特征一起被编码成向量，并被输入至经训练的机器学习模型。
[0090]
在一些实施例中，可以通过图6所示的方法600来训练上述机器学习模型。该训练过程可以在执行方法300或300'的服务器或主机上被执行，或者也可以在其他服务器或主机上被执行。
[0091]
具体地，在步骤610，可以获取多个推荐信息的历史提价数据，每条历史提价数据包括历史提价比例和相应的曝光提升度，其中，提价比例是基于以下中的一项确定的：推荐信息的初始成本回报率和提升后的成本回报率之比，以及推荐信息的提升后的成本和初始成本之比。
[0092]
在一些实施例中，可以仅获取设定了期望的成本回报率的推荐信息的历史提价数据，则提价比例可以根据推荐信息的初始成本回报率和提升后的成本回报率之比来确定，例如提价比例可以等于，或者可以是其他与相关的量。在一些实施例中，由于设定了期望的成本回报率的推荐信息的数量可能较少，可以同时获取设定了期望的成本回报率的推荐信息的历史提价数据和未设定期望的成本回报率的推荐信息的历史提价数据。在这种实施例中，针对设定了期望的成本回报率的推荐信息，可以根据推荐信息的初始成本回报率和提升后的成本回报率之比来确定提价比例；针对未设定期望的成本回报率的推荐信息，可以根据推荐信息的提升后的成本和初始成本之比来确定提价比例，成本可以由针对曝光、点击或特定转化行为设定的出价来表示，例如，可以根据推荐信息的提升后的出价和初始出价之比来确定提价比例。示例性地，可以根据下式确定提价比例：
字标识701可以被查看，例如用户可以通过点击标识701、将指针悬停在标识701处等操作来查看该标识。投放方客户端可以在检测到上述查看操作时，向服务器发送查看标识的请求。当服务器监听到该请求时，可以向投放方客户端发送针对一个或多个预定成本回报率提升度中的至少一个预定成本回报率提升度所预测的对应的曝光提升度，以及可选地根据该至少一个预定成本回报率提升度及对应的曝光提升度确定并发送推荐的成本回报率提升度等其他数据。在接收到上述数据后，投放方客户端可以对接收到的数据进行处理并以任一可感知的方式呈现给用户。
[0102]
示例性地，投放方客户端可以如图7b所示的界面700b所示那样呈现所接收的数据。图7b同样以广告场景为例，示意性示出了与roi广告相关的界面700b。界面700b包括潜力广告窗口702。窗口702可以包括系统推荐roi、相应的roi调整比例以及预估未来1小时曝光（包括曝光量和相应的曝光提升度），还可以包括展示多个roi下的预估未来1小时曝光量及曝光涨幅/roi降幅的图表。此外，窗口702可以包括允许投放方根据系统推荐的roi对相应广告投放进行一键优化的选项。附加地或替代地，可以根据实际需要在窗口702中呈现其他信息。
[0103]
通过监听查看标识的请求以及向投放方客户端发送针对一个或多个预定成本回报率提升度中的至少一个预定成本回报率提升度所预测的对应的曝光提升度，可以使投放方能够获知潜力推荐信息和/或最终潜力推荐信息的更详细的数据，从而更方便地调整推荐信息的成本回报率，以获得期望的曝光提升度。
[0104]
此外，在一些实施例中，还可以向投放方客户端发送有关潜力推荐信息和/或最终潜力推荐信息的数量的数据，或者投放方客户端可以自行统计该数据，并在如图7c所示的界面700c中呈现。图7c同样以广告场景为例，示意性示出了广告统计界面700c。示例性地，可以如附图标记703所示那样呈现潜力广告的数量，以及可选地呈现可以通过调节roi获得的曝光量的预计涨幅。这有助于投放方在宏观上了解当前投放的推荐信息中潜力推荐信息的数量以及可选的可预期的曝光量涨幅。
[0105]
图8示意性示出了根据本公开的一些实施例的用于确定潜力推荐信息的装置800。如图8所示，装置800包括获取模块810、第一确定模块820、第二确定模块830、预测模块840以及第三确定模块850。
[0106]
具体地，获取模块810可以被配置为获取与目标推荐信息相关联的多组历史排序数据，其中，历史排序数据包括与多个候选推荐信息以及一个胜出推荐信息相关的数据，胜出推荐信息是从多个候选推荐信息中确定的曝光的推荐信息；第一确定模块820可以被配置为基于所获取的多组历史排序数据，确定目标推荐信息的曝光提升度与曝光成本提升度之间的关系；第二确定模块830可以被配置为基于所确定的曝光提升度与曝光成本提升度之间的关系，确定目标推荐信息的曝光提升度与成本回报率提升度之间的关系；预测模块840可以被配置为根据所确定的曝光提升度与成本回报率提升度之间的关系，针对一个或多个预定成本回报率提升度，预测对应的曝光提升度；以及第三确定模块850可以被配置为响应于针对所述一个或多个预定成本回报率提升度中的至少一个预定成本回报率提升度所预测的曝光提升度大于或等于对应的提升度阈值，将目标推荐信息确定为潜力推荐信息。
[0107]
应理解，装置800可以以软件、硬件或软硬件相结合的方式实现。多个不同模块可
以在同一软件或硬件结构中实现，或者一个模块可以由多个不同的软件或硬件结构实现。
[0108]
此外，装置800可以用于实施前文所描述的方法300或300'，其相关细节已经在前文中详细描述，为简洁起见，在此不再重复。装置800可以具有与关于前述方法描述的相同的特征和优势。
[0109]
图9示意性示出了根据本公开的一些实施例的计算设备900的示例框图。例如其可以代表图1中的服务器110或可以用于部署本公开提供的装置800的其他类型的计算设备。
[0110]
如图所示，示例计算设备900包括彼此通信耦合的处理系统901、一个或多个计算机可读介质902以及一个或多个i/o接口903。尽管未示出，但是计算设备900还可以包括将各种组件彼此耦合的系统总线或其他数据和命令传送系统。系统总线可以包括不同总线结构的任何一个或组合，所述总线结构可以是诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何一种的处理器或局部总线，或者还可以包括诸如控制和数据线。
[0111]
处理系统901代表使用硬件执行一个或多个操作的功能。因此，处理系统901被图示为包括可被配置为处理器、功能块等的硬件元件904。这可以包括在硬件中实现专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件904不受其形成材料或其中采用的处理机构的限制。例如，处理器可以由（多个）半导体和/或晶体管（例如，电子集成电路（ic））组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
[0112]
计算机可读介质902被图示为包括存储器/存储装置905。存储器/存储装置905表示与一个或多个计算机可读介质相关联的存储器/存储装置。存储器/存储装置905可以包括易失性存储介质（诸如随机存取存储器（ram））和/或非易失性存储介质（诸如只读存储器（rom）、闪存、光盘、磁盘等）。存储器/存储装置905可以包括固定介质（例如，ram、rom、固定硬盘驱动器等）以及可移动介质（例如，闪存、可移动硬盘驱动器、光盘等）。示例性地，存储器/存储装置905可以用于存储上文实施例中提及的历史排序数据、期望的成本回报率、所确定的曝光提升度与曝光成本提升度的关系、所确定的曝光成本提升度与成本回报率提升度的关系等。计算机可读介质902可以以下面进一步描述的各种其他方式进行配置。
[0113]
一个或多个输入/输出接口903代表允许用户向计算设备900键入命令和信息并且还允许使用各种输入/输出设备将信息呈现给用户和/或发送给其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风（例如，用于语音输入）、扫描仪、触摸功能（例如，被配置为检测物理触摸的容性或其他传感器）、相机（例如，可以采用可见或不可见的波长（诸如红外频率）将不涉及触摸的运动检测为手势）、网卡、接收机等等。输出设备的示例包括显示设备（例如，监视器或投影仪）、扬声器、打印机、触觉响应设备、网卡、发射机等。示例性地，在上文描述的实施例中，可以通过输入设备允许管理人员输入各种预设阈值等，可以通过输出设备允许管理人员对确定潜力推荐信息的方法的执行过程和/或结果进行监控、查看等。
[0114]
计算设备900还包括潜力推荐信息确定应用906。潜力推荐信息确定应用906可以作为计算程序指令存储在存储器/存储装置905中。潜力推荐信息确定应用906可以连同处理系统901等一起实现关于图8描述的装置800的各个模块的全部功能。
[0115]
本文可以在软件、硬件、元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据
结构等。本文所使用的术语“模块”、“功能”等一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。
[0116]
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备900访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
[0117]
与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据）的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于ram、rom、eeprom、闪存或其它存储器技术、cd-rom、数字通用盘（dvd）或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
[0118]“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备900的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。作为示例而非限制，信号介质包括诸如有线网络或直接连线的有线介质以及诸如声、rf、红外和其它无线介质的无线介质。
[0119]
如前所述，硬件元件901和计算机可读介质902代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路（asic）、现场可编程门阵列（fpga）、复杂可编程逻辑器件（cpld）以及硅中的其它实现或其他硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，以及用于存储用于执行的指令的硬件设备，例如，先前描述的计算机可读存储介质。
[0120]
前述的组合也可以用于实现本文所述的各种技术和模块。因此，可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件901体现的一个或多个指令和/或逻辑。计算设备900可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件901，可以至少部分地以硬件来实现将模块实现为可由计算设备900作为软件执行的模块。指令和/或功能可以由例如一个或多个计算设备900和/或处理系统901执行/可操作以实现本文所述的技术、模块和示例。
[0121]
本文描述的技术可以由计算设备900的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。
[0122]
应当理解，为清楚起见，参考不同的功能单元对本公开的实施例进行了描述。然而，将明显的是，在不偏离本公开的情况下，每个功能单元的功能性可以被实施在单个单元中、实施在多个单元中或作为其它功能单元的一部分被实施。例如，被说明成由单个单元执
行的功能性可以由多个不同的单元来执行。因此，对特定功能单元的参考仅被视为对用于提供所描述的功能性的适当单元的参考，而不是表明严格的逻辑或物理结构或组织。因此，本公开可以被实施在单个单元中，或者可以在物理上和功能上被分布在不同的单元和电路之间。
[0123]
本公开提供了一种计算机可读存储介质，其上存储有计算机可读指令，计算机可读指令在被执行时实现上述的用于确定潜力推荐信息的方法。
[0124]
本公开提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算设备执行上述各种可选实现方式中提供的用于确定潜力推荐信息的方法。
[0125]
通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除其他元件或步骤，并且“一”或“一个”不排除多个。在相互不同的从属权利要求中记载某些措施的纯粹事实并不表明这些措施的组合不能用来获利。