一种推荐系统召回率确定方法、装置、电子设备及存储介质与流程

1.本发明涉及信息技术领域，尤其涉及一种推荐系统召回率确定方法、装置、电子设备及存储介质。


背景技术：

2.推荐系统通常划分为召回和排序，其中，排序又分为粗排、精排和重排。召回会从海量的对象库里面召回多个召回对象，依次经过粗排和精排等从多个召回对象中筛选出一定数量的召回对象推荐给用户选择。召回作为最开始的环节，提供了能力的基本保障，召回的效果越好，后面排序的压力也会越小，召回的效果很差，排序再强，也无法选出优质的召回对象推荐给用户。


技术实现要素：

3.本发明提供一种推荐系统召回率确定方法、装置、电子设备及存储介质。
4.根据本发明实施例的第一方面，提供一种推荐系统召回率确定方法，所述方法包括：
5.获取在召回时刻对对象池进行召回操作得到的召回对象集，其中，所述召回对象集包括一个或多个召回对象；
6.获取时间窗内对所述对象池进行n次召回操作得到的召回对象中，被选中操作选中的召回对象组成的第一选中对象集，其中，所述时间窗的起始时刻不早于所述召回时刻，其中，n为大于或等于2的正整数；
7.基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率。
8.在一个实施例中，所述基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率，包括：
9.将所述召回对象集和所述第一选中对象集包含的相同召回对象的数量，除以所述第一选中对象集具有的召回对象的数量得到的商，确定为所述召回时刻进行的所述召回的召回率。
10.在一个实施例中，所述获取在召回时刻对对象池进行召回操作得到的召回对象集，包括：
11.获取在所述召回时刻，进行m路召回操作得到的所述召回对象集，其中，m为大于或等于1的正整数，并且m小于或等于总的召回操作路数；
12.所述基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率，包括：
13.所述基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述m路召回操作的召回率。
14.在一个实施例中，所述方法还包括：
15.基于判断对象，确定排序操作的准确率，其中，所述排序操作，用于从所述召回对象集中筛选供选中操作进行选择的召回对象；
16.所述判断对象，包括：同时存在于所述召回对象集和所述第一选中对象集中，并且未存在第二选中对象集中的召回对象，其中，所述第二选中对象集，是由基于所述召回对象集进行选中操所作选中的召回对象组成的。
17.在一个实施例中，所述方法还包括：
18.基于所述召回率，调整所述召回操作的参数。
19.在一个实施例中，所述基于所述召回率，调整所述召回操作的参数，包括至少以下之一：
20.所述基于所述召回率，调整所述召回率对应召回操作的召回量；
21.所述基于所述召回率，调整每路召回操作的召回量
22.所述基于所述召回率，调整所述召回操作的路数。
23.在一个实施例中，所述选中操作至少包括以下之一：
24.点击操作；
25.滑动操作。
26.在一个实施例中，所述召回对象包括至少以下之一：
27.视频对象；
28.音频对象；
29.文字对象。
30.根据本发明实施例的第二方面，提供一种推荐系统召回率确定装置，其特征在于，所述装置包括：
31.第一获取模块，用于获取在召回时刻对对象池进行召回操作得到的召回对象集，其中，所述召回对象集包括一个或多个召回对象；
32.第二获取模块，用于获取时间窗内对所述对象池进行n次召回操作得到的召回对象中被选中操作选中的召回对象组成的第一选中对象集，其中，所述时间窗的起始时刻不早于所述召回时刻，其中，n为大于或等于2的正整数；
33.第一确定模块，用于基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率。
34.在一个实施例中，所述第一确定模块，具体用于：
35.将所述召回对象集和所述第一选中对象集包含的相同召回对象的数量，除以所述第一选中对象集具有的召回对象的数量得到的商，确定为所述召回时刻进行的所述召回的召回率。
36.在一个实施例中，所述第一获取模块，具体用于：
37.获取在所述召回时刻，进行m路召回操作得到的所述召回对象集，其中，m为大于或等于1的正整数，并且m小于或等于总的召回操作路数；
38.所述第一确定模块，具体用于：所述基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述m路召回操作的召回率。
39.在一个实施例中，所述装置还包括：
40.第二确定模块，用于基于判断对象，确定排序操作的准确率，其中，所述排序操作，
用于从所述召回对象集中筛选供选中操作进行选择的召回对象；
41.所述判断对象，包括：同时存在于所述召回对象集和所述第一选中对象集中，并且未存在第二选中对象集中的召回对象，其中，所述第二选中对象集，是由基于所述召回对象集进行选中操所作选中的召回对象组成的。
42.在一个实施例中，所述装置还包括：
43.调整模块，用于基于所述召回率，调整所述召回操作的参数。
44.在一个实施例中，所述调整模块，具体用于至少以下之一：
45.所述基于所述召回率，调整所述召回率对应召回操作的召回量；
46.所述基于所述召回率，调整每路召回操作的召回量
47.所述基于所述召回率，调整所述召回操作的路数。
48.在一个实施例中，所述选中操作至少包括以下之一：
49.点击操作；
50.滑动操作。
51.在一个实施例中，所述召回对象包括至少以下之一：
52.视频对象；
53.音频对象；
54.文字对象。
55.根据本发明实施例的第三方面，提供一种电子设备，包括：处理器、收发器、存储器及存储在存储器上并能够有所述处理器运行的可执行程序，其特征在于，所述处理器运行所述可执行程序时执行如第一方面所述推荐系统召回率确定方法的步骤。
56.根据本发明实施例的第四方面，提供一种存储介质，其上存储由可执行程序，其特征在于，所述可执行程序被处理器执行时实现如第一方面所述推荐系统召回率确定方法的步骤。
57.本发明的实施例提供的推荐系统召回率确定方法、装置及存储介质，获取在召回时刻对对象池进行召回操作得到的召回对象集，其中，所述召回对象集包括一个或多个召回对象；获取时间窗内对所述对象池进行n次召回操作得到的召回对象中被选中操作选中的召回对象组成的第一选中对象集，其中，所述时间窗的起始时刻不早于所述召回时刻，基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率。如此，基于召回对象集和时间窗内第一选中对象集确定召回率，确定的召回率可以反应出召回操作在一个时间窗内的整体召回效果，提高了对召回操作评价的准确性。基于该召回率调整召回操作可以提高在一个时间段内推荐系统的推荐准确率。
58.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
59.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
60.图1是根据一示例性实施例示出一种推荐系统召回率确定方法的流程示意图；
61.图2是根据一示例性实施例示出的一种多个时刻的推荐操作示意图；
62.图3是根据一示例性实施例示出另一种推荐系统召回率确定方法的流程示意图；
63.图4是根据一示例性实施例示出的一种推荐系统召回率确定装置的组成结构示意图；
64.图5是根据一示例性实施例示出的一种用于推荐系统召回率确定的装置的框图。
具体实施方式
65.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
66.在本发明实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
67.应当理解，尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
68.本发明实施例涉及的执行主体包括但不限于：手机、电脑、平板电脑和具有触摸功能的人际交互设备等终端。
69.本公开实施例的一个应用场景为：满足用户兴趣多元化、用户偏好需求、图文视频等内容多元化等原因，推荐系统中召回通常采用多路的形式，即多路召回可以基于相同或不同的召回算法进行召回操作，各路召回之间存在交叉、互补等情况。
70.召回的评估系统的建立有助于召回算法的优化，现有的评估技术使用召回率来评估召回操作，相关技术中，某一时刻一路召回操作的召回率可以表示：该时刻一路召回操作得到的召回对象(item)中被点击的召回对象，占该时刻所有路数的操作得到的召回对象中全部点击的召回对象的比例。例如：单路召回操作得到的items＝{a，b，c，d，e，f}，多路召回经过排序后被点击的items＝{b，c，d，g，h，i}，那么该单路召回操作的召回率就等于{a，b，c，d，e，f}∩{b，c，d，g，h，i}/{b，c，d，g，h，i}＝3/6＝50％。比例越高，说明召回操作的能力越好。一方面，采用该方法，可以评估单路召回的效果，以及单路召回对整体召回的影响，但是无法确定整体召回操作的效果。另一方面，采用该方法，可以通过调整某一路召回操作来覆盖了其他路召回操作的能力，即可以调整某一路召回操作取代其他路的召回操作，但是不能体现一个在一个较长时间段内召回效果的提升。再一方面，由于召回经过排序才会展示给用户，排序对召回的影响无法评估。因此，如何确定整体召回操作的效果，以及在一个较长时间段内召回操作的效果，进而确定排序对召回操作的影响，是亟待解决的问题呢。
71.图1是根据一示例性实施例示出的一种推荐系统召回率确定方法的流程图，如图1所示，包括以下步骤：
72.步骤101：获取在召回时刻对对象池进行召回操作得到的召回对象集，其中，所述
召回对象集包括一个或多个召回对象；
73.步骤102：获取时间窗内对所述对象池进行n次召回操作得到的召回对象中被选中操作选中的召回对象组成的第一选中对象集，其中，所述时间窗的起始时刻不早于所述召回时刻，其中，n为大于或等于2的正整数；
74.步骤103：基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率。
75.这里，可以由具有数据处理能力的计算设备，如推荐系统所在的电脑系统等执行推荐系统召回率确定方法。
76.通常，推荐系统会在不同时刻进行召回操作。召回操作可以根据推荐系统推荐召回对象的频率进行。例如召回操作可以是周期性地进行的，也可以是根据用户的使用习惯间隔不同时间进行的。
77.召回操作根据召回算法从对象池中的到多个召回对象，再经过排序操作等从多个召回对象中筛选出一定数量的召回对象推荐给用户。
78.在一个实施例中，所述召回对象包括至少以下之一：
79.视频对象；音频对象；文字对象。
80.这里，选中操作可以是用户对推荐的多个召回对象中的一个或多个进行确认的动作。
81.在一个实施例中，所述选中操作至少包括以下之一：点击操作；滑动操作。
82.点击操作可以是用户在手机等终端触摸屏上进行的单击、双击和/或长按操作等。滑动操作可以是用户在手机等终端触摸屏上进行的持续触摸并移动一定距离的操作等。
83.示例性的，推荐系统向用户推荐了多个视频对象。用户通过点击操作和/或滑动操作对其中的一个或多个进行播放。
84.对象池中的召回对象可以具有相同的对象类型，也可以具有不同的对象类型。不同对象类型的召回对象也可以分别位于不同的对象池中，进行推荐时，推荐系统从不同的对象池中进行召回。召回对象的对象类型可以但不限于根据召回对象的媒体属性区分的，例如，召回对象可以分为：视频对象、音频对象、文字对象、图像对象。不同类型的召回对象可以通过对象的类型标识区分，类型标识可以是包含在召回对象内的标识信息；类型标识也可以是召回对象的文件格式等。推荐系统可以基于类型标识召回所需的召回对象。
85.在一个实施例中，一个召回对象可以对应于多个对象类型。
86.例如，一个视频文件可以对应于视频对象、音频对象和图像对象3个对象类型。推荐系统可以基于实际需求定义召回对象的对象类型。
87.用户可以根据自身需求要求推荐系统推荐的召回对象的对象类型。例如，更具用户需求，推荐系统可以只推荐视频对象，也可以推荐所有类型的召回对象等。
88.召回对象还可以通过内容属性进行区分。内容属性可以用于区分召回对象为用户展示的内容的属性。示例性的，召回对象根据内容属性可以区分为体育、科学、艺术等。对象池中的召回对象的内容属性可以相同也可以不同。不同内容属性的召回对象可以具有不同的属性标识。进行推荐时，推荐系统从不同的对象池中召回所需的召回对象，和/或基于属性标识召回所需的召回对象。
89.不同对象类型的召回对象可以具有相同的内容属性。例如，视频对象、音频对象、
文字对象的内容属性可以同为体育内容属性。
90.推荐系统在进行推荐时，可以基于用户的习惯、要求等，向用户对象推荐内容属性与用户习惯、要求等关联的召回对象；即召回操作从对象池中召回内容属性与用户习惯、要求等关联的召回对象，并经由排序操作等向用户进行推荐。这里，可以对召回时刻的召回操作进行评估，召回时刻可以是需要进行评估的任一召回操作的发生时刻。可以将召回时刻的召回操作得到的多个召回对象进行存储，并确定为召回对象集。
91.时间窗可以覆盖召回时刻以及召回时刻之后一个时间段内进行召回操作的其他时刻。即时间窗的时间范围可以包括召回时刻的召回操作，以及召回时刻的召回操作之后的至少一次召回操作。
92.时间窗可以是任意合理的时间窗口，可以是一天，也可以是一个小时等。时间窗可以根据需要评估的召回操作需要覆盖的时间范围确定。例如，需要评估召回操作在一天内的效果，那么可以设置时间窗为一天。
93.可以存储在时间窗内的多次召回操作得到的召回对象中，被选中操作所选中的召回对象，作为第一选中对象集。这里，在时间窗内的多次召回操作得到的召回对象，可以先进行排序操作，再将完成排序操作的召回对象推荐给用户进行选中操作。
94.可以基于召回对象集和所述第一选中对象集，确定召回时刻进行的召回操作的召回率。第一选中对象集中的召回对象可以体现用户在时间窗内的需求，以此基于召回对象集和第一选中对象集确定的召回率可以用于确定召回效果在时间窗内的召回效果。
95.在一个实施例中，可以基于召回对象的对象类型和/或内容属性，确定召回对象的召回率。
96.针对不同对象类型的召回对象，可以基于不同对象类型分别计算不同对象类型召回对象的召回率，也可以计算所有对象类型的召回对象的召回率。即推荐系统可以计算n个对象类型的召回对象的召回率，其中，n为大于或等于1的正整数。
97.针对不同内容属性的召回对象，可以基于不同内容属性分别计算不同内容属性召回对象的召回率，也可以计算所有内容属性的召回对象的召回率。即推荐系统可以计算m个内容属性的召回对象的召回率，其中，n为大于或等于1的正整数。
98.示例性的，推荐系统可以基于预定对象类型和预定内容属性，确定召回对象的召回率。例如，可以确定对象类型为视频，并且内容属性为体育的召回对象的召回率。针对一个召回对象对应于多个对象类型，在确定召回率时，该召回对象用于多个对象类型中某一个对象类型的召回率的计算；该召回对象也可以用于在多个对象类型的召回率的计算。
99.示例性的，召回对象用于多个对象类型中某一个对象类型的召回率的计算，例如，召回对象为体育视频，属于视频对象、音频对象和图像对象3个对象类型。当计算内容属性为体育的召回对象的召回率时，可以将该召回对象分别计入视频对象、或音频对象、或图像对象进行召回率的确定。分别计入视频对象、或音频对象、或图像对象时，该召回对象可以只能被使用一次，如，该召回对象作为视频对象进行召回率确定时，不同能再被作为音频对象、或图像对象进行召回率的确定。如此，可以满足不同召回率统计的需求，提高召回率统计的精确程度。
100.示例性的，召回对象可以用于在多个对象类型的召回率的计算，例如，召回对象为体育视频，属于视频对象、音频对象和图像对象3个对象类型。当计算内容属性为体育的召
回对象的召回率时，可以将该召回对象分别计入视频对象、和/或音频对象、和/或图像对象进行召回率的确定。在确定召回率时，该召回对象可以被使用多次，如，该召回对象同时被作为视频对象、音频对象、和图像对象进行召回率的确定。如此，可以满足不同召回率统计的需求，提高召回率统计的精确程度。
101.如此，基于召回对象集和时间窗内第一选中对象集确定召回率，确定的召回率可以反应出召回操作在一个时间窗内的整体召回效果。提高了对召回操作评价的准确性。基于该召回率调整召回操作可以提高在一个时间段内推荐系统的推荐准确率。
102.在一个实施例中，所述基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率，包括：
103.将所述召回对象集和所述第一选中对象集包含的相同召回对象的数量，除以所述第一选中对象集具有的召回对象的数量得到的商，确定为所述召回时刻进行的所述召回的召回率。
104.示例性的，如图2所示的推荐系统在多个时刻的推荐操作，可以设置时间窗为召回时刻t1至tn，可以收集从t1时刻到tn时刻的选中操作选中的召回对象构成第一选中对象集，进而评估召回时刻t1的召回对象集。
105.召回时刻t1的召回对象集＝{a，b，c，d，e，f，g，h}，第一选中对象集＝{f，g，i，h，w，z}，那么该单路召回操作的召回率就等于{a，b，c，d，e，f，g，h}∩{f，g，i，h，w，z}/{f，g，i，h，w，z}＝3/6＝50％。召回率越高，说明针对时间窗n，时刻t1区的召回操作的能力越好；召回率越低，说明针对时间窗n，时刻t1区的召回操作的能力越差。
106.t1时刻的召回操作如果足够强，那么在t1时刻召回操作可以得到在时间窗内用户会选中的所有召回对象，在接下来的时间窗n内，t1时刻得到的所有召回对象会依次被用户选中。如果时间窗n内用户选中的第一选中对象集没有包含在t1时刻的召回对象集中，则说明t1时刻召回操作还有继续优化的空间。
107.在一个实施例中，所述获取在召回时刻对对象池进行召回操作得到的召回对象集，包括：
108.获取在所述召回时刻，进行m路召回操作得到的所述召回对象集，其中，m为大于或等于1的正整数，并且m小于或等于总的召回操作路数；
109.所述基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率，包括：
110.所述基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述m路召回操作的召回率。
111.召回对象集中的召回对象，可以是一路召回操作得到的召回对象，也可以是多路召回操作得到的召回对象。这里，多路召回操作可以是召回时刻所有召回操作得到的召回对象。
112.可以基于实际评估需求确定m的取值。
113.示例性的，一共有20路召回操作，如果需要评估一路召回操作的召回率，则m选1，如果需要确定全部召回操作的召回率，则m选20。
114.如此，一方面，可以灵活选择需要确定召回率的召回操作的数量，提高确定召回率的灵活性。另一方面，针对多路召回操作，可以确定多路召回操作整体的召回率，实现对时
间窗内整体召回效果的评估。
115.在一个实施例中，所述方法还包括：
116.基于判断对象，确定排序操作的准确率，其中，所述排序操作，用于从所述召回对象集中筛选供选中操作进行选择的召回对象；
117.所述判断对象，包括：同时存在于所述召回对象集和所述第一选中对象集中，并且未存在第二选中对象集中的召回对象，其中，所述第二选中对象集，是由基于所述召回对象集进行选中操所作选中的召回对象组成的。
118.排序操作存在将用户选中操作的目标召回对象舍弃的情况。排序操作准确率较低时，会将较多的目标召回对象舍弃。
119.如果在召回时刻召回操作已经召回了第一选中对象集的某个召回对象，但是在基于召回对象集进行选中操所作选中的对象组成的第二选中对象集中却没有此召回对象，说明召回时刻召回操作回已经召回了用户点击的判断对象，但是经过排序没有推荐给用户。不同的判断对象数量越多，说明排序操作的准确率越低。不同的判断对象数量越少，说明排序操作的准确率越高。
120.如此，实现针对排序操作效果的评估，为调整排序操作提供的调整基础，提高推荐系统的推荐成功率。
121.在一个实施例中，所述方法还包括：
122.基于所述召回率，调整所述召回操作的参数。
123.确定召回率后，可以调整召回操作的参数。召回操作的参数可以包括：确定召回率的召回操作相关算法的参数，也可以包括：确定召回率的召回操作之外其他召回操作相关算法的参数，还可以包括针对召回操作的路数的调整参数。例如，可以舍弃召回率低于最低召回阈值的一路或多路召回操作等。
124.在一个实施例中，所述基于所述召回率，调整所述召回操作的参数，包括至少以下之一：
125.所述基于所述召回率，调整所述召回率对应召回操作的召回量；
126.所述基于所述召回率，调整每路召回操作的召回量
127.所述基于所述召回率，调整所述召回操作的路数。
128.确定召回率后，可以调整确定召回率的召回操作的召回量，提高满足客户需求的召回对象的数量和/或减少不符合需求的召回对象。这里，召回量可以包括但不限于：召回比例和召回数量。示例性的，如果召回率大于第一阈值，则说明该召回操作的召回率较高，可以提高该召回操作的召回量。如果召回率大于第一阈值，则说明该召回操作的召回率较低，可以降低该召回操作的召回量，减少不符合需求的召回对象。
129.确定召回率后，还可以调整各路召回操作的召回量，提高满足客户需求的召回对象的数量和/或减少不符合需求的召回对象。示例性的，如果召回率大于第二阈值，则说明该召回操作的召回率较高，可以提高该召回操作的召回量，同时降低其他路召回操作的召回量。如果召回率大于第二阈值，则说明该召回操作的召回率较低，可以降低该召回操作的召回量，由其他召回操作承担更多的召回量，如此增加符合需求的召回对象。
130.确定召回率后，还可以调整各路召回操作的路数。示例性的，可以舍弃召回率低于第三阈值的召回操作。也可以增加一路或多路召回操作，用于满足当前召回操作无法满足
的需求。例如，当前的召回操作主要针对与客户的第一类需求，如果客户产生了第二类需求，则当前的召回操作的召回率必然较低，此时可以增加一路或多路召回操作针对第二类需求进行召回。
131.以下结合上述任意实施例提供1个具体示例：
132.本发明实施例，提供了一种用 t的时间窗口内的点击召回对象(items)来评估当前这一次召回的能力。通过一个预见性的视角，把一个统计窗口内的点击召回对象列表用来评估当前这一次的召回性能。。其中， t表示当前时刻加上t的时间，t可以是任何合理的时间窗口，可以是一天，也可以是一个小时。
133.为了达到上述目的，本发明实施例采用如下技术方案，如图3所示，具体步骤如下：
134.步骤301：衡量当前时刻a的召回能力，把当前时刻a召回的召回对象放进召回列表。可以灵活选择某一路，或者整体，来评估单路的效果或者整体的效果。根据需求来定。
135.步骤302：选择当前时刻到t时刻的点击召回对象，放入点击列表。
136.步骤303：计算公式：召回率＝(召回列表∩点击列表)/点击列表。
137.步骤304：召回率可以通过实验调整召回列表来改变。召回列表可以通过各种方式调整，比如增加一路新的召回，调整各路召回的比例等。
138.本发明实施例提供的方法还可以评估排序的性能，比如在当前时刻召回已经召回了点击列表的某个召回对象，但是在当前时刻的点击列表却没有此召回对象，说明此刻召回操作已经召回了用户点击的召回对象，但是经过排序没有推荐给用户。
139.如图2所示，收集从t1时刻到tn时刻的点击召回对象构成点击列表，回过头评估时刻t1的召回列表。召回操作如果足够强，在t1时刻已经召回回来了用户会点击的所有召回对象。然后在接下来的t1到tn时刻依次被用户点击。如果用户点击的列表没有包含在t1时刻的召回列表中，t1时刻召回列表还有继续优化的空间。
140.图4是根据一示例性实施例示出的一种推荐系统召回率确定装置100，所述装置100包括：
141.第一获取模块110，用于获取在召回时刻对对象池进行召回操作得到的召回对象集，其中，所述召回对象集包括一个或多个召回对象；
142.第二获取模块120，用于获取时间窗内对所述对象池进行n次召回操作得到的召回对象中被选中操作选中的召回对象组成的第一选中对象集，其中，所述时间窗的起始时刻不早于所述召回时刻，其中，n为大于或等于2的正整数；
143.第一确定模块130，用于基于所述召回对象集和所述第一选中对象集，确定所述召回时刻进行的所述召回操作的召回率。
144.在一个实施例中，所述第一确定模块130，具体用于：
145.将所述召回对象集和所述第一选中对象集包含的相同召回对象的数量，除以所述第一选中对象集具有的召回对象的数量得到的商，确定为所述召回时刻进行的所述召回的召回率。
146.在一个实施例中，所述第一获取模块110，具体用于：
147.获取在所述召回时刻，进行m路召回操作得到的所述召回对象集，其中，m为大于或等于1的正整数，并且m小于或等于总的召回操作路数；
148.所述第一确定模块130，具体用于：所述基于所述召回对象集和所述第一选中对象
集，确定所述召回时刻进行的所述m路召回操作的召回率。
149.在一个实施例中，所述装置100还包括：
150.第二确定模块140，用于基于判断对象，确定排序操作的准确率，其中，所述排序操作，用于从所述召回对象集中筛选供选中操作进行选择的召回对象；
151.所述判断对象，包括：同时存在于所述召回对象集和所述第一选中对象集中，并且未存在第二选中对象集中的召回对象，其中，所述第二选中对象集，是由基于所述召回对象集进行选中操所作选中的召回对象组成的。
152.在一个实施例中，所述装置100还包括：
153.调整模块150，用于基于所述召回率，调整所述召回操作的参数。
154.在一个实施例中，所述调整模块150，具体用于至少以下之一：
155.所述基于所述召回率，调整所述召回率对应召回操作的召回量；
156.所述基于所述召回率，调整每路召回操作的召回量
157.所述基于所述召回率，调整所述召回操作的路数。
158.在一个实施例中，所述选中操作至少包括以下之一：
159.点击操作；
160.滑动操作。
161.在一个实施例中，所述召回对象包括至少以下之一：
162.视频对象；
163.音频对象；
164.文字对象。
165.图5根据一示例性实施例示出的一种推荐系统召回率确定装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
166.参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
167.处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
168.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
169.电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
170.多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
171.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
172.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
173.传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
174.通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wi-fi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
175.在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
176.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
177.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上述一种推荐系统召回率确定方法的步骤。
178.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其
它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
179.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。