用于快速评估排序模型的方法和装置

1.本发明属于计算机技术领域，涉及机器学习和数据挖掘领域，尤其涉及用于快速评估排序模型的方法和装置。


背景技术：

2.排序学习是机器学习和数据挖掘中的一类基础研究，在日常生活中有着广泛的应用，如网络搜索、图片检索、推荐系统、在线广告等。排序模型的评估根据相关项目的排名，评估模型的质量，是模型训练和选择的基础。现有的评价指标可以分为全项目评估(如auc)和top-k项目评估(如前k个项目的precision 和ndcg)两类，其中，前者在整个项目列表上评估模型，后者仅在排名前k 的项目上评估模型。
3.在现有方法在排序模型的评估过程中，全项目评估需要对所有项目全排序， top-k项目评估需要通过对所有项目部分排序得到前k个项目，然后基于排序列表，计算评价指标、评估排序模型。因此，现有方法的时间复杂度为和随着互联网和信息技术的发展，现代网站和应用包含千万甚至上亿级的项目，如网页、音乐、图片、商品等。面对如此大规模的数据，现有方法在评估模型时存在计算量较大，效率较低，成本较高等问题。随着信息化的推进和数据的持续增加，这些问题日益明显。


技术实现要素：

4.本发明的目的是，针对现有排序模型的评估方法在大规模项目上面临的问题，提供一种用于快速评估排序模型的方法和装置，以实现快速且准确地评估排序模型，节约成本、资源与时间。
5.第一方面，本发明提供了一种用于快速评估排序模型的方法，该方法包括：
6.获取所有项目的第一评分列表，其中，评分是由待评估的排序模型得到；
7.获取相关项目的第二评分列表，其中，评分可以由第一评分列表得到；
8.将第二评分列表作为分界值，对第一评分列表进行划分，获取相关项目在所有项目中的排名；
9.根据相关项目的排名，计算排序指标、评估排序模型。
10.第二方面，本发明还提供了一种用于快速评估排序模型的装置，该装置包括：
11.评分列表获取模块，用于获取所有项目和相关项目的第一和第二评分列表，其中第一列表中的评分是由模型得到，第二列表中的评分是由第一评分列表得到；
12.相关排名获取模块，用于快速定位第二评分列表中的评分在第一评分列表中的排名，所得排名即为相关项目的排名；
13.排序指标计算模块，根据相关项目的排名，计算排序评价指标、评估排序模型。
14.本发明的方法和装置，其具有以下特点：本发明在对排序模型评估时，无需对所有项目全排序或部分排序；本发明方法中快速定位相关项目排名的技术方案，能够降低排序评估的复杂度；经测试，本发明的方法和装置效率高，能够在亿级项目上快速评估排序模
型；因此，本发明能够提高评估效率、降低评估成本，减少资源消耗。
附图说明
15.图1是本发明实施例一提供的快速评估排序模型方法的流程图；
16.图2是本发明实施例二提供的快速评估排序模型方法的流程图；
17.图3是本发明实施例三提供的快速评估排序模型装置的结构示意图。
18.具体实施
19.下面结合附图和实施例对本发明做进一步的详细说明。显然，所描述的实施例仅用于解释本发明，而非对本发明的限定。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.实施例一
21.图1是本发明实施例一提供的快速评估排序模型方法的流程图，本实施例适用于基于全项目评估排序模型的情况，该方法可以由快速评估排序模型方法的装置来执行，该装置可以采用软件的方式实现。如图1所示，该实施例具体包括：
22.s110：获取所有项目的第一评分列表，其中，评分是由待评估的排序模型得到。示例性的，针对某一用户或者查询，可以得到排序模型对所有项目(如音乐、网页)预测的排序评分，所有项目的排序评分组成第一评分列表。
23.s120：获取相关项目的第二评分列表，其中，评分可有第一评分列表得到。示例性的，相关项目为用户喜欢的音乐或者查询相关的文档，相关项目的评分可以直接从第一评分列表中检索得到，并组成第二评分列表。
24.s130：将第二评分列表作为分界值，对第一评分列表进行划分，获取相关项目在第一评分列表中的排名，具体的：
25.s131：对第二评分列表从大到小排序；
26.s132：若第二评分列表不为空，选取其中位数作为分界值，对第一评分列表划分，使所有大于分界值的评分位于分界值左边，所有小于分界值的评分位于分界值的右边；
27.s133：划分完成、得到分界点之后，在第二评分列表中位数(分界值)左、右两边的子列表和第一评分列表分界点左、右两边的子列表上，分别执行s132，对第一评分列表的子列表进行划分；
28.上述步骤s132-s133结束后，即完成了对第一评分列表的划分；此时，对于每个分界点，其左边的评分都大于分界点上的分界值；其右边的评分都小于分界点上的分界值；因此，分界点即为相关项目在整个项目列表中的排名。
29.s140：根据相关项目的排名，计算排序评价指标、评估排序模型。示例性的，令n为所有项目的数量，m为相关项目的数量，r表示相关项目排名的集合，则 auc评价指标的计算为：
[0030][0031]
通过上述步骤s110-s130，本发明的方法无需对所有项目排序，即可快速定位相关项目的排名，并在步骤s140完成基于全项目的排序模型的评估。
[0032]
实施例二
[0033]
图2是本发明实施例二提供的快速评估排序模型方法的流程图，本实施例适用于基于top-k项目评估排序模型的情况，本实施例根据top-k项目评估的特性，在实施例一的基础上进一步优化。具体的，基于top-k项目的排序评估仅需要前 k个项目中相关项目的排名，因此，本实施例在快速定位相关项目排名时，采用剪枝技术，进一步降低复杂度、减少计算量。如图2所示，该实施例具体包括：
[0034]
s210：同s110。
[0035]
s220：同s120。
[0036]
s230：将第二评分列表作为分界值，采用剪枝技术，对第一评分列表进行划分，获取第一评分列表前k个项目中相关项目的排名，具体的：
[0037]
s231：对第二评分列表从大到小排序；
[0038]
s232：若第二评分列表不为空，选取其中位数作为分界值，对第一评分列表划分；在划分的过程中，若发现该分界值不在前k个项目中，则触发剪枝行为，停止划分。
[0039]
s233：若步骤s232未发生剪枝行为，则在第一评分列表和第二评分列表的左、右两个子列表均继续执行s232；否则，第二评分列表的中位数及其右边子列表对应的相关项目未在前k个项目中，仅在左边子列表上继续执行s232；
[0040]
上述步骤s232-s233结束后，得到的有效分界点，即为在第一评分列表前k 个项目中相关项目的排名。
[0041]
s240：根据所得相关项目排名，计算基于top-k项目评估的评价指标、评估排序模型。示例性的，令n为所有项目的数量，m为相关项目的数量，r表示相关项目排名的集合，则前k个项目的precision和ndcg评价指标的计算为：
[0042][0043][0044]
通过上述步骤s210-s230，本发明的方法可快速定位在前k个项目中相关项目的排名，并在步骤s240完成基于top-k项目的排序模型的评估。
[0045]
实施例三
[0046]
图3是本发明提供的用于快速评估排序模型的装置结构示意图，本实施例可适用于快速地对排序模型进行评估的情况。本发明实施例所提供的快速评估排序模型的装置可执行本发明任意实例所提供的快速评估排序模型的方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置包含评分列表获取模块 310、相关项目排名定位模块320和排序评价指标计算模块330，其中：
[0047]
评分列表获取模型310，用于获取所有项目的第一评分列表和相关项目的第二评分列表，其中评分是由待评估的排序模型得到；
[0048]
相关项目排名定位模块320，用于快速定位相关项目在第一评分列表中的排名。该模型可以通过k的值自适应基于全项目和top-k项目两种评价指标。具体的，令k为所有项目的个数，即可适用与基于全项目的模型评估；若k小于所有物品个数，即可适用于基于top-k
项目的模型评估；
[0049]
排序指标计算模块330，用于计算排序评价指标、获得模型评价结果。
[0050]
本领域的技术人员容易理解本发明中的实施例，以上所述仅为本发明的较佳实施例而言，并不用于限制本发明。