一种算法评测方法、装置、介质及计算机设备与流程

1.本公开实施例涉及算法评测技术领域，具体涉及一种算法评测方法、装置、介质及计算机设备。


背景技术：

2.高精地图制作流程中，不同流程节点采用不同的数据处理算法进行数据处理，最终生成高精地图。为了保证高精地图的可靠性，需要对数据处理算法进行评测。
3.目前，将大量的线上任务的数据输入数据处理算法，算法执行后，由人工或自动化方式对算法输出结果进行评定，以实现算法评测。其中，线上任务可以理解为用于评测算法的预设范围(例如长和宽均为2公里的范围)内的数据集。
4.可见，目前的算法评测方式，以任务为评测单位，每次评定只评定一个任务对应的算法输出结果，而任务通常数量巨大，因而评测效率较低。而将不同任务对应的算法输出结果作为整体进行评定，由于不同任务的数据可能重复，会对算法评测造成干扰，影响评测的准确性。


技术实现要素：

5.本公开的至少一个实施例提供了一种算法评测方法、装置、介质及计算机设备。
6.第一方面，本公开实施例提出一种算法评测方法，该方法包括：
7.获取每个任务对应的算法输出结果，任务为用于评测算法的空间数据的数据集；
8.确定每个任务的数据集对应的平面范围；
9.基于每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单，得到多个工单以及每个工单对应的算法输出结果集合；
10.以工单为评定单位，每次对多个工单中一个工单对应的算法输出结果集合进行评定，得到算法输出结果集合的评定结果，直至对多个工单均完成评定。
11.在一些实施例中，确定每个任务的数据集对应的平面范围，包括：
12.针对任一任务，确定该任务的数据集包括的所有空间要素的平面几何形状，得到平面几何形状集合；
13.确定平面几何形状集合中各平面几何形状的并集；
14.基于并集的第一边缘确定该任务的数据集对应的平面范围。
15.在一些实施例中，基于并集的第一边缘确定该任务的数据集对应的平面范围，包括：
16.将并集的第一边缘外扩预设距离，得到第二边缘；
17.将第二边缘构成的范围确定为该任务的数据集对应的平面范围。
18.在一些实施例中，基于并集的第一边缘确定该任务的数据集对应的平面范围，包括：
19.将并集的第一边缘外扩预设距离，得到第二边缘；
20.确定第二边缘的凸包，得到第三边缘，第三边缘为第二边缘的凸包的边缘；
21.将第三边缘构成的范围确定为该任务的数据集对应的平面范围。
22.在一些实施例中，基于每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单，包括：
23.基于每个任务的任务标识，确定每个任务的工单划分顺序；
24.针对任一任务，基于工单划分顺序，遍历该任务的后续任务，将该任务和平面范围不存在交集的后续任务划分到同一工单；对剩余任务，重复执行本步骤，直至所有任务均划分到工单。
25.在一些实施例中，算法输出结果集合的评定结果为对错漏评定结果，该算法评测方法还包括：
26.汇总多个工单的评定结果，得到评定为对的算法输出结果的第一数量、评定为错的算法输出结果的第二数量和评定为漏的任务的第三数量；其中，评定结果为工单对应的算法输出结果集合的对错漏评定结果；
27.基于第一数量、第二数量和第三数量，确定多个算法评测指标的值。
28.在一些实施例中，多个算法评测指标包括以下至少一项：准确率、错误率、漏报率和召回率；
29.准确率为第一数量与总数量的比值；其中，总数量为第一数量、第二数量和第三数量之和；
30.错误率为第二数量与总数量的比值；
31.漏报率为第三数量与总数量的比值；
32.召回率为第一数量和第二数量之和与总数量的比值。
33.第二方面，本公开实施例还提出一种算法评测装置，该装置包括：
34.获取单元，用于获取每个任务对应的算法输出结果，任务为用于评测算法的空间数据的数据集；
35.确定单元，用于确定每个任务的数据集对应的平面范围；
36.划分单元，用于基于每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单，得到多个工单以及每个工单对应的算法输出结果集合；
37.评定单元，用于以工单为评定单位，每次对多个工单中一个工单对应的算法输出结果集合进行评定，得到算法输出结果集合的评定结果，直至对多个工单均完成评定。
38.第三方面，本公开实施例还提出一种计算机设备，其中，包括至少一个计算装置和至少一个存储指令的存储装置；所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如第一方面任一实施例所述算法评测方法的步骤。
39.第四方面，本公开实施例还提出一种计算机可读存储介质，其中，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如第一方面任一实施例所述算法评测方法的步骤。
40.第五方面，本公开实施例还提供一种计算机程序产品，其中，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，计算机的至少一个处理器从存储介质读取并执行该计算机程序，使得计算机执行如第一方面任一实施例所述算法评测方法的步骤。
41.可见，本公开的至少一个实施例中，通过确定每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单；进而，以工单为评定单位，每次评定将一个工单包括的多个任务作为一个整体进行评定，相比现有技术中以任务为评定单位，每次评定只评定一个任务，本公开能够提高评定效率；相比现有技术中以所有任务为整体进行评定，本公开是以工单为评定单位，且同一工单包括的是平面范围不存在交集的多个任务，因此同一工单包括的多个任务之间不存在重复数据，因而能够避免重复数据对评定的干扰，提升算法评测的准确性。
附图说明
42.为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
43.图1为一种相邻任务之间存在重复数据的示意图；
44.图2为本公开实施例提供的一种算法评测方法的流程示意图；
45.图3为本公开实施例提供一种平面几何形状集合中各平面几何形状的并集的示意图；
46.图4为图3基础上确定任务的数据集对应的平面范围的示意图；
47.图5为本公开实施例提供的一种任务划分的流程示意图；
48.图6为本公开实施例提供的一种不同任务的数据集对应的平面范围的示意图；
49.图7为本公开实施例提供的一种算法评测装置的示意图；
50.图8为本公开实施例提供的一种计算机设备的示例性框图。
具体实施方式
51.为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
52.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
53.相关技术中，算法评测的输入源通常包括两种：一种是来自母库的数据，其中，母库可以理解为汇总作业(包括绘制、修改、调整等高精地图制作的操作)后的数据的数据库；另一种是线上任务，其中，线上任务为用于评测算法的预设范围(例如长和宽均为2公里的范围)内的数据集，例如，10公里范围的数据，按照每2公里切割，可以得到5个线上任务，但是为了保证数据的连续性，相邻任务之间需要有重复数据。图1示出了相邻任务之间存在重复数据的示意图，图1中，任务1和任务2为相邻任务，例如任务1为10公里范围内第1公里和第2公里范围内的数据集合，任务2为10公里范围内第3公里和第4公里范围内的数据集合，为了保证数据的连续性，任务1和任务2之间存在重复数据为图1中的阴影部分所示。
54.相关技术中，若采用母库的数据进行算法评测，则按照图幅的范围确定输入数据，其中，图幅是按照地图分幅法划分整个地球或目标区域得到的网格，每个网格即一个图幅，图幅的范围例如是长和宽均为10公里的范围。可见，采用母库的数据进行算法评测，数据量大，评测效率较低。
55.相关技术中，若采用线上任务的数据进行算法评测，则人工或自动化方式对每个线上任务对应的算法输出结果进行评定，评定方式为打标，例如，对于正确的输出结果打标为正确，对于错误的输出结果打标为错误，而线上任务通常数量巨大，因而评测效率较低。而将不同线上任务对应的算法输出结果作为整体进行评定，虽然可以提高评测效率，但是由于不同线上任务的数据可能重复，对算法评测造成干扰：无法判断算法输出结果的错误是由算法引起还是由重复数据引起，影响评测的准确性。
56.针对现有技术存在的至少一个问题，本公开实施例提供了一种算法评测方法、装置、介质或计算机设备，通过确定每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单；进而，以工单为评定单位，每次评定将一个工单包括的多个任务作为一个整体进行评定，相比现有技术中以任务为评定单位，每次评定只评定一个任务，本公开实施例能够提高评定效率；相比现有技术中以所有任务为整体进行评定，本公开实施例是以工单为评定单位，且同一工单包括的是平面范围不存在交集的多个任务，因此同一工单包括的多个任务之间不存在重复数据，因而能够避免重复数据对评定的干扰，提升算法评测的准确性。
57.图2为本公开实施例提供的一种算法评测方法的流程示意图，该算法评测方法的执行主体为电子设备，电子设备包括但不限于车载设备、智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备、服务器等，其中，服务器可以是独立的服务器，也可以是多个服务器的集群，可以包括搭建在本地的服务器和架设在云端的服务器。
58.如图2所示，该算法评测方法可以包括但不限于步骤201至步骤204：
59.在步骤201中，获取每个任务对应的算法输出结果，所述任务为用于评测算法的空间数据的数据集。
60.每个任务具有任务标识(id)，任务标识例如为任务编号，任务编号越小表示任务创建越早。每个任务的数据集为预设范围内的地图元素的空间数据集合，其中，地图元素是用于构建高精地图的要素，且地图元素是通过对雷达设备(例如激光扫描设备)采集的激光点云数据和图像采集设备(例如车载相机)采集的图像数据进行地图元素提取、编辑和绘制得到的。地图元素的类型包括但不限于地面上的方向箭头、车道线、停止线、地面文字等地面元素以及地面之外的指示牌、测速架等地上元素。地图要素的空间数据包括但不限于：地图要素的位置(空间坐标)、形状、大小等信息。
61.算法为数据处理算法，包括但不限于：数据检查算法、数据融合算法、数据编译算法等。将每个任务输入算法，算法执行后，算法输出每个任务的执行结果，即算法输出结果。
62.在步骤202中，确定每个任务的数据集对应的平面范围。
63.针对任一任务，确定该任务的数据集包括的所有空间要素的平面几何形状(geometry)，得到平面几何形状集合(geometrycollection)；进而，可以确定平面几何形状集合中各平面几何形状的并集；从而，可以基于并集的第一边缘，确定该任务的数据集对应
的平面范围。
64.其中，空间要素包括但不限于：点、线、面等由现实世界的地图元素经过处理后得到的矢量化要素以及非现实世界的虚拟要素。非现实世界的虚拟要素是由自动驾驶系统生成的现实世界不存在的、辅助自动驾驶的虚拟要素。虚拟要素包括但不限于：车道由单车道变成双车道的转变位置(即分离点)、车道由双车道变成单车道的转变位置(即合并点)、高速入口、高速出口、虚拟车道线(例如路口的左转方向没有车道线，自动驾驶系统会生成虚拟车道线，以便沿着虚拟车道线控制车辆左转)。
65.平面几何形状(geometry)仅考虑空间要素的平面坐标信息，不考虑空间要素的高程信息，高程为某点沿垂线方向到预设基准面的距离，其中，预设基准面为如下的任一面：大地基准面、似大地基准面、参考椭球面等，需要说明的是，预设基准面的确定属于地图领域的成熟技术，不再赘述。
66.需要说明的是，步骤202和步骤201的执行顺序可以调换，也即，先执行步骤202，再执行步骤201。
67.在步骤203中，基于每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单，得到多个工单以及每个工单对应的算法输出结果集合。
68.在本公开实施例中，一个工单包括多个任务，由于不同任务的数据集对应的平面范围不存在交集，因此，不同任务之间不存在重复数据。每个工单对应的算法输出结果集合可以保存到对应的工单中。
69.在步骤204中，以工单为评定单位，每次对多个工单中一个工单对应的算法输出结果集合进行评定，得到算法输出结果集合的评定结果，直至对多个工单均完成评定。
70.在本公开实施例中，算法输出结果集合的评定结果为对错漏评定结果。对算法输出结果集合进行对错漏评定，可以由人工评定，也可以通过自动化方式评定，自动化方式评定沿用相关技术，为避免重复，不再赘述。若评定某个算法输出结果为对，则将该算法输出结果打标为对；若评定某个算法输出结果为错，则将该算法输出结果打标为错；若某个任务没有对应算法输出结果，则评定为漏，将该任务打标为漏。
71.可见，本公开实施例中，通过确定每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单；进而，以工单为评定单位，每次评定将一个工单包括的多个任务作为一个整体进行评定，相比现有技术中以任务为评定单位，每次评定只评定一个任务，本公开实施例能够提高评定效率；相比现有技术中以所有任务为整体进行评定，本公开实施例是以工单为评定单位，且同一工单包括的是平面范围不存在交集的多个任务，因此同一工单包括的多个任务之间不存在重复数据，因而能够避免重复数据对评定的干扰，提升算法评测的准确性。
72.在上述实施例的基础上，步骤202中“确定每个任务的数据集对应的平面范围”，具体为：
73.针对任一任务，确定该任务的数据集包括的所有空间要素的平面几何形状，得到平面几何形状集合；进而，可以确定平面几何形状集合中各平面几何形状的并集；从而，将并集的第一边缘构成的平面范围确定为该任务的数据集对应的平面范围。图3示出了一种平面几何形状集合中各平面几何形状的并集，该并集的边缘记为第一边缘，将第一边缘构成的平面范围确定为该任务的数据集对应的平面范围。
74.可见，本公开实施例中，将并集的第一边缘(如图3所示的平面几何形状的边缘)构成的平面范围作为该任务的数据集对应的平面范围，但是可能存在如下问题：若第一任务与第二任务为相邻任务，第一任务的数据集对应的平面范围应当与第二任务的数据集对应的平面范围存在交集，也即存在重复数据，但是采用第一边缘确定的平面范围，可能导致第一任务和第二任务不存在重复数据。
75.为了解决该问题，步骤202中“确定每个任务的数据集对应的平面范围”，具体为：
76.针对任一任务，确定该任务的数据集包括的所有空间要素的平面几何形状，得到平面几何形状集合；进而，可以确定平面几何形状集合中各平面几何形状的并集；从而，将并集的第一边缘外扩预设距离，得到第二边缘；将第二边缘构成的范围确定为该任务的数据集对应的平面范围。图4为图3基础上确定任务的数据集对应的平面范围的示意图，图4中，附图标记41为第一边缘外扩得到的第二边缘。
77.可见，本公开实施例中，将第一边缘外扩预设距离，得到第二边缘，以确保相邻任务的数据集对应的平面范围之间存在交集，也即，相邻任务之间存在重复数据。其中，预设距离可以根据实际的应用场景进行设置，本实施例不限定预设距离的具体取值，本实施例中，预设距离为10cm。
78.但是，本公开实施例中，将并集的第二边缘构成的平面范围作为该任务的数据集对应的平面范围，可能存在如下问题：该任务的数据集对应的平面范围可能存在凹面，如图4中的附图标记43所示，导致该任务与其相邻的任务之间不存在重复数据。
79.为了解决该问题，步骤202中“确定每个任务的数据集对应的平面范围”，具体为：
80.针对任一任务，确定该任务的数据集包括的所有空间要素的平面几何形状，得到平面几何形状集合；进而，可以确定平面几何形状集合中各平面几何形状的并集；从而，将并集的第一边缘外扩预设距离，得到第二边缘；确定第二边缘的凸包(convex hull)，得到第三边缘，所述第三边缘为所述第二边缘的凸包的边缘；将第三边缘构成的范围确定为该任务的数据集对应的平面范围。图4中，附图标记42为第三边缘，第三边缘42为第二边缘41的凸包的边缘。
81.其中，凸包(convex hull)为能够包含第二边缘的凸多边形，确定第二边缘的凸包的方式可以采用本领域常规的凸包分析方式，不再赘述。由于第三边缘为第二边缘的凸包的边缘，因此，第三边缘构成的范围不存在凹面，确保相邻任务的数据集对应的平面范围之间存在交集，也即，相邻任务之间存在重复数据。
82.在上述实施例的基础上，步骤203所述的基于每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单，如图5所示，包括但不限于以下步骤501至步骤503：
83.在步骤501中，基于每个任务的任务标识，确定每个任务的工单划分顺序。
84.本公开实施例中，每个任务具有任务标识(id)，任务标识例如为任务编号，任务编号越小表示任务创建越早。因此，基于每个任务的任务标识，可以确定每个任务的划分顺序。例如，将任务标识按照由小至大排序，进而按照排序依次对每个任务进行工单划分。例如有5个任务，任务标识分别为：5,2,4,3,1；排序后的任务标识分别为：1,2,3,4,5，也即，从任务1开始进行工单划分。
85.在步骤502中，针对任一任务，基于所述工单划分顺序，遍历该任务的后续任务，将
该任务和平面范围不存在交集的后续任务划分到同一工单；对剩余任务，重复执行本步骤，直至所有任务均划分到工单。
86.图6示出了一种不同任务的数据集对应的平面范围的示意图。图6示出了任务1至任务5之间存在重复数据的关系。基于每个任务的任务标识，确定每个任务的工单划分顺序依次为：任务1、任务2、任务3、任务4和任务5。
87.针对任务1，由于任务2、任务4和任务5均与任务1存在重复数据，因此，将任务3和任务1划分到同一工单。对剩余的任务：任务2、任务4和任务5，针对任务2，由于任务4与任务2存在重复数据，因此，将任务5和任务2划分到同一工单。对剩余的任务：任务4，由于只剩任务4一个任务，直接将任务4作为一个工单。
88.本公开实施例中，在划分工单后，将每个工单对应的算法输出结果集合保存到对应的工单中。
89.需要说明的是，同一工单中任意两个任务的数据集对应的平面范围不存在交集，也即，同一工单中任意两个任务之间不存在重复数据。
90.在上述实施例的基础上，图2所示的算法评测方法还可以包括如下步骤：
91.汇总多个工单的评定结果，得到评定为对的算法输出结果的第一数量、评定为错的算法输出结果的第二数量和评定为漏的任务的第三数量；其中，评定结果为工单对应的算法输出结果集合的对错漏评定结果；进而，基于第一数量、第二数量和第三数量，确定多个算法评测指标的值。
92.本公开实施例中，多个算法评测指标包括以下至少一项：准确率、错误率、漏报率和召回率。其中，准确率为算法输出结果的准确数量占任务总数量的比例；错误率为算法输出结果的错误数量占任务总数量的比例；漏报率为算法漏报任务的数量占任务总数量的比例；召回率为算法已报任务的数量(也即算法输出结果的数量)占任务总数量的比例。
93.各指标的计算方式如下：
94.准确率为第一数量与总数量的比值；其中，总数量为第一数量、第二数量和第三数量之和。
95.错误率为第二数量与总数量的比值。
96.漏报率为第三数量与总数量的比值。
97.召回率为第一数量和第二数量之和与总数量的比值，也即，召回率＝(第一数量 第二数量)/总数量。
98.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。
99.图7为本公开实施例提供的一种算法评测装置的示意图，该算法评测装置可以应用于电子设备，电子设备包括但不限于车载设备、智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备、服务器等，其中，服务器可以是独立的服务器，也可以是多个服务器的集群，可以包括搭建在本地的服务器和架设在云端的服务器。本公开实施例提供的算法评测装置可以执行算法评测方法实施例提供的处理流程，如图7所示，算法评测装置包括：获取单元71、确定单元72、划分单元73和评定单元74。
100.获取单元71，用于获取每个任务对应的算法输出结果，任务为用于评测算法的空间数据的数据集；
101.确定单元72，用于确定每个任务的数据集对应的平面范围；
102.划分单元73，用于基于每个任务的数据集对应的平面范围，将平面范围不存在交集的任务划分到同一工单，得到多个工单以及每个工单对应的算法输出结果集合；
103.评定单元74，用于以工单为评定单位，每次对多个工单中一个工单对应的算法输出结果集合进行评定，得到算法输出结果集合的评定结果，直至对多个工单均完成评定。
104.在一些实施例中，确定单元72用于：针对任一任务，确定该任务的数据集包括的所有空间要素的平面几何形状，得到平面几何形状集合；确定平面几何形状集合中各平面几何形状的并集；基于并集的第一边缘确定该任务的数据集对应的平面范围。
105.在一些实施例中，确定单元72基于并集的第一边缘确定该任务的数据集对应的平面范围，包括：将并集的第一边缘外扩预设距离，得到第二边缘；将第二边缘构成的范围确定为该任务的数据集对应的平面范围。
106.在一些实施例中，确定单元72基于并集的第一边缘确定该任务的数据集对应的平面范围，包括：将并集的第一边缘外扩预设距离，得到第二边缘；确定第二边缘的凸包，得到第三边缘，第三边缘为第二边缘的凸包的边缘；将第三边缘构成的范围确定为该任务的数据集对应的平面范围。
107.在一些实施例中，划分单元73用于：基于每个任务的任务标识，确定每个任务的工单划分顺序；针对任一任务，基于工单划分顺序，遍历该任务的后续任务，将该任务和平面范围不存在交集的后续任务划分到同一工单；对剩余任务，重复执行本步骤，直至所有任务均划分到工单。
108.在一些实施例中，算法输出结果集合的评定结果为对错漏评定结果，该算法评测装置还包括汇总单元，用于：汇总多个工单的评定结果，得到评定为对的算法输出结果的第一数量、评定为错的算法输出结果的第二数量和评定为漏的任务的第三数量；其中，评定结果为工单对应的算法输出结果集合的对错漏评定结果；基于第一数量、第二数量和第三数量，确定多个算法评测指标的值。
109.在一些实施例中，多个算法评测指标包括以下至少一项：准确率、错误率、漏报率和召回率；
110.准确率为第一数量与总数量的比值；其中，总数量为第一数量、第二数量和第三数量之和；
111.错误率为第二数量与总数量的比值；
112.漏报率为第三数量与总数量的比值；
113.召回率为第一数量和第二数量之和与总数量的比值。
114.以上公开的算法评测装置各实施例的细节可参考前述的算法评测方法各实施例的细节，为避免重复不再赘述。
115.图8是本公开实施例提供的一种计算机设备的示例性框图。如图8所示，该计算机设备包括：至少一个计算装置81、至少一个存储指令的存储装置82。可以理解，本实施例中的存储装置82可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
116.在一些实施方式中，存储装置82存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
117.其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用任务。实现本公开实施例提供的算法评测方法的程序可以包含在应用程序中。
118.在本公开实施例中，至少一个计算装置81通过调用至少一个存储装置82存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，至少一个计算装置81用于执行本公开实施例提供的算法评测方法各实施例的步骤。
119.本公开实施例提供的算法评测方法可以应用于计算装置81中，或者由计算装置81实现。计算装置81可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过计算装置81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的计算装置81可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecific integratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
120.本公开实施例提供的算法评测方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储装置82，计算装置81读取存储装置82中的信息，结合其硬件完成方法的步骤。
121.本公开实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如算法评测方法各实施例的步骤，为避免重复描述，在此不再赘述。其中，计算机可读存储介质可以为非暂态计算机可读存储介质。
122.本公开实施例还提出一种计算机程序产品，其中，该计算机程序产品包括计算机程序，该计算机程序存储在非暂态计算机可读存储介质中，计算机的至少一个处理器从存储介质读取并执行该计算机程序，使得计算机执行如算法评测方法各实施例的步骤，为避免重复描述，在此不再赘述。
123.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
124.本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
125.本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
126.虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。