确定对象类别的方法、装置、电子设备和存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及深度学习技术领域和自动驾驶技术领域。更具体地，本公开提供了一种确定对象类别方法、装置、电子设备和存储介质。


背景技术：

2.轻量级深度学习模型可以应用于移动终端上。移动终端例如可以是手机、车机端等等。例如，可以利用车机端上的轻量级深度学习模型确定采集到的图像中对象的类别，以便自动驾驶车辆根据对象的类别确定驾驶模式。


技术实现要素：

3.本公开提供了一种确定对象类别的方法、装置、设备以及存储介质。
4.根据本公开的一方面，提供了一种确定对象类别的方法，该方法包括：利用n个深度学习模型对输入图像进行图像处理，得到n个输出结果，其中，n为大于1的整数；确定所述n个输出结果之间是否存在预定差异；以及响应于确定所述n个输出结果之间存在预定差异，对所述输入图像中的对象进行分类，以确定所述输入图像中对象的类别。
5.根据本公开的另一方面，提供了一种确定对象类别的装置，该装置包括：图像处理模块，用于利用n个深度学习模型对输入图像进行图像处理，得到n个输出结果，其中，n为大于1的整数；第一确定模块，用于确定所述n个输出结果之间是否存在预定差异；以及分类模块，用于响应于确定所述n个输出结果之间存在预定差异，对所述输入图像中的对象进行分类，以确定所述输入图像中对象的类别。
6.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
7.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
8.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案，不构成对本公开的限定。其中：
11.图1是根据本公开的一个实施例的确定对象类别的方法和装置的示例性应用场景示意图；
12.图2是根据本公开的一个实施例的确定对象类别的方法的流程图；
13.图3是根据本公开的另一个实施例的确定对象类别的方法的流程图；
14.图4a是根据本公开的一个实施例的输入图像的示意图；
15.图4b是根据本公开的一个实施例的第一输出结果的示意图；
16.图4c是根据本公开的一个实施例的第二输出结果的示意图；
17.图4d是根据本公开的一个实施例的计算至少一个第一检测框和至少一个第二检测框之间的交并比的原理图；
18.图5是根据本公开的一个实施例的确定对象类别的装置的框图；以及
19.图6是根据本公开的一个实施例的可以应用确定对象类别的方法的电子设备的框图。
具体实施方式
20.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.部署在车机端上的轻量级深度学习模型的算力有限。在利用车机端上的轻量级深度学习模型确定采集到的图像中对象的类别时，得到的结果可能存在误差。
22.例如，距离采样装置较远的对象在图像中的尺寸较小。轻量级深度学习模型可能无法准确地确定其类别。又例如，路面积水中可以形成交通信号灯的倒影。轻量级深度学习模型可能将该倒影的类别确定为行人，导致相关自动驾驶车辆进入刹车模式。
23.为了提高轻量级深度学习模型的性能，可以将这些存在误差的结果从相关数据集中筛选出来，得到一个具有负面标签的训练数据集，以便对轻量级深度学习模型进行训练。例如，可以利用人工从相关数据集中筛选出存在误差的结果。
24.轻量级深度学习模型可以在短期内(例如1分钟内)根据图像确定相关对象的类别，导致相关数据集的数据量较大。因此，利用人工从相关数据集中筛选存在误差的结果需要较多的时间成本和人力成本。
25.图1是根据本公开一个实施例的确定对象类别的方法和装置的示例性应用场景示意图。
26.需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
27.如图1所示，该实施例的场景100包括服务器110、行驶在道路上的对象、通信基站130和道路交通网。其中道路交通网中可以包括道路，及由道路交汇形成的路口。
28.例如，在该场景100中，行驶在道路上的对象包括行人121、卡车122和轿车123。在一个示例中，轿车123例如可以是自动驾驶车辆。
29.例如，在该场景100中，道路交通网至少包括路口140和路口150。其中，道路交通网中路段161、路段162、路段163等交汇形成路口140。
30.其中，本公开实施例中的路段是指在相邻两个路口之间的道路段。交汇形成每个路口的路段可以包括有驶入该路口的路段和驶出该路口的路段。例如，交汇形成路口140的路段包括有驶入路口140的路段161、163等，也包括有驶出路口140的路段162等。
31.例如，如图1所示，在交汇形成路口的路段上可以行驶有轿车123，该轿车123的车机端例如可以部署有轻量级深度学习模型，该车机端可以通过通信基站130向后台服务器上传数据。服务器110例如可以通过网络从后台服务器中请求数据，以获取车机端上传的数据。
32.例如，服务器110上可以部署有各种深度学习模型。该服务器110例如可以为支持深度学习模型运行的任意服务器，例如可以为分布式系统的服务器，或者是结合了区块链的服务器。
33.需要说明的是，本公开实施例所提供的确定对象类别的方法一般可以由服务器110执行。本公开实施例所提供的确定对象类别的装置可以设置于服务器110中。
34.应该理解，图1中的服务器、道路、对象和通信基站的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数据和类型的终端、道路、对象和通信基站。
35.图2是根据本公开的一个实施例的确定对象类别的方法的流程图。
36.如图2所示，该方法200可以包括操作s210至操作s230。
37.在操作s210，利用n个深度学习模型对输入图像进行图像处理，得到n个输出结果。
38.例如，n为大于1的整数。
39.例如，可以获取例如图1所示的轿车123上的轻量级深度学习模型的输入数据集。从该输入数据集中选取一个图像作为输入图像img_in。并且，也可以获取与该图像img_in对应的输出结果output_1，作为轻量级深度学习模型的输出结果。在一个示例中，输入图像中包含多个类别的对象。类别可以为行人、轿车、卡车和非机动车等等。
40.又例如，本实施例中，以n＝2为示例，可以在例如图1所示的服务器110上，利用1个深度学习模型对输入图像img_in进行图像处理，得到1个输出结果output_2。
41.在操作s220，确定n个输出结果之间是否存在预定差异。
42.例如，可以采用任意方式确定n个输出结果之间是否存在预定差异。在一个示例中，可以根据不同深度学习模型的输出结果，确定不同深度学习模型检测出的对象的数量，以确定是否存在预定差异。
43.在操作s230，响应于确定n个输出结果之间存在预定差异，对输入图像中的对象进行分类，以确定输入图像中对象的类别。
44.例如，可以利用分类模型对输入图像中的对象进行分类，以确定输入图像中对象的类别。
45.通过本公开实施例，可以高效地从轻量级深度学习模型的输出结果中筛选出存在误差的结果，节约了时间成本和人力成本。
46.在一些实施例中，与方法200不同，本实施例中，可以将轻量级深度学习模型部署于服务器，分别利用轻量级学习模型和n-1个深度学习模型对输入图像进行图像处理，得到n个输出结果。
47.在一些实施例中，n个深度学习模型包括轻量级深度学习模型和目标检测模型，下面将结合图3进行详细说明。
48.图3是根据本公开的另一个实施例的确定对象类别的方法的流程图。
49.如图3所示，该方法300可以包括操作s311、操作312、操作s320、操作s330。
50.在操作s311，利用轻量级深度学习模型对输入图像进行第一图像处理，得到第一
输出结果。
51.例如，第一输出结果包括至少一个第一检测框，每个第一检测框用于标记输入图像中一个对象所处的区域且用于表征该对象的类别。
52.在操作s312，利用目标检测模型对输入图像进行第二图像处理，得到第二输出结果。
53.例如，第二输出结果包括至少一个第二检测框，每个第二检测框用于标记输入图像中一个对象的区域且用于表征该对象的类别。
54.例如，目标检测模型例如可以是yolo(you only look once)模型。在一个示例中，可以对目标检测模型进行预训练，以提高目标检测模型的性能。
55.在操作s320，确定n个输出结果之间是否存在预定差异？
56.在本公开实施例中，响应于确定n个输出结果之间存在预定差异，执行操作s330。
57.在本公开实施例中，响应于确定n个输出结果之间不存在预定差异，更换输入图像，返回至操作s311。
58.在本公开实施例中，可以根据多种方式确定n个输出结果之间是否存在预定差异。
59.例如，可以根据至少一个第一检测框和至少一个第二检测框之间的交并比，确定第一输出结果和第二输出结果之间是否存在预定差异。交并比为intersection over union(iou)。在一个示例中，可以先确定两个检测框之间的重叠区域，再根据重叠区域的尺寸与一个检测框的尺寸之间的比值，确定两个检测框的交并比。
60.又例如，可以根据第一检测框的数量和第二检测框的数量，确定第一输出结果和第二输出结果之间是否存在预定差异。
61.在操作s330，利用分类模型对输入图像中的对象进行分类，以确定输入图像中对象的类别。
62.例如，分类模型的主干网络可以经预训练的resnet(residal network，残差网络)。
63.在一个示例中，可以利用分类模型对每个第一检测框标记的图像区域内的对象进行分类，将得到的结果作为输入图像中每个对象的目标类别。
64.需要说明的是，操作s311与操作312可以是并行执行的。但是本公开的实施例不限于此，这两组操作也可以按照其他顺序来执行，例如先执行操作s311，再执行操作s312，或者先执行操作s312，再执行操作s311。
65.在一些实施例中，根据至少一个第一检测框和至少一个第二检测框之间的交并比，确定第一输出结果和第二输出结果之间是否存在预定差异包括：计算至少一个第一检测框和至少一个第二检测框之间的交并比；响应于确定第一检测框和第二检测框之间的交并比大于或等于预设交并比阈值且二者表征的类别不同，确定第一输出结果和第二输出结果之间存在预定差异。下面将结合图4a至图4d进行详细说明。
66.图4a是根据本公开的一个实施例的输入图像的示意图。
67.如图4a所示，该输入图像400可以是装载于自动驾驶车辆上的采集装置在某个时刻采集到的图像。输入图像400包括5个对象，分别为对象410、对象420、对象430、对象440和对象450。
68.图4b是根据本公开的一个实施例的第一输出结果的示意图。
69.如图4b所示，第一输出结果401可以是将输入图像400输入上文所述的轻量级深度学习模型得到的结果。
70.如图4b所示，第一输出结果401包括5个第一检测框，分别为第一检测框401a、第一检测框401b、第一检测框401c、第一检测框401d和第一检测框401e。
71.例如，第一检测框401a可以标记对象410所处的区域，且第一检测框401a表征的对象410的类别可以为轿车。第一检测框401b可以标记对象420所处的区域，且第一检测框401b表征的对象420的类别可以为卡车。第一检测框401c可以标记对象430所处的区域，且第一检测框401c表征的对象430的类别可以为行人。第一检测框401d可以标记对象440所处的区域，且第一检测框401d表征的对象440的类别可以为卡车。第一检测框401e可以标记对象450所处的区域，且第一检测框401e表征的对象450的类别可以为行人。
72.图4c是根据本公开的一个实施例的第二输出结果的示意图。
73.如图4c所示，第二输出结果402可以是将输入图像400输入上文所述的目标检测模型得到的结果。
74.如图4c所示，第二输出结果402包括4个第二检测框，分别为第二检测框402a、第二检测框402b、第二检测框402c和第二检测框402d。
75.例如，第二检测框402a可以标记对象410所处的区域，且第二检测框402a表征的对象410的类别可以为轿车。第二检测框402b可以标记对象420所处的区域，且第二检测框402b表征的对象420的类别可以为应急车辆。第二检测框402c可以标记对象430所处的区域，且第二检测框402c表征的对象430的类别可以为行人。第二检测框402d可以标记对象440所处的区域，且第二检测框402d表征的对象440的类别可以为卡车。
76.接下来，在一些实施例中，计算至少一个第一检测框和至少一个第二检测框之间的交并比还可以包括：删除至少一个第一检测框中尺寸小于预设尺寸阈值的第一检测框，得到i个第一检测框，其中，i为大于或等于1的整数；删除至少一个第二检测框中尺寸小于预设尺寸阈值的第二检测框，得到j个第二检测框，其中，j为大于或等于1的整数；计算i个第一检测框和j个第二检测框彼此之间的交并比。
77.例如，若预设尺寸阈值大于第一检测框401e的尺寸，则可以删除第一检测框401e，得到4个第一检测框。在一个示例中，预设尺寸阈值可以是对象440的轮胎的直径。对象450距离上文所述的采集装置较远，在输入图像中的尺寸较小，进而标记对象450的第一检测框401e的尺寸也较小，可以删除第一检测框401e。
78.又例如，4个第二检测框的尺寸均大于预设尺寸阈值，可以保留4个第二检测框。即本实施例中，i＝4，j＝4。
79.图4d是根据本公开的一个实施例的计算至少一个第一检测框和至少一个第二检测框之间的交并比的原理图。
80.如图4d所示，根据上文所述的第一输出结果401和上文所述的第二输出结果402，可以计算4个第一检测框和4个第二检测框之间的交并比。
81.例如，第一检测框401a和第二检测框402a之间的阴影区域可以表征二者的重叠区域。第一检测框401a和第二检测框402a之间的交并比可以是该重叠区域的面积与第一检测框401a的面积的比值。如图4d所示，该重叠区域的面积大于第一检测框401a的面积的一半。在一个示例中，预设交并比阈值可以是0.5。
82.接下来，可以确定第一检测框401a和第二检测框402a之间的交并比大于预设交并比阈值。类似地，可以确定第一检测框401b和第二检测框402b之间的交并比、第一检测框401c和第二检测框402c之间的交并比以及第一检测框401d和第二检测框402d之间的交并比均大于预设交并比阈值。
83.如上文所述，第一检测框401b表征的对象420的类别可以为卡车。第二检测框402b表征的对象420的类别可以为应急车辆。二者的交并比大于预设交并比阈值，且二者表征的类别不同，可以确定第一输出结果401和第二输出结果402之间存在预定差异。
84.在一些实施例中，对输入图像中的对象进行分类包括：将由至少一个第一检测框标记的图像区域输入分类模型，得到与至少一个第一检测框对应的至少一个对象的目标类别，其中，至少一个第一检测框中每个第一检测框与一个第二检测框的交并比大于或等于预设交并比阈值且二者表征的类别不同；根据至少一个第一检测框和至少一个对象的目标类别，确定输入图像中每个对象的目标类别。
85.例如，可以将上文所述的5个第一检测框标记的图像区域分别输入分类模型，得到5个第一检测框对应的5个对象的目标类别。
86.或者，又例如，第一输出结果中共有m个第一检测框。对输入图像中的对象进行分类包括：将由k个第一检测框标记的图像区域输入分类模型，得到与k个第一检测框对应的k个对象的目标类别。其中，k个第一检测框中每个第一检测框与一个第二检测框的交并比大于或等于预设交并比阈值且二者表征的类别不同。根据m个第一检测框和k个对象的目标类别，确定输入图像中每个对象的目标类别。
87.例如，k小于等于m，k为大于或等于1的整数，m为大于或等于1的整数。
88.在一个示例中，如上文所述，第一检测框401b和第二检测框402b的交并比大于预设交并比阈值，且二者表征的类别不同。可以将由第一检测框401b标记的图像区域输入分类模型中，得到与第一检测框401b对应的对像420的目标类别为应急车辆。
89.此外，可以将其他的第一检测框表征的类别作为相关对象的目标类别。比如，对象410的目标类别为轿车，对象430的目标类别为行人，对象440的目标类别为卡车，对象450的目标类别为行人。
90.接下来，将结合图4a至图4d来详细说明另一种确定第一输出结果和第二输出结果之间是否存在预定差异的方式。
91.在一些实施例中，可以根据第一检测框的数量和第二检测框的数量，确定第一输出结果和第二输出结果之间是否存在预定差异。
92.例如，响应于确定第一检测框的总数和第二检测框的总数不同，确定第一输出结果和第二输出结果之间存在预定差异。在一个示例中，如图4b和图4c所示，第一输出结果包括5个第一检测框，第二输出结果包括4个第二检测框，可以确定第一检测框的总数和第二检测框的总数不同。接下来，可以确定第一输出结果和第二输出结果之间存在预定差异。
93.或者，又例如，响应于确定表征同一类别的第一检测框的数量和第二检测框的数量不同，确定第一输出结果和第二输出结果之间存在预定差异。例如，在一个示例中，如图4b和图4c所示，在第一输出结果中，表征类别为卡车的第一检测框的数量为2；在第二输出结果中，表征类别为卡车的第二检测框的数量为1。即可以确定表征类别为卡车的第一检测框的数量和第二检测框的数量不同，可以确定第一输出结果和第二输出结果之间存在预定
差异。
94.在一些实施例中，根据输入图像中每个对象的目标类别和输入图像，确定用于调整轻量级深度学习模型的参数的样本图像。
95.例如，可以将上文所述的输入图像400作为一个样本图像，该样本图像的标签为图像中每个对象的目标类别。
96.图5是根据本公开的一个实施例的确定对象类别的装置的框图。
97.如图5所示，该装置500可以包括图像处理模块510、第一确定模块520和分类模块530。
98.图像处理模块510，用于利用n个深度学习模型对输入图像进行图像处理，得到n个输出结果。其中，n为大于1的整数。
99.第一确定模块520，用于确定所述n个输出结果之间是否存在预定差异。
100.分类模块530，用于响应于确定所述n个输出结果之间存在预定差异，对所述输入图像中的对象进行分类，以确定所述输入图像中对象的类别。
101.在一些实施例中，所述n个深度学习模型包括轻量级深度学习模型和目标检测模型，所述图像处理模块包括：第一图像处理子模块，用于利用所述轻量级深度学习模型对所述输入图像进行第一图像处理，得到第一输出结果，其中，所述第一输出结果包括至少一个第一检测框，每个第一检测框用于标记所述输入图像中一个对象所处的区域且用于表征该对象的类别；第二图像处理子模块，用于利用所述目标检测模型对所述输入图像进行第二图像处理，得到第二输出结果，其中，所述第二输出结果包括至少一个第二检测框，每个第二检测框用于标记所述输入图像中一个对象所述的区域且用于表征该对象的类别。
102.在一些实施例中，所述第一确定模块包括：第一确定子模块，用于根据所述至少一个第一检测框和所述至少一个第二检测框之间的交并比，确定所述第一输出结果和所述第二输出结果之间是否存在预定差异。
103.在一些实施例中，所述第一确定子模块包括：计算单元，用于计算所述至少一个第一检测框和所述至少一个第二检测框之间的交并比；确定单元，用于响应于确定第一检测框和第二检测框之间的交并比大于或等于预设交并比阈值且二者表征的类别不同，确定所述第一输出结果和所述第二输出结果之间存在预定差异。
104.在一些实施例中，所述计算单元包括：第一删除子单元，用于删除所述至少一个第一检测框中尺寸小于预设尺寸阈值的第一检测框，得到i个第一检测框，其中，i为大于或等于1的整数；第二删除子单元，用于删除所述至少一个第二检测框中尺寸小于预设尺寸阈值的第二检测框，得到j个第二检测框，其中，j为大于或等于1的整数；计算子单元，用于计算所述i个第一检测框和所述j个第二检测框彼此之间的交并比。
105.在一些实施例中，所述分类模块包括：获得子模块，用于将由至少一个第一检测框标记的图像区域输入分类模型，得到与所述至少一个第一检测框对应的至少一个对象的目标类别，其中，所述至少一个第一检测框中每个第一检测框与一个第二检测框的交并比大于或等于预设交并比阈值且二者表征的类别不同；第二确定子模块，用于根据所述至少一个第一检测框和所述至少一个对象的目标类别，确定所述输入图像中每个对象的目标类别。
106.在一些实施例中，所述第一确定模块包括：第三确定子模块，用于根据所述第一检
测框的数量和所述第二检测框的数量，确定所述第一输出结果和所述第二输出结果之间是否存在预定差异。
107.在一些实施例中，该装置500还包括：第二确定模块，用于根据所述输入图像中每个对象的目标类别和所述输入图像，确定用于调整所述轻量级深度学习模型的参数的样本图像。
108.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
109.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
110.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
111.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
112.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
113.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如确定对象类别的方法。例如，在一些实施例中，确定对象类别的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的确定对象类别的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行确定对象类别的方法。
114.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器
可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
115.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
116.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
117.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
118.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
119.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
120.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
121.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。