卫星图像道路印刷物识别方法及其装置与流程

1.本技术涉及卫星导航技术领域，尤其涉及卫星图像处理技术。


背景技术：

2.近年来，遥感卫星图像处理技术得到广泛应用，其中，道路印刷物尤其是道路箭头的精确定位和识别是典型的应用场景之一，但是，目前在定位和识别的效率和精确度方面，仍然无法满足用户的需要。
3.具体的说，在上述应用场景中，遥感卫星图像中进行道路箭头的定位时，由于受到卫星飞行速度、角度以及设备拍摄距离等因素的影响，图像像素精度较低，其中，卫星图像的最高像素分辨率为三十厘米，而地面印刷物往往只有十几厘米的宽度，因此，这些印刷物在卫星图像上视觉效果往往非常模糊，得到的辨识结果比较差。同时，目前尚没有有效的精确定位算法，用于检测和识别道路地面箭头这样的小物体。同时，即使传统方法可以达到一定的要求，但也存在问题，例如，人工设计在工业中不便于操作；又例如，具有一定的局限性，对特征提取不够完整，等等。
4.因此，在实际应用中亟需一种道路箭头识别的方法，能够以更高的效率和精确度识别道路箭头。


技术实现要素：

5.本技术的目的在于提供一种卫星图像道路印刷物识别方法及其装置，能够以更高的效率和精确度识别道路箭头。
6.本技术公开了一种卫星图像道路印刷物识别方法，包含：
7.从获取的原始卫星图像中提取出路网图像，所述路网图像中包含道路印刷物；
8.在所述路网图像中识别指定类型的道路印刷物，获得所述指定类型的道路印刷物识别记录；
9.检测并删除所述指定类型的道路印刷物识别记录中的非指定类型的道路印刷物，以获得最终的指定类型的道路印刷物识别结果。
10.在一个优选例中，所述获得所述指定类型的道路印刷物识别记录之后，还包含：对所述获得的指定类型的道路印刷物识别记录去重。
11.在一个优选例中，所述对所述获得的指定类型的道路印刷物识别记录去重，还包含：如果两个被记录的指定类型的道路印刷物的中心点在所述原始卫星图像中对应的坐标之间的距离小于预设阈值，则删除其中的一个。
12.在一个优选例中，在所述路网图像中识别指定类型的道路印刷物，还包含：对所述路网图像进行裁切，再对经裁切的所述路网图像进行放大。
13.在一个优选例中，所述对所述路网图像进行裁切，还包含：利用滑窗操作对所述路网图像进行裁切。
14.在一个优选例中，所述对经裁切的所述路网图像进行放大之后，还包含：记录经裁
切的路网图像的名称和左上角顶点坐标。
15.在一个优选例中，所述指定类型的道路印刷物识别记录包含上述指定类型的道路印刷物信息，所述道路印刷物信息包括以下之一或它们的任意组合：经裁切的路网图像左上角顶点坐标、经裁切的路网图像中的道路印刷物的中心位置坐标、道路印刷物的类型、置信度。
16.在一个优选例中，所述从获取的原始卫星图像中提取出路网图像，还包含：通过图像语义分割从所述原始卫星图像中提取出路网图像。
17.在一个优选例中，所述通过图像语义分割从所述原始卫星图像中提取出路网图像，还包含：采用mask r-cnn方法从所述原始卫星图像中提取出路网图像。
18.在一个优选例中，所述指定类型的道路印刷物是以下之一或它们的任意组合：直行箭头、带转弯的直行箭头、掉头箭头、斑马线、车道线、转向箭头、导流带。
19.在一个优选例中，所述获得最终的指定类型的道路印刷物识别结果之后，还包含：输出最终的指定类型的道路印刷物识别结果。
20.在一个优选例中，所述最终的指定类型的道路印刷物识别结果包含识别到的指定类型的道路印刷物的中心点位置以及对应的种类。
21.在一个优选例中，所述非指定类型的道路印刷物包含以下之一或其任意组合：掉头箭头、斑马线、车道线、转向箭头、导流带。
22.在一个优选例中，所述非指定类型的道路印刷物是掉头箭头，所述识别并删除所述指定类型的道路印刷物识别记录中的非指定类型的道路印刷物，还包含：采用zhang-suen方法提取所述经裁切的路网图像中的道路箭头骨架，如果所述道路箭头骨架的两个端点之前的距离小于预设阈值，则删除。
23.在一个优选例中，所述非指定类型的道路印刷物是转向箭头，所述识别并删除所述指定类型的道路印刷物识别记录中的非指定类型的道路印刷物，还包含：采用zhang-suen方法提取所述经裁切的路网图像中的道路箭头骨架，如果所述道路箭头骨架的两个端点到所述道路箭头骨架的轴线的距离超过预设阈值，则删除。
24.本技术还公开了一种卫星图像道路印刷物识别装置包含：
25.路网图像提取单元，用于从获取的原始卫星图像中提取出路网图像，所述路网图像中包含道路印刷物；
26.识别指定类型道路印刷物单元，用于在所述路网图像中识别指定类型的道路印刷物，获得所述指定类型的道路印刷物识别记录；
27.检测非指定类型道路印刷物单元，用于检测并删除所述指定类型的道路印刷物识别记录中的非指定类型的道路印刷物，以获得最终的指定类型的道路印刷物识别结果。
28.在一个优选例中，还包含：
29.输出单元，用于输出最终的指定类型的道路印刷物识别结果。
30.本技术还公开了一种卫星图像道路印刷物识别设备包括：
31.存储器，用于存储计算机可执行指令；以及，
32.处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。
33.本技术还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步
骤。
34.本技术实施方式提供的卫星图像道路印刷物识别方法及其装置，在预处理时通过图像语义分割从原始卫星图像中提取出路网图像，对网路图像进行滑窗操作，从而对原始卫星图像进行裁切，避免了现有技术中对整个原始图像进行滑窗操作裁切，显著减少了时间和系统资源的消耗，提高了识别效率，同时，由于排除了非道路区域对识别的干扰，有效提高了识别精确度。进一步的，采用骨架提取、距离计算和最小二乘法等方式，对识别记录后处理，检测并排除非指定类型的道路印刷物，避免了由于原始卫星图像分辨率和精度不够导致的错误识别，进一步提高了识别精确度。
35.本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本技术上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a b c，在另一个例子中公开了特征a b d e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a b c d的方案因技术不可行而应当不被视为已经记载，而a b c e的方案应当视为已经被记载。
附图说明
36.图1是根据本技术第一实施方式的卫星图像道路印刷物识别方法的流程示意图；
37.图2是根据本技术第一实施方式的卫星图像道路印刷物识别方法的具体流程示意图；
38.图3是根据本技术第二实施方式的卫星图像道路印刷物识别装置的结构示意图。
具体实施方式
39.在以下的叙述中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
40.部分概念的说明：
41.图像语义分割技术，是指对图像中的每个像素标注所属的类别，将图像分成若干具有相似性质的区域，以达到分类的效果。
42.骨架提取算法：也称为二值图像细化，该算法能将一个连通区域细化成一个像素的宽度，用于特征提取和目标拓扑表示。
43.最小二乘法：是指通过最小化误差的平方和寻找数据的最佳函数匹配。
44.道路印刷物，是指道路上的印刷标识，包括但不限于：直行箭头、带转弯的直行箭头、掉头箭头、斑马线、车道线、转向箭头、导流带。
45.如上所述，道路印刷物尤其是道路箭头的精确定位和识别是遥感卫星图像处理技术中的重要应用场景。对于卫片和航片中道路箭头的检测识别，传统的方法是对输入的图像直接进行检测，但发明人发现，这样做往往需要很长的运行时间，对运行效率有很大的影
响，同时也会有道路外区域的干扰因素加大检测识别的难度。进一步的，发明人还发现，在遥感图像中，受到卫星图像分辨率与精度的影响，对于箭头的辨识结果普遍较差，因此带来的问题是影响其精确定位和识别。针对这一问题，提出了一种卫星图像道路印刷物识别方法及其装置。
46.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术的实施方式作进一步地详细描述。
47.本技术的第一实施方式涉及一种卫星图像道路印刷物识别方法，其流程如图1和图2所示，该方法包括以下步骤：
48.步骤110：从获取的原始卫星图像中提取出路网图像，所述路网图像中包含道路印刷物。
49.由于需要识别的道路箭头全部都分布在道路上，而道路外的所有物体，例如白色的屋顶等，对道路箭头的是被而言是干扰因素，会影响识别结果的精确度，而且，这些内容还会影响识别效率，因此，在本说明书的实施例中，在识别道路印刷物之前先对原始卫星图像进行预处理，提取图像中的路网部分，区分道路区域和非道路区域，后续识别等操作仅针对路网图像中的道路区域，不但可以有效地提高效率，而且提高精确度。
50.优选的，可通过图像语义分割从所述原始卫星图像中提取出路网图像。具体的，图像语义分割技术大体可划分为基于图论的方法、基于像素聚类的方法和基于深度学习的方法这三大类。其中，基于图论的代表方法有normal izedcut，graphcut和grabcut等方法；基于像素聚类的代表方法有k-means(k均值)，谱聚类，meanshift和slic(simple linear iterative cluster，简单线性迭代聚类)等；基于深度学习的代表方法有mask r-cnn，本说明书的一个实施例中即采用了该mask r-cnn方法，从原始卫星图像中提取出路网图像。
51.步骤120：在所述路网图像中识别指定类型的道路印刷物，获得所述指定类型的道路印刷物识别记录。
52.需指出，在本说明书的实施例中，识别可以是指对路网图像中的所有的道路印刷物进行检测，并对检测到的道路印刷物进行识别，判断是否属于指定类型的道路印刷物。
53.优选的，所述指定类型的道路印刷物是直行箭头，和/或带转弯的直行箭头。
54.优选的，指定类型的道路印刷物也可以根据需要灵活选择，换句话说，所述指定类型的道路印刷物可以是以下之一或它们的任意组合：直行箭头、带转弯的直行箭头、掉头箭头、斑马线、车道线、转向箭头、导流带。
55.优选的，在识别操作之前，还进一步包含：先对所述路网图像进行裁切，再对经裁切的路网图像进行放大。通常情况下，遥感卫星图像的尺寸比较大，而用于检测和识别道路印刷物的模型对于输入的图像大小有一定的阈值要求，即，对输入的图像的处理能力是有限的。因此，需要根据模型对应的图像处理能力，对路网图像进行裁切处理。而另一方面，由于faster r-cnn模型结构的限制，对于路网图像中道路箭头的尺寸也有一定的阈值要求，太小的箭头无法提取到特征，在这种情况下，需要再对经裁切的路网图像进行一定比例的放大。
56.优选的，本步骤进一步包含以下子步骤：首先，以所述路网图像的左上角为起点，沿路网部分分割，其中，步长小于裁切后图像长度的一个定义的阈值，例如，假设单位都是像素的情况下，图像的宽度和长度为1080*720，此处设置裁剪后图像的宽度和长度为300*
300，即，阈值参数为300，此时，步长的参数应设置小于300即可，例如200。优选的，可利用诸如滑窗操作等方式，对所述路网图像进行图像裁切；接着，对裁切后的路网图像放大，例如，按照一定比例进行放大，放大参数：保持裁剪后的图像长宽比例不变，例如长宽各放大3倍，裁剪后的图像尺寸参数例如从300*300放大为900*900；最后，记录经裁切的路网图像的名称和左上角顶点坐标，以方便后续确定道路箭头在全图中的位置。
57.需指出，在本说明书的实施例中，需要使用预先准备好的道路箭头的数据集对检测和识别模型进行训练。例如，在训练之前，先确定需要被检测和识别的道路箭头类型，例如，直行箭头，和/或带转弯的直行箭头，通过该类型的道路箭头的数据集训练检测和识别模型，经预定次数的训练后，使用该检测和识别模型，例如faster r-cnn模型，对经裁切和放大的路网图像中的道路箭头进行识别，获得指定类型的道路箭头的识别记录。
58.优选的，指定类型的道路印刷物识别记录是指上述指定类型的道路箭头信息，可包括以下之一或它们的任意组合：经裁切的路网图像左上角顶点坐标、经裁切的路网图像中的道路箭头的中心位置坐标、识别到的道路箭头的类型和置信度。需指出，置信度是指被测量参数的测量值的可信程度，在本说明书的实施例中，指地面印刷物检测结果的可信程度。例如，地面印刷物检测的结果为直行箭头，置信度表示该箭头为直行箭头的可信程度，程度越高，表明该箭头为直行箭头的可能性越大。需指出，在其他实施例中，经裁切的路网图像中的道路箭头的中心位置坐标也可以是其他指定类型的道路印刷物的的中心位置坐标；进一步的，识别到的道路箭头的类型和置信度也可以是识别到的其他道路印刷物的类型和置信度。
59.优选的，由于经裁切的路网图像经过放大处理，因此在记录道路箭头的信息之前，需要先按照与放大操作相同的比例，将道路箭头的中心位置坐标进行还原。
60.优选的，本步骤可以进一步包含以下步骤：对所述指定类型的道路印刷物识别记录去重。
61.具体的，由于在路网图像的裁切操作中，滑窗步长小于裁切后图像长度，这有可能会导致同一个道路箭头存在于裁切后的两个或多个相邻图像中，并且，该道路箭头分别在不同的裁切后的路网图像中被重复地识别到并记录下来，这种情况下，该道路箭头需要去重的操作，以提高道路箭头识别记录的精确度。
62.优选的，可以通过非极大抑制并保留置信度最高的一个记录来实现去重，如果两个被记录的道路箭头的中心点在原始卫星图像中对应的坐标之间的距离小于预设阈值，则删除其中的一个，具体包括以下步骤：首先，将所有记录的道路箭头信息按照置信度从高到低进行排序；然后，根据经裁切的路网图像左上角的坐标，与道路箭头在该经裁切的路网图像中的坐标，计算该道路箭头的中心点在原始卫星图像中对应的坐标；然后，从上到下循环计算两个被记录的道路箭头的中心点在原始图像中对应的坐标之间的距离，若该距离小于预设的阈值，则确定这两个道路箭头为同一个箭头，并删除其中那个置信度较低的道路箭头的信息，依次循环，直到删除所有重复的道路箭头的信息。
63.需指出，上述方式也可以用于对其他指定类型的道路印刷物识别记录的去重，即，如果两个被记录的指定类型的道路印刷物的中心点在原始卫星图像中对应的坐标之间的距离小于预设阈值，则删除其中的一个。对各指定类型的道路印刷识别记录的去重都可以按类似方式操作，在此不做赘述。
64.步骤130：识别并删除所述指定类型的道路印刷物识别记录中的非指定类型的道路印刷物，以获得最终的指定类型的道路印刷物识别结果。
65.由于原始卫星图像中的分辨率不够，可能导致诸如道路箭头等道路印刷物的清晰度的不够，从而影响精确度，因此，本步骤对上述识别记录进行后处理。
66.例如，当指定类型的道路印刷物是直行箭头以及带转弯的直行箭头时，在进行道路箭头去重或后，考虑到对道路箭头的检测和识别的方法受到原始图像的分辨率和道路箭头的清晰度的影响，上述识别记录的精确度受到影响，故而通过后处理进一步提高精确度。优选的，非指定类型的道路印刷物包含以下之一或其任意组合：掉头箭头、斑马线、车道线、转向箭头、导流带。
67.优选的，如图2所示，当指定类型的道路印刷物是直行箭头以及带转弯的直行箭头时，步骤130可进一步包含以下子步骤。但需说明的是，在本说明书的其他实施例中，也可以根据需要灵活地选择其中之一或其任意组合按任意顺序操作。
68.如图2所示，步骤1301：获取识别记录中的道路箭头。
69.步骤1302：如果该路网箭头为掉头箭头，则执行步骤1308，删除该记录，否则进入步骤1303。
70.具体的，采用zhang-suen方法提取所述经裁切的路网图像中的道路箭头骨架，如果所述道路箭头骨架的两个端点之前的距离小于预设阈值，则执行步骤1308，删除该记录。
71.更具体的，首先采用骨架提取算法，提取出经裁切的路网图像中的箭头骨架，具体的，该骨架提取算法可以是细化算法，中轴变换算法和形状分解算法等。其中，细化算法采用迭代的思想，例如：顺序迭代和并行迭代，对目标不断腐蚀细化，直至腐蚀到不能再腐蚀(单层像素宽度)，其中，腐蚀是指沿着物体边界移除像素并缩小物体的大小。腐蚀的过程是通过迭代一步一步进行。单层像素宽度就是不能再继续被腐蚀，此时我们认为算法完成，骨架已经提取完成。例如：k3m算法采用顺序迭代，而zhang-suen算法采用并行迭代。在本说明书的一个实施例中，可以采用zhang-suen方法。然后，进一步计算提取出的骨架的两个端点之间的距离，如果该距离小于预设的阈值，则判定该路网箭头为掉头箭头，即，非指定类型的道路印刷物，因此删除。
72.步骤1303：如果该路网箭头为斑马线，则执行步骤1308，删除该记录，否则进入步骤1304。
73.优选的，根据检测识别出的箭头，沿着分割出的路网的切线方向和水平方向，寻找一个相同颜色和大小的区域。如果这两个区域之间的距离在一个定义的阈值区间内，则判定为斑马线，即，非指定类型的道路印刷物，则执行步骤1308，删除该记录。
74.例如，通常，两个相邻车道的直行箭头顶点之间的距离约为3米，直行和转弯箭头顶点之间的距离约4米到4.5米，斑马线两个相同颜色和大小的区域中心点之间的距离约0.5-1米，在这种情况下，阈值可以设置为小于3米的数值，当两个区域之间的距离小于该阈值时，判定为斑马线。需指出，阈值应当小于两个相邻车道的直行箭头顶点之间的距离。
75.步骤1304：如果该路网箭头为车道线，则执行步骤1308，删除该记录，否则进入步骤1305。
76.优选的，车道线包括相邻车道之间的虚线，以及路口的停车线。对于相邻车道之间的虚线，与上述斑马线的识别方式相同；对于路口的停车线，可采用zhang-suen方法提取所
述经裁切的路网图像中的道路箭头骨架，如果骨架与路网图像中在该位置的切线的角度超过一个定义的阈值，则判定为停车线，即，非指定类型的道路印刷物，则执行步骤1308，删除该记录。
77.步骤1305：如果该路网箭头为转向箭头，则执行步骤1308，删除该记录，否则进入步骤1307。
78.优选的，采用zhang-suen方法提取所述经裁切的路网图像中的道路箭头骨架，如果所述道路箭头骨架的两个端点到所述道路箭头骨架的轴线的距离超过预设阈值，则执行步骤1308，删除该记录。
79.更具体的，采用zhang-suen方法提取所述经裁切的路网图像中的道路箭头骨架，根据提取出的箭头骨架，计算相邻几个像素之间的角度，如果得到锐角，说明该道路箭头为直行加转向箭头，判定为指定类型的道路印刷物并保留该道路箭头的记录；否则，先用最小二乘法计算，得到所述道路箭头骨架的轴线，如果所述道路箭头骨架的两个端点到轴线的距离超过预设阈值，则判定为转向箭头，即，非指定类型的道路印刷物，则执行步骤1308，删除该记录。
80.例如，将上述阈值设置为1米，则当道路箭头骨架的两个端点到轴线的距离大于上述阈值，即，1米时，判定为转向箭头，并删除该记录。需指出，阈值可以根据实际情况进行调整，优选地，阈值范围在1米-2米。
81.步骤1306：如果该路网箭头为导流带，则执行步骤1308，删除该记录，否则进入步骤1307。步骤1306的处理方式与步骤1305的处理方式类似，在此不做赘述。
82.需指出，在本说明书的实施例中，还可以进一步包含其它判断步骤，并且，上述判断步骤的顺序可以根据需要调整，在此不作限制。
83.步骤1307：如果在上述子步骤中判定识别记录不属于任何一种非指定类型的道路印刷物，则判定该识别记录的道路箭头为指定类型的道路印刷物，基于上述步骤的结果，获得最终的指定类型的道路印刷物识别结果。
84.优选的，步骤130之后还包含步骤140：输出最终的指定类型的道路印刷物识别结果。
85.优选的，最终的指定类型的道路印刷物识别结果包含识别到的指定类型的道路印刷物的中心点位置以及对应的种类。
86.需指出，本说明书的实施例还可以有各种变型，例如，在预处理的路网图像提取操作中，可以通过条件随机场的方法来实现，又例如，在采用zhang-suen方法提取所述经裁切的路网图像中的道路箭头骨架的操作中，除了可以采用并行迭代进行膨胀腐蚀的方法来实现，也可以通过寻找物体轮廓的对称轴的方法来实现，这些具体替代方式可以根据具体要求进行选择和设置，在此不做赘述。
87.在本说明书的实施例中，在预处理时通过图像语义分割从原始卫星图像中提取出路网图像，对网路图像进行滑窗操作，从而对原始卫星图像进行裁切，避免了现有技术中对整个原始图像进行滑窗操作裁切，显著减少了时间和系统资源的消耗，提高了识别效率，同时，由于排除了非道路区域对识别的干扰，有效提高了识别精确度。进一步的，采用骨架提取、距离计算和最小二乘法等方式，对识别记录后处理，检测并排除非指定类型的道路印刷物，避免了由于原始卫星图像分辨率和精度不够导致的错误识别，进一步提高了识别精确
度。
88.本技术的第二实施方式涉及一种卫星图像道路印刷物识别装置，其结构如图2所示，该卫星图像道路印刷物识别装置包括：路网图像提取单元、识别指定类型道路印刷物单元、检测非指定类型道路印刷物单元，以及输出单元，其中：
89.路网图像提取单元用于从获取的原始卫星图像中提取出路网图像，所述路网图像中包含道路印刷物；
90.识别指定类型道路印刷物单元用于在所述路网图像中识别指定类型的道路印刷物，获得所述指定类型的道路印刷物识别记录；
91.检测非指定类型道路印刷物单元用于检测并删除所述指定类型的道路印刷物识别记录中的非指定类型的道路印刷物，以获得最终的指定类型的道路印刷物识别结果；
92.输出单元用于输出最终的指定类型的道路印刷物识别结果。
93.第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
94.需要说明的是，本领域技术人员应当理解，上述卫星图像道路印刷物识别装置的实施方式中所示的各模块的实现功能可参照前述卫星图像道路印刷物识别方法的相关描述而理解。上述卫星图像道路印刷物识别装置的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本技术实施例上述卫星图像道路印刷物识别装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read only memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
95.相应地，本技术实施方式还提供一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本技术的各方法实施方式。
96.此外，本技术实施方式还提供一种卫星图像道路印刷物识别，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(central processing unit，简称“cpu”)，还可以是其他通用处理器、数字信号处理器(digital signal processor，简称“dsp”)、专用集成电路(application specific integrated circuit，简称“asic”)等。前述的存储器可以是只读存储器(read-only memory，简称“rom”)、随机存取存储器(random access memory，简称“ram”)、快闪存储器(flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
97.需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他
变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
98.在本技术提及的所有文献都被认为是整体性地包括在本技术的公开内容中，以便在必要时可以作为修改的依据。此外应理解，在阅读了本技术的上述公开内容之后，本领域技术人员可以对本技术作各种改动或修改，这些等价形式同样落于本技术所要求保护的范围。