地物分类方法、装置、设备、介质及计算机程序产品与流程

1.本发明涉及图像处理技术领域，尤其涉及一种地物分类方法、装置、设备、介质及计算机程序产品。


背景技术：

2.sar（synthetic aperture radar，合成孔径雷达）通过发射电磁波获取地物的后向散射成像，是当前对地观测的主要手段之一，在目标识别、地物分类、国土资源规划等多个领域都有广泛的应用。由于星载sar在基础数据调查和基础图像采集方面具有先天优势，然而现有用于地物分类的方案受天气等外在因素的影响，且需要人工事先设计和提取sar图像中目标的特征，增加了人力。


技术实现要素：

3.本发明提供一种地物分类方法、装置、设备、介质及计算机程序产品，用以解决现有用于地物分类的方案受天气等外在因素的影响，且增加人力的技术问题。
4.本发明提供一种地物分类方法，包括：对目标图像数据集进行标注和增广，得到训练数据集、验证数据集和测试数据集；将所述训练数据集输入到地物语义分割框架进行迭代网络训练，得到训练结果；基于所述验证数据集验证所述训练结果，得到验证结果；在所述验证结果符合预设条件的情况下，将所述测试数据集输入到训练后的地物语义分割框架，得到地物分类结果。
5.根据本发明提供的一种地物分类方法，所述地物语义分割框架包括主干网络、自注意力模块、伪标签预测模块和图像分割模块；所述将所述训练数据集输入到地物语义分割框架进行迭代网络训练，得到训练结果包括：将所述训练数据集输入到所述主干网络，得到所述主干网络输出的目标特征图；将所述目标特征图输入到所述自注意力模块，得到所述自注意力模块输出的增强特征图；根据所述伪标签预测模块和所述增强特征图，确定伪标签；基于所述图像分割模块、所述增强特征图以及所述伪标签进行迭代网络训练，得到训练结果。
6.根据本发明提供的一种地物分类方法，所述将所述目标特征图输入到所述自注意力模块，得到所述自注意力模块输出的增强特征图包括：对所述目标特征图进行第一嵌入权重变换，得到关键特征图和查询特征图；对所述关键特征图和查询特征图进行重塑操作、矩阵乘操作以及逻辑回归操作，得到自注意力特征图；对所述目标特征图进行第二嵌入权重变换，得到显著性特征图，将所述自注意力特征图与所述重塑操作后的显著性特征图进行所述矩阵乘操作，得到上下文注意力图；
将所述上下文注意力图与所述重塑操作后的目标特征图进行所述矩阵乘操作，得到矩阵乘结果；将所述目标特征图与所述重塑操作后的矩阵乘结果进行元素求和，得到所述自注意力模块输出的增强特征图。
7.根据本发明提供的一种地物分类方法，所述根据所述伪标签预测模块和所述增强特征图，确定伪标签包括：通过所述伪标签预测模块对应的全局平均池化层，确定所述增强特征图对应的特征向量；将所述特征向量与所述伪标签预测模块对应的权重矩阵进行点积，得到点积结果；根据所述点积结果以及所述伪标签预测模块对应的全连接层，生成类激活图；对通过所述类激活图生成的种子区域进行筛选，得到伪标签。
8.根据本发明提供的一种地物分类方法，所述基于所述验证数据集验证所述训练结果，得到验证结果包括：基于所述训练结果，确定所述伪标签预测模块对应的第一损失，所述自注意力模块对应的第二损失，所述图像分割模块对应的第三损失；根据所述第一损失、第二损失以及第三损失，确定验证结果。
9.根据本发明提供的一种地物分类方法，所述对目标图像数据集进行标注和增广，得到训练数据集、验证数据集和测试数据集包括：对目标图像数据集进行图像增广，得到增广图像数据集；基于预设尺寸对所述增广图像数据集中的图像进行裁剪，对裁剪后的图像进行类别标注；基于预设比例对所述类别标注后的增广图像数据集进行划分，得到训练数据集、验证数据集和测试数据集。
10.本发明还提供一种地物分类装置，包括：图像数据集处理模块，用于对目标图像数据集进行标注和增广，得到训练数据集、验证数据集和测试数据集；迭代网络训练模块，用于将所述训练数据集输入到地物语义分割框架进行迭代网络训练，得到训练结果；验证模块，用于基于所述验证数据集验证所述训练结果，得到验证结果；地物分类模块，用于在所述验证结果符合预设条件的情况下，将所述测试数据集输入到训练后的地物语义分割框架，得到地物分类结果。
11.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述地物分类方法。
12.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述地物分类方法。
13.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述地物分类方法。
14.本发明提供的地物分类方法、装置、设备、介质及计算机程序产品，首先对目标图像数据集进行标注和增广，得到训练数据集、验证数据集和测试数据集，然后将训练数据集输入到地物语义分割框架进行迭代网络训练，得到训练结果，基于验证数据集以及得到的训练结果，确定验证结果，最后在验证结果符合预设条件的情况下，将测试数据集输入到训练后的地物语义分割框架，从而得到地物分类结果。本发明设计的地物分类方法流程不受天气等外在因素影响，无需人工事先设计和提取图像中目标的特征，减少了人力。
附图说明
15.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本发明提供的地物分类方法的流程示意图之一；图2是本发明提供的地物分类方法的流程示意图之二；图3是本发明提供的地物分类方法中主干网络的示意图；图4是本发明提供的地物分类装置的结构示意图；图5是本发明提供的电子设备的结构示意图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.下面结合图1-图2描述本发明的地物分类方法。
19.请参照图1，本发明提供一种地物分类方法，包括：步骤100，对目标图像数据集进行标注和增广，得到训练数据集、验证数据集和测试数据集；具体地，利用图像增广技术对港口地物高分辨率sar数据集（即本实施例中的目标图像数据集）进行扩充，形成油罐、堆场、码头、锚地、防波堤、渔场养殖等类别的图像，然后对扩充后目标图像数据集中的图像进行类别标注。在进行网络训练前，将扩充后的目标图像数据集按照一定的比例（例如7:2:1）划分为训练数据集、验证数据集和测试数据集。其中，图像级标注是指在切片图像中用点标注地物类别。
20.步骤200，将所述训练数据集输入到地物语义分割框架进行迭代网络训练，得到训练结果；具体地，搭建端到端的高分辨率sar图像港口重点地物语义分割框架，即本实施例中的地物语义分割框架，地物语义分割框架包括主干网络、自注意力模块、伪标签预测模块和图像分割模块，地物语义分割框架的构建过程包括：首先构建一个卷积神经网络（即本实施例中的主干网络）学习深层特征表达；然后构建一个自注意力模块，通过获取全局上下文信息，将注意力区域扩大至更精确的位置；然后再构建一个伪标签预测模块，通过整合类激
活图方法获取伪标签，监督整个网络的分类；最后构建图像分割模块，通过构建卷积层，生成多个类别的分割图像，完成图像分割。利用训练数据集进行迭代网络训练，得到训练结果。
21.步骤300，基于所述验证数据集验证所述训练结果，得到验证结果；具体地，利用验证数据集验证网络在一定阶段的训练结果，包括确定训练网络时各模块的损失，伪标签预测损失和自注意力模块对应的损失，总体的用于训练自注意力模块的损失定义为：，其中，是一个权重参数。图像分割模块，通过像素级伪标签监督，损失定义为，进一步利用边界约束损失来鼓励分割结果与对象边界匹配，边界约束损失被定义为分割图和输出概率图之间的平均kl散度，图像分割模块的总体损失定义为，上述损失的值决定了验证结果。
22.步骤400，在所述验证结果符合预设条件的情况下，将所述测试数据集输入到训练后的地物语义分割框架，得到地物分类结果。
23.具体地，利用测试数据集进行地物分类的测试，得到最优分割网络，测试集的损失设置与训练集相同，通过滑窗将测试数据集中的图像输入网络，输入到生成的最优分割网络之中，得到图像地物的像素级分类结果。滑窗是指，以512
×
512窗口大小，对测试数据集中的图像进行棋盘式的分割，将一个窗口的图像输入到网络中，得到sar港口图像重点地物的像素级分类结果。
24.在本实施例中，首先对目标图像数据集进行标注和增广，得到训练数据集、验证数据集和测试数据集，然后将训练数据集输入到地物语义分割框架进行迭代网络训练，得到训练结果，基于验证数据集以及得到的训练结果，确定验证结果，最后在验证结果符合预设条件的情况下，将测试数据集输入到训练后的地物语义分割框架，从而得到地物分类结果。本发明设计的地物分类方法流程不受天气等外在因素影响，无需人工事先设计和提取图像中目标的特征，减少了人力。
25.请参照图2，在一个实施例中，本技术实施例提供的地物分类方法，还可以包括：步骤210，将所述训练数据集输入到所述主干网络，得到所述主干网络输出的目标特征图；步骤220，将所述目标特征图输入到所述自注意力模块，得到所述自注意力模块输出的增强特征图；步骤230，根据所述伪标签预测模块和所述增强特征图，确定伪标签；步骤240，基于所述图像分割模块、所述增强特征图以及所述伪标签进行迭代网络训练，得到训练结果。
26.具体地，地物语义分割框架包括主干网络、自注意力模块、伪标签预测模块和图像分割模块，首先将训练数据集输入到主干网络，得到主干网络输出的目标特征图，如图3所示，主干网络共有五个卷积块，每个卷积块包括了卷积层、修正线性单元和池化层；在主干网络之后加入自注意力模块，将目标特征图输入到自注意力模块，得到自注意力模块输出的增强特征图；将增强特征图经过全局平均池化层降维得到特征向量，将特征向量与权重矩阵进行点积，最后经过全连接层softmax（逻辑回归）函数压缩为[0，1]区间内的概率，生
成类激活图。使用类激活图生成种子区域，随后对种子区域进行阈值筛选，作为初始伪标签，之后对每一类的激活图设置阈值，生成每个类别的像素级伪标签，即本实施例中的伪标签；在主干网络后，使用增强特征图作为输入，生成的伪标签作为监督，然后经过单独的语义分割网络生成多个分割图，每个分割图分别对应着不同的前景类别，分割网络可以使用任意的语义分割网络。利用训练数据集进行迭代网络训练，得到训练结果。
[0027]
本实施例通过训练数据集、主干网络、自注意力模块、伪标签预测模块和图像分割模块，完成网络的训练，设计的地物分类方法流程不受天气等外在因素影响，无需人工事先设计和提取图像中目标的特征，减少了人力。
[0028]
在一个实施例中，本技术实施例提供的地物分类方法，还可以包括：步骤221，对所述目标特征图进行第一嵌入权重变换，得到关键特征图和查询特征图；步骤222，对所述关键特征图和查询特征图进行重塑操作、矩阵乘操作以及逻辑回归操作，得到自注意力特征图；步骤223，对所述目标特征图进行第二嵌入权重变换，得到显著性特征图，将所述自注意力特征图与所述重塑操作后的显著性特征图进行所述矩阵乘操作，得到上下文注意力图；步骤224，将所述上下文注意力图与所述重塑操作后的目标特征图进行所述矩阵乘操作，得到矩阵乘结果；步骤225，将所述目标特征图与所述重塑操作后的矩阵乘结果进行元素求和，得到所述自注意力模块输出的增强特征图。
[0029]
具体地，主干网络输出的目标特征图可以表达为x=（h，w，c），其中h和w代表图像尺寸，c代表通道个数，x经过两个嵌入权重变换、（即本实施例中的第一嵌入权重变换）得到关键特征图k=（h，w，c/2）和查询特征图q=（h，w，c/2），这里的目的是降低通道数，减少计算量。将k和q分别重塑（即本实施例中的重塑操作）为k=（h
×
w，c/2），q=（h
×
w，c/2），然后对这两个输出进行矩阵乘（其中一个要转置），计算相似性，然后进行softmax操作（即本实施例中的逻辑回归操作），得到自注意力特征图p=（h
×
w，h
×
w）。x经过嵌入权重变换（即本实施例中的第二嵌入权重变换）得到显著性特征图v=（h，w，c/2），将显著性特征图重塑为v=（h
×
w，c/2）。然后将重塑后的显著性特征图和自注意力特征图p进行矩阵乘，得到上下文注意力图d=（h
×
w，c/2），之后经过一个1
×
1卷积恢复输出通道，得到上下文注意力图d=（h
×
w，c），保证输入输出尺度完全相同。
[0030]
获得上下文注意力图后，用d来增强原始特征图x。具体地，将x重塑为x=（h
×
w，c），并在x和d的转置之间进行矩阵乘，得到（h
×
w，c）。然后我们将矩阵乘的结果（即本实施例中的矩阵乘结果）重塑回（h，w，c）并将重塑操作后的矩阵乘结果与x进行元素求和，获得增强的特征=（h，w，c）如公式1所示。
[0031]
其中，是一个初始值为0的参数，然后逐渐在训练中学习。公式1表示在的任
何位置都是所有位置的相似度加权特征与原始特征的总和。因此，自注意力模块从训练图像中捕获了上下文信息。
[0032]
本实施例通过自注意力模块从训练图像中捕获上下文信息，无需人工事先设计和提取图像中目标的特征，减少了人力。
[0033]
在一个实施例中，本技术实施例提供的地物分类方法，还可以包括：步骤231，通过所述伪标签预测模块对应的全局平均池化层，确定所述增强特征图对应的特征向量；步骤232，将所述特征向量与所述伪标签预测模块对应的权重矩阵进行点积，得到点积结果；步骤233，根据所述点积结果以及所述伪标签预测模块对应的全连接层，生成类激活图；步骤234，对通过所述类激活图生成的种子区域进行筛选，得到伪标签。
[0034]
具体地，由于在训练过程中没有对自注意力矩阵施加明确的约束，因此在自注意力模块中学习到的语义信息通常是粗糙且不准确的，这意味着直接应用自注意力模块作为语义信息来细化初始标签效果并不好。为了防止网络在不同类别的对象之间错误传播注意力，通过整合类激活图的方法从分类网络获得的特定类的注意力线索作为额外的监督，这个过程称为伪标签预测。
[0035]
具体地，输入增强特征图e=（h，w，c），经过全局平均池化层，将增强特征图降维至（1
×
1，c）的特征向量（即本实施例中的增强特征图对应的特征向量），将特征向量与权重矩阵进行点积，得到点积结果，最后点积结果经过全连接层softmax函数压缩为[0，1]区间内的概率，生成类激活图cam。使用类激活图生成种子区域，随后对种子区域进行阈值筛选，作为初始伪标签。
[0036]
全局平均池化层的输入为增强特征图，输出为增强特征图的空间平均值，输出的第个通道的值可表示为公式2，对于一个给定的类别，softmax之前的概率为，如公式3所示，其中，为分类层中的权重矩阵。用表示类别在像素点处的激活值，表示为公式4，第c类的类激活图可通过公式5计算，其中relu函数可以摒弃掉负值，公式5还将类激活图进行了归一化可以摒弃掉负值，公式5还将类激活图进行了归一化可以摒弃掉负值，公式5还将类激活图进行了归一化可以摒弃掉负值，公式5还将类激活图进行了归一化
之后对每一类的激活图设置阈值，生成每个类别的像素级伪标签。具体地，像素级伪标签生成方式如公式6所示，其中，，为识别前景类别、背景和不确定区域的阈值，代表背景，代表不确定区域。
[0037]
本实施例通过整合类激活图的方法从分类网络获得的特定类的注意力线索作为额外的监督，解决了在自注意力模块中学习到的语义信息粗糙且不准确的技术问题。
[0038]
在一个实施例中，本技术实施例提供的地物分类方法，还可以包括：步骤310，基于所述训练结果，确定所述伪标签预测模块对应的第一损失，所述自注意力模块对应的第二损失，所述图像分割模块对应的第三损失；步骤320，根据所述第一损失、第二损失以及第三损失，确定验证结果。
[0039]
具体地，利用验证数据集验证网络在一定阶段的训练结果，包括确定训练网络时各模块的损失，伪标签预测损失和自注意力模块对应的损失，伪标签预测损失可通过公式7计算得到，其中，c表示前景类别个数，是与类别c对应的一组种子位置。是集合的基数，表示在分割图位置u上属于c类别的概率。伪标签预测损失仅考虑了前景类别。自注意力模块通过图像级的标签及像素级伪标签监督，定义类别概率为，对应的图像级标签为，代表着存在前景物体类别。分类损失函数为sigmoid交叉熵函数，如公式8所示。
[0040][0040][0040][0040][0040]
总体的用于训练自注意力模块的损失定义为：，其中，是一个权重参数。图像分割模块，通过像素级伪标签监督，损失定义为，可通过公式9和公式10计算得到，其中，代表背景，，，以及的含义与上相同，进一步利
用边界约束损失来鼓励分割结果与对象边界匹配，将i表示为输入图像，将表示为输出概率图，边界约束损失被定义为分割图和输出概率图之间的平均kl散度，可通过公式11计算得到，图像分割模块的总体损失定义为，上述损失的值决定了验证结果。
[0041]
本实施例通过网络各模块对应的损失确定验证结果，在验证结果符合预设条件的情况下，将测试数据集输入到训练后的地物语义分割框架，从而得到地物分类结果。本发明设计的地物分类方法流程不受天气等外在因素影响，无需人工事先设计和提取图像中目标的特征，减少了人力。
[0042]
在一个实施例中，本技术实施例提供的地物分类方法，还可以包括：步骤110，对目标图像数据集进行图像增广，得到增广图像数据集；步骤120，基于预设尺寸对所述增广图像数据集中的图像进行裁剪，对裁剪后的图像进行类别标注；步骤130，基于预设比例对所述类别标注后的增广图像数据集进行划分，得到训练数据集、验证数据集和测试数据集。
[0043]
具体地，首先建立港口地物高分辨率sar数据集（即本实施例中的目标图像数据集），将经过预处理后的目标图像数据集中的图像裁剪为特定大小的切片，例如512
×
512，并进行图像级标注，即对裁剪后的图像进行类别标注。利用图像增广技术扩充目标图像数据集，形成油罐、堆场、码头、锚地、防波堤、渔场养殖等类别的图像。在进行网络训练前，将目标图像数据集按照一定的比例（例如7:2:1）划分为训练数据集、验证数据集和测试数据集。其中，图像级标注是指在切片图像中用点标注地物类别；训练数据集主要用于利用卷积神经网络进行像素级分类的训练；验证数据集主要是通过其他的测试模型作为参考，验证本实施例中网络训练的有效性；测试数据集用于测试网络的鲁棒性。
[0044]
本实施例通过图像增广、图像裁剪、类别标注和数据集划分等技术手段对目标图像数据集进行初步处理，便于网络的训练、验证和测试。
[0045]
下面对本发明提供的地物分类装置进行描述，下文描述的地物分类装置与上文描述的地物分类方法可相互对应参照。
[0046]
请参照图4，本发明还提供一种地物分类装置，包括：图像数据集处理模块401，用于对目标图像数据集进行标注和增广，得到训练数据集、验证数据集和测试数据集；迭代网络训练模块402，用于将所述训练数据集输入到地物语义分割框架进行迭代网络训练，得到训练结果；验证模块403，用于基于所述验证数据集验证所述训练结果，得到验证结果；地物分类模块404，用于在所述验证结果符合预设条件的情况下，将所述测试数据集输入到训练后的地物语义分割框架，得到地物分类结果。
[0047]
可选地，所述地物语义分割框架包括主干网络、自注意力模块、伪标签预测模块和图像分割模块；所述迭代网络训练模块包括：目标特征图确定单元，用于将所述训练数据集输入到所述主干网络，得到所述主干网络输出的目标特征图；
增强特征图确定单元，用于将所述目标特征图输入到所述自注意力模块，得到所述自注意力模块输出的增强特征图；伪标签确定单元，用于根据所述伪标签预测模块和所述增强特征图，确定伪标签；迭代网络训练单元，用于基于所述图像分割模块、所述增强特征图以及所述伪标签进行迭代网络训练，得到训练结果。
[0048]
可选地，所述增强特征图确定单元包括：嵌入权重变换单元，用于对所述目标特征图进行第一嵌入权重变换，得到关键特征图和查询特征图；自注意力特征图确定单元，用于对所述关键特征图和查询特征图进行重塑操作、矩阵乘操作以及逻辑回归操作，得到自注意力特征图；上下文注意力图确定单元，用于对所述目标特征图进行第二嵌入权重变换，得到显著性特征图，将所述自注意力特征图与所述重塑操作后的显著性特征图进行所述矩阵乘操作，得到上下文注意力图；矩阵乘结果确定单元，用于将所述上下文注意力图与所述重塑操作后的目标特征图进行所述矩阵乘操作，得到矩阵乘结果；元素求和单元，用于将所述目标特征图与所述重塑操作后的矩阵乘结果进行元素求和，得到所述自注意力模块输出的增强特征图。
[0049]
可选地，所述伪标签确定单元包括：特征向量确定单元，用于通过所述伪标签预测模块对应的全局平均池化层，确定所述增强特征图对应的特征向量；点积单元，用于将所述特征向量与所述伪标签预测模块对应的权重矩阵进行点积，得到点积结果；类激活图生成单元，用于根据所述点积结果以及所述伪标签预测模块对应的全连接层，生成类激活图；筛选单元，用于对通过所述类激活图生成的种子区域进行筛选，得到伪标签。
[0050]
可选地，所述验证模块包括：损失确定单元，用于基于所述训练结果，确定所述伪标签预测模块对应的第一损失，所述自注意力模块对应的第二损失，所述图像分割模块对应的第三损失；验证结果确定单元，用于根据所述第一损失、第二损失以及第三损失，确定验证结果。
[0051]
可选地，所述图像数据集处理模块包括：图像增广单元，用于对目标图像数据集进行图像增广，得到增广图像数据集；类别标注单元，用于基于预设尺寸对所述增广图像数据集中的图像进行裁剪，对裁剪后的图像进行类别标注；图像数据集划分单元，用于基于预设比例对所述类别标注后的增广图像数据集进行划分，得到训练数据集、验证数据集和测试数据集。
[0052]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通
信。处理器510可以调用存储器530中的逻辑指令，以执行地物分类方法。
[0053]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0054]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的地物分类方法。
[0055]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的地物分类方法。
[0056]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0057]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0058]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。