神经网络训练方法、设备及计算机可读介质与流程

1.本技术涉及信息技术领域，尤其涉及一种神经网络训练方法、设备及计算机可读介质。


背景技术：

2.卷积神经网络(cnn，convolutional neural networks)自2012年以来，在图像分类和图像检测等方面获得了宏大的成就和普遍的应用。
3.卷积神经网络的强大之处在于它的多层构造能自动学习特征，并且能够学习到多个层次的特征：其中，较浅的卷积层感知域较小，学习到一些部分区域的特征，而较深的卷积层具有较大的感知域，可以学习到愈加笼统一些的特征。这些笼统特征对物体的大小、位置和方向等敏理性更低，从而有助于辨认性能的进步。由于卷积的机理，对于同一个输入内容，将该输入内容旋转一定角度后，得到的输出可能完全不同，尤其是应用于图像识别领域时，现有的方法所训练获得的卷积神经网络，在识别具有一定旋转角度的图像上存在一定的性能缺陷。


技术实现要素：

4.本技术的一个目的是提供一种神经网络训练方案，用以解决现有技术中识别具有一定旋转角度的图像性能较差的问题。
5.为实现上述目的，本技术提供了一种神经网络训练方法，该方法包括：
6.将训练图片进行分形处理，获取包括四个旋转角度的所述训练图片的输入图片，所述四个旋转角度分别为0
°
、90
°
、180
°
和270
°
；
7.将所述输入图片输入所述神经网络进行前向传播，提取所述输入图片对应的输出特征向量，所述输出特征向量包括第一特征向量、第二特征向量、第三特征向量和第四特征向量，所述第一特征向量表示旋转角度为0
°
的训练图片的图像特征，所述第二特征向量表示旋转角度为90
°
的训练图片的图像特征，所述第三特征向量表示旋转角度为180
°
的训练图片的图像特征，所述第四特征向量表示旋转角度为270
°
的训练图片的图像特征；
8.根据所述输出特征向量计算对应于不同旋转角度的损失函数值，并根据所述损失函数值计算梯度，进行反向传播以更新所述神经网络的参数；
9.重复进行所述前向传播和反向传播，直至所述神经网络收敛。
10.进一步地，将训练图片进行分形处理，获取包括四个旋转角度的所述训练图片的输入图片，所述四个旋转角度分别为0
°
、90
°
、180
°
和270
°
，包括：
11.将同一训练图片分别旋转90
°
、180
°
和270
°
，以获得旋转角度为90
°
、180
°
和270
°
的训练图片；
12.将未进行旋转的训练图片与所述旋转角度为90
°
、180
°
和270
°
的训练图片进行组合，获得包括四个旋转角度的所述训练图片的输入图片，所述四个旋转角度分别为0
°
、90
°
、180
°
和270
°
。
13.进一步地，将未进行旋转的训练图片与所述旋转角度为90
°
、180
°
和270
°
的训练图片进行组合，获得包括四个旋转角度的所述训练图片的输入图片，所述四个旋转角度分别为0
°
、90
°
、180
°
和270
°
，包括：
14.将未进行旋转的训练图片与所述旋转角度为90
°
、180
°
和270
°
的训练图片，按照[[p1,p2],[p4,p3]]的顺序组合为图片矩阵，并将所述图片矩阵作为包括四个旋转角度的所述训练图片的输入图片，其中，p1、p2、p3和p4分别是旋转角度为0
°
、90
°
、180
°
和270
°
的训练图片。
[0015]
进一步地，所述神经网络的结构包括骨干网络、全连接层和标准化层；
[0016]
将所述输入图片输入所述神经网络进行前向传播，提取所述输入图片对应的输出特征向量，包括：
[0017]
将所述输入图片输入骨干网络，输出n维的特征向量；
[0018]
将n维的特征向量输入全连接层和标准化层，输出四组m维的特征向量，其中，每组m维的特征向量分别为输入特征向量中的第一特征向量、第二特征向量、第三特征向量和第四特征向量。
[0019]
进一步地，所述全连接层分别包括4个全连接单元，所述标准化层包括4个标准化单元；
[0020]
将n维的特征向量输入全连接层和标准化层，输出4组m维的特征向量，其中，每组m维的特征向量分别为输入特征向量中的第一特征向量、第二特征向量、第三特征向量和第四特征向量，包括：
[0021]
将n维的特征向量输入全连接层中的各个全连接单元输出四组m维的特征向量，并将每组m维的特征向量输入标准化层中对应的一个标准化单元中，分别输出第一特征向量、第二特征向量、第三特征向量和第四特征向量。
[0022]
进一步地，所述骨干网络采用bn
‑
inception网络。
[0023]
进一步地，根据所述输出特征向量计算对应于不同旋转角度的损失函数值，并根据所述损失函数值计算梯度，进行反向传播以更新所述神经网络的参数，包括：
[0024]
分别根据第一特征向量、第二特征向量、第三特征向量和第四特征向量计算第一损失函数值、第二损失函数值、第三损失函数值和第四损失函数值；
[0025]
计算所述第一损失函数值、第二损失函数值、第三损失函数值和第四损失函数值的平均值，并根据所述平均值计算梯度，进行反向传播以更新所述神经网络的参数。
[0026]
进一步地，计算所述损失函数值的损失函数为ms
‑
loss函数
[0027]
基于本技术的另一方面，还提供了一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，使该设备执行所述神经网络训练方法的步骤。
[0028]
此外，本技术实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现所述神经网络训练方法的步骤。
[0029]
相较于现有技术，本技术提供的神经网络训练方案中，首先将将训练图片进行分形处理，获取包括四个旋转角度的所述训练图片的输入图片，然后将所述输入图片输入所述神经网络进行前向传播，提取所述输入图片对应的输出特征向量，所述输出特征向量包括第一特征向量、第二特征向量、第三特征向量和第四特征向量，根据这些输出特征向量计
算对应于不同旋转角度的损失函数，并根据所述损失函数计算梯度，并进行反向传播以更新所述神经网络的参数，由此完成一次迭代处理，而后继续重复进行所述前向传播和反向传播，直至所述神经网络收敛。由于四个旋转角度分别为0
°
、90
°
、180
°
和270
°
，提取到的输出特征向量也同样是表示这四个旋转角度的图像特征，由此可以使得提取到的图像特征除了包含图片的内容信息之外，还包含了方向性信息，由此训练所获得的神经网络可以识别出更加立体的图像特征，即包括内容信息和方向性信息，提升识别性能。
附图说明
[0030]
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
[0031]
图1为本技术实施例提供的一种神经网络训练方法的训练流程图；
[0032]
图2为本技术实施例中所使用的未经旋转的训练图片；
[0033]
图3为本技术实施例中所使用的顺时针旋转90
°
的训练图片；
[0034]
图4为本技术实施例中所使用的顺时针旋转180
°
的训练图片；
[0035]
图5为本技术实施例中所使用的顺时针旋转270
°
的训练图片；
[0036]
图6为本技术实施例中由各个旋转角度的训练图片组成的输入图片；
[0037]
图7为本技术实施例中所采用的神经网络的整体结构示意图；
[0038]
图8为本技术实施例中所采用的神经网络的详细结构示意图；
[0039]
图9为本技术实施例中反向传播的处理过程示意图；
[0040]
图10为本技术实施例中计算损失函数值时所实际的特征向量的示意图；
[0041]
图11为本技术实施例中旋转角度为0
°
时的训练效果对比示意图；
[0042]
图12为本技术实施例中旋转角度为90
°
时的训练效果对比示意图；
[0043]
图13为本技术实施例中旋转角度为180
°
时的训练效果对比示意图；
[0044]
图14为本技术实施例中旋转角度为270
°
时的训练效果对比示意图；
[0045]
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
[0046]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0047]
在本技术一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0048]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0049]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器
(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0050]
本技术实施例提供了一种神经网络训练方法，该方法会将训练图片先进行分形处理，获取包括多旋转角度的所述训练图片的输入图片，使得提取到的图像特征除了包含图片的内容信息之外，还包含了方向性信息，由此训练所获得的神经网络可以识别出更加立体的图像特征，即包括内容信息和方向性信息，从而可以提升神经网络的识别性能，使其可以更好的识别具有一定旋转角度的图片。
[0051]
其中，所述方法的执行主体可以是用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备，或者也可以是运行于上述设备的应用程序。所述用户设备包括但不限于计算机、手机、平板电脑等各类终端设备；所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(cloud computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
[0052]
图1示出了本技术实施例提供的一种神经网络训练方法的训练流程，可以包括以下的处理步骤：
[0053]
步骤s101，将训练图片进行分形处理，获取包括四个旋转角度的所述训练图片的输入图片。其中，所述训练图片可以来自于训练集，所述训练集中包括了用于训练的图片，在需要训练神经网络时可以从训练集中选取图片，作为输入数据。
[0054]
本技术实施例在进行分形处理时，所选取的四个旋转角度分别为0
°
、90
°
、180
°
和270
°
，其中，旋转角度为0
°
的训练图片是指未经过旋转处理的训练图片，即初始的训练图片，而旋转角度为90
°
、180
°
和270
°
的训练图片则是指经过对应角度旋转处理的训练图片，在同一应用场景中旋转时的方向统一，是同时按照顺时针或者逆时针的方向进行旋转90
°
、180
°
和270
°
，由此获得上述方向的训练图片。
[0055]
而输入图片中包括了上述四个旋转角度的所述训练图片，例如在实际场景中可以采用图片矩阵的形式表示输入图片，图片矩阵具体形式可以是按照一定的顺序来排列这四个旋转角度的所述训练图片。例如，当图片矩阵采用1
×
4的排列形式时，则输入图片可以表示为[p1,p2,p3,p4]的图片矩阵，其中，p1、p2、p3和p4分别是旋转角度为0
°
、90
°
、180
°
和270
°
的训练图片。而当图片矩阵采用2
×
2的排列形式时，输入图片可以表示为[[p1,p2],[p4,p3]]的图片矩阵。
[0056]
在本技术的一些实施例中，上述分形处理的具体过程可以包括以下的步骤：
[0057]
首先，将同一训练图片分别旋转90
°
、180
°
和270
°
，以获得旋转角度为90
°
、180
°
和270
°
的训练图片。例如，以图2所示的训练图片为例，将其旋转顺时针旋转90
°
、180
°
和270
°
分别如图3、图4和图5所示。
[0058]
而后，将未进行旋转的训练图片(即图2)与所述旋转角度为90
°
、180
°
和270
°
的训练图片(图3至图5)进行组合，即可获得包括上述四个旋转角度的所述训练图片的输入图片。若输入图片采用了图片矩阵的形式，且该图片矩阵采用前述2
×
2的排列形式，则可以将未进行旋转的训练图片与所述旋转角度为90
°
、180
°
和270
°
的训练图片，并按照[[p1,p2],
[p4,p3]]的顺序组合为图片矩阵后，可以获得如图6所示的输入图片。该输入图片至少具有两个特点：a，图片矩阵中含有同一张训练图片的多个角度，因此神经网络至少可以从输入图片中提取到各个正交角度的方向性信息。b，图片矩阵具有直角旋转不变形，无论在0
°
、90
°
、180
°
和270
°
这四个角度上如何旋转，图片矩阵不变。
[0059]
步骤s102，将所述输入图片输入所述神经网络进行前向传播，提取所述输入图片对应的输出特征向量。对应于前述的四个旋转角度，所述输出特征向量也可以包括第一特征向量、第二特征向量、第三特征向量和第四特征向量，所述第一特征向量表示旋转角度为0
°
的训练图片的图像特征，所述第二特征向量表示旋转角度为90
°
的训练图片的图像特征，所述第三特征向量表示旋转角度为180
°
的训练图片的图像特征，所述第四特征向量表示旋转角度为270
°
的训练图片的图像特征。
[0060]
本技术实施例中所采用的神经网络的结构可以包括骨干网络、全连接层和标准化层，具体可以如图7所示。其中，所述骨干网络可以采用bn
‑
inception网络，如图7中的710所示，将输入图片输入bn
‑
inception网络后即可输出n维的特征向量，其中所述向量的维度可以根据实际场景的需要设定，例如本实施中可以将n设定为2048，即输入图片经bn
‑
inception网络处理之后输出2048维的特征向量。在获得bn
‑
inception网络输出的n维特征向量之后，可以将该n维的特征向量输入全连接层720和标准化层730，输出四组m维的特征向量。类似的，m的具体取值可以根据实际场景的需要确定，例如本实施例中m可以是128，由此经全连接层和标准化层后最终输出的是四组128维的特征向量。
[0061]
具体地，如图8所示的网络结构为例，所述全连接层710可以分别包括4个全连接单元，分别是fc1、fc2、fc3和fc4，所述标准化层可以包括4个标准化单元，分别是norm1、norm2、norm3和norm4。由此，在获得bn
‑
inception网络输出的n维特征向量之后，可以将先n维的特征向量输入全连接层中的各个全连接单元输出四组m维的特征向量，然后再将每组m维的特征向量输入标准化层中对应的一个标准化单元中，分别输出第一特征向量、第二特征向量、第三特征向量和第四特征向量。
[0062]
以前述n取值为2048、m取值为128的场景为例，获得bn
‑
inception网络输出的2048维特征向量之后，将其输入全连接层720中的一个全连接单元fc1获得128维的特征向量，然后该128维的特征向量继续输入至标准化层730中对应的一个标准化单元norm1中，输出标准化处理后的128维特征向量，即为128维的第一特征向量。类似地，可以基于全连接层的其它全连接单元以及标准化层的其它标准化单元输出第二特征向量、第三特征向量和第四特征向量，这些特征向量的维度都是128维，实际场景中，也可以合并成一个512维的特征向量输出。
[0063]
考虑到实际处理过程中数据处理时的内存限制，无法一次性载入所有的数据来进行处理，因此本实施例中可以设定每次输入神经网络进行处理的数据的大小为(bs,12,224,224)。其中bs为batch的大小，为预先设置的超参。12表示输入数据的通道数，从1
‑
12，每3个通道对应一个旋转角度。由此，可以先将输入数据拆分为4个尺寸为(bs,3,224,224)的分数据，每个分数据表示同一训练图片的一个旋转角度。然后，可以将4个分数据在第一个维度合并，得到尺寸为(4
·
bs,3,224,224)的数据并输入神经网络进行前向传播，依次经过骨干网络、全连接层和标准化层处理后，输出尺寸为(4
·
bs,512)的输出特征向量。由于此特征向量是由四个head的输出合并而来，可以该512维的输出特征向量即包括了对应不
同旋转角度的特征向量，其中，1～128代表0度特征，129～256代表90度特征，257～384代表180度特征，385～512代表270度特征。
[0064]
步骤s103，根据所述输出特征向量计算对应于不同旋转角度的损失函数值，根据所述损失函数值计算梯度，并进行反向传播以更新所述神经网络的参数。
[0065]
由于输出特征向量包括了分别对应不同旋转角度的第一特征向量、第二特征向量、第三特征向量和第四特征向量。因此，反向传播的处理过程可以如图9所示，在根据前述的神经网络network提取到输出特征向量之后，可以分别根据第一特征向量、第二特征向量、第三特征向量和第四特征向量计算第一损失函数值loss1、第二损失函数值loss2、第三损失函数值loss3和第四损失函数值loss4。本实施例中，用于计算损失函数值的损失函数可以是ms
‑
loss(multi
‑
similarity loss，多相似性损失)函数。在获得相应的损失函数值之后，可以计算所述第一损失函数值、第二损失函数值、第三损失函数值和第四损失函数值的平均值loss_avg，并根据所述平均值计算梯度，进行反向传播以更新所述神经网络的参数。
[0066]
仍以前述场景为例，当输出特征向量的尺寸为(4
·
bs,512)，在进行反向传播时，将得到的输出特征向量拆分为4个尺寸为(bs,512)子特征向量(d1,d2,d3,d4),每一个子特征向量对应于神经网络从一个旋转角度的训练图片所提取到的图像特征。在实际计算时，可以将子特征向量表示为矩阵形式，例如图10示出了当bs取值为2时的输出特征向量矩阵，其矩阵中每两列对应一个旋转角度的子特征向量，在计算不属于该旋转角度的输出特征向量时，可以将其他子特征向量中的值全部设定为0，使得对应每个旋转角度的输出向量仅与图10中的阴影部分相关。由此，将子自特征向量将其放入ms
‑
loss函数中计算损失函数值，即可得到(loss1,loss2,loss3,loss4)四个对应的损失函数值，然后使用四个损失函数值的平均值计算梯度，进行反向传播，即可完成神经网络参数的更新。
[0067]
在完成本次更新之后，重复进行所述前向传播和反向传播的处理过程(即步骤s102和s103)，直至所述神经网络收敛，即可完成该神经网络的训练，获得可以用于进行图像识别的神经网络模型。在实际识别时，需要提取四个旋转角度下的待识别图片的特征向量，作为神经网络的输入，然后由神经网络输出识别结果。
[0068]
由于本技术实施例提供的神经网络训练方案会将训练图片先进行分形处理，获取包括多旋转角度的所述训练图片的输入图片，使得提取到的图像特征除了包含图片的内容信息之外，还包含了方向性信息，由此训练所获得的神经网络可以识别出更加立体的图像特征，即包括内容信息和方向性信息，从而可以提升神经网络的识别性能，使其可以更好的识别具有一定旋转角度的图片。
[0069]
为了确定本技术实施例提供的神经网络训练方案的训练效果，可以设置一个对照组，与本方案进行对比。对照组使用与本方案训练时同样的超参，并且设置同样大小的batch size和通道数，训练时所使用图片为未经分形处理的训练图片。在训练完成后，对收敛的对照组神经网络进行测试，获取该神经网络在4种不同旋转角度的测试集上的召回率，如图11～14中的曲线baseline，其中图11为旋转角度为0
°
时的召回率，图12为旋转角度为90
°
时的召回率，图13为旋转角度为180
°
时的召回率，图14为旋转角度为270
°
时的召回率。而图11～14中同样示出了采用本实施例方案所训练获得的神经网络在在4种不同旋转角度的测试集上的召回率，即图中的曲线factal。由上述测试效果对比图可知，对照组的神经网
络在各个旋转角度下召回率均低于使用了本技术方案训练获得的神经网络，并且本技术方案训练获得的神经网络四个不同旋转角度的测试集上的表现相差无几，都达到或接近了对照组在0
°
上的水平。而将特征向量合并后，召回率将提升明显。
[0070]
此外，本技术实施例还提供了一种计算机设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述的神经网络训练方法的步骤。
[0071]
特别地，本技术实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被处理单元执行时，执行本技术的方法中限定的上述功能。
[0072]
需要说明的是，本技术所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0073]
而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0074]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0075]
附图中的流程图或框图示出了按照本技术各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意
的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0076]
作为另一方面，本技术实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个计算机可读指令，所述计算机可读指令可被处理器执行以实现前述本技术的多个实施例的方法和/或技术方案的步骤。
[0077]
此外，本技术实施例还提供了一种计算机程序，所述计算机程序存储于计算机设备，使得计算机设备执行所述神经网络训练方法的步骤。
[0078]
需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本技术的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
[0079]
对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。