基于硬件信息的神经网络结构搜索方法及系统

1.本发明涉及神经网络模型处理技术领域，尤指一种基于硬件信息的神经网络结构搜索方法及系统。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.神经网络模型搜索目前成为一种模型设计的手段，目前主要分为两个方向：第一基于强化学习和演化算法的神经网络模型搜索，第二是基于梯度下降的神经网络模型搜索。差分的神经网络模型搜索不能够把芯片底层信息反馈到模型设计层面。
4.神经网络模型架构搜索由于每层算子不固定、规格参数也不固定、连接关系也不固定、网络层数不固定导致搜索空间维度特别大，造成网络架构搜索时间特别长，以最初谷歌提出的基于强化学习的nas-net为例需要1000多个gpu天(days)；基于梯度下降的神经网络以darts为例，需要的搜索时间不长但是硬件信息不能通过梯度进行搜索，无法建立搜索模型与硬件数据模型之间的连接关系；目前关于模型表达力的研究成为一个重要方向，模型表达力通过输入符合高斯分布的数据根据输出作为判断模型表达力的性能，能够实现快速搜索最优网络结构特点，并且是在离散空间内搜索；但是缺少了要搜索网络和目标任务的约束，且缺少硬件信息的约束。
5.由于不同的网络结构用flops并不能直接有效的反馈网络部署到具体的芯片的推理时间差异；但是，需要根据准确的硬件信息反馈给网络搜索过程，才能使得搜索出来的网络在部署的芯片上运行出更好的性能。
6.综上来看，亟需一种可以克服上述缺陷，能够基于硬件信息快速进行神经网络搜索的技术方案。


技术实现要素：

7.为解决现有技术存在的问题，本发明提出了一种基于硬件信息的神经网络结构搜索方法及系统。本发明可以根据目标网络的层数以及模型的表达力确定网络层数范围，结合硬件信息作为约束，逐步固定层数范围进行小范围搜索，实现快速获取到部署在芯片性能较好的网络，同时可以保证较高的精度，能够针对不同的硬件架构设计具备高效执行的网络结构，满足应用场景任务的需求。
8.在本发明实施例的第一方面，提出了一种基于硬件信息的神经网络结构搜索方法，包括：
9.根据所述应用场景任务选择符合设定要求的目标网络，计算所述目标网络的表达力；
10.按照所述目标网络的层数，根据搜索模型空间构建第一网络，并计算第一网络的表达力；其中，如果所述第一网络的表达力小于所述目标网络的表达力，增加所述第一网络
的深度，直至所述第一网络的表达力大于目标网络的表达力；
11.根据所述第一网络的层数构建第二网络，并计算所述第二网络的表达力；将所述第二网络的表达力与所述目标网络的表达力进行比较；若大于则减少层数并重新构建网络，若小于则增加层数并重新构建网络，直至第二网络的表达力与目标网络的表达力的差值在设定阈值范围内，得到第二网络；
12.根据所述第二网络的层数设定搜索范围，按照所述搜索范围，基于演化算法并结合硬件信息进行网络的搜索，得到性能最佳的网络。
13.在本发明实施例的第二方面，提出了一种基于硬件信息的神经网络结构搜索系统，包括：
14.目标网络处理模块，用于根据所述应用场景任务选择符合设定要求的目标网络，计算所述目标网络的表达力；
15.第一网络处理模块，用于按照所述目标网络的层数，根据搜索模型空间构建第一网络，并计算第一网络的表达力；其中，如果所述第一网络的表达力小于所述目标网络的表达力，增加所述第一网络的深度，直至所述第一网络的表达力大于目标网络的表达力；
16.第二网络构建模块，用于根据所述第一网络的层数构建第二网络，并计算所述第二网络的表达力；将所述第二网络的表达力与所述目标网络的表达力进行比较；若大于则减少层数并重新构建网络，若小于则增加层数并重新构建网络，直至第二网络的表达力与目标网络的表达力的差值在设定阈值范围内，得到第二网络；
17.网络搜索模块，用于根据所述第二网络的层数设定搜索范围，按照所述搜索范围，基于演化算法并结合硬件信息进行网络的搜索，得到性能最佳的网络。
18.在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于硬件信息的神经网络结构搜索方法。
19.在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于硬件信息的神经网络结构搜索方法。
20.在本发明实施例的第五方面，提出了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现基于硬件信息的神经网络结构搜索方法。
21.本发明提出的基于硬件信息的神经网络结构搜索方法及系统通过目标网络的层数以及模型的表达力确定网络层数范围，进而结合硬件信息逐步固定层数范围进行小范围搜索，从而实现快速获取到部署在芯片性能较好的网络，同时可以保证较高的精度，有效解决了现有技术无法将芯片底层信息反馈到模型设计的缺陷且模型搜索耗时长的问题；本发明整体方案能够针对不同的硬件架构，设计出具备高效执行的网络结构，以充分利用底层芯片的计算存储资源，为神经网络模型的研究提供有力的技术支持。
附图说明
22.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普
通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
23.图1是本发明一实施例的基于硬件信息的神经网络结构搜索方法流程示意图。
24.图2是本发明一实施例的处理目标网络的流程示意图。
25.图3是本发明一实施例的大网络的结构示意图。
26.图4是本发明一实施例的构建新网络的流程示意图。
27.图5是本发明一实施例的搜索网络的流程示意图。
28.图6是本发明另一实施例的基于硬件信息的神经网络结构搜索方法流程示意图。
29.图7是本发明一具体实施例的基于硬件信息的神经网络结构搜索的关系示意图。
30.图8是本发明一具体实施例的确定搜索网络层数的关系示意图。
31.图9是本发明一实施例的基于硬件信息的神经网络结构搜索系统架构示意图。
32.图10是本发明一实施例的目标网络处理模块的架构示意图。
33.图11是本发明一实施例的第二网络构建模块的架构示意图。
34.图12是本发明一实施例的网络搜索模块的架构示意图。
35.图13是本发明另一实施例的基于硬件信息的神经网络结构搜索系统架构示意图。
36.图14是本发明一实施例的计算机设备结构示意图。
具体实施方式
37.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
38.本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
39.根据本发明的实施方式，提出了一种基于硬件信息的神经网络结构搜索方法及系统，涉及神经网络模型处理技术领域。
40.下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
41.图1是本发明一实施例的基于硬件信息的神经网络结构搜索方法流程示意图。如图1所示，该方法包括：
42.s1，根据应用场景任务选择符合设定要求的目标网络，计算所述目标网络的表达力；
43.s2，按照所述目标网络的层数，根据搜索模型空间构建第一网络，并计算第一网络的表达力；其中，如果所述第一网络的表达力小于所述目标网络的表达力，增加所述第一网络的深度，直至所述第一网络的表达力大于目标网络的表达力；
44.s3，根据所述第一网络的层数构建第二网络，并计算所述第二网络的表达力；将所述第二网络的表达力与所述目标网络的表达力进行比较；若大于则减少层数并重新构建网络，若小于则增加层数并重新构建网络，直至第二网络的表达力与目标网络的表达力的差值在设定阈值范围内，得到第二网络；
45.s4，根据所述第二网络的层数设定搜索范围，按照所述搜索范围，基于演化算法并
结合硬件信息进行网络的搜索，得到性能最佳的网络。
46.为了对上述基于硬件信息的神经网络结构搜索方法进行更为清楚的解释，下面结合每一步骤来进行详细说明。
47.在s1中，参考图2，根据应用场景任务选择符合设定要求的目标网络，计算所述目标网络的表达力的具体流程为：
48.s101，根据所述应用场景任务选择一个精度达到设定值的目标网络，计算所述目标网络的层数；
49.其中，通常，目标网络可以选择精度较好，且适用于应用场景任务的神经网络。
50.s102，将所述目标网络的权重利用归一化的高斯分布随机数代替，计算所述目标网络的表达力。
51.在s2中，按照所述目标网络的层数，根据搜索模型空间构建第一网络，并计算第一网络的表达力；其中，如果所述第一网络的表达力小于所述目标网络的表达力，增加所述第一网络的深度，直至所述第一网络的表达力大于目标网络的表达力。
52.如图3所示，在构建大网络(第一网络)时，每层对搜索空间的所有候选算子并行构建；如果大网络的模型表达力小于目标网络可以继续增加大网络的深度，直到构建的大网络的模型表达力大于目标网络。
53.在s3中，参考图4，根据所述第一网络的层数构建第二网络，并计算所述第二网络的表达力；将所述第二网络的表达力与所述目标网络的表达力进行比较；若大于则减少层数并重新构建网络，若小于则增加层数并重新构建网络，直至第二网络的表达力与目标网络的表达力的差值在设定阈值范围内，得到第二网络，的具体流程为：
54.s301，设置上限为第一网络的层数、下限为0的区间。
55.s302，根据该区间构建层数为当前区间上下限平均值的第二网络，并计算所述第二网络的表达力；
56.s303，判断所述第二网络的表达力与目标网络的表达力的差值是否在设定阈值范围内；
57.如果差值在设定阈值范围内，则停止构建；
58.如果差值不在设定阈值范围内，s304，将所述第二网络的表达力与所述目标网络的表达力进行比较；
59.若所述第二网络的表达力大于所述目标网络的表达力，则设置上限为当前区间的上限、下限为当前区间上下限平均值的新区间，并重新构建层数为新区间上下限平均值的第二网络；
60.若所述第二网络的表达力小于所述目标网络的表达力，则设置上限为当前区间上下限平均值、下限为当前区间的下限的新区间，并重新构建层数为新区间上下限平均值的第二网络；
61.重复上述比较网络的表达力及重新构建第二网络的过程(s303、s304)，直至所述第二网络的表达力与目标网络的表达力的差值在设定阈值范围内，停止构建。
62.本发明在构建第二网络时可以采用二分法，通过不断的调整层数，重新构建新网络，比较新网络与目标网络的表达力，缩小可选择的层数区间，从而得到与目标网络表达力邻近的网络。
63.以第一网络的层数为80层为例，构建新网络的过程为：
64.首先，设置区间[0,80]。
[0065]
在第一次构建时，建立40层(区间[0,80]的上下限平均值)的新网络；计算该40层的新网络的表达力，比较新网络的表达力与目标网络的差值；
[0066]
如果差值较小，则停止构建；
[0067]
如果差值较大，且新网络的表达力大于目标网络，则取60层(即，区间[40,80]的上下限平均值，其中，该区间的上限为当前区间[0,80]的上限，下限为当前区间[0,80]的上下限的平均值)，构建60层的新网络；
[0068]
如果差值较大，且新网络的表达力小于目标网络，则取20层(即，区间[0,40]的上下限平均值，其中，该区间的上限为当前区间[0,80]的上下限的平均值，下限为当前区间[0,80的下限])，构建20层的新网络。
[0069]
进一步的，在构建新网络之后，再计算新网络的表达力，比较新网络的表达力与目标网络的差值。
[0070]
对于60层的新网络，如果差值较小，则停止构建；
[0071]
如果差值较大，且新网络的表达力大于目标网络，则取70层(区间[60,80]的上下限平均值)，构建70层的新网络；
[0072]
如果差值较大，且新网络的表达力小于目标网络，则取50层(区间[40,60]的上下限平均值)，构建50层的新网络。
[0073]
对于20层的新网络，如果差值较小，则停止构建；
[0074]
如果差值较大，且新网络的表达力大于目标网络，则取30层(区间[20,40]的上下限平均值)，构建30层的新网络；
[0075]
如果差值较大，且新网络的表达力小于目标网络，则取10层(区间[0,20]的上下限平均值)，构建10层的新网络。
[0076]
重复上述过程，不断地调整直至得到新网络的表达力与目标网络的差值较小，停止构建。
[0077]
在s4中，参考图5，根据所述第二网络的层数设定搜索范围，按照所述搜索范围，基于演化算法并结合硬件信息进行网络的搜索，得到性能最佳的网络的具体流程为：
[0078]
s401，根据所述第二网络的层数，通过增加或减少设定层数设置搜索范围；
[0079]
s402，按照所述搜索范围，基于演化算法进行网络的搜索；
[0080]
s403，在搜索到的网络的表达力达标的情况下，剔除硬件反馈时间超出设定值的网络，将剩余的网络随机组合并进行迭代搜索，直至得到硬件反馈时间最短的网络。
[0081]
进一步的，参考图6，为本发明一具体实施例的基于硬件信息的神经网络结构搜索方法的流程示意图。如图6所示，该方法还包括：
[0082]
s5，利用所述性能最佳的网络结合所述应用场景任务进行模型训练，得到训练完成的神经网络模型。
[0083]
参考图7，为本发明一具体实施例的基于硬件信息的神经网络结构搜索的关系示意图。本发明可以基于演化算法结合硬件信息进行神经网络模型结构的搜索，并且为了加快搜索速度，首先基于目标模型的表达力对网络层数进行搜索定位，然后基于网络层数范围进行详细的搜索，最终实现能够快速的获取到在部署芯片性能比较好的网络同时又具有
比较高的精度，本发明对于能够针对不同的硬件架构设计不同的高效执行的网络结构充分利用底层芯片的计算存储资源具有比较大的价值与意义，为神经网络模型的研究提供有力的技术支持。
[0084]
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0085]
为了对上述基于硬件信息的神经网络结构搜索方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明。
[0086]
以分类任务为例：
[0087]
s01，在一个公开的数据集上(cifar10)，选定目标网络resnet50，把网络的权重系数以归一化的高斯分布随机数代替，输入同样也是符合高斯分布归一化的随机数，计算目标网络的表达力。
[0088]
本发明所采用的表达力的计算方法可以参考已公开的论文zen-nas：a zero-shot nas for high-performance deep image recognition；本发明通过上述方法计算得到神经网络结构的表达力，进而将表达力作为网络之间比较的一项参数；需要说明的是，本发明整体过程中并未对表达力的计算方法进行改进，具体表达力计算方法并不仅限于此，也可以采用其他的计算方法。
[0089]
s02，根据搜索空间构建一个50层的大网络，并且计算构建大网络的表达力，如果大网络的表达力小于resnet50，在扩大网络层数进一步构建大网络并计算表达力，直到构建的大网络表达力大于resnet50。
[0090]
s03，基于大网络的层数，构建一个新的网络，通过调整网络的层数，得到与目标网络的表达力接近的网络，从而确定搜索网络的层数。
[0091]
在本实施例中，参考图8，可以利用二分法来确定搜索网络的层数。
[0092]
如图8所示，设置区间[0,50]，50表示大网络的层数；取区间[0,50]两端的平均值(0 50)/2，构建25层网络，并计算新网络的模型表达力。
[0093]
根据该新网络的模型表达力，判断是否满足预设要求：新网络的模型表达力与目标网络的表达力的差值小于设定阈值；
[0094]
其中，若差值小于设定阈值，则认为满足预设要求，停止构建并通过新网络来确定搜索网络的层数；
[0095]
若差值大于设定阈值，则认为不满足预设要求，继续调整层数。
[0096]
在不满足预设要求的情况下，判断新网络与目标网络的表达力的大小关系。
[0097]
例如，25层网络不满足预设要求，则判断25层网络与目标网络的表达力的大小关系；其中，
[0098]
若25层网络的表达力小于目标网络，则取区间[25,50]两端的平均值(25 50)/2，构建37层(向下取整)网络；
[0099]
若25层网络的表达力大于目标网络，则取区间[0,25]两端的平均值(0 25)/2，构建12层(向下取整)网络；
[0100]
在构建新网络后，重复上述过程，判断是否满足预设要求。
[0101]
若还不满足预设要求，则继续判断新网络与目标网络的表达力的大小关系，重新构建新网络，直至满足预设要求为止。
[0102]
例如，如8所示，若12层网络还不满足预设要求，比较12层网络与目标网络的表达力，若小于目标网络，则取区间[12,25]两端的平均值(12 25)/2，构建18层(向下取整)网络；
[0103]
若18层网络还不满足预设要求，且18层网络小于目标网络的表达力，继续取区间[18,25]两端的平均值(18 25)/2，构建21层(向下取整)网络；此时，若21层网络与目标网络的表达力的差值较小(小于设定阈值)，则停止构建。
[0104]
若18层网络还不满足预设要求，且18层网络大于目标网络的表达力，继续取区间[12,18]两端的平均值(12 18)/2，构建15层(向下取整)网络，进而继续判断是否满足预设要求。
[0105]
在图8中标记的“大”表示箭头起始端的网络大于目标网络表达力，“小”表示箭头起始端的网络小于目标网络表达力。
[0106]
s04，基于构建的新网络确定的层数，上下加减设定层数，例如加减1层，限定层数搜索范围。
[0107]
s05，根据设定的搜索范围层数，基于演化算法搜索网络结构；每次迭代搜索时，在表达力达标的情况下，剔除硬件反馈时间最长的多个网络结构；然后，再通过随机组合并进行下轮迭代搜索。最后，选择出性能最好的网络然后结合应用任务场景进行模型训练，得到训练完成的模型。
[0108]
在介绍了本发明示例性实施方式的方法之后，接下来，参考图9对本发明示例性实施方式的基于硬件信息的神经网络结构搜索系统进行介绍。
[0109]
基于硬件信息的神经网络结构搜索系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0110]
基于同一发明构思，本发明还提出了一种基于硬件信息的神经网络结构搜索系统，如图9所示，该系统包括：
[0111]
目标网络处理模块110，用于根据应用场景任务选择符合设定要求的目标网络，计算所述目标网络的表达力；
[0112]
第一网络处理模块120，用于按照所述目标网络的层数，根据搜索模型空间构建第一网络，并计算第一网络的表达力；其中，如果所述第一网络的表达力小于所述目标网络的表达力，增加所述第一网络的深度，直至所述第一网络的表达力大于目标网络的表达力；
[0113]
第二网络构建模块130，用于根据所述第一网络的层数构建第二网络，并计算所述第二网络的表达力；将所述第二网络的表达力与所述目标网络的表达力进行比较；若大于则减少层数并重新构建网络，若小于则增加层数并重新构建网络，直至第二网络的表达力与目标网络的表达力的差值在设定阈值范围内，得到第二网络；
[0114]
网络搜索模块140，用于根据所述第二网络的层数设定搜索范围，按照所述搜索范围，基于演化算法并结合硬件信息进行网络的搜索，得到性能最佳的网络。
[0115]
在本实施例中，参考图10，所述目标网络处理模块110包括：层数计算单元1101及
表达力计算单元1102；其中，
[0116]
所述层数计算单元1101，用于根据所述应用场景任务选择一个精度达到设定值的目标网络，计算所述目标网络的层数；
[0117]
所述表达力计算单元1102，用于将所述目标网络的权重利用归一化的高斯分布随机数代替，计算所述目标网络的表达力。
[0118]
在本实施例中，参考图11，所述第二网络构建模块130包括：区间设置单元1301、网络构建单元1302、比较单元1303；其中，
[0119]
所述区间设置单元1301，用于设置上限为第一网络的层数、下限为0的区间；
[0120]
所述网络构建单元1302，用于根据该区间构建层数为当前区间上下限平均值的第二网络，并计算所述第二网络的表达力；
[0121]
所述比较单元1303，用于判断所述第二网络的表达力与目标网络的表达力的差值是否在设定阈值范围内；
[0122]
如果差值在设定阈值范围内，则停止构建；
[0123]
如果差值不在设定阈值范围内，将所述第二网络的表达力与所述目标网络的表达力进行比较；
[0124]
若所述第二网络的表达力大于所述目标网络的表达力，则设置上限为当前区间的上限、下限为当前区间上下限平均值的新区间，并重新构建层数为新区间上下限平均值的第二网络；
[0125]
若所述第二网络的表达力小于所述目标网络的表达力，则设置上限为当前区间上下限平均值、下限为当前区间的下限的新区间，并重新构建层数为新区间上下限平均值的第二网络；
[0126]
重复上述比较网络的表达力及重新构建第二网络的过程，直至所述第二网络的表达力与目标网络的表达力的差值在设定阈值范围内，停止构建。
[0127]
在本实施例中，参考图12，所述网络搜索模块140包括：搜索范围设置单元1401及网络搜索单元1402；其中，
[0128]
搜索范围设置单元1401，用于根据所述第二网络的层数，通过增加或减少设定层数设置搜索范围；
[0129]
网络搜索单元1402，用于按照所述搜索范围，基于演化算法进行网络的搜索；
[0130]
在搜索到的网络的表达力达标的情况下，剔除硬件反馈时间超出设定值的网络，将剩余的网络随机组合并进行迭代搜索，直至得到硬件反馈时间最短的网络。
[0131]
参考图13，本发明的系统还包括：模型训练模块150；其中，
[0132]
所述模型训练模块150，用于利用所述性能最佳的网络结合所述应用场景任务进行模型训练，得到训练完成的神经网络模型。
[0133]
应当注意，尽管在上文详细描述中提及了基于硬件信息的神经网络结构搜索系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
[0134]
基于前述发明构思，如图14所示，本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机
程序时实现前述基于硬件信息的神经网络结构搜索方法。
[0135]
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述基于硬件信息的神经网络结构搜索方法。
[0136]
基于前述发明构思，本发明提出了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现基于硬件信息的神经网络结构搜索方法。
[0137]
本发明提出的基于硬件信息的神经网络结构搜索方法及系统通过目标网络的层数以及模型的表达力确定网络层数范围，进而结合硬件信息逐步固定层数范围进行小范围搜索，从而实现快速获取到部署在芯片性能较好的网络，同时可以保证较高的精度，有效解决了现有技术无法将芯片底层信息反馈到模型设计的缺陷且模型搜索耗时长的问题；本发明整体方案能够针对不同的硬件架构，设计出具备高效执行的网络结构，以充分利用底层芯片的计算存储资源，为神经网络模型的研究提供有力的技术支持。
[0138]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0139]
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0140]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0141]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0142]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。