脉冲神经网络输入信号编码方法、系统、装置及存储介质

1.本发明涉及神经网络技术领域，尤其是一种脉冲神经网络输入信号编码方法、系统、装置及存储介质。


背景技术：

2.当前时代，信息量和数据量正在以指数级方式不断增长，对于计算系统的大规模信息处理能力有着越来越高的要求，传统的冯
·
诺依曼架构已经逐渐难以满足如今时代的需求。而随着人工智能、深度学习等领域的兴起，研究人员将目光放向了新兴领域——类脑计算。人的大脑中有着超过900亿个神经元细胞和107个神经突触，日常功耗仅为20w左右，基于冯
·
诺依曼架构的计算机功耗则是大脑的10-20倍，图形处理器更是达到了100倍以上。因此，类脑计算机有着突破传统冯
·
诺依曼架构、提升信息处理能力的潜力。
3.脉冲神经网络(spiking neuron network,snn)是“第三代神经网络”，也是类脑计算架构的基础。snn是采取异步、事件驱动的方式工作，通过脉冲来进行信息的传递，包含着时间、空间、频率、相位等大量信息，有着强大的计算能力和潜力。目前已经有很多基于此的神经形态平台被开发出来：2014年ibm开发了truenorth芯片，实现了非冯
·
诺依曼、低功耗、高度并行、可扩展架构，包含100万个数字神经元和2.56亿个突触。2018年intel推出了loihi芯片，在解决lasso优化问题上，其能量延迟积与传统cpu相比优化了三个数量级以上。2020年清华大学推出的tianji芯片，成功实现了无人自行车的实时物体检测、跟踪、避障和平衡控制，标志着我国类脑相关的研究又登上了一个新台阶。
4.信息编码是脉冲神经网络中的关键一环，它是将网络的输入转换成脉冲的过程。当人受到外界刺激，如声音、光、气味等时，神经元会产生动作电位的变化即发射脉冲。但是生物学上对于将刺激转换成脉冲的具体方式仍然是个有争议的问题，目前snn中主流的两类信息编码方式是频率编码和时间编码。频率编码是通过神经元的脉冲频率来传递信息的，由于其编码机制的简单性，多年来一直是神经科学和脉冲神经网络的主要形式。时间编码是通过神经元的脉冲时间来传递信息的。有实验研究表明，大脑允许视网膜通过神经群发出的第一个尖峰来快速可靠地传输新的空间信息。
5.现有技术中的频率编码方式和时间编码方式都存在着缺点：频率编码得到的脉冲数量过多，大量未被利用的脉冲在脉冲传递的过程中损失掉，从而导致脉冲神经网络的整体功耗过大；时间编码对于每个像素点仅编码出一个脉冲，因此容易受到噪声的干扰，影响了脉冲神经网络的识别准确性。


技术实现要素：

6.本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
7.为此，本发明实施例的一个目的在于提供一种脉冲神经网络输入信号编码方法，该方法提高了脉冲神经网络的识别灵活性和准确性，降低了脉冲神经网络的整体功耗。
8.本发明实施例的另一个目的在于提供一种脉冲神经网络输入信号编码系统。
9.为了达到上述技术目的，本发明实施例所采取的技术方案包括：
10.第一方面，本发明实施例提供了一种脉冲神经网络输入信号编码方法，包括以下步骤：
11.确定输入图像中各个像素点的第一像素值；
12.根据所述第一像素值确定首脉冲发射时间、总脉冲数量以及脉冲间隔，其中，所述首脉冲发射时间与所述第一像素值呈负相关关系，所述总脉冲数量与所述第一像素值呈正相关关系，所述脉冲间隔与所述第一像素值呈负相关关系；
13.根据所述首脉冲发射时间、所述总脉冲数量以及所述脉冲间隔对所述像素点进行脉冲编码得到第一脉冲序列；
14.将各所述像素点对应的第一脉冲序列作为输入信号输入到脉冲神经网络的处理层。
15.进一步地，在本发明的一个实施例中，所述脉冲神经网络包括输入层和所述处理层，所述输入层包括多个输入神经元，所述处理层包括数量相同的多个兴奋性神经元和多个抑制性神经元，所述兴奋性神经元与所述抑制性神经元一一对应，各所述输入神经元的输出端均与所述兴奋性神经元的输入端连接，各所述兴奋性神经元的输入端均与所述输入神经元的输出端连接，所述兴奋性神经元的输出端与对应的抑制性神经元的输入端连接，所述抑制性神经元的输出端与非对应的兴奋性神经元的输入端连接，所述输入神经元用于对各所述像素点进行脉冲编码得到所述第一脉冲序列，并将所述第一脉冲序列输入到各所述兴奋性神经元，所述兴奋性神经元用于根据所述第一脉冲序列生成兴奋性脉冲，并将所述兴奋性脉冲输入到对应的抑制性神经元，所述抑制性神经元用于根据所述兴奋性脉冲生成抑制性脉冲，并将所述抑制性脉冲反馈至非对应的兴奋性神经元，所述脉冲神经网络在训练过程中更新优化所述输入神经元、所述兴奋性神经元以及所述抑制性神经元之间的连接权重。
16.进一步地，在本发明的一个实施例中，所述脉冲神经网络还包括输出层，所述输出层用于统计所述兴奋性神经元的兴奋度，并根据所述兴奋度确定输入图像的分类结果，所述兴奋度根据所述兴奋性神经元的脉冲触发情况确定。
17.进一步地，在本发明的一个实施例中，所述首脉冲发射时间通过下式确定：
18.spiketime＝(1-pixel/pixel_max)*timewindow
19.其中，spiketime表示首脉冲发射时间，pixel表示对应像素点的第一像素值，pixel_max表示所有像素点的第一像素值的最大值，timewindow表示对应像素点的编码时间窗口。
20.进一步地，在本发明的一个实施例中，所述总脉冲数量通过下式确定：
21.number＝nmax*(e
pixel/pixel_max-1)/(e-1)
22.其中，number表示总脉冲数量，nmax表示预设的最大脉冲数，pixel表示对应像素点的第一像素值，pixel_max表示所有像素点的第一像素值的最大值。
23.进一步地，在本发明的一个实施例中，所述脉冲间隔通过下式确定：
24.isi＝(nmax-number)*q
25.其中，isi表示脉冲间隔，number表示总脉冲数量，nmax表示预设的最大脉冲数，q表示预设的时间常数。
26.进一步地，在本发明的一个实施例中，所述根据所述首脉冲发射时间、所述总脉冲数量以及所述脉冲间隔对所述像素点进行脉冲编码得到第一脉冲序列这一步骤，其具体包括：
27.根据所述首脉冲发射时间确定首个脉冲的发射时间；
28.根据首个脉冲的发射时间和所述脉冲间隔依次确定剩余脉冲的发射时间，所述剩余脉冲的数量为所述总脉冲数量减1；
29.根据所述首个脉冲的发射时间、所述剩余脉冲的发射时间以及预设的脉冲峰值生成所述第一脉冲序列。
30.第二方面，本发明实施例提供了一种脉冲神经网络输入信号编码系统，包括：
31.第一像素值确定模块，用于确定输入图像中各个像素点的第一像素值；
32.脉冲序列参数确定模块，用于根据所述第一像素值确定首脉冲发射时间、总脉冲数量以及脉冲间隔，其中，所述首脉冲发射时间与所述第一像素值呈负相关关系，所述总脉冲数量与所述第一像素值呈正相关关系，所述脉冲间隔与所述第一像素值呈负相关关系；
33.第一脉冲序列生成模块，用于根据所述首脉冲发射时间、所述总脉冲数量以及所述脉冲间隔对所述像素点进行脉冲编码得到第一脉冲序列；
34.脉冲序列输入模块，用于将各所述像素点对应的第一脉冲序列作为输入信号输入到脉冲神经网络的处理层。
35.第三方面，本发明实施例提供了一种脉冲神经网络输入信号编码装置，包括：
36.至少一个处理器；
37.至少一个存储器，用于存储至少一个程序；
38.当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种脉冲神经网络输入信号编码方法。
39.第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种脉冲神经网络输入信号编码方法。
40.本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：
41.本发明实施例融合了传统频率编码和时间编码的优点，既能将较大的像素值编码出更多脉冲来反映像素特征，也能够从首脉冲的脉冲时间来反映像素特征，使得在后续解码识别的过程中，可根据实际场景选择时间解码和/或频率解码来进行特征识别，提高了脉冲神经网络的识别灵活性；由于同时通过脉冲数量和首脉冲的脉冲时间反映像素特征，相比传统的时间编码方式而言，提高了脉冲神经网络的识别准确性，相比传统的频率编码方式而言，减少了编码的脉冲数量，降低了脉冲神经网络的整体功耗。
附图说明
42.为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
43.图1为本发明实施例提供的一种脉冲神经网络输入信号编码方法的步骤流程图；
44.图2为本发明实施例提供的脉冲神经网络的结构示意图；
45.图3为本发明实施例提供的lif模型的神经元响应机理示意图；
46.图4为本发明实施例提供的脉冲神经网络输入信号编码方法与传统的时间编码以及频率编码的编码结果对比图；
47.图5为本发明实施例提供的一种脉冲神经网络输入信号编码系统的结构框图；
48.图6为本发明实施例提供的一种脉冲神经网络输入信号编码装置的结构框图。
具体实施方式
49.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
50.在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。
51.依靠着并行处理和节能计算等特性，snn已广泛运用在神经系统硬件系统之中。然而，神经网络需要多层、复杂的结构来处理实际生活中的任务，如目标检测、图像识别等。以ibm推出的truenorth芯片为例，它包含了100万个数字神经元和2.56亿个突触。这些复杂的结构会使snn突触部分内存过大，进而导致整体能耗过高，对于硬件部分实现有着很大的考验。因此，寻找切实有效的方案来提高snn网络的能效势在必行。
52.脉冲编码是snn的源头环节，编码出的输入脉冲多少直接决定了整体网络在后续运行时的功耗，在这一环节进行优化可以最大程度的减少整体功耗。目前主流的两种编码都存在着各自的问题。频率编码虽然因为编码机制简单，依靠脉冲发放的频率来传递信息，有着很强的鲁棒性，但这同时也带来了新的问题。频率编码编码出来的脉冲太多，有大量脉冲并没有被很好地利用起来，而是在脉冲传递过程中损失掉了。另外，输入编码的脉冲太多也会导致后续运行过程中大量脉冲继续传递，从而导致snn网络整体的功耗过高。时间编码是利用脉冲的时间信息来进行传递，常用的首脉冲编码(time to first spike,ttfs)每个像素仅仅编码出一个脉冲，从而整体网络功耗会降到一个很低的水平。但是时间编码也有着自己的问题：首先是基于时间编码的snn网络识别正确率还处在一个相对较低的水平，并不能令人满意；其次，由于时间编码的机制仅有一个脉冲，这就会使整个网络极其容易受到噪声的干扰，从而使传递的信息丢失。
53.基于此，本发明实施例提供了一种脉冲神经网络输入信号编码方法，用于脉冲神经网络的输入信号编码环节，提高了脉冲神经网络的识别灵活性和准确性，降低了脉冲神经网络的整体功耗。参照图1，本发明实施例的脉冲神经网络输入信号编码方法具体包括以下步骤：
54.s101、确定输入图像中各个像素点的第一像素值；
55.s102、根据第一像素值确定首脉冲发射时间、总脉冲数量以及脉冲间隔，其中，首脉冲发射时间与第一像素值呈负相关关系，总脉冲数量与第一像素值呈正相关关系，脉冲间隔与第一像素值呈负相关关系；
56.s103、根据首脉冲发射时间、总脉冲数量以及脉冲间隔对像素点进行脉冲编码得到第一脉冲序列；
57.s104、将各像素点对应的第一脉冲序列作为输入信号输入到脉冲神经网络的处理层。
58.具体地，本发明实施例采用的编码方式是融合频率编码和时间编码而提出的一种新的编码方式，由于其编码时的特殊机制，它既能通过脉冲的数量来传递信息，也能通过脉冲的时间来传递信息，因此在解码时可以在脉冲数量和脉冲时间中选择一种或者采用二者的结合来进行分类识别。
59.进一步作为可选的实施方式，脉冲神经网络包括输入层和处理层，输入层包括多个输入神经元，处理层包括数量相同的多个兴奋性神经元和多个抑制性神经元，兴奋性神经元与抑制性神经元一一对应，各输入神经元的输出端均与兴奋性神经元的输入端连接，各兴奋性神经元的输入端均与输入神经元的输出端连接，兴奋性神经元的输出端与对应的抑制性神经元的输入端连接，抑制性神经元的输出端与非对应的兴奋性神经元的输入端连接，输入神经元用于对各像素点进行脉冲编码得到第一脉冲序列，并将第一脉冲序列输入到各兴奋性神经元，兴奋性神经元用于根据第一脉冲序列生成兴奋性脉冲，并将兴奋性脉冲输入到对应的抑制性神经元，抑制性神经元用于根据兴奋性脉冲生成抑制性脉冲，并将抑制性脉冲反馈至非对应的兴奋性神经元，脉冲神经网络在训练过程中更新优化输入神经元、兴奋性神经元以及抑制性神经元之间的连接权重。
60.如图2所示为本发明实施例提供的脉冲神经网络的结构示意图，可以理解的是，本发明实施例的脉冲神经网络主要由两部分构成：第一层是输入层，包含m*n个输入神经元，与输入图像的m*n个像素相对应；第二层是处理层，包含相同数量的兴奋性神经元和抑制性神经元。输入层的输入神经元与处理层中的兴奋性神经元完全连接(即所有输入神经元的输出段均连接至每个兴奋性神经元的输入端，所有兴奋性神经元的输入端均连接至每个输入神经元的输出端)，输入神经元将图片的像素转换成脉冲序列并往下一层传递。处理层中的兴奋性神经元接收所有输入神经元传递的脉冲序列，并且以一对一的方式与抑制性神经元连接并发射兴奋性脉冲，而每个抑制性神经元又反过来向除对应兴奋性神经元之外的所有兴奋性神经元发射抑制性脉冲。这种连接方式可以实现赢家通吃(winner take all,wta)机制，通过对兴奋性神经元施加侧向抑制反馈，从而让神经元之间产生学习上的竞争，提高模型训练的效率和模型准确度。
61.在一些可选的实施例中，脉冲神经网络采用泄漏型积分点火(leaky intergrate and fired,lif)模型。lif神经元的膜电压会随着时间不断衰减，但当它接受到兴奋性或抑制性脉冲时，膜电压也会相应的增加或减少。一旦膜电压超过阈值电压时，该神经元会产生一个脉冲，并且膜电压迅速回落到复位电压，同时会有一段时间的不应期，在此期间该神经元不会再次被激发，本发明实施例提供的lif模型的神经元响应机理示意图如图3所示。
62.进一步作为可选的实施方式，脉冲神经网络还包括输出层，输出层用于统计兴奋性神经元的兴奋度，并根据兴奋度确定输入图像的分类结果，兴奋度根据兴奋性神经元的
脉冲触发情况确定。
63.具体地，脉冲神经网络的输出层通过对兴奋性神经元的兴奋度统计来最后进行分类识别。基于本发明实施例提出的编码方式，脉冲数量和首脉冲到达时间则都可以表征兴奋性神经元的兴奋度。在训练完成之后，输入神经元、兴奋性神经元以及抑制性神经元之间的连接权重得到了优化，每个兴奋性神经元被分配了一个它们最高兴奋度数字的标签，然后在推理过程中，输入图像的分类结果是具有最高平均兴奋度的标签对应的数字。
64.进一步作为可选的实施方式，首脉冲发射时间通过下式确定：
65.spiketime＝(1-pixel/pixel_max)*timewindow
66.其中，spiketime表示首脉冲发射时间，pixel表示对应像素点的第一像素值，pixel_max表示所有像素点的第一像素值的最大值，timewindow表示对应像素点的编码时间窗口。
67.具体地，根据spiketime可确定第一个脉冲发送的时间点。spiketime与像素值大小呈负相关关系，即像素值越大，发射脉冲时间越早，像素值越小，发射脉冲时间越晚。
68.进一步作为可选的实施方式，脉冲间隔通过下式确定：
69.isi＝(nmax-number)*q
70.其中，isi表示脉冲间隔，number表示总脉冲数量，nmax表示预设的最大脉冲数，q表示预设的时间常数。
71.具体地，根据isi脉冲间隔和当前脉冲的发射时间可确定下一个脉冲的具体发射时间，以此类推。isi与像素值大小呈负相关关系，即像素值越大，脉冲间隔越小，脉冲分布越紧密，像素值越小，脉冲间隔越大，脉冲分布越稀疏。
72.进一步作为可选的实施方式，总脉冲数量通过下式确定：
73.number＝nmax*(e
pixel/pixel_max-1)/(e-1)
74.其中，number表示总脉冲数量，nmax表示预设的最大脉冲数，pixel表示对应像素点的第一像素值，pixel_max表示所有像素点的第一像素值的最大值。
75.具体地，根据首脉冲发射时间和脉冲间隔依次确定每个脉冲的发射时间，一直到脉冲数达到number即总脉冲数量后，编码过程停止。number与像素值大小呈正相关关系，即像素值越大，编码出的脉冲数越多，像素值越小，编码出的脉冲数越少。
76.进一步作为可选的实施方式，根据首脉冲发射时间、总脉冲数量以及脉冲间隔对像素点进行脉冲编码得到第一脉冲序列这一步骤s104，其具体包括：
77.s1041、根据首脉冲发射时间确定首个脉冲的发射时间；
78.s1042、根据首个脉冲的发射时间和脉冲间隔依次确定剩余脉冲的发射时间，剩余脉冲的数量为总脉冲数量减1；
79.s1043、根据首个脉冲的发射时间、剩余脉冲的发射时间以及预设的脉冲峰值生成第一脉冲序列。
80.具体地，本发明实施例中，预设的脉冲峰值为1，通过上述过程，即可完成一个像素点对应的一个脉冲序列的编码。
81.如图4所示为本发明实施例提供的脉冲神经网络输入信号编码方法与传统的时间编码以及频率编码的编码结果对比图，可以理解的是，对于频率编码的编码模式，输入越大的像素值，整体的脉冲序列中脉冲数量就越多，并且整体上脉冲符合泊松分布；对于时间编
码的编码模式，输入越大的像素值，首脉冲时间就越早；对于本发明实施例中的编码模式，其融合了频率编码和时间编码的优点，既能像频率编码一样把较大的像素值编码出更多脉冲，也能像时间编码一样通过首脉冲发射时间反映较大的像素值。
82.应该认识到，本发明实施例提出了一种脉冲神经网络输入信号的融合编码方式，首先，融合编码在识别模式选择下具有灵活性，由于编码时的机制，可以根据使用场景灵活进行切换，在对于时间要求较高的场景，融合编码就可以使用时间解码，来快速进行识别，而在主要追求正确率，对于时间没有太高要求的场景，融合编码就可以使用频率解码，进行更准确的识别；其次，基于融合编码的网络在识别准确率上有着不错的效果，在相同的网络模型下，使用融合编码的网络识别准确率远超时间编码，接近并且在一些情况下甚至略微超越主流的频率编码水平；最后，融合编码与主流的频率编码相比，大大降低了输入编码出的脉冲数，从而降低了整个网络在运行过程中产生的脉冲，即降低了整个网络的功耗。
83.本发明实施例融合了传统频率编码和时间编码的优点，既能将较大的像素值编码出更多脉冲来反映像素特征，也能够从首脉冲的脉冲时间来反映像素特征，使得在后续解码识别的过程中，可根据实际场景选择时间解码和/或频率解码来进行特征识别，提高了脉冲神经网络的识别灵活性；由于同时通过脉冲数量和首脉冲的脉冲时间反映像素特征，相比传统的时间编码方式而言，提高了脉冲神经网络的识别准确性，相比传统的频率编码方式而言，减少了编码的脉冲数量，降低了脉冲神经网络的整体功耗。
84.参照图5，本发明实施例提供了一种脉冲神经网络输入信号编码系统，包括：
85.第一像素值确定模块，用于确定输入图像中各个像素点的第一像素值；
86.脉冲序列参数确定模块，用于根据第一像素值确定首脉冲发射时间、总脉冲数量以及脉冲间隔，其中，首脉冲发射时间与第一像素值呈负相关关系，总脉冲数量与第一像素值呈正相关关系，脉冲间隔与第一像素值呈负相关关系；
87.第一脉冲序列生成模块，用于根据首脉冲发射时间、总脉冲数量以及脉冲间隔对像素点进行脉冲编码得到第一脉冲序列；
88.脉冲序列输入模块，用于将各像素点对应的第一脉冲序列作为输入信号输入到脉冲神经网络的处理层。
89.上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
90.参照图6，本发明实施例提供了一种脉冲神经网络输入信号编码装置，包括：
91.至少一个处理器；
92.至少一个存储器，用于存储至少一个程序；
93.当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现上述的一种脉冲神经网络输入信号编码方法。
94.上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
95.本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行上述一种脉冲神经网络输入信号编
码方法。
96.本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种脉冲神经网络输入信号编码方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
97.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
98.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
99.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
100.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
101.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
102.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器
(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。
103.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
104.在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
105.尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
106.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。