数据预加载装置及其预加载方法、存储介质和计算机设备与流程

1.本发明属于集成电路技术领域，具体地讲，涉及用于卷积神经网络的数据预加载方法、计算机可读存储介质、计算机设备。


背景技术：

2.近年来，由于大数据应用的普及与计算机硬件的进步，深度学习技术被用来对数据进行特征提取，分类以及递归运算，其在计算机视觉，自然语言处理以及智能系统决策等领域有着广泛的应用。而卷积运算是一种非常重要的深度学习特征提取方法，如现在主流的深度学习神经网络如lenet1，alexnet，vgg-16，vgg-19等都是由一层层的卷积层堆叠而成的。而随着网络层数提高，分类的准确率得到提升。然而由于卷积运算的本身消耗大量的算力，通用计算机平台计算力以及速度跟不上，就需要设计出专用的卷积处理芯片。
3.对于专用的卷积处理芯片，通过增加计算节点、加大数据缓存、改善数据类型的转化等优化方法，可以极大地提升计算单元计算的速度，但是由于目前的专用卷积处理芯片的数据读取方法还是传统方法，即处理器需要读取数据时，先在对应的缓存中查找，若缓存中没有相应的数据，则从外部内存中查找并读取相应的数据，这个过程需要花费较长的时间，这样会导致整体计算时间延迟。尤其是当多个处理器单元需要从外部内存读取数据时，多个处理器单元只能依序访问内存，这样会延长数据加载时间。
4.因此，在提升计算单元运算速度的基础上，如何提升数据加载速度是本领域急需解决的技术问题。


技术实现要素：

5.(一)本发明所要解决的技术问题
6.本发明解决的技术问题是：如何提升数据加载速度以加快卷积神经网络整体运算速度。
7.(二)本发明所采用的技术方案
8.一种用于卷积神经网络的数据预加载方法，所述数据预加载方法包括：
9.获取原始数据集和补零数据集，所述原始数据集和所述补零数据集共同构成卷积神经网络的输入数据集；
10.在各个计算单元进行卷积计算之前，将所述输入数据集中的数据按照预定分配方式存储至各个计算单元对应的缓存中，以分别在各个计算单元的缓存中形成不同的目标数据集，其中，目标数据集中的数据为计算单元在卷积计算过程中所需的数据。
11.优选地，将所述输入数据集中的数据按照预定分配方式存储至各个计算单元对应的缓存中的具体方法包括：
12.将所述原始数据集的各个数据和所述补零数据集的各个数据按照预设空间顺序拼接形成输入数据集；
13.获取各个计算单元的预先设置的目标地址，所述目标地址为每个所述计算单元在
进行卷积计算时所需数据对应的空间地址；
14.将所述输入数据集中空间地址与目标地址相同的数据存储到每个计算单元对应的缓存中。
15.优选地，每个计算单元的目标地址为多个，且至少有两个计算单元的部分目标地址相同。
16.优选地，每个计算单元的目标地址包括多个地址区段，其中，同一个地址区段内的地址连续排列，不同地址区段之间的地址间隔排列。
17.优选地，将所述输入数据集中的数据按照预定分配方式存储至各个计算单元对应的缓存中的具体方法包括：
18.对所述原始数据集的各个数据和所述补零数据集的各个数据按照预设时间顺序设置时间编号；
19.获取各个计算单元的预先设置的目标序列，所述目标序列为每个所述计算单元在进行卷积计算时所需数据对应的时间编号；
20.将所述原始数据集和所述补零数据集中时间编号与目标序列相同的数据存储到每个计算单元对应的缓存中。
21.优选地，每个计算单元的目标序列为多个，且至少有两个计算单元的部分目标序列相同。
22.优选地，每个计算单元的目标序列包括多个序列区段，其中，同一个序列区段内的时间编号连续排列，不同序列区段之间的时间编号间隔排列。
23.本技术还公开了一种用于卷积神经网络的数据预加载装置，所述数据预加载装置包括：
24.数据获取模块，用于获取原始数据集和补零数据集，其中所述原始数据集和所述补零数据集共同构成卷积神经网络的输入数据集；
25.数据分配模块，用于在各个计算单元进行卷积计算之前，将所述输入数据集中的数据按照预定分配方式存储至各个计算单元对应的缓存中，以分别在各个计算单元的缓存中形成不同的目标数据集，其中，目标数据集中的数据为计算单元在卷积计算过程中所需的数据。
26.优选地，所述数据加载装置还包括配置解码器，所述配置解码器用于接收配置文件并根据接收到的配置文件生成预设空间顺序和各个计算单元的目标地址，所述目标地址为每个所述计算单元在进行卷积计算时所需数据对应的空间地址；
27.所述数据分配模块包括：
28.数据拼接单元，用于将所述原始数据集的各个数据和所述补零数据集的各个数据按照预设空间顺序拼接形成输入数据集；
29.数据存储单元，用于存储所述输入数据集；
30.地址读取单元，用于读取各个计算单元的目标地址；
31.数据分配单元，用于将将所述输入数据集中空间地址与目标地址相同的数据存储到每个计算单元对应的缓存中。
32.或者，所述数据加载装置还包括配置解码器，所述配置解码器用于接收配置文件并根据接收到的配置文件生成预设时间顺序和各个计算单元的目标序列，所述目标序列为
每个所述计算单元在进行卷积计算时所需数据对应的时间编号；
33.所述数据分配模块包括：
34.时间编码单元，用于根据所述预设时间顺序对所述原始数据集的各个数据和所述补零数据集的各个数据设置时间编号；
35.序列获取单元，用于获取各个计算单元的目标序列；
36.数据分配单元，用于将所述原始数据集和所述补零数据集中时间编号与目标序列相同的数据存储到每个计算单元对应的缓存中。
37.优选地，所述配置解码器还用于根据所述配置文件生成内存地址信息和待生成的补零数据的空间信息；
38.所述数据获取模块包括：
39.内存控制器，用于根据所述内存地址信息从内存中读取数据，以形成原始数据集；
40.补零生成器，用于根据所述空间信息生成补零数据集。
41.本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有用于卷积神经网络的数据预加载程序，所述用于卷积神经网络的数据预加载程序被处理器执行时实现上述的用于卷积神经网络的数据预加载方法。
42.本发明还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的用于卷积神经网络的数据预加载程序，所述用于卷积神经网络的数据预加载程序被处理器执行时实现上述的用于卷积神经网络的数据预加载方法。
43.(三)有益效果
44.本发明公开了一种用于卷积神经网络的数据预加载方法，相对于传统的计算方法，具有如下技术效果：
45.(1)通过对原始数据和补零数据进行时间排序或空间排序，形成输入数据集，将输入数据集中各个数据分配至不同计算单元的缓存中，从而提高数据复用性，降低内存读取次数，降低数据准备时间，降低层计算间延迟，降低芯片整体功耗。
附图说明
46.图1为本发明的实施例一的用于卷积神经网络的数据预加载方法的流程图；
47.图2为本发明的实施例一的对原始数据进行补零的示意图；
48.图3为本发明的实施例一的分配数据的流程图；
49.图4为本发明的实施例一的输入数据集的示意图；
50.图5为本发明的实施例二的分配数据的流程图；
51.图6为本发明的实施例二的输入数据集的示意图；
52.图7为本发明的实施例三的数据预加载装置的架构图；
53.图8为本发明的实施例三的数据预加载装置与内存、缓存的连接关系图；
54.图9为本发明的实施例四的数据预加载装置的架构图；
55.图10为本发明的实施例的计算机设备的示意图。
具体实施方式
56.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
57.在详细描述本技术的各个实施例之前，首先简单描述本技术的发明构思：现有技术中，处理器在进行计算过程，会从外部内存中读取数据并暂存在缓存中，下一次计算时如果需要新的数据，必须从外部内存中读取，由于先在处理器的计算速度较快，而读取数据的速度较慢，使得处理器在计算过程中“等待”数据的读取，造成了整体运算时间较长。本技术在计算单元开始计算之前把各个计算单元即将用到的数据先存储在对应的缓存中，在开始计算之后，计算单元只需从缓存中读取相应的数据，大大提高了读取速度，使得整体计算时间减少。
58.实施例一
59.具体地，如图1所示，本本实施例一的用于卷积神经网络的数据预加载方法包括如下步骤：
60.步骤s10：获取原始数据集和补零数据集，所述原始数据集和所述补零数据集共同构成卷积神经网络的输入数据集。
61.步骤s20：在各个计算单元进行卷积计算之前，将所述输入数据集中的数据按照预定分配方式存储至各个计算单元对应的缓存中，以分别在各个计算单元的缓存中形成不同的目标数据集，其中，目标数据集中的数据为计算单元在卷积计算过程中所需的数据。
62.具体来说，当不同尺寸的图像输入到卷积神经网络中，经过卷积计算之后得到不同尺寸的输出图像。为了便于后续卷积层的计算，需要对原始图像数据进行补零处理，以形成特定尺寸的图像。经过首层卷积层处理之后，生成特定大小的输出图像。进一步地，在步骤s10中，根据配置参数从内存中读取原始数据集并生成相应的补零数据集，配置参数包括内存访问的地址长度、补零数据的长度等。示例性地，如图2所示，右图为输出图像，中间图为卷积核，左图为输入图像。其中，输出图像尺寸为28*28，计算单元为64个，从(0，0)至(2，7)共有64个输出数据，卷积核尺寸为5*5。左图中的虚线框表示尺寸为28*28的原始输入图像，即原始数据集，在虚线框外围各补充两行零数据，形成尺寸为32*32的输入图像，这样利用卷积核对输入图像中(0，0)至(6，11)的204个数据进行卷积操作即可得到输出图像中从(0，0)至(2，7)的64个输出数据。当然，上述属于示例性描述，补零数据的位置和长度根据实际需要进行确定，在此并不进行赘述。
63.进一步地，如图3所示，步骤s20包括如下步骤：
64.步骤s21：对所述原始数据集的各个数据和所述补零数据集的各个数据按照预设时间顺序设置时间编号；
65.步骤s22：获取各个计算单元的预先设置的目标序列，所述目标序列为每个所述计算单元在进行卷积计算时所需数据对应的时间编号；
66.步骤s23：将所述原始数据集和所述补零数据集中时间编号与目标序列相同的数据存储到每个计算单元对应的缓存中。
67.具体来说，通过获取事先设置的配置参数，包括各个原始数据和补零数据的时间先后顺序，将原始数据集和补零数据集在时间维度上进行“拼接”，形成输入数据流。将输入
数据流中的各个数据的时间编号与各个计算单元在进行卷积计算时所需数据对应的时间编号即目标序列进行匹配，将匹配的数据存储到各个计算单元对应的缓存中，这样各个计算单元的缓存可以事先读取到全部所需数据。
68.示例性地，如图4所示，假设输入数据的尺寸为5*5，虚线框内区域表示原始数据集，虚线框外区域表示补零数据集，按照从(0，0)至(4，4)的先后顺序进行时间编号，各个数字表示时间编号，假设卷积核大小为3*3，对于其中三个计算单元，第一个计算单元的目标序列为(1、2、3、6、7、8、11、12、13)，第二个计算单元的目标序列为(2、3、4、7、8、9、12、13、14)，第三计算单元为目标序列为(3、4、5、8、9、10、13、14、15)，这样则将输入数据中对应时间编号的数据分配至各个计算单元的缓存中。从上述各个计算单元的目标序列可知，每个计算单元所需的数据是不连续的，如果在计算过程从外部内存读取数据时，需要从首地址开始进行顺序查找，再读取匹配的数据，这个加载过程会花费较长时间。本实施例通过时间编号的匹配，事先存储数据，这样计算单元可直接从缓存中读取数据，极大地降低了整体计算时间。
69.作为优选实施例，将编号后的输入数据以数据流的形式，按照时间先后依次与各个计算单元的数据进行匹配并存储，例如将第一行数据流(1、2、3、4、5)依次与三个计算单元比较，根据三个计算单元的目标序列可知，向第一个计算单元的缓存中存储(1、2、3)三个数据，向第二个计算单元的缓存中存储(2、3、4)三个数据，向第三个计算单元的缓存中存储(3、4、5)三个数据，依次类推，完成各个数据的分配。当然在其他实施方式中，可以按照其他顺序依次分配数据，在此并不进行限制。
70.需要说明的是，本实施例一中对各个数据进行编号和分配可同时进行，即根据事先设置的配置参数，在读取各个原始数据和生成各个补零数据的同时，按照预定的时间顺序将各个数据直接写入到各个计算单元的缓存中，并不需要额外设置存储器件来存储中间数据。
71.作为优选实施例，每个计算单元的目标序列为多个，且至少有两个计算单元的部分目标序列相同。每个计算单元的目标序列包括多个序列区段，其中，同一个序列区段内的时间编号连续排列，不同序列区段之间的时间编号间隔排列。示例性地，对于上文中三个相邻的计算单元，时间编号为1的数据是三个计算单元都需要的，通过本技术的分配方式，一次性地将该数据存储到各个计算单元的缓存中，避免了传统做法中需要每个计算单元分别从内存中读取该数据，提高了数据复用度。针对第一个计算单元，其目标序列为(1、2、3、6、7、8、11、12、13)，包括三个序列区段(1、2、3)、(6、7、8)、(11、12、13)，可见区段之间的数据时间序列上相隔较远，对应到内存位置上的地址也相离较远，如果按照传统做法，需要从首地址开始查找多个地址之后，才能读取到需要的数据，会花费较长的数据加载时间，本技术通过事先向各个计算单元的缓存中预加载各个数据，减少了计算过程中的数据加载时间。
72.本实施例中的数据预加载方法，通过对原始数据和补零数据进行时间排序，形成数据流，将数据流中各个数据分配至不同计算单元的缓存中，从而提高数据复用性，降低内存读取次数，降低数据准备时间，降低层计算间延迟，降低芯片整体功耗，同时可以一边排序一边分配，不需要增加额外的存储器来存储中间数据，降低了成本。
73.实施例二
74.如图5所示，实施例二的用于卷积神经网络的数据预加载方法与实施例一的不同
之处是步骤s20，本实施例二的步骤s20包括如下步骤：
75.步骤s21’：将所述原始数据集的各个数据和所述补零数据集的各个数据按照预设空间顺序拼接形成输入数据集；
76.步骤s22’：获取各个计算单元的预先设置的目标地址，所述目标地址为每个所述计算单元在进行卷积计算时所需数据对应的空间地址；
77.步骤s23’：将所述输入数据集中空间地址与目标地址相同的数据存储到每个计算单元对应的缓存中。
78.具体来说，通过获取事先设置的配置参数，包括各个原始数据和补零数据在待形成的输入数据集中的空间位置等，将原始数据集和补零数据集在空间维度上进行拼接，形成输入数据集。将输入数据集的各个数据的空间地址与各个计算单元在进行卷积计算时所需数据对应的地址即目标地址进行匹配，将匹配的数据存储到各个计算单元对应的缓存中，这样各个计算单元的缓存可以事先读取到全部所需数据。如图6所示，假设输入数据的尺寸为5*5，虚线框内区域表示原始数据集，虚线框外区域表示补零数据集，按照从(0，0)至(4，4)的空间顺序拼接，各个字母表示原始数据和补零数据在输入数据集中空间位置，假设卷积核大小为3*3，对于其中三个计算单元，第一个计算单元的目标地址为(a、b、c、f、g、h、k、l、m)，第二个计算单元的目标地址为(b、c、d、g、h、i、l、m、n)，第三个计算单元为目标地址为(c、d、e、h、i、j、m、n、o)。将输入数据集中的对应空间地址的分配至各个计算单元的缓存中。从上述各个计算单元的目标地址可知，每个计算单元所需数据的地址是不连续的，如果在计算过程中从外部内存读取数据时，需要从首地址开始进行顺序查找，再读取匹配的数据，这个加载过程会花费较长时间。本实施例通过空间地址的匹配，事先存储数据，这样计算单元可直接从缓存中读取数据，极大地降低了整体计算时间。
79.作为优选实施例，将拼接形成的输入数据集存储在存储器中，接着将以数据流的形式，按照空间顺序依次与各个计算单元的数据进行匹配并存储，例如将第一行数据(a、b、c、d、e)依次与三个计算单元比较，根据三个计算单元的目标地址可知，向第一个计算单元的缓存中存储(a、b、c、)三个数据，向第二个计算单元的缓存中存储(b、c、d)三个数据，向第三个计算单元的缓存中存储(c、d、e)三个数据，依次类推，完成各个数据的分配。当然在其他实施方式中，可以按照其他顺序依次分配数据，在此并不进行限制。
80.作为优选实施例，每个计算单元的目标地址为多个，且至少有两个计算单元的部分目标地址相同。每个计算单元的目标地址包括多个地址区段，其中，同一个地址区段内的地址连续排列，不同地址区段之间的时间编号间隔排列。示例性地，对于上文中三个相邻的计算单元，时间编号为a的数据是三个计算单元都需要的，通过本技术的分配方式，一次性地将该数据存储到各个计算单元的缓存中，避免了传统做法中需要每个计算单元分别从内存中读取该数据，提高了数据复用度。针对第一个计算单元，其目标地址为(a、b、c、f、g、h、k、l、m)，包括三个地址区段(a、b、c)、(f、g、h)、(k、l、m)，可见不同区段之间的数据在空间维度上相隔较远，对应到内存位置上的地址也相离较远，如果按照传统做法，需要从首地址开始查找多个地址之后，才能读取到需要的数据，会花费较长的数据加载时间，本技术通过事先向各个计算单元的缓存中预加载各个数据，减少了计算过程中的数据加载时间。
81.本实施例中的数据预加载方法，通过对原始数据和补零数据按照空间顺序进行拼接并存储，形成输入数据集，将输入数据集中各个数据分配至不同计算单元的缓存中，从而
提高数据复用性，可以解决计算单元获取数据地址不连续导致数据加载效率低的问题，降低内存读取次数，降低数据准备时间，降低层计算间延迟，降低芯片整体功耗。
82.实施例三
83.如图7所示，本实施例三的用于卷积神经网络的数据预加载装置包括数据获取模块100’和数据分配模块200’，其中，数据获取模块100’用于获取原始数据集和补零数据集，所述原始数据集和所述补零数据集共同构成卷积神经网络的输入数据集。数据分配模块200’用于在各个计算单元进行卷积计算之前，将所述输入数据集中的数据按照预定分配方式存储至各个计算单元对应的缓存中，以分别在各个计算单元的缓存中形成不同的目标数据集，其中，目标数据集中的数据为计算单元在卷积计算过程中所需的数据。如图8所示，原始数据存储在内存中，原始数据传送到数据预加载装置中，并与数据预加载装置生成的补零数据一起被分配到不同计算单元的缓存中。
84.进一步地，数据预加载装置还包括配置解码器300’，配置解码器300’用于根据所述配置文件生成内存地址信息和待生成的补零数据的空间信息，内存地址信息包括内存访问的地址长度，补零数据的空间信息包括补零数据的长度。
85.进一步地，所述数据获取模块100’包括内存控制器101’和补零生成器102’，内存控制器101根据所述内存地址信息从内存中读取数据，以形成原始数据集；补零生成器102根据所述空间信息生成补零数据集。
86.进一步地，所述配置解码器300’用于接收配置文件并根据接收到的配置文件生成预设时间顺序和各个计算单元的目标序列，所述目标序列为每个所述计算单元在进行卷积计算时所需数据对应的时间编号；
87.所述数据分配模块200’包括时间编码单元201’、序列获取单元202’和数据分配单元203’。其中，时间编码单元201’用于根据所述预设时间顺序对所述原始数据集的各个数据和所述补零数据集的各个数据设置时间编号；序列获取单元202’用于获取各个计算单元的目标序列；数据分配单元203’用于将所述原始数据集和所述补零数据集中时间编号与目标序列相同的数据存储到每个计算单元对应的缓存中。数据分配模块200’的处理数据的过程参照实施例一中描述在此不进行赘述。
88.实施例四
89.如图9所示，本实施例四的用于卷积神经网络的数据预加载装置包括数据获取模块100和数据分配模块200，其中，数据获取模块100用于获取原始数据集和补零数据集，所述原始数据集和所述补零数据集共同构成卷积神经网络的输入数据集。数据分配模块200用于在各个计算单元进行卷积计算之前，将所述输入数据集中的数据按照预定分配方式存储至各个计算单元对应的缓存中，以分别在各个计算单元的缓存中形成不同的目标数据集，其中，目标数据集中的数据为计算单元在卷积计算过程中所需的数据。
90.具体来说，数据预加载装置还包括配置解码器300，配置解码器300用于根据所述配置文件生成内存地址信息和待生成的补零数据的空间信息，内存地址信息包括内存访问的地址长度，补零数据的空间信息包括补零数据的长度。
91.所述数据获取模块100包括内存控制器101和补零生成器102，内存控制器101其中根据所述内存地址信息从内存中读取数据，以形成原始数据集；补零生成器102根据所述空间信息生成补零数据集。
92.进一步地，所述配置解码器300还用于接收配置文件并根据接收到的配置文件生成预设空间顺序和各个计算单元的目标地址，所述目标地址为每个所述计算单元在进行卷积计算时所需数据对应的空间地址。
93.所述数据分配模块200包括数据拼接单元201、地址读取单元202、数据分配单元203和数据存储单元204，其中数据拼接单元201用于将所述原始数据集的各个数据和所述补零数据集的各个数据按照预设空间顺序拼接形成输入数据集；数据存储单元204用于存储所述输入数据集；地址读取单元202用于读取各个计算单元的目标地址；数据分配单元203用于将所述输入数据集中空间地址与目标地址相同的数据存储到每个计算单元对应的缓存中。数据分配模块200的处理数据的过程参照实施例二中描述在此不进行赘述。
94.为了验证实施例一的数据预加载方法的技术效果，进行了仿真实验。采用verilog hdl语言实现，采用modelsim仿真工具对设计方案的可行性和运行时间进行仿真验证。实验方案主要为，针对一个特定的神经网络配置好配置文件，往内存中写入图像数据，接着给启动信号，仿真就自动进行了，当实验完成时再通过modelsim观察内存记录实验结果。
95.实验过程如下：本实验以64个计算单元，输入图像尺寸为28*28，通道数为64，输出图像尺寸28*28通道数为128，卷积核尺寸为5*5，当芯片读取完配置文件就开始卷积计算操作。实验一采用实施例一的数据预加载算法分配数据，从内存分配至缓存的总时间为0.00504毫秒，计算单元的计算时间为0.00403毫秒；实验二采用传统计算方法，即一边计算一边从内存读取数据，从内存读取到全部数据所需的总时间为0.05814毫秒，计算单元的计算时间为0.00403毫秒。根据实验结果可知，采用实施例一的数据预加载算法读取数据的时间相对于现有技术的时间减少了一个数量级，从而极大地提升了运算效率。
96.本技术还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有用于卷积神经网络的数据预加载程序，所述用于卷积神经网络的数据预加载程序被处理器执行时实现实施例一或实施例二的用于卷积神经网络的数据预加载方法。
97.本技术还公开了一种计算机设备，在硬件层面，如图10所示，该终端包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。所述计算机可读存储介质11上存储有用于卷积神经网络的数据预加载程序，所述用于卷积神经网络的数据预加载程序被处理器执行时实现上述的用于卷积神经网络的数据预加载方法。
98.计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
99.上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。