一种生成神经网络的方法、装置、计算机设备和存储介质与流程

1.本公开涉及深度学习技术领域，具体而言，涉及一种生成神经网络的方法、装置、计算机设备和存储介质。


背景技术：

2.针对深度学习任务，比如图像分类任务、图像检测任务或图像分割任务等，往往需要不同种类的网络结构联合构建深度神经网络来执行。每种网络结构都有很多种选择，不同种类的网络结构联合会产生不同结构的神经网络，这些神经网络在相应的深度学习任务中的性能表现取决于网络结构的优劣。针对不同网络结构之间的联合，现今主要依赖手动搭建神经网络，依赖人工经验来搭建，这样搭建完成的神经网络经过训练后在深度学习任务中的精度、资源消耗等性能表现有待提升。


技术实现要素：

3.本公开实施例至少提供一种生成神经网络的方法、装置、计算机设备和存储介质。
4.第一方面，本公开实施例提供了一种生成神经网络的方法，包括：
5.确定预设网络结构单元对应的第一搜索空间，下采样处理单元对应的第二搜索空间以及神经网络结构的尺寸信息对应的第三搜索空间，所述预设网络结构单元和所述下采样处理单元用于构建神经网络结构；
6.基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，得出与所述深度学习任务的期望结果对应的目标神经网络结构；
7.基于所述目标神经网络结构生成用于处理深度学习任务的目标神经网络。
8.本方面，预先构建有用于进行神经网路结构搜索的搜索空间，一个搜索空间中预先有多种网络或者多种尺寸信息，因此本方面构建的多个搜索空间提供了一个较大的搜索空间，从第一搜索空间中搜索到与预设网络结构单元对应的网络结构，从第二搜索空间搜索到与下采样处理单元对应的网络结构，以及从第三搜索空间搜索到神经网络结构的尺寸信息，从较大的搜索空间中进行网络结构搜索，能够得到多种不同结构的神经网络结构，提高了搜索得到的神经网络结构的多样性，从而有利于提高最终得到的目标神经网络的对深度学习任务的处理性能。进一步地，基于上述搜索到的网络结构以及尺寸信息，构建神经网络结构，再结合预设的深度学习任务对应的训练数据集和深度学习任务的期望结果，能够得出与深度学习任务的期望结果对应的目标神经网络结构，即能够到精度满足期望的目标神经网络。
9.一种可选的实施方式中，所述第一搜索空间包括卷积结构单元、基于自注意力机制的编码-解码结构单元和多层感知器mlp结构单元中的至少两个。
10.一种可选的实施方式中，所述第二搜索空间包括局部下采样单元，全局下采样单元和全局-局部下采样单元，其中，所述局部下采样单元用于采样局部上下文信息，所述全
局下采样单元用于采样全局上下文信息，所述全局-局部下采样单元用于采样全局上下文信息和局部上下文信息。
11.一种可选的实施方式中，所述局部下采样单元包括用于执行卷积操作的第一卷积算子；
12.所述全局下采样单元包括基于自注意力机制的第一处理单元和用于对输入所述第一处理单元的数据进行卷积操作的第二卷积算子；
13.所述全局-局部下采样单元包括基于自注意力机制的第二处理单元和用于对输入所述第二处理单元的数据进行卷积操作的第三卷积算子。
14.一种可选的实施方式中，所述基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，包括：
15.基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间构建目标搜索空间；
16.基于所述目标搜索空间确定多个候选神经网络结构；其中，每一个所述候选神经网络结构包括从第一搜索空间中选取得到的至少一个预设网络结构单元、从第二搜索空间中选取得到的至少一个下采样处理单元，且每一个所述候选神经网络中的每一个预设网络结构单元的尺寸信息为从所述第三搜索空间中选取得到的尺寸信息；
17.基于所述候选神经网络结构构建对应的候选神经网络；
18.采用所述预设的深度学习任务对应的训练数据集确定所述候选神经网络对所述深度学习任务的处理结果；
19.以所述候选神经网络对所述深度学习任务的处理结果与所述期望结果之间的差异最小化为目标，基于所述候选神经网络结构，在所述目标搜索空间内搜索出目标神经网络结构。
20.一种可选的实施方式中，所述基于所述候选神经网络结构，在所述目标搜索空间内搜索出目标神经网络结构，包括：
21.基于部分候选神经网络结构中每个目标候选神经网络结构对所述深度学习任务的处理结果，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率；
22.基于更新后的第一选取概率、第二选取概率和第三选取概率进行网络结构搜索，重新选取出多个新的目标候选神经网络结构；
23.在所述多个新的目标候选神经网络结构分别对所述深度学习任务的处理结果与所述期望结果之间的差异均不满足第一预设条件的情况下，返回执行更新选取概率的步骤。
24.一种可选的实施方式中，所述基于部分候选神经网络结构中每个目标候选神经网络结构对所述深度学习任务的处理结果，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率，包括：
25.基于部分候选神经网络结构中每个目标候选神经网络结构对所述深度学习任务的处理结果，确定所述处理结果对应的准确度满足第二预设条件的目标候选神经网络结构；
26.基于所述处理结果对应的准确度满足第二预设条件的目标候选神经网络结构，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率。
27.一种可选的实施方式中，所述基于所述候选神经网络结构，在所述目标搜索空间内搜索出目标神经网络结构，还包括：
28.在所述多个新的目标候选神经网络结构分别对所述深度学习任务的处理结果与所述期望结果之间的差异满足所述第一预设条件的情况下，将满足所述第一预设条件的所述差异对应的新的目标候选神经网络结构作为所述目标神经网络结构。
29.一种可选的实施方式中，候选神经网络结构包括间隔分布的多个特征提取节点和多个下采样节点；其中，所述特征提取节点中包括从第一搜索空间中选取得到的预设网络结构单元；所述下采样节点包括从第二搜索空间中选取得到的下采样处理单元；其中，每个所述预设网络结构单元的尺寸信息为从所述第三搜索空间中选取的。
30.一种可选的实施方式中，所述基于所述目标神经网络结构生成用于处理深度学习任务的目标神经网络，包括：
31.获取多个训练样本；
32.利用所述训练样本对目标神经网络结构对应的待训练的目标神经网络进行训练，直到满足训练截止条件，得到训练好的目标神经网络。
33.第二方面，本公开实施例还提供一种生成神经网络的装置，包括：
34.搜索空间确定模块，用于确定预设网络结构单元对应的第一搜索空间，下采样处理单元对应的第二搜索空间以及神经网络结构的尺寸信息对应的第三搜索空间，所述预设网络结构单元和所述下采样处理单元用于构建神经网络结构；
35.网络结构搜索模块，用于基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，得出与所述深度学习任务的期望结果对应的目标神经网络结构；
36.神经网络生成模块，用于基于所述目标神经网络结构生成用于处理深度学习任务的目标神经网络。
37.一种可选的实施方式中，所述第一搜索空间包括卷积结构单元、基于自注意力机制的编码-解码结构单元和多层感知器mlp结构单元中的至少两个。
38.一种可选的实施方式中，所述第二搜索空间包括局部下采样单元，全局下采样单元和全局-局部下采样单元，其中，所述局部下采样单元用于采样局部上下文信息，所述全局下采样单元用于采样全局上下文信息，所述全局-局部下采样单元用于采样全局上下文信息和局部上下文信息。
39.一种可选的实施方式中，所述局部下采样单元包括用于执行卷积操作的第一卷积算子；
40.所述全局下采样单元包括基于自注意力机制的第一处理单元和用于对输入所述第一处理单元的数据进行卷积操作的第二卷积算子；
41.所述全局-局部下采样单元包括基于自注意力机制的第二处理单元和用于对输入所述第二处理单元的数据进行卷积操作的第三卷积算子。
42.一种可选的实施方式中，所述网络结构搜索模块，用于基于所述第一搜索空间、所
述第二搜索空间和所述第三搜索空间构建目标搜索空间；
43.基于所述目标搜索空间确定多个候选神经网络结构；其中，每一个所述候选神经网络结构包括从第一搜索空间中选取得到的至少一个预设网络结构单元、从第二搜索空间中选取得到的至少一个下采样处理单元，且每一个所述候选神经网络中的每一个预设网络结构单元的尺寸信息为从所述第三搜索空间中选取得到的尺寸信息；
44.基于所述候选神经网络结构构建对应的候选神经网络；
45.采用所述预设的深度学习任务对应的训练数据集确定所述候选神经网络对所述深度学习任务的处理结果；
46.以所述候选神经网络对所述深度学习任务的处理结果与所述期望结果之间的差异最小化为目标，基于所述候选神经网络结构，在所述目标搜索空间内搜索出目标神经网络结构。
47.一种可选的实施方式中，所述网络结构搜索模块，用于基于部分候选神经网络结构中每个目标候选神经网络结构对所述深度学习任务的处理结果，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率；
48.基于更新后的第一选取概率、第二选取概率和第三选取概率进行网络结构搜索，重新选取出多个新的目标候选神经网络结构；
49.在所述多个新的目标候选神经网络结构分别对所述深度学习任务的处理结果与所述期望结果之间的差异均不满足第一预设条件的情况下，返回执行更新选取概率的步骤。
50.一种可选的实施方式中，所述网络结构搜索模块，用于基于部分候选神经网络结构中每个目标候选神经网络结构对所述深度学习任务的处理结果，确定所述处理结果对应的准确度满足第二预设条件的目标候选神经网络结构；
51.基于所述处理结果对应的准确度满足第二预设条件的目标候选神经网络结构，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率。
52.一种可选的实施方式中，所述网络结构搜索模块，还用于在所述多个新的目标候选神经网络结构分别对所述深度学习任务的处理结果与所述期望结果之间的差异满足所述第一预设条件的情况下，将满足所述第一预设条件的所述差异对应的新的目标候选神经网络结构作为所述目标神经网络结构。
53.一种可选的实施方式中，候选神经网络结构包括间隔分布的多个特征提取节点和多个下采样节点；其中，所述特征提取节点中包括从第一搜索空间中选取得到的预设网络结构单元；所述下采样节点包括从第二搜索空间中选取得到的下采样处理单元；其中，每个所述预设网络结构单元的尺寸信息为从所述第三搜索空间中选取的。
54.一种可选的实施方式中，所述神经网络生成模块，用于获取多个训练样本；
55.利用所述训练样本对目标神经网络结构对应的待训练的目标神经网络进行训练，直到满足训练截止条件，得到训练好的目标神经网络。
56.第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与
所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的生成神经网络的方法的步骤。
57.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的生成神经网络的方法的步骤。
58.关于上述生成神经网络的装置、计算机设备和存储介质的效果描述参见上述生成神经网络的方法的说明，这里不再赘述。
59.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
60.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
61.图1示出了本公开实施例所提供的一种生成神经网络的方法的流程图；
62.图2示出了本公开实施例所提供的基于目标搜索空间构建的一种神经网络结构的示意图；
63.图3示出了本公开实施例所提供的不同下采样处理单元的网络结构展示示意图；
64.图4示出了本公开实施例所提供的网络结构搜索的具体流程示意图；
65.图5示出了本公开实施例所提供的一种生成神经网络的装置的示意图；
66.图6示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
67.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
68.另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
69.在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
70.经研究发现，人工经验来搭建，这样搭建完成的神经网络经过训练后在深度学习任务中的精度、资源消耗等性能表现有待提升。
71.基于上述研究，本公开提供了一种生成神经网络的方法，预先构建有用于进行神经网路结构搜索的搜索空间，一个搜索空间中预先有多种网络或者多种尺寸信息，因此本方面构建的多个搜索空间提供了一个较大的搜索空间，从第一搜索空间中搜索到与预设网络结构单元对应的网络结构，从第二搜索空间搜索到与下采样处理单元对应的网络结构，以及从第三搜索空间搜索到神经网络结构的尺寸信息，从较大的搜索空间中进行网络结构搜索，能够得到多种不同结构的神经网络结构，提高了搜索得到的神经网络结构的多样性，从而有利于提高最终得到的目标神经网络的对深度学习任务的处理性能。进一步地，基于上述搜索到的网络结构以及尺寸信息，构建神经网络结构，再结合预设的深度学习任务对应的训练数据集和深度学习任务的期望结果，能够得出与深度学习任务的期望结果对应的目标神经网络结构，即能够到精度满足期望的目标神经网络。
72.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
73.下面针对本公开实施例涉及到的特殊名词做详细说明：
74.1、多层感知器(modular longitudinal platform，mlp)，是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。
75.2、转换器transformer，是一种基于自注意力机制的编码-解码网络结构，其使用自注意力self-attention机制，不采用循环神经网络(recurrent neural network，rnn)的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
76.3、卷积神经网络(convolutional neural networks，cnn)，是一类特别设计用来处理二维数据的多层神经网络，能从一个二维图像中提取其拓扑结构，采用反向传播算法来优化网络结构，求解网络中的未知参数。
77.为便于对本实施例进行理解，首先对本公开实施例所公开的一种生成神经网络的方法进行详细介绍，本公开实施例所提供的生成神经网络的方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该生成神经网络的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
78.下面以执行主体为计算机设备为例对本公开实施例提供的生成神经网络的方法加以说明。
79.参见图1所示，为本公开实施例提供的生成神经网络的方法的流程图，所述方法包括步骤s101～s103，其中：
80.s101：确定预设网络结构单元对应的第一搜索空间，下采样处理单元对应的第二搜索空间以及神经网络结构的尺寸信息对应的第三搜索空间，预设网络结构单元和下采样处理单元用于构建神经网络结构。
81.本步骤中，预设网络结构单元可以包括用于构建完整的神经网络结构中的特征提取单元的基础网络结构单元。下采样处理单元可以包括用于执行下采样处理的网络结构单元。
82.这里，第一搜索空间，第二搜索空间以及第三搜索空间可以是预先构建好的针对神经网络结构的目标搜索空间，其中，第一搜索空间包括预先设置好的预设网络结构单元
对应的网络结构，也即用于执行深度学习任务的主流操作的网络结构，比如，cnn网络结构，transformer网络结构，mlp网络结构等。第二搜索空间包括预先设置好的下采样处理单元对应的网络结构，也即用于执行深度学习任务中下采样任务的网络结构，局部下采样网络结构，全局-局部下采样网络结构，全局下采样网络结构等。第三搜索空间中存储有预先设置好的神经网络结构的尺寸信息，比如，网络循环次数repeats，网络通道数channels，通道调整参数expansion等。
83.第三搜索空间中的尺寸信息，可以用于配置预设网络结构单元，即为预设网络结构单元的尺寸信息；利用第三搜索空间中的尺寸信息的统一形式来配置预设网络结构单元对应的网络结构，方便后续针对得出的神经网络结构进行深度学习任务的测试处理。
84.预设网络结构单元和下采样处理单元用于构建神经网络结构。尺寸信息用于为预设网络结构单元对应的网络结构配置尺寸数据。
85.示例性的，若从第一搜索空间中搜索出多个预设网络结构单元，每个预设网络结构单元分别对应的网络结构为cnn网络结构、transformer网络结构和和mlp网络结构，可以利用统一形式，即repeats、channels和expansion，配置每个预设网络结构单元对应的网络结构；比如，利用repeats-1、channels-1和expansion-1配置cnn网络结构；利用repeats-2、channels-2和expansion-2配置transformer网络结构；利用repeats-3、channels-3和expansion-3配置mlp网络结构。其中，repeats-1、repeats-2和repeats-3表示的数据不同；channels-1、channels-2和channels-3表示的数据不同；expansion-1、expansion-2和expansion-3表示的数据不同。
86.s102：基于第一搜索空间、第二搜索空间和第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，得出与深度学习任务的期望结果对应的目标神经网络结构。
87.具体实施时，可以从第一搜索空间中搜索预设网络结构单元对应的网络结构；可以从第二搜索空间搜索下采样处理单元对应的网络结构；可以从第三搜索空间中搜索预设网络结构单元的尺寸信息。之后，基于搜索到的网络结构和尺寸信息，构建完整的神经网络结构。
88.这里，可以从第一搜索空间中搜索多个预设网络结构单元对应的网络结构，得到多个预设网络结构单元。预设网络结构单元的数量可以按照经验值或者实际应用过程中的深度学习任务进行设定，本公开实施例不进行具体限定。针对多个预设网络结构单元，在处理深度学习任务的过程中，每个预设网络结构单元之间执行任务的先后顺序可以按照从第一搜索空间中被搜索到的时间顺序进行设定；或者，也可以按照预设网络结构单元的预设位置信息进行设定，这里，不同预设网络结构单元的预设位置信息之间存在任务执行先后顺序。
89.参见图2所示，其为基于目标搜索空间构建的一种神经网络结构的示意图。其中，预设网络结构单元21，包括从第一搜索空间23中搜索得到的网络结构，比如transformer网络结构211、cnn网络结构212、mlp网络结构213、cnn网络结构214、transformer网络结构215(上述网络结构可以按照被搜索到的时间顺序，或者，预设网络结构单元预设位置信息进行连接处理)。下采样处理单元22，包括从第二搜索空间24中搜索得到的网络结构，比如局部下采样网络结构221、全局下采样网络结构222、全局-局部下采样网络结构223、局部下采样
网络结构224。其中，transformer网络结构211还包括从第三搜索网络25中搜索到的尺寸信息repeats-1、channels-1和expansion-1；cnn网络结构212还包括从第三搜索网络25中搜索到的尺寸信息repeats-2、channels-2和expansion-2；mlp网络结构213还包括从第三搜索网络25中搜索到的尺寸信息repeats-3、channels-3和expansion-3；cnn网络结构214还包括从第三搜索网络25中搜索到的尺寸信息repeats-4、channels-4和expansion-4；transformer网络结构215还包括从第三搜索网络25中搜索到的尺寸信息repeats-5、channels-5和expansion-5。
90.示例性的，针对cnn网络结构，可以按照repeats指示的数据，在原执行次序的基础上，循环执行repeats次；按照channels，设置卷积通道数；按照expansion指示的数据，扩大或缩小channels，在不同的卷积层中改变卷积通道数。
91.在得到神经网络结构之后，可以赋予该神经网络结构参数，利用预设的深度学习任务对应的训练数据集完成该神经网络结构对应的测试神经网络的初步训练；之后，基于初步训练完成的测试神经网络处理深度学习任务，可以得到所述深度学习任务的处理结果。
92.这里，训练数据集即可用于测试神经网络的初步训练处理，也可用于测试神经网络针对深度学习任务的测试处理。
93.示例性的，针对已经初步训练完成的测试神经网络；如图2所示对神经网络20进行测试。首先，利用第一个预设网络结构单元21对应的transformer率先处理深度学习任务的测试数据，之后，依次顺序执行，第一个下采样处理单元22对应的局部下采样网络接着对transformer处理后输出结果进行进一步处理；直到transformer网络结构215对应的transformer输出任务处理结果。可以理解的是，除了上述预设网络结构单元、下采样处理单元之外，神经网络还可以包括全连接层和/或分类器等，以得到最终的深度学习任务的处理结果，例如图像分类结果、目标检测结果。
94.之后，在深度学习任务处理过程中达到期望结果的情况下，可以将本次构建的神经网络结构作为目标神经网络结构。这里，达到期望结果的条件可以包括神经网络的实际处理结果与期望结果一致、或者二者之间的差异满足预设的条件。其中，期望结果可以作为深度学习任务的训练数据集中的训练数据的标签信息。
95.在一些实施例中，还可以将网络结构搜索结果的预设条件作为深度学习任务的期望结果的条件，例如预设网络结构单元的第一选取概率大于或等于第一预设阈值；和/或，下采样处理单元的第二选取概率大于或等于第二预设阈值；和/或，预设网络结构单元对应的尺寸信息的第三选取概率大于或等于第三预设阈值；和/或，所述深度学习任务的处理结果的准确率大于或等于第四预设阈值，等等。
96.这里，第一预设阈值、第二预设阈值、第三预设阈值和第四预设阈值可以根据经验值进行设置，本公开实施例不进行具体限定。
97.s103：基于目标神经网络结构生成用于处理深度学习任务的目标神经网络。
98.在确定了目标神经网络结构的情况下，可以进一步赋予该目标神经网络结构参数，并经过多次迭代训练后，形成用于处理深度学习任务的目标神经网络。
99.具体实施时，可以利用预设的深度学习任务对应的训练数据集，对s102中已经完成初步训练的、目标神经网络结构对应的测试神经网络进行进一步训练处理，生成用于处
理深度学习任务，并能得到精准的任务处理结果的目标神经网络。
100.在一些实施例中，也可以获取多个训练样本；之后，利用训练样本对目标神经网络结构对应的待训练的目标神经网络进行训练，直到满足训练截止条件，得到训练好的目标神经网络。
101.这里，训练样本可以是深度学习任务对应的训练数据集中的部分训练样本，比如除了目标神经网络结构初步训练过程中所使用的训练样本之外的样本。待训练的目标神经网络可以是已经完成初步训练的目标神经网络。训练截止条件可以是目标神经网络的处理结果的准确度大于预设准确度，或者迭代训练的次数大于设定值等。
102.上述s101～s103，预先构建有用于进行神经网路结构搜索的搜索空间，一个搜索空间中预先有多种网络或者多种尺寸信息，因此本方面构建的多个搜索空间提供了一个较大的搜索空间，比如从第一搜索空间中搜索到与预设网络结构单元对应的网络结构，从第二搜索空间搜索到与下采样处理单元对应的网络结构，以及从第三搜索空间搜索到神经网络结构的尺寸信息，从较宽的搜索空间中进行网络结构搜索，能够得到多种不同结构的神经网络结构，提高了搜索得到的神经网络结构的多样性，从而有利于提高最终得到的目标神经网络在深度学习任务中的性能。进一步地，基于上述搜索到的网络结构以及尺寸信息，构建神经网络结构，再结合预设的深度学习任务对应的训练数据集和深度学习任务的期望结果，能够得出与深度学习任务的期望结果对应的目标神经网络结构，即能够到满足期望的深度学习任务处理结果的目标神经网络。
103.针对s101中的第一搜索空间。第一搜索空间可以包括卷积结构单元、基于自注意力机制的编码-解码结构单元和多层感知器mlp结构单元等中的至少两个。示例性的，卷积结构单元可以包括cnn网络结构；基于自注意力机制的编码-解码结构单元可以包括transformer网络结构；多层感知器mlp结构单元可以包括mlp网络结构。
104.针对s101中的第二搜索空间。第二搜索空间可以包括局部下采样单元，全局下采样单元和全局-局部下采样单元等，其中，局部下采样单元用于采样局部上下文信息，全局下采样单元用于采样全局上下文信息，全局-局部下采样单元用于采样全局上下文信息和局部上下文信息。
105.示例性的，局部下采样单元用于采样输入数据的局部特征，也即基于输入数据的局部信息进行特征提取，得到的与局部信息相关的特征；全局下采样单元用于采样输入数据的全局特征，也即基于输入数据的全局信息采样得到的与全局信息相关的特征；全局-局部下采样单元用于采样输入数据的局部特征和全局特征并进行融合处理，得到的全局-局部融合特征，也即基于输入数据的局部信息进行特征提取，得到与局部信息相关的特征，并基于输入数据的全局信息采样得到与全局信息相关的特征，之后，将得到的与局部信息相关的特征和与全局信息相关的特征进行融合处理，得到全局-局部融合特征。
106.可以参见图3所示，其为不同下采样处理单元的网络结构展示示意图，包括局部下采样网络结构31，全局下采样网络结构32，全局-局部下采样网络结构33。其中，局部下采样网络结构31可以包括用于执行卷积操作的第一卷积算子311，第一卷积算子311可以包括二维卷积网络结构，比如conv2d，步长stride为2，记为s2；全局下采样网络结构32可以包括基于自注意力机制的第一处理单元321，比如多头注意力机制multi-head attention，和用于对输入第一处理单元的数据进行卷积操作的第二卷积算子322，第二卷积算子322可以包括
一维卷积网络结构，比如conv1d，步长stride为2。这里，输入第一处理单元的数据可以包括输入到全局下采样网络结构32的输入数据，也即某一构建好的神经网络结构中该全局下采样网络结构32的上一网络结构单元的输出数据。第一处理单元321和第二卷积算子322可以针对同一输入数据进行处理，第一处理单元321还可以针对第二卷积算子322的输出数据进行处理，并将两次处理结果进行融合处理，得到输出数据。
107.全局-局部下采样网络结构33可以包括基于自注意力机制的第二处理单元331，比如multi-head attention，和用于对输入第二处理单元的数据进行卷积操作的第三卷积算子332，第三卷积算子332可以包括二维卷积网络结构，比如conv2d，步长stride为2。这里，输入第二处理单元的数据可以为输入到全局-局部下采样网络结构33的输入数据，也即某一构建好的神经网络结构中该全局-局部下采样网络结构33的上一网络结构单元的输出数据。第二处理单元331和第三卷积算子332可以针对同一输入数据进行处理，第二处理单元331还可以针对第三卷积算子332的输出数据进行处理，并将两次处理结果进行融合处理，得到输出数据。
108.示例性的，针对局部下采样网络结构，即conv2d，可以采用stride为2的卷积操作来实现，卷积核大小为3
×
3；针对全局下采样网络结构，首先，可以利用conv1d对输入数据进行卷积操作，比如可以采用stride为2的卷积操作来实现，采样得到查询数据query，记为q；之后，利用不同权重信息，分别对输入数据进行线性变换处理，得到关键数据key，记为k，以及有价值数据value，记为v；之后，利用multi-head attention分别对查询数据query、关键数据key和有价值数据value进行融合处理，比如，将对应数据加权融合，得到全局下采样网络结构的输出数据。针对全局-局部下采样网络结构，可以参照上述全局下采样网络结构的采样过程，重复部分不再赘述。
109.针对s102进行网络结构搜索，可以参见图4所示，其为网络结构搜索的具体流程示意图，包括s401～s405，其中：
110.s401：基于第一搜索空间、第二搜索空间和第三搜索空间构建目标搜索空间。
111.这里，目标搜索空间中可以包括多个子搜索空间，分别为第一搜索空间、第二搜索空间和第三搜索空间等，可以参见图2所示。
112.s402：基于目标搜索空间确定多个候选神经网络结构。
113.这里，候选神经网络结构的结构示意图可以参见2所示，其中，每一个候选神经网络结构可以包括从第一搜索空间中选取得到的至少一个预设网络结构单元、从第二搜索空间中选取得到的至少一个下采样处理单元，且每一个候选神经网络中的每一个预设网络结构单元的尺寸信息为从第三搜索空间中选取得到的尺寸信息。
114.候选神经网络结构用于构建候选神经网络执行深度学习任务。
115.s403：基于候选神经网络结构构建对应的候选神经网络。
116.具体的，可以对候选神经网络结构赋予网络参数，构建得到该候选神经网络结构对应的候选神经网络。
117.s404：采用预设的深度学习任务对应的训练数据集确定候选神经网络对深度学习任务的处理结果。
118.可以将预设的深度学习任务对应的训练数据集中的数据作为训练数据，初步训练候选神经网络，并利用初步训练完成的候选神经网络对深度学习任务进行处理，得到深度
学习任务的处理结果。
119.s405：以候选神经网络对深度学习任务的处理结果与期望结果之间的差异最小化为目标，基于候选神经网络结构，在目标搜索空间内搜索出目标神经网络结构。
120.深度学习任务的处理结果可以包括候选神经网络输出的深度学习任务的任务结果，比如图像分类任务的分类结果。也可以是更新预设网络结构单元的第一选取概率的结果，更新下采样处理单元的第二选取概率的结果，更新预设网络结构单元对应的尺寸信息的第三选取概率的结果。
121.深度学习任务的期望结果可以是预先设置的深度学习任务的处理结果的最大准确度阈值；或者，也可以是当前候选神经网络结构中的预设网络结构单元的第一选取概率大于或等于第一预设阈值；和/或，下采样处理单元的第二选取概率大于或等于第二预设阈值；和/或，预设网络结构单元对应的尺寸信息的第三选取概率大于或等于第三预设阈值，等等。
122.在期望结果为最大准确度阈值的情况下，差异最小化可以为处理结果的准确度与最大准确度阈值之间的差异小于或等于预设最小差异阈值；在期望结果为第一选取概率大于或等于第一预设阈值的情况下，差异最小化可以为当前候选神经网络结构中的任意预设网络结构单元的第一选取概率大于或等于第一预设阈值；在期望结果为第二选取概率大于或等于第二预设阈值的情况下，差异最小化可以为当前候选神经网络结构中的任意下采样处理单元的第二选取概率大于或等于第二预设阈值；在期望结果为第三选取概率大于或等于第三预设阈值的情况下，差异最小化可以为当前候选神经网络结构中任意预设网络结构单元对应的尺寸信息的第三选取概率大于或等于第三预设阈值。
123.针对多个候选神经网络结构中的每个候选神经网络结构，可以分别以候选神经网络对深度学习任务的处理结果与期望结果之间的差异最小化为目标，基于候选神经网络结构，在目标搜索空间内搜索出目标神经网络结构。
124.以图像分类任务为例，图像分类任务的期望结果可以为图像分类结果的最大准确度，比如100％。最小差异值可以设置为0、5％或10％等，具体数据可以根据经验值进行设置，本公开实施例不进行具体限定。在候选神经网络的处理结果的准确度与最大准确度之间的差异小于或等于最小差异值的情况下，可以将该候选神经网络结构作为处理本次图像分类任务的目标神经网络结构。在候选神经网络的处理结果的准确度与最大准确度之间的差异大于最小差异值的情况下，可以基于该差异计算出反馈值(reward)，在反馈值的引导下基于遗传算法或强化学习方法，在目标搜索空间内重新搜索候选神经网络结构。重复上述网络结构搜索过程，直到候选神经网络的处理结果的准确度与最大准确度之间的差异小于或等于最小差异值。
125.可选地，在候选神经网络的处理结果的准确度与最大准确度之间的差异大于最小差异值的情况下，根据多个候选神经网络结构中每个候选神经网络结构对应的图像分类结果，确定准确度最高的图像分类结果对应的候选神经网络结构，分别更新其每个预设网络结构单元、下采样处理单元以及每个预设网络结构单元对应的尺寸信息在下一次网络搜索过程中被选中的概率，根据更新后的概率，重复执行上述网络搜索的步骤，即进行下一次网络搜索，如此循环直到搜索到目标神经网络结构为止。
126.在一些实施例中，也可以从多个候选神经网络结构中选取部分候选神经网络结
构，分组搜索网络结构，确定目标神经网络结构。具体实施时，可以基于部分候选神经网络结构中每个目标候选神经网络结构对深度学习任务的处理结果，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率；基于更新后的第一选取概率、第二选取概率和第三选取概率进行网络结构搜索，可以采用遗传算法、强化学习算法等重新选取出多个新的目标候选神经网络结构。在多个新的目标候选神经网络结构分别对深度学习任务的处理结果与期望结果之间的差异均不满足第一预设条件的情况下，返回执行更新选取概率的步骤。
127.示例性的，可以从部分候选神经网络结构分别对应的深度学习任务的处理结果中，筛选出准确度最高的处理结果，判断该准确度最高的处理结果是否与期望结果指示的最大准确度阈值之间的差异小于或等于预设最小差异阈值；如果否，则确定该处理结果对应的候选神经网络结构，并进一步确定该候选神经网络结构中每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率，在第一选取概率、第二选取概率或第三选取概率均不满足期望结果的情况下，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率。比如，可以提高每个预设网络结构单元的第一选取概率，每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率，这里，提高幅度可以根据实际情况以及经验值进行设定，本公开实施例不进行具体限定。基于更新后的第一选取概率、第二选取概率和第三选取概率，再次从目标搜索空间中进行网络结构搜索，即重复执行s102中的网络搜索，可以重新选取出多个新的目标候选神经网络结构。
128.之后，在多个新的目标候选神经网络结构分别对深度学习任务的处理结果与期望结果之间的差异均不满足第一预设条件的情况下，返回执行更新选取概率的步骤。示例性的，在期望结果为最大准确度阈值的情况下，在深度学习任务的处理结果的准确度与最大准确度阈值之间的差异大于预设最小差异阈值的情况下，返回执行更新选取概率的步骤。和/或，在期望结果为第一选取概率大于或等于第一预设阈值的情况下，在更新后的预设网络结构单元的第一选取概率小于第一预设阈值的情况下，返回执行更新选取概率的步骤。和/或，在期望结果为第二选取概率大于或等于第二预设阈值的情况下，在更新后的第二选取概率小于第二预设阈值的情况下，返回执行更新选取概率的步骤。和/或，在期望结果为第三选取概率大于或等于第三预设阈值的情况下，在更新后的第三选取概率小于第三预设阈值的情况下，返回执行更新选取概率的步骤。
129.在一些实施例中，在多个新的目标候选神经网络结构分别对深度学习任务的处理结果与期望结果之间的差异满足第一预设条件的情况下，将满足第一预设条件的差异对应的新的目标候选神经网络结构作为目标神经网络结构。
130.延续上例，在深度学习任务的处理结果的准确度与最大准确度阈值之间的差异小于或等于预设最小差异阈值的情况下，或者，在新的目标候选神经网络结构中的任意预设网络结构单元的第一选取概率大于或等于第一预设阈值的情况下，或者，在新的目标候选神经网络结构中的任意下采样处理单元的第二选取概率大于或等于第二预设阈值的情况下，或者，在新的目标候选神经网络结构中的任意预设网络结构单元对应的尺寸信息的第三选取概率大于或等于第三预设阈值的情况下，将该新的目标候选神经网络结构作为目标
神经网络结构。
131.在一些实施例中，基于部分候选神经网络结构中每个目标候选神经网络结构对深度学习任务的处理结果，确定处理结果对应的准确度满足第二预设条件的目标候选神经网络结构；基于处理结果对应的准确度满足第二预设条件的目标候选神经网络结构，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率。
132.示例性的，可以从部分候选神经网络结构分别对应的深度学习任务的处理结果中，筛选出准确度较高的部分处理结果，比如将处理结果的准确度大小排序，筛选前两个准确度较高的处理结果，并确定选择的该处理结果对应的目标候选神经网络结构，在目标候选神经网络结构原有的每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率、以及每个预设网络结构单元对应的尺寸信息的第三选取概率的基础上，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率，为下一次网络搜索做准备。
133.在一些实施例中，候选神经网络结构可以包括间隔分布的多个特征提取节点和多个下采样节点。其中，特征提取节点中可以包括从第一搜索空间中选取得到的预设网络结构单元，比如图2中的通用操作(general operator，gop)；下采样节点包括从第二搜索空间中选取得到的下采样处理单元，比如图2所示的下采样处理单元(down sampling module，dsm)；其中，每个预设网络结构单元的尺寸信息为从第三搜索空间中选取的。
134.这里，间隔分布的间隔数量可以根据实际应用过程进行限定，本公开实施例不进行具体限定。
135.或者，候选神经网络也可以包括多个连续执行特征提取任务的特征提取节点，以及多个连续执行下采样任务的下采样节点。
136.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
137.基于同一发明构思，本公开实施例中还提供了与生成神经网络的方法对应的生成神经网络的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述生成神经网络的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
138.参照图5所示，为本公开实施例提供的一种生成神经网络的装置的示意图，所述装置包括：搜索空间确定模块501、网络结构搜索模块502和神经网络生成模块503；其中，
139.搜索空间确定模块501，用于确定预设网络结构单元对应的第一搜索空间，下采样处理单元对应的第二搜索空间以及神经网络结构的尺寸信息对应的第三搜索空间，所述预设网络结构单元和所述下采样处理单元用于构建神经网络结构；
140.网络结构搜索模块502，用于基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，得出与所述深度学习任务的期望结果对应的目标神经网络结构；
141.神经网络生成模块503，用于基于所述目标神经网络结构生成用于处理深度学习任务的目标神经网络。
142.一种可选的实施方式中，所述第一搜索空间包括卷积结构单元、基于自注意力机
制的编码-解码结构单元和多层感知器mlp结构单元中的至少两个。
143.一种可选的实施方式中，所述第二搜索空间包括局部下采样单元，全局下采样单元和全局-局部下采样单元，其中，所述局部下采样单元用于采样局部上下文信息，所述全局下采样单元用于采样全局上下文信息，所述全局-局部下采样单元用于采样全局上下文信息和局部上下文信息。
144.一种可选的实施方式中，所述局部下采样单元包括用于执行卷积操作的第一卷积算子；
145.所述全局下采样单元包括基于自注意力机制的第一处理单元和用于对输入所述第一处理单元的数据进行卷积操作的第二卷积算子；
146.所述全局-局部下采样单元包括基于自注意力机制的第二处理单元和用于对输入所述第二处理单元的数据进行卷积操作的第三卷积算子。
147.一种可选的实施方式中，所述网络结构搜索模块502，用于基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间构建目标搜索空间；
148.基于所述目标搜索空间确定多个候选神经网络结构；其中，每一个所述候选神经网络结构包括从第一搜索空间中选取得到的至少一个预设网络结构单元、从第二搜索空间中选取得到的至少一个下采样处理单元，且每一个所述候选神经网络中的每一个预设网络结构单元的尺寸信息为从所述第三搜索空间中选取得到的尺寸信息；
149.基于所述候选神经网络结构构建对应的候选神经网络；
150.采用所述预设的深度学习任务对应的训练数据集确定所述候选神经网络对所述深度学习任务的处理结果；
151.以所述候选神经网络对所述深度学习任务的处理结果与所述期望结果之间的差异最小化为目标，基于所述候选神经网络结构，在所述目标搜索空间内搜索出目标神经网络结构。
152.一种可选的实施方式中，所述网络结构搜索模块502，用于基于部分候选神经网络结构中每个目标候选神经网络结构对所述深度学习任务的处理结果，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率；
153.基于更新后的第一选取概率、第二选取概率和第三选取概率进行网络结构搜索，重新选取出多个新的目标候选神经网络结构；
154.在所述多个新的目标候选神经网络结构分别对所述深度学习任务的处理结果与所述期望结果之间的差异均不满足第一预设条件的情况下，返回执行更新选取概率的步骤。
155.一种可选的实施方式中，所述网络结构搜索模块502，用于基于部分候选神经网络结构中每个目标候选神经网络结构对所述深度学习任务的处理结果，确定所述处理结果对应的准确度满足第二预设条件的目标候选神经网络结构；
156.基于所述处理结果对应的准确度满足第二预设条件的目标候选神经网络结构，分别更新每个预设网络结构单元的第一选取概率、每个下采样处理单元的第二选取概率，以及每个预设网络结构单元对应的尺寸信息的第三选取概率。
157.一种可选的实施方式中，所述网络结构搜索模块502，还用于在所述多个新的目标
候选神经网络结构分别对所述深度学习任务的处理结果与所述期望结果之间的差异满足所述第一预设条件的情况下，将满足所述第一预设条件的所述差异对应的新的目标候选神经网络结构作为所述目标神经网络结构。
158.一种可选的实施方式中，候选神经网络结构包括间隔分布的多个特征提取节点和多个下采样节点；其中，所述特征提取节点中包括从第一搜索空间中选取得到的预设网络结构单元；所述下采样节点包括从第二搜索空间中选取得到的下采样处理单元；其中，每个所述预设网络结构单元的尺寸信息为从所述第三搜索空间中选取的。
159.一种可选的实施方式中，所述神经网络生成模块503，用于获取多个训练样本；
160.利用所述训练样本对目标神经网络结构对应的待训练的目标神经网络进行训练，直到满足训练截止条件，得到训练好的目标神经网络。
161.关于生成神经网络的装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述生成神经网络的方法实施例中的相关说明，这里不再详述。
162.基于同一技术构思，本技术实施例还提供了一种计算机设备。参照图6所示，为本技术实施例提供的计算机设备的结构示意图，包括：
163.处理器61、存储器62和总线63。其中，存储器62存储有处理器61可执行的机器可读指令，处理器61用于执行存储器62中存储的机器可读指令，所述机器可读指令被处理器61执行时，处理器61执行下述步骤：s101：确定预设网络结构单元对应的第一搜索空间，下采样处理单元对应的第二搜索空间以及神经网络结构的尺寸信息对应的第三搜索空间，预设网络结构单元和下采样处理单元用于构建神经网络结构；s102：基于第一搜索空间、第二搜索空间和第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，得出与深度学习任务的期望结果对应的目标神经网络结构；s103：基于目标神经网络结构生成用于处理深度学习任务的目标神经网络。
164.上述存储器62包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换，当计算机设备运行时，处理器61与存储器62之间通过总线63通信，使得处理器61在执行上述方法实施例中所提及的执行指令。
165.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的生成神经网络的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
166.本公开实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述的生成神经网络的方法的步骤。其中，计算机程序产品可以是任何能实现上述生成神经网络的方法的产品，该计算机程序产品中对现有技术做出贡献的部分或全部方案可以以软件产品(例如软件开发包(software development kit，sdk))的形式体现，该软件产品可以被存储在一个存储介质中，通过包含的计算机指令使得相关设备或处理器执行上述生成神经网络的方法的部分或全部步骤。
167.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际
实现时可以有另外的划分方式，又例如，多个模块或组件可以结合，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
168.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
169.另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
170.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
171.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。