图像处理方法、装置、设备及存储介质与流程

1.本技术涉及人工智能的机器学习领域，特别涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.随着深度学习的繁荣发展，尤其是神经网络的发展，采用神经网络对图像进行处理的方法也愈加成熟。
3.相关技术中，采用训练图像样本集训练人工设计的图像处理网络，使图像处理网络学习到图像处理能力，能够根据输入的图像准确输出图像处理结果。例如，对于图像分类任务，人工设计图像分类网络的结构：卷积层、池化层、全连接层等，将训练图像样本集中的图像输入图像分类网络得到预测结果，根据预测结果与该图像的实际分类标签的损失训练图像分类网络的网络参数。
4.图像处理网络的网络性能除了与网络参数相关，还与图像处理网络的网络结构有关。相关技术中的方法，网络结构是由人工基于经验设计得到的，网络性能局限于人工设计的网络结构，无法得到最优的图像处理网络。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、装置、设备及存储介质，可以训练图像处理网络的网络结构，提升图像处理网络的网络性能。所述技术方案如下。
6.根据本技术的一方面，提供了一种图像处理方法，所述方法包括：
7.在超网络中确定参考网络和随机网络，所述超网络包括至少两个候选算子，所述参考网络包括在所述超网络中预先确定的第一组算子，所述随机网络包括在所述超网络中随机采样的第二组算子，所述超网络用于进行图像处理；
8.使用训练图像样本集训练更新所述第一组算子和所述第二组算子的网络参数；
9.使用验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数，所述结构参数用于从所述超网络中确定图像处理网络；
10.根据所述结构参数从所述超网络中搜索得到所述图像处理网络，所述图像处理网络包括所述超网络中的第三组算子；
11.调用所述图像处理网络对输入图像进行图像处理，得到图像处理结果。
12.在一个可选的实施例中，所述方法还包括：
13.初始化所述超网络及所述至少两个候选算子的所述结构参数；
14.使用预热图像样本集训练所述超网络中所述至少两个候选算子的所述网络参数。
15.在一个可选的实施例中，所述使用预热图像样本集训练所述超网络中所述至少两个候选算子的所述网络参数，包括：
16.在所述超网络中确定预热网络，所述预热网络包括在所述超网络中随机采样的第四组算子；
17.使用所述预热图像样本集训练更新所述第四组算子的所述网络参数；
18.重复上述步骤训练所述超网络中所述至少两个候选算子的所述网络参数。
19.根据本技术的另一方面，提供了一种图像处理装置，所述装置包括：
20.确定模块，用于在超网络中确定参考网络和随机网络，所述超网络包括至少两个候选算子，所述参考网络包括在所述超网络中预先确定的第一组算子，所述随机网络包括在所述超网络中随机采样的第二组算子，所述超网络用于进行图像处理；
21.网络训练模块，用于使用训练图像样本集训练更新所述第一组算子和所述第二组算子的网络参数；
22.结构训练模块，用于使用验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数，所述结构参数用于从所述超网络中确定图像处理网络；
23.搜索模块，用于根据所述结构参数从所述超网络中搜索得到所述图像处理网络，所述图像处理网络包括所述超网络中的第三组算子；
24.调用模块，用于调用所述图像处理网络对输入图像进行图像处理，得到图像处理结果。
25.在一种可选的实施例中，所述装置还包括：
26.初始化模块，用于初始化所述超网络及所述至少两个候选算子的所述结构参数；
27.预热模块，用于使用预热图像样本集训练所述超网络中所述至少两个候选算子的所述网络参数。
28.在一种可选的实施例中，所述预热模块，用于在所述超网络中确定预热网络，所述预热网络包括在所述超网络中随机采样的第四组算子；
29.所述预热模块，用于使用所述预热图像样本集训练更新所述第四组算子的所述网络参数；
30.所述预热模块，用于重复上述步骤训练所述超网络中所述至少两个候选算子的所述网络参数。
31.根据本技术的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像处理方法。
32.根据本技术的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像处理方法。
33.根据本公开实施例的另一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法。
34.本技术实施例提供的技术方案带来的有益效果至少包括：
35.通过设置超网络，在超网络中设置多种候选算子，由计算机设备自动训练超网络，从而从超网络中的多个候选算子中确定出组成图像处理网络的最优算子组合，使计算机设备可以训练图像处理网络的网络结构，从网络结构和网络参数两个层面上自动寻找性能最
优的图像处理网络，提升最终得到的图像处理网络的网络性能。通过预先在超网络中确定一个参考网络，在随机采样得到随机网络后，使用训练图像样本集训练随机网络和参考网络，使超网络中不仅被采样得到的候选算子能够被训练，预先确定的参考网络对应的候选算子也能够得到训练，在训练更新结构参数时，使随机采样的随机网络与参考网络相竞争，从而避免结构参数的调整只偏向于被训练过的随机网络，避免在训练和确定最优网络结构时出现强者愈强的问题。
附图说明
36.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本技术一个示例性实施例提供的计算机设备的框图；
38.图2是本技术另一个示例性实施例提供的图像处理方法的方法流程图；
39.图3是本技术另一个示例性实施例提供的图像处理方法的方法流程图；
40.图4是本技术另一个示例性实施例提供的图像处理方法的方法流程图；
41.图5是本技术另一个示例性实施例提供的图像处理方法的方法流程图；
42.图6是本技术另一个示例性实施例提供的图像处理装置的框图；
43.图7是本技术另一个示例性实施例提供的服务器的结构示意图；
44.图8是本技术另一个示例性实施例提供的终端的框图。
具体实施方式
45.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
46.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
47.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
48.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
49.虽然机器学习所搭建的神经网络模型能够适用于不同的应用场景、完成各类任务，但是实际的应用效果，例如模型训练所需的时长、模型预测的精度等，是和神经网络模型的结构息息相关的。有可能有些神经网络模型的结构很复杂，但是预测的准确性却不尽人意；相反，有些神经网络模型的层数虽然很浅，却能达到令人满意的预测精度。而神经网络模型的搭建过程，一般需要通过具备大量的神经网络结构设计及参数调整经验的技术人员不断尝试、调整，十分耗费精力，难以大规模推广。
50.随着各式各样神经网络结构的出现，神经网络结构的设计，正在从手工设计转型为机器自动设计。随之诞生的就是神经网络结构搜索(neural architecture search，nas)。经典的nas方法使用rnn(recurrent neural networks，循环神经网络)作为控制器(controller)产生子网络(childnetwork)，再对子网络进行训练和评估，得到其网络性能(如准确率)，最后更新控制器的参数。神经网络结构搜索已经成为了一大研究潮流。虽然方法层出不穷，但基本都包括下述三大部分。
51.1.定义搜索空间；即定义待搜索网络结构的候选集合。搜索空间大致分为全局搜索空间和基于细胞的搜索空间，前者代表搜索整个网络结构，后者只搜索一些小的结构，通过堆叠、拼接的方法组合成完整的大网络。
52.2.执行搜索算法；搜索算法，即如何在搜索空间中进行选择，根据方法的不同，搜索算法大致分为三种：基于强化学习的方法、基于进化算法的方法和基于梯度的方法。
53.3.对采样的网络进行性能评估；即在目标数据集上评估网络结构的性能好坏。
54.超网络是由神经网络结构搜索模型的所有搜索空间聚合而成的。示例性的，超网络包括至少一个网络层，每个网络层包括至少一个候选算子。从超网络中的每个网络层中选出一个候选算子，由第1个网络层至最后一个网络层的候选算子顺次连接组成超网络的一个子网络。超网络中每条路径即为一个子网络。
55.参考网络是超网络的一个子网络。参考网络是由人为指定的网络，或/和，参考网络是上一轮神经网络结构搜索得到的图像处理网络。示例性的，参考网络不是由随机采样得到的网络，是预先确定的固定网络。
56.随机网络是超网络的一个子网络。随机网络是在超网络中随机采样得到的网络。示例性的，随机可以是等概率的随机，也可以是根据候选算子的结构参数进行的不等概率的随机。
57.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
58.本技术提供的图像处理方案具有较强的通用性和实用性。具体而言，本技术提供的图像处理方法本身不限制使用的场景，在例如人脸识别，人脸检测等场景下，只要设计合理的搜索方式，均可以得到优于人为设计的神经网络。该方法利用了多重采样和渐进优化的思想，能保证大概率得到优于参考结构的新结构，实用性强。
59.图1示出了本技术一个示例性实施例提供的计算机设备101的示意图，该计算机设备101可以是终端或服务器。
60.终端可以包括智能手机、笔记本电脑、台式电脑、平板电脑、智能音箱、智能机器人
中的至少一种。在一种可选的实现方式中，终端上安装有支持图像处理功能的客户端。
61.示例性的，终端上存储有图像处理模型，当客户端需要使用图像处理功能时，客户端可以调用图像处理模型完成对图像处理。
62.示例性的，图像处理过程可以由终端来完成，也可以由服务器来完成。
63.终端与服务器之间通过有线或者无线网络相互连接。
64.终端包括第一存储器和第一处理器。第一存储器中存储有图像处理模型；上述图像处理模型被第一处理器调用执行以实现本技术提供的图像处理方法。第一存储器可以包括但不限于以下几种：随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可编程只读存储器(programmable read
‑
only memory，prom)、可擦除只读存储器(erasable programmable read
‑
only memory，eprom)、以及电可擦除只读存储器(electric erasable programmable read
‑
only memory，eeprom)。
65.第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(central processing unit，cpu)或者网络处理器(network processor，np)。可选地，第一处理器可以通过运行程序或代码来实现本技术提供的图像处理方法。
66.服务器包括第二存储器和第二处理器。第二存储器中存储有图像处理模型；上述图像处理模型被第二处理器调用来实现本技术提供的图像处理方法。可选地，第二存储器可以包括但不限于以下几种：ram、rom、prom、eprom、eeprom。可选地，第二处理器可以是通用处理器，比如，cpu或者np。
67.示例性的，计算机设备101中存储有图像处理模型102，图像处理模型102包括超网络105。超网络105是由图像处理模型的所有可能的网络结构聚合而成的，超网络中的每条路径即为一个子网络。示例性的，超网络包括至少一个网络层，每个网络层中包括至少一个候选算子，在进行图像处理时，从每个网络层中选出一个候选算子，多个网络层的多个候选算子组成一个子网络。例如，如图1所示，超网络可以是由三个网络层组成，每个网络层包含了三个op(operators，算子)，超网络的每个子网络由从三个网络层中选出的各一个候选算子组成，即，一个子网络包括三个候选算子。
68.示例性的，候选算子(或称“算子”)是神经网络计算的基本单元。示例性的，一个候选算子包括起始输入、激活算子、两个tensor(张量)计算、多个tensor计算、归一化、特征提取、防过拟合中的一种，或，一个候选算子由起始输入、激活算子、两个tensor计算、多个tensor计算、归一化、特征提取、防过拟合中的多种组合而成。示例性的，上述的起始输入可以包括data(数据)。激活算子可以包括：relu函数、leakyrelu函数、relu6函数、tan函数、sigmoid函数、prelu函数中的至少一种。两个tensor计算可以包括： (加)、
‑
(减)、*(乘)、/(除)、add(加)、sub(求和)、mul(乘)、realdiv函数、biasadd(增加bias，bias通常是一维tensor)、matmul(矩阵乘)、axpy(向量求和)中的至少一种。多个tensor计算可以包括eltwiseop层(用于对多个tensor对应位置元素进行相乘、相加、取最大值中的一种操作)。归一化可以包括：batchnorm、lrn(local response normalization，局部响应归一化层)、ssdnormalize中的至少一种。特征提取包括：convolution(卷积)、fullconnection(全卷积)、correlation(相关)、deconvolution(反褶积)、depconvolution(去卷积)中的至少一种。防过拟合包括pooling(池化)、mean(均值池化)、roipooling、roialign、psroipooling
中的至少一种。
69.示例性的，超网络中的每个候选算子对应有网络参数和结构参数。
70.网络参数为候选算子的网络内参数，用于进行神经网络的运算。示例性的，网络参数也可以称为运算参数，是在确定神经网络的结构后，使用样本集训练神经网络的性能时，所调整的神经网络参数。例如，当候选算子包括卷积运算时，网络参数可以是卷积核的取值。示例性的，计算机设备通过训练候选算子的网络参数来使候选算子具有指定的性能，使子网络具有指定的识别能力/分类能力/预测能力。
71.结构参数用于从超网络中选出候选算子组成图像处理网络。示例性的，每个候选算子对应有一个结构参数。计算机设备根据结构参数从超网络中的每个网络层中选出一个候选算子，多个网络层的多个候选算子组成图像处理网络。示例性的，结构参数用于表征候选算子被选中的概率，结构参数越大表示该候选算子被选中的可能性越大。
72.如图2所示，给出了一种本技术提供的图像处理方法的方法流程图。
73.步骤201：计算机设备接收输入的训练图像样本集、验证图像样本集并指定参考网络，例如，如图1所示可以将超网络中第一网络层的op1、第二网络层的op1、第三网络层的op1指定为参考网络103。示例性的，将样本集划分为训练图像样本集和验证图像样本集，例如，将样本集中的80％样本数据作为训练图像样本集，20％的样本数据作为验证图像样本集。
74.步骤202：计算机设备初始化超网络以及候选算子的结构参数。
75.步骤203：计算机设备预热超网络。示例性的，为了使候选算子在进行图像处理时具备一定的图像处理能力，计算机设备需要对候选算子的网络参数进行预热。示例性的，计算机设备等概率地从超网络中采样候选算子组成子网络，然后利用训练图像样本集对子网络进行训练，调整更新其网络参数。计算机设备重复这一步骤不断采样子网络训练子网络直至候选算子具有初步的图像处理能力。
76.步骤204：计算机设备采样随机网络并训练。示例性的，计算机设备根据结构参数在超网络中随机采样候选算子组成随机网络，使用训练图像样本集训练随机网络。例如，如图1所示，计算机设备从超网络中随机采样第一网络层的op2、第二网络层的op3、第三网络层的op2组成随机网络104，使用训练图像样本集训练该随机网络使之具有图像处理能力。示例性的，计算机设备从训练图像样本集中取出一批训练样本数据，输入随机网络，得到随机网络输出的预测值，用损失函数计算预测值与真实值的损失，并反传得到梯度，利用梯度更新随机网络中各个候选算子的网络参数。
77.步骤205：计算机设备训练参考网络。示例性的，计算机设备使用训练图像样本集训练参考网络。即，如图1所示，训练由第一网络层的op1、第二网络层的op1、第三网络层的op1组成的参考网络103。示例性的，从训练图像样本集中取出一批训练样本数据，输入参考网络，得到参考网络输出的预测值，用损失函数计算预测值与真实值的损失，并反传得到梯度，利用梯度更新参考网络中各个候选算子的网络参数。
78.步骤206：计算机设备使用验证图像样本集训练超网络中全部候选算子的结构参数。示例性的，从验证集中取得一批验证样本数据，输入超网络中，得到超网络输出的预测值。用损失函数计算预测值与真实值的损失，并根据损失更新候选算子的结构参数。
79.步骤207：计算机设备判断超网络是否收敛，若收敛则执行步骤208；否则执行步骤
204，进行迭代采样和训练。示例性的，收敛的条件可以是任意的，例如，可以将迭代次数设置为收敛条件，也可以将超网络的损失值小于阈值设置为收敛条件，还可以将图像处理网络不变设置为收敛条件。
80.步骤208：计算机设备在超网络收敛后，根据超网络中各个候选算子的结构参数，确定出图像处理网络并输出。
81.示例性的，图2中所示的方法为进行一轮神经网络结构搜索的方法，示例性的，可以进行多轮神经网络结构搜索，迭代训练超网络从而得到性能更出色的网络结构(最终图像处理网络)。
82.如图3所示，给出了一种执行本技术提供的图像处理方法的方法流程图。
83.步骤301：计算机设备接收指定的参考网络。即如步骤201，输入训练图像样本集、验证图像样本集并指定参考网络。示例性的，步骤301和步骤201指定的参考网络是人为指定的参考网络，或，根据一定的参考网络生成规则自动生成的网络。在训练图像处理模型之前，指定参考网络。
84.步骤302：计算机设备搜索神经网络结构。示例性的，执行步骤202至步骤208进行一轮图像处理得到一轮的图像处理网络。
85.步骤303：计算机设备得到本轮的图像处理网络。
86.步骤304：计算机设备判断本轮输出的图像处理网络是否满足业务需求。若满足则进行步骤308，否则进行步骤305。
87.步骤305：计算机设备判断本轮输出的图像处理网络是否优于本轮的参考网络。若优于则进行步骤306，否则进行步骤307。
88.步骤306：计算机设备将本轮输出的图像处理网络作为下一轮的参考网络。
89.步骤307：计算机设备将本轮的参考网络作为下一轮的参考网络，即，保持参考网络不变。
90.步骤308：计算机设备将满足业务需求的图像处理网络输出为最终图像处理网络。
91.本技术提供的方法，在从超网络中采样子网络训练时，会额外采样一个人为指定的子网络，作为参考网络。引入额外的参考网络有以下收益：1)缓解马太效应，由于参考网络的训练不受限于结构参数，即使参考网络对应的候选算子的结构参数较小，其仍然能在每一轮迭代中得到充分的训练，进而有效地参与每个网络层的候选算子的竞争，防止结构参数大的候选算子“强者愈强”。2)缓解模型遗忘崩塌问题，通常结构参数大的候选算子往往能够得到充足的训练，但是由于参数共享策略的弊端，其他子网络的网络参数会被动地不以最小化损失函数为目标地更新，进而导致模型遗忘崩塌。当额外采样一个参考网络结构后，不仅当前“最优”候选算子能够得到训练，参考网络的候选算子也同样能够得到充足的训练，其性能得以保证。3)提高搜索结果的稳定性，在不同的候选算子竞争的时候由于额外指定的参考网络已经充分训练过了，存在相当的竞争力，搜索过程必然朝着优于该参考网络的方向进行，故搜索到的图像处理网络大概率优于参考子结构，搜索结果的稳定性得到保障。
92.并且，本技术提供的图像处理方法，得到图像处理网络的过程不是一蹴而就的，该方法不断把上一轮搜索到的图像处理网络作为下一轮搜索的参考网络，逐步迭代，直至获得符合预期的最终图像处理网络。其中，第一轮迭代的参考网络可以采用人工设计的网络。
该方法不短视地将一轮搜索结果作为最终结果，而是持续优化、充分利用中间较优的网络结构，进行迭代搜索，提高最终输出的网络结构的性能。
93.图4示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的计算机设备来执行。方法包括如下步骤。
94.步骤401，在超网络中确定参考网络和随机网络，超网络包括至少两个候选算子，参考网络包括在超网络中预先确定的第一组算子，随机网络包括在超网络中随机采样的第二组算子，超网络用于进行图像处理。
95.示例性的，参考网络是预先确定的网络，例如，人为指定的网络。随机网络是通过随机采样得到的网络。示例性的，随机网络的采样可以是完全随机的采样(等概率采样)，也可以是根据每个候选算子的结构参数进行的随机采样。示例性的，参考网络和随机网络都是超网络的一个子网络，由超网络中的至少一个候选算子组成。
96.超网络中的候选算子用于对输入的图像或数据进行至少一种图像处理的相关运算。
97.第一组算子包括超网络中的至少一个候选算子。第二组算子包括超网络中的至少一个候选算子。
98.示例性的，参考网络可以是超网络的一个子网络，也可以是指超网络的多个子网络。示例性的，随机网络可以是超网络的一个子网络，也可以是超网络的多个子网络。
99.超网络是用于对输入的图像进行图像处理得到图像处理结果的网络。图像处理包括图像分类、目标检测、图像分割中的至少一种。例如，超网络是用于进行人脸识别或人脸检测的神经网络。
100.步骤402，使用训练图像样本集训练更新第一组算子和第二组算子的网络参数。
101.示例性的，使用训练图像样本集训练随机网络和参考网络，使随机网络和参考网络具有图像处理能力。示例性的，训练图像样本集中的训练样本数据包括输入数据和真实值，使用训练图像样本集训练随机网络和参考网络的网络参数，使随机网络和参考网络可以根据输入数据输出对应的真实值。
102.训练图像样本集中的数据可以根据具体的业务需求来获取。示例性的，训练图像样本集中包括样本图像和样本图像对应的真实值，样本图像对应的真实值为对样本图像进行图像处理后得到的真实的图像处理结果。
103.例如，当使用该图像处理方法搜索图像分类网络的网络结构时，训练图像样本集中的训练样本数据可以包括图像(输入数据)以及图像对应的分类标签(真实值)，以便使用训练图像样本集训练随机网络和参考网络使之能够根据输入的图像输出该图像的分类标签。
104.再如，当使用该图像处理方法搜索图像分割网络的网络结构时，训练图像样本集中的训练样本数据可以包括图像(输入数据)以及图像对应的图像分割结果(真实值)，以便使用训练图像样本集训练随机网络和参考网络使之能够根据输入的图像输出该图像的图像分割结果。
105.再如，当使用该图像处理方法搜索目标检测网络的网络结构时，训练图像样本集中的训练样本数据可以包括图像(输入数据)以及图像中目标所在的目标位置(真实值)，以便使用训练图像样本集训练随机网络和参考网络使之能够根据输入的图像输出该图像中
目标所在的目标位置。
106.步骤403，使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数，结构参数用于从超网络中确定图像处理网络。
107.示例性的，在训练参考网络和随机网络后，使用验证图像样本集训练超网络的结构参数。示例性的，验证图像样本集中的验证样本数据包括输入数据和真实值，使用验证图像样本集训练超网络的结构参数，使超网络可以根据输入数据输出对应的真实值。示例性的，固定超网络中各个候选算子的网络参数不变，将输入数据输入超网络后，候选算子根据输入输出输出预测值，超网络的总输出为各个候选算子输出的预测值根据结构参数的加权计算结果，通过调整各个候选算子的结构参数，可以调整超网络的总输出，进而使总输出接近真实值。
108.示例性的，训练图像样本集和验证图像样本集都是样本数据集，二者的数据类型相同，但其中的具体数据可以相同也可以不同。例如，二者可以是相同的样本数据集，也可以是不同的样本数据集。
109.步骤404，根据结构参数从超网络中搜索得到图像处理网络，图像处理网络包括超网络中的第三组算子。
110.示例性的，超网络包括至少一个网络层，每个网络层包括至少一个候选算子。示例性的，计算机设备将每个网络层中结构参数最大的候选算子选出，组成图像处理网络。
111.步骤405，调用图像处理网络对输入图像进行图像处理，得到图像处理结果。
112.示例性的，在使用本实施例提供的图像处理方法搜索得到最优的网络结构：图像处理网络后，可以调用图像处理网络对图像进行图像处理。
113.例如，调用图像处理网络对输入图像进行图像分类，得到图像分类结果，图像分类结果包括输入图像的分类标签。
114.再如，调用图像处理网络对输入图像进行目标检测，得到目标检测结果，目标检测结果包括所检测的目标在输入图像上的目标位置(目标框)。
115.再如，调用图像处理网络对输入图像进行图像分割，得到图像分割结果，图像分割结果包括输入图像中每个像素点的分类标签。
116.例如，当业务需求是图像分类时，所得到的图像处理网络即具有图像分类能力。在得到图像处理网络后，可以调用图像处理网络对输入图像进行分类得到图像分类结果。
117.综上所述，本实施例提供的方法，通过设置超网络，在超网络中设置多种候选算子，由计算机设备自动训练超网络，从而从超网络中的多个候选算子中确定出组成图像处理网络的最优算子组合，使计算机设备可以训练图像处理网络的网络结构，从网络结构和网络参数两个层面上自动寻找性能最优的图像处理网络，提升最终得到的图像处理网络的网络性能。通过预先在超网络中确定一个参考网络，在随机采样得到随机网络后，使用训练图像样本集训练随机网络和参考网络，使超网络中不仅被采样得到的候选算子能够被训练，预先确定的参考网络对应的候选算子也能够得到训练，在训练更新结构参数时，使随机采样的随机网络与参考网络相竞争，从而避免结构参数的调整只偏向于被训练过的随机网络，避免在训练和确定最优网络结构时出现强者愈强的问题。
118.示例性的，给出一种通过多轮搜索得到最终的最终图像处理网络的示例性实施例。最终图像处理网络是满足业务需求(满足需求条件)的子网络。
119.图5示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。该方法包括以下步骤。
120.步骤4011，接收第一指示信息，第一指示信息用于指示组成参考网络的第一组算子。
121.示例性的，参考网络可以是人为指定的网络。则计算机设备可以接收输入的指示信息，根据指示信息中所指示的候选算子确定参考网络。
122.示例性的，在步骤4011之前，或，步骤4012之后步骤4013之前，还会进行超网络的初始化。即，初始化超网络及至少两个候选算子的结构参数；使用预热图像样本集训练超网络中至少两个候选算子的网络参数。
123.示例性的，使用预热图像样本集对超网络进行预热的方法可以是：在超网络中确定预热网络，预热网络包括在超网络中随机采样的第四组算子；使用预热图像样本集训练更新第四组算子的网络参数；重复上述步骤训练超网络中至少两个候选算子的网络参数。
124.示例性的，超网络的预热只会更改候选算子的网络参数，不会更改结构参数。通过预测可以使候选算子具备初步的性能。
125.示例性的，预热图像样本集可以是与训练图像样本集相同的样本数据集，也可以是不同的样本数据集。
126.步骤4012，根据第一指示信息在超网络中确定参考网络。
127.示例性的，超网络包括至少一个网络层，每个网络层包括至少一个候选算子。计算机设备根据第一指示信息，从超网络的每个网络层中选出一个候选算子得到第一组算子，组成参考网络。
128.步骤4013，在超网络中确定随机网络。
129.示例性的，计算机设备在超网络中等概率随机采样得到第二组算子，组成随机网络；或，根据至少两个候选算子的结构参数，在超网络中随机采样得到第二组算子，组成随机网络。
130.示例性的，随机网络的采样可以是完全随机的。即，每个网络层中所有候选算子被选中的概率都相等。
131.示例性的，随机网络的采样也可以是根据结构参数来进行随机采样的。即，根据每个候选算子结构参数的不同，其被选中的概率也会不同。
132.示例性的，超网络包括至少一个网络层，每个网络层包括至少一个候选算子。计算机设备调用采样函数基于每个网络层的至少一个候选算子的结构参数，计算每个网络层的独热向量；根据每个网络层的独热向量，从每个网络层中选出一个候选算子得到第二组算子，组成随机网络。
133.示例性的，采样函数可以根据每个网络层中多个候选算子的多个结构参数，输出一个独热向量，根据独热向量中1对应的候选算子即为被选中的候选算子。例如，采样函数可以是gumbelsoftmax函数。
134.步骤402，使用训练图像样本集训练更新第一组算子和第二组算子的网络参数。
135.示例性的，计算机设备将训练图像样本集中的第一样本输入随机网络得到第一预测值；根据第一预测值与第一真实值的损失训练更新第二组算子的网络参数，第一真实值为第一样本对应的真实值；将训练图像样本集中的第二样本输入参考网络得到第二预测
值；根据第二预测值与第二真实值的损失训练更新第一组算子的网络参数，第二真实值为第二样本对应的真实值。
136.步骤403，使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数，结构参数用于从超网络中确定图像处理网络。
137.示例性的，计算机设备将验证图像样本集中的第三样本输入超网络得到第三预测值；根据第三预测值与第三真实值的损失训练更新超网络中至少两个候选算子的结构参数，第三真实值为第三样本对应的真实值。
138.示例性的，超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k为正整数，j为大于1的整数。超网络输出第三预测值的方法可以是：将验证图像样本集中的第三样本分别输入第1个网络层中的q个候选算子，得到q个中间输出；将q个候选算子分别对应的结构参数作为权重，计算q个中间输出的加权和，得到第1个网络层的第1输出。将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的k个候选算子中，得到k个中间输出；将k个候选算子分别对应的结构参数作为权重，计算k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为第三预测值。
139.示例性的，超网络中一个网络层的输出为：
[0140][0141]
其中，x
l 1
为第l 1个网络层的输出，x
l
为第l个网络层的输出，x0即为第三样本，b
l 1,i
为第l 1个网络层的第i个候选算子，b
l 1,i
(x
l
)为将x
l
输入b
l 1,i
后得到的输出，m
l 1,i
为第l 1个网络层的第i个候选算子的系数，m
l 1,i
取0或1，其计算方式为：
[0142][0143]
其中，α
l
为第l个网络层的结构参数，α
l,i
为α
l
中第i个候选算子的结构参数；g
l,i
为gumbel噪声，是独立同分布的标准gumbel分布的随机变量；τ为温度系数，是常数。
[0144]
即，
[0145]
其中，α为结构参数，w为网络参数，l
train
为训练网络参数的损失，l
val
为训练结构参数的损失。上述公式可理解为：保持结构参数不变，训练随机网络/参考网络的网络参数至l
train
取最小值。然后，基于训练好的网络参数书，使用验证集训练超网络的结构参数至l
val
取最小值，得到训练好的结构参数。示例性的，这两个步骤重复交替执行，直至超网络收敛。
[0146]
示例性的，重复执行步骤4013至步骤403，迭代训练超网络至收敛，然后执行步骤404。
[0147]
步骤404，根据结构参数从超网络中搜索得到图像处理网络，图像处理网络包括超网络中的第三组算子。
[0148]
示例性的，步骤401至步骤404可以被单独执行输出图像处理网络，即，只进行一轮神经网络结构搜索得到图像处理网络。示例性的，在一轮神经网络结构搜索图像处理结束
后，还可以执行步骤501至步骤506，判断得到的图像处理网络是否满足业务需求，若不满足则可以进行下一轮搜索，如此反复迭代进行神经网络结构搜索，直至搜索到满足业务需求的最终图像处理网络。即，步骤401至步骤404为第1轮神经网络结构搜索，步骤501至步骤505为第i轮神经网络结构搜索，假设最终在第n轮神经网络搜索得到的图像处理网络满足业务需求，在步骤506输出为最终图像处理网络。
[0149]
步骤501，判断第i
‑
1轮图像处理网络是否满足需求条件。若满足需求条件则进行步骤506，否则进行步骤502。
[0150]
示例性的，步骤401至步骤404中所提及的图像处理网络为第1轮图像处理网络，所提及的参考网络为第1轮参考网络，所提及的是随机网络为第1轮随机网络。
[0151]
需求条件可以是任意设置的。需求条件用于判断图像处理网络的图像处理能力。根据神经网络的业务/任务不同，可以设置对应的需求条件来判断搜索到的神经网络结构是否满足业务需求。例如，对于分类神经网络模型，需求条件可以是模型识别的准确率大于阈值。
[0152]
步骤502，响应于第i
‑
1轮图像处理网络不满足需求条件，在超网络中确定第i轮参考网络和第i轮随机网络，第i轮参考网络包括在超网络中预先确定的第i轮第一组算子，第i轮随机网络包括在超网络中随机采样的第i轮第二组算子，i为大于1不大于n的整数。
[0153]
示例性的，若第1轮选出的图像处理网络不符合需求条件，则可以继续进行下一轮的搜索。
[0154]
在下一轮中，参考网络可以直接沿用上一轮的参考网络，也可以从上一轮的参考网络和图像处理网络中选出一个较优，还可以人为地另外指定一个参考网络。
[0155]
示例性的，确定第i轮参考网络的方式可以是：计算第i
‑
1轮图像处理网络和第i
‑
1轮参考网络的性能参数，i为大于1不大于n的整数；将第i
‑
1轮图像处理网络与第i
‑
1轮参考网络中，性能参数较优的网络确定为第i轮参考网络。
[0156]
示例性的，性能参数用于描述网络的好坏。可以采用任意的性能测定方式来测定参考网络和图像处理网络的优劣，将二者中较优的网络确定为下一轮的参考网络。
[0157]
示例性的，确定第i轮参考网络的方式还可以是：接收第二指示信息，第二指示信息用于指示组成第i轮参考网络的第i轮第一组算子；根据第二指示信息在超网络中确定第i轮参考网络。
[0158]
示例性的，第二指示信息可以与第一指示信息是同一个指示信息，即，在初始化图像处理模型时就一次性指示了每轮搜索的参考网络。示例性的，第二指示信息也可以与第一指示信息不同的指示信息。即，在每轮搜索开始前接收指示信息确定本轮的参考网络。
[0159]
步骤503，使用训练图像样本集训练更新第i轮第一组算子和第i轮第二组算子的网络参数。
[0160]
示例性，对于网络参数的训练可以参照步骤402。
[0161]
步骤504，使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数。
[0162]
示例性的，对于结构参数的训练可以参照步骤403。
[0163]
步骤505，根据结构参数从超网络中搜索得到第i轮图像处理网络，第i轮图像处理网络包括超网络中的第i轮第三组算子。
[0164]
示例性的，图像处理网络的确定可以参照步骤404。
[0165]
步骤506，重复执行上述步骤，直至第n轮图像处理网络满足需求条件，将第n轮图像处理网络输出为最终图像处理网络，n为正整数。
[0166]
示例性的，在每轮搜索结束后，判断本轮输出的图像处理网络是否满足需求条件，若满足则将其作为最终输出的最终图像处理网络，若不满足则继续进行下一轮的搜索。
[0167]
步骤507，调用最终图像处理网络对输入图像进行图像处理，得到图像处理结果。
[0168]
综上所述，本实施例提供的方法，在从超网络中采样子网络训练时，额外采样一个人为指定的子网络，作为参考网络，通过训练参考网络来缓解马太效应，由于参考网络的训练不受限于结构参数，即使参考网络对应的候选算子的结构参数较小，其仍然能在每一轮迭代中得到充分的训练，进而有效地参与每个网络层的候选算子的竞争，防止结构参数大的候选算子“强者愈强”。通过额外采样一个参考网络结构并训练，不仅当前“最优”候选算子能够得到训练，参考网络的候选算子也同样能够得到充足的训练，从而保证候选算子的性能。通过训练参考网络，在不同的候选算子竞争的时候由于额外指定的参考网络已经充分训练过了，存在相当的竞争力，搜索过程必然朝着优于该参考网络的方向进行，故搜索到的图像处理网络大概率优于参考子结构，搜索结果的稳定性得到保障。
[0169]
本实施例提供的方法，得到图像处理网络的过程不是一蹴而就的，该方法通过不断把上一轮搜索到的图像处理网络作为下一轮搜索的参考网络，逐步迭代，直至获得符合预期的最终图像处理网络。其中，第一轮迭代的参考网络可以采用人工设计的网络。该方法不短视地将一轮搜索结果作为最终结果，而是持续优化、充分利用中间较优的网络结构，进行迭代搜索，提高最终输出的网络结构的性能。
[0170]
本技术提供的图像处理方法本身不限制使用的场景，在例如人脸识别，人脸检测等场景下，只要设计合理的搜索方式，均可以搜索到优于人为设计的神经网络结构。
[0171]
示例性的，给出一种将本技术提供的图像处理方法应用在人脸识别场景中的示例性实施例。
[0172]
首先，获取训练图像样本集、验证图像样本集。训练图像样本集和验证图像样本集中的样本样本数据包括样本图像(人脸图像和非人脸图像)以及样本图像对应的标签(人脸或非人脸)。
[0173]
设计图像处理模型的超网络。示例性的，人工设计超网络中每个网络层的候选算子，组成超网络。
[0174]
人工在超网络中指定参考网络。
[0175]
计算机设备接收输入的训练图像样本集、验证图像样本集、超网络以及指定的参考网络。对超网络的网络参数以及结构参数进行初始化。
[0176]
计算机设备使用训练图像样本集对超网络中各个候选算子进行预热。示例性的，等概率随机从超网络中采样子网络，使用训练图像样本集训练子网络使之能够根据输入的样本图像输出是否为人脸，重复这一过程，迭代训练超网络，使超网络中的候选算子具有初步的人脸识别的能力。
[0177]
计算机设备从超网络中根据结构参数随机采样得到随机网络，使用训练图像样本集训练随机网络的网络参数，使之能够识别输入的样本图像是否为人脸。
[0178]
计算机设备使用训练图像样本集训练参考网络的网络参数，使之能够识别输入的样本图像是否为人脸。
[0179]
计算机设备使用验证图像样本集训练超网络的结构参数，使超网络能够识别输入的样本图像是否为人脸。
[0180]
判断超网络是否收敛，若不收敛则重复采样随机网络、训练随机网络、训练参考网络的步骤，迭代训练超网络的网络参数和结构参数。若收敛则根据当前超网络的结构参数输出图像处理网络。示例性的，收敛条件可以是判断本次训练输出的图像处理网络是否与上一次输出的图像处理网络相同，若相同，则确定超网络收敛，若不相同则确定超网络未收敛。
[0181]
示例性的，执行上述步骤可以完成一轮神经网络结构搜索，得到一轮的图像处理网络，图像处理网络可以根据输入的图像输出该图像是否为人脸图像。示例性的，还可以执行多轮神经网络结构搜索。
[0182]
计算机设备判断上一轮输出的图像处理网络是否满足业务需求，若满足则将上一轮输出的图像处理网络确定为最终图像处理网络，若不满足则继续执行下一轮的神经网络结构搜索。
[0183]
示例性的，计算机设备判断上一轮的图像处理网络与上一轮的参考网络的性能，将性能较优的网络确定为下一轮的参考网络。例如，计算机设备可以判断两个网络识别人脸的准确率，将准确率较高的一个确定为下一轮的参考网络。
[0184]
然后重复上述的采样随机网络、训练随机网络、训练参考网络、判断是否收敛的步骤，输出本轮的图像处理网络，再判断本轮的图像处理网络是否满足业务需求，如此迭代训练超网络，直至输出的图像处理网络满足业务需求，得到最终图像处理网络。示例性的，业务需求的条件可以是任意设置的，例如，可以将业务需求的条件设置为准确率大于阈值。
[0185]
示例性的，给出一种将本技术提供的图像处理方法，应用于图像分类场景的示例性实施例。
[0186]
第一步，计算机设备在超网络中确定参考网络和随机网络，超网络包括至少两个候选算子，参考网络包括在超网络中预先确定的第一组算子，随机网络包括在超网络中随机采样的第二组算子，超网络用于进行图像分类。
[0187]
计算机设备接收第一指示信息，第一指示信息用于指示组成参考网络的第一组算子；计算机设备根据第一指示信息在超网络中确定参考网络。示例性的，超网络包括至少一个网络层，每个网络层包括至少一个候选算子，计算机设备根据第一指示信息，从超网络的每个网络层中选出一个候选算子得到第一组算子，组成参考网络。示例性的，超网络中每一层的输入数据为上一层的输出数据，第一层网络层的输入数据为输入的图像，最后一层网络层的输出数据为图像处理结果，即，图像分类结果。
[0188]
示例性的，参考网络可以是根据开发人员的经验确定出的网络，例如，根据现有的表现较优的图像分类网络的网络结构从超网络中确定出第一组算子，该第一组算子所组成的网络结构与现有的图像分类网络的网络结构相同。
[0189]
计算机设备在超网络中等概率随机采样得到第二组算子，组成随机网络；或，根据至少两个候选算子的结构参数，在超网络中随机采样得到第二组算子，组成随机网络。
[0190]
示例性的，计算机设备调用采样函数基于每个网络层的至少一个候选算子的结构参数，计算每个网络层的独热向量；根据每个网络层的独热向量，从每个网络层中选出一个候选算子得到第二组算子，组成随机网络。
[0191]
示例性的，计算机设备在执行第一步之前，还会初始化超网络及至少两个候选算子的结构参数；使用预热图像样本集训练超网络中至少两个候选算子的网络参数，使超网络中各个算子具备初步的图像分类能力。
[0192]
第二步，计算机设备使用训练图像样本集训练更新第一组算子和第二组算子的网络参数。
[0193]
示例性的，训练图像样本集中包括样本图像和样本图像对应的真实值，该真实值为样本图像的分类标签。
[0194]
计算机设备使用训练图像样本集分别训练第一组算子和第二组算子，使第一组算子组成的参考网络能够根据输入的图像输出较为准确的图像分类结果；使第二组算子组成的随机网络能够根据输入的图像输出较为准确的图像分类结果。
[0195]
例如，计算机设备将训练图像样本集中的第一样本输入随机网络得到第一预测分类标签；根据第一预测分类标签与第一真实分类标签的损失训练更新第二组算子的网络参数，第一真实分类标签为第一样本对应的真实的分类标签；将训练图像样本集中的第二样本输入参考网络得到第二预测分类标签；根据第二预测分类标签与第二真实分类标签的损失训练更新第一组算子的网络参数，第二真实分类标签为第二样本对应的真实的分类标签。
[0196]
第三步，计算机设备使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数，结构参数用于从超网络中确定图像分类网络。
[0197]
计算机设备将验证图像样本集中的第三样本输入超网络得到第三预测分类标签；根据第三预测分类标签与第三真实分类标签的损失训练更新超网络中至少两个候选算子的结构参数，第三真实分类标签为第三样本对应的真实的分类标签。
[0198]
示例性的，超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k均为正整数，j为大于1的整数。计算机设备将验证图像样本集中的第三样本分别输入第1个网络层中的q个候选算子，得到q个中间输出；将q个候选算子分别对应的结构参数作为权重，计算q个中间输出的加权和，得到第1个网络层的第1输出；将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的k个候选算子中，得到k个中间输出；将k个候选算子分别对应的结构参数作为权重，计算k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为第三预测分类标签。
[0199]
第四步，计算机设备根据结构参数从超网络中搜索得到图像分类网络，图像分类网络包括超网络中的第三组算子。
[0200]
第五步，计算机设备调用图像分类网络对输入图像进行图像分类，得到图像分类结果。
[0201]
示例性的，执行第一步至第四步，为执行一轮的神经网络结构搜索，得到一轮的图像分类网络，为了进一步提高所选出的网络的性能，可以执行多轮神经网络结构搜索后得到最终的最终图像分类网络。示例性的，上述第一步至第四步中的图像分类网络为第1轮图像分类网络。在第四步之后执行第五步之前，还可以执行下述的第六步至第步。
[0202]
第六步，计算机设备响应于第i
‑
1轮图像分类网络不满足需求条件，在超网络中确定第i轮参考网络和第i轮随机网络，第i轮参考网络包括在超网络中预先确定的第i轮第一组算子，第i轮随机网络包括在超网络中随机采样的第i轮第二组算子，i为大于1不大于n的
整数。
[0203]
第七步，计算机设备使用训练图像样本集训练更新第i轮第一组算子和第i轮第二组算子的网络参数。
[0204]
第八步，计算机设备使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数。
[0205]
第九步，计算机设备根据结构参数从超网络中搜索得到第i轮图像分类网络，第i轮图像分类网络包括超网络中的第i轮第三组算子。
[0206]
第十步，计算机设备重复执行上述第六步至第九步，直至第n轮图像分类网络满足需求条件，将第n轮图像分类网络输出为最终图像分类网络，n为正整数。
[0207]
示例性的，需求条件可以是图像分类网络进行图像分类的准确率高于第一阈值。
[0208]
在得到最终图像分类网络后，上述的第五步可以被替换为：计算机设备调用最终图像分类网络对输入图像进行图像分类，得到图像分类结果。
[0209]
示例性的，给出一种将本技术提供的图像处理方法，应用于目标检测场景的示例性实施例。
[0210]
第一步，计算机设备在超网络中确定参考网络和随机网络，超网络包括至少两个候选算子，参考网络包括在超网络中预先确定的第一组算子，随机网络包括在超网络中随机采样的第二组算子，超网络用于进行目标检测。
[0211]
计算机设备接收第一指示信息，第一指示信息用于指示组成参考网络的第一组算子；计算机设备根据第一指示信息在超网络中确定参考网络。示例性的，超网络包括至少一个网络层，每个网络层包括至少一个候选算子，计算机设备根据第一指示信息，从超网络的每个网络层中选出一个候选算子得到第一组算子，组成参考网络。示例性的，超网络中每一层的输入数据为上一层的输出数据，第一层网络层的输入数据为输入的图像，最后一层网络层的输出数据为图像处理结果，即，目标检测结果。
[0212]
示例性的，参考网络可以是根据开发人员的经验确定出的网络，例如，根据现有的表现较优的目标检测网络的网络结构从超网络中确定出第一组算子，该第一组算子所组成的网络结构与现有的目标检测网络的网络结构相同。
[0213]
计算机设备在超网络中等概率随机采样得到第二组算子，组成随机网络；或，根据至少两个候选算子的结构参数，在超网络中随机采样得到第二组算子，组成随机网络。
[0214]
示例性的，计算机设备调用采样函数基于每个网络层的至少一个候选算子的结构参数，计算每个网络层的独热向量；根据每个网络层的独热向量，从每个网络层中选出一个候选算子得到第二组算子，组成随机网络。
[0215]
示例性的，计算机设备在执行第一步之前，还会初始化超网络及至少两个候选算子的结构参数；使用预热图像样本集训练超网络中至少两个候选算子的网络参数，使超网络中各个算子具备初步的目标检测能力。
[0216]
第二步，计算机设备使用训练图像样本集训练更新第一组算子和第二组算子的网络参数。
[0217]
示例性的，训练图像样本集中包括样本图像和样本图像对应的真实值，该真实值为样本图像的目标检测结果，例如，该真实值可以是样本图像中框出目标的目标检测框的位置信息，例如，目标检测框的中心点坐标、长度和宽度。
[0218]
计算机设备使用训练图像样本集分别训练第一组算子和第二组算子，使第一组算子组成的参考网络能够根据输入的图像输出较为准确的目标检测结果；使第二组算子组成的随机网络能够根据输入的图像输出较为准确的目标检测结果。
[0219]
例如，计算机设备将训练图像样本集中的第一样本输入随机网络得到第一预测目标检测结果；根据第一预测目标检测结果与第一真实目标检测结果的损失训练更新第二组算子的网络参数，第一真实目标检测结果为第一样本对应的真实的目标检测结果；将训练图像样本集中的第二样本输入参考网络得到第二预测目标检测结果；根据第二预测目标检测结果与第二真实目标检测结果的损失训练更新第一组算子的网络参数，第二真实目标检测结果为第二样本对应的真实的目标检测结果。
[0220]
第三步，计算机设备使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数，结构参数用于从超网络中确定目标检测网络。
[0221]
计算机设备将验证图像样本集中的第三样本输入超网络得到第三预测目标检测结果；根据第三预测目标检测结果与第三真实目标检测结果的损失训练更新超网络中至少两个候选算子的结构参数，第三真实目标检测结果为第三样本对应的真实的目标检测结果。
[0222]
示例性的，超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k均为正整数，j为大于1的整数。计算机设备将验证图像样本集中的第三样本分别输入第1个网络层中的q个候选算子，得到q个中间输出；将q个候选算子分别对应的结构参数作为权重，计算q个中间输出的加权和，得到第1个网络层的第1输出；将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的k个候选算子中，得到k个中间输出；将k个候选算子分别对应的结构参数作为权重，计算k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为第三预测目标检测结果。
[0223]
第四步，计算机设备根据结构参数从超网络中搜索得到目标检测网络，目标检测网络包括超网络中的第三组算子。
[0224]
第五步，计算机设备调用目标检测网络对输入图像进行目标检测，得到目标检测结果。
[0225]
示例性的，执行第一步至第四步，为执行一轮的神经网络结构搜索，得到一轮的目标检测网络，为了进一步提高所选出的网络的性能，可以执行多轮神经网络结构搜索后得到最终的最终目标检测网络。示例性的，上述第一步至第四步中的目标检测网络为第1轮目标检测网络。在第四步之后执行第五步之前，还可以执行下述的第六步至第步。
[0226]
第六步，计算机设备响应于第i
‑
1轮目标检测网络不满足需求条件，在超网络中确定第i轮参考网络和第i轮随机网络，第i轮参考网络包括在超网络中预先确定的第i轮第一组算子，第i轮随机网络包括在超网络中随机采样的第i轮第二组算子，i为大于1不大于n的整数。
[0227]
第七步，计算机设备使用训练图像样本集训练更新第i轮第一组算子和第i轮第二组算子的网络参数。
[0228]
第八步，计算机设备使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数。
[0229]
第九步，计算机设备根据结构参数从超网络中搜索得到第i轮目标检测网络，第i
轮目标检测网络包括超网络中的第i轮第三组算子。
[0230]
第十步，计算机设备重复执行上述第六步至第九步，直至第n轮目标检测网络满足需求条件，将第n轮目标检测网络输出为最终目标检测网络，n为正整数。
[0231]
示例性的，需求条件可以是目标检测网络进行目标检测的误差低于第二阈值。
[0232]
在得到最终目标检测网络后，上述的第五步可以被替换为：计算机设备调用最终目标检测网络对输入图像进行目标检测，得到目标检测结果。
[0233]
示例性的，给出一种将本技术提供的图像处理方法，应用于图像分割场景的示例性实施例。
[0234]
第一步，计算机设备在超网络中确定参考网络和随机网络，超网络包括至少两个候选算子，参考网络包括在超网络中预先确定的第一组算子，随机网络包括在超网络中随机采样的第二组算子，超网络用于进行图像分割。
[0235]
计算机设备接收第一指示信息，第一指示信息用于指示组成参考网络的第一组算子；计算机设备根据第一指示信息在超网络中确定参考网络。示例性的，超网络包括至少一个网络层，每个网络层包括至少一个候选算子，计算机设备根据第一指示信息，从超网络的每个网络层中选出一个候选算子得到第一组算子，组成参考网络。示例性的，超网络中每一层的输入数据为上一层的输出数据，第一层网络层的输入数据为输入的图像，最后一层网络层的输出数据为图像处理结果，即，图像分割结果。
[0236]
示例性的，参考网络可以是根据开发人员的经验确定出的网络，例如，根据现有的表现较优的图像分割网络的网络结构从超网络中确定出第一组算子，该第一组算子所组成的网络结构与现有的图像分割网络的网络结构相同。
[0237]
计算机设备在超网络中等概率随机采样得到第二组算子，组成随机网络；或，根据至少两个候选算子的结构参数，在超网络中随机采样得到第二组算子，组成随机网络。
[0238]
示例性的，计算机设备调用采样函数基于每个网络层的至少一个候选算子的结构参数，计算每个网络层的独热向量；根据每个网络层的独热向量，从每个网络层中选出一个候选算子得到第二组算子，组成随机网络。
[0239]
示例性的，计算机设备在执行第一步之前，还会初始化超网络及至少两个候选算子的结构参数；使用预热图像样本集训练超网络中至少两个候选算子的网络参数，使超网络中各个算子具备初步的图像分割能力。
[0240]
第二步，计算机设备使用训练图像样本集训练更新第一组算子和第二组算子的网络参数。
[0241]
示例性的，训练图像样本集中包括样本图像和样本图像对应的真实值，该真实值为样本图像的图像分割结果，例如，该真实值可以是样本图像中各像素点所属的分类概率值。
[0242]
计算机设备使用训练图像样本集分别训练第一组算子和第二组算子，使第一组算子组成的参考网络能够根据输入的图像输出较为准确的图像分割结果；使第二组算子组成的随机网络能够根据输入的图像输出较为准确的图像分割结果。
[0243]
例如，计算机设备将训练图像样本集中的第一样本输入随机网络得到第一预测图像分割结果；根据第一预测图像分割结果与第一真实图像分割结果的损失训练更新第二组算子的网络参数，第一真实图像分割结果为第一样本对应的真实的图像分割结果；将训练
图像样本集中的第二样本输入参考网络得到第二预测图像分割结果；根据第二预测图像分割结果与第二真实图像分割结果的损失训练更新第一组算子的网络参数，第二真实图像分割结果为第二样本对应的真实的图像分割结果。
[0244]
第三步，计算机设备使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数，结构参数用于从超网络中确定图像分割网络。
[0245]
计算机设备将验证图像样本集中的第三样本输入超网络得到第三预测图像分割结果；根据第三预测图像分割结果与第三真实图像分割结果的损失训练更新超网络中至少两个候选算子的结构参数，第三真实图像分割结果为第三样本对应的真实的图像分割结果。
[0246]
示例性的，超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k均为正整数，j为大于1的整数。计算机设备将验证图像样本集中的第三样本分别输入第1个网络层中的q个候选算子，得到q个中间输出；将q个候选算子分别对应的结构参数作为权重，计算q个中间输出的加权和，得到第1个网络层的第1输出；将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的k个候选算子中，得到k个中间输出；将k个候选算子分别对应的结构参数作为权重，计算k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为第三预测图像分割结果。
[0247]
第四步，计算机设备根据结构参数从超网络中搜索得到图像分割网络，图像分割网络包括超网络中的第三组算子。
[0248]
第五步，计算机设备调用图像分割网络对输入图像进行图像分割，得到图像分割结果。
[0249]
示例性的，执行第一步至第四步，为执行一轮的神经网络结构搜索，得到一轮的图像分割网络，为了进一步提高所选出的网络的性能，可以执行多轮神经网络结构搜索后得到最终的最终图像分割网络。示例性的，上述第一步至第四步中的图像分割网络为第1轮图像分割网络。在第四步之后执行第五步之前，还可以执行下述的第六步至第步。
[0250]
第六步，计算机设备响应于第i
‑
1轮图像分割网络不满足需求条件，在超网络中确定第i轮参考网络和第i轮随机网络，第i轮参考网络包括在超网络中预先确定的第i轮第一组算子，第i轮随机网络包括在超网络中随机采样的第i轮第二组算子，i为大于1不大于n的整数。
[0251]
第七步，计算机设备使用训练图像样本集训练更新第i轮第一组算子和第i轮第二组算子的网络参数。
[0252]
第八步，计算机设备使用验证图像样本集训练更新超网络中至少两个候选算子的结构参数。
[0253]
第九步，计算机设备根据结构参数从超网络中搜索得到第i轮图像分割网络，第i轮图像分割网络包括超网络中的第i轮第三组算子。
[0254]
第十步，计算机设备重复执行上述第六步至第九步，直至第n轮图像分割网络满足需求条件，将第n轮图像分割网络输出为最终图像分割网络，n为正整数。
[0255]
示例性的，需求条件可以是图像分割网络进行图像分割的准确率高于第三阈值。
[0256]
在得到最终图像分割网络后，上述的第五步可以被替换为：计算机设备调用最终图像分割网络对输入图像进行图像分割，得到图像分割结果。
[0257]
以下为本技术的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。
[0258]
图6示出了本技术的一个示例性实施例提供的图像处理装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置包括：
[0259]
确定模块601，用于在超网络中确定参考网络和随机网络，所述超网络包括至少两个候选算子，所述参考网络包括在所述超网络中预先确定的第一组算子，所述随机网络包括在所述超网络中随机采样的第二组算子，所述超网络用于进行图像处理；
[0260]
网络训练模块602，用于使用训练图像样本集训练更新所述第一组算子和所述第二组算子的网络参数；
[0261]
结构训练模块603，用于使用验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数，所述结构参数用于从所述超网络中确定图像处理网络；
[0262]
搜索模块604，用于根据所述结构参数从所述超网络中搜索得到所述图像处理网络，所述图像处理网络包括所述超网络中的第三组算子；
[0263]
调用模块610，用于调用所述图像处理网络对输入图像进行图像处理，得到图像处理结果。
[0264]
在一种可选的实施例中，所述装置还包括：
[0265]
接收模块605，用于接收第一指示信息，所述第一指示信息用于指示组成所述参考网络的所述第一组算子；
[0266]
所述确定模块601，用于根据所述第一指示信息在所述超网络中确定所述参考网络。
[0267]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；
[0268]
所述确定模块601，用于根据所述第一指示信息，从所述超网络的所述每个网络层中选出一个候选算子得到所述第一组算子，组成所述参考网络。
[0269]
在一种可选的实施例中，所述确定模块601，用于在所述超网络中等概率随机采样得到所述第二组算子，组成所述随机网络；
[0270]
或，
[0271]
所述确定模块601，用于根据所述至少两个候选算子的结构参数，在所述超网络中随机采样得到所述第二组算子，组成所述随机网络。
[0272]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；所述装置还包括：
[0273]
计算模块606，用于调用采样函数基于所述每个网络层的所述至少一个候选算子的所述结构参数，计算所述每个网络层的独热向量；
[0274]
所述确定模块601，用于根据所述每个网络层的所述独热向量，从所述每个网络层中选出一个候选算子得到所述第二组算子，组成所述随机网络。
[0275]
在一种可选的实施例中，所述图像处理网络为第1轮图像处理网络；所述装置还包括：
[0276]
所述确定模块601，用于响应于第i
‑
1轮图像处理网络不满足需求条件，在所述超网络中确定第i轮参考网络和第i轮随机网络，所述第i轮参考网络包括在所述超网络中预
先确定的第i轮第一组算子，所述第i轮随机网络包括在所述超网络中随机采样的第i轮第二组算子，i为大于1不大于n的整数；
[0277]
所述网络训练模块602，用于使用所述训练图像样本集训练更新所述第i轮第一组算子和所述第i轮第二组算子的所述网络参数；
[0278]
所述结构训练模块603，用于使用所述验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数；
[0279]
所述搜索模块604，用于根据所述结构参数从所述超网络中搜索得到第i轮图像处理网络，所述第i轮图像处理网络包括所述超网络中的第i轮第三组算子；
[0280]
循环模块607，用于重复执行上述步骤，直至第n轮图像处理网络满足所述需求条件，将所述第n轮图像处理网络输出为最终图像处理网络，n为正整数；
[0281]
所述调用模块610，用于调用所述最终图像处理网络对所述输入图像进行图像处理，得到所述图像处理结果。
[0282]
在一种可选的实施例中，所述参考网络为第1轮参考网络；所述装置还包括：
[0283]
计算模块606，用于计算第i
‑
1轮图像处理网络和第i
‑
1轮参考网络的性能参数，i为大于1不大于n的整数；
[0284]
所述确定模块601，用于将所述第i
‑
1轮图像处理网络与所述第i
‑
1轮参考网络中，所述性能参数较优的网络确定为所述第i轮参考网络。
[0285]
在一种可选的实施例中，所述装置还包括：
[0286]
接收模块605，用于接收第二指示信息，所述第二指示信息用于指示组成所述第i轮参考网络的所述第i轮第一组算子；
[0287]
所述确定模块601，用于根据所述第二指示信息在所述超网络中确定所述第i轮参考网络。
[0288]
在一种可选的实施例中，所述网络训练模块602，用于将所述训练图像样本集中的第一样本输入所述随机网络得到第一预测值；
[0289]
所述网络训练模块602，用于根据所述第一预测值与第一真实值的损失训练更新所述第二组算子的所述网络参数，所述第一真实值为所述第一样本对应的真实值；
[0290]
所述网络训练模块602，用于将所述训练图像样本集中的第二样本输入所述参考网络得到第二预测值；
[0291]
所述网络训练模块602，用于根据所述第二预测值与第二真实值的损失训练更新所述第一组算子的所述网络参数，所述第二真实值为所述第二样本对应的真实值。
[0292]
在一种可选的实施例中，所述结构训练模块603，用于将所述验证图像样本集中的第三样本输入所述超网络得到第三预测值；
[0293]
所述结构训练模块603，用于根据所述第三预测值与第三真实值的损失训练更新所述超网络中所述至少两个候选算子的所述结构参数，所述第三真实值为所述第三样本对应的真实值。
[0294]
在一种可选的实施例中，所述超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k为正整数，j为大于1的整数；
[0295]
所述结构训练模块603，用于将所述验证图像样本集中的所述第三样本分别输入所述第1个网络层中的所述q个候选算子，得到q个中间输出；将所述q个候选算子分别对应
的所述结构参数作为权重，计算所述q个中间输出的加权和，得到第1个网络层的第1输出；
[0296]
所述结构训练模块603，用于将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的所述k个候选算子中，得到k个中间输出；将所述k个候选算子分别对应的所述结构参数作为权重，计算所述k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为所述第三预测值。
[0297]
在一种可选的实施例中，所述装置还包括：
[0298]
初始化模块608，用于初始化所述超网络及所述至少两个候选算子的所述结构参数；
[0299]
预热模块609，用于使用预热图像样本集训练所述超网络中所述至少两个候选算子的所述网络参数。
[0300]
在一种可选的实施例中，所述预热模块609，用于在所述超网络中确定预热网络，所述预热网络包括在所述超网络中随机采样的第四组算子；
[0301]
所述预热模块609，用于使用所述预热图像样本集训练更新所述第四组算子的所述网络参数；
[0302]
所述预热模块609，用于重复上述步骤训练所述超网络中所述至少两个候选算子的所述网络参数。
[0303]
确定模块601，用于在超网络中确定参考网络和随机网络，所述超网络包括至少两个候选算子，所述参考网络包括在所述超网络中预先确定的第一组算子，所述随机网络包括在所述超网络中随机采样的第二组算子，所述超网络用于进行图像分类；
[0304]
网络训练模块602，用于使用训练图像样本集训练更新所述第一组算子和所述第二组算子的网络参数；
[0305]
结构训练模块603，用于使用验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数，所述结构参数用于从所述超网络中确定图像分类网络；
[0306]
搜索模块604，用于根据所述结构参数从所述超网络中搜索得到所述图像分类网络，所述图像分类网络包括所述超网络中的第三组算子；
[0307]
调用模块610，用于调用所述图像分类网络对输入图像进行图像分类，得到图像分类结果。
[0308]
在一种可选的实施例中，所述装置还包括：
[0309]
接收模块605，用于接收第一指示信息，所述第一指示信息用于指示组成所述参考网络的所述第一组算子；
[0310]
所述确定模块601，用于根据所述第一指示信息在所述超网络中确定所述参考网络。
[0311]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；
[0312]
所述确定模块601，用于根据所述第一指示信息，从所述超网络的所述每个网络层中选出一个候选算子得到所述第一组算子，组成所述参考网络。
[0313]
在一种可选的实施例中，所述确定模块601，用于在所述超网络中等概率随机采样得到所述第二组算子，组成所述随机网络；
[0314]
或，
[0315]
所述确定模块601，用于根据所述至少两个候选算子的结构参数，在所述超网络中随机采样得到所述第二组算子，组成所述随机网络。
[0316]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；所述装置还包括：
[0317]
计算模块606，用于调用采样函数基于所述每个网络层的所述至少一个候选算子的所述结构参数，计算所述每个网络层的独热向量；
[0318]
所述确定模块601，用于根据所述每个网络层的所述独热向量，从所述每个网络层中选出一个候选算子得到所述第二组算子，组成所述随机网络。
[0319]
在一种可选的实施例中，所述图像分类网络为第1轮图像分类网络；所述装置还包括：
[0320]
所述确定模块601，用于响应于第i
‑
1轮图像分类网络不满足需求条件，在所述超网络中确定第i轮参考网络和第i轮随机网络，所述第i轮参考网络包括在所述超网络中预先确定的第i轮第一组算子，所述第i轮随机网络包括在所述超网络中随机采样的第i轮第二组算子，i为大于1不大于n的整数；
[0321]
所述网络训练模块602，用于使用所述训练图像样本集训练更新所述第i轮第一组算子和所述第i轮第二组算子的所述网络参数；
[0322]
所述结构训练模块603，用于使用所述验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数；
[0323]
所述搜索模块604，用于根据所述结构参数从所述超网络中搜索得到第i轮图像分类网络，所述第i轮图像分类网络包括所述超网络中的第i轮第三组算子；
[0324]
循环模块607，用于重复执行上述步骤，直至第n轮图像分类网络满足所述需求条件，将所述第n轮图像分类网络输出为最终图像分类网络，n为正整数；
[0325]
所述调用模块610，用于调用所述最终图像分类网络对所述输入图像进行图像分类，得到所述图像分类结果。
[0326]
在一种可选的实施例中，所述参考网络为第1轮参考网络；所述装置还包括：
[0327]
计算模块606，用于计算第i
‑
1轮图像分类网络和第i
‑
1轮参考网络的性能参数，i为大于1不大于n的整数；
[0328]
所述确定模块601，用于将所述第i
‑
1轮图像分类网络与所述第i
‑
1轮参考网络中，所述性能参数较优的网络确定为所述第i轮参考网络。
[0329]
在一种可选的实施例中，所述装置还包括：
[0330]
接收模块605，用于接收第二指示信息，所述第二指示信息用于指示组成所述第i轮参考网络的所述第i轮第一组算子；
[0331]
所述确定模块601，用于根据所述第二指示信息在所述超网络中确定所述第i轮参考网络。
[0332]
在一种可选的实施例中，所述网络训练模块602，用于将所述训练图像样本集中的第一样本输入所述随机网络得到第一预测分类结果；
[0333]
所述网络训练模块602，用于根据所述第一预测分类结果与第一真实分类结果的损失训练更新所述第二组算子的所述网络参数，所述第一真实分类结果为所述第一样本对应的真实的分类结果；
[0334]
所述网络训练模块602，用于将所述训练图像样本集中的第二样本输入所述参考网络得到第二预测分类结果；
[0335]
所述网络训练模块602，用于根据所述第二预测分类结果与第二真实分类结果的损失训练更新所述第一组算子的所述网络参数，所述第二真实分类结果为所述第二样本对应的真实的分类结果。
[0336]
在一种可选的实施例中，所述结构训练模块603，用于将所述验证图像样本集中的第三样本输入所述超网络得到第三预测分类结果；
[0337]
所述结构训练模块603，用于根据所述第三预测分类结果与第三真实分类结果的损失训练更新所述超网络中所述至少两个候选算子的所述结构参数，所述第三真实分类结果为所述第三样本对应的真实的分类结果。
[0338]
在一种可选的实施例中，所述超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k为正整数，j为大于1的整数；
[0339]
所述结构训练模块603，用于将所述验证图像样本集中的所述第三样本分别输入所述第1个网络层中的所述q个候选算子，得到q个中间输出；将所述q个候选算子分别对应的所述结构参数作为权重，计算所述q个中间输出的加权和，得到第1个网络层的第1输出；
[0340]
所述结构训练模块603，用于将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的所述k个候选算子中，得到k个中间输出；将所述k个候选算子分别对应的所述结构参数作为权重，计算所述k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为所述第三预测分类结果。
[0341]
在一种可选的实施例中，所述装置还包括：
[0342]
初始化模块608，用于初始化所述超网络及所述至少两个候选算子的所述结构参数；
[0343]
预热模块609，用于使用预热图像样本集训练所述超网络中所述至少两个候选算子的所述网络参数。
[0344]
在一种可选的实施例中，所述预热模块609，用于在所述超网络中确定预热网络，所述预热网络包括在所述超网络中随机采样的第四组算子；
[0345]
所述预热模块609，用于使用所述预热图像样本集训练更新所述第四组算子的所述网络参数；
[0346]
所述预热模块609，用于重复上述步骤训练所述超网络中所述至少两个候选算子的所述网络参数。
[0347]
在一种可选的实施例中，确定模块601，用于在超网络中确定参考网络和随机网络，所述超网络包括至少两个候选算子，所述参考网络包括在所述超网络中预先确定的第一组算子，所述随机网络包括在所述超网络中随机采样的第二组算子，所述超网络用于进行目标检测；
[0348]
网络训练模块602，用于使用训练图像样本集训练更新所述第一组算子和所述第二组算子的网络参数；
[0349]
结构训练模块603，用于使用验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数，所述结构参数用于从所述超网络中确定目标检测网络；
[0350]
搜索模块604，用于根据所述结构参数从所述超网络中搜索得到所述目标检测网
络，所述目标检测网络包括所述超网络中的第三组算子；
[0351]
调用模块610，用于调用所述目标检测网络对输入图像进行目标检测，得到目标检测结果。
[0352]
在一种可选的实施例中，所述装置还包括：
[0353]
接收模块605，用于接收第一指示信息，所述第一指示信息用于指示组成所述参考网络的所述第一组算子；
[0354]
所述确定模块601，用于根据所述第一指示信息在所述超网络中确定所述参考网络。
[0355]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；
[0356]
所述确定模块601，用于根据所述第一指示信息，从所述超网络的所述每个网络层中选出一个候选算子得到所述第一组算子，组成所述参考网络。
[0357]
在一种可选的实施例中，所述确定模块601，用于在所述超网络中等概率随机采样得到所述第二组算子，组成所述随机网络；
[0358]
或，
[0359]
所述确定模块601，用于根据所述至少两个候选算子的结构参数，在所述超网络中随机采样得到所述第二组算子，组成所述随机网络。
[0360]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；所述装置还包括：
[0361]
计算模块606，用于调用采样函数基于所述每个网络层的所述至少一个候选算子的所述结构参数，计算所述每个网络层的独热向量；
[0362]
所述确定模块601，用于根据所述每个网络层的所述独热向量，从所述每个网络层中选出一个候选算子得到所述第二组算子，组成所述随机网络。
[0363]
在一种可选的实施例中，所述目标检测网络为第1轮目标检测网络；所述装置还包括：
[0364]
所述确定模块601，用于响应于第i
‑
1轮目标检测网络不满足需求条件，在所述超网络中确定第i轮参考网络和第i轮随机网络，所述第i轮参考网络包括在所述超网络中预先确定的第i轮第一组算子，所述第i轮随机网络包括在所述超网络中随机采样的第i轮第二组算子，i为大于1不大于n的整数；
[0365]
所述网络训练模块602，用于使用所述训练图像样本集训练更新所述第i轮第一组算子和所述第i轮第二组算子的所述网络参数；
[0366]
所述结构训练模块603，用于使用所述验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数；
[0367]
所述搜索模块604，用于根据所述结构参数从所述超网络中搜索得到第i轮目标检测网络，所述第i轮目标检测网络包括所述超网络中的第i轮第三组算子；
[0368]
循环模块607，用于重复执行上述步骤，直至第n轮目标检测网络满足所述需求条件，将所述第n轮目标检测网络输出为最终目标检测网络，n为正整数；
[0369]
所述调用模块610，用于调用所述最终目标检测网络对所述输入图像进行目标检测，得到所述目标检测结果。
[0370]
在一种可选的实施例中，所述参考网络为第1轮参考网络；所述装置还包括：
[0371]
计算模块606，用于计算第i
‑
1轮目标检测网络和第i
‑
1轮参考网络的性能参数，i为大于1不大于n的整数；
[0372]
所述确定模块601，用于将所述第i
‑
1轮目标检测网络与所述第i
‑
1轮参考网络中，所述性能参数较优的网络确定为所述第i轮参考网络。
[0373]
在一种可选的实施例中，所述装置还包括：
[0374]
接收模块605，用于接收第二指示信息，所述第二指示信息用于指示组成所述第i轮参考网络的所述第i轮第一组算子；
[0375]
所述确定模块601，用于根据所述第二指示信息在所述超网络中确定所述第i轮参考网络。
[0376]
在一种可选的实施例中，所述网络训练模块602，用于将所述训练图像样本集中的第一样本输入所述随机网络得到第一预测目标检测结果；
[0377]
所述网络训练模块602，用于根据所述第一预测目标检测结果与第一真实目标检测结果的损失训练更新所述第二组算子的所述网络参数，所述第一真实目标检测结果为所述第一样本对应的真实的目标检测结果；
[0378]
所述网络训练模块602，用于将所述训练图像样本集中的第二样本输入所述参考网络得到第二预测目标检测结果；
[0379]
所述网络训练模块602，用于根据所述第二预测目标检测结果与第二真实目标检测结果的损失训练更新所述第一组算子的所述网络参数，所述第二真实目标检测结果为所述第二样本对应的真实的目标检测结果。
[0380]
在一种可选的实施例中，所述结构训练模块603，用于将所述验证图像样本集中的第三样本输入所述超网络得到第三预测目标检测结果；
[0381]
所述结构训练模块603，用于根据所述第三预测目标检测结果与第三真实目标检测结果的损失训练更新所述超网络中所述至少两个候选算子的所述结构参数，所述第三真实目标检测结果为所述第三样本对应的真实的目标检测结果。
[0382]
在一种可选的实施例中，所述超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k为正整数，j为大于1的整数；
[0383]
所述结构训练模块603，用于将所述验证图像样本集中的所述第三样本分别输入所述第1个网络层中的所述q个候选算子，得到q个中间输出；将所述q个候选算子分别对应的所述结构参数作为权重，计算所述q个中间输出的加权和，得到第1个网络层的第1输出；
[0384]
所述结构训练模块603，用于将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的所述k个候选算子中，得到k个中间输出；将所述k个候选算子分别对应的所述结构参数作为权重，计算所述k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为所述第三预测目标检测结果。
[0385]
在一种可选的实施例中，所述装置还包括：
[0386]
初始化模块608，用于初始化所述超网络及所述至少两个候选算子的所述结构参数；
[0387]
预热模块609，用于使用预热图像样本集训练所述超网络中所述至少两个候选算子的所述网络参数。
[0388]
在一种可选的实施例中，所述预热模块609，用于在所述超网络中确定预热网络，所述预热网络包括在所述超网络中随机采样的第四组算子；
[0389]
所述预热模块609，用于使用所述预热图像样本集训练更新所述第四组算子的所述网络参数；
[0390]
所述预热模块609，用于重复上述步骤训练所述超网络中所述至少两个候选算子的所述网络参数。
[0391]
在一种可选的实施例中，确定模块601，用于在超网络中确定参考网络和随机网络，所述超网络包括至少两个候选算子，所述参考网络包括在所述超网络中预先确定的第一组算子，所述随机网络包括在所述超网络中随机采样的第二组算子，所述超网络用于进行图像分割；
[0392]
网络训练模块602，用于使用训练图像样本集训练更新所述第一组算子和所述第二组算子的网络参数；
[0393]
结构训练模块603，用于使用验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数，所述结构参数用于从所述超网络中确定图像分割网络；
[0394]
搜索模块604，用于根据所述结构参数从所述超网络中搜索得到所述图像分割网络，所述图像分割网络包括所述超网络中的第三组算子；
[0395]
调用模块610，用于调用所述图像分割网络对输入图像进行图像分割，得到图像分割结果。
[0396]
在一种可选的实施例中，所述装置还包括：
[0397]
接收模块605，用于接收第一指示信息，所述第一指示信息用于指示组成所述参考网络的所述第一组算子；
[0398]
所述确定模块601，用于根据所述第一指示信息在所述超网络中确定所述参考网络。
[0399]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；
[0400]
所述确定模块601，用于根据所述第一指示信息，从所述超网络的所述每个网络层中选出一个候选算子得到所述第一组算子，组成所述参考网络。
[0401]
在一种可选的实施例中，所述确定模块601，用于在所述超网络中等概率随机采样得到所述第二组算子，组成所述随机网络；
[0402]
或，
[0403]
所述确定模块601，用于根据所述至少两个候选算子的结构参数，在所述超网络中随机采样得到所述第二组算子，组成所述随机网络。
[0404]
在一种可选的实施例中，所述超网络包括至少一个网络层，每个网络层包括至少一个候选算子；所述装置还包括：
[0405]
计算模块606，用于调用采样函数基于所述每个网络层的所述至少一个候选算子的所述结构参数，计算所述每个网络层的独热向量；
[0406]
所述确定模块601，用于根据所述每个网络层的所述独热向量，从所述每个网络层中选出一个候选算子得到所述第二组算子，组成所述随机网络。
[0407]
在一种可选的实施例中，所述图像分割网络为第1轮图像分割网络；所述装置还包
括：
[0408]
所述确定模块601，用于响应于第i
‑
1轮图像分割网络不满足需求条件，在所述超网络中确定第i轮参考网络和第i轮随机网络，所述第i轮参考网络包括在所述超网络中预先确定的第i轮第一组算子，所述第i轮随机网络包括在所述超网络中随机采样的第i轮第二组算子，i为大于1不大于n的整数；
[0409]
所述网络训练模块602，用于使用所述训练图像样本集训练更新所述第i轮第一组算子和所述第i轮第二组算子的所述网络参数；
[0410]
所述结构训练模块603，用于使用所述验证图像样本集训练更新所述超网络中所述至少两个候选算子的结构参数；
[0411]
所述搜索模块604，用于根据所述结构参数从所述超网络中搜索得到第i轮图像分割网络，所述第i轮图像分割网络包括所述超网络中的第i轮第三组算子；
[0412]
循环模块607，用于重复执行上述步骤，直至第n轮图像分割网络满足所述需求条件，将所述第n轮图像分割网络输出为最终图像分割网络，n为正整数；
[0413]
所述调用模块610，用于调用所述最终图像分割网络对所述输入图像进行图像分割，得到所述图像分割结果。
[0414]
在一种可选的实施例中，所述参考网络为第1轮参考网络；所述装置还包括：
[0415]
计算模块606，用于计算第i
‑
1轮图像分割网络和第i
‑
1轮参考网络的性能参数，i为大于1不大于n的整数；
[0416]
所述确定模块601，用于将所述第i
‑
1轮图像分割网络与所述第i
‑
1轮参考网络中，所述性能参数较优的网络确定为所述第i轮参考网络。
[0417]
在一种可选的实施例中，所述装置还包括：
[0418]
接收模块605，用于接收第二指示信息，所述第二指示信息用于指示组成所述第i轮参考网络的所述第i轮第一组算子；
[0419]
所述确定模块601，用于根据所述第二指示信息在所述超网络中确定所述第i轮参考网络。
[0420]
在一种可选的实施例中，所述网络训练模块602，用于将所述训练图像样本集中的第一样本输入所述随机网络得到第一预测图像分割结果；
[0421]
所述网络训练模块602，用于根据所述第一预测图像分割结果与第一真实图像分割结果的损失训练更新所述第二组算子的所述网络参数，所述第一真实图像分割结果为所述第一样本对应的真实的图像分割结果；
[0422]
所述网络训练模块602，用于将所述训练图像样本集中的第二样本输入所述参考网络得到第二预测图像分割结果；
[0423]
所述网络训练模块602，用于根据所述第二预测图像分割结果与第二真实图像分割结果的损失训练更新所述第一组算子的所述网络参数，所述第二真实图像分割结果为所述第二样本对应的真实的图像分割结果。
[0424]
在一种可选的实施例中，所述结构训练模块603，用于将所述验证图像样本集中的第三样本输入所述超网络得到第三预测图像分割结果；
[0425]
所述结构训练模块603，用于根据所述第三预测图像分割结果与第三真实图像分割结果的损失训练更新所述超网络中所述至少两个候选算子的所述结构参数，所述第三真
实图像分割结果为所述第三样本对应的真实的图像分割结果。
[0426]
在一种可选的实施例中，所述超网络包括m个网络层，第1个网络层包括q个候选算子，第j个网络层包括k个候选算子，m、q、k为正整数，j为大于1的整数；
[0427]
所述结构训练模块603，用于将所述验证图像样本集中的所述第三样本分别输入所述第1个网络层中的所述q个候选算子，得到q个中间输出；将所述q个候选算子分别对应的所述结构参数作为权重，计算所述q个中间输出的加权和，得到第1个网络层的第1输出；
[0428]
所述结构训练模块603，用于将第j
‑
1个网络层的第j
‑
1输出，分别输入第j个网络层中的所述k个候选算子中，得到k个中间输出；将所述k个候选算子分别对应的所述结构参数作为权重，计算所述k个中间输出的加权和，得到第j个网络层的第j输出；重复本步骤，将第m个网络层的第m输出确定为所述第三预测图像分割结果。
[0429]
在一种可选的实施例中，所述装置还包括：
[0430]
初始化模块608，用于初始化所述超网络及所述至少两个候选算子的所述结构参数；
[0431]
预热模块609，用于使用预热图像样本集训练所述超网络中所述至少两个候选算子的所述网络参数。
[0432]
在一种可选的实施例中，所述预热模块609，用于在所述超网络中确定预热网络，所述预热网络包括在所述超网络中随机采样的第四组算子；
[0433]
所述预热模块609，用于使用所述预热图像样本集训练更新所述第四组算子的所述网络参数；
[0434]
所述预热模块609，用于重复上述步骤训练所述超网络中所述至少两个候选算子的所述网络参数。
[0435]
图7是本技术一个实施例提供的服务器的结构示意图。具体来讲：服务器800包括中央处理单元(英文：central processing unit，简称：cpu)801、包括随机存取存储器(英文：random access memory，简称：ram)802和只读存储器(英文：read
‑
only memory，简称：rom)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。服务器800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(i/o系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。
[0436]
基本输入/输出系统806包括有用于显示信息的显示器808和用于用户帐号输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到系统总线805的输入/输出控制器810连接到中央处理单元801。基本输入/输出系统806还可以包括输入/输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
[0437]
大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者只读光盘(英文：compact disc read
‑
only memory，简称：cd
‑
rom)驱动器之类的计算机可读介质(未示出)。
[0438]
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何
方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器(英文：erasable programmable read
‑
only memory，简称：eprom)、电可擦除可编程只读存储器(英文：electrically erasable programmable read
‑
only memory，简称：eeprom)、闪存或其他固态存储其技术，cd
‑
rom、数字通用光盘(英文：digital versatile disc，简称：dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
[0439]
根据本技术的各种实施例，服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。
[0440]
本技术还提供了一种终端，该终端包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述各个方法实施例提供的图像处理方法。需要说明的是，该终端可以是如下图8所提供的终端。
[0441]
图8示出了本技术一个示例性实施例提供的终端900的结构框图。该终端900可以是：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户帐号设备、便携式终端、膝上型终端、台式终端等其他名称。
[0442]
通常，终端900包括有：处理器901和存储器902。
[0443]
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0444]
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本技术中方法实施例提供的图像处理方法或图像处理方法。
[0445]
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
[0446]
外围设备接口903可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0447]
射频电路904用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。示例性的，射频电路904包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户帐号身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0448]
显示屏905用于显示ui(user interface，用户帐号界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode，有机发光二极管)等材质制备。
[0449]
摄像头组件906用于采集图像或视频。示例性的，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0450]
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户帐号及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包
括耳机插孔。
[0451]
定位组件908用于定位终端900的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件908可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
[0452]
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0453]
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
[0454]
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户帐号界面的显示。加速度传感器911还可以用于游戏或者用户帐号的运动数据的采集。
[0455]
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户帐号对终端900的3d动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户帐号的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0456]
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户帐号对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户帐号对显示屏905的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0457]
指纹传感器914用于采集用户帐号的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户帐号的身份，或者，由指纹传感器914根据采集到的指纹识别用户帐号的身份。在识别出用户帐号的身份为可信身份时，由处理器901授权该用户帐号执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商logo时，指纹传感器914可以与物理按键或厂商logo集成在一起。
[0458]
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
[0459]
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916
用于采集用户帐号与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户帐号与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户帐号与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
[0460]
本领域技术人员可以理解，图8中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0461]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本技术实施例提供的图像处理方法。
[0462]
本技术还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法。
[0463]
本技术还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法。
[0464]
本技术还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法。
[0465]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0466]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0467]
以上仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。