一种用于神经网络的基于机器学习的架构搜索方法与流程

技术特征：
1.一种处理器，包括：一个或更多个算术逻辑单元(alu)，用于至少部分地基于将从训练神经网络得到的所述神经网络的一个或更多个性能特征与从测试所述神经网络得到的所述一个或更多个性能特征进行比较来确定所述神经网络的架构。2.如权利要求2所述的处理器，其中：从训练所述神经网络得到的所述神经网络的所述一个或更多个性能特征指示使用训练数据的所述神经网络表现如何好；以及从测试所述神经网络得到的所述一个或更多个性能特征指示使用验证数据的所述神经网络表现如何。3.如权利要求1所述的处理器，其中：使用基于泛化误差的目标函数评估所述神经网络的所述架构；以及所述泛化误差至少部分基于验证损失和训练损失之间的差异。4.如权利要求1所述的处理器，其中确定所述神经网络的架构是使用至少部分地基于离散变量的松弛的可微损失函数的梯度估计来执行的。5.如权利要求1所述的处理器，其中确定所述神经网络的架构是使用代表不可微损失函数的替代函数来执行的。6.如权利要求4所述的处理器，其中所述可微损失函数是所述神经网络的交叉熵损失的量度。7.如权利要求5所述的处理器，其中所述不可微损失函数是所述神经网络的延迟的量度。8.一种系统，包括：一个或更多个处理器，其被配置为至少部分地通过将从训练所述神经网络得到的神经网络的一个或更多个性能特征与从测试所述神经网络得到的所述一个或更多个性能特征进行比较来评估候选神经网络架构而确定网络架构。9.如权利要求8所述的系统，其中：从训练所述神经网络得到的所述神经网络的所述一个或更多个性能特征指示使用训练数据的所述神经网络表现如何好；以及从测试所述神经网络得到的所述一个或更多个性能特征指示使用验证数据的所述神经网络表现如何。10.如权利要求8所述的系统，其中：使用可微损失的梯度确定所述网络架构；以及使用gumbel-softmax分布估计所述梯度。11.如权利要求8所述的系统，其中：使用不可微损失函数的梯度确定所述网络架构；以及所述不可微损失用替代函数来近似。12.如权利要求10所述的系统，其中所述可微损失函数至少部分地基于交叉熵损失。13.如权利要求11所述的系统，其中所述不可微损失至少部分地基于网络延迟或网络准确度。14.如权利要求8所述的系统，其中所述网络架构是使用可微架构搜索来确定的。15.如权利要求8所述的系统，其中所述网络架构的稀疏度是通过使用成对-输入单元结构来强制执行的。
16.一种机器可读介质，其上存储有一组指令，如果由一个或更多个处理器执行所述一组指令，则使所述一个或更多个处理器通过使用损失的梯度估计搜索候选神经网络架构，以及基于从训练所述神经网络得到的所述神经网络的一个或更多个性能特征到从测试所述神经网络得到的所述一个或更多个性能特征来评估候选神经网络架构来至少确定神经网络的架构。17.如权利要求16所述的机器可读介质，其中：所述损失是不可微的；以及所述梯度是使用经过训练以对损失函数建模的神经网络来估计的。18.如权利要求16所述的机器可读介质，其中：所述损失是可微的；以及所述梯度是使用来自条件gumbel-softmax分布的样本来估计的。19.如权利要求16所述的机器可读介质，其中：基于目标函数选择所述架构；以及所述目标函数是延迟和准确度的函数。20.如权利要求16所述的机器可读介质，其中：输入选择器选择先前节点中的两个节点；以及操作选择器为每个输入选择两个操作。21.如权利要求16所述的机器可读介质，其中估计所述梯度的过程不对所述梯度引入偏差。22.一种自主车辆，包括具有基于从训练所述神经网络得到的所述神经网络的一个或更多个性能特征到从测试所述神经网络得到的所述一个或更多个性能特征从多个候选网络架构中选择的网络架构的神经网络。23.如权利要求22所述的自主车辆，其中：输入选择器选择先前节点中的两个节点；以及操作选择器为每个输入选择两个操作。24.如权利要求22所述的自主车辆，其中：所述自主车辆包括捕捉图像的相机；以及所述图像由所述神经网络处理以识别所述图像中的对象。25.如权利要求22所述的自主车辆，其中：所述自主车辆包括捕捉图像的相机；以及所述图像由所述神经网络处理以产生车辆控制信号。

技术总结
在至少一个实施例中，可区分的神经架构搜索和强化学习被组合在一个框架下以发现具有诸如高精度、低延迟或两者的期望属性的网络架构。在至少一个实施例中，基于泛化误差的搜索目标函数防止选择易于过度拟合的架构。目标函数防止选择易于过度拟合的架构。目标函数防止选择易于过度拟合的架构。


技术研发人员：A
受保护的技术使用者：辉达公司
技术研发日：2020.09.09
技术公布日：2022/6/7