用于计算压缩策略的方法和系统与流程

本公开涉及用于计算和使用神经网络的压缩策略的方法和系统。

背景技术：

1、神经网络是一类机器学习模型，可以用于计算例如医疗保健、汽车和物联网等不同领域中多种多样的任务。神经网络通常具有包括输入层、输出层和一个或多个中间层的架构。复杂的神经网络可以具有多达数千个中间层。由于有限的资源和功率约束，在边缘装置上部署此类复杂的神经网络会面临重大挑战。

技术实现思路

1、在所附权利要求书中限定了本公开的各方面。

2、在本公开的第一方面，提供了一种使用神经网络的压缩策略的方法。所述方法包括以下步骤：选择神经网络，其中所述神经网络包括多个层；选择多个压缩方法、多个压缩比以及所述神经网络的目标全局压缩比；针对所述神经网络的所述多个层中的每个层，计算所述多个压缩方法中的每个压缩方法和所述多个压缩比中的每个压缩比的每个组合的损失函数的值和成本函数的值；使用所述多个压缩方法中的每个压缩方法和所述多个压缩比中的每个压缩比的每个组合的所述损失函数的所述值和所述成本函数的所述值来计算所述目标全局压缩比对应的所述压缩策略；以及根据所述压缩策略压缩所述神经网络。

3、在本公开的第一方面的一个实施例中，所述方法另外包括以下步骤：针对所述神经网络的所述多个层中的每个层，推断使所述损失函数和所述成本函数最小化的组合，并使用所述组合来计算所述压缩策略。

4、在本公开的第一方面的一个实施例中，所述多个压缩方法、所述多个压缩比和所述神经网络的所述目标压缩比存储于数据库中。

5、在本公开的第一方面的一个实施例中，所述损失函数的所述值和所述成本函数的所述值存储于数据库中。

6、在本公开的第一方面的一个实施例中，所述方法另外包括：使用推断的组合来计算所述目标全局压缩比对应的所述压缩策略的步骤是使用用于约束优化问题的求解器来执行的。

7、在本公开的第一方面的一个实施例中，所述方法另外包括将压缩策略存储在数据库中的步骤。

8、在本公开的第一方面的一个实施例中，所述压缩方法是量化方法、剪枝方法、权重共享方法、张量分解方法或低秩矩阵分解方法。

9、在本公开的第一方面的一个实施例中，在所述神经网络的多个层中的每个压缩层上或在整个压缩的神经网络上应用进一步微调步骤。

10、在本公开的第二方面，提供了一种计算系统。所述计算系统包括一个或多个处理器以及存储指令的一个或多个非暂时性计算机可读介质，所述指令在由所述一个或多个处理器执行时使所述计算系统：选择神经网络，其中所述神经网络包括多个层；选择多个压缩方法、多个压缩比以及所述神经网络的目标全局压缩比；针对所述神经网络的所述多个层中的每个层，计算所述多个压缩方法中的每个压缩方法和所述多个压缩比中的每个压缩比的每个组合的损失函数和成本函数；使用所述多个压缩方法中的每个压缩方法和所述多个压缩比中的每个压缩比的每个组合的所述损失函数和所述成本函数来计算所述目标全局压缩比对应的压缩策略；以及根据所述压缩策略压缩所述神经网络。

11、在本公开的第二方面的一个实施例中，选择所述神经网络、和/或所述多个压缩方法、多个压缩比、和/或所述神经网络的所述目标全局压缩比的步骤是经由用户接口执行的。

12、在本公开的第二方面的一个实施例中，所述计算系统另外包括数据库。

13、在本公开的第二方面的一个实施例中，所述数据库被配置成存储：所述神经网络，和/或所述多个压缩方法，和/或多个压缩比，和/或所述神经网络的目标全局压缩比，和/或所述神经网络的每个层的损失函数，和/或所述神经网络的每个层的成本函数。

14、在本公开的第二方面的一个实施例中，所述数据库被配置成存储所述压缩策略。

15、在本公开的第二方面的一个实施例中，所述数据库存储于一个或多个非暂时性计算机可读介质中。

16、在本公开的第二方面的一个实施例中，所述数据库存储于外部服务器上。

1.一种使用神经网络的压缩策略的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，另外包括以下步骤：针对所述神经网络的所述多个层中的每个层，推断使所述损失函数和所述成本函数最小化的组合，并使用所述组合来计算所述压缩策略。

3.根据在前的任一项权利要求所述的方法，其特征在于，所述多个压缩方法、与所述多个压缩方法相关联的所述多个压缩比以及所述神经网络的所述目标全局压缩比存储于数据库中。

4.根据在前的任一项权利要求所述的方法，其特征在于，所述损失函数的所述值和所述成本函数的所述值存储于数据库中。

5.根据在前的任一项权利要求所述的方法，其特征在于，使用所述损失函数和所述成本函数来计算所述目标全局压缩比对应的所述压缩策略的所述步骤是使用用于约束优化问题的求解器来执行的。

6.根据在前的任一项权利要求所述的方法，其特征在于，另外包括将所述压缩策略存储在数据库中的步骤。

7.根据在前的任一项权利要求所述的方法，其特征在于，所述多个压缩方法包括以下中的一个或多个：量化方法、剪枝方法、权重共享方法、张量分解方法或低秩矩阵分解方法。

8.根据在前的任一项权利要求所述的方法，其特征在于，对所述神经网络的所述多个层中的每个压缩层应用进一步微调步骤。

9.根据权利要求1至权利要求7所述的方法，其特征在于，对压缩的神经网络应用进一步微调步骤。

10.一种计算系统，其特征在于，包括：