基于模型通道剪枝的图像分析方法和装置与流程

技术特征：
1.一种基于模型通道剪枝的图像分析方法，其特征在于，包括：为待处理的图像分析模型的每个卷积层分配通道指示器，并通过连续的辅助参数对所述通道指示器进行松弛化处理，得到松弛化的通道指示器，所述通道指示器用于表示所述卷积层的每个通道是否被剪枝；以所述松弛化的通道指示器作为搜索空间，使用可微分的手段搜索得到期望剪枝的通道；根据所述期望剪枝的通道对所述待处理的图像分析模型中的通道进行剪枝处理，得到剪枝处理的目标图像分析模型；使用所述目标图像分析模型进行图像分析。2.根据权利要求1所述的方法，其特征在于，所述通道指示器为二值化通道指示器，所述连续的辅助参数为基于模拟退火的松弛函数，所述松弛化的通道指示器在高温下呈现连续状态，在低温下逐渐趋向离散态。3.根据权利要求1或2所述的方法，其特征在于，所述松弛化的通道指示器为：其中，t是对模型的激活函数增加的温度变量，h
t
(
·
)是基于模拟退火的松弛函数，是松弛化的通道指示器，是松弛化处理前的二值化通道指示器，为辅助参数，l为卷积层在所述待处理的图像分析模型中的层数，且t在模型搜索开始前设定为高温t＝t0，随着搜索进行，的温度t会按照退火模式降低。4.根据权利要求1所述的方法，其特征在于，所述松弛化的通道指示器由所述辅助参数表示，使用可微分的手段搜索得到期望剪枝的通道，包括：通过对模型参数和所述辅助参数进行优化处理以进行可微分搜索，确定每个通道的重要性，将重要性低于设定阈值的通道作为期望剪枝的通道，其中，对模型参数和所述辅助参数进行优化处理包括：使用双层优化的方式，将所述辅助参数作为上层变量，将所述模型参数作为底层变量，并执行以下数学优化：通过搜索α
*
，使之能最小化验证集上的损失函数l
val
(w
*
(α),α)和正则化项r(α)，其中，参数权重w
*
是通过最小化训练集上的损失函数l
train
(w,α)得到的，w为模型参数，α为辅助参数，λ为正则化项r(α)的权重系数。5.根据权利要求4所述的方法，其特征在于，所述双层优化是迭代进行的，在训练集和验证集上，通过梯度下降的方法分别更新所述模型参数和所述辅助参数，并经过多步迭代最后达到局部最小值。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：模型在搜索过程中引入正则化器，用于对搜索过程进行计算量约束，以得到满足计算
量要求的剪枝模型。7.根据权利要求6所述的方法，其特征在于，所述正则化器包括：lasso正则器、连续的基于计算量估计的正则器和对称性正则器。8.根据权利要求7所述的方法，其特征在于，所述连续的基于计算量估计的正则器为：其中，e
flops
(α)是前l层卷积层的计算量，f是期望剪枝模型的计算量，ε代表容忍空间，ε＜＜1。此正则器会限制剪枝模型最终的计算量停留在[(1-ε)*f,f]之间。9.根据权利要求7所述的方法，其特征在于，所述对称性正则器为：其中，(l,l')代表一个以l个通道的特征图为输入、l'个通道的特征图为输出的残差单元，h
t
(
·
)是基于模拟退火的松弛函数，和为辅助参数，c
l
和c
l'
分别为输入和输出卷积层的通道个数。10.一种基于模型通道剪枝的图像分析装置，其特征在于，包括：指示器处理模块，用于为待处理的图像分析模型的每个卷积层分配通道指示器，并通过连续的辅助参数对所述通道指示器进行松弛化处理，得到松弛化的通道指示器，所述通道指示器用于表示所述卷积层的每个通道是否被剪枝；通道搜索模块，用于以所述松弛化的通道指示器作为搜索空间，使用可微分的手段搜索得到期望剪枝的通道；剪枝处理模块，用于根据所述期望剪枝的通道对所述待处理的图像分析模型中的通道进行剪枝处理，得到剪枝处理的目标图像分析模型；图像分析模块，用于使用所述目标图像分析模型进行图像分析。11.一种基于模型通道剪枝的图像分析电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

技术总结
本发明公开了一种基于模型通道剪枝的图像分析方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：为待处理的图像分析模型的每个卷积层分配通道指示器，并通过连续的辅助参数对通道指示器进行松弛化处理得到松弛化的通道指示器；以松弛化的通道指示器作为搜索空间，使用可微分的手段搜索得到期望剪枝的通道；根据期望剪枝的通道对待处理的图像分析模型中的通道进行剪枝处理，得到剪枝处理的目标图像分析模型；使用目标图像分析剪枝模型进行图像分析。该实施方式能够将剪枝压缩后的模型应用于无人车，以更好地进行图像分析，为无人驾驶的安全性和实时性提供了技术支持。为无人驾驶的安全性和实时性提供了技术支持。为无人驾驶的安全性和实时性提供了技术支持。


技术研发人员：徐鑫
受保护的技术使用者：京东鲲鹏(江苏)科技有限公司
技术研发日：2022.03.04
技术公布日：2022/6/4