一种基于协同演化的深度卷积神经网络剪枝方法和系统

技术特征：
1.一种基于协同演化的深度卷积神经网络剪枝方法，其特征在于，包含以下步骤：步骤1：读取待裁减的神经网络；从训练集d
train
中随机选取出比例为k的数据，记作d
k
；步骤2：根据待裁减网络的结构进行分组；步骤3：并行地在各个组内用演化算法进行优化；步骤4：拼接；待每一组都完成组内演化后，各组末代种群中最优的个体对应的剪枝结果会被拼接起来，作为本轮的剪枝结果；步骤5：再训练恢复精度；在拼接完成后，需要对拼接后所对应的完成一轮裁减的网络进行再训练，将再训练后的网络设定为下一轮剪枝时的初始待裁剪网络，且将该网络加入到算法产生的解集a中；步骤6：协同演化的循环中止判断；协同演化的轮数记录器t1的值加1；若未达到预设定的协同演化的最大轮数t1，则跳至步骤2；由于每轮的剪枝过程相对独立，亦可在达到的裁剪率后，提前终止循环，输出此时的剪枝结果；步骤7：根据实际应用场景需要，从a中选择剪枝结果使用；步骤8：将剪枝结果部署到终端设备上，将待预测数据输入剪枝后的网络，完成数据类别的预测。2.根据权利要求1所述的基于协同演化的深度卷积神经网络剪枝方法，其特征在于，所述基于协同演化的深度神经网络剪枝方法为用于图片分类的基于协同演化的深度神经网络剪枝方法，所述步骤8中，将剪枝结果部署到终端设备上，将待预测图片输入剪枝后的网络，完成图片类别的预测。3.根据权利要求1所述的基于协同演化的深度卷积神经网络剪枝方法，其特征在于，所述训练集d
train
为用于神经网络模型训练的图片数据集；所述待裁减的神经网络为输入图片数据训练之后得到的神经网络模型。4.根据权利要求1所述的基于协同演化的深度卷积神经网络剪枝方法，其特征在于，所述步骤2中，根据待裁减网络的结构进行分组；若神经网络共包含n个待裁剪的卷积层，可将该问题的搜索空间按层划分为n组。5.根据权利要求1所述的基于协同演化的深度卷积神经网络剪枝方法，其特征在于，所述步骤4中待每一组都完成组内演化后，各组末代种群中最优的个体对应的剪枝结果会被拼接起来，作为本轮的剪枝结果；在每个组内挑选最优的个体时，精度最高的个体被视作最优的个体；若两个个体的精度相同，则选取剩余卷积核更少的个体。6.根据权利要求1所述的基于协同演化的深度卷积神经网络剪枝方法，其特征在于，所述再训练恢复精度步骤中，取一部分图片数据作为训练样本，对拼接后的神经网络进行训练。7.根据权利要求1所述的基于协同演化的深度卷积神经网络剪枝方法，其特征在于，步骤3：并行地在各个组内用演化算法进行优化，包含初始化、产生新解、解的评估、自然选择这4个子步骤；在执行该步骤前，需要给定以下超参数，种群大小m，组内演化最大轮数t，每次组内演化中，卷积核的最大裁减比率u；每个组内的演化过程如下：步骤3.1：初始化；将当前组对应的一层神经网络编码为0-1字符串，字符串的长度根据其包含的卷积核数目而定，每一个卷积核对应字符串的一位。全1解首先被加入种群中，之后，对全1解执行m-1次变异率为p1的变异算子，产生m-1个新个体，与全1解一同构成大小为
m的初始种群；其中，变异率为p，最大裁剪比率为u的变异算子的操作如下：0-1串的每一位均有p的概率发生翻转，当0-1串的某一位将从1翻转为0时，若此时0-1串中0的比例大于u，则放弃该位的翻转；步骤3.2：产生新解；采用概率p2的变异算子，即首先随机从当前种群中选取父代个体，对于父代个体对应的0-1字符串，每一位均有p2的概率发生翻转，以产生子代；每一次组内演化中，最多有比例为u的卷积核被删去，为保证此规则，当利用变异算子产生子代时，若当前时刻子代的剩余卷积核比例小于等于1-u，则不会再继续删去卷积核；步骤3.3：解的评估；在产生了m个子代后，需要对这m个子代进行评估；对于每一个个体，其表示相对应的网络某一层的裁剪结果，评估时需要将该层与网络的其它层组合成一个完整的神经网络，以用于评估该层裁减的效果；此处，其他层可从本轮协同演化中待裁剪的网络中直接获取；将选取的部分训练集d
k
输入组合而成的网络，将该网络在d
k
上的精度作为该个体的精度；步骤3.4：选择；此时种群共有2m个个体，需要通过选择选出m个个体作为下一代种群；选择首先依据精度，当精度相同时，选择flops更小，即剩余卷积核数目更小的解保留；步骤3.5：组内演化的循环终止判断；当前组的组内演化轮数记录器的值加1；若未达到组内演化的最大轮数，则跳至步骤3.2。8.一种基于协同演化的深度卷积神经网络剪枝系统，其特征在于，包括：读取模块：用于读取待裁减的神经网络，从训练集d
train
中随机选取出比例为k的数据，记作d
k
；分组模块：根据待裁剪网络的结构进行分组；协同演化模块：并行地在各个组内用演化算法进行优化；拼接模块：待每一组都完成组内演化后，各组末代种群中最优的个体对应的剪枝结果会被拼接起来，作为本轮的剪枝结果；再训练恢复精度模块：在拼接完成后，需要对拼接后所对应的完成一轮裁减的网络进行再训练，将再训练后的网络设定为下一轮剪枝时的初始待裁剪网络，且将该网络加入到算法产生的解集a中；协同演化的循环中止判断模块：协同演化的轮数记录器t1的值加1；若未达到预设定的协同演化的最大轮数t1，则通知分组模块对待裁剪网络进行分组，之后协同演化模块执行优化，之后再训练恢复精度模块进行再训练，将再训练后的网络设定为下一轮剪枝时的初始待裁剪网络，且将该网络加入到算法产生的解集a中，协同演化的循环中止判断模块执行其功能；由于每轮的剪枝过程相对独立，亦可在达到预设的裁剪率后，提前终止循环，输出此时的剪枝结果；选择模块：根据实际应用场景需要，从a中选择剪枝结果使用；预测模块：将剪枝结果部署到终端设备上，将待预测数据输入剪枝后的网络，完成数据类别的预测。9.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-7中任一项所述的基于协同演化的深度卷积神经网络剪枝方法。10.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利
要求1-7中任一项所述的基于协同演化的深度卷积神经网络剪枝方法的计算机程序。

技术总结
本发明公开一种基于协同演化的深度卷积神经网络剪枝方法和系统，首先，读取待裁减的神经网络；从训练集中随机选取出比例为k的数据；根据待裁减网络的结构进行分组；并行地在各个组内用演化算法进行优化；待每一组都完成组内演化后，各组末代种群中最优的个体对应的剪枝结果会被拼接起来，作为本轮的剪枝结果；在拼接完成后，需要对拼接后所对应的完成一轮裁减的网络进行再训练，将再训练后的网络设定为下一轮剪枝时的初始待裁剪网络，且将该网络加入到算法产生的解集A中；协同演化的循环中止判断；根据实际应用场景需要，从A中选择剪枝结果使用；将剪枝结果部署到终端设备上，将待预测数据输入剪枝后的网络，完成数据类别的预测。测。测。


技术研发人员：钱超 尚昊璞 吴嘉梁
受保护的技术使用者：南京大学
技术研发日：2022.02.25
技术公布日：2022/6/4