一种基于累积谱秩的卷积神经网络通道剪枝方法、系统及产品
本发明涉及深度学习与模型压缩,具体涉及一种基于累积谱秩的卷积神经网络通道剪枝方法、系统及产品。
背景技术:
1、随着深度学习技术的发展,卷积神经网络已广泛应用于目标检测、图像理解等计算机视觉任务。其中,目标检测网络通过多层卷积结构逐级提取输入图像中的边缘、纹理、形状及高层语义信息,实现对图像中目标类别和空间位置的识别。
2、在航空遥感图像目标检测场景中,输入图像通常具有分辨率高、场景范围大、背景复杂以及目标尺度较小等特点。为提高遥感目标的检测性能,现有目标检测网络通常采用较深的网络结构和较多的特征通道,以获得更强的多尺度特征提取和特征融合能力。然而,随着网络深度、宽度及通道数量的增加,模型参数量、浮点计算量、存储开销及运行时内存占用也随之增加,限制了其在无人机、卫星、车载终端及嵌入式设备等计算资源和能源资源受限平台上的部署。
3、因此,在尽可能保持遥感目标检测性能的前提下,降低卷积神经网络的参数规模和计算开销,是实现遥感目标检测模型轻量化部署的重要技术问题。通道剪枝作为一种常用的结构化神经网络压缩方法,通过评估卷积层不同输出通道的重要程度,删除重要程度较低的输出通道及其对应卷积参数,并相应调整后续网络层中与所述通道相关联的输入通道参数,从而获得结构更加紧凑的轻量化模型。
4、现有通道剪枝方法通常基于卷积核权重范数l1、归一化层缩放因子、特征图激活响应、梯度敏感度或特征图矩阵秩等指标评价通道重要性。其中,基于特征图秩的 hrank方法通过计算单通道二维输出特征图的矩阵秩表征其空间结构复杂程度,并认为具有较高矩阵秩的特征图具有较丰富的表达信息,因而在剪枝过程中优先保留对应通道。该类方法无需对待压缩模型进行额外的稀疏化训练,可通过模型前向传播获取特征图并完成通道重要性评价。
5、然而,普通矩阵秩主要反映二维特征图的线性独立维度,本质上由非零奇异值的数量决定,而未进一步考虑各奇异值的幅值及其能量分布。对于具有相同或相近矩阵秩的不同通道特征图,其奇异值谱的能量集中程度可能存在明显差异,但采用普通矩阵秩进行评价时可能得到相同或相近的重要性评分,从而导致通道之间的区分能力不足。
6、此外,普通矩阵秩具有离散性,当大量通道二维特征图的秩接近其最大可能秩时,其评价结果容易出现集中或饱和现象。特别是在采用silu等平滑非线性激活函数的卷积神经网络中,特征响应通常具有较高的稠密性;在高分辨率输入及较大空间尺寸特征图条件下,不同通道的二维特征图更容易具有相同或相近的高矩阵秩,使得仅依据普通矩阵秩难以进一步表征不同通道之间的特征表达差异。
7、因此,如何在不同通道特征图具有相同或相近矩阵秩,或者矩阵秩出现高值集中现象的情况下,进一步刻画各通道二维特征图内部的结构差异,提高通道重要性评价的区分能力,是现有通道剪枝方法有待解决的技术问题。
技术实现思路
1、针对现有基于普通矩阵秩的通道剪枝方法仅依据二维特征图的矩阵秩评价通道重要性,难以进一步表征具有相同或相近矩阵秩的不同特征图之间的谱结构差异,并且在采用silu等平滑非线性激活函数的网络中可能出现普通矩阵秩高值集中、通道评分区分度下降的问题,本发明提出一种基于累积谱秩的卷积神经网络通道剪枝方法。
2、该方法不再直接以普通矩阵秩作为通道重要性评价指标,而是通过分析通道特征图的奇异值谱能量分布,构建累积谱秩指标;所述累积谱秩以累计谱能量达到预设阈值所需的最小奇异值数量表征单通道二维特征图的有效谱维度,能够在普通矩阵秩趋于高秩化或满秩化时,仍然区分不同通道之间的谱结构差异,从而提高通道重要性评价的区分能力,并为剪枝通道排序提供更加稳定的评价依据,降低通道评价对由特定激活函数产生的稀疏响应特性的依赖。
3、有鉴于此,本发明提出了一种基于累积谱秩的卷积神经网络通道剪枝方法,包括:
4、步骤1:获取待压缩卷积神经网络;
5、步骤2:将校准样本输入待压缩卷积神经网络,获取各卷积层各通道的二维输出特征图;
6、步骤3:分别对各通道对应的二维输出特征图进行奇异值分解,根据所得奇异值计算谱能量及累积谱能量占比,并将累积谱能量占比首次达到预设能量阈值时对应的最小正整数确定为该通道特征图的累积谱秩;
7、步骤4:对同一卷积层同一通道在多个样本上的累积谱秩进行统计平均,将所得平均累积谱秩作为该通道的重要性评分;
8、步骤5:针对每个待剪枝卷积层,根据通道重要性评分以及预设剪枝比例和最小保留通道数生成通道保留掩码;
9、步骤6:结合最小保留通道数和受保护层约束,根据通道保留掩码对卷积神经网络执行结构化物理剪枝,并同步调整与被剪通道存在拓扑依赖关系的网络参数;
10、步骤7:对剪枝后的卷积神经网络进行微调训练,得到轻量化卷积神经网络模型;
11、步骤8:将待检测遥感图像输入轻量化卷积神经网络模型,实现目标检测。
12、作为上述方法的一种改进,所述步骤1包括:
13、采用面向航空遥感图像目标检测的训练集对卷积神经网络进行训练,直至满足预设收敛条件,得到待压缩卷积神经网络;所述卷积神经网络为包含卷积层的目标检测模型。
14、作为上述方法的一种改进,所述步骤2包括:
15、从与待压缩卷积神经网络目标任务相对应的图像数据集中选取预设数量的样本图像作为校准样本,输入待压缩卷积神经网络;
16、在每个校准样本前向传播过程中,分别采集各待剪枝卷积层或卷积模块输出的特征张量:对于第个校准样本,在其前向传播过程中采集第 l 个待剪枝卷积层或卷积模块输出的特征张量,其中第个通道对应二维特征图为,其中,,分别表示特征图的高度和宽度,表示第个卷积层的通道数。
17、作为上述方法的一种改进,所述步骤3包括:
18、对待剪枝层内任一二维特征图进行奇异值分解,其中且;下标为奇异值数量,同时为二维特征图矩阵秩的最大可能值;表示第个奇异值,;为左奇异向量矩阵,为右奇异向量矩阵;
19、计算第个奇异值对应的谱能量:;
20、计算前个奇异值平方能量的累积占比:;
21、设定预设谱能量阈值τ,当首次大于或等于τ时,将对应的最小正整数作为对应通道特征图的累积谱秩。
22、作为上述方法的一种改进,所述步骤4包括:
23、对于第个卷积层第个通道,将其在多个校准样本上的累积谱秩进行累加,并除以校准样本数量n,得到平均累积谱秩,并将所述平均累积谱秩作为该通道重要性分数:,其中表示第个校准样本,通道重要性分数越高,表示该通道在多个校准样本上维持较高有效谱维度高。
24、作为上述方法的一种改进,所述步骤5包括:
25、对同一卷积层内的各通道按照通道重要性分数降序排列,根据预设剪枝比例确定该层待剪除通道数量:
26、
27、其中,表示第个卷积层的通道数,表示第个待剪枝卷积层的预设剪枝比例,且满足,表示层内最小保留通道数,且;表示向上取整;
28、定义第个待剪枝卷积层的通道保留掩码,将通道重要性分数最低的个通道掩码值设为0,表示第层第个通道剪除;其余通道掩码值设为1,表示保留通道为保留通道;从而得到第层的通道保留掩码。
29、作为上述方法的一种改进,所述步骤6中,所述受保护层不作为输出通道剪枝对象,其输出通道保持不变,具体包括:输入端首个卷积层和检测头中用于生成最终检测预测结果的输出层。
30、作为上述方法的一种改进,所述步骤6中结构化物理剪枝,具体包括:
31、对于待剪枝卷积层中被剪除的输出通道,同步删除与所述输出通道对应的卷积核参数及存在时对应的偏置参数;当待剪枝卷积层管理有批归一化层时,同步删除对应通道的批归一化层参数,并同步调整与所述输出通道具有拓扑依赖关系的后继层或后继模块中的对应输入通道参数;
32、对于包含跨层连接、残差连接、特征拼接、多分支特征融合模块或检测头结构的目标检测网络,根据通道掩码及网络拓扑关系同步修正相关层或模块的输入输出通道配置,包括:
33、根据通道掩码调整待剪枝卷积层的输出通道;
34、根据上游层输出通道变化调整对应后继层的输入通道;
35、根据各分支之间的通道对应关系对多分支及特征融合结构进行通道一致性修正;
36、根据上游特征输入通道变化调整检测头的输入通道,同时保持检测头最终输出维度不变。
37、另一方面,本发明提供了一种基于累积谱秩的卷积神经网络通道剪枝系统,包括:
38、获取模块,用于获取待压缩卷积神经网络;
39、特征图采集模块,用于将校准样本输入待压缩卷积神经网络,获取各卷积层各通道的二维输出特征图;
40、累积谱秩确定模块,用于分别对各通道对应的二维输出特征图进行奇异值分解,根据所得奇异值计算谱能量及累积谱能量占比,并将累积谱能量占比首次达到预设能量阈值时对应的最小正整数确定为该通道特征图的累积谱秩;
41、统计平均模块,用于对同一卷积层同一通道在多个样本上的累积谱秩进行统计平均,将所得平均累积谱秩作为该通道的重要性评分;
42、剪枝掩码生成模块,用于针对每个待剪枝卷积层,根据通道重要性评分以及预设剪枝比例和最小保留通道数生成通道保留掩码;
43、剪枝模块,用于结合最小保留通道数和受保护层约束,根据通道保留掩码对卷积神经网络执行结构化物理剪枝,并同步调整与被剪通道存在拓扑依赖关系的网络参数;
44、微调训练模块,用于对剪枝后的卷积神经网络进行微调训练,得到轻量化卷积神经网络模型;
45、检测输出模块,用于将待检测遥感图像输入轻量化卷积神经网络模型,实现目标检测。
46、第三方面,本发明提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
47、与现有技术相比,本发明的优势在于:
48、1. 提高普通矩阵秩高值集中情况下的通道评价区分能力。 现有 hrank 类方法直接采用普通矩阵秩评价通道重要性,在采用silu等平滑非线性激活函数时,特征图响应通常具有较高的稠密性,不同通道的普通矩阵秩可能更容易出现高值集中,甚至接近其最大可能秩,从而导致不同通道之间的矩阵秩差异减小。本发明通过分析特征图奇异值谱能量分布,以达到预设谱能量阈值所需的最小奇异值个数构建累积谱秩指标,能够在普通矩阵秩相同、相近或出现高值集中时,进一步刻画不同通道特征图的谱结构差异,从而提高通道重要性排序的区分度和稳定性。
49、2. 降低尾部微小奇异值对通道评价的影响。 普通矩阵秩主要依据有效奇异值数量表征二维特征图的线性独立维度,其计算结果可能受到尾部微小奇异值及数值扰动的影响。本发明采用奇异值平方能量的累积占比作为评价依据,重点表征承载主要谱能量的奇异值成分,而非仅依据有效奇异值数量进行评价,从而减少尾部低能量谱成分对通道评价结果的影响。为通道重要性排序提供更加稳定的评价依据。。
50、3. 无需为通道重要性评价进行额外稀疏化训练。 相较于需要通过额外稀疏化训练获得通道重要性依据的部分剪枝方法,本发明在通道重要性评价阶段仅需对已训练模型进行前向传播,采集卷积层输出特征图并计算累积谱秩,即可获得通道重要性评价指标。本发明无需修改原模型损失函数,在通道重要性评价阶段无需额外稀疏化训练,简化了剪枝流程,降低了模型压缩的训练成本。
51、4. 支持结构化物理剪枝并有利于模型轻量化部署。 本发明依据通道级累积谱秩评分生成二值通道保留掩码,并对卷积核、归一化层参数及相关输入输出通道连接进行同步裁剪,获得实际输出通道数量和相关参数均减少的结构化轻量模型。相比非结构化稀疏剪枝,本发明有利于减少模型参数量和计算量,并有利于降低实际部署中的存储和推理开销,适合资源受限设备上的模型部署。
52、5. 提高结构化剪枝后的网络重构可靠性。 本发明在生成通道保留掩码时引入最小保留通道数约束,并对输入端首个卷积层及检测头最终输出相关层设置保护约束;在执行结构化物理剪枝时,根据网络拓扑关系同步调整与被剪通道具有依赖关系的后继层或后继模块的输入输出通道配置,从而降低因通道过度裁剪或拓扑依赖关系处理不一致造成网络结构失配的风险,提高剪枝模型重构及后续微调训练的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com