基于输出频带响应与标签能量调制的方向谱剪枝方法
本发明属于海洋波浪方向谱估计和神经网络结构化压缩,特别涉及基于输出频带响应与标签能量调制的方向谱剪枝方法。
背景技术:
1、海洋波浪方向谱描述波浪能量在频率和传播方向上的联合分布。本实施例采用海浪方向谱变换网络,即一种基于注意力机制的海洋波浪方向谱估计网络;该网络以多通道时域序列为输入,经卷积嵌入、注意力编码和解码输出频率位置×方向位置构成的二维谱。该模型在不同海况下具有较好的重建精度,但其参数量和乘加运算量较大,不利于端侧部署。
2、为降低模型部署开销,结构化剪枝是一种有效手段。现有技术中,基于权重幅值、随机丢弃或基于全局任务损失的一阶梯度(即泰勒展开的一阶项)重要度评价被用于评价神经元、通道、注意力头及前馈网络中间通道的重要度,并据此实施掩码、结构化删除和紧凑网络重构。此外,也有方案利用网络滤波器权重的频域能量特征与梯度显著性形成混合剪枝分数。
3、然而,上述技术未针对海洋波浪方向谱回归输出建立“输出频带损失—结构单元响应”的对应关系,也未利用同一校准批次真实方向谱标签的频带能量对该响应进行调制并施加分频带保护条件。因此,如何在降低方向谱估计网络参数量和运算量的同时,避免全谱误差掩盖局部频带退化,并在剪枝过程中根据真实方向谱能量分布自适应保护不同输出频带所依赖的结构单元,是当前需要解决的问题。
技术实现思路
1、为了解决或至少缓解以上问题中的一个或多个,提供了基于输出频带响应与标签能量调制的方向谱剪枝方法,该方法不以一阶梯度、注意力头剪枝或ffn通道剪枝本身作为区别点,而是建立方向谱输出频带与网络结构单元之间的任务响应关系:对各输出频带的均方重建损失分别执行反向传播,为完整注意力头或ffn中间通道形成频带敏感度向量;利用同一校准批次真实方向谱标签的离散频带能量生成平滑调制权重;并通过综合重要度排序与分频带保护条件共同确定可删除结构单元,从而在降低参数量和矩阵乘加次数的同时,抑制全谱误差掩盖局部频带退化。
2、为实现上述目的,按照本发明的第一方面,提基于输出频带响应与标签能量调制的方向谱剪枝方法,包括以下步骤。
3、s1、获取已训练好的方向谱估计网络及由真实方向谱标签构成的校准批次。
4、s2、沿方向谱输出的频率轴划分多个输出频带,每个输出频带为方向谱输出沿频率轴划分的一组频率行,分别计算各输出频带内预测方向谱与真实方向谱标签的频带均方重建损失;由该批次真实方向谱标签计算得到各频带的真实标签能量调制权重。
5、s3、对各输出频带的频带均方重建损失分别执行反向传播,得到方向谱估计网络中各结构单元针对各输出频带的原始一阶频带敏感度,并在各结构单元所属模块内同类结构单元间归一化,得到频带敏感度向量。
6、s4、利用所述真实标签能量调制权重对各输出频带的归一化频带敏感度加权求和,并在多个校准批次上取平均,得到各结构单元的综合重要度及各输出频带的平均归一化频带敏感度。
7、s5、在候选结构单元中,按综合重要度由小到大选低综合重要度候选结构单元,仅当其各受保护输出频带上的平均归一化频带敏感度均不超过相应保护阈值时,才将其确定为待删除结构单元。
8、s6、对待删除结构单元的全部关联参数施加掩码微调,并按保留结构单元索引同步重构关联矩阵,得到参数存储量和乘加运算量降低的紧凑模型。
9、进一步地,获取已训练的方向谱估计网络及由真实方向谱标签构成的校准批次,包括。
10、所述方向谱估计网络以多通道海浪运动时序为输入、以沿频率轴和方向轴排列的二维海洋波浪方向谱为输出。
11、按训练集统计量对输入多通道海浪运动时序执行标准分数标准化后,训练所述方向谱估计网络,使输出尺寸固定;使用验证集选择检查点和超参数,验证集不参与参数更新。
12、保存网络结构参数、权重参数、输入通道顺序、标准化均值和标准差以及方向谱频率行顺序,形成基准检查点。
13、冻结基准模型的网络拓扑,允许对权重计算梯度,从验证集或单独校准集中抽取多个校准批次,校准批次仅用于敏感度统计,不执行优化器更新。
14、进一步地,沿方向谱输出的频率轴划分多个输出频带,包括。
15、当存在与方向谱标签生成过程一致的物理频率向量时,按预设的物理频率阈值边界划分输出频带。
16、当不存在物理频率向量时,按归一化频率位置边界划分输出频带;或按训练集方向谱标签的累计谱能量分位点划分输出频带。
17、所划分的各输出频带互不重叠,且覆盖全部有效频率位置;训练、敏感度统计、微调和测试阶段使用同一组频带边界。
18、进一步地,分别计算各输出频带内预测方向谱与真实方向谱标签的均方重建损失,由该批次真实方向谱标签得到各频带的真实标签能量调制权重,包括。
19、对校准批次执行前向传播得到预测方向谱,仅截取各输出频带内的预测方向谱值和真实方向谱标签值,对频带内各样本、各频率位置和各方向位置上预测方向谱值与真实方向谱标签值之差的平方取平均,得到该输出频带的频带均方重建损失。
20、对同一校准批次真实方向谱标签,在该输出频带内对所有样本、该频带全部频率位置和全部方向位置的谱值求和,作为该输出频带的离散频带能量。
21、进一步地,由该批次真实方向谱标签得到各频带的真实标签能量调制权重,还包括经平滑归一化处理。
22、对各输出频带的离散频带能量加上防止除零的正数后取ρ次幂,作为该频带的临时权值,ρ为取值在0到1之间的能量平滑指数。
23、以同一校准批次所有输出频带的归一化前临时频带权值之和为分母,对各输出频带的归一化前临时频带权值进行归一化,得到各输出频带的真实标签能量调制权重,各输出频带的真实标签能量调制权重之和为1。
24、当ρ取1时按频带能量原比例加权;当ρ取0时各频带近似等权;当ρ取0到1之间时压缩高能量频带与低能量频带之间的能量长尾差距,使低能量频带仍参与结构单元排序。
25、进一步地,得到网络中各结构单元针对各输出频带的原始一阶频带敏感度,包括。
26、将方向谱估计网络中各注意力模块的注意力头以及各前馈网络模块的中间通道确定为候选结构单元;注意力头的关联参数包括该头在查询、键、值投影矩阵中的对应输出行块、对应偏置以及输出投影矩阵中的对应输入列;前馈网络中间通道的关联参数包括第一线性层的对应输出行、对应偏置以及第二线性层的对应输入列。
27、对各输出频带的频带均方重建损失分别执行反向传播,读取该频带均方重建损失对结构单元全部关联参数的梯度,以结构单元内各参数值与对应梯度之积的绝对值之和除以该结构单元的标量参数个数,得到该结构单元对该输出频带的原始一阶频带敏感度。
28、进一步地,在各结构单元所属模块内同类结构单元间归一化,包括。
29、以各结构单元所属注意力模块内全部注意力头、或所属前馈网络模块内全部中间通道在各输出频带上的原始频带敏感度的最大值加防止除零的正数为分母,对各结构单元的原始频带敏感度归一化;按各输出频带排列归一化后的频带敏感度,构成各结构单元的频带敏感度向量。
30、进一步地,得到各结构单元的综合重要度及各输出频带的平均归一化频带敏感度,包括。
31、对每个校准批次,用该校准批次的真实标签能量调制权重对结构单元在各输出频带上的归一化频带敏感度加权求和,得到该校准批次的单元分数;对多个校准批次的单元分数取算术平均,得到该结构单元的综合重要度。
32、对该结构单元在各输出频带上的归一化频带敏感度,分别在多个校准批次上取算术平均,得到该结构单元在各输出频带上的平均归一化频带敏感度。
33、其中,校准批次的个数根据校准样本量和批量大小确定。
34、进一步地,仅当其各受保护输出频带上的平均归一化频带敏感度均不超过相应保护阈值时,才将其确定为待删除结构单元,包括。
35、按各输出频带在模块内同类候选结构单元的平均归一化频带敏感度分布的分位数确定该频带的保护阈值,目标删除比例越高,保护阈值越低。
36、候选删除单元在所有受保护输出频带上的平均归一化频带敏感度均不超过相应保护阈值时,列入删除清单;在任一受保护输出频带上的平均归一化频带敏感度超过相应保护阈值时,跳过该候选删除单元并考察排序中的下一候选。
37、若满足保护条件的候选删除单元数量不足以达到目标删除比例,则降低该模块的目标删除比例,不强制删除高频带响应单元。
38、进一步地,对待删除结构单元的全部关联参数施加掩码微调,并按保留结构单元索引同步重构关联矩阵,包括。
39、保持各参数张量尺寸不变,将待删除结构单元对应的全部权重、偏置及其梯度固定为零,在每次优化器更新后再次施加掩码,使用与基准模型相同的方向谱重建损失进行若干轮微调。
40、对于注意力头,删除查询、键、值投影矩阵中该头对应的输出行块及偏置,删除输出投影矩阵中该头对应的输入列;对于前馈网络中间通道,删除第一线性层中该通道对应的输出行及偏置,删除第二线性层中该通道对应的输入列;相互关联的行、列同步处理。
41、随后将保留结构单元对应的矩阵行块、列块和偏置复制到尺寸缩减后的新矩阵中,形成紧凑模型。
42、在测试集上计算紧凑模型各输出频带的重建误差与基准模型对应频带重建误差之比,当任一输出频带的重建误差之比超过预设的允许退化上限时,按照已删除结构单元在该频带上的平均归一化频带敏感度由大到小,将对该频带响应较高的已删除结构单元移回保留索引,重新执行掩码微调和矩阵重构,直至各受保护输出频带满足精度约束或停止继续剪枝。
43、采用上述技术方案后,本发明与现有技术相比具有以下有益效果。
44、本发明将真实方向谱标签和预测方向谱沿频率轴划分为多个输出频带,并对各输出频带的均方重建损失分别执行反向传播,能够为每个注意力头或ffn中间通道建立频带敏感度向量,而不是仅获得由全谱损失产生的单一重要度,避免高能量频带主导全谱损失而掩盖其他频带的结构依赖。
45、本发明中频带调制权重由同一校准批次真实方向谱标签的离散频带能量计算,并利用能量平滑指数压缩不同频带之间的能量长尾差异,因此剪枝依据能够随校准海况的方向谱能量分布变化,同时避免使用预测方向谱产生权重而造成错误反馈;该频带能量位于任务输出标签域,不是网络权重的频域能量。
46、本发明中待删单元同时受到综合重要度排序和分频带保护阈值约束,因此综合重要度较低但对任一受保护频带具有较高响应的注意力头或ffn中间通道仍被保留;结合分频带误差超限回退,可抑制最差频带和低能量长尾频带的退化。
47、本发明通过将保留注意力头对应的q、k、v输出行块和o输入列块,以及保留ffn中间通道对应的第一层输出行和第二层输入列同步复制到紧凑矩阵中,使上述频带保护选择结果转化为规则的密集小矩阵,从而实际降低参数存储量和主要矩阵乘加运算次数。
48、下面结合附图对本发明的具体实施方式作进一步详细的描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com