一种端侧模型轻量化方法及系统与流程

本发明涉及工业检测，具体为一种端侧模型轻量化方法及系统。

背景技术：

1、在工业旋转机械的状态监测与故障诊断领域，基于振动信号的深度学习诊断方法因自动提取特征能力强而获得广泛关注。为满足实时性、数据隐私和网络独立性等需求，常将诊断模型部署于靠近设备端的边缘计算硬件上，即进行端侧部署。端侧设备的计算资源、存储空间和功耗预算均受限，因此需要对原始深度网络进行模型轻量化处理，使其在保持可接受诊断能力的前提下大幅减少计算量与参数量，以适应端侧运行环境。

2、当前实际应用中的模型轻量化技术主要包括网络剪枝、权重量化和知识蒸馏等。网络剪枝通过评估卷积通道或神经元的重要性，移除冗余结构以压缩模型宽度；权重量化将32位浮点权重映射为低位宽的定点数，降低存储与计算开销；知识蒸馏利用大容量教师网络指导紧凑学生网络训练。这些方法的共同特点在于，其压缩后的模型结构和计算图在部署前已完全固化，推理过程中不随输入信号特征的变化而调整，即生成的是静态轻量模型。在旋转机械诊断场景中，设备的转速、负载等工况参数会频繁变动，振动信号的频谱分布与故障特征尺度随之发生偏移。静态轻量模型因容量固定，面对多种工况时难以平衡精度与效率：若为适应最复杂工况而保留较多参数，则在大量平稳工况下存在计算资源浪费；若为追求低平均计算量而过度压缩，则在高负载、宽转速范围等复杂工况下诊断准确率易出现下降。

3、为解决固定计算图的局限，业界也探索了动态网络技术，例如提前退出分支、基于门控的通道动态剪枝等方法，这类网络可根据输入样本的识别难度自适应调节计算深度或宽度。然而，现有动态方法决策的依据通常来自输入数据本身的特征图响应或置信度评估，并未利用旋转机械现场可直接获取且与振动特性关联紧密的物理工况参数。转速和负载作为典型的工况量，直接影响机械系统动力学响应，是理想的计算资源调度先验信号，却在现有轻量化动态网络中未被显式地用于驱动模型容量分配。

4、综上，现有技术端侧部署的轻量化诊断模型在面对大幅变化的转速、负载工况时，难以在保持较低平均计算开销的同时，维持足够的诊断准确率。故针对以上问题，提出下列方案。

技术实现思路

1、本发明的目的在于提供一种端侧模型轻量化方法及系统，为了解决变工况下端侧轻量诊断模型因结构固定而难以兼顾诊断准确率与计算效率的问题，设计工况编码器与基于gumbel-sigmoid的通道独立门控网络，以求实现模型推理宽度随工况自适应调整、在维持诊断准确率的同时降低平均推理开销的的技术效果。

2、为解决上述技术问题，本发明是通过以下技术方案实现的：

3、本发明为一种端侧模型轻量化方法，包括以下步骤：

4、采集旋转机械在不同工况下的振动信号及对应的工况参数；

5、对所述振动信号及工况参数进行预处理，生成训练样本集，每个训练样本包含振动片段、故障标签以及由工况参数得到的归一化工况向量；

6、构建一维卷积神经网络诊断基础模型，所述诊断基础模型中包含多个通道可独立裁剪的动态宽度调整的卷积层；

7、构建工况编码器，用于将所述归一化工况向量映射为工况特征向量；

8、针对每个所述动态宽度卷积层，分别构建独立的通道门控网络，所述门控网络用于根据所述工况特征向量输出该层各通道对应的 logits 值，并通过 gumbel-sigmoid 重参数化与直通估计器生成与卷积通道一一对应的二值通道硬掩码，所述通道硬掩码用于与对应卷积层的输出特征图逐通道相乘，以屏蔽未激活通道的后续计算；

9、联合训练所述诊断基础模型、所述工况编码器以及各所述门控网络，其中损失函数由分类损失和稀疏正则项构成，所述稀疏正则项基于各动态宽度调整的卷积层的通道硬掩码计算全局平均激活通道比率，用于约束模型整体计算量；

10、将训练完成后的模型部署于端侧设备；

11、在线推理时，实时获取所述旋转机械的工况参数并形成当前工况向量，由所述工况编码器及门控网络生成各动态宽度调整的卷积层的通道硬掩码，以控制所述诊断基础模型中各层的激活通道数量，动态调整模型宽度并输出诊断结果。

12、优选地，所述工况参数包括转速信号和负载扭矩信号。

13、优选地，所述预处理包括：

14、对所述振动信号进行抗混叠滤波和重采样，使振动信号与工况参数时间对齐；

15、以预设窗口长度和预设步长的滑动窗口截取振动片段，并计算窗口内工况参数的平均值作为该训练样本的工况参数；

16、对所述振动片段进行零均值标准化，并对所述工况参数按预设最大值进行归一化，得到所述归一化工况向量。

17、优选地，所述诊断基础模型包括初始卷积层和多个残差块，每个残差块中包含至少一个所述动态宽度调整的卷积层，各动态宽度调整的卷积层的最大输出通道数预先设定且逐层递增;所述残差块的短路分支配置有与动态卷积层同步的通道掩码，以保证卷积输出与短路分支的通道维度匹配。

18、优选地，所述工况编码器为包含两层全连接层和relu激活函数的网络。

19、优选地，所述通过gumbel-sigmoid重参数化与直通估计器生成通道硬掩码，具体包括：

20、在训练阶段，对所述logits添加gumbel分布的随机噪声并引入可调节的温度系数，再经sigmoid函数获得各通道的软激活概率；前向传播时，根据所述软激活概率是否大于0.5生成硬掩码；反向传播时，将所述硬掩码的梯度直接传递给所述软激活概率；

21、在推理阶段，对所述logits直接经sigmoid函数后，以0.5为阈值生成确定性硬掩码。

22、优选地，所述联合训练采用交替优化策略：在一个迭代步内，固定所述诊断基础模型的参数，更新所述工况编码器及各门控网络的参数；固定所述工况编码器及各门控网络的参数，更新所述诊断基础模型的参数；稀疏正则项的梯度通过直通估计器同步回传至门控网络。

23、优选地，在将训练完成后的模型部署于端侧设备之前，还包括：对所述诊断基础模型、工况编码器以及各门控网络的权重进行定点量化处理。

24、一种端侧模型轻量化系统，包括：

25、数据采集模块，用于获取旋转机械在不同工况下的振动信号及对应的工况参数；

26、预处理模块，用于生成训练样本集，每个训练样本包含振动片段、故障标签以及由工况参数得到的归一化工况向量；

27、模型构建模块，用于构建一维卷积神经网络诊断基础模型、工况编码器以及针对每个动态宽度调整的卷积层的门控网络；所述诊断基础模型中包含多个通道可独立裁剪的动态宽度调整的卷积层；所述工况编码器用于将所述归一化工况向量映射为工况特征向量；所述门控网络用于根据所述工况特征向量输出该层各通道对应的logits值，并通过gumbel-sigmoid重参数化与直通估计器生成通道硬掩码，所述通道硬掩码用于与对应卷积层的输出特征图逐通道相乘，以屏蔽未激活通道的后续计算；

28、训练模块，用于联合训练所述诊断基础模型、所述工况编码器以及各所述门控网络，损失函数由分类损失和基于所述通道硬掩码的稀疏正则项构成；

29、部署推理模块，用于将训练后的模型部署于端侧设备，并在在线推理时根据实时获取的工况参数生成各动态宽度调整的卷积层的通道硬掩码，以动态控制所述诊断基础模型中各层的激活通道数量并输出诊断结果。

30、优选地，所述门控网络在训练阶段对所述logits添加gumbel分布的随机噪声并引入温度系数，经sigmoid函数获得软激活概率，采用直通估计器生成硬掩码；在推理阶段对所述logits经sigmoid函数后通过阈值化生成确定性硬掩码。

31、本发明具有以下有益效果：

32、本发明通过采集旋转机械的转速和负载作为工况参数，并设计基于gumbel-sigmoid的独立通道门控网络，使端侧诊断模型的计算宽度能够随工况自适应动态调整。其有益效果在于：利用工业现场易获取的物理参数作为模型容量调度先验，驱动网络在平稳工况下自动裁剪通道以减少计算开销，在复杂工况下激活更多通道以保障诊断能力，在维持诊断准确率的同时降低了端侧推理的平均计算量，适合资源受限场景；通道独立门控机制支持各通道独立判定开闭，比独热选择方式更灵活地匹配工况所需的特征维度；门控模块与诊断网络端到端联合训练，无需人工定义剪枝规则，自动化程度高；整体方案与旋转机械监测系统深度耦合，无需增设额外传感器，部署成本较低，实用性较强。

33、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。