基于分级知识蒸馏的曲轴内部缺陷检测方法及其检测系统与流程

1.本发明属于曲轴内部缺陷检测技术领域，具体涉及一种基于分级知识蒸馏的曲轴内部缺陷检测方法及其检测系统。


背景技术：

2.曲轴是发动机的核心零部件，主要用于发动机的功率输出。曲轴缺陷，如肩裂纹、弯曲、轴颈磨损、烧伤以及内部缺陷，直接影响发动机的使用性能和寿命，而诸如表面裂纹、弯曲和磨损可以通过机器视觉的技术进行检测。由于内部缺陷形态各异、位置不定、尺寸不一，利用传统的声发设备进行检测，具有成本高的缺点。因而研究基于振动信号来检测曲轴内部缺陷对曲轴制造工业具有十分重要的意义。
3.近年来，随着以深度学习为代表的数据驱动技术的不断发展，研究人员利用基于时间序列信号的深度学习方法来检测机器领部件的故障，通过神经网络提取信号中隐藏的缺陷信息来预测缺陷已成为缺陷检测领域的重要形式。然而，在相关技术中，由于振动信号固有的非平稳性和非高斯性，很难通过时域的振动信号训练一个收敛且预测精度高的模型。另一方面，训练出的模型参数量大，需要的计算资源巨大，所以可迁移性差，部署到嵌入式设备中不切实际。
4.中国发明专利202210652426.x公开了一种基于知识蒸馏的曲轴内部缺陷检测方法及检测设备，该专利提出了一种基于交叉注意力机制的多模态融合“教师”模型，利用resnet-50作为基网络，能够达到很高的预测精度；以alexnet作为“学生”网络，通过简单的知识蒸馏方法，把训练好的“教师”模型的性能蒸馏到“学生”模型中；该方法可以提高“学生”模型的性能，但这种提升十分有限，由于“教师”模型提取到了三种模态信号的语义信息，而“学生”模型仅仅含有一种语义信息。从多模态向单模态的蒸馏过程中，单模态网络不会学习到本模态以外的模态信息，这种蒸馏方式从源头上是一种无效的蒸馏方法；再者，性能的提升完全依赖于使用的网络，采用现有的网络不具备创新性。另一方面，由于“教师”网络和“学生”网络差异性过大（参数量和模型复杂度），通过单一的知识蒸馏模型（一级蒸馏和仅仅通过逻辑输出构建损失函数）也很难使“学生”模型学习到“教师”模型的知识。


技术实现要素：

5.为克服上述问题，本发明提出了一种基于分级知识蒸馏的曲轴内部缺陷检测方法，该方法采用的“教师”网络和“学生网络”灵活多变，从多个角度构造的损失函数增强了知识蒸馏的强度，弥补了创新性不足的问题。
6.为实现上述目的，本发明采用如下技术方案：
7.一种基于分级知识蒸馏的曲轴内部缺陷检测方法，包括如下步骤：
8.（1）数据采集及处理
9.采集内部无缺陷曲轴和内部缺陷曲轴的激振信号，并对采集的激振信号预处理后时频变换为时频图，并按照8:2的比例将曲轴的时频图为训练数据集和测试数据集；
10.（2）构建并训练教师模型
11.所述教师模型包括依次连接的特征提取层、位置编码层、语义编码层和分类器；
12.所述特征提取层用于提取时频图的高维特征，对特征图进行下采样处理，然后把特征图映射成一维特征向量；
13.所述位置编码层用于对一维特征向量添加一个表征类别的class token生成特征向量，然后对特征向量的每个位置进行编码；
14.所述语义编码层用于提取位置编码层输出的特征向量中的缺陷语义信息；
15.所述分类器用于对缺陷的语音信息进行缺陷分类别预测；
16.（3）构建并训练分级知识蒸馏
17.所述分级知识蒸馏包括一级知识蒸馏和二级知识蒸馏，每级知识蒸馏都包括教师网络和学生网络，一级知识蒸馏的教师网络采用步骤（2）训练好的教师模型，一级知识蒸馏的学生网络作为二级知识蒸馏的教师网络；二级知识蒸馏的教师网络和学生网络采用选择参数量小且模型简单的网络，它包括特征提取网络和分类器；
18.一级知识蒸馏和二级知识蒸馏均在中间特征和逻辑输出进行蒸馏，使学生网络的中间特征和逻辑输出不断向教师网络对应部分特征和逻辑输出对齐；
19.一级知识蒸馏和二级知识蒸馏中对特征和逻辑输出联合构建损失函数，逻辑输出蒸馏损失连接有损失函数，且学生网络的分类器连接有交叉熵损失，交叉熵损失与损失函数连接；
20.所述损失函数为，α、β、λ为权重因子，取值范围0~1，lf为教师网络和学生网络的特征蒸馏损失，；为重构后学生网络中间特征，，为学生网络的中间特征，为softmax函数，为线性映射函数，f
t
分别教师网络的中间特征，为二次范数；t为蒸馏温度；l
l
为学生网络和教师网络的逻辑输出经过带有温度的softmax函数软化后的kl散度损失，lc为学生网络的逻辑输出与真实标签的交叉熵损失。
21.进一步地，步骤（1）中所述预处理是对激振信号先归一化处理后进行滤波。
22.进一步地，步骤（2）中所述特征提取层是由多层残差网络结构堆叠而成。
23.进一步地，步骤（2）中所述语义编码层是指：先对特征向量进行归一化处理，然后进行多头注意力机制，再次归一化处理，最后通过多层感知机输出缺陷的语义信息；所述多头注意力机制用于提取多重语义中的含义，计算模型为；q表示访问向量，k被访问向量，v表示提取的信息，q、k、v均通过特征向量经过线性映射得到的，dk表示特征向量的维度，t为转置矩阵。
24.进一步地，步骤（2）中所述训练教师模型是采用梯度下降方法和adam优化算法训练。
25.进一步地，步骤（3）使用adam参数优化算法和误差反向传播方法来最小化损失函数，得到最优化网络参数。
26.本发明还提提供了一种基于分级知识蒸馏的曲轴内部缺陷检测系统，包括激振信号采集装置、缺陷检测装置、传送装置、缺陷曲轴剔除装置和无缺陷曲轴收纳装置；
27.所述传送装置用于传输曲轴，在所述传送装置的前端安装激振信号采集装置，传送装置的中部安装缺陷曲轴剔除装置，传送装置的末端安装无缺陷曲轴收纳装置；
28.所述激振信号采集装置包括用于激发曲轴产生激振信号的激发器、用于采集激振信号的传感器、以及于传感器连接的数据采集卡，数据采集卡与缺陷检测装置连接，将传感器采集的激振信号通过数据采集卡发送给缺陷检测装置；
29.所述缺陷检测装置内加载有上述所述的基于分级知识蒸馏的曲轴内部缺陷检测方法，采集激振信号预处理后时频转换为时频图，再通过最终分级知识蒸馏进行内部缺陷识别；
30.所述缺陷检测装置还与缺陷曲轴剔除装置连接，当检测内部缺陷的曲轴时，控制缺陷曲轴剔除装置工作；
31.所述无缺陷曲轴收纳装置用于收纳无缺陷曲轴
32.与现有技术相比，本发明具有如下有益效果：
33.（1）通过提出的基于知识蒸馏的曲轴内部缺陷检测方法能实时检测曲轴的内部缺陷，加快了曲轴检测的速度，能实现曲轴内部缺陷的自动化检测，降低成本。
34.（2）提出分级知识蒸馏技术，解决了大模型和小模型之间的可蒸馏性差的问题。实现了大模型较高的预测性能迁移到小模型上，解决了小模型推理速度快、预测精度差，大模型预测精度高、推理时间慢的问题。
附图说明
35.图1为本发明的检测方法流程示意图。
36.图2为本发明构建的教师模型结构示意图。
37.图3为本发明语义编码的流程示意图。
38.图4为本发明学生网络特征重构示意图。
39.图5为本发明检测系统结构示意图。
具体实施方式
40.实施例1
41.如图1所示，本实施例提供的一种基于分级知识蒸馏的曲轴内部缺陷检测方法包括如下步骤：
42.（1）数据采集及处理
43.采集内部无缺陷曲轴和内部缺陷曲轴的激振信号，并对采集的激振信号预处理后时频变换为时频图，并按照是一定的比例将曲轴的时频图为训练数据集和测试数据集。
44.采集激振信号时内部无缺陷和内部缺陷的曲轴比例大约掌握在1:1左右，有利于后续模型的训练。
45.所述预处理是对激振信号先归一化处理后进行滤波，可消除采集的激振信号中的噪声信号，进而减小噪声对预测结果的影响。
46.时频转换是指：先进行分帧，添加窗函数，对每一帧进行傅里叶变换，计算每帧的能量，然后以时间为横轴，频率为纵轴，用颜色的深浅表示坐标点的能量，生成时频图。
47.按照8:2的比例将时频图为训练数据集和测试数据集；其中训练数据集用于训练
模型，测试数据集用于测试训练后的模型。
48.（2）构建并训练教师模型
49.如图2所示，所述教师模型包括依次连接的特征提取层（feature embedding）、位置编码层（position embedding）、语义编码层（transformer encoder）和分类器。
50.所述特征提取层（feature embedding）用于提取时频图的高维特征，对特征图进行下采样处理，然后把特征图映射成一维特征向量。feature embedding具体由多层残差网络结构堆叠而成，提取深度特征的同时避免引起梯度消失，提取完特征后将特征图经全局最大池化到（14,14），然后将特征图展平为大小为196的一维特征向量。
51.所述位置编码层（position embedding）用于对一维特征向量添加一个表征类别的class token，生成大小为197的特征向量，然后对特征向量的每个位置进行编码。
52.所述语义编码层（transformer encoder）用于提取位置编码层输出的特征向量中的缺陷语义信息；如图3所示，具体为：先对特征向量进行归一化处理，然后进行多头注意力机制（multi-head attention），再次归一化处理，最后通过多层感知机输出缺陷的语义信息。其中，多头注意力机制用于提取多重语义中的含义，计算模型为；q表示访问向量，k被访问向量，v表示提取的信息，q、k、v均通过特征向量经过线性映射得到的，dk表示特征向量的维度，t为转置矩阵。
53.所述分类器用于对缺陷的语音信息进行缺陷分类别预测，本实施例采用全连接层作为分类器。
54.本实施例采用梯度下降方法和adam优化算法训练教师模型，得到鲁棒性好且预测精度高的模型，保存模型权重，作为分级知识蒸馏过程一级教师模型。
55.（3）构建并训练分级知识蒸馏
56.所述分级知识蒸馏包括一级知识蒸馏和二级知识蒸馏，每级知识蒸馏都包括教师网络和学生网络，一级知识蒸馏的教师网络采用步骤（2）训练好的教师模型，一级知识蒸馏的学生网络作为二级知识蒸馏的教师网络。
57.为便于区分，本实施例将一级知识蒸馏中的教师网络命名为初级教师网络，一级知识蒸馏的学生网络同时为二级知识蒸馏的教师网络命名为次级教师网络，二级知识蒸馏的学生网络命名为次级学生网络。
58.所述初级教师网络采用步骤（2）训练好的教师模型，包括依次连接特征提取层（feature embedding）、位置编码层（position embedding）、语义编码层（transformer encoder）和一级分类器。
59.次级教师网络和次级学生网络均采用选择参数量小且模型简单的网络，以保证教师网络和学生网络的匹配度；次级教师网络包括次级特征提取网络和次级分类器，次级学生网络包括二级特征提取网络和二级分类器。
60.一级知识蒸馏和二级知识蒸馏均在中间特征和逻辑输出进行蒸馏，使学生网络的中间特征和逻辑输出不断向教师网络对应部分特征和逻辑输出对齐；一级知识蒸馏还包括一级特征蒸馏损失和一级逻辑输出蒸馏损失，特征提取层和次级特征提取网络均与一级特征蒸馏损失连接，一级特征蒸馏损失、分类器、次级分类器均与一级逻辑输出蒸馏损失连接；同理，二级知识蒸馏还包括二级特征蒸馏损失和二级逻辑输出蒸馏损失，次级特征提取
网络和二级特征提取网络均与二级特征蒸馏损失连接，二级特征蒸馏损失、次级分类器、二级分类器均与二级逻辑输出蒸馏损失连接。
61.一级知识蒸馏和二级知识蒸馏走中还对特征和逻辑输出联合构建损失函数，所述一级逻辑输出蒸馏损失和二级逻辑输出蒸馏损失均连接有损失函数，且次级分类器和二级分类器均连接有交叉熵损失，交叉熵损失与损失函数连接。
62.所述损失函数为，α、β、λ为权重因子，取值范围0~1；为教师网络和学生网络的特征蒸馏损失，为重构后学生网络中间特征，由于教师网络相较于学生网络具有更多的网络层数，具有较大的感受野，因此提取到的特征在空间中并不能一一对齐，所以通过重构学生网络中间特征以实现空间中特征对其，；为学生网络的中间特征，为softmax函数，为线性映射函数，具体是由一个1
×
1的2d卷积层和一个2d批归一化层组成，生成过程如图4所示；fs为学生网络的中间特征，f
t
分别教师网络的中间特征，为二次范数；t为蒸馏温度；l
l
为学生网络和教师网络的逻辑输出经过带有温度的softmax函数软化后的kl散度损失，软化的计算公式为，xi为模型的逻辑输出；lc为学生网络的逻辑输出与真实标签的交叉熵损失。
63.通过训练数据集分别输入到特征提取层、次级特征提取网络和二级特征提取网络中对分级知识蒸馏进行训练，并使用adam参数优化算法和误差反向传播方法来最小化损失函数，得到最优化网络参数，最终得到一个性能接近于教师网络的学生网络，保存其网络权重，作为二级知识蒸馏的教师网络；重复以上操作多次实现分级知识蒸馏过程，最终得到一个参数量很小，预测精度较高的学生网络；保存权重获取训练好的分级知识蒸馏。
64.通过测试数据集测试分级知识蒸馏获取最终分级知识蒸馏，将最终分级知识蒸馏应用到实际的曲轴内部缺陷检测中。
65.与利用时域激振信号通过深度神经网络来进行曲轴内部缺陷的检测方法相比，本实施例在使用相同的网络模型可以提高检测精度，通过分级知识蒸馏避免了直接一步蒸馏中大小模型匹配度差的影响，达到了在较小的计算资源中实现很高的检测精度。
66.实施例2
67.如图5所示，本实施例提供了一种基于分级知识蒸馏的曲轴内部缺陷检测系统包括激振信号采集装置、缺陷检测装置、传送装置、缺陷曲轴剔除装置和无缺陷曲轴收纳装置。
68.所述传送装置用于传输曲轴，可采用常规的传送带等装置实现；在所述传送装置的前端安装激振信号采集装置，传送装置的中部安装缺陷曲轴剔除装置，传送装置的末端安装无缺陷曲轴收纳装置。
69.所述激振信号采集装置包括用于激发曲轴产生激振信号的激发器、用于采集激振信号的传感器、以及于传感器连接的数据采集卡，激发器采用击打装置，如电动榔头等；数据采集卡与缺陷检测装置连接，将传感器采集的激振信号通过数据采集卡发送给缺陷检测装置。
70.为便于激发曲轴产生激振信号的激发器，所述激振信号采集装置下发设置有固定
曲轴的装置，实现对曲轴的固定，如可分离的卡槽即可实现曲轴固定。
71.所述缺陷检测装置内加载有实施例1步骤（3）所述最终分级知识蒸馏，最终分级知识蒸馏可采用labview编写图形化程序实现，采集激振信号预处理后时频转换为时频图，再通过最终分级知识蒸馏进行内部缺陷识别。所述缺陷检测装置具体采用带显示的工控机实现，该工控机还与缺陷曲轴剔除装置连接，当检测内部缺陷的曲轴时，控制缺陷曲轴剔除装置工作。
72.所述缺陷曲轴剔除装置可采用推杆、机械手等装置实现将有缺陷的曲轴离开传送装置。
73.所述无缺陷曲轴收纳装置用于收纳无缺陷曲轴。
74.工作时，传送装置传输曲轴，将曲轴输送到激振信号采集装置处，通过撞击产生激振信号，数据采集卡采集激振信号，并传输至缺陷检测装置中，缺陷检测装置进行内部缺陷识别检测；当检测出此时采集的曲轴含有内部缺陷，控制缺陷曲轴剔除装置使曲轴脱离传输装置，正常的曲轴则被传送到无缺陷曲轴收纳装置内；通过上述流程完成曲轴内部缺陷的检测。
75.以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。