一种基于深度学习的工业产品异音检测方法与流程

本发明涉及工业声学检测，具体涉及一种基于深度学习的工业产品异音检测方法，适用于马达、电机、风机等工业产品的异音质量检测。

背景技术：

1、在工业制造领域，许多旋转类工业产品（如电机、马达、风机等）的运行声音品质是衡量其质量的重要指标。由于轴承磨损、转子不平衡、装配误差或异物混入等原因，这些产品在正常运转声音之外会产生异常的声音，即所谓的异音。

2、传统上，异音检测主要依靠人工听检。企业通常招募或者培训听力优异的人员（俗称“金耳朵”）在产线上对产品的不同运行模式进行听音判断。该方法存在以下不足：

3、1、效率低，一名熟练听音员每小时检测数量有限，无法满足大规模生产节拍；

4、2、主观性强，不同听音员之间、同一听音员在不同疲劳状态下的判断标准不一致，导致漏检率高、批次质量不稳定；

5、3、长期高强度听音会对作业员听力造成不可逆损伤；

6、4、随着产品对静音品质要求不断提高，人耳分辨能力逐渐接近极限。

7、人工听检方式难以满足大规模、高标准的异音检测需求。针对上述问题，现有技术中也出现了基于声学信号处理的自动检测方法，如频率分析法、时域滤波法、频响曲线分析法以及传统机器学习分类方法。

8、例如，见专利文献号为cn119125874b的中国发明专利，其公开了一种基于噪音的步进电机故障检测方法及系统，所述方法包括获取步进电机的工作状态，基于噪音检测点获取不同工作状态下的步进电机的音频信息，创建运行音频模型，作为音频特征；统计工作状态和音频特征，创建音频特征至工作状态的映射关系；在实际应用阶段，获取工作时段，基于噪音检测点获取实际音频信息，根据实际音频信息和工作时段确定音频特征，基于映射关系获取工作参数，作为预测结果。

9、上述方法存在明显局限：分析数据单一，通常仅依赖声音信号或仅依赖振动信号，这些方法通常需要信号处理专家人工设计特征并设定固定阈值。由于工业异音往往表现为微弱、瞬态且与主频音高度耦合的非线性信号，现有的方法难以有效捕捉。此外，不同型号产品之间声学特征差异大，需要大量人工调试，缺乏泛化能力。

10、基于以上所述，本发明人提出以下技术方案。

技术实现思路

1、本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于深度学习的工业产品异音检测方法，以实现异音检测的自动化、客观化和高准确率。

2、为了解决上述技术问题，本发明采用了下述技术方案：一种基于深度学习的工业产品异音检测方法，该异音检测方法包括：模型建立阶段和在线检测阶段；所述模型建立阶段包括以下步骤：步骤s1，样本采集：获取多个产品样本在不同运行状态下的声音信号，由听音员对各所述产品样本逐一进行良品与不良品的人工听音判定，将判定为不良品的产品样本所对应的声音信号段标记为异常样本，将判定为良品的产品样本所对应的声音信号段标记为正常样本，获得带有所述良品/不良品标签的原始声音信号样本集；步骤s2, 训练特征提取步骤：对所述带标签的原始声音信号样本集中的各声音信号进行时频变换与图像化预处理，生成异音特征训练图像；步骤s3，模型训练：以所述异音特征训练图像作为输入，以对应的所述良品/不良品标签作为监督信号，对深度学习网络模型进行监督学习训练，得到异音分类模型；所述在线检测阶段包括：步骤s4，数据采集：在待测产品不同运行状态下，通过声学传感器采集声音信号；通过振动传感器采集振动信号；步骤s5，检测特征提取：对所述待测产品的声音信号，按照步骤s2相同的方式处理，生成异音特征检测图像；步骤s6，在线识别：将所述异音特征检测图像输入所述异音分类模型，输出不良品概率和置信度评分；步骤s7，综合判定：根据所述不良品概率和所述置信度评分，结合所述振动信号的振动异常分数，判定待测产品为良品或不良品。

3、进一步而言，上述技术方案中，所述步骤s1、s4中，不同运行状态包括产品在不同转速、不同负载或不同工作模式下的运行状态；声音信号的采样频率不低于48 khz，振动信号的采样频率不低于10 khz；采用非接触式麦克风采集声音信号，采用接触式振动传感器采集振动信号。

4、进一步而言，上述技术方案中，所述步骤s2、s5中，时频变换与图像化预处理包括：首先，对声音信号进行背景噪声抑制处理和高通滤波，然后，对滤波后的声音信号进行短时傅里叶变换，得到时频谱图；接着，将所述时频谱图通过mel滤波器组转换为mel频谱图；最后，对所述mel频谱图进行对数压缩和灰度映射，生成所述异音特征图像。

5、进一步而言，上述技术方案中，所述mel频谱图频带范围为200 hz至15 khz，采用128至512个mel滤波器组进行频率映射，生成的图像尺寸为224×224像素。

6、进一步而言，上述技术方案中，所述步骤s3中，深度学习网络模型cnn-lstm混合架构，其中cnn部分采用resnet或mobilenet结构提取图像的空间特征，lstm部分用于捕捉不同时间窗口下的时序变化模式，模型输出层为二分类softmax层，输出良品概率和不良品概率。

7、进一步而言，上述技术方案中，所述步骤s7中，综合判定的方法为：当声音分类模型输出的不良品概率大于或等于预设的置信度阈值时，直接判定为不良品；当不良品概率小于置信度阈值但振动异常分数超过预设的振动阈值时，判定为不良品；其余情况判定为良品。

8、进一步而言，上述技术方案中，所述步骤s7中，所述振动异常分数通过以下方式获得：对所述振动信号进行时域和频域分析，提取有效值、峰值、峭度和特定频带能量中的至少一种指标，经归一化处理后得到0至1之间的振动异常分数，数值越大表示振动异常越严重；所述振动阈值根据产品检测要求预设。

9、进一步而言，上述技术方案中，所述步骤s7中，当所述不良品概率与所述置信度阈值的差值在预设范围内时，将所述待测产品的异音特征检测图像推送至质检员终端进行人工复核；所述人工复核的判定结果定期用于对所述异音分类模型进行增量微调。

10、进一步而言，上述技术方案中，所述步骤s3中，当步骤s1中判定为不良品的产品样本数量少于预设阈值时，采用扩散生成模型对已有不良品产品样本的声音信号进行变体合成，生成合成异常数据以扩充训练集，使训练集中良品样本与异常样本的数量比例达到预设的均衡范围。

11、进一步而言，上述技术方案中，所述步骤s1中，所述听音员为至少两名通过听力测试认证的专业听音人员；对二者判定结果不一致的样本，由第三名专业听音人员进行仲裁判定；所述人工听音判定的标注一致性不低于95%。

12、本发明针对现有技术中工业产品异音检测依赖人工听检导致的主观性强、标准不统一、漏检率高以及传统自动化检测方法识别能力有限等技术问题，提出了一种基于深度学习的工业产品异音检测方法，相对于现有技术，本发明具有以下优点：

13、1、本发明首先通过专业的听音员（金耳朵）进行离线标注，然后再进行深度学习特征提取，消除了人工在线听检的主观不一致性和疲劳问题，检测一致性高。

14、2、本发明采用将声学信号转化为图像，从而能够有效捕获微弱瞬态异音特征。

15、3、本发明还将振动信号融合，作为独立判定的参数，同时采集声音信号和振动信号进行综合判定，声音分类模型为主判据，振动异常分数为辅助判据，有效避免了单一传感器在特定工况下可能出现的误判，可进一步提高检测可靠性。

16、4、本发明经过离线标注和深度学习后，在线检测时的速度快，可满足高速流水线生产需求。