多模态持续学习故障诊断方法、装置、电子设备及存储介质
本发明属于机械设备智能故障诊断,具体涉及一种多模态持续学习故障诊断方法、装置、电子设备及存储介质。
背景技术:
1、机械设备(如液压泵)是工业系统中的核心组成部分,其运行状态直接影响航空航天、能源输送及工业装备的安全性和可靠性。在复杂的服役环境下,机械设备易出现磨损、松动、疲劳及流道堵塞等各类故障。因此,对机械设备(例如液压泵等)的运行状态进行准确的智能诊断具有重要的工程应用价值。
2、现有机械设备的故障诊断方法主要包括基于物理模型、基于信号处理以及基于人工智能的方法。其中,基于物理模型的方法依赖精确建模,实际应用难度较大;基于信号处理的方法通常需要人工提取特征,对工程经验依赖较强;基于人工智能的方法虽能自动完成特征提取与故障分类,但大多采用固定故障类别和离线训练方式。在实际运行过程中,一旦出现新增的故障类型,现有模型往往难以持续适应。
3、当出现新增故障类型时,现有诊断模型通常需要利用新旧故障数据联合进行重新训练,若仅利用新增故障数据更新模型,极易导致模型对已有故障知识产生遗忘。近年来,多模态学习和持续学习为机械设备的增量故障诊断提供了新的技术途径,但现有方法在实际应用中仍存在诸多局限:不同模态的监测信息协同利用率较低、模型对新增故障特征的持续适应能力有限,并且在增量训练过程中,已建立的跨模态知识极易被破坏和遗忘。这些技术瓶颈使得现有模型难以满足复杂工业场景下机械设备持续稳定准确的故障诊断需求。
技术实现思路
1、针对现有技术中存在的问题,本发明提供了一种多模态持续学习故障诊断方法、装置、电子设备及存储介质,其目的在于提高多模态监测信息的协同利用率,增强模型对新增故障特征的持续适应能力,并在增量训练过程中有效约束参数更新,克服对已有跨模态知识的遗忘。
2、为了解决上述技术问题,本发明通过以下技术方案予以实现:
3、根据本发明的第一方面,提供一种基于多模态持续学习的故障诊断方法,包括:
4、获取待诊断机械设备的时频图像;
5、基于多模态持续学习模型的视觉编码器,利用与当前诊断任务相匹配的任务专属适配器和表征跨任务共享知识的通用适配器,联合提取所述时频图像的故障视觉特征;
6、获取针对机械设备各故障类别预设的时频特征描述,并通过所述多模态持续学习模型的文本编码器提取得到相应的故障文本特征;
7、将所述故障视觉特征与所述故障文本特征进行跨模态匹配,得到跨模态故障预测结果;
8、基于所述故障视觉特征获取视觉单模态故障预测结果,并将所述跨模态故障预测结果与所述视觉单模态故障预测结果进行融合,输出所述待诊断机械设备的最终故障诊断结果;
9、在出现新增故障类别对应的增量诊断任务时,计算所述故障视觉特征与对应的所述故障文本特征之间的模态间隙,并依据所述模态间隙控制所述多模态持续学习模型中跨模态对齐参数的更新,以及根据已训练的任务专属适配器生成更新后的通用适配器。
10、在第一方面的一种可能的实现方式中,所述利用与当前诊断任务相匹配的任务专属适配器提取所述时频图像的故障视觉特征之前,还包括确定所述任务专属适配器的步骤:
11、分别调用所述多模态持续学习模型中预先配置的各个历史任务专属适配器,对所述时频图像进行故障预测,获得各所述历史任务专属适配器分别对应的故障类别概率分布;
12、分别计算各个所述故障类别概率分布的预测熵;
13、将所述预测熵最小的历史任务专属适配器,确定为与当前诊断任务相匹配的所述任务专属适配器。
14、在第一方面的一种可能的实现方式中,所述根据已训练的任务专属适配器生成更新后的通用适配器,具体包括如下步骤:
15、获取所述多模态持续学习模型中包含当前任务专属适配器在内的各个已训练的任务专属适配器的网络参数;
16、对各所述任务专属适配器中具有相同参数维度的网络参数的对应元素进行符号聚合,以确定所述通用适配器中相应元素的通用参数符号;
17、在与所述通用参数符号一致的对应元素中,选取绝对值最大的参数确定为所述通用适配器中相应元素的通用参数幅值;
18、根据聚合得到的各个元素的所述通用参数符号和所述通用参数幅值,更新所述通用适配器。
19、在第一方面的一种可能的实现方式中,所述依据所述模态间隙控制所述多模态持续学习模型中跨模态对齐参数的更新,包括:
20、将所述模态间隙与预设的模态间隙阈值进行比较;
21、当所述模态间隙大于所述预设的模态间隙阈值时,在针对所述增量诊断任务的训练过程中停止更新所述跨模态对齐参数;
22、当所述模态间隙不大于所述预设的模态间隙阈值时,在针对所述增量诊断任务的训练过程中继续更新所述跨模态对齐参数。
23、在第一方面的一种可能的实现方式中,在针对所述增量诊断任务的训练过程中,冻结所述视觉编码器的基础网络参数以及各个历史任务专属适配器的参数,基于低秩适配微调方式仅更新所述当前诊断任务对应的任务专属适配器,参数更新公式为:,其中,为更新的参数矩阵,为升维矩阵,为降维矩阵。
24、在第一方面的一种可能的实现方式中,所述时频特征描述通过如下方式获取:
25、将机械设备的各故障类别标签以及对应的故障机理知识输入至大语言模型,由所述大语言模型生成包含频率分布特征、能量分布特征、谐波特征、冲击特征和调制特征中至少一种的文本信息,作为相应故障类别的所述时频特征描述。
26、在第一方面的一种可能的实现方式中,所述将所述跨模态故障预测结果与所述视觉单模态故障预测结果进行融合,输出所述待诊断机械设备的最终故障诊断结果,包括:
27、分别对所述跨模态故障预测结果和所述视觉单模态故障预测结果分配预设的融合权重并进行加权,得到融合后的综合故障类别概率分布;
28、将所述综合故障类别概率分布中融合概率最大的故障类别,确定为所述待诊断机械设备的最终故障诊断结果。
29、根据本发明的第二方面,提供一种多模态持续学习故障诊断装置,包括:
30、获取模块,用于获取待诊断机械设备的时频图像;
31、视觉特征提取模块,用于基于多模态持续学习模型的视觉编码器,利用与当前诊断任务相匹配的任务专属适配器和表征跨任务共享知识的通用适配器,联合提取所述时频图像的故障视觉特征;
32、文本特征提取模块,用于获取针对机械设备各故障类别预设的时频特征描述,并通过所述多模态持续学习模型的文本编码器提取得到相应的故障文本特征;
33、跨模态匹配模块,用于将所述故障视觉特征与所述故障文本特征进行跨模态匹配,得到跨模态故障预测结果;
34、诊断融合模块,用于基于所述故障视觉特征获取视觉单模态故障预测结果,并将所述跨模态故障预测结果与所述视觉单模态故障预测结果进行融合,输出所述待诊断机械设备的最终故障诊断结果;
35、增量控制模块,用于在出现新增故障类别对应的增量诊断任务时,计算所述故障视觉特征与对应的所述故障文本特征之间的模态间隙,并依据所述模态间隙控制所述多模态持续学习模型中跨模态对齐参数的更新,以及根据已训练的任务专属适配器生成更新后的通用适配器。
36、根据本发明的第三方面,提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的一种基于多模态持续学习的故障诊断方法。
37、根据本发明的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种基于多模态持续学习的故障诊断方法。
38、根据本发明的第五方面,提供一种计算机程序产品,该计算机程序产品被处理器执行时实现所述的一种基于多模态持续学习的故障诊断方法。
39、与现有技术相比,本发明至少具有以下有益效果:
40、本发明提供的一种基于多模态持续学习的故障诊断方法,首先,本发明通过联合利用任务专属适配器和通用适配器提取时频图像的故障视觉特征,有效解耦了新增任务的特异性特征与跨任务的共享知识,提升了模型对新增故障类型的持续适应能力;其次,本发明将包含故障机理知识的时频特征描述输入文本编码器,并将提取的故障文本特征与故障视觉特征进行跨模态匹配,再辅以视觉单模态预测结果的融合补偿,克服了单一信号特征的表征局限,提高了不同模态监测信息的协同利用率,从而增强了复杂服役环境下机械设备故障诊断的准确性;最后,在执行增量诊断任务时,本发明引入模态间隙作为反馈指标,依据该模态间隙自适应控制跨模态对齐参数的更新,有效避免了单纯依据新增故障数据更新参数对原有图文特征空间的破坏,从根本上抑制了模型在增量训练过程中对已有跨模态知识的遗忘,进而满足了工业场景下机械设备故障诊断模型持续进化与高精度稳定运行的实际工程需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com