一种工业跨模态故障诊断模型训练方法及系统与流程
本技术涉及人工智能,尤其是涉及一种工业跨模态故障诊断模型训练方法及系统。
背景技术:
1、工业生产现场的设备状态信息分散在多类数据之中。传感器采集的时序数据反映设备运行参数的连续变化,固定安装的工业相机与人工巡检拍摄的设备图像记录部件外观,维修工单记载故障类别、故障部位与处置过程。三类数据相互印证,可以弥补单一数据只反映故障某一侧面的局限,以多模态数据训练故障诊断模型已成为设备运维的重要方向。
2、训练多模态故障诊断模型需要足够数量的跨模态样本,每个样本中的时序数据、设备图像与文本须对应同一次故障,并带有故障类别标签。在工业现场,这三类数据通常分别由数据采集与监视控制系统、视觉检测系统以及制造执行系统或设备管理系统产生,各系统独立建设,采样频率与记录时机差别很大:时序数据按固定频率连续采样,巡检图像按班次拍摄,维修工单则在处置完成之后由人员补录。由人工对跨模态样本逐一标注故障类别与故障时段,成本很高,工业现场也难以投入相应的标注人力。
3、现有的多模态故障诊断方法在构造训练样本时,通常依赖同一采集系统内的硬件时钟同步把各模态对齐到同一时间轴,借助几何校正与图像分割确定图像所对应的设备部位,或者按时间邻近关系、按工单产生时刻把维修工单关联到时序数据的时间窗上,再由人工标注或维护记录提供故障标签。然而,各业务系统之间不存在公共时钟,硬件同步的前提在多系统并存的工业现场并不成立,图像分割又要以已经训练好的识别模型为前提;维修工单作为唯一记载故障语义的记录,其中的故障类别与故障部位可信,填写的时间却常常偏离真实的故障过程,按工单时间关联数据会把故障发生之前或设备修复之后的正常数据配上故障标签,进而使训练样本的时间边界与真实故障过程不一致、标签可信度下降,模型学到的跨模态关联随之失真。
技术实现思路
1、为了在各业务系统之间不存在公共时钟、维修工单时间不可信且缺乏人工跨模态标注的条件下,得到时间边界与真实故障过程相符、标签可信的跨模态训练样本,并据以训练跨模态故障诊断模型,本技术提供一种工业跨模态故障诊断模型训练方法及系统。
2、第一方面,本技术提供的一种工业跨模态故障诊断模型训练方法,采用如下的技术方案:
3、一种工业跨模态故障诊断模型训练方法,依次包括以下步骤:
4、s1.获取多个测点的时序数据、带有拍摄时刻的设备图像与维修工单,并基于预设的部位登记关系确定各所述测点与各所述设备图像的所属设备与所属部位;
5、s2.基于每一所述维修工单确定故障类别、故障设备、故障部位与填报故障时段,将所述填报故障时段按预设搜索裕量外扩得到搜索时段,并将所述所属设备为所述故障设备且所述所属部位与所述故障部位相对应的所述测点与所述设备图像分别选取为目标测点与目标设备图像;
6、s3.基于所述目标测点在所述搜索时段内的时序数据的状态变化,确定故障起始时刻与故障恢复时刻;
7、s4.以自所述故障起始时刻至所述故障恢复时刻的时段为故障段,以所述故障起始时刻为基准按预设挂接裕量确定图像挂接时段,将所述目标测点在所述故障段内的时序数据、拍摄时刻落入所述图像挂接时段的所述目标设备图像与所述维修工单的工单文本归并为事件样本,并以所述故障类别为所述事件样本的类别标签;
8、s5.基于各所述事件样本,以所述类别标签为分类监督并结合对比学习,对时序编码器、图像编码器与文本编码器执行联合训练,得到跨模态故障诊断模型。
9、通过采用上述技术方案,维修工单只提供其可信的故障类别与故障部位,故障的起止时刻改由故障部位所属测点的时序数据在搜索时段内的状态变化确定,使故障段边界跟随真实故障过程而非人工填写的时间;部位登记关系为时序数据与设备图像赋予所属部位,无需几何配准或已训练的识别模型;以故障段归并的事件样本带有工单的故障类别作为标签,无需人工跨模态标注即可形成跨模态监督,使三个编码器学到的关联对应同一次真实故障。
10、可选的,所述s5中,所述对比学习的负样本包括同部位对照负样本与同时刻异部位负样本;
11、所述同部位对照负样本包括所述目标测点在恢复段内的时序数据与拍摄时刻落入所述恢复段的所述目标设备图像,所述恢复段为自所述故障恢复时刻起、长度为预设对照时长的时段;
12、所述同时刻异部位负样本包括所述所属设备为所述故障设备且所述所属部位与所述故障部位不相对应的所述测点在所述故障段内的时序数据。
13、通过采用上述技术方案,同部位对照负样本只改变故障状态,同时刻异部位负样本只改变部位,使对比学习学到故障特征,而不是依靠设备身份或工况区分样本。
14、可选的,所述s3中,对各所述目标测点分别检测所述状态变化;
15、所述s4中,仅将出现所述状态变化的所述目标测点在所述故障段内的时序数据归并入所述事件样本。
16、通过采用上述技术方案,工单只记载到较粗一级部位时,由出现状态变化的测点把事件样本落到具体部位,避免把未受故障影响的测点数据并入样本。
17、可选的,所述s4中,还依据所述故障起始时刻与所述填报故障时段的起点之间的偏移量确定所述事件样本的时段吻合度;
18、所述s5中,以所述时段吻合度作为所述事件样本在所述联合训练中的样本权重。
19、通过采用上述技术方案,以数据导出的故障起始时刻与工单填报时段起点的偏移量衡量人工记录与物理数据的一致程度,并据以调节样本在训练中的权重,降低记录失准样本的影响。
20、可选的,所述维修工单记载有填报来源;
21、所述s2中,所述预设搜索裕量按所述填报来源分别设定,并依据所述填报来源的来源可信度确定,所述来源可信度依据所述填报来源此前的各所述维修工单所对应的所述事件样本的所述时段吻合度确定。
22、通过采用上述技术方案,按填报来源积累的吻合情况确定该来源后续工单的搜索裕量,填报时间较准的来源使用较窄的搜索时段,使样本组装随使用逐步收敛。
23、可选的,所述s4中,对所述时段吻合度不低于预设吻合度阈值的所述事件样本,还将所述目标测点在前兆段内的时序数据归并为前兆样本,所述前兆段为自所述故障起始时刻向前推预设前兆时长的时段;
24、所述s5中,还以所述前兆样本及所对应的所述类别标签训练所述跨模态故障诊断模型,使所述跨模态故障诊断模型基于所述故障起始时刻之前的时序数据输出故障预警。
25、通过采用上述技术方案,只在故障起始时刻可信的样本上截取故障发生之前的前兆段参与训练,使模型能够基于故障发生之前的时序数据给出预警。
26、可选的,所述s3中,所述状态变化包括所述时序数据的时序变点,所述时序变点依据经掩码重构自监督预训练的所述时序编码器对所述目标测点在所述搜索时段内的时序数据的重构残差确定,以所述重构残差超出残差基准分布的起始点作为所述故障起始时刻,并以所述重构残差回落至所述残差基准分布内的终止点作为所述故障恢复时刻,所述残差基准分布由所述目标测点在正常运行时段内的重构残差统计得到。
27、通过采用上述技术方案,复用自监督预训练的时序编码器,以重构残差相对正常运行时段残差分布的越出与回落确定故障起止,判据由数据自身给出,不依赖故障标签。
28、可选的,所述s4中,所述预设挂接裕量依据拍摄滞后分布确定,所述拍摄滞后分布为所述目标设备图像的拍摄时刻相对于所述故障起始时刻的滞后量按所述故障设备的设备类型、所述故障部位与所述故障类别分组统计得到的分布,所述图像挂接时段取所述拍摄滞后分布的高密度区间所对应的时段。
29、通过采用上述技术方案,按设备类型、故障部位与故障类别统计图像拍摄相对故障起始时刻的滞后分布,以其高密度区间挂接图像,使挂接范围随巡检编排的变化自行调整。
30、可选的,所述s5中,还以所述跨模态故障诊断模型为教师模型、以仅接收时序数据与设备图像的学生模型为蒸馏对象执行知识蒸馏,所述知识蒸馏中所述教师模型与所述学生模型的输入取自同一所述事件样本的所述故障段,所述学生模型用于基于实时采集的时序数据与设备图像输出故障诊断结果。
31、通过采用上述技术方案,以同一事件样本配对教师模型与学生模型,把工单承载的故障语义转移给只接收时序数据与设备图像的学生模型,推理时无需等待工单录入。
32、可选的,所述s4中,所述工单文本为所述维修工单中记载故障现象与处置过程的自由文本。
33、通过采用上述技术方案,同一份工单的结构化字段用作标签、自由文本用作输入,分别承担标签与样本的作用。
34、可选的,所述s5中,在所述联合训练之前遮蔽所述自由文本中的结论词,所述结论词为在不同所述故障类别的维修工单中的出现分布集中于单一故障类别的词语。
35、通过采用上述技术方案,遮蔽结论词使模型从时序数据与设备图像获得判别能力,而非从文本直接读出结论。
36、可选的,所述部位登记关系包括记载各固定相机所拍摄的设备图像的所属设备与所属部位的相机部位登记关系;在所述s5之后,还以所述跨模态故障诊断模型计算各所述固定相机所拍摄的设备图像与各所述故障段之间的共现统计,将所述共现统计所指示的部位与所述相机部位登记关系所记载的所属部位不一致的登记项确定为不一致登记项,并以最近一次登记变更记录所对应的时刻作为所述不一致登记项的失效时段的起点。
37、通过采用上述技术方案,以训练结果反查不一致登记项并界定其失效时段,使部位对应关系在设备改造后仍正确。
38、可选的,所述来源可信度还依据所述填报来源此前的各所述维修工单所记载的故障部位与备件领用记录所指示的更换部位之间的一致率确定。
39、通过采用上述技术方案,以备件领用记录核对工单填写的故障部位,使来源可信度兼顾时间与部位的填写质量。
40、可选的,所述部位登记关系包括点位部位对应关系,由移动巡检拍摄的设备图像依据巡检任务单所记载的检查点位与所述点位部位对应关系确定所属设备与所属部位。
41、通过采用上述技术方案,移动巡检拍摄的设备图像经检查点位获得所属部位,与固定相机图像一并参与挂接。
42、可选的,所述维修工单附带的维修前图像并入所述事件样本,所述维修工单附带的维修后图像并入所述同部位对照负样本。
43、通过采用上述技术方案,工单附带的维修前后图像直接构成同一部位故障状态与恢复状态的图像对照。
44、第二方面,本技术提供的一种工业跨模态故障诊断模型训练系统,采用如下的技术方案:
45、一种工业跨模态故障诊断模型训练系统,包括:
46、数据获取单元,被配置成获取多个测点的时序数据、带有拍摄时刻的设备图像与维修工单,并基于预设的部位登记关系确定各所述测点与各所述设备图像的所属设备与所属部位;
47、工单解析单元,被配置成基于每一所述维修工单确定故障类别、故障设备、故障部位与填报故障时段,将所述填报故障时段按预设搜索裕量外扩得到搜索时段,并将所述所属设备为所述故障设备且所述所属部位与所述故障部位相对应的所述测点与所述设备图像分别选取为目标测点与目标设备图像;
48、故障段确定单元,被配置成基于所述目标测点在所述搜索时段内的时序数据的状态变化,确定故障起始时刻与故障恢复时刻;
49、样本组装单元,被配置成以自所述故障起始时刻至所述故障恢复时刻的时段为故障段,以所述故障起始时刻为基准按预设挂接裕量确定图像挂接时段,将所述目标测点在所述故障段内的时序数据、拍摄时刻落入所述图像挂接时段的所述目标设备图像与所述维修工单的工单文本归并为事件样本,并以所述故障类别为所述事件样本的类别标签;
50、模型训练单元,被配置成基于各所述事件样本,以所述类别标签为分类监督并结合对比学习,对时序编码器、图像编码器与文本编码器执行联合训练,得到跨模态故障诊断模型。
51、通过采用上述技术方案,系统各单元与第一方面的步骤一一对应,数据获取、工单解析、故障段确定、样本组装与模型训练依次衔接,实现第一方面所述的训练方法。
52、综上所述,本技术包括以下至少一种有益技术效果:
53、1、故障段起止由故障部位所属测点的时序数据确定,工单只提供故障类别与故障部位,无需人工跨模态标注即可得到时间边界与真实故障过程相符的跨模态训练样本。
54、2、以修复后的同部位数据与同时刻其他部位数据构成两类正交负样本,并以工单填报时间与数据起止的吻合程度调节样本权重,使模型学到故障特征并降低记录失准的影响。
55、3、在高可信样本上截取故障前的前兆段训练预警,并将工单承载的故障语义蒸馏到只接收时序数据与设备图像的学生模型,使模型能够在工单录入之前完成诊断并提前预警。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com