基于两阶段训练大语言模型的剩余寿命预测方法及装置

摘要: 本发明涉及设备智能运维与健康管理,特别涉及基于两阶段训练大语言模型的剩余寿命预测方法及装置。背景技术:1、随着工业设备向智能化与复杂化方向发展,设备在长期运行过...
基于两阶段训练大语言模型的剩余寿命预测方法及装置

本发明涉及设备智能运维与健康管理,特别涉及基于两阶段训练大语言模型的剩余寿命预测方法及装置。

背景技术:

1、随着工业设备向智能化与复杂化方向发展,设备在长期运行过程中易受环境变化、操作扰动及材料老化等多因素影响,导致性能逐渐退化甚至发生故障。因此,对设备剩余寿命(remaining useful life, rul)的准确预测对于实现预测性维护、降低运维成本及提高系统运行安全性具有重要意义。传统rul预测方法主要包括基于物理模型与数据驱动方法,其中物理模型方法依赖机理分析但难以适应复杂系统,而数据驱动方法(如rnn、cnn、transformer等)虽在大规模标注数据条件下表现良好,但在小样本场景下易出现过拟合问题,泛化能力不足。

2、现有应对小样本rul预测的研究主要集中在数据增强、迁移学习以及元学习等方法上,但这些方法在建模假设、泛化能力或工程适用性等方面仍存在一定的局限性[1]。近年来的研究表明,预训练大语言模型在建模复杂序列依赖关系方面展现出优异能力,即使在小样本场景下,也能够保持较好的预测性能。受此启发,本发明尝试引入预训练大语言模型,以提升小样本条件下设备剩余寿命rul预测的精度与泛化能力。然而,预训练大语言模型通常基于大规模文本数据进行训练,其输入数据模态与设备运行时间序列数据存在显著差异,同时其预训练目标以语言建模任务为主,与rul预测这一回归任务在目标形式上亦不一致。因此,预训练大语言模型难以直接应用于rul预测问题,需要在输入表示、任务适配及模型结构层面进行针对性的改造与优化。

3、专利[202510853706.0]-一种基于大语言模型微调的机械装备剩余寿命智能预测方法,针对现有基于大语言模型微调的设备剩余寿命预测方法,其通常将数值型时序数据转换为结构化文本表示,再结合低秩适配(lora)进行参数高效微调。该方法虽然降低了训练成本,但将连续时序数据离散化为文本形式会造成信息损失,削弱对细粒度退化特征的表达能力;同时,单阶段微调策略对无标签数据利用不足,在复杂退化场景下泛化能力有限,且小样本条件下仍可能存在适配不稳定问题。

4、专利[202410785933.x]-一种基于微调大语言模型的机械设备剩余寿命预测方法,针对现有两阶段微调方法,其通过自监督预训练与监督微调结合,并冻结transformer主体参数,引入适配器进行任务学习。该方法虽能利用无标签数据,但由于预训练任务与下游rul预测目标存在一定偏差,影响表征一致性;同时,冻结注意力层与前馈网络限制了模型对复杂退化模式及长程依赖关系的建模能力,适配器结构表达能力有限,难以充分刻画多阶段、多尺度的设备寿命演化过程。

技术实现思路

1、为了解决现有技术中设备剩余寿命预测方法存在的时序数据表达能力不足、无标签数据利用不充分以及小样本条件下泛化能力有限等技术问题,本发明实施例提供了基于两阶段训练大语言模型的剩余寿命预测方法及装置。所述技术方案如下:

2、一方面,提供了一种基于两阶段训练大语言模型的剩余寿命预测方法,方法包括:

3、s1、对大语言模型进行结构改进以及预训练,获得改进后的大语言模型;

4、s2、获取机械设备多通道状态监测数据,并对数据进行标准化处理,获得标准化后的多通道时间序列数据;基于滑动窗口对标准化后的多通道时间序列数据进行划分,获得多个设备运行状态的子序列样本;

5、s3、基于多个设备运行状态的子序列样本,对各时间序列子序列进行patch划分,并映射为时序token表示;

6、s4、通过无标签时间序列数据,对输入的时序token随机掩码并保留自回归机制,使模型在部分可观测条件下进行序列建模,对改进后的大语言模型进行第i阶段训练;

7、s5、通过少量带剩余使用寿命rul标签的样本对第i阶段训练后的大语言模型进行任务适配,进行第ii阶段的rul预测任务训练,更新引入的轻量级shared-lora模块及预测头;

8、s6、基于两阶段训练的模型,构建机械设备剩余寿命预测系统,基于机械设备剩余寿命预测系统进行设备寿命评估与预测。

9、可选地,s1中,对大语言模型进行结构改进,包括:

10、在预训练llm主干的基础上进行结构扩展,在输入嵌入层与transformer编码层之间引入tcm模块,建模多变量时间序列中通道间相关性与局部时间依赖关系。

11、可选地,s2中,对数据进行标准化处理,获得标准化后的多通道时间序列数据,基于滑动窗口对标准化后的多通道时间序列数据进行划分,获得多个设备运行状态的子序列样本,包括:

12、对于原始序列中的任一通道,其标准化后的值计算如下述公式:

13、

14、其中,为第通道在时刻的原始值,和分别为该通道在观测周期内的均值和标准差;t表示;c表示;

15、第

i个子序列样本表示为:

16、,

17、其中,滑动窗口长度为w,滑动步长为s,起始时间;

18、通过滑动窗口,将长序列数据转化为m个等长的设备运行状态子序列样本,其中。

19、可选地,s3中,基于多个设备运行状态的子序列样本,对各时间序列子序列进行patch划分,包括:

20、对每个设备运行状态子序列样本进行 patch 划分,按照固定长度划分为非重叠补丁,得到补丁序列

21、,

22、其中,表示补丁总数。

23、可选地,s4中,通过无标签时间序列数据,对输入的时序token随机掩码并保留自回归机制,使模型在部分可观测条件下进行序列建模,对改进后的大语言模型进行第i阶段训练,包括:

24、使用无标签时间序列数据,将前n个补丁通过输入嵌入层映射为token表示,并输入tcm模块进行特征融合;

25、引入掩码自回归机制,对部分补丁token进行随机掩码处理,并使用可学习掩码token进行替换,使模型在部分可观测条件下进行序列建模;

26、其中,持续预训练过程采用自回归方式预测下一补丁,其损失函数定义为:

27、,

28、其中,n表示补丁数量,表示真实补丁,表示模型预测补丁。

29、可选地,s5中,通过少量带rul标签的样本对第i阶段训练后的大语言模型进行任务适配,进行第ii阶段的rul预测任务训练,更新引入的轻量级shared-lora模块及预测头,包括:

30、利用少量带标签样本对模型进行任务适配,在完成继续预训练的模型基础上,引入轻量级 shared-lora 模块,并替换为面向 rul 预测的任务输出头;

31、输入处理方式与阶段 i 保持一致,即将时间序列补丁依次映射为嵌入表示后输入至冻结的大语言模型主干网络;

32、在训练过程中,仅更新 shared-lora 模块及预测头等新增参数,而保持主干网络参数不变;其中,rul预测头用于输出机械设备剩余寿命预测值,并与真实rul标签计算监督损失,其损失函数定义为:

33、。

34、可选地,s6中,基于两阶段训练的模型,构建机械设备剩余寿命预测系统,基于机械设备剩余寿命预测系统进行设备寿命评估与预测,包括:

35、利用完成两阶段训练后的模型构建机械设备剩余寿命预测系统;

36、采集多通道的实时状态监测数据,基于机械设备剩余寿命预测系统进行补丁划分与嵌入映射后输入模型,并通过预测头输出对应的剩余寿命预测结果。

37、另一方面,提供了一种基于两阶段训练大语言模型的剩余寿命预测装置,该一种基于两阶段训练大语言模型的剩余寿命预测装置用于实现上述一种基于两阶段训练大语言模型的剩余寿命预测方法,其特征在于,所述系统包括:

38、模型改进模块,用于对大语言模型进行结构改进以及预训练,获得改进后的大语言模型;

39、数据处理模块,用于获取机械设备多通道状态监测数据,并对数据进行标准化处理,获得标准化后的多通道时间序列数据;基于滑动窗口对标准化后的多通道时间序列数据进行划分,获得多个设备运行状态的子序列样本;

40、数据划分映射模块,用于基于多个设备运行状态的子序列样本,对各时间序列子序列进行patch划分,并映射为时序token表示;

41、第i阶段训练模块,用于通过无标签时间序列数据,对输入的时序token随机掩码并保留自回归机制,使模型在部分可观测条件下进行序列建模,对改进后的大语言模型进行预训练;

42、第ii阶段训练模块,用于通过少量带rul标签的样本对预训练后的大语言模型进行任务适配,进行rul预测任务训练,更新引入的轻量级shared-lora模块及预测头;

43、评估预测模块,用于基于两阶段训练的模型,构建机械设备剩余寿命预测系统,基于机械设备剩余寿命预测系统进行设备寿命评估与预测。

44、另一方面,提供一种基于两阶段训练大语言模型的剩余寿命预测设备,所述一种基于两阶段训练大语言模型的剩余寿命预测设备包括:处理器;存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如上述一种基于两阶段训练大语言模型的剩余寿命预测方法中的任一项方法。

45、另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述一种基于两阶段训练大语言模型的剩余寿命预测方法中的任一项方法。

46、本发明实施例提供的技术方案带来的有益效果至少包括:

47、本发明通过提出的掩码自回归预训练机制,在保持自回归建模的同时引入随机掩码,使模型在部分可观测条件下进行时间序列建模,并以补丁为预测单位,从而同时提升对退化过程的建模能力与缺失数据鲁棒性。

48、本发明在大语言模型中引入token-channel mixing(tcm)模块,通过联合建模时间维依赖关系与通道间相关性,实现多变量时间序列的协同特征提取,相比传统单维建模方法具有更强的表征能力。

49、本发明提出基于shared-lora的参数高效微调策略,通过共享低秩适配参数并冻结主干网络,仅更新少量新增参数,实现小样本条件下的高效模型适配与稳定训练。

50、本发明构建了结合上述方法的两阶段学习框架,实现无标签预训练与小样本微调的统一建模,在复杂工况下仍能实现高精度rul预测。