一种大语言模型与强化学习协同的飞机故障知识图谱推理方法

摘要: 本发明属于飞机故障诊断与知识图谱推理,具体涉及一种大语言模型与强化学习协同驱动的飞机故障知识图谱推理方法。背景技术:1、随着飞机智能化与集成化水平的持续提升,其...
一种大语言模型与强化学习协同的飞机故障知识图谱推理方法

本发明属于飞机故障诊断与知识图谱推理,具体涉及一种大语言模型与强化学习协同驱动的飞机故障知识图谱推理方法。

背景技术:

1、随着飞机智能化与集成化水平的持续提升,其结构与功能耦合不断加深,运行过程也呈现出更高的复杂性与动态性,对飞行安全与可靠性提出了更为苛刻的要求。当前飞机故障诊断方法主要包括物理模型、数据驱动以及混合驱动的方法,虽在一定程度上提高了飞机故障诊断能力,但飞机系统中复杂的部件关联结构与分散异构的故障数据使得现有方法难以实现统一建模。基于知识图谱的故障诊断方法通过建模部件间的结构关系与逻辑依赖实现分散知识的结构化表达,目前可分为基于规则、基于表示学习以及基于强化学习的诊断方法。其中基于强化学习的方法将路径搜索建模为序列决策过程,提升知识图谱推理的自适应性与灵活性,但飞机故障数据分布不均,即简单故障样本占主导、复杂故障样本稀缺,导致强化学习智能体易出现推理策略偏置,复杂故障推理能力受限。近年来大语言模型凭借强大的上下文建模与复杂推理能力在相关领域得到广泛应用,但其在飞机故障领域知识不完备且生成过程存在不确定性,直接应用易产生偏差决策与“幻觉”问题。现有大模型与知识图谱协同方法未针对飞机故障数据不平衡、策略偏置等问题进行专项优化,无法有效提升复杂故障场景下的推理准确性与可靠性,难以满足飞机故障知识图谱工程化应用需求。

技术实现思路

1、基于上述问题,针对现有飞机故障知识图谱推理方法中因数据分布不均导致的推理策略偏置、奖励稀疏与延迟、以及大模型幻觉等问题,本发明提出一种大语言模型与强化学习协同的飞机故障知识图谱推理方法,具体如下:

2、步骤1:故障问答;

3、定位问题的中心实体,构建候选答案实体集合,为后续强化学习推理提供初始状态与约束空间;

4、步骤2:基于强化学习的智能体设计和初始策略;

5、将故障知识图谱推理建模为马尔可夫决策过程,通过智能体与图谱环境的交互实现多跳路径搜索;其中,对构成智能体的四个基本要素进行建模具体如下;

6、状态空间:在时刻t,基础状态向量由四元组组成,其中为输入的问题,是问题的中心实体,代表故障知识图谱当前推理的实体,为智能体推理过程中的历史决策;进一步地引入预知嵌入作为辅助信息,将状态空间扩展为五元组,为时刻大模型的决策;

7、动作:在状态下,动作空间由t时刻故障实体在故障知识图谱中的所有出边关系构成,即,、、分别表示关系、实体和三元组集合;同时,添加自循环动作作为终止标识,表示终止关系;当该动作被执行时,推理过程结束,当前实体即作为最终预测答案;

8、状态转移:定义状态转移函数为,表示状态转移函数,表示状态、表示动作;若智能体在状态执行动作,则下一时刻状态更新为;其中,历史决策序列更新为,表示集合的并集;

9、奖励:为解决奖励稀疏与延迟问题,引入双重奖励机制;

10、步骤3:大模型决策优化;

11、通过大模型后验评估,对强化学习智能体的初始决策进行修正,缓解数据不平衡导致的策略倾斜问题。

12、在本发明的一个实施例中,步骤1具体如下:

13、步骤1.1:对于给定问题中的每个字符,采用bert和bilstm得到具有上下文语义的向量表示,n为字符数量;通过单层全连接层,将隐含状态表示为问题向量

14、(1);

15、式中,为bert模型函数、为bilstm模型函数;

16、步骤1.2:对于候选答案实体,采用知识图谱嵌入模型获取向量表示;采用两层全连接神经网络对中心实体、问题与答案实体之间的语义合理性进行建模,计算评估分数

17、(2);

18、其中,为评估分数;为bert获取问题的中心实体,为故障知识图谱中的实体,表示全连接神经网络函数;得分越高的实体,与问题和中心实体语义一致性越强;

19、步骤1.3:设定分数阈值,将得分超过阈值的实体纳入候选答案实体集合;通过交叉熵损失函数对故障问答模块进行优化,以确保候选集合的准确性与覆盖度。

20、在本发明的另一个实施例中,步骤2具体如下:

21、步骤2.1:对构成智能体的四个基本要素进行建模;

22、步骤2.2:引入双重奖励机制以提升学习效率与决策质量,路径级奖励的定义如公式(3)所示

23、(3);

24、其中,表示状态下的路径级奖励;当预测实体与真实答案完全一致时,智能体获得数值为1的正向奖励,否则通过得分函数计算介于0到1之间的软奖励值;大语言模型根据当前状态与评估各动作的合理性,输出各候选动作的概率分布作为过程奖励

25、(4);

26、其中,为大模型提示词,为大模型的历史决策信息,表示大模型依靠提示词输出的过程奖励;强化学习智能体的奖励函数如公式(5)所示

27、(5);

28、步骤2.3:构建策略网络和价值网络,通过联合考虑策略损失函数与价值函数损失,采用近端策略优化算法ppo优化目标函数,如公式(6)所示

29、(6);

30、其中,表示模型整体的损失函数,为用于平衡策略损失与价值损失的系数;策略损失函数如公式(7)所示

31、(7);

32、其中,表示在强化学习策略网络下的经验期望;为模型参数,为模型期望,为裁剪函数,为动能函数,为裁剪参数,用于限制策略更新幅度;和的定义如公式(8)公式(9)所示

33、(8);

34、(9);

35、其中,为折扣因子;和分别表示为强化学习在和时刻的动作决策,和分别为强化学习价值网络在和时刻的价值;价值函数损失定义如公式(10)所示

36、(10);

37、通过最小化该损失,价值网络能够更准确地估计状态价值,从而为策略更新提供有效的基准。

38、在本发明的又一个实施例中,步骤3具体如下:

39、步骤3.1:在每一时间步,将强化学习智能体生成的初始动作及当前状态信息转换为自然语言形式;

40、步骤3.2:大语言模型利用其语义理解与先验知识对初始动作进行评估与修正;该过程形式化如公式(11)所示;

41、(11);

42、其中,表示大模型输出的决策状态,表示基于大模型的决策修正函数,表示强化学习输出的决策状态,为强化学习的历史决策集合;若大模型判定原始动作在当前状态下合理,则保留该动作;否则,根据反馈从候选动作空间中选择更优的替代动作;修正后的动作被最终执行,用于更新知识图谱环境状态。

43、本发明方法通过大语言模型的先验知识引导强化学习的路径探索,缓解了故障数据不平衡对强化学习路径推理策略的影响;通过引入双重奖励机制,缓解了传统强化学习中存在的奖励延迟问题,提升了策略学习效率与稳定性;通过路径约束与结果评估抑制大语言模型幻觉,提升了推理可靠性,为飞机故障知识图谱的工程化应用奠定了基础。

1.一种大语言模型与强化学习协同的飞机故障知识图谱推理方法,其特征在于,具体如下:

2.如权利要求1所述的大语言模型与强化学习协同的飞机故障知识图谱推理方法,其特征在于,步骤1具体如下:

3.如权利要求1所述的大语言模型与强化学习协同的飞机故障知识图谱推理方法,其特征在于,步骤2具体如下:

4.如权利要求1所述的大语言模型与强化学习协同的飞机故障知识图谱推理方法,其特征在于,步骤3具体如下: