结合文本分析和机器学习方法的智能车辆故障诊断方法与流程

1.本发明涉及故障诊断技术领域，具体为结合文本分析和机器学习方法的智能车辆故障诊断方法。


背景技术：

2.故障诊断是用于解决问题的系统化方法，故障诊断的目的是确定某些功能未按预期工作的原因以及解决该问题的方法，某些常用方法可帮助完成故障诊断任务，比如制定专家规则分析故障，利用数据特征构建机器学习模型分析故障等，在某些特定场景下取得了不错的成果。
3.目前广泛应用于工业生产、仪器制造、车辆质检等领域，目前故障诊断主要是针对单一模态数据，比如文本、图像、连续或离散特征数据等，然而在面对多模态数据，单一模态的模型无法充分利用数据，丢失重要信息，分析维度较窄，精度和效果较为有限。
4.现今主流故障诊断技术广泛应用于工业生产和车辆质检行业中，但故障诊断技术仍是一项具有挑战性的任务。第一，当今多数模型虽然可以故障诊断，但往往是单一模态模型诊断，利用多模态模型的方法较少。第二，在数据为多模态的情况下，多独立模型诊断结果往往有差异甚至相反，难以充分学习多模态数据中的隐含知识。第三，错误的多模型融合结果，提升诊断效果不稳定，甚至会降低诊断效果。
5.基于此，本发明提出一种结合文本分析和机器学习方法的智能车辆故障诊断方法。


技术实现要素：

6.本发明的目的在于提供结合文本分析和机器学习方法的智能车辆故障诊断方法，以解决目前模型虽然可以故障诊断，但往往是单一模态模型诊断，利用多模态模型的方法较少的问题。
7.为实现上述目的，本发明提供如下技术方案：结合文本分析和机器学习方法的智能车辆故障诊断方法，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体包括：步骤1、使用语言模型和机器学习模型分别在文本数据和非文本特征数据上训练，得到两个故障诊断模型。
8.步骤2、训练多级集成模型以集成两个故障诊断模型结果，达到最佳故障诊断结果。
9.进一步的，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体还包括建立多模态模型训练：利用标注数据对多个模态的模型分别进行训练。
10.进一步的，所述建立多模态模型训练具体步骤包括：多模态数据处理：将训练数据分为文本数据和非文本特征数据，选择对应的语言模型和机器学习模型。训练模型：分别在文本数据和非文本数据上训练语言模型和机器学
习模型，得到在验证集上优化的模型。
11.所述语言模型采用bert模型，以输入的故障文本为源数据，以所述故障文本对应多种为验证集，使用两个新的无监督预测任务对所述bert模型进行训练。其中，所述故障文本包括标准故障短语和类似故障短语，采取15%的几率对标准故障短语和类似故障短语进行遮罩。所述类似故障短语的遮罩步骤为：获取类似故障含义的输入文本；使用autophrase生成短语；使用规则以及fasttext增强和提纯短语。
12.进一步的，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体还包括对模型进行融合。
13.进一步的，对模型进行融合具体包括：s1、选取mlp(多层感知机)模型集成语言模型和机器学习模型结果。
14.s2、使用文本模型和机器学习模型的输出值作为输入特征进行训练，并在训练过程中通过调整模型层数、模型权重和损失函数选项最优化集成效果。
15.s3、得到在验证集上效果更好的集成模型。
16.进一步的，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体还包括模型实施步骤。
17.进一步的，所述模型实施步骤包括：选取mlp模型集成语言模型和机器学习模型；使用该集成模型预测时，首先将输入数据拆分为文本数据和数值数据，分别进入文本模型和机器学习模型推理得到输出值，再将两个模型输出概率值作为输入特征输入到mlp模型进行推理，得到最终概率值结果。
18.综上所述，本发明与现有技术相比具有以下有益效果：本发明通过语言模型和机器学习模型分别处理文本特征和非文本特征数据，避免了不同模态数据使用单一模型如机器学习统一处理文本和数值数据效果较差的问题；通过模型集成的方法融合文本模型和机器学习模型，结合文本分析技术和数据特征的多模态模型，充分的学习了文本特征和非文本特征数据中的隐含知识，优化了模型融合效果，用于同时存在文本和非文本特征数据的车辆故障诊断的场景，使用多级集成模型处理语言模型和机器学习模型输出决定最终结果而非简单投票或者带权重投票判断故障类型，有效地提升了故障诊断准确率，结果更加准确。
附图说明
19.图1为本发明的实现流程示意图。
20.图2为本发明的对模型进行融合的实现流程示意图。
21.图3为本发明中进行多模态数据处理的示意图。
22.图4为本发明中进行模型训练的示意图。
23.图5为本发明中进行模型融合的示意图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.实施例1如图1所示，为本发明的一个实施例提供的结合文本分析和机器学习方法的智能车辆故障诊断方法，其具体包括以下步骤：步骤1、使用语言模型和机器学习模型分别在文本特征和非文本特征数据上训练，得到两个故障诊断模型。
26.步骤2、训练多级集成模型以集成两个故障诊断模型结果，达到最佳故障诊断结果。
27.步骤s2具体包括：第一：多模态模型训练：利用标注数据对多个模态的模型分别进行训练。其具体步骤如下所示：s21、多模态数据处理：将训练数据，分为文本特征和非文本特征数据，选择对应的语言模型和机器学习模型。
28.s22、训练模型：分别在文本特征和非文本特征数据上训练语言模型和机器学习模型，得到在验证集上较优的模型。
29.其中，本实施例中针对文本特征优选地采用bert语言模型，由多层神经网络组成的网络结构，通过输入一段文本，解析为词向量后，逐次通过多层神经网络后由最后一层神经网络输出概率值，网络结构为基于自注意力机制的transformer结构，层数为12层，transformer结构包括位置编码，词向量编码，句向量编码，bert通过采用双向遮挡方式在海量知识文本上预训练的方式学习到了如中文的基本语义和语法结构，只需要微调就可以在比如文本分类任务上取得很好的效果，因此可以用于智能诊断任务上面。
30.在进行语言模型的预训练中：以输入的故障文本为源数据，以所述故障文本对应多种为验证集，使用两个新的无监督预测任务对所述bert模型进行训练。
31.其中，所述故障文本包括标准故障短语和类似故障短语，采取15%的几率对标准故障短语和类似故障短语进行遮罩。标准故障短语采用标准故障指导手册或知识为准，例如：“冷却液无法加注”为标准的故障表述用语，还包括“视频传感失效”、“胎压警报”等，遮盖类似于“泠却液”的文本，将这种故障原因和解决方案显式地注入模型中。
32.其中，针对类似故障短语，在正常故障诊断中，操作人员常无法准确地输入标准故障短语，而多出现例如“冷却液加注不了”等非标准故障术语，具体地类似故障短语的遮罩步骤为：获取类似故障含义的输入文本；使用autophrase生成短语；使用规则以及fasttext增强和提纯短语。
33.训练时，分类完成的短语，同一单元的词会被全遮罩，本方案通过对标准故障短语和类似故障短语全面采集，获得优秀的故障诊断模型，从而获得更优的故障诊断结果。
34.具体地，本实施中针对无监督预测任务对所述bert模型进行训练以及采取15%的几率对标准故障短语和类似故障短语进行遮罩的方案为：
一、训练数据生成器随机选择15％的token。例如在这个句子“设备显示低压故障”中，它选择的token是“低压。然后，执行以下过程：数据生成器将执行以下操作，而不是始终用[遮罩]替换所选单词：80％的时间：用[遮罩]标记替换单词，例如，设备显示低压故障
ꢀ→ꢀ
my dog 设备显示[遮罩]故障10％的时间：用一个随机的单词替换该单词，例如，设备显示低压故障
→ꢀ
设备显示短路故障10％的时间：保持单词不变，例如，设备显示低压故障
ꢀ→ꢀ
设备显示低压故障。这样做的目的是将表示偏向于实际观察到的单词。
[0035]
二、下一句预测，前面的遮蔽语言模型是针对于单词量级的训练，而nlp中有许多任务是在句子量级上的，这就需要语言模型还要理解句子之间的关系，这有助于下游句子关系判断任务，而bert中的下一句预测就是为了这一目的。
[0036]
本实施例中的机器学习模型采用随机森林算法模型，随机森林是一个比较优秀的模型，它对于多维特征的数据集分类有很高的效率，还可以做特征重要性的选择。运行效率和准确率较高，实现起来也比较简单，适应于车辆运行参数这样较少的变量的信息。
[0037]
第二：模型融合，如图2所示，步骤包括：s1、选取mlp(多层感知机)模型集成语言模型和机器学习模型结果，本实施中选用两层神经网络的mlp网络模型，适用承接语言模型和机器学习模型的输出值。
[0038]
s2、使用文本模型和机器学习模型的输出值作为输入特征进行训练，并在训练过程中通过调整模型层数、模型权重和损失函数选项最优化集成效果。
[0039]
s3、得到在验证集上效果更好的集成模型。
[0040]
具体地，mlp网络：由两层人工神经网络组成，其中神经网络主要有三个基本要素：权重、偏置和激活函数，mlp每层神经元个数由人工指定。其中，权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小，权重更新使用梯度下降法。
[0041]
其中模型集成过程如下：选用典型的stacking模型融合方法，选用两层神经网络的mlp网络，将语言模型和机器学习模型输出的概率值分别作为特征输入mlp网络，通过反向传播算法在训练集上训练得到两层神经网络的权重参数，从而得到两个模型的最优权重，集成模型包含两个子模型以及两个子模型在两层神经网络上的权重值参数，在验证集上的精度达到最优，通过这种模型集成方法吸收了两种模型优点，预测效果达到最优。
[0042]
第三：模型实施步骤包括：选取mlp(多层感知机)模型集成语言模型和机器学习模型，经过训练后在实际表现中有更高的准确率，使用该集成模型预测时：s31、将采集到的输入数据拆分为文本数据和数值数据，分别进入文本模型和机器学习模型推理得到输出值；s32、再将两个模型输出概率值作为输入特征输入到mlp模型进行推理，得到最终概率值结果。
[0043]
下文通过具体实例来解释、验证本方案的具体实施：首先，通过将工厂智能诊断技术文件按照文本与非文本性质分为文本特征与非文本特征，其中文本特征转化为词向量，作为语言模型输入，非文本特征按照机器学习模型转化为离散或连续值特征输入，分别训练两个模型在工厂智能诊断技术文件训练集上达到最
优效果，，如图3所示：其诊断技术文件中文本特征中故障描述为“冷却液无法加注，设备显示低压故障”，非文本特征数据包括电压值为187，转速为65，振幅为3.5，温度为42等。
[0044]
将多组分割好的训练数据，分别带入到bert模型和随机森林算法模型中进行训练，达到最优训练效果，并保存输出训练后的最优模型。
[0045]
如图4所示，通过选择最优的语言模型和机器学习模型，将原始的文本特征和非文本特征数据转变为通过模型推理得出的多组故障输出值。其中，文本特征转变的故障输出值包括：加注故障0.67，漏水故障0.12，驱动故障0.07，显示故障0.04；非文本特征数据转变的故障输出值包括：加注故障0.35，漏水故障0.42，驱动故障0.17，显示故障0.06。
[0046]
利用以上得出的多组输出值，而后开始模型集成步骤，选用包含两层神经网络的mlp模型作为集成模型，随机初始化其网络参数，集成网络选用两个子模型的输出值即两个子模型输出的故障类别的概率值作为其输入特征值，训练方法使用反向传播方法，通过多次反向传播将随机初始化的网络参数值接近于两个模型的最优权重参数值，最终得到两个子模型以及两个子模型在两层神经网络上的权重值参数，该集成模型在验证集上的精度达到最优。
[0047]
最后验证，如图5所示，将模型a和模型b中文本特征转变的故障输出值和非文本特征数据转变的故障输出值作为输入特征输入到mlp模型进行推理，得到概率值结果为：加注故障0.54，漏水故障0.27，驱动故障0.09，显示故障0.1。
[0048]
这就表明了从而得出在电压值为187、转速为65、振幅为3.5、温度为42，且故障描述为“冷却液无法加注，设备显示低压故障”时，加注故障的概率为54%，漏水故障的概率为27%，驱动故障的概率为9%，显示故障的概率为10%，得出车辆故障最可能为加注故障，与实际故障原因一致，故障判定精确率高。
[0049]
上述诊断方法融合两个模型，提升故障诊断的准确率，在检查车辆故障时可以根据输出概率的大小进行检查，能够更快地对车辆进行检查维修。
[0050]
本发明通过分别使用语言模型处理文本特征，机器学习模型处理非文本特征数据，来实现对特定数据处理的模型最优化，通过训练多级集成模型处理语言模型和机器学习模型输出决定最终结果，结果更加准确。
[0051]
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0052]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器
（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
[0053]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0054]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
[0055]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。