基于图像处理的商用车变速箱精准故障识别方法及装置与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种基于图像处理的商用车变速箱精准故障识别方法及装置，用于进行车辆故障监测及诊断。


背景技术：

2.商用车(commercial vehicle)，是在设计和技术特征上是用于运送人员和货物的汽车。商用车包含了所有的载货汽车和9座以上的客车，分为客车、货车、半挂牵引车、客车非完整车辆和货车非完整车辆，共五类。
3.商用车在发动机、桥、变速箱等关键件的维修和鉴定成本非常高，例如：变速箱是汽车重要总成之一，与发动机配合工作，通过不同传动比齿轮组的啮合，实现发动机驱动力和车速的比例变化，适应汽车车速经常变化的行驶条件。变速箱工作时的可靠性直接影响商用车的操纵和安全性能，它的造价是比较高的，一旦出现故障或损伤需要一大笔维修费用。因此，需要在日常使用过程中对变速箱进行故障诊断。
4.目前的车辆故障诊断方案是通过检测信息的采集，监测获取到的有用信息越多，监测数据越真实，越容易判断出故障原因。在运行过程中，必然会有力、热、振动及能量等各种量的变化，由此会产生各种不同的信息，根据不同的诊断需要，选择能表征设备工作状态的不同信息，如振动、压力及温度等，是十分必要的。这些信号一般是用不同的传感器来拾取的然后通过人工或者故障代码进行故障的诊断，导致不能对车辆故障进行有效诊断。


技术实现要素：

5.为了解决上述问题，本发明提出了一种基于图像处理的商用车变速箱精准故障识别方法及装置，能够更精准对位故障信息，提升缺陷和故障识别准确度和识别效率。
6.本发明解决其技术问题采取的技术方案是：第一方面，本发明实施例提供的一种基于图像处理的商用车变速箱精准故障识别方法，包括以下步骤：将商用车维修诊断过程中的历史图像或者视频数据汇集成小样本资料；建立基于深度学习的图像识别模型；采用图像识别模型对小样本资料进行训练，形成智能诊断故障库；对智能诊断故障库中故障图像进行噪声处理；将智能诊断故障库中故障特征按照树形结构进行分类整合，形成标准故障树和故障代码；基于故障解决方案建立故障树模型；采集商用车故障现场图像，进行噪声处理后采用故障树模型进行商用车故障识别。
7.作为本实施例一种可能的实现方式，所述采用图像识别模型对小样本资料进行训练，形成智能诊断故障库，包括：
将小样本资料中故障图像库进行分类预处理，对目前已知商用车故障的小样本资料中的故障现象、故障原因、处理方式进行分类汇总；通过图像识别模型对分类预处理后的小样本资料进行训练，形成特征空间，利用特征空间构建智能诊断故障库。
8.作为本实施例一种可能的实现方式，所述对智能诊断故障库中故障图像进行噪声处理，包括：建立噪声图像为非线性pde方程的初始条件；求解非线性pde方程得到在不同时刻的解，即为噪声处理结果。
9.作为本实施例一种可能的实现方式，所述基于故障解决方案建立故障树模型，包括：将故障的部位、故障现象、故障处理方式和故障原因按照标准故障处理步骤进行整理汇总为故障树对应的解决方案；根据故障树对应的解决方案建立故障树模型。
10.作为本实施例一种可能的实现方式，所述商用车故障包括发动机故障、车桥故障或变速箱故障。
11.第二方面，本发明实施例提供的一种基于图像处理的商用车变速箱精准故障识别装置，包括：样本采集模块，用于将商用车维修诊断过程中的历史图像或者视频数据汇集成小样本资料；模型建立模块，用于建立基于深度学习的图像识别模型；故障库形成模块，用于采用图像识别模型对小样本资料进行训练，形成智能诊断故障库；噪声处理模块，用于对智能诊断故障库中故障图像进行噪声处理；故障树形成模块，用于将智能诊断故障库中故障特征按照树形结构进行分类整合，形成标准故障树和故障代码；故障模型建立模块，用于基于故障解决方案建立故障树模型；故障识别模块，用于采集商用车故障现场图像，进行噪声处理后采用故障树模型进行商用车故障识别。
12.作为本实施例一种可能的实现方式，所述故障库形成模块包括：分类预处理模块，用于将小样本资料中故障图像库进行分类预处理，对目前已知商用车故障的小样本资料中的故障现象、故障原因、处理方式进行分类汇总；诊断故障库构建模块，用于通过图像识别模型对分类预处理后的小样本资料进行训练，形成特征空间，利用特征空间构建智能诊断故障库。
13.作为本实施例一种可能的实现方式，所述故障模型建立模块包括：解决方案汇总模块，用于将故障的部位、故障现象、故障处理方式和故障原因按照标准故障处理步骤进行整理汇总为故障树对应的解决方案；故障树模型建立模块，用于根据故障树对应的解决方案建立故障树模型。
14.第三方面，本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理
器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如上任一所述的基于图像处理的商用车变速箱精准故障识别方法的步骤。
15.本发明实施例的技术方案可以具有的有益效果如下：本发明实施例的一种基于图像处理的商用车变速箱精准故障识别方法，包括以下步骤：将商用车维修诊断过程中的历史图像或者视频数据汇集成小样本资料；建立基于深度学习的图像识别模型；采用图像识别模型对小样本资料进行训练，形成智能诊断故障库；对智能诊断故障库中故障图像进行噪声处理；将智能诊断故障库中故障特征按照树形结构进行分类整合，形成标准故障树和故障代码；基于故障解决方案建立故障树模型；采集商用车故障现场图像，进行噪声处理后采用故障树模型进行商用车故障识别。本发明通过小样本故障图片以及故障树结构数据的导入，结合故障图像流数据分析中通过图像输入、预处理、特征提取、图像分类、图像匹配，实现图像定位、缺陷提取，再结合故障树结构数据的双向匹配，更精准对位故障信息，提升了缺陷和故障识别准确度和识别效率。
16.本发明结合历史故障照片和维修案例，形成有效的故障案例库，通过后期图像识别精准定位故障，并通过小样本故障图片以及故障树结构数据的导入，形成了精准智能诊断故障库；采用图像噪声处理方式，解决了故障部分和现象定位不清不准的难点。本发明只需要将图像或者视频信息导入到系统中，通过机器学习形成的智能诊断故障库就会及时给出故障的部分、现象、原因和解决方案，大大降低了鉴定耗时。
附图说明
17.图1是根据一示例性实施例示出的一种基于图像处理的商用车变速箱精准故障识别方法的流程图；图2是根据一示例性实施例示出的一种基于图像处理的商用车变速箱精准故障识别装置的结构示意图；图3是根据一示例性实施例示出的一种计算机设备的结构图。
具体实施方式
18.下面结合附图与实施例对本发明做进一步说明：为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
19.图1是根据一示例性实施例示出的一种基于图像处理的商用车变速箱精准故障识别方法的流程图。如图1所示，本发明实施例提供的一种基于图像处理的商用车变速箱精准故障识别方法，包括以下步骤：步骤1，将商用车维修诊断过程中的历史图像或者视频数据汇集成小样本资料。
20.将商用车部件在以往维修诊断过程中的图像或者视频资料，汇集成小样本资料，因为样本少，所以在训练之初可以适当的加入更多先验知识，比如将变速箱各部件样本进
行参数分组，训练时各个部件的样本需求量就可减少，提高训练准确性。
21.步骤2，建立基于深度学习的图像识别模型。
22.通过深度学习（cnn）图像识别算法对小样本资料进行训练，以便将故障图像库进行分类预处理。步骤3，采用图像识别模型对小样本资料进行训练，形成智能诊断故障库。
23.所述采用图像识别模型对小样本资料进行训练，形成智能诊断故障库，包括：将小样本资料中故障图像库进行分类预处理，对目前已知商用车故障的小样本资料中的故障现象、故障原因、处理方式进行分类汇总；通过图像识别模型对分类预处理后的小样本资料进行训练，形成特征空间，利用特征空间构建智能诊断故障库。
24.通过图像识别算法对小样本资料进行训练，结合第一步的先验知识的加入，在训练初期就需要对目前已知发动机故障的样本资料进行整理和归类，而这一步需要通过降维方法，人为将之前变速箱维修履历中的故障现象、故障原因、处理方式进行分类汇总，从而减少后期算法的维度参数，利用好小样本数据，达成初步诊断的智能诊断故障库。
25.步骤4，对智能诊断故障库中故障图像进行噪声处理。
26.所述对智能诊断故障库中故障图像进行噪声处理，包括：建立噪声图像为非线性pde方程的初始条件；求解非线性pde方程得到在不同时刻的解，即为噪声处理结果。
27.虽然有了降维和训练，但是对于故障图像资料中特征差别不大，在常用聚类、递归算法仍然出现较大误差的样本，需要采用p-m去噪模型的噪声处理方法，p-m去噪模型是一种非线性的各向异性方法，克服线性滤波方法存在的模糊边缘和边缘位置移动的缺点，可以很好提升变速箱因为故障部位图像不清、边缘模糊的辨识度，从而提升小样本学习准确度。采用噪声处理技术，通过建立噪声图像为某非线性pde的初始条件，然后求解这个pde，得到在不同时刻的解，即为滤波结果，来提升智能诊断故障库的精准度。
28.步骤5，将智能诊断故障库中故障特征按照树形结构进行分类整合，形成标准故障树和故障代码。
29.有了智能诊断故障库，接下来将故障特征按照树形结构进行分类整合，形成标准故障树和故障代码，这部分后期可以结合车联网数据做到更精准的诊断和预测。
30.步骤6，基于故障解决方案建立故障树模型。
31.所述基于故障解决方案建立故障树模型，包括：将故障的部位、故障现象、故障处理方式和故障原因按照标准故障处理步骤进行整理汇总为故障树对应的解决方案；根据故障树对应的解决方案建立故障树模型。
32.有了故障树再将处理设备历史故障的维修履历，将故障的部位、故障的现象、故障的处理方式、故障的原因等大量数据按照标准故障处理步骤进行整理汇总，形成故障树对应的解决方案。
33.步骤7，采集商用车故障现场图像，进行噪声处理后采用故障树模型进行商用车故障识别。
34.在故障鉴定时只需要通过照片、视频通过智能诊断故障库精准定位故障部位和故障现象，然后系统精准给出故障解决方式和故障原因，大大提升故障鉴定效率和降低鉴定成本。
35.作为本实施例一种可能的实现方式，所述商用车故障包括发动机故障、车桥故障或变速箱故障。
36.本实施例通过形成精准智能诊断故障库，采用图像噪声处理方式，解决了故障部分和现象定位不清不准的难点，更精准对位故障信息，提升了缺陷和故障识别准确度和识别效率。图2是根据一示例性实施例示出的一种基于图像处理的商用车变速箱精准故障识别装置的结构示意图。如图2所示本发明实施例提供的一种基于图像处理的商用车变速箱精准故障识别装置，包括：样本采集模块，用于将商用车维修诊断过程中的历史图像或者视频数据汇集成小样本资料；模型建立模块，用于建立基于深度学习的图像识别模型；故障库形成模块，用于采用图像识别模型对小样本资料进行训练，形成智能诊断故障库；噪声处理模块，用于对智能诊断故障库中故障图像进行噪声处理；故障树形成模块，用于将智能诊断故障库中故障特征按照树形结构进行分类整合，形成标准故障树和故障代码；故障模型建立模块，用于基于故障解决方案建立故障树模型；故障识别模块，用于采集商用车故障现场图像，进行噪声处理后采用故障树模型进行商用车故障识别。
37.作为本实施例一种可能的实现方式，所述商用车故障包括发动机故障、车桥故障或变速箱故障。
38.作为本实施例一种可能的实现方式，所述故障库形成模块包括：分类预处理模块，用于将小样本资料中故障图像库进行分类预处理，对目前已知商用车故障的小样本资料中的故障现象、故障原因、处理方式进行分类汇总；诊断故障库构建模块，用于通过图像识别模型对分类预处理后的小样本资料进行训练，形成特征空间，利用特征空间构建智能诊断故障库。
39.作为本实施例一种可能的实现方式，所述噪声处理模块具体用于：建立噪声图像为非线性pde方程的初始条件；求解非线性pde方程得到在不同时刻的解，即为噪声处理结果。
40.作为本实施例一种可能的实现方式，所述故障模型建立模块包括：解决方案汇总模块，用于将故障的部位、故障现象、故障处理方式和故障原因按照标准故障处理步骤进行整理汇总为故障树对应的解决方案；故障树模型建立模块，用于根据故障树对应的解决方案建立故障树模型。
41.商用车在发动机、车桥、变速箱等关键件的维修和鉴定成本非常高，采用本技术基于图像处理的商用车变速箱精准故障识别装置进行商用车故障智能鉴定，首先对于主要部件的故障图片和视频进行采集，并通过小样本数据结合图像噪声处理形成了有效的智能故障鉴定库，而后通过该系统，服务人员在厂内或者外出维修只通过移动端的拍照设备进行故障照片的拍摄，上传智能故障鉴定库，系统将自动识别出故障部位、现象找出原因和解决方案，再结合车联网自有故障代码进行精准维修，大大提升鉴定准确率和维修效率。
42.下面以商用车变速箱故障识别为例，来说明本技术基于图像处理的商用车变速箱精准故障识别装置进行商用车故障识别的过程。
43.第一步，将商用车变速箱故障的部位和部件在以往维修诊断过程中的图像或者视
频资料，汇集成小样本资料。
44.第二步，通过深度学习（cnn）图像识别算法对小样本资料进行训练，通过将故障图形库进行分类预处理，然后将图形输入算法当中，不同合集的图形特征输入算法模型中，通过回归和分类，形成特征空间，然后通过重复学习让特征空间更加清晰，达成初步诊断的智能诊断故障库。
45.第三步，对于故障图像差别不大，在外观或者现象方面故障不明显的特征，采用噪声处理技术，通过建立噪声图像为某非线性pde的初始条件，然后求解这个pde，得到在不同时刻的解，即为滤波结果，来提升智能诊断故障库的精准度。
46.第四步，将故障库按照树形结构进行分类，从变速箱的传动结构到操控结构以此向下，形成变速箱的标准故障树和故障代码。
47.第五步，处理设备历史故障的维修履历，将故障的部位、故障的现象、故障的处理方式、故障的原因等大量数据按照变速箱的标准故障处理步骤进行整理汇总，形成故障树对应的解决方案。
48.最后，在故障鉴定时只需要通过照片、视频通过智能诊断故障库精准定位故障部位和故障现象，然后系统精准给出故障解决方式和故障原因，大大提升故障鉴定效率和降低鉴定成本。
49.与传统的故障识别方案相比，本发明具有以下特点：（1）有效性.传统的故障鉴定通过人员鉴定选择故障的部位、现象、原因，然后结合维修经验给出解决方案，而本发明结合历史故障照片和维修案例，形成有效的故障案例库，通过后期图像识别精准定位故障。
50.（2）便捷性.本发明只需要将图像或者视频信息导入到系统中，通过机器学习形成的智能诊断故障库就会及时给出故障的部分、现象、原因和解决方案，大大降低鉴定耗时。
51.图3是根据一示例性实施例示出的一种计算机设备的结构图。如图3所示，本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如上述任意基于图像处理的商用车变速箱精准故障识别方法的步骤。
52.具体地，上述存储器和处理器能够为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述基于图像处理的商用车变速箱精准故障识别方法。
53.本领域技术人员可以理解，图3中示出的计算机设备的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
54.在一些实施例中，该计算机设备还可以包括触摸屏可用于显示图形用户界面（例如，应用程序的启动界面）和接收用户针对图形用户界面的操作（例如，针对应用程序的启动操作）。具体的触摸屏可包括显示面板和触控面板。其中显示面板可以采用lcd(liquid crystal display，液晶显示器)、oled(organic light-emitting diode,有机发光二极管)等形式来配置。触控面板可收集用户在其上或附近的接触或者非接触操作，并生成预先设定的操作指令，例如，用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控
面板附近的操作。另外，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位、姿势，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成处理器能够处理的信息，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板，也可以采用未来发展的任何技术实现触控面板。进一步的，触控面板可覆盖显示面板，用户可以根据显示面板显示的图形用户界面，在显示面板上覆盖的触控面板上或者附近进行操作，触控面板检测到在其上或附近的操作后，传送给处理器以确定用户输入，随后处理器响应于用户输入在显示面板上提供相应的视觉输出。另外，触控面板与显示面板可以作为两个独立的部件来实现也可以集成而来实现。
55.本技术实施例所提供的应用程序的启动装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本技术实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
56.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
57.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
58.作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
59.另外，在本技术提供的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
60.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
61.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或
多个方框中指定的功能。
62.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
63.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。