故障识别与应对方法及系统与流程

1.本发明涉及设备维护领域，特别涉及一种故障识别与应对方法及系统。


背景技术：

2.随着科技的发展和生活水平的提高，各种电子或电气设备被广泛的应用于各个领域。当设备发生故障时，用户或售后人员一般通过现场查看在设备的面板上显示的故障代码，再从维修手册上查找与故障代码相应的故障信息进行确认和故障排除。这种方法耗费的时间较长，当故障较为复杂时，用户无法自己确认并排除故障，需要联系和安排售后人员上门查看，从而耗费更长的时间，影响设备的正常使用；另外，维修手册上记载的故障信息及排除方法不够直观，影响了故障确定的准确性和故障排除的效率。
3.近年来，出现了一些通过识别信息而确定故障的方法。
4.例如，摄像头采集模块通过摄像头拍摄led灯组图像，并发送给故障定位采集识别模块，故障定位采集识别模块对led灯组图像进行了图像识别和解析得到硬件电路具体状态信息，并基于灯组编码信息库进行故障解析，得到硬件电路分析结果再进行反馈。
5.又例如，通过数字照相机拍摄在用户计算机的显示单元上显示的系统错误代码之类的图像，该图像经由移动电话发送至故障恢复过程服务器，该服务器基于该图像进行系统错误代码的检测，并从数据库中获取与错误代码关联的故障内容信息，并将该故障内容信息发送至移动电话。
6.又例如，在设备的面上上显示故障代码的同时，还显示二维码，用户扫描该二维码后，能够快速访问包含维修信息的主页，从而获得故障和维修信息。
7.应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。


技术实现要素：

8.但是，发明人发现，在上述现有的方法中，由于故障代码的显示方式的多样化，或者，由于图像采集速度和采集时间等参数的限制，可能导致单一图像中的故障代码显示不完整或不准确，从而导致无法准确及时的获得相关的故障和维修信息，影响设备的使用。另外，对于通过扫描二维码访问页面而获得故障和维修信息的方法，需要在各个设备上针对各种故障设计专门的二维码，增加了设备制造时的负担，且无法广泛的应用于已有的普通设备中。
9.为了解决上述问题中的至少一个，本发明实施例提供一种故障识别与应对方法及系统，通过拍摄包含故障代码的视频并基于该视频进行故障代码的识别，能够准确的识别出完整的故障代码，而不受故障代码显示方式和图像采集参数的限制，因此，基于识别出的完整且准确的故障代码，能够快速准确的获取故障相关信息。
10.根据本发明实施例的第一方面，提供了一种故障识别与应对方法，所述故障识别
与应对方法包括：拍摄包含故障代码的视频；对所述视频中的故障代码进行识别，得到识别出的故障代码；根据识别出的故障代码，确定与所述故障代码对应的故障相关信息，并根据所述故障相关信息生成显示数据；以及根据所述显示数据，表示所述故障相关信息。
11.根据本发明实施例的第二方面，提供了一种故障识别与应对系统，所述故障识别与应对系统包括：摄像单元，其拍摄包含故障代码的视频；识别单元，其对所述视频中的故障代码进行识别，得到识别出的故障代码；确定单元，其根据识别出的故障代码，确定与所述故障代码对应的故障相关信息，并根据所述故障相关信息生成显示数据；以及显示单元，其根据所述显示数据，表示所述故障相关信息。
12.根据本发明实施例的第三方面，提供了一种终端设备，所述终端设备包括：摄像单元，其拍摄包含故障代码的视频；第一发送单元，其向服务器发送所述视频；第一接收单元，其从所述服务器接收显示数据；以及显示单元，其根据所述显示数据，表示所述故障相关信息。
13.根据本发明实施例的第四方面，提供了一种服务器，所述服务器包括：第二接收单元，其从终端设备接收所述终端设备拍摄的包含故障代码的视频；识别单元，其对所述视频中的故障代码进行识别，得到识别出的故障代码；确定单元，其根据识别出的故障代码，确定与所述故障代码对应的故障相关信息，并根据所述故障相关信息生成显示数据；以及第二发送单元，其向所述终端设备发送所述显示数据。
14.根据本发明实施例的第四方面，提供了一种终端设备，所述终端设备包括：摄像单元，其拍摄包含故障代码的视频；识别单元，其对所述视频中的故障代码进行识别，得到识别出的故障代码；确定单元，其根据识别出的故障代码，确定与所述故障代码对应的故障相关信息，并根据所述故障相关信息生成显示数据；以及显示单元，其根据所述显示数据，表示所述故障相关信息。
15.本发明实施例的有益效果之一在于：通过拍摄包含故障代码的视频并基于该视频进行故障代码的识别，能够准确的识别出完整的故障代码，而不受故障代码显示方式和图像采集参数的限制，因此，基于识别出的完整且准确的故障代码，能够快速准确的获取故障相关信息。
16.参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
17.针对一种实施方式描述以及示出的特征信息可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征信息相组合，或替代其它实施方式中的特征信息。
18.应该强调，术语“包括/包含”在本文使用时指特征信息、整件、步骤或组件的存在，但并不排除一个或更多个其它特征信息、整件、步骤或组件的存在或附加。
附图说明
19.参照以下的附图可以更好地理解本发明的很多方面。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大或缩小。在本发明的一个附图或一种实施方式中描述的元素和特征信息可
以与一个或更多个其它附图或实施方式中示出的元素和特征信息相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。
20.在附图中：
21.图1是本发明实施例1的故障识别与应对方法的示意图；
22.图2是本发明实施例1的故障代码的一种显示方式的示意图；
23.图3是本发明实施例1的故障代码的一种显示方式的示意图；
24.图4是本发明实施例1的故障代码的另一种显示方式的示意图；
25.图5是本发明实施例1的故障代码的另一种显示方式的示意图；
26.图6是本发明实施例1的故障代码的又一种显示方式的示意图；
27.图7是本发明实施例1的故障代码的又一种显示方式的示意图；
28.图8是本发明实施例1的步骤102的一种实现方法的示意图；
29.图9是本发明实施例1的步骤102的另一种实现方法的示意图；
30.图10是本发明实施例1的步骤102的又一种实现方法的示意图；
31.图11是本发明实施例1的对该视频的相邻帧进行叠加的示意图；
32.图12是本发明实施例2的故障识别与应对系统的示意图；
33.图13是本发明实施例2的故障识别与应对系统执行相应方法的示意图；
34.图14是本发明实施例2的识别单元的一种实施方式的示意图；
35.图15是本发明实施例2的识别单元的另一种实施方式的示意图；
36.图16是本发明实施例2的第二识别模块的示意图；
37.图17是本发明实施例2的识别单元的又一种实施方式的示意图；
38.图18是本发明实施例2的第四识别模块的示意图；
39.图19是本发明实施例3的终端设备的示意图。
具体实施方式
40.下面参照附图对本发明的优选实施方式进行说明。
41.实施例1
42.本发明实施例1提供一种故障识别与应对方法。图1是本发明实施例1的故障识别与应对方法的示意图。如图1所示，该方法包括：
43.步骤101：拍摄包含故障代码的视频；
44.步骤102：对该视频中的故障代码进行识别，得到识别出的故障代码；
45.步骤103：根据识别出的故障代码，确定与该故障代码对应的故障相关信息，并根据该故障相关信息生成显示数据；以及
46.步骤104：根据该显示数据，表示该故障相关信息。
47.这样，通过拍摄包含故障代码的视频并基于该视频进行故障代码的识别，能够准确的识别出完整的故障代码，而不受故障代码显示方式和图像采集参数的限制，因此，基于识别出的完整且准确的故障代码，能够快速准确的获取故障相关信息。
48.在本发明实施例中，该方法应用的设备可以是能够显示故障代码的各种设备，例如，各种工业设备或各种家用电器等。例如，空调、洗衣机、冰箱或热水器等设备。当该设备
发生故障时，在该设备的显示面板上显示故障代码。
49.在本发明实施例中，设备的制造商可以使用各种方式表示故障代码，例如，故障代码由数字、字母以及符号中的至少一种而构成，其位数也可以是一个或多个。故障代码的具体表示形式和位数可以由设备的制造商根据实际需要而设置。
50.在步骤101中，拍摄包含故障代码的视频。在本发明实施例中，步骤101可以通过终端设备来执行，即，可以通过终端设备来进行拍摄该视频。例如，该终端设备是智能手机、智能平板或智能眼镜等。
51.在本发明实施例中，例如，拍摄的该视频可以是对于设备的显示面板区域的拍摄，该显示面板可以显示故障代码，例如，该显示面板可以是该设备的控制面板或者其他用于显示的面板。
52.例如，故障代码显示在该显示面板的故障显示区域内。
53.在本发明实施例中，显示故障代码的显示面板可以是各种类型的显示屏，例如，液晶显示屏或数码管显示屏。
54.在本发明实施例中，该方法可以适用于各种故障代码显示方式。
55.另外，拍摄的该视频的时间长短可以根据实际需要而确定，例如，根据故障代码显示的方式进行确定。
56.以下对故障代码的显示方式进行示例性的说明，但本发明实施例不限于这些显示方式。
57.例如，故障代码在一段时间内显示，在一段时间内不显示，并不断循环。对于该情况，拍摄的视频可以包含显示故障代码的一段时间。
58.图2和图3是本发明实施例1的故障代码的一种显示方式的示意图，如图2所示，在一段时间内显示故障代码为“a9-01”，如图3所示，在一段时间内不显示该故障代码。
59.又例如，故障代码在一段时间内显示故障代码的一部分，在另一段时间内显示故障代码的另一部分，并不断循环。对于该情况，拍摄的视频可以包含显示显示故障代码的一部分的一段时间以及显示故障代码的另一部分的另一段时间。
60.图4和图5是本发明实施例1的故障代码的另一种显示方式的示意图，如图4所示，在一段时间内显示故障代码的一部分为“j5”，如图5所示，在另一段时间内显示该故障代码的另一部分为
“-
01”。
61.在本技术实施例中，该一部分故障代码可以称为错误代码，表示发生故障的部件，另一部分故障代码可以称为详细代码，表示具体的故障内容。错误代码和详细代码组合为一个完整的故障代码。例如，图4中的“j5”表述错误代码，图5中的
“-
01”表示详细代码，两者组合为完整的错误代码“j5-01”。
62.又例如，故障代码通过数码管进行显示，而由于数码管显示的原理，其以一定的频率闪烁显示故障代码。对于该情况，拍摄的视频长度可以为适当的时间，例如，几秒钟的时间，以采集多个帧用于故障代码的识别。
63.图6和图7是本发明实施例1的故障代码的又一种显示方式的示意图。由于数码管以一定的频率闪烁显示故障代码，如图6所示，在该时刻显示了故障代码“j5”，如图7所示，在该时刻，故障代码“j5”显示不完整。
64.在步骤102中，对该视频中的故障代码进行识别，得到识别出的故障代码。在本发
明实施例中，可以是由本地的终端设备执行步骤102，也可以是终端设备将该视频的数据发送给远程的服务器，例如，云服务器，并由该服务器执行步骤102。
65.以下，针对不同的故障代码显示方式对步骤102分别进行具体的示例性说明。
66.例如，对于故障代码在一段时间内显示，在一段时间内不显示，并不断循环的显示方式，即图2和图3所示的例子，在步骤102中，可以对于该视频的各个帧逐个进行识别。
67.图8是本发明实施例1的步骤102的一种实现方法的示意图。如图8所示，对于该视频的一个帧进行识别的步骤包括：
68.步骤801：对该帧的故障代码显示区域的所有像素点的像素值取平均值；
69.步骤802：当该平均值满足预设条件时，确定该故障代码显示区域包含故障代码；以及
70.步骤803：对于包含故障代码的该故障代码区域，使用预先训练得到的第一识别模型进行识别，得到识别出的故障代码。
71.在步骤802中，该预设条件可以根据故障代码与显示区域背景的显示差异而确定。例如，显示区域的背景较暗，而显示的故障代码较亮，则该预设条件为像素值的平均值大于预定义的阈值。又例如，显示区域的背景较亮，而显示的故障代码较暗，则该预设条件为像素值的平均值小于预定义的阈值。其中，该预定义的阈值可以根据显示区域的背景的像素值而确定。
72.在步骤803中，使用的第一识别模型是使用训练数据进行训练而得到的，例如，使用训练数据对神经网络进行训练，得到第一识别模型。该神经网络可以是使用现有的神经网络结构。
73.在本发明实施例中，对于当该平均值不满足预设条件时，确定该故障代码显示区域不包含故障代码，那么，对于这一帧的图像不进行处理。
74.在本发明实施例中，对于各个帧分别进行识别后，如果各个帧识别得到的故障代码一致，则将该故障代码作为识别结果，如果各个帧识别得到的故障代码不一致，则可以将在较多的帧中识别出的故障代码作为识别结果。
75.又例如，对于故障代码在一段时间内显示故障代码的一部分，在另一段时间内显示故障代码的另一部分，并不断循环的显示方式，即图4和图5的例子，图9是本发明实施例1的步骤102的另一种实现方法的示意图。如图9所示，该方法包括：
76.步骤901：对于该视频的各个帧逐个进行识别，得到识别出的第一部分故障代码和第二部分故障代码；以及
77.步骤902：将该第一部分故障代码和第二部分故障代码组合为完整的故障代码，作为识别出的故障代码。
78.这样，能够准确识别出在不同时间显示不同部分的完整故障代码，从而能够获取准确的故障信息。
79.例如，对于该视频的各个帧逐个进行识别，得到图4中的第一部分故障代码“j5”和图5中的第二部分故障代码
“-
01”，将第一部分故障代码“j5”和第二部分故障代码
“-
01”组合为完整的故障代码“j5-01”。
80.其中，对于该视频的一个帧进行识别的步骤与步骤801至步骤803类似，即：
81.对该帧的故障代码显示区域的所有像素点的像素值取平均值；
82.当该平均值满足预设条件时，确定该故障代码显示区域包含故障代码；以及
83.对于包含故障代码的该故障代码区域，使用预先训练得到的第一识别模型进行识别，得到识别出的第一部分故障代码或第二部分故障代码。
84.在本发明实施例中，可以根据实际需要确定将哪部分故障代码作为第一部分故障代码而放在前面，例如，对于识别出包含字母的部分故障代码，将其作为第一部分故障代码而放在前面。又例如，对于识别出的不包含符号的部分故障代码，将其作为第一部分故障代码而放在前面，将识别出的包含符号的部分故障代码，例如，包含符号
“-”
的部分代码，作为第二部分故障代码而放在后面。
85.又例如，对于故障代码通过数码管以一定的频率闪烁显示的显示方式，即图6和图7的例子，图10是本发明实施例1的步骤102的又一种实现方法的示意图。如图10所示，该方法包括：
86.步骤1001：根据预设的权重值，将该视频的相邻帧或间隔帧叠加，得到叠加后的多个帧；以及
87.步骤1002：根据叠加后的多个帧进行故障代码的识别。
88.这样，能够克服单一图像可能无法准确显示故障代码的缺陷，准确的确定故障代码，从而获得准确的故障信息。
89.在步骤1001中，根据权重值对该视频的相邻帧或间隔帧进行两两叠加，该间隔帧可以是间隔预设帧数的两个间隔帧。
90.在本发明实施例中，用于叠加的权重值可以根据实际需要而设置，例如，权重值均为0.5，也就是说，对相邻的两帧或间隔的两帧的对应像素点的像素值求平均值。又例如，权重值均为1，也就是说，将相邻的两帧或间隔的两帧的对应像素点的像素值相加。
91.在本发明实施例中，对于故障代码在一段时间内显示故障代码的一部分，在另一段时间内显示故障代码的另一部分，并不断循环的显示方式，步骤1002包括：对于叠加后的各个帧逐个进行识别，得到识别出的第一部分故障代码和第二部分故障代码；以及将该第一部分故障代码和第二部分故障代码组合为完整的故障代码，作为识别出的故障代码。
92.图11是本发明实施例1的对该视频的相邻帧进行叠加的示意图。如图11所示，在该视频包含的6帧图像中，第2、3、5帧由于数码管的闪烁而导致拍摄的故障代码不完整。对相邻的两帧分别进行像素值相加的叠加，第1帧和第2帧叠加后识别出第一部分故障代码“lc”，第3帧和第4帧叠加后无法识别出正常的故障代码，因此对其进行舍弃，第5帧和第6帧叠加后识别出第二部分故障代码
“-
14”。将第一部分故障代码“lc”和第二部分故障代码
“-
14”组合后得到完整的故障代码“lc-14”。
93.在本发明实施例中，在步骤102中，在进行识别之前，还可以包括如下的步骤：对该视频进行分割，得到该视频的各个帧；以及确定该视频的各个帧的故障代码显示区域。
94.这样，能够确定各个帧的故障代码显示区域，以便于针对该故障代码显示区域进行故障代码的识别。
95.在本发明实施例中，例如，可以根据故障代码显示区域与显示故障代码的显示面板的预设位置关系，确定该故障代码显示区域的位置，或者，可以根据预先训练得到的第二识别模型，识别该故障代码显示区域的位置。
96.例如，拍摄视频的区域大致为显示面板的区域，通过故障代码显示区域在该显示
面板中的预设位置关系来确定该故障代码显示区域的位置。
97.例如，该第二识别模型可以是神经网络，该神经网络可以使用现有的神经网络结构。
98.在本发明实施例中，当步骤102中识别出故障代码之后，在步骤103中，根据识别出的故障代码，确定与该故障代码对应的故障相关信息，并根据该故障相关信息生成显示数据。在本发明实施例中，可以是由本地的终端设备执行步骤103，也可以是由服务器执行步骤103。
99.在本发明实施例中，可以预先建立故障信息数据库，在该故障信息数据库中，存储了各种设备的故障相关信息，该故障相关信息与设备的种类及型号、故障代码所对应。
100.在本发明实施例中，与故障代码对应的该故障相关信息可以包括与故障代码对应的故障内容和/或发生故障的设备的第一模型。该第一模型是能够表示该设备的各个部件的二维模型或三维模型。
101.在本发明实施例中，该故障内容可以包括发生故障的位置或部件的信息和/或相应的售后维修信息。例如，该售后维修信息可以包括维修的方法和步骤，又例如，还可以包括更换部件的费用等信息。
102.在步骤103中，根据识别出的故障代码，在该故障信息数据库中进行检索，确定与该故障代码对应的故障相关信息，并根据该故障相关信息生成显示数据，该显示数据是能够表示故障相关信息的显示数据。
103.在步骤104中，根据该显示数据，表示该故障相关信息。在本发明实施例中，可以是由本地的终端设备执行步骤104，在由服务器执行步骤103的情况下，服务器将生成的显示数据发送给。
104.在本发明实施例中，表示该故障相关信息可以是用各种方式进行表示。例如，通过屏幕显示使用文字表示的故障内容，或者，通过屏幕显示使用文字和图形结合表示的故障内容，或者，通过虚实结合的方式显示能够表示故障内容的该设备的模型。本发明实施例不对该故障相关信息的表示方式进行限制。
105.例如，在步骤104中，可以根据该显示数据，显示能够表示故障内容的该设备的第二模型，该第二模型基于该设备的第一模型而形成。这样，能够直观的表示设备构造和故障位置，从而提高故障确定和故障排除的效率。
106.例如，该第二模型是能够表示该设备的各个部件且能够突出表示发生故障的位置或部件的二维模型或三维模型。
107.例如，以增强现实、图像或动画的方式显示该第二模型。这样，能够进一步直观的了解故障信息，从而进一步提高故障确定和故障排除的效率。
108.例如，在该第二模型中以不同的颜色显示发生故障的位置或部件。这样，能够进一步直观的了解故障信息，从而进一步提高故障确定和故障排除的效率。
109.在本发明实施例中，还可以显示故障相关信息中的售后维修信息，例如，以动画或视频的方式显示维修的方法和步骤。这样，能够进一步提高故障排除的效率。
110.由上述实施例可知，通过拍摄包含故障代码的视频并基于该视频进行故障代码的识别，能够准确的识别出完整的故障代码，而不受故障代码显示方式和图像采集参数的限制，因此，基于识别出的完整且准确的故障代码，能够快速准确的获取故障相关信息。
111.实施例2
112.本发明实施例2提供一种故障识别与应对系统，其对应于实施例1记载的故障识别与应对方法，其具体的实施可以参照实施例1所述的方法的实施，内容相同或相关之处不再重复说明。
113.图12是本发明实施例2的故障识别与应对系统的示意图，如图12所示，故障识别与应对系统1200包括：
114.摄像单元1201，其拍摄包含故障代码的视频；
115.识别单元1202，其对该视频中的故障代码进行识别，得到识别出的故障代码；
116.确定单元1203，其根据识别出的故障代码，确定与该故障代码对应的故障相关信息，并根据该故障相关信息生成显示数据；以及
117.显示单元1204，其根据该显示数据，表示所述故障相关信息。
118.在本发明实施例中，如图12所示，故障识别与应对系统1200可以包括终端设备1210和服务器1220，终端设备1210包括摄像单元1201和显示单元1204，服务器1220包括识别单元1202和确定单元1203。
119.另外，如图12所示，终端设备1210还包括：
120.第一发送单元1205，其向服务器1220发送该视频；
121.第一接收单元1206，其从服务器1220接收显示数据。
122.该服务器1220还包括：
123.第二接收单元1207，其从终端设备1210接收该终端设备拍摄的包含故障代码的视频；以及
124.第二发送单元1208，其向终端设备1210发送该显示数据。
125.在本发明实施例中，终端设备1210可以是各种类型的终端设备，例如，该终端设备是智能手机、智能平板或智能眼镜等。
126.服务器1220可以是各种类型的服务器，例如，云服务器。
127.图13是本发明实施例2的故障识别与应对系统执行相应方法的示意图。如图13所示，该方法包括：
128.步骤1301：终端设备1210拍摄包含故障代码的视频；
129.步骤1302：终端设备1210将该视频发送给服务器1220；
130.步骤1303：服务器1220对该视频中的故障代码进行识别，得到识别出的故障代码；
131.步骤1304：服务器1220根据识别出的故障代码，确定与该故障代码对应的故障相关信息，并根据该故障相关信息生成显示数据；
132.步骤1305：服务器1220向终端设备1210发送该显示数据；
133.步骤1306：终端设备1210根据该显示数据，表示该故障相关信息。
134.图14是本发明实施例2的识别单元的一种实施方式的示意图。如图14所示，识别单元1202包括：
135.第一计算模块1401，其对该帧的故障代码显示区域的所有像素点的像素值取平均值；
136.第一确定模块1402，其当该平均值满足预设条件时，确定该故障代码显示区域包含故障代码；以及
137.第一识别模块1403，其对于包含故障代码的该故障代码区域，使用预先训练得到的第一识别模型进行识别，得到识别出的故障代码。
138.图15是本发明实施例2的识别单元的另一种实施方式的示意图。如图15所示，识别单元1202包括：
139.第二识别模块1501，其对于该视频的各个帧逐个进行识别，得到识别出的第一部分故障代码和第二部分故障代码；以及
140.第一组合模块1502，其将该第一部分故障代码和第二部分故障代码组合为完整的故障代码，作为识别出的故障代码。
141.图16是本发明实施例2的第二识别模块的示意图。如图16所示，第二识别模块1501包括：
142.第二计算模块1601，其对该帧的故障代码显示区域的所有像素点的像素值取平均值；
143.第二确定模块1602，其当该平均值满足预设条件时，确定该故障代码显示区域包含故障代码；以及
144.第三识别模块1603，其对于包含故障代码的该故障代码区域，使用预先训练得到的第一识别模型进行识别，得到识别出的第一部分故障代码或第二部分故障代码。
145.图17是本发明实施例2的识别单元的又一种实施方式的示意图。如图17所示，识别单元1202包括：
146.叠加模块1701，其根据预设的权重值，将该视频的相邻帧或间隔帧叠加，得到叠加后的多个帧；以及
147.第四识别模块1702，其根据叠加后的多个帧进行故障代码的识别。
148.图18是本发明实施例2的第四识别模块的示意图。如图18所示，第四识别模块1702包括：
149.第五识别模块1801，其对于叠加后的各个帧逐个进行识别，得到识别出的第一部分故障代码和第二部分故障代码；以及
150.第二组合模块1802，其将该第一部分故障代码和第二部分故障代码组合为完整的故障代码，作为识别出的故障代码。
151.在本发明实施例中，该识别单元1202还可以包括：
152.分割模块，其对该视频进行分割，得到该视频的各个帧；
153.第二确定模块，其确定该视频的各个帧的故障代码显示区域。
154.在本发明实施例中，该第二确定模块可以根据故障代码显示区域与显示故障代码的显示面板的预设位置关系，确定该故障代码显示区域的位置，或者，根据预先训练得到的第二识别模型，识别该故障代码显示区域的位置。
155.在本发明实施例中，与故障代码对应的该故障相关信息可以包括：与该故障代码对应的故障内容和/或发生故障的设备的第一模型。
156.在本发明实施例中，显示单元1204可以根据该显示数据，显示能够表示该故障内容的该设备的第二模型，该第二模型基于该第一模型而形成。
157.例如，该设备的第一模型是能够表示该设备的各个部件的二维模型或三维模型，该设备的第二模型是能够表示该设备的各个部件且能够突出表示发生故障的位置或部件
的二维模型或三维模型，
158.并且，显示单元1204可以以增强现实、图像或动画的方式显示该第二模型。在本发明实施例中，该故障内容可以包括发生故障的位置或部件的信息和/或相应的售后维修信息。
159.在本发明实施例中，上述各个单元和模块的功能的实现可以参照实施例1中相关步骤的内容，此处不再重复说明。
160.由上述实施例可知，通过拍摄包含故障代码的视频并基于该视频进行故障代码的识别，能够准确的识别出完整的故障代码，而不受故障代码显示方式和图像采集参数的限制，因此，基于识别出的完整且准确的故障代码，能够快速准确的获取故障相关信息。
161.实施例3
162.本发明实施例3提供一种终端设备，其对应于实施例1记载的故障识别与应对方法，其具体的实施可以参照实施例1所述的方法的实施，内容相同或相关之处不再重复说明。
163.图19是本发明实施例3的终端设备的示意图，如图19所示，终端设备1900包括：
164.摄像单元1901，其拍摄包含故障代码的视频；
165.识别单元1902，其对该视频中的故障代码进行识别，得到识别出的故障代码；
166.确定单元1903，其根据识别出的故障代码，确定与该故障代码对应的故障相关信息，并根据该故障相关信息生成显示数据；以及
167.显示单元1904，其根据该显示数据，表示该故障相关信息。
168.也就是说，实施例1中的所有步骤可以都由终端设备执行，终端设备的各个单元的功能的实现可以参照实施例1中相关步骤的内容，此处不再重复说明。
169.由上述实施例可知，通过拍摄包含故障代码的视频并基于该视频进行故障代码的识别，能够准确的识别出完整的故障代码，而不受故障代码显示方式和图像采集参数的限制，因此，基于识别出的完整且准确的故障代码，能够快速准确的获取故障相关信息。
170.本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文的装置或构成部件，或使该逻辑部件实现上文的各种方法或步骤。
171.本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、dvd、flash存储器等。
172.以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。