一种数据管理系统、数据故障修复方法及装置与流程

1.本技术涉及互联网技术领域，更具体地说，涉及一种数据管理系统、数据故障修复方法及装置。


背景技术：

2.随着移动互联网的快速发展，不同行业、不同规模的单位、企业之间构建基于互联网的跨界融合合作成为发展趋势。很多企业的业务由单一业务变成复杂多变的业务，各方合作所产生的业务数据也非常庞大且复杂。
3.为了更好地促进各合作方之间的合作，需要对各合作方的业务数据进行科学管理，以便更好地为各合作方提供服务。由于各合作方的业务的复杂性，想要做好业务数据的管理并不容易，对于各个行业的客户来说，如何保障对于用例数据的安全以及如何实现对数据高效利用无疑是市场重点。目前，大部分的数据管理方案难以适应复杂多变的业务数据。因此，亟需研发一套通用的数据管理解决方案，用于解决各行业构建基于互联网的跨界融合合作的数据管理难的问题。然而，由于各合作方的业务具有较大复杂性，想要开设一套通用的数据管理解决方案，不仅需要考虑存储资源的可用性、稳健性和持久性，还要考虑存储容量、部署成本、数据追踪和故障修复等一系列问题。
4.为了保证各个行业的不同企业之间的合作正常运行，亟需一套能够高效地管理各合作方的业务数据的方案，用于解决数据管理难的问题。


技术实现要素：

5.有鉴于此，本技术提供了一种数据管理系统、数据故障修复方法及装置，用于解决数据管理难的问题。
6.一种数据管理系统，该系统包括：操作数据层、基础数据层、接口数据层和结果层；
7.其中，所述操作数据层用于采集原始数据并保存至分布式文件系统hdfs中与所述操作数据层对应的目录中；
8.所述基础数据层将保存在所述hdfs中与所述操作数据层对应的目录的数据进行数据清洗后，保存至所述hdfs中与所述基础数据层对应的目录中；
9.所述接口数据层用于将保存在所述hdfs中与所述基础数据层对应的目录的数据结构化后，保存至所述hdfs中与所述接口数据层对应的目录中；
10.所述结果层用于将保存在所述hdfs中与所述接口数据层对应的目录的数据进行格式转化后，保存至所述hdfs中与所述结果层对应的目录中。
11.优选地，所述操作数据层采集原始数据并保存至所述hdfs中与所述操作数据层对应的目录中的过程，包括：
12.所述操作数据层采集日志的原始数据，并将所述日志的原始数据按照hdfs格式转换为流式数据流后，保存至所述hdfs中与所述操作数据层对应的目录中。
13.优选地，所述接口数据层将保存在所述hdfs中与所述基础数据层对应的目录的数
据结构化后，保存所述hdfs中与所述接口数据层对应的目录中的过程，包括：
14.所述接口数据层将保存在所述hdfs中与所述基础数据层对应的目录的数据按照avro格式进行格式转换，得到转换后的目标数据；
15.将所述目标数据进行反序列化后保存至所述hdfs中与所述接口数据层对应的目录中。
16.优选地，所述接口数据层将所述目标数据进行反序列化后，保存至所述hdfs中与所述接口数据层对应的目录中的过程，包括：
17.使用kafkaconncetor通用框架的反序列化技术，将所述目标数据进行反序列化后保存至所述hdfs中与所述接口数据层对应的目录中。
18.一种数据故障修复方法，应用于前述介绍任一项数据管理系统，该方法包括：
19.确定故障数据在所述hdfs中的存储目录；
20.基于所述故障数据的存储目录修复所述故障数据。
21.优选地，若所述故障数据为所述hdfs中与所述操作数据层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据，包括：
22.修复所述hdfs中与所述操作数据层对应的目录的数据；
23.基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
24.优选地，若所述故障数据为所述hdfs中与所述基础数据层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据，包括：
25.判断所述hdfs中与所述操作数据层对应目录的数据是否存在故障；
26.若所述hdfs中与所述操作数据层对应目录的数据不存在故障，则修复hdfs中与所述基础数据层对应的目录的数据，并基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据；
27.若所述hdfs中与所述操作数据层对应目录的数据存在故障，则修复所述hdfs中与所述操作数据层对应目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
28.优选地，若所述故障数据为所述hdfs中与所述接口数据层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据，包括：
29.判断所述hdfs中与所述基础数据层对应的目录的数据是否存在故障；
30.若所述hdfs中与所述基础数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述接口数据层对应的目录的数据，并基于修复后的数据，修复所述hdfs中与所述结果层对应的目录的数据；
31.若所述hdfs中与所述基础数据层对应的目录的数据存在故障，则判断所述hdfs中与所述操作数据层对应的目录的数据是否存在故障；
32.若所述hdfs中与所述操作数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述基础数据层对应的目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据；
33.若所述hdfs中与所述操作数据层对应的目录的数据存在故障，则修复所述hdfs中与所述操作数据层对应的目录的数据后，再基于修复后的数据分别修复所述hdfs中与所述
基础数据层、所述接口数据层及所述结果层对应的目录的数据。
34.优选地，若所述故障数据为所述hdfs中与所述结果层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据，包括：
35.判断所述hdfs中与所述接口数据层对应的目录的数据是否存在故障；
36.若所述hdfs中与所述接口数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述结果层对应的目录的数据；
37.若所述hdfs中与所述接口数据层对应的目录的数据存在故障，则判断所述hdfs中与所述基础数据层对应的目录的数据是否存在故障；
38.若所述hdfs中与所述基础数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述接口层及所述结果层对应的目录的数据；
39.若所述hdfs中与所述基础数据层对应的目录的数据存在故障，则判断所述hdfs中与所述操作数据层对应的目录的数据是否存在故障；
40.若所述hdfs中与所述操作数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述基础数据层对应的目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据；
41.若所述hdfs中与所述操作数据层的对应的目录数据存在故障，则修复所述hdfs中与所述操作数据层对应的目录的数据后，再基于修复后数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
42.一种数据故障修复装置，包括：
43.故障数据确定单元，用于确定故障数据在所述hdfs中的存储目录；修复单元，用于基于所述故障数据的存储目录修复所述故障数据。
44.一种数据故障修复设备，包括存储器和处理器；
45.所述存储器，用于存储程序；
46.所述处理器，用于执行所述程序，实现如前述介绍的数据故障修复方法的各个步骤。
47.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前述介绍的数据故障修复方法的各个步骤。
48.从上述技术方案可以看出，本技术的数据管理系统包括操作数据层，基础数据层，接口数据层，结果层；其中，所述操作数据层用于采集原始数据并保存至所述hdfs中与所述操作数据层对应的目录中；将所述原始数据保存至所述hdfs中与所述操作数据层对应的目录中，可以使得数据更匹配应用的场景。所述基础数据层可用于将保存在至所述hdfs中与所述操作数据层对应的目录中的数据进行数据清洗后保存至所述hdfs中与所述基础数据层对应的目录中；对所述原始数据进行转化后再统一保存也有利于对数据进行梳理，提高数据分析的效率。所述接口数据层用于将保存在至所述hdfs中与所述基础数据层对应的目录中的数据结构化后，保存至所述hdfs中与所述接口数据层对应的目录中；将保存在所述hdfs中与所述基础数据层对应的目录中的数据结构化后，保存至所述hdfs中与所述接口数据层对应的目录中，也有助于进行数据备份及提高数据分析的效率。所述结果层用于将保存在所述hdfs中与所述接口数据层对应的目录中的数据进行格式转化后，保存至所述hdfs中与所述结果层对应的目录中，保存在所述hdfs中与所述结果层对应的目录的数据经过转
化后，可支持结合hive等引擎来做数据分析，也可以支持mysql等关系型数据库的快速查询。
附图说明
49.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
50.图1为本技术实施例提供的一种实现数据管理的系统架构示意图；
51.图2为本技术实施例示例的一种数据故障修复方法的流程图。
52.图3为本技术实施例示例的一种数据故障修复装置结构示意图；
53.图4为本技术实施例公开的一种数据故障修复设备的硬件结构框图。
具体实施方式
54.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
55.鉴于目前大部分的数据管理方案难以适应复杂多变的业务数据，为此，本技术人研究了一种数据分层管理方案，该管理方法在数据结构上清晰，有利于基础开发人员精准定位数据所在的存储位置，及时开展数据管理和故障追踪。同时简化了复杂业务接入成本，提供更良好的业务整合策略。本技术可以应用于任意一种可以实现数据管理的设备中，可选的，可以实现数据管理的设备可以是平板电脑、手机、数字电视等具有数据处理能力的终端。
56.下面结合图1，介绍本技术实施例给出的可以实现数据管理的一种可选系统架构，如图1所示，该系统架构可以包括：操作数据层10、基础数据层20、接口数据层30及结果层40、hdfs(hadoop分布式文件系统，hadoop distributed file system，hdfs)50。
57.其中，所述操作数据层10可以用于采集原始数据并保存至所述hdfs中与所述操作数据层对应的目录中。
58.所述基础数据层20可以将保存在所述hdfs中与所述操作数据层对应的目录的数据进行数据清洗后，保存至所述hdfs中与所述基础数据层对应的目录中。
59.所述接口数据层30可以用于将保存在所述hdfs中与所述基础数据层对应的目录的数据结构化后，保存至所述hdfs中与所述接口数据层对应的目录中。
60.所述结果层40可以用于将保存在所述hdfs中与所述接口数据层对应的目录的数据进行格式转化后，保存至所述hdfs中与所述结果层对应的目录中。
61.操作数据层10采集日志数据后可以将数据经过基础数据层20、接口数据层30等框架层的清洗、格式转换后最终保存在保存至所述hdfs中与所述结果层40对应的目录中，以便可以支持结合hive等引擎来做数据分析，也可以支持mysql等关系型数据库的快速查询。
62.基于此，接下来分别介绍操作数据层10、基础数据层20、接口数据层30及结果层40
的数据处理过程进行介绍。
63.本技术实施例对所述操作数据层10采集原始数据并保存至所述hdfs中与所述操作数据层对应的目录中的过程进行介绍，该过程可以包括：
64.所述操作数据层10基于日志收集系统flume采集日志的原始数据，并将所述日志的原始数据按照hdfs格式转换为流式数据流后，保存至所述hdfs中与所述操作数据层对应的目录中。
65.其中，所述flume是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方的能力。flume提供了从控制台console、rpc(thrift-rpc)、text(文件)、tail(unix tail)、syslog(syslog日志系统)，支持tcp和udp等2种模式，exec(命令执行)等数据源上收集数据的能力。
66.从上述技术方案可知，本技术中所述操作数据层可以基于日志收集系统flume采集日志的原始数据，并将所述日志的原始数据按照hdfs格式转换为流式数据流后，保存至所述hdfs中与所述操作数据层对应的目录中。通过flume将日志等转换为流式数据流存储到所述hdfs中与所述操作数据层对应的目录中，从存储角度上，hdfs格式的数据可以匹配amazon s3数据湖的数据要求。
67.由上述实施例可知，所述基础数据层20可以将保存在所述hdfs中与所述操作数据层10对应的目录的数据进行数据清洗后，保存至所述hdfs中与所述基础数据层20对应的目录中。
68.本技术实施例对所述基础数据层20的数据处理过程进行介绍。该过程可以包括：
69.将保存在所述hdfs中与所述操作数据层10对应的目录的数据进行数据清洗，以剔除保存在所述hdfs中与所述操作数据层10对应的目录中冗余、错误的日志数据，将保存在所述hdfs中与所述操作数据层10对应的目录中的数据进行数据清洗后保存至所述hdfs中与所述基础数据层20对应的目录中，以便降低后续数据处理的难度，提高后续数据处理的效率。
70.从上述技术方案可以看出，本技术实施例可以将保存在所述hdfs中与所述操作数据层10对应的目录的数据进行数据清洗后，再保存至所述hdfs中与所述基础数据层20对应的目录中，可以有效降低后续数据处理的难度，提高后续数据处理的效率。
71.由上述介绍可知，所述接口数据层30将保存在所述hdfs中与所述基础数据层20对应的目录的数据结构化后，保存所述hdfs中与所述接口数据层30对应的目录中。
72.本技术实施例对所述接口数据层30的数据处理过程进行介绍，该过程可以包括如下几个步骤：
73.步骤s11，所述接口数据层30将保存在所述hdfs中与所述基础数据层20对应的目录的数据按照数据序列化系统avro的格式进行格式转换，得到转换后的目标数据。
74.具体地，可以将保存在所述hdfs中与所述基础数据层20对应的目录的数据按照avro格式进行格式转换，从而可以得到转换后的目标数据，所述目标数据的数据格式是avro格式。
75.其中，avro格式的数据是数据序列化系统支持的一种数据格式。由于数据序列化系统具有丰富的数据结构类型，不仅可以提供快速可压缩的二进制数据形式、存储持久数
据的文件容器。还可以提供远程过程调用rpc协议的功能。数据序列化系统还具有简单的动态语言结合功能，可以动态语言结合后，能实现读写数据文件和使用rpc协议都不需要生成代码。
76.在实际应用过程中，各合作方的业务数据的读写操作是很频繁。同样的，数据序列化系统的数据的读写操作也是很频繁的，本技术实施例中将保存在所述hdfs中与所述基础数据层20对应的目录的数据按照数据序列化系统avro的格式进行格式转换，也是更加匹配业务数据管理的应用场景，以便更好地对各合作方的业务数据进行科学管理。
77.在数据序列化系统中数据的读写操作都需要使用模式，而数据序列化系统的执行是依赖schema模式来实现的。这样就减少在数据序列化系统中写入每个数据资料的开销，使得数据序列化快速而又轻巧。数据序列化系统的这种数据及其模式的自我描述方便于动态脚本语言的使用。当avro数据存储到文件中时，它的模式也随之存储，这样任何程序都可以对已经存储的文件进行处理。使得数据的兼容性更好。能满足需要以不同的模式读取数据的需求。
78.另外，当在rpc协议中使用数据序列化系统时，服务器和客户端可以在连接时交换模式。服务器和客户端有着彼此全部的模式，因此相同命名字段、缺失字段和多余字段等信息之间通信中需要解决的一致性问题就可以容易解决。除此之外，avro数据模式是用json(一种轻量级的数据交换模式)定义的，这样对于已经拥有json库的语言可以容易实现数据兼容。
79.步骤s12，将所述目标数据进行反序列化后保存至所述hdfs中与所述接口数据层对应的目录中。
80.具体地，将保存在所述hdfs中与所述基础数据层20对应的目录的数据按照avro格式进行格式转换之后，可以利用kafkaconncetor通用框架的反序列化技术将所述目标数据进行反序列化，以便可以进一步做parquet格式转换后保存至所述hdfs中与所述接口数据层对应的目录中。其中，parquet格式的数据可以支持hive数据库，同时具备存储空间小，查询效率高的优点。
81.从上述技术方案可以看出，本技术实施例中所述接口数据层30可以将保存在所述hdfs中与所述基础数据层20对应的目录的数据按照avro格式进行格式转换后保存至所述hdfs中与所述接口数据层30对应的目录中，有效提高了数据的兼容性及数据处理的难度，提高了数据处理的效率。
82.基于图1所述的系统架构，图2示例了本技术实施例提供的数据故障修复方法的一种可选的实现方式。本技术实施例提供的数据故障修复方法可以对上述介绍中数据管理系统中的故障数据进行修复。
83.接下来对修复数据管理系统中的故障数据的过程进行介绍。该过程可以包括如下几个步骤：
84.步骤s101，确定故障数据在所述hdfs中的存储目录。
85.具体地，由于数据管理系统的各个数据层的数据都分别存在所述hdfs中与各个层对应的目录中，因此，当发生数据故障的时候，可以确定故障数据在所述hdfs中的存储目录。以便追踪故障数据并及时修复故障数据。
86.步骤s102，基于所述故障数据的存储目录修复所述故障数据。
87.具体地，由上述介绍的方案可知，本技术实施例提供的数据管理系统的各个数据层的数据分别存储在所述hdfs中各个层对应的目录中，因此，在确定故障数据在所述hdfs中的存储目录之后，可以基于所述故障数据的存储目录修复所述故障数据。
88.例如，当确定数据系统的某一个层的数据存在数据缺失、冗余、数据字段被修改等故障时，可以在确定故障数据在所述hdfs中的存储目录后，可以利用s3数据重跑技术修复故障数据。
89.其中，s3数据重跑技术可以通过spark数据处理引擎将所述hdfs中的数据与关系型数据库mysql中的数据进行比对，可以将比对后缺失部分数据填补，实现数据修复。
90.从上述技术方案可以看出，本技术实施例可以在确定故障数据在所述hdfs中的存储目录之后，基于所述故障数据的存储目录修复所述故障数据。实现了数据故障追踪及数据故障修复。
91.在上述实施例的介绍中，可以通过确定所述故障数据在所述hdfs中的存储目录来修复故障数据，若所述故障数据为所述hdfs中与所述操作数据层对应的目录的数据时，所述基于所述故障数据的存储目录修复所述故障数据的过程可以包括如下几个步骤：
92.步骤s201，修复所述hdfs中与所述操作数据层对应的目录的数据。
93.步骤s202，基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
94.从上技术方案可以看出，本技术实施例可以在所述故障数据为所述hdfs中与所述操作数据层对应的目录的数据时，修复所述hdfs中与所述操作数据层对应的数据，并基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
95.在上述实施例的介绍中，可以通过确定所述故障数据在所述hdfs中的存储目录来修复故障数据，若所述故障数据为所述hdfs中与所述基础数据层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据的过程可以包括如下几个步骤：
96.步骤s301，判断所述hdfs中与所述操作数据层对应目录的数据是否存在故障。
97.步骤s302，若所述hdfs中与所述操作数据层对应目录的数据不存在故障，则修复hdfs中与所述基础数据层对应的目录的数据，并基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据。
98.步骤s303，若所述hdfs中与所述操作数据层对应目录的数据存在故障，则修复所述hdfs中与所述操作数据层对应目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
99.从上技术方案可以看出，本技术实施例可以在所述故障数据为所述hdfs中与所述基础数据层对应的目录的数据时，可以进一步判断所述hdfs中所述操作数据层对应的目录的数据是否存在故障，若存在故障，则可以进一步修复所述hdfs中与所述操作数据层对应的数据，并基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
100.在上述实施例的介绍中，可以通过确定所述故障数据在所述hdfs中的存储目录来修复故障数据，若所述故障数据为所述hdfs中与所述接口数据层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据的过程可以包括如下几个步骤：
101.步骤s401，判断所述hdfs中与所述基础数据层对应的目录的数据是否存在故障。
102.步骤s402，若所述hdfs中与所述基础数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述接口数据层对应的目录的数据，并基于修复后的数据，修复所述hdfs中与所述结果层对应的目录的数据。
103.步骤s403，若所述hdfs中与所述基础数据层对应的目录的数据存在故障，则判断所述hdfs中与所述操作数据层对应的目录的数据是否存在故障.
104.步骤s404，若所述hdfs中与所述操作数据层对应的目录的数据不存在故障，则修复hdfs中与所述基础数据层对应的目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据。
105.步骤s405，若所述hdfs中与所述操作数据层对应的目录的数据存在故障，则修复所述hdfs中与所述操作数据层对应的目录的数据后，再基于修复后的数据分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
106.从上技术方案可以看出，本技术实施例可以在所述故障数据为所述hdfs中与所述接口数据层对应的目录的数据时，可以进一步逐层判断所述hdfs中所述基础数据层、所述操作数据层对应的目录的数据是否存在故障，若所述操作数据层对应的目录的数据存在故障，则可以进一步修复所述hdfs中与所述操作数据层对应的数据，并基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
107.在上述实施例的介绍中，可以通过确定所述故障数据在所述hdfs中的存储目录来修复故障数据，若所述故障数据为所述hdfs中与所述结果层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据的过程可以包括如下几个步骤：
108.步骤s501，判断所述hdfs中与所述接口数据层对应的目录的数据是否存在故障。
109.步骤s502，若所述hdfs中与所述接口数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述结果层对应的目录的数据。
110.步骤s503，若所述hdfs中与所述接口数据层对应的目录的数据存在故障，则判断所述hdfs中与所述基础数据层对应的目录的数据是否存在故障。
111.步骤s504，若所述hdfs中与所述基础数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述接口层及所述结果层对应的目录的数据。
112.步骤s505，若所述hdfs中与所述基础数据层对应的目录的数据存在故障，则判断所述hdfs中与所述操作数据层对应的目录的数据是否存在故障。
113.步骤s506，若所述hdfs中与所述操作数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述基础数据层对应的目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据。
114.步骤s507，若所述hdfs中与所述操作数据层的对应的目录数据存在故障，则修复所述hdfs中与所述操作数据层对应的目录的数据后，再基于修复后数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
115.从上技术方案可以看出，本技术实施例可以在所述故障数据为所述hdfs中与所述结果层对应的目录的数据时，可以进一步逐层判断所述hdfs中所述接口数据层、所述基础数据层、所述操作数据层对应的目录的数据是否存在故障，若所述操作数据层对应的目录的数据存在故障，则可以进一步修复所述hdfs中与所述操作数据层对应的数据，并基于修
复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
116.下面开始介绍本技术实施例提供的数据故障修复装置，下文描述的数据故障修复装置与上文描述的数据故障修复方法可相互对应参照。
117.参见图3，图3为本技术实施例公开的一种数据故障修复装置结构示意图。
118.如图3所示，该数据故障修复装置可以包括：
119.故障数据确定单元101，用于确定故障数据在所述hdfs中的存储目录；
120.修复单元102，用于基于所述故障数据的存储目录修复所述故障数据。
121.本技术实施例的装置可以在确定故障数据在所述hdfs中的存储目录之后，基于所述故障数据的存储目录修复所述故障数据。实现了数据故障追踪及数据故障修复。
122.进一步可选的，上述修复单元在所述故障数据为所述hdfs中与所述操作数据层对应的目录的数据时的执行过程，可以包括：
123.修复所述hdfs中与所述操作数据层对应的目录的数据；
124.基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
125.进一步可选的，上述修复单元在所述故障数据为所述hdfs中与所述基础数据层对应的目录的数据时的执行过程，可以包括：
126.判断所述hdfs中与所述操作数据层对应目录的数据是否存在故障；
127.若所述hdfs中与所述操作数据层对应目录的数据不存在故障，则修复hdfs中与所述基础数据层对应的目录的数据，并基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据；
128.若所述hdfs中与所述操作数据层对应目录的数据存在故障，则修复所述hdfs中与所述操作数据层对应目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
129.进一步可选的，上述修复单元在若所述故障数据为所述hdfs中与所述接口数据层对应的目录的数据时的执行过程，可以包括：
130.判断所述hdfs中与所述基础数据层对应的目录的数据是否存在故障；
131.若所述hdfs中与所述基础数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述接口数据层对应的目录的数据，并基于修复后的数据，修复所述hdfs中与所述结果层对应的目录的数据；
132.若所述hdfs中与所述基础数据层对应的目录的数据存在故障，则判断所述hdfs中与所述操作数据层对应的目录的数据是否存在故障；
133.若所述hdfs中与所述操作数据层对应的目录的数据不存在故障，则修复hdfs中与所述基础数据层对应的目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据；
134.若所述hdfs中与所述操作数据层对应的目录的数据存在故障，则修复所述hdfs中与所述操作数据层对应的目录的数据后，再基于修复后的数据分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
135.进一步可选的，上述修复单元在所述故障数据为所述hdfs中与所述结果层对应的
目录的数据时的执行过程，可以包括：
136.判断所述hdfs中与所述接口数据层对应的目录的数据是否存在故障；
137.若所述hdfs中与所述接口数据层对应的目录的数据不存在故障，则修复hdfs中与所述结果层对应的目录的数据；
138.若所述hdfs中与所述接口数据层对应的目录的数据存在故障，则判断所述hdfs中与所述基础数据层对应的目录的数据是否存在故障；
139.若所述hdfs中与所述基础数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述接口层及所述结果层对应的目录的数据；
140.若所述hdfs中与所述基础数据层对应的目录的数据存在故障，则判断hdfs中与所述操作数据层对应的目录的数据是否存在故障；
141.若所述hdfs中与所述操作数据层对应的目录的数据不存在故障，则修复所述hdfs中与所述基础数据层对应的目录的数据后，再基于修复后的数据，分别修复所述hdfs中与所述接口数据层及所述结果层对应的目录的数据；
142.若所述hdfs中与所述操作数据层的对应的目录数据存在故障，则修复所述hdfs中与所述操作数据层对应的目录的数据后，再基于修复后数据，分别修复所述hdfs中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。
143.其中，上述数据故障修复装置所包含的各个单元的具体处理流程，可以参照前文数据故障修复方法部分相关介绍，此处不再赘述。
144.本技术实施例提供的数据故障修复装置可应用于数据故障修复设备，如终端：手机、电脑等。可选的，图4示出了数据故障修复设备的硬件结构框图，参照图4，数据故障修复设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4。
145.在本技术实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信。
146.处理器1可能是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
147.存储器3可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
148.其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：实现前述终端数据故障修复方案中的各个处理流程。
149.本技术实施例还提供一种可读存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：实现前述终端在数据故障修复方案中的各个处理流程。
150.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
151.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
152.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。各个实施例之间可以相互组合。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。