一种基于ktr文件的数据处理方法、装置、设备和介质与流程

1.本发明涉及数据处理技术领域，具体涉及一种基于ktr文件的数据处理方法、装置、计算机设备和计算机可读存储介质。


背景技术：

2.随着大数据时代的来临，数据的重要性日益凸显，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来，然而如何快速高准确率的获取有效的数据成了亟待解决的问题。
3.传统的数据抽取、过滤、清洗依靠人工研发，涉及到一些复杂的业务逻辑还容易出现各种bug。尤其不同的业务逻辑需要研发不同的脚本导致开发量巨大，而有些情况下，业务逻辑稍有修改也需要重新研发脚本，导致代码冗余，脚本频繁上线也会导致服务不稳定。再者，运行脚本依靠人工去点，很容易漏执行任务因而破坏数据完整性和多样性。另外，数据交换场景下，数据交换双方网络不通，需要通过第三方机器约定数据结构，把应用上的数据按照标准推送到第三方机器上，这类场景的研发工作量同样很大。
4.针对现有的数据处理过程存在人工依赖性大、脚本研发效率低以及数据遗漏风险高的缺陷，目前尚未存在有效的解决方案。


技术实现要素：

5.本发明的目的在于提供了一种基于ktr文件的数据处理方法、装置、计算机设备和计算机可读存储介质，能够现有技术中数据处理过程存在的人工依赖性大、脚本研发效率低以及数据遗漏风险高的技术问题。
6.本发明的一个方面提供了一种基于ktr文件的数据处理方法，所述方法包括：接收数据处理任务；确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签；获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。
7.可选地，所述获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件，包括：获取预存储的每个ktr文件的ktr文件标签；其中，所述ktr文件标签用于表征所述ktr文件的用途；从获取到的ktr文件标签中筛选出与所述任务类型和所述资源文件标签相匹配的目标ktr文件标签；根据所述目标ktr文件标签所指向的ktr文件确定所述目标ktr文件。
8.可选地，所述根据所述目标ktr文件标签所指向的ktr文件确定所述目标ktr文件，包括：从所述目标ktr文件标签所指向的每个ktr文件中提取出环境适配参数；从提取到的环境适配参数中筛选出包含所述数据处理任务所指向的处理环境参数的目标环境适配参数；从所述目标ktr文件标签所指向的ktr文件中筛选出包含所述目标环境适配参数的目标ktr文件。
9.可选地，所述根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件，包括：从所述目标ktr文件中解析出用于表征所述数据处理流程的元
数据；将所述元数据传送至kettle集群中，并通过所述kettle集群基于所述元数据处理所述资源文件地址下的目标资源文件。
10.可选地，所述将所述元数据传送至kettle集群中，并通过所述kettle集群基于所述元数据处理所述资源文件地址下的目标资源文件，包括：通过所述kettle集群确定出目标kettle节点；通过所述目标kettle节点提取所述资源文件地址下的所有待处理资源文件；通过所述目标kettle节点从提取到的待处理资源文件中筛选出与所述资源文件标签相匹配的目标资源文件；通过所述目标kettle节点基于所述元数据处理所述目标资源文件。
11.可选地，当所述任务类型为数据清洗类型时，所述数据处理流程为数据清洗流程；当所述任务类型为数据转换类型时，所述数据处理流程为数据转换流程；当所述任务类型为数据清洗类型时，所述方法还包括：在所述获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件之后，将所述数据处理任务的任务标签添加至所述目标ktr文件中。
12.可选地，所述确定所述数据处理任务所指向的资源文件地址和资源文件标签，包括：确定本地剩余的可支配流量额度；判断所述本地剩余的可支配流量额度是否大于等于第一流量阈值，其中，所述第一流量阈值可用于处理完所述数据处理任务；当所述本地剩余的可支配流量额度小于所述第一流量阈值时，向流量额度存储节点申请流量额度；根据所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度，确定所述数据处理任务所指向的资源文件地址和资源文件标签。
13.可选地，所述根据所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度，确定所述数据处理任务所指向的资源文件地址和资源文件标签，包括：计算所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度的总和，记为更新后的可支配流量额度；判断所述更新后的可支配流量额度是否大于等于所述第一流量阈值；若大于等于所述第一流量阈值，则根据所述更新后的可支配流量额度确定所述数据处理任务所指向的资源文件地址和资源文件标签；若小于所述第一流量阈值，则继续判断所述更新后的可支配流量额度是否大于等于第二流量阈值；若大于等于所述第二流量阈值，则继续向所述流量额度存储节点申请流量额度；若小于所述第二流量阈值，则丢弃所述数据处理任务。
14.本发明的另一个方面提供了一种基于ktr文件的数据处理装置，所述装置包括：接收模块，用于接收数据处理任务；确定模块，用于确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签；获取模块，用于获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；处理模块，用于根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。
15.本发明的再一个方面提供了一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的基于ktr文件的数据处理方法。
16.本发明的又一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述任一实施例所述的基于ktr文件的数据处理方法。
17.本发明提供的基于ktr文件的数据处理方法，基于kettle图形界面制定数据处理流程并保存为ktr文件，相较于脚本研发节省大量时间，修改也更加方便，流程清晰明了，降
低数据处理门槛，非研发人员也可以进行数据处理。用户提前为ktr文件打上标签，对于相同处理逻辑的文件，系统会根据标签自动归类，之后的流程无需用户参与。对于逻辑相似的需求可以复制原来的ktr文件，再改动其中的一小部分即可，不会破环其他的逻辑，减少代码改动导致的错误。不会频繁上线，有新的需求只需上传ktr文件，服务稳定。
附图说明
18.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
19.图1示出了实施例一中基于ktr文件的数据处理方法的流程图；
20.图2示出了实施例一中基于ktr文件的数据处理方案的示意图；
21.图3示出了实施例二中基于ktr文件的数据处理装置的框图；
22.图4示出了实施例三提供的适于实现基于ktr文件的数据处理方法的计算机设备的框图。
具体实施方式
23.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
25.实施例一
26.图1示出了实施例一中基于ktr文件的数据处理方法的流程图。如图1所示，该方法包括步骤s1～步骤s4，其中：
27.步骤s1，接收数据处理任务。
28.在步骤s1之前，存在一些预处理步骤，比如：
29.在kettle界面中通过拖曳功能插件的方式建立数据处理流程，对建立的数据处理流程进行测试，并将测试成功的数据处理流程保存为ktr文件；
30.为ktr文件创建ktr文件标签，其中，ktr文件标签用于表征ktr文件的用途；
31.获取待处理资源文件，为每个待处理资源文件创建资源文件标签，其中，所述资源文件标签包括资源文件类型和/或所需爬虫名称。
32.提取每个待处理资源文件的资源文件标签和资源文件地址，并将提取的资源文件标签和资源文件地址存储在消息队列中；
33.启动预设数量的数据处理任务，每个数据处理任务用于处理一个待处理资源文件，且每个数据处理任务具有一任务类型。
34.具体地，kettle软件中包括多个功能插件，每个功能插件对应一个功能，如用于获取数据的功能插件，用于调用具体算法的功能插件。其中，每个数据处理流程包括多个数据处理步骤，每个功能插件可表征一个数据处理步骤或者多个功能插件共同组成一个数据处理步骤。数据处理流程具体可以为：数据清洗流程或者数据转换流程。数据清洗流程用于清洗数据，数据转换流程用于转换数据。在本实施例中，可以在kettle界面中直接拖拽功能插件以建立数据处理步骤之间的关系，创建完数据处理流程之后进行测试，测试失败则修改数据处理流程，测试成功则将数据处理流程保存为ktr文件。kettle界面化操作简单，复杂的业务逻辑可以通过插件的叠加实现，调试流程也很直观清晰，报错日志具体到每个步骤，相比传统脚本研发更节省时间，很大程度上降低用户操作门槛。
35.本实施例中，可以获取生成的ktr文件，并根据每个ktr文件的用途为每个ktr文件创建一个ktr文件标签，然后将创建的ktr文件标签与对应的ktr文件进行关联。比如，ktr文件用于清洗季报文件，则该ktr文件的ktr文件标签表征该ktr文件用于对季报类型的文件的进行数据清洗；再如，ktr文件用于转换年报文件，则该ktr文件的ktr文件标签表征该ktr文件用于通过爬虫a对年报类型的文件的进行数据转换。其中，每个任务类型为数据清洗类型或者数据转换类型，资源文件标签由待处理资源文件的文件内容决定。当需要对待处理资源文件进行数据清洗时，资源文件标签为资源文件类型；当需要对待处理资源文件进行数据转换时，资源文件标签必然包括所需爬虫名称，可选地还可包括资源文件类型。
36.为了提高数据处理速度，可同时启动一个或多个数据处理任务，其中，对于每个数据处理任务均可执行本实施例提供的数据处理方法。
37.步骤s2，确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签。
38.通过解析数据处理任务可以获知该数据处理任务的任务类型，进一步可从消息队列按顺序读取该数据处理任务对应的资源文件标签和资源文件地址。其中，本实施例中，资源文件地址用于表征待处理资源文件(也即后续的目标资源文件)所在的位置，资源文件标签用于表征目标资源文件的处理方式。消息队列可以为rabbitmq，rabbitmq是实现了高级消息队列协议(amqp，advanced message queuing protocol)的开源消息代理软件，又称为面向消息的中间件。
39.可选地，步骤s2中“确定所述数据处理任务所指向的资源文件地址和资源文件标签”包括步骤s21～步骤s24，其中：
40.步骤s21，确定本地剩余的可支配流量额度；
41.步骤s22，判断所述本地剩余的可支配流量额度是否大于等于第一流量阈值，其中，所述第一流量阈值可用于处理完所述数据处理任务；
42.步骤s23，当所述本地剩余的可支配流量额度小于所述第一流量阈值时，向流量额度存储节点申请流量额度；
43.步骤s24，根据所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度，确定所述数据处理任务所指向的资源文件地址和资源文件标签。
44.具体地，步骤s21可以为：确定本地当前的流量额度，确定本地当前的所有数据处理任务，并计算完成该所有数据处理任务所需花费的流量额度，计算本地当前的流量额度与完成该所有数据处理任务所需花费的流量额度的差值，记为本地剩余的可支配流量额
度，其中，预先为每种类型的数据处理任务关联一流量阈值，该流量阈值为处理完该数据处理任务所需花费的最大流量额度。在步骤s22之后，若所述本地剩余的可支配流量额度大于等于所述第一流量阈值，则直接根据本地剩余的可支配流量额度确定所述数据处理任务所指向的资源文件地址和资源文件标签，也即从本地剩余的可支配流量额度中选取第一流量阈值的流量额度，用于执行确定所述数据处理任务所指向的资源文件地址和资源文件标签的步骤。在步骤s23中，流量额度存储节点用于存储所有可用的流量额度并且用于向处理节点分配流量额度，其中，流量额度存储节点每次可向处理节点分配固定阈值的流量额度，且当流量额度存储节点当前剩余的流量额度小于该固定阈值的流量额度时，可一次性将当前剩余的流量额度全部分配给处理节点，其中，本实施例的执行主体可为处理节点。在步骤s24中，可基于所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度的总和，执行确定所述数据处理任务所指向的资源文件地址和资源文件标签的步骤。
45.可选地，步骤s24包括：
46.计算所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度的总和，记为更新后的可支配流量额度；
47.判断所述更新后的可支配流量额度是否大于等于所述第一流量阈值；
48.若大于等于所述第一流量阈值，则根据所述更新后的可支配流量额度确定所述数据处理任务所指向的资源文件地址和资源文件标签；
49.若小于所述第一流量阈值，则继续判断所述更新后的可支配流量额度是否大于等于第二流量阈值；
50.若大于等于所述第二流量阈值，则继续向所述流量额度存储节点申请流量额度；
51.若小于所述第二流量阈值，则丢弃所述数据处理任务。
52.具体地，第二流量阈值为达到限流状态的最小流量额度，也即若更新后的可支配流量额度小于第二流量阈值，则表明处理节点的流量额度消耗过多，需要对其进行限流，因此处理节点丢弃该数据处理任务并进入限流状态；若更新后的可支配流量额度大于等于第二流量阈值但是小于第一流量阈值，则表明虽然不需要对处理节点进行限流但是处理节点当前的可支配流量额度依然不足以处理数据处理任务，则处理节点可继续向流量额度存储节点申请流量额度，直至处理节点当前的可支配流量额度大于等于第一流量阈值。
53.步骤s3，获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件。
54.预先将通过kettle创建的ktr文件上传至执行本实施例的系统中，然后从上传的ktr文件中筛选出一个或多个ktr文件作为目标ktr文件。
55.可选地，步骤s3包括步骤s31～步骤s33，其中：
56.步骤s31，获取预存储的每个ktr文件的ktr文件标签；其中，所述ktr文件标签用于表征所述ktr文件的用途；
57.步骤s32，从获取到的ktr文件标签中筛选出与所述任务类型和所述资源文件标签相匹配的目标ktr文件标签；
58.步骤s33，根据所述目标ktr文件标签所指向的ktr文件确定所述目标ktr文件。
59.若ktr文件标签覆盖了资源文件标签和任务类型，则表征该ktr文件标签与该资源文件标签和任务类型相匹配，此时可将该ktr文件作为目标ktr文件。如，ktr文件标签表征ktr文件用于对年报类型的文件的进行清洗，资源文件标签为年报类型、任务类型为数据清
洗类型，则该ktr文件标签与该任务类型和该资源文件标签相匹配，该ktr文件为目标ktr文件。
60.可选地，步骤s33可以包括：直接将所述目标ktr文件标签所指向的ktr文件作为所述目标ktr文件。
61.可选地，步骤s33还可包括：
62.从所述目标ktr文件标签所指向的每个ktr文件中提取出环境适配参数；
63.从提取到的环境适配参数中筛选出包含所述数据处理任务所指向的处理环境参数的目标环境适配参数；
64.从所述目标ktr文件标签所指向的ktr文件中筛选出包含所述目标环境适配参数的目标ktr文件。
65.环境适配参数包括测试环境和/或开发环境；数据处理任务所指向的处理环境参数为测试环境或者开发环境。当环境适配参数包括测试环境时，表征ktr文件可应用于测试环境中；当环境适配参数包括开发环境时，表征ktr文件可应用于开发环境中。通过上述操作，开发测试不同的生产环境可以使用同一个ktr文件，避免因环境不同修改参数产生错误。
66.步骤s4，根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。
67.可选地，步骤s4包括步骤s41和步骤s42，其中：
68.步骤s41，从所述目标ktr文件中解析出用于表征所述数据处理流程的元数据；
69.步骤s42，将所述元数据传送至kettle集群中，并通过所述kettle集群基于所述元数据处理所述资源文件地址下的目标资源文件。
70.通过调用接口解析ktr文件，将解析后获得的元数据传送到kettle集群，集群选取存活的且负载最小的节点来执行任务，每个任务都会生成transid，根据transid获取每个步骤的执行日志，任务执行出错时可用来排查问题，最终提取文件中的信息并写入数据库。
71.可选地，步骤s42可以包括：
72.通过所述kettle集群确定出目标kettle节点；
73.通过所述目标kettle节点提取所述资源文件地址下的所有待处理资源文件；
74.通过所述目标kettle节点从提取到的待处理资源文件中筛选出与所述资源文件标签相匹配的目标资源文件；
75.通过所述目标kettle节点基于所述元数据处理所述目标资源文件。
76.kettle集群包括多个kettle节点，目标kettle节点为存活的且负载最小的节点。其中，目标资源文件必然为待处理资源文件，本实施例可为每个处理完的资源文件设置一标志位，通过识别资源文件是否存在标志位可判断资源文件是否为待处理资源文件。将提取到的每个待处理资源文件的资源文件标签与数据处理任务所指向的资源文件标签进行比对，若二者一致则匹配，否则不匹配。进一步，目标kettle节点识别元数据后根据元数据表征的数据处理流程处理目标资源文件。
77.可选地，当所述任务类型为数据清洗类型时，所述数据处理流程为数据清洗流程；当所述任务类型为数据转换类型时，所述数据处理流程为数据转换流程；当所述任务类型为数据清洗类型时，所述方法还包括：
78.在所述获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件之后，将所述数据处理任务的任务标签添加至所述目标ktr文件中。
79.由于数据清洗一般会涉及多个ktr文件，通过在用于数据清洗的ktr文件中添加任务标签且将数据处理结果与任务标签关联存储，可快速确定该目标资源文件由哪些ktr文件处理，便于回溯。其中，任务标签可为任务id，用于唯一标识一个数据处理任务。
80.如图2所示，整个数据处理方案的流程为：通过kettle生成ktr文件，为ktr文件和待处理资源文件配置标签(也即配置策略)，触发数据处理任务，任务类型可为数据清洗类型或者数据转换类型，根据任务类型和资源文件标签选择目标ktr文件，然后执行目标ktr文件以对目标资源文件进行数据处理。
81.实施例二
82.本发明的实施例二提供了一种基于ktr文件的数据处理装置，该基于ktr文件的数据处理装置与上述实施例一提供的方法相对应，相应的技术特征和技术效果在本实施例中不再详述，相关之处可参考上述实施例一。具体地，图3示出了实施例二中基于ktr文件的数据处理装置的框图。如图3所示，该基于ktr文件的数据处理装置300可以包括：
83.接收模块301，用于接收数据处理任务；
84.确定模块302，用于确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签；
85.获取模块303，用于获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；
86.处理模块304，用于根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。
87.可选地，所述获取模块具体用于：获取预存储的每个ktr文件的ktr文件标签；其中，所述ktr文件标签用于表征所述ktr文件的用途；从获取到的ktr文件标签中筛选出与所述任务类型和所述资源文件标签相匹配的目标ktr文件标签；根据所述目标ktr文件标签所指向的ktr文件确定所述目标ktr文件。
88.可选地，所述获取模块在执行所述根据所述目标ktr文件标签所指向的ktr文件确定所述目标ktr文件时，具体用于：从所述目标ktr文件标签所指向的每个ktr文件中提取出环境适配参数；从提取到的环境适配参数中筛选出包含所述数据处理任务所指向的处理环境参数的目标环境适配参数；从所述目标ktr文件标签所指向的ktr文件中筛选出包含所述目标环境适配参数的目标ktr文件。
89.可选地，所述处理模块具体用于：从所述目标ktr文件中解析出用于表征所述数据处理流程的元数据；将所述元数据传送至kettle集群中，并通过所述kettle集群基于所述元数据处理所述资源文件地址下的目标资源文件。
90.可选地，所述处理模块在执行所述将所述元数据传送至kettle集群中，并通过所述kettle集群基于所述元数据处理所述资源文件地址下的目标资源文件时，具体用于：通过所述kettle集群确定出目标kettle节点；通过所述目标kettle节点提取所述资源文件地址下的所有待处理资源文件；通过所述目标kettle节点从提取到的待处理资源文件中筛选出与所述资源文件标签相匹配的目标资源文件；通过所述目标kettle节点基于所述元数据处理所述目标资源文件。
91.可选地，当所述任务类型为数据清洗类型时，所述数据处理流程为数据清洗流程；当所述任务类型为数据转换类型时，所述数据处理流程为数据转换流程；当所述任务类型为数据清洗类型时，所述装置还包括：添加模块，用于在所述获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件之后，将所述数据处理任务的任务标签添加至所述目标ktr文件中。
92.可选地，所述确定模块在执行确定所述数据处理任务所指向的资源文件地址和资源文件标签的步骤时，具体用于：确定本地剩余的可支配流量额度；判断所述本地剩余的可支配流量额度是否大于等于第一流量阈值，其中，所述第一流量阈值可用于处理完所述数据处理任务；当所述本地剩余的可支配流量额度小于所述第一流量阈值时，向流量额度存储节点申请流量额度；根据所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度，确定所述数据处理任务所指向的资源文件地址和资源文件标签。
93.可选地，所述确定模块在执行所述根据所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度，确定所述数据处理任务所指向的资源文件地址和资源文件标签的步骤时，具体用于：计算所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度的总和，记为更新后的可支配流量额度；判断所述更新后的可支配流量额度是否大于等于所述第一流量阈值；若大于等于所述第一流量阈值，则根据所述更新后的可支配流量额度确定所述数据处理任务所指向的资源文件地址和资源文件标签；若小于所述第一流量阈值，则继续判断所述更新后的可支配流量额度是否大于等于第二流量阈值；若大于等于所述第二流量阈值，则继续向所述流量额度存储节点申请流量额度；若小于所述第二流量阈值，则丢弃所述数据处理任务。
94.实施例三
95.图4示出了实施例三提供的适于实现基于ktr文件的数据处理方法的计算机设备的框图。本实施例中，计算机设备400可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图4所示，本实施例的计算机设备400至少包括但不限于：可通过系统总线相互通信连接的存储器401、处理器402、网络接口403。需要指出的是，图4仅示出了具有组件401-403的计算机设备400，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
96.本实施例中，存储器403至少包括一种类型的计算机可读存储介质，可读存储介质包括包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器401可以是计算机设备400的内部存储单元，例如该计算机设备400的硬盘或内存。在另一些实施例中，存储器401也可以是计算机设备400的外部存储设备，例如该计算机设备400上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器401还可以既包括计算机设备400的内部存储单元也包括其外部存储设备。在本实施例中，存储器401通常用于存储安装于计算机设备400的操作系统和各类应用软件，例如基于ktr文件的数据处理方法的程序代码等，其中，该基于ktr文件的数据处理方法包括：接收数据处理任务；确定所述数据处理任务的任务类型以及
所述数据处理任务所指向的资源文件地址和资源文件标签；获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。
97.处理器402在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器402通常用于控制计算机设备400的总体操作。例如执行与计算机设备400进行数据交互或者通信相关的控制和处理等。本实施例中，处理器402用于运行存储器401中存储的基于ktr文件的数据处理方法的程序代码。
98.在本实施例中，存储于存储器401中的基于ktr文件的数据处理方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器402)所执行，以完成本发明。
99.网络接口403可包括无线网络接口或有线网络接口，该网络接口403通常用于在计算机设备400与其他计算机设备之间建立通信链接。例如，网络接口403用于通过网络将计算机设备400与外部终端相连，在计算机设备400与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(global system of mobile communication，简称为gsm)、宽带码分多址(wideband code division multiple access，简称为wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。
100.实施例四
101.本实施例还提供一种计算机可读存储介质，包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于ktr文件的数据处理方法的步骤，其中，该基于ktr文件的数据处理方法包括：接收数据处理任务；确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签；获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。
102.显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
103.需要说明的是，本发明实施例序号仅仅为了描述，并不代表实施例的优劣。
104.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
105.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。