一种基于ktr文件的数据处理方法、装置、设备和介质与流程

技术特征：
1.一种基于ktr文件的数据处理方法，其特征在于，所述方法包括：接收数据处理任务；确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签；获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。2.根据权利要求1所述的方法，其特征在于，所述获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件，包括：获取预存储的每个ktr文件的ktr文件标签；其中，所述ktr文件标签用于表征所述ktr文件的用途；从获取到的ktr文件标签中筛选出与所述任务类型和所述资源文件标签相匹配的目标ktr文件标签；根据所述目标ktr文件标签所指向的ktr文件确定所述目标ktr文件。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标ktr文件标签所指向的ktr文件确定所述目标ktr文件，包括：从所述目标ktr文件标签所指向的每个ktr文件中提取出环境适配参数；从提取到的环境适配参数中筛选出包含所述数据处理任务所指向的处理环境参数的目标环境适配参数；从所述目标ktr文件标签所指向的ktr文件中筛选出包含所述目标环境适配参数的目标ktr文件。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件，包括：从所述目标ktr文件中解析出用于表征所述数据处理流程的元数据；将所述元数据传送至kettle集群中，并通过所述kettle集群基于所述元数据处理所述资源文件地址下的目标资源文件。5.根据权利要求4所述的方法，其特征在于，所述将所述元数据传送至kettle集群中，并通过所述kettle集群基于所述元数据处理所述资源文件地址下的目标资源文件，包括：通过所述kettle集群确定出目标kettle节点；通过所述目标kettle节点提取所述资源文件地址下的所有待处理资源文件；通过所述目标kettle节点从提取到的待处理资源文件中筛选出与所述资源文件标签相匹配的目标资源文件；通过所述目标kettle节点基于所述元数据处理所述目标资源文件。6.根据权利要求1所述的方法，其特征在于，当所述任务类型为数据清洗类型时，所述数据处理流程为数据清洗流程；当所述任务类型为数据转换类型时，所述数据处理流程为数据转换流程；当所述任务类型为数据清洗类型时，所述方法还包括：在所述获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件之后，将所述数据处理任务的任务标签添加至所述目标ktr文件中。
7.根据权利要求1所述的方法，其特征在于，确定所述数据处理任务所指向的资源文件地址和资源文件标签，包括：确定本地剩余的可支配流量额度；判断所述本地剩余的可支配流量额度是否大于等于第一流量阈值，其中，所述第一流量阈值可用于处理完所述数据处理任务；当所述本地剩余的可支配流量额度小于所述第一流量阈值时，向流量额度存储节点申请流量额度；根据所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度，确定所述数据处理任务所指向的资源文件地址和资源文件标签。8.根据权利要求7所述的方法，其特征在于，所述根据所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度，确定所述数据处理任务所指向的资源文件地址和资源文件标签，包括：计算所述本地剩余的可支配流量额度和所述流量额度存储节点返回的流量额度的总和，记为更新后的可支配流量额度；判断所述更新后的可支配流量额度是否大于等于所述第一流量阈值；若大于等于所述第一流量阈值，则根据所述更新后的可支配流量额度确定所述数据处理任务所指向的资源文件地址和资源文件标签；若小于所述第一流量阈值，则继续判断所述更新后的可支配流量额度是否大于等于第二流量阈值；若大于等于所述第二流量阈值，则继续向所述流量额度存储节点申请流量额度；若小于所述第二流量阈值，则丢弃所述数据处理任务。9.一种基于ktr文件的数据处理装置，其特征在于，所述装置包括：接收模块，用于接收数据处理任务；确定模块，用于确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签；获取模块，用于获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；处理模块，用于根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。

技术总结
本发明公开了一种基于ktr文件的数据处理方法，所述方法包括：接收数据处理任务；确定所述数据处理任务的任务类型以及所述数据处理任务所指向的资源文件地址和资源文件标签；获取与所述任务类型和所述资源文件标签相匹配的目标ktr文件；根据所述目标ktr文件中存储的数据处理流程处理所述资源文件地址下的目标资源文件。资源文件。资源文件。


技术研发人员：朱嘉玲 刘剑 蔡丰令 季小闯
受保护的技术使用者：平安资产管理有限责任公司
技术研发日：2022.05.25
技术公布日：2022/9/2