单元化架构下批量处理文件的系统、方法及相关产品与流程

1.本发明涉及化学技术领域，更具体地说，涉及一种单元化架构下批量处理文件的系统、方法及相关产品。


背景技术：

2.在银行的业务批量处理中，有很多场景涉及到文件的处理。
3.目前常规的文件批量处理，基本由批量业务应用自己处理，在业务应用中定义文件接收表、文件分发表，通过分布式文件系统接口进行文件的合并处理。这种处理方式使得批量业务处理与文件的拆分合并处理进行了藕合，增加了重复代码开发的成本。


技术实现要素：

4.有鉴于此，为解决上述问题，本发明提供一种单元化架构下批量处理文件的系统、方法及相关产品，技术方案如下：
5.本发明一方面提供一种单元化架构下批量处理文件的系统，所述系统包括：调度层和批处理层；
6.所述调度层，用于在批量处理过程中对目标文件进行单元化的作业调度；
7.所述批处理层，用于基于被调度的作业对所述目标文件进行单元化分片及业务处理，得到组成所述目标文件的文件分片的路由信息和业务信息；
8.所述调度层，还用于根据所述文件分片的路由信息获取所述文件分片的业务信息，并对所述文件分片的业务信息进行合并。
9.优选的，所述调度层包括：调度前台、前台请求服务和作业调度服务；
10.所述调度前台，用于响应调度操作生成批量作业流程，所述批量作业流程能够指示批量处理的多个文件；
11.所述前台请求服务，用于解析所述批量作业流程，输出针对目标文件的调度请求；
12.所述作业调度服务，用于基于所述调取请求对所述目标文件拆分单元化的作业进行调度；以及，根据所述文件分片的路由信息获取所述文件分片的业务信息，并对所述文件分片的业务信息进行合并。
13.优选的，所述批处理层包括：全局路由服务和不同业务单元下的批量公共服务和交易转发服务，一个业务单元对应至少一个作业；
14.被调度的作业所对应业务单元下的批量公共服务，用于响应该被调用的作业，从已配置的文件服务器中下载所述目标文件的文件信息，并按照已配置的文件模板解析所述文件信息得到包含部分文件信息的文件单元；对所述文件单元中的文件信息进行分片得到文件分片；调用已配置的业务应用，获取所述业务应用对所述文件分片进行业务处理所输出的业务信息；
15.被调度的作业所对应业务单元下的交易转发服务，用于调用所述全局路由服务，输出所述文件分片的路由信息，所述文件分片的路由信息能够指示所述文件分片的业务信
息的路由路径。
16.优选的，被调度的作业所对应业务单元下的批量公共服务，还用于：
17.将所述文件分片、以及所述文件分片的业务信息上传至所述文件服务器。
18.本发明另一方面提供一种单元化架构下批量处理文件的方法，所述方法包括：
19.在批量处理过程中对目标文件进行单元化的作业调度；
20.基于被调度的作业对所述目标文件进行单元化分片及业务处理，得到组成所述目标文件的文件分片的路由信息和业务信息；
21.根据所述文件分片的路由信息获取所述文件分片的业务信息，并对所述文件分片的业务信息进行合并。
22.优选的，所述在批量处理过程中对目标文件进行单元化的作业调度，包括：
23.响应调度操作生成批量作业流程，所述批量作业流程能够指示批量处理的多个文件；
24.解析所述批量作业流程，输出针对目标文件的调度请求；
25.基于所述调取请求对所述目标文件拆分单元化的作业进行调度。
26.优选的，所述基于被调度的作业对所述目标文件进行单元化分片及业务处理，得到组成所述目标文件的文件分片的路由信息和业务信息，包括：
27.响应被调用的作业，从已配置的文件服务器中下载所述目标文件的文件信息，并按照已配置的文件模板解析所述文件信息得到包含部分文件信息的文件单元；
28.对所述文件单元中的文件信息进行分片得到文件分片；
29.调用已配置的业务应用，获取所述业务应用对所述文件分片进行业务处理所输出的业务信息；
30.输出所述文件分片的路由信息，所述文件分片的路由信息能够指示所述文件分片的业务信息的路由路径。
31.优选的，所述方法还包括：
32.将所述文件分片、以及所述文件分片的业务信息上传至所述文件服务器。
33.本发明另一方面提供一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现所述的单元化架构下批量处理文件的方法。
34.本发明另一方面提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行所述的单元化架构下批量处理文件的方法。
35.相较于现有技术，本发明实现的有益效果为：
36.本发明提供一种单元化架构下批量处理文件的系统、方法及相关产品，系统包括调度层和批处理层，调度层在批量处理过程中对目标文件进行单元化的作业调度，以此调度单元化的作业；批处理层则基于被调度的作业对目标文件进行单元化分片及业务处理，由此得到组成目标文件的文件分片的路由信息和业务信息；调度层则通过路由信息获取文件分片的业务信息，并完成合并。本发明通过分析文件批量的处理流程，增加单元化架构文件处理能力，改善原有文件批量的处理模式，解决文件批量的处理过程调度、拆分、路由、合并的问题，满足业务文件的拆分和合并需求。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
38.图1为本发明实施例提供的单元化架构下批量处理文件的系统的结构示意图；
39.图2为本发明实施例提供的单元化架构下批量处理文件的系统的另一结构示意图；
40.图3为本发明实施例提供的单元化架构下批量处理文件的系统的再一结构示意图；
41.图4为本发明实施例提供的单元化架构下批量处理文件的方法的方法流程图；
42.图5为本发明实施例提供的单元化架构下批量处理文件的方法的另一方法流程图；
43.图6为本发明实施例提供的单元化架构下批量处理文件的方法的再一方法流程图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
46.为方便理解本发明，首先对本发明所涉及的相关概念进行说明：
47.单元化：满足某个分区所有业务操作的自包含的集合。
48.批量调度：提供作业编排，流程执行，定时处理，作业调度的能力，旨在通过目标批量作业服务集群快速、有效地完成作业的处理。
49.全局路由：单元化架构下提供的路由定位信息的服务，通过api接口返回对应目标所在单元信息(包括逻辑以及物理单元地址)，完成目标服务的定位与调用。
50.交易转发：封装服务调用过程中的路由以及转发，对业务处理透明。
51.参见图1所示的系统架构图，本发明实施例提供一种单元化架构下批量处理文件的系统，该系统包括调度层10和批处理层20。
52.调度层10，用于在批量处理过程中对目标文件进行单元化的作业调度。
53.批处理层20，用于基于被调度的作业对目标文件进行单元化分片及业务处理，得到组成目标文件的文件分片的路由信息和业务信息。
54.调度层10，还用于根据文件分片的路由信息获取文件分片的业务信息，并对文件分片的业务信息进行合并。
55.本发明实施例中，运维人员可以在调度层10配置批量处理的多个文件，调度层10按照给定的处理次序分别对每个文件进行处理，当前处理的文件即目标文件，调度层10对
该目标文件进行单元化的作业调度，即调度多个作业实现目标文件的单元化处理，将目标文件逻辑划分至多个单元内进行处理。
56.批处理层20则可以基于被调用的作业对目标文件进行单元化处理，将目标文件逻辑划分至不同单元内，进而对目标文件在不同单元内的文件单元进行分片得到在相应单元内的文件分片。通过调用业务应用对文件分片进行作业处理得到每个文件分片的业务信息。此外，对于每个文件分片的业务信息，根据其路由路径产生该文件分片的路由信息，通过该路由信息能够定位到该文件分片的业务信息。
57.调度层10进一步等待作业的执行完毕后，根据每个作业被调用产生的文件分片的路由信息获取文件分片的业务信息，再调用批量作业的合并接口对业务信息进行合并处理，得到目标文件整体的业务信息。由此，可以获得目标文件的一个完整业务处理结果。
58.参见图2所示的系统结构示意图，调度层10包括：调度前台101、前台请求服务102和作业调度服务103。
59.调度前台101，用于响应调度操作生成批量作业流程，批量作业流程能够指示批量处理的多个文件。
60.前台请求服务102，用于解析批量作业流程，输出针对目标文件的调度请求。
61.作业调度服务103，用于基于调取请求对目标文件拆分单元化的作业进行调度；以及，根据文件分片的路由信息获取文件分片的业务信息，并对文件分片的业务信息进行合并。
62.本发明实施例中，调度前台101主要功能是提供ui页面给运维人员进行批量作业的查看、编排、定时的设置等。运维人员在调度前台101发起对文件的批量处理，其可以对批量处理的多个文件编排处理次序，还可以对批量处理的时间、或者某个文件的处理时间进行定时设置，本发明实施例对此不做限定。调度前台101响应运维人员诸如编排、定时等的调度操作，可以生成批量作业流程，以此指示批量处理的多个文件。
63.前台请求服务102主要功能是对调度前台101发起的批量作业流程进行响应，对批量作业流程进行解析后根据目标文件的作业类型和处理次序发起调度请求给作业调度服务103。
64.需要说明的是，作业类型包括但不局限于脚本作业和程序作业，根据不同的作业类型，前台请求服务102产生不同类型的调度请求。
65.作业调度服务103主要功能是对前台请求服务102发来的调度请求进行响应，根据作业类型发起调用，对目标文件拆分多个单元化的作业并调度，一个作业对应目标文件的一个单元。
66.此外，作业调度服务103还可以等待作业的执行完毕后，根据每个作业被调用产生的文件分片的路由信息获取文件分片的业务信息，再调用批量作业的合并接口对业务信息进行合并处理，得到目标文件整体的业务信息。
67.继续参见图3所示的系统结构示意图，批处理层20包括全局路由服务201和不同业务单元下的批量公共服务202和交易转发服务203，一个业务单元对应至少一个作业。图3中业务单元的数量为n，业务单元1所对应作业的数量为m、业务单元n对应作业的数量为n。
68.被调度的作业所对应业务单元下的批量公共服务202，用于响应该被调用的作业，从已配置的文件服务器中下载目标文件的文件信息，并按照已配置的文件模板解析文件信
息得到包含部分文件信息的文件单元；对文件单元中的文件信息进行分片得到文件分片；调用已配置的业务应用，获取业务应用对文件分片进行业务处理所输出的业务信息。
69.被调度的作业所对应业务单元下的交易转发服务203，用于调用全局路由服务201，输出文件分片的路由信息，文件分片的路由信息能够指示文件分片的业务信息的路由路径。
70.本发明实施例中，一个被调用的作业与批处理层20下的一个业务单元相对应，因此被调用的作业可以通过所对应业务单元下的批量公共服务202和交易转发服务203完成目标文件在其单元内的处理。
71.文件服务器中已存储目标文件的文件信息，该文件信息是包含为目标文件中所有内的原始信息。批量公共服务202从文件服务器中下载该目标文件的文件信息，并按照其文件模板解析该信息，以此获得目标文件在其单元内的文件单元，该文件单元中包含目标文件的部分文件信息，这部分文件信息与文件模板的要求相匹配。举例来说，对于银行核心系统的文件，经过批量公共服务202的单元化处理后可以按照客户号将文件划分为多个文件单元，例如文件单元a包含文件中客户号1～1000的文件信息，文件单元b包含文件中客户号1001～2000的文件信息，
……
。
72.对于每个文件单元，批量公共服务202可以调用单元拆分接口按照预配置的分片规则对该文件单元进行分片处理，得到多个文件分片。举例来说，分片规则中可以设置每个文件分片的数据量阈值，则批量公共服务202分片得到的每个文件分片的数据量都不会超过该数据量阈值，当然，如果文件单元中的数据量已经足够小，则可以作为一个文件分片。进一步，对于每个文件分片，批量公共服务202都可以调用已配置的业务应用，由该业务应用对该文件分片进行业务处理，得到该文件分片的业务信息。
73.此外，批量公共服务202还调用相应的交易转发服务203，对按照文件内容对文件分片进行路由拆分，具体的，交易转发服务203调用全局路由服务201获取路由的地址信息，即文件分片的路由路径，最后将指示该文件分片的路由信息返回给作业调度服务103，该文件分片的路由信息能够指示该文件分片的路由路径。
74.需要说明的是，本发明实施例中全局路由服务201、批量公共服务202和交易转发服务203可以在业务应用开发时引入客户端的sdk包所生成。
75.在此基础上，本发明实施例中被调度的作业所对应业务单元下的批量公共服务202还具有上传功能。具体的，可以将文件分片、以及文件分片的业务信息上传至文件服务器。
76.本发明提供的单元化架构下批量处理文件的系统，可以解决文件批量的处理过程调度、拆分、路由、合并的问题，满足单元化架构业务应用文件批量处理需求，简化单元化文件批量业务场景的开发步骤，缩短文件批量应用的开发周期，提高文件批量开发效率，减少重复代码的编写，节省开发成本。
77.基于上述实施例提供的单元化架构下批量处理文件的系统，本发明实施例则提供一种单元化架构下批量处理文件的方法，方法流程图如图4所示，包括如下步骤：
78.s10，在批量处理过程中对目标文件进行单元化的作业调度。
79.s20，基于被调度的作业对目标文件进行单元化分片及业务处理，得到组成目标文件的文件分片的路由信息和业务信息。
80.s30，根据文件分片的路由信息获取文件分片的业务信息，并对文件分片的业务信息进行合并。
81.可选的，步骤s10“在批量处理过程中对目标文件进行单元化的作业调度”，方法流程图如图5所示，包括如下步骤：
82.s101，响应调度操作生成批量作业流程，批量作业流程能够指示批量处理的多个文件。
83.s102，解析批量作业流程，输出针对目标文件的调度请求。
84.s103，基于调取请求对目标文件拆分单元化的作业进行调度。
85.可选的，步骤s20“基于被调度的作业对目标文件进行单元化分片及业务处理，得到组成目标文件的文件分片的路由信息和业务信息”，方法流程图如图6所示，包括如下步骤：
86.s201，响应被调用的作业，从已配置的文件服务器中下载目标文件的文件信息，并按照已配置的文件模板解析文件信息得到包含部分文件信息的文件单元。
87.s202，对文件单元中的文件信息进行分片得到文件分片。
88.s203，调用已配置的业务应用，获取业务应用对文件分片进行业务处理所输出的业务信息。
89.s204，输出文件分片的路由信息，文件分片的路由信息能够指示文件分片的业务信息的路由路径。
90.可选的，上述方法还包括：
91.将文件分片、以及文件分片的业务信息上传至文件服务器。
92.需要说明的是，本发明实施例中各方法步骤的细化实现，可以参见上述系统实施例对应公开部分，在此不再赘述。
93.基于上述实施例提供的单元化架构下批量处理文件的方法，本发明实施例则对应提供一种电子设备，电子设备包括：至少一个存储器和至少一个处理器；存储器存储有程序，处理器调用所述存储器存储的程序，程序用于实现单元化架构下批量处理文件的方法。
94.基于上述实施例提供的单元化架构下批量处理文件的方法，本发明实施例则对应提供一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令用于执行单元化架构下批量处理文件的方法。
95.本发明提供的单元化架构下批量处理文件的系统、方法及相关产品可用于金融领域或其他领域，例如，可用于金融领域中的批量处理应用场景。其他领域为除金融领域之外的任意领域，例如，测试领域。上述仅为示例，并不对本发明提供的单元化架构下批量处理文件的系统、方法及相关产品的应用领域进行限定。
96.以上对本发明所提供的一种单元化架构下批量处理文件的系统、方法及相关产品进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
97.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
98.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
99.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。