批量文件轮询加载方法、装置、设备及程序产品与流程

本发明涉及金融科技领域，尤其涉及一种批量文件轮询加载方法、装置、设备及程序产品。

背景技术：

1、随着跨区域业务的发展，多区域、多时区、多活异地部署架构得到广泛应用，业务覆盖多个区域的分支机构。系统每日需批量接收和加载各分支机构推送的海量业务数据。由于涉及分支机构数量多、文件处理规模大，且受时区差异影响，各区域文件的到达时间高度分散，对批量文件加载的调度效率、资源利用效率及运行稳定性均提出了较高要求。

2、目前常规的批量文件加载技术，多采用文件到达即触发加载的随机处理模式，加载执行过程中易引发重复加载、加载失败与数据不完整问题；同时在全局共享的加载服务架构下，不同区域的加载任务无序抢占共享资源，局部异常易通过共享数据库等链路扩散蔓延。

技术实现思路

1、本发明提供了一种批量文件轮询加载方法、装置、设备及程序产品，避免了跨区域资源抢占与局部故障全域扩散，提升了批量加载的成功率与数据完整性。

2、根据本发明的一方面，提供了一种批量文件轮询加载方法，应用于目标区域的文件加载服务，所述方法包括：

3、基于预设轮询周期，对所述目标区域内的各目标批次进行轮询调度；其中，所述预设轮询周期基于所述目标区域单次轮询的资源消耗量、各所述目标批次的文件到达率及文件处理效率确定；

4、针对轮询到的单个所述目标批次，检测所述目标批次是否存在剩余未加载文件；

5、若所述目标批次不存在剩余未加载文件，则校验当前批次文件是否全部齐备；

6、若所述当前批次文件已全部齐备时，则对所述当前批次文件执行文件加载操作。

7、根据本发明的另一方面，提供了一种批量文件轮询加载装置，应用于目标区域的文件加载服务，所述装置包括：

8、批次轮询调度模块，用于基于预设轮询周期，对所述目标区域内的各目标批次进行轮询调度；其中，所述预设轮询周期基于所述目标区域单次轮询的资源消耗量、各所述目标批次的文件到达率及文件处理效率确定；

9、剩余未加载文件检测模块，用于针对轮询到的单个所述目标批次，检测所述目标批次是否存在剩余未加载文件；

10、当前批次文件齐备检测模块，用于若所述目标批次不存在剩余未加载文件，则校验当前批次文件是否全部齐备；

11、文件加载操作执行模块，用于若所述当前批次文件已全部齐备时，则对所述当前批次文件执行文件加载操作。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的批量文件轮询加载方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的批量文件轮询加载方法。

17、根据本发明的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的批量文件轮询加载方法。

18、本发明实施例的技术方案，通过采用以目标区域为单元的独立文件加载服务架构，实现了区域级的调度隔离与资源隔离，从架构层面避免了跨区域资源抢占与局部故障全域扩散；通过基于预设轮询周期对区域内各目标批次执行有序轮询调度，引入了预设轮询周期，该预设轮询周期基于目标区域单次轮询的资源消耗量、各目标批次的文件到达率及文件处理效率确定，能够平衡处理时效与系统资源开销，可以降低无效轮询损耗；通过针对轮询到的单个目标批次，设置剩余未加载文件检测和文件齐备性校验的双重前置校验环节，依序触发目标批次的文件加载操作，可从数据入口侧规避重复加载和文件未齐备即启动加载的问题，提升了批量加载成功率与数据完整性；通过单区域单批次的串行加载，能够防止资源抢占，解决了多批次并行执行引发的文件漏加载、数据错乱和锁等待等并发冲突问题，进一步提升了批量加载的成功率与数据完整性。

19、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种批量文件轮询加载方法，其特征在于，应用于目标区域的文件加载服务，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述预设轮询周期基于所述目标区域单次轮询的资源消耗量、各所述目标批次的文件到达率及文件处理效率确定，包括：

3.根据权利要求2所述的方法，其特征在于，所述以所述资源消耗量和所述时延代价为双约束目标，确定所述目标区域的预设轮询周期，包括：

4.根据权利要求1所述的方法，其特征在于，在所述针对轮询到的单个所述目标批次，检测所述目标批次是否存在剩余未加载文件之后，还包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，在所述将所述目标批次由亚健康态切换至故障隔离态之后，还包括：

7.根据权利要求6所述的方法，其特征在于，在所述将所述目标批次由故障隔离态切换为恢复态之后，还包括：

8.一种批量文件轮询加载装置，其特征在于，应用于目标区域的文件加载服务，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的批量文件轮询加载方法。