一种基于分布式架构及容器化批量调度系统和方法与流程

技术特征：
1.一种基于分布式架构及容器化批量调度系统，其特征在于，包括容器管理平台、调度平台、镜像池和资源池，所述镜像池包括多个由业务子系统打包生成的批量镜像，所述资源池包括多个基于批量镜像创建的批量容器；所述容器管理平台用于根据任务执行指令生成相应的批量容器，并根据批量任务执行状态进行批量容器销毁操作；所述调度平台用于配置业务系统的批量任务信息，制定批量任务与批量镜像和执行系统之间映射关系，向容器管理平台发送任务执行指令，及跟踪批量任务执行状态并反馈至容器管理平台。2.根据权利要求1所述的基于分布式架构及容器化批量调度系统，其特征在于，所述调度平台包括实例管理中心、分配控制器、指令生成器、状态收集器和生命周期管理器；所述实例管理中心用于生成任务实例，设置任务实例状态、任务超时时间和任务并行状态；所述分配控制器用于检查资源池负载，设置任务执行模板信息，将批量任务分配到任务实例；所述指令生成器用于生成任务执行指令，所述任务执行指令包括批量镜像拉取信息和批量容器信息。所述状态收集器用于接收经批量子应用执行的任务执行状态，所述批量子应用由批量容器拉起；所述生命周期管理器用于接收并检查批量镜像下批量任务的执行状态，将检查结果发送至实例管理中心。3.根据权利要求1所述的基于分布式架构及容器化批量调度系统，其特征在于，所述制定批量任务与批量镜像和执行系统之间映射关系，包括：将可用于部署的批量镜像id与调度平台的执行系统id和批量任务id进行绑定。4.一种基于分布式架构及容器化批量调度方法，其特征在于，包括如下步骤：s1，将业务系统批量任务的配置信息载入调度平台，并制定批量任务、批量镜像和执行系统之间映射关系；s2，通过调度平台启动批量任务，根据所述配置信息调用容器管理平台向其发送任务执行指令；s3，所述容器管理平台根据任务执行指令在镜像池中拉取批量镜像生成相应的批量容器；s4，批量容器启动后，拉起与所述批量容器对应的批量子应用，批量子应用执行批量任务，并实时反馈批量任务的执行状态至调度平台；s5，所述调度平台根据批量任务执行状态发起容器销毁命令；s6，所述容器管理平台根据所述容器销毁命令对批量容器进行销毁操作。5.根据权利要求4所述的基于分布式架构及容器化批量调度方法，其特征在于，所述调度平台包括实例管理中心、分配控制器、指令生成器、状态收集器和生命周期管理器，所述步骤s2包括：s201，通过实例管理中心启动批量任务，生成任务实例，并对任务实例状态、任务超时时间和任务并行状态进行检查；
s202，通过分配控制器检查资源池负载，将批量任务分配到任务实例；s203，通过指令生成器生成任务执行指令，所述任务执行指令包括批量镜像拉取信息和批量容器信息；若存在与所述任务实例相对应的空闲批量容器，则将任务实例与空闲批量容器绑定，跳过步骤s3，反之，则执行步骤s3。6.根据权利要求4所述的基于分布式架构及容器化批量调度方法，其特征在于，在步骤s4中，所述实时反馈批量任务的执行状态至调度平台，包括：任务执行结束后，发送任务执行状态至状态收集器，再由状态收集器将任务执行状态转发至生命周期管理器，所述生命周期管理器检查批量镜像下是否存在需要执行的批量任务，以及检查批量任务是否需要持续执行。7.根据权利要求4所述的基于分布式架构及容器化批量调度方法，其特征在于，还包括：当任务执行状态为执行中，且执行时间超过第一预设时间，则发出告警通知，若执行执行时间超过第二预设时间，则解除批量任务与任务实例绑定，修改批量任务为执行超时，并将对应批量容器状态设置为false。8.根据权利要求4所述的基于分布式架构及容器化批量调度方法，其特征在于，还包括：当批量子应用拉起失败导致批量容器不可用时，通过定时任务扫描任务实例的批量容器，检查批量容器状态更新时间、批量容器状态信息，将异常状态批量容器的销毁命令发送至容器管理平台。

技术总结
本发明提出了一种基于分布式架构及容器化批量调度系统和方法，该系统包括容器管理平台、调度平台、镜像池和资源池，所述镜像池包括多个由业务子系统打包生成的批量镜像，所述资源池包括多个基于批量镜像创建的批量容器；所述容器管理平台用于根据任务执行指令生成相应的批量容器，并根据批量任务执行状态进行批量容器销毁操作；所述调度平台用于配置业务系统的批量任务信息，制定批量任务与批量镜像和执行系统之间映射关系，向容器管理平台发送任务执行指令，及跟踪批量任务执行状态并反馈至容器管理平台。本发明能够实现企业级批量任务的调度控制、实现资源的集中应用，解决了批量时间集中、批量执行过程中服务器资源使用过高用的问题。用的问题。用的问题。


技术研发人员：刘志
受保护的技术使用者：江苏苏宁银行股份有限公司
技术研发日：2021.10.22
技术公布日：2022/1/4