任务处理方法及装置与流程

技术特征：
1.一种任务处理方法，其特征在于，包括：在自动拉取到变更的日志信息对应的序列化信息后，部署有pipeline服务架构的服务端将序列化后的日志信息反序列化为业务数据对象；从各个业务模块订阅的数据对象中确定与所述业务数据对象匹配的数据对象，其中，所述各个业务模块为部署在pipeline服务架构下游的业务模块；在将匹配的数据对象所对应的业务模块确定为触发回调的业务模块后，触发该业务模块的pipeline接口处理异步任务。2.根据权利要求1所述的任务处理方法，其特征在于，自动拉取到变更的日志信息对应的序列化信息包括：监听数据库记录的日志，并在监听过程中获取变更日志，其中，为每条变更日志生成traceid；将变更日志序列化成json字符串信息，其中，所述json字符串信息包括traceid、表名、变更前的数据、变更后的数据；将所述json字符串信息发送至分布式日志系统中，以供部署有pipeline服务架构的服务端进行自动拉取。3.根据权利要求2所述的任务处理方法，其特征在于，所述方法还包括为各个业务模块预先订阅数据对象，包括：当pipeline服务架构启动后，具有依赖注入功能的容器被启动；具有依赖注入功能的容器扫描业务模块pipeline接口中实现类的泛型类，以基于所述泛型类确定数据对象定义类；将所述数据对象定义类映射到对应的数据库表名后，把实现类、数据对象定义类和数据库表名注册到订阅的map中。4.根据权利要求3所述的任务处理方法，其特征在于，从各个业务模块订阅的数据对象中确定与所述业务数据对象匹配的数据对象包括：基于业务数据对象中的表名，从map中确定与该表名相同的表名，其中，与该表名相同的表名所对应的业务模块为触发回调的业务模块。5.根据权利要求4所述的任务处理方法，其特征在于，触发该业务模块的pipeline接口处理异步任务包括：从map中确定所述目标业务模块的实现类；基于所述实现类触发业务模块的代码执行异步任务。6.根据权利要求5所述的任务处理方法，其特征在于，所述方法还包括：检测pipeline接口实现类是否执行异常；如果执行异常，则记录pipeline服务执行异常日志；如果执行不存在异常，则记录pipeline服务执行完成日志；和/或，销毁异步线程。7.根据权利要求1所述的任务处理方法，其特征在于，自动拉取到变更的日志信息对应的序列化信息包括：检测缓存使用量是否达到上限值，如果未达到上限值，则从日志系统中自动拉取所述序列化信息至所述缓存中；
检测异步线程数量是否达到上限值，如果未达到，则创建异步线程。8.根据权利要求2所述的任务处理方法，其特征在于，部署有pipeline服务架构的服务端将序列化后的日志信息反序列化为业务数据对象包括：从缓存中获取所述序列化信息，并确定其对应的表名；如果表名被订阅，署有pipeline服务架构的服务端将所述序列化信息反序列化为业务数据对象；和/或，记录pipeline服务执行开始日志。9.一种任务处理装置，该装置包括：信息处理单元，被配置成在自动拉取到变更的日志信息对应的序列化信息后，部署有pipeline服务架构的服务端将序列化后的日志信息反序列化为业务数据对象；匹配单元，被配置成从各个业务模块订阅的数据对象中确定与所述业务数据对象匹配的数据对象，其中，所述各个业务模块为部署在pipeline服务架构下游的业务模块；调用单元，被配置成在将匹配的数据对象所对应的业务模块确定为触发回调的业务模块后，触发该业务模块的pipeline接口处理异步任务。10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-8任意一项所述的任务处理方法。

技术总结
本公开实施例公开了一种任务处理方法及装置，包括在自动拉取到变更的日志信息对应的序列化信息后，部署有Pipeline服务架构的服务端将序列化后的日志信息反序列化为业务数据对象；从各个业务模块订阅的数据对象中确定与所述业务数据对象匹配的数据对象；在将匹配的数据对象所对应的业务模块确定为触发回调的业务模块后，触发该业务模块的Pipeline接口处理异步任务。通过从基于变化数据的日志信息对信息序列化、对信息进行传输、对信息进行反序列化、信息订阅分发、触发回调业务代码的方式实现了异步任务调度。克服了相关技术中数据更改造成一部分数据变化后没有被后续业务处理，人工做业务流程的数据修复工作量和难度大的问题。问题。问题。


技术研发人员：马春荃 俞德明 彭明华
受保护的技术使用者：北京合思信息技术有限公司
技术研发日：2022.04.24
技术公布日：2022/8/5