一种动态切换数据流的方法、系统、介质及终端与流程

技术特征：
1.一种动态切换数据流的方法，其特征在于，包括：监控数据服务状态，所述数据服务包括数据消费服务和数据生产服务；当所述数据消费服务启动时，若数据完全被消费，则进行实时处理，否则进行异步处理；当所述数据生产服务启动时，通过调用数据消费服务数据接入接口确认，使所述数据消费服务正常运行，并根据中间件中状态写入主题的偏移量的变化，改变数据生产方式。2.根据权利要求1所述的动态切换数据流的方法，其特征在于，当数据服务异常重启时，同时重启所述数据消费服务和数据生产服务，若重启后所述数据消费服务异常，则将数据发送至中间件；所述监控数据服务状态包括：获取容器的资源情况、接口的队列阈值、中间件中数据写入主题的偏移量，以及中间件中状态写入主题的偏移量；如所述中间件中数据写入主题的偏移量为最新，则判定数据完全被消费。3.根据权利要求2所述的动态切换数据流的方法，其特征在于，如存在未消费完成的数据，则通过将主题中用于标志是否实时处理的标志参数赋值为假，并将已赋假值的标志参数按预设状态写入主题写入中间件，并进行数据的异步处理；如不存在未消费完成的数据，若资源占用率大于预设的阈值，则将所述标志参数赋值为假；若资源占用率小于等于所述阈值，则将所述标志参数赋值为真；在更新所述标志参数时，通过将标志参数已赋值的状态写入主题，写入中间件，通知数据生产服务。4.根据权利要求2所述的动态切换数据流的方法，其特征在于，所述通过调用数据消费服务数据接入接口确认，使所述数据消费服务正常运行之后包括：若所述中间件中状态写入主题的偏移量为最新，则调用再平衡接口，消费最后一条数据作为数据处理依据；否则，则调用数据消费服务接入查询接口确认后，再以实际消费的最新数据进行处理。5.根据权利要求4所述的动态切换数据流的方法，其特征在于，在判断所述中间件中状态写入主题的偏移量为最新之前，包括：如果调用接入接口不满足正常处理请求，则直接进行数据的异步生产，将数据写入中间件的数据写入主题中；如果调用接入接口满足正常处理请求，则判断所述中间件中状态写入主题的偏移量是否为最新。6.根据权利要求5所述的动态切换数据流的方法，其特征在于，如果中间件中状态写入主题中无数据，则进行数据的同步生产；如果中间件中状态写入主题中有数据，且所述中间件中状态写入主题的偏移量为最新，则调用所述再平衡接口，重新消费状态写入主题的最后一条数据，作为数据生产的依据；如果中间件中状态写入主题中有数据，且所述中间件中状态写入主题的偏移量不为最新，则消费所有的数据，并以最后一条数据的生产方式作为数据生产方式。7.根据权利要求2所述的动态切换数据流的方法，其特征在于，
当发生服务重启时，以服务启动的策略进行数据生产；当数据消费服务数据接入异常时，则数据生产服务切换为异步生产，将数据写入数据库中，如中间件中状态写入主题中的对应的消费者状态数据不变，则周期性进行实时尝试，直至尝试成功。8.一种动态切换数据流系统，其特征在于，包括：监控模块，用于监控数据服务状态，所述数据服务包括数据消费服务和数据生产服务；切换模块，用于当所述数据消费服务启动时，若数据完全被消费，则进行实时处理，否则进行异步处理；以及用于当所述数据生产服务启动时，通过调用数据消费服务数据接入接口确认，使所述数据消费服务正常运行，并根据中间件中状态写入主题的偏移量的变化，改变数据生产方式。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法。10.一种电子终端，其特征在于，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述方法。

技术总结
本发明提供一种动态切换数据流的方法、系统、介质及终端，方法包括：监控数据服务状态，所述数据服务包括数据消费服务和数据生产服务；当所述数据消费服务启动时，若数据完全被消费，则进行实时处理，否则进行异步处理；当所述数据生产服务启动时，通过调用数据消费服务数据接入接口确认，使所述数据消费服务正常运行，并根据中间件中状态写入主题的偏移量的变化，改变数据生产方式；本发明针对数据生产方和数据消费，采用同步异步结合的方式，在不额外增加物理资源消耗的情况下，不仅能保证数据不丢失，保证了健壮性，还能最大限度的保留数据的即时性。据的即时性。据的即时性。


技术研发人员：魏程琛 贺宁
受保护的技术使用者：重庆紫光华山智安科技有限公司
技术研发日：2021.08.12
技术公布日：2021/11/5