基于pulsar日志采集流处理方法、处理装置及可读存储介质与流程

技术特征：
1.一种基于pulsar日志采集流处理方法，其特征在于，所述方法包括以下内容：接收日志信息生成对象生成的日志信息；将所述日志信息写入至pulsar集群中的一个或者多个消费主题的日志信息队列中；通过etl
‑
function订阅pulsar集群中的一个或者多个消费主题，并通过所述etl
‑
function将所述一个或者多个消费主题中的日志信息进行实时流式数据处理生成优化日志信息；将所述优化日志信息写入至pulsar集群中的一个或者多个消费主题的日志信息队列中，以供订阅对应消费主题的消费者消费。2.如权利要求1所述的基于pulsar日志采集流处理方法，其特征在于，在所述以供订阅对应消费主题的消费者消费的步骤之后，包括：将被所述消费者消费后的优化日志信息写入数据库。3.如权利要求2所述的基于pulsar日志采集流处理方法，其特征在于，在所述将被所述消费者消费后的优化日志信息写入数据库的步骤之后，包括：根据当前剩余网络资源以及接入所述数据库的租户的等级，向所述租户分配对应的网络资源；以供接入所述数据库的租户使用分配的网络资源获取所述数据库中的优化日志信息。4.如权利要求3所述的基于pulsar日志采集流处理方法，其特征在于，所述通过所述etl
‑
function将所述一或者多个消费主题中的日志信息进行实时流式数据处理生成优化日志信息包括：通过所述etl
‑
function根据pulsar集群中不同的消费主题，动态获取计算资源，使用所述计算资源和预设实时流式数据处理方式对消费主题中的日志信息进行优化生成优化日志信息。5.如权利要求4所述的基于pulsar日志采集流处理方法，其特征在于，在所述以供订阅对应消费主题的消费者消费的步骤之后，包括：当所述pulsar集群中的日志消息在预设时间内未被消费者消费时，将未被消费者消费的日志消息返回至生成所述未被消费者消费的日志消息的应用程序。6.如权利要求5所述的基于pulsar日志采集流处理方法，其特征在于，所述基于pulsar日志采集流处理方法包括：将所述优化日志信息写入至pulsar集群中的一个或者多个消费主题时，所述消费主题与etl
‑
function订阅的消费主题不同。7.如权利要求6所述的基于pulsar日志采集流处理方法，其特征在于，所述将所述日志信息写入至pulsar集群中的一个或者多个消费主题的日志信息队列中包括：根据预设分类写入路径将所述日志信息写入pulsar集群中的一个或者多个消费主题的日志信息队列中。8.如权利要求7所述的基于pulsar日志采集流处理方法，其特征在于，所述基于pulsar日志采集流处理方法还包括：当pulsar集群中的消费主题饱和时，通过扩容pulsar集群中的节点来增加消费主题。9.一种处理装置，其特征在于，所述处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于pulsar日志采集流处理程序，所述基于pulsar日志采集
流处理程序被所述处理器执行时实现如权利要求1至8中任一项所述基于pulsar日志采集流处理方法的步骤。10.一种可读存储介质，其特征在于，所述可读存储介质上存储有基于pulsar日志采集流处理程序，所述基于pulsar日志采集流处理程序被处理器执行时实现如权利要求1至8中任一项所述的基于pulsar日志采集流处理方法的步骤。

技术总结
本发明公开了一种基于pulsar日志采集流处理方法、处理装置及可读存储介质，所述基于pulsar日志采集流处理方法包括：通过基于pulsar构建的分布式消息系统，在pulsar集群中完成日志信息的发布、日志信息的优化和日志信息的订阅，其中日志信息的优化即日志信息实时流式处理，是在基于Pulsar平台本身，无需额外维护flink组件，从而降低了整个系统的运维成本，而且其数据实时流式处理保证了数据处理的实时性，从而实现了业务健康的实时观测，避免监控能力滞后，同时，可通过扩充pulsar集群的节点来增加消费主题，从而解决流量急增带来的业务压力问题。业务压力问题。业务压力问题。


技术研发人员：林存练
受保护的技术使用者：深圳市明源云科技有限公司
技术研发日：2021.11.02
技术公布日：2021/12/3