基于包粒度故障隔离的广告点击数据处理方法和装置与流程

摘要: 本公开的实施例涉及分布式数据处理与多层业务对象解析,具体涉及基于包粒度故障隔离的广告点击数据处理方法和装置。背景技术:1、当接收到来自媒体渠道的广告点击请求后,...
基于包粒度故障隔离的广告点击数据处理方法和装置与流程

本公开的实施例涉及分布式数据处理与多层业务对象解析,具体涉及基于包粒度故障隔离的广告点击数据处理方法和装置。

背景技术:

1、当接收到来自媒体渠道的广告点击请求后,通常需要根据订单标识读取客户、产品、包、订单、渠道五层业务对象数据,然后执行宏参数替换、校验处理,最终向上游客户转发点击数据并将全链路日志落地存储。基于包粒度故障隔离的广告点击数据处理是对广告点击数据进行处理的一种技术。目前,在对广告点击数据进行处理时,通常采用的方式为:采用客户级故障隔离机制对广告点击数据进行处理。

2、然而,当采用上述方式时,经常会存在如下技术问题:

3、采用客户级故障隔离机制,仅能在客户维度进行整体故障隔离,无法适配同一客户时部分包正常、部分包异常的复杂场景,缺乏包粒度的精细化检测和隔离手段,容易导致健康状态的包数据产生大范围的错误隔离,且异常状态的包数据无法精准拦截。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了基于包粒度故障隔离的广告点击数据处理方法、装置、电子设备和可读介质,来解决以上背景技术部分提到的技术问题。

3、第一方面,本公开的一些实施例提供了一种基于包粒度故障隔离的广告点击数据处理方法,该方法包括:根据来自媒体渠道的广告点击请求和构建的双层缓存模块,生成业务对象数据集,其中,上述双层缓存模块位于广告点击系统中且配置有日志采集逻辑;通过链路监控服务节点,对上述广告点击系统中各个包数据对应的上游客户转发链路的请求耗时数据进行周期性统计,得到各个包数据的百分位时延统计值,其中,上述链路监控服务节点为独立于上述双层缓存模块的后台监控服务节点;将上述各个包数据的百分位时延统计值以包标识为键存储至上述双层缓存模块的高速缓存层中,得到各个包数据的链路健康缓存数据;根据上述业务对象数据集和上述各个包数据的链路健康缓存数据,生成链路健康判定结果;根据上述链路健康判定结果和上述日志采集逻辑,生成广告处理日志存储结果。

4、第二方面,本公开的一些实施例提供了一种基于包粒度故障隔离的广告点击数据处理装置,装置包括:第一生成单元,被配置成根据来自媒体渠道的广告点击请求和构建的双层缓存模块,生成业务对象数据集,其中,上述双层缓存模块位于广告点击系统中且配置有日志采集逻辑;统计单元,被配置成通过链路监控服务节点,对上述广告点击系统中各个包数据对应的上游客户转发链路的请求耗时数据进行周期性统计,得到各个包数据的百分位时延统计值,其中,上述链路监控服务节点为独立于上述双层缓存模块的后台监控服务节点;存储单元,被配置成将上述各个包数据的百分位时延统计值以包标识为键存储至上述双层缓存模块的高速缓存层中,得到各个包数据的链路健康缓存数据;第二生成单元,被配置成根据上述业务对象数据集和上述各个包数据的链路健康缓存数据,生成链路健康判定结果;第三生成单元,被配置成根据上述链路健康判定结果和上述日志采集逻辑,生成广告处理日志存储结果。

5、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的基于包粒度故障隔离的广告点击数据处理方法,降低了健康状态的包数据产生大范围的错误隔离的概率。具体来说,造成健康状态的包数据产生大范围的错误隔离的原因在于:采用客户级故障隔离机制,仅能在客户维度进行整体故障隔离,无法适配同一客户时部分包正常、部分包异常的复杂场景,缺乏包粒度的精细化检测和隔离手段,容易导致健康状态的包数据产生大范围的错误隔离,且异常状态的包数据无法精准拦截。基于此,本公开的一些实施例,首先,根据来自媒体渠道的广告点击请求和构建的双层缓存模块,生成业务对象数据集,其中,上述双层缓存模块位于广告点击系统中且配置有日志采集逻辑。由此,可以通过构建包含本地缓存层和高速缓存层的双层缓存模块,无需执行同步数据库查询操作,所有数据均从缓存中获取,降低了数据库输入输出阻塞导致的时延抖动。然后,通过链路监控服务节点,对上述广告点击系统中各个包数据对应的上游客户转发链路的请求耗时数据进行周期性统计,得到各个包数据的百分位时延统计值,其中,上述链路监控服务节点为独立于上述双层缓存模块的后台监控服务节点。由此,可以通过设置独立于主请求处理流程之外的后台链路监控服务节点,以包标识为维度周期性统计各包的上游转发链路的百分位时延统计值,实现了包粒度的精细化故障识别。之后,将上述各个包数据的百分位时延统计值以包标识为键存储至上述双层缓存模块的高速缓存层中,得到各个包数据的链路健康缓存数据。根据上述业务对象数据集和上述各个包数据的链路健康缓存数据,生成链路健康判定结果。由此,可以通过将健康判定操作延后至渠道应答成功之后执行,在返回渠道应答前仅执行缓存读取等操作,无需执行耗时的健康判定或上游转发操作,从而实现了渠道侧的极速应答。最后,根据上述链路健康判定结果和上述日志采集逻辑,生成广告处理日志存储结果。由此,可以通过在双层缓存模块中配置日志采集逻辑,全量日志数据的生成和投递完全异步化,与主线程的业务处理链路解耦。主线程无需等待任何日志写入操作即可继续处理下一个请求,日志数据由独立的消费线程组批量写入数据库。因此,降低了健康状态的包数据产生大范围的错误隔离的概率。

1.一种基于包粒度故障隔离的广告点击数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据来自媒体渠道的广告点击请求和构建的双层缓存模块,生成业务对象数据集,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述业务对象数据集和所述各个包数据的链路健康缓存数据,生成链路健康判定结果,包括:

5.根据权利要求1所述的方法,其特征在于,所述通过链路监控服务节点,对所述广告点击系统中各个包数据对应的上游客户转发链路的请求耗时数据进行周期性统计,得到各个包数据的百分位时延统计值,包括:

6.根据权利要求3所述的方法,其特征在于,所述根据所述业务对象数据集中的客户信息,对所述原始参数进行宏参数替换,得到参数替换结果,包括:

7.一种基于包粒度故障隔离的广告点击数据处理装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括:

9.一种计算机可读介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的方法。