一种分布式网络代理旁路请求审计系统及方法与流程

摘要: 本发明涉及计算机系统开发,特别是涉及一种分布式网络代理旁路请求审计系统及方法。背景技术:1、在微服务架构或分布式网络集群中,对api(applicationpr...
一种分布式网络代理旁路请求审计系统及方法与流程

本发明涉及计算机系统开发,特别是涉及一种分布式网络代理旁路请求审计系统及方法。

背景技术:

1、在微服务架构或分布式网络集群中,对 api (application programminginterface,应用程序编程接口)请求进行完整的审计日志记录是系统运维、安全合规和故障追溯的基本要求。一份完整的审计日志通常需要同时包含请求前置信息(包括请求路径、请求方法、脱敏业务主体标识、客户端 ip、请求时间等)和响应后置结果(包括请求处理结果状态标识、响应体大小、响应时间等)。

2、现有技术通常采用以下方式:(a) 在各微服务业务代码内嵌审计逻辑;(b) 在api 网关层进行同步拦截审计;(c) 结合分布式链路追踪(如基于 traceid 的跨服务关联)拼装请求链路信息;(d) 在每个微服务旁部署轻量级代理(sidecar),将请求响应信息发送至消息队列,由审计服务消费,并结合全文检索引擎中的链路日志,经预设审计规则匹配后生成操作审计记录。其中,链路追踪方案的设计目标主要是性能分析与故障定位,而非完整审计记录的合规存储;sidecar 类方案则侧重按规则模板筛选待审计操作,且代理实例数量随微服务实例增长。上述方案均难以单独依托流量入口网关的访问日志,完成「前置信息 + 响应状态」的单请求审计闭环,存在如下缺陷:

3、1. 对存量业务服务侵入性强、跨技术栈接入成本高:在各微服务业务代码内嵌日志记录或在应用层框架中注册全局拦截器,均需要在每个业务服务中引入审计代码。对于已经上线运行的存量服务,改造实施成本极高;且不同技术栈(如 go、java、python、c++等)的服务需要各自开发、维护一套审计逻辑,维护成本随服务数量线性增长。

4、2. 网关层同步拦截方案存在性能瓶颈与逻辑断层: 若在 api 网关层进行统一同步拦截,由于网关中间件通常在请求转发前执行,此时后端服务尚未处理请求,中间件无法获取到最终的请求处理结果状态标识。若将审计逻辑强行后置到响应返回阶段进行同步处理,则会导致网关长连接同步阻塞,大幅增加全链路的请求延迟,拉低核心网关的并发吞吐性能。

5、3. 审计功能与核心业务功能强耦合,引发级联故障:传统方案将审计逻辑与业务逻辑运行在同一个服务进程或同步调用链路内。当底层审计存储服务或审计数据库出现网络波动、写入性能瓶颈或异常宕机时,会产生级联反噬效应,直接卡死或拖垮核心业务请求的正常响应,降低系统的整体可用性。

6、4. 分布式部署场景下代理与采集开销大、基础设施依赖重:在 sidecar 类方案中,需在每台微服务实例旁部署代理,服务规模扩大时代理数量同步增长,运维与算力开销随之上升;同时,该类方案通常还依赖消息队列、分布式链路追踪及全文检索引擎等多类基础设施协同完成审计记录拼装。在多网关节点部署场景下,若进一步在各计算节点独立配置高算力日志采集与实时解析组件,还会导致采集配置碎片化,增加集群运维复杂度。

7、5. 缺少面向网关场景的两阶段审计状态补全机制:现有方案多在代理拦截响应后一次性生成审计事件,或依赖链路标识从外部检索系统拼装日志,未针对「网关请求阶段无法同步获取响应状态、又不宜阻塞请求转发」这一矛盾,建立「请求阶段预登记待完成记录、响应阶段由访问日志旁路异步补全为已完成记录」的两阶段审计闭环机制。当访问日志落盘与解析存在延迟时,也难以有效保障审计记录的完整性与最终一致性。

技术实现思路

1、本发明针对现有技术存在的问题和不足,提供一种分布式网络代理旁路请求审计系统及方法。

2、本发明是通过下述技术方案来解决上述技术问题的:

3、本发明提供一种分布式网络代理旁路请求审计系统,其特点在于,其包括网络代理组件、审计服务模块、存储介质和日志解析回传模块,网络代理组件部署于微服务集群的流量入口,其内部集成审计拦截单元和访问日志输出单元,审计服务模块为独立于业务服务进程且空间隔离部署的审计控制中心,对外提供审计预登记接口与审计状态补全接口;

4、当客户端发送的原始网络请求到达网络代理组件时,审计拦截单元用于在请求向下游业务服务转发前的控制面阶段拦截该原始网络请求,提取或由网关上下文生成请求前置信息,并通过网络协议将该请求前置信息发送至审计服务模块以发起审计预登记;

5、审计服务模块用于通过审计预登记接口接收该请求前置信息,采用全局唯一标识符算法生成在分布式集群中全局唯一的审计标识,以该审计标识为主键,在存储介质中初始化创建一条状态标记为「待完成」的初始审计流水记录,并将该请求前置信息及当前系统时间戳写入该初始审计流水记录,并将该审计标识封装于协议头部字段中,作为预登记响应反向返回给网络代理组件;

6、网络代理组件用于在接收到预登记响应后,提取携带该审计标识的协议头部字段,将其注入到即将转发给下游业务服务的请求控制域中,下游业务服务无需修改业务代码,该审计标识随请求控制域透明透传;以及配置并激活访问日志输出单元的输出策略,访问日志输出单元将该审计标识作为访问日志的一个数据列进行绑定;

7、网络代理组件还用于在反向代理的响应生命周期终点捕获下游业务服务处理完业务后返回的含有请求处理结果状态标识的响应后置结果并返回给客户端,同时访问日志输出单元利用反向代理的生命周期闭环特性,在内存中将请求阶段的审计标识与响应阶段的响应后置结果进行关联,将其作为一条完整的日志条目写入本地访问日志文件中;

8、日志解析回传模块用于以全旁路方式对网络代理组件输出的访问日志进行增量监听、流式过滤与结构化解析,提取审计标识及请求处理结果状态标识,并异步回传至审计服务模块的审计状态补全接口;

9、审计服务模块用于根据数据包中的审计标识为主键,检索存储介质中对应的审计记录,将请求处理结果状态标识回填至该对应审计记录中,并将记录状态从「待完成」更新为「已完成」,完成全生命周期审计闭环。

10、本发明还提供一种分布式网络代理旁路请求审计方法,其特点在于,其利用上述的分布式网络代理旁路请求审计系统实现,所述方法包括以下步骤:

11、步骤s1:请求审计前置拦截与旁路预登记

12、当客户端发送的原始网络请求到达网络代理组件时,审计拦截单元在请求转发前的控制面阶段拦截该原始网络请求,提取或由网关上下文生成请求前置信息,并通过网络协议将该请求前置信息发送至审计服务模块的审计预登记接口;

13、步骤s2:唯一审计标识生成、记录初始化与反向注入

14、审计服务模块接收到预登记的该请求前置信息后,在业务处理链路之外执行以下原子操作:

15、s2.1:采用全局唯一标识符算法生成在分布式集群中全局唯一的审计标识;

16、s2.2:以该审计标识为主键,在存储介质中初始化创建一条状态标记为「待完成」的初始审计流水记录,并将该请求前置信息及当前系统时间戳写入该初始审计流水记录;

17、s2.3:将该审计标识封装于协议头部字段中,作为预登记响应反向返回给网络代理组件;

18、步骤s3:审计标识接力透传与网关访问日志字段合并落盘

19、网络代理组件接收到预登记响应后,执行两个解耦的接力动作:

20、动作一:提取携带该审计标识的协议头部字段,将其注入到即将转发给下游业务服务的请求控制域中,下游业务服务无需修改业务代码,该审计标识随请求控制域透明透传;

21、动作二:配置并激活访问日志输出单元的输出策略,访问日志输出单元将该审计标识作为访问日志的一个数据列进行绑定;

22、步骤s4:反向响应捕获与网关非阻塞落盘

23、下游业务服务处理完业务后将含有请求处理结果状态标识的响应后置结果返回,网络代理组件在反向代理的响应生命周期终点捕获该响应后置结果并返回给客户端,同时,访问日志输出单元利用反向代理的生命周期闭环特性,在内存中将请求阶段的审计标识与响应阶段的响应后置结果进行关联,将其作为一条完整的日志条目写入本地访问日志文件中;

24、步骤s5:旁路流式日志采集与结构化解析

25、日志解析回传模块以全旁路方式对网络代理组件输出的访问日志进行增量监听、流式过滤与结构化解析;

26、步骤s6:审计记录状态异步补全与最终持久化

27、日志解析回传模块将解析出的结构化数据对象通过网络协议或分布式消息队列投递全旁路、异步地发送至审计服务模块的审计状态补全接口,结构化数据对象包括审计标识和请求处理结果状态标识,审计服务模块根据数据包中的审计标识为主键,检索存储介质中对应的审计记录,将请求处理结果状态标识回填至该对应的审计记录中,并将记录状态从「待完成」更新为「已完成」,完成全生命周期审计闭环。

28、本发明在微服务及分布式集群架构的请求审计领域,能够达到以下技术效果:

29、1、实现了对下游业务逻辑的透明化,降低接入开销:本发明将全链路的请求审计能力收拢于流量入口的控制面与旁路的数据面,对下游异构业务服务实现业务逻辑上的透明化。无论后端业务服务采用何种编程语言或应用层开发框架,业务侧均无需修改业务代码,从而使审计系统的部署与接入开销与业务服务的数量和技术栈种类解耦,降低了存量系统的实施与后期维护成本。

30、2、协调了网关层前置拦截与后置响应状态获取的关联矛盾:本发明采用“请求控制面异步预登记 + 反向代理生命周期终点单方面绑定 + 访问日志旁路流式补全”的两阶段关联机制,既发挥了网络代理组件 100 在前置拦截阶段捕获请求元数据的拓扑位置优势,又利用了反向代理在响应返回时生成的访问日志作为响应结果的旁路数据源。该机制能够有效提高请求前置信息和响应后置结果的关联准确率,降低全链路数据的漏记概率,同时保障网关层核心路由数据转发链路的高并发吞吐性能。

31、3、建立了进程级容错容灾边界,降低级联崩溃风险:本发明中核心业务的流量路由链路,与后续的审计记录创建、日志异步采集、文本解析以及数据库持久化,在进程空间和计算资源上实现了隔离与解耦。审计服务模块 200 或存储介质 210 的任何存储超时、高并发拥堵或异常波动,均表现为分布式节点访问日志的正常追加写入,能够避免对网络代理组件 100 处的核心请求转发与客户端响应造成同步长连接阻塞,从而降低了传统同步审计中间件引发的系统级联崩溃风险,有利于保障业务系统的整体可用性。

32、4、降低分布式集群场景下的审计侧部署与维护成本:本发明在分布式部署场景中,可将各网络代理组件 100 实例产生的访问日志统一汇聚至共享存储域,并由单实例日志解析回传模块 300 进行集中处理,从而减少在各网关节点重复部署采集解析组件的需要。该部署方式属于本发明在分布式场景下的优选实施形态,其核心仍在于步骤s5的旁路流式采集与步骤 s6 的异步状态补全机制,而非特定的存储汇聚实现方式。

33、5、支持审计策略热加载,并通过进程与存储路径隔离降低日志篡改风险:本发明将审计策略配置集中于网络代理组件 100 及日志解析回传模块 300,可通过控制面热加载方式更新配置文件并实时生效,无需重启下游业务服务 500。同时,访问日志由网关进程通过访问日志输出单元 102 直接追加写入独立日志文件,日志解析与审计记录持久化分别在独立进程及存储介质 210 中执行;业务服务进程与业务运行内存空间不参与日志写入,从而阻断业务侧通过常规应用接口篡改已生成审计日志的路径,提高审计数据完整性与可追溯性。

34、6、降低对 sidecar 逐个服务部署及链路追踪基础设施的依赖:相较于在每个微服务旁部署代理并结合分布式链路追踪、全文检索引擎拼装审计事件的方案,本发明将单请求审计闭环收敛至流量入口网关的访问日志及旁路补全链路,无需依赖链路追踪标识与外部检索引擎即可完成审计记录从「待完成」到「已完成」的状态补全。