一种云安全数据向态势感知平台转发方法与流程
本发明涉及云安全资源池数据交互,具体为一种云安全数据向态势感知平台转发方法。
背景技术:
1、随着“数字华能”战略建设持续推进,集团内部大量核心业务系统迁移上云,华能云承载的数据规模与业务复杂度持续攀升;与之配套建设的云安全资源池,通过原子化方式汇聚了接入防火墙、web应用防火墙、堡垒机、漏洞扫描、数据库审计、日志审计、主机安全edr、apt预警、容器安全、数据分类分级安全管理、数据脱敏、api审计等12类安全组件;上述安全组件分别从网络边界、主机层面、应用层面、数据层面与运维审计层面独立产生海量、多源、异构的安全事件日志、告警数据与资产风险数据;现有技术方案中,各安全组件往往直接以自身私有数据格式输出日志,缺少统一的数据采集、标签封装与分流治理机制,当需要向外部态势感知平台转发时,往往采用全量原始数据直接上送的简单方式。这种方式带来三方面突出问题:其一,多源异构原始数据未经标准化处理,态势感知平台需承担繁重的格式解析与字段兼容适配工作,显著抬升平台侧计算与存储压力;其二,海量冗余日志被不加甄别地全量转发,造成网络带宽与集群算力的严重浪费;其三,不同安全组件的租户信息、攻击源、风险等级等关键字段口径不一,态势感知平台难以在多租户场景下对安全数据进行有效隔离与统一溯源。
2、现有云安全数据转发普遍采用固定的直传模式,即安全组件产生数据后立即直接推送至接收平台,缺乏对网络链路质量与接收平台运行负载的自适应感知与调度机制;在真实生产环境中,网络链路不可避免会因波动、拥塞而产生抖动甚至丢包,态势感知平台在业务高峰期也常因数据处理压力过大而出现cpu负载冲高、接收处理阻塞。在上述恶劣工况下,固定直传模式极易发生报文丢失,且一旦丢失,又缺少相应的重传补偿与闭环校验机制,导致丢失的报文无法恢复;尤其严重的是,apt预警、web攻击等高危安全事件的告警报文若恰好处于丢包窗口内,将造成高危事件漏报,直接削弱态势感知平台威胁检测、攻击溯源与事件处置的时效性,给集团整体信息安全带来重大隐患;即便部分方案引入缓存机制,也普遍采用无差别平铺排队方式,普通日志与高危告警混排在一起,高危告警被大量普通日志挤压,排队等待时间显著拉长,上报时延急剧增加,难以满足安全事件应急处置对告警时效性的严苛要求。
3、华能云安全资源池需要同时对接华能蓝盾日志汇聚系统与网络态势感知安全运营平台两套第三方平台;日志汇聚系统侧重全量原始日志的留存与审计追溯,而态势感知平台侧重经过降噪聚合、具备租户隔离溯源能力的标准化安全事件数据,两套平台在数据格式、数据粒度、字段规范、业务诉求等方面均存在显著差异;现有技术方案通常采用一份原始数据简单复制、分别推送至两套平台的方式,既未做差异化分流治理,造成集群计算与网络资源的重复浪费,也无法满足态势感知平台对聚合特征数据与多租户隔离溯源的特定业务诉求;此外,随着国家信息安全自主可控要求不断强化,云安全资源池普遍要求部署于国产化硬件平台并适配国产操作系统,现有转发方案多基于通用x86架构与非国产操作系统实现,对国产化鲲鹏服务器集群、统信uos操作系统、srv6分段路由编排、ipv4/ipv6双栈网络以及不少于200租户的大租户规模应用场景适配能力不足,难以满足等级保护三级安全管控要求。
技术实现思路
1、本发明要解决的技术问题是:现有云安全数据向态势感知平台转发过程中存在的多源异构数据未标准化、冗余数据全量转发造成资源浪费、固定直传模式在高危事件与恶劣工况下存在丢包漏报风险、双平台对接无差异化分流、以及国产化环境适配不足等缺陷,提供一种能够实现云安全数据分流治理、动态权重特征聚合、链路-负载双感知自适应传输、闭环回执校验,且完整适配国产化华能云安全资源池技术体系的云安全数据向态势感知平台转发方法。
2、一种云安全数据向态势感知平台转发方法,应用于华能云安全资源池,云安全资源池包含业务服务层、安全能力层、基础环境层三层架构,方法包括以下步骤:
3、s1、云安全资源池原子能力对接模块采集12类安全组件实时输出的原始云安全数据,并对每条原始云安全数据附加租户标签、安全组件类型标签与流量元数据标签,形成带标签统一结构化数据流;
4、s2、依据预设数据分发判别策略,将带标签统一结构化数据流分流为第一待转发数据集与第二待转发数据集;第一待转发数据集推送至华能蓝盾日志汇聚系统,第二待转发数据集进入标准化字段映射处理;
5、s3、对完成标准化字段映射的第二待转发数据集执行基于动态权重滑动窗口的数据降噪与特征聚合处理,生成符合态势感知平台接口规范的转发报文;
6、s4、实时检测网络链路质量状态与态势感知平台接收侧负载阈值,根据检测结果自适应选择直传转发模式或缓存转发模式,将转发报文推送至网络态势感知安全运营平台;
7、s5、接收网络态势感知安全运营平台返回的回执报文,基于回执报文执行转发链路状态闭环校验,对校验异常的报文执行回退重传,完成云安全数据向态势感知平台的可靠转发。
8、优选的,步骤s3中的数据降噪与特征聚合处理,采用时序滑动窗口聚合计算,其聚合计算表达式为,式中,为当前滑动窗口内的聚合输出特征值;为滑动窗口内第i条标准化安全数据的特征分量;为随安全事件威胁等级动态变化的0~1;为上一滑动窗口输出的历史聚合特征值。
9、优选的,动态权重系数依据安全事件威胁等级动态调整,其映射关系为:,式中,为当前滑动窗口内检测到的安全事件威胁等级量化值,、分别为威胁等级量化值上、下边界,、分别为动态权重系数的最小、最大取值;当检测到apt预警、web攻击类高危事件时,赋值为0.85~1。
10、优选的,标准化字段映射,是将云安全资源池内部私有字段集合经字段映射规则库映射至态势感知平台规定的统一字段集合,映射过程至少保留租户标签、攻击源ip、风险等级、事件时间戳、安全组件来源五类核心字段,且对时间戳统一转换为utc标准格式。
11、优选的,步骤s4中自适应选择直传/缓存转发模式,具体包括:当网络链路连通正常且态势感知平台接收侧cpu负载低于预设负载阈值时,采用直传转发模式;当网络链路发生抖动或平台接收侧cpu负载超过负载阈值时,切换至本地分级缓存队列进行缓存转发;分级缓存队列按安全事件威胁等级划分多个优先级子队列,高危安全事件报文置于高优先级子队列优先转发。
12、优选的,分级缓存队列的报文调度优先级采用如下公式计算:,式中,p为报文调度优先级,数值越大优先级越高;为安全事件威胁等级量化分值;为报文在缓存队列中的滞留时间因子,随滞留时间增长而增大;、分别为威胁等级权重系数与滞留时间权重系数,且+=1。
13、优选的,原始云安全数据包括接入防火墙、web应用防火墙、堡垒机、漏洞扫描、数据库审计、日志审计、主机安全edr、apt预警、容器安全、数据分类分级安全管理、数据脱敏、api审计共12类安全组件输出的事件日志、告警数据与资产风险数据。
14、优选的,租户标签基于云安全资源池多租户共享技术模块输出的租户标识动态生成,租户标识采用多租户隔离编码规则编码,用于在态势感知平台侧实现多租户安全数据的隔离溯源与权限管控。
15、优选的,回执报文闭环校验,包括统计单位周期内报文发送总量、回执成功数量、回执失败数量,并计算回执失败率;当超过预设失败阈值时,触发告警上报至云安全资源池业务服务层的监控管理模块,同时对失败报文执行指数退避重传,重传次数上限为。
16、优选的,方法整体部署于国产化鲲鹏服务器集群,适配统信uos国产操作系统,支持ipv4/ipv6双栈网络环境,与云安全资源池netconf资源编排接口、srv6分段路由编排能力兼容,可支撑不少于200个租户规模的云安全数据并发转发。
17、与现有技术相比,本发明的有益效果如下:
18、1、通过对华能蓝盾日志汇聚系统与态势感知平台实施差异化数据分流输出,摒弃传统直接复制原始日志双份推送的模式,原始安全数据仅做一次采集打标即可分别输出适配两套平台的数据集,有效节约国产化服务器集群算力与网络带宽资源,同时向态势感知平台输出经过降噪聚合与标签标准化的高质量数据集,显著降低态势感知平台的数据解析与存储压力。
19、2、采用随安全事件威胁等级动态调整权重的时序滑动窗口聚合算法,既能对海量安全日志实现有效降噪压缩、削减传输数据量,又能保证apt预警、web攻击等高风险事件特征在聚合过程中不丢失、不被抹平,兼顾带宽优化与安全事件保真,提升态势感知平台威胁检测的准确性。
20、3、通过同时感知网络链路质量与态势感知平台接收侧cpu负载,自适应切换直传与缓存转发模式,并结合基于优先级计算公式的分级队列调度机制使高危安全报文优先转发;同时配套回执报文闭环校验与指数退避重传机制,在网络抖动、接收平台高负载与大流量攻击爆发等恶劣工况下,显著降低报文丢包率、压缩高危安全告警上报时延,有效规避安全事件漏报风险。
21、4、转发方法整体部署于国产化鲲鹏服务器集群并适配统信uos操作系统,转发报文携带标准化多租户标签,可在态势感知平台侧实现多租户安全数据隔离溯源,可支撑不少于200租户的业务规模;同时兼容netconf、srv6资源编排与ipv4/ipv6双栈网络环境,满足等级保护三级安全管控要求,完整适配现有华能云安全资源池技术体系,无需对现有平台进行大规模改造。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com