一种万兆流量异构多级缓存块对齐转存系统及方法与流程
本发明属于计算机网络技术及高速数据存储,具体为一种万兆流量异构多级缓存块对齐转存系统及方法。
背景技术:
1、随着5g、物联网、超高清视频业务快速发展,网络流量迈入万兆(10gbe、25gbe)时代,海量高速数据流对流量采集存储系统的吞吐、延迟、可靠性提出严苛要求。
2、现有主流流量存储系统普遍采用“网卡dma-内核socket缓冲区-用户态缓存-磁盘”线性传输架构,存在多项固有缺陷:
3、第一,报文传输存在多层内存拷贝,叠加硬件中断频繁触发,小包场景cpu占用率居高不下,极易造成采集阶段丢包,无法稳定实现万兆线速全量捕获;
4、第二,原始网络报文长短随机、到达时序零散,直接落盘会产生大量磁盘随机i/o,机械硬盘磁头频繁寻道,实际写入吞吐量仅数十mib,远达不到1.25gib万兆线速存储标准;
5、第三,现有过载控制仅采用单一流量或磁盘io阈值判定,流量平稳但磁盘性能衰减、流量突增但存储尚有冗余时均会出现误判,引发不必要丢包;且过载后无差别丢弃全部报文,核心业务报文与溯源所需协议头部一并丢失,后期流量审计、回溯无有效数据支撑;
6、第四,行业普遍使用raid5阵列兼顾容量与容错,但多线程并发写入会产生读改写惩罚与条带锁竞争,实际写入性能仅为理论值30%-50%,raid0无容错、raid10空间利用率仅50%,各类传统阵列均无法兼顾写入性能、存储成本与故障恢复能力;
7、第五,现有方案采集、解析、缓存、落盘各模块独立优化,缺少端到端协同架构,无法同步解决采集开销、随机写、过载丢包、阵列性能损耗多重瓶颈,难以适配长时间、大容量万兆全流量存储场景。
技术实现思路
1、本发明的目的在于提供一种万兆流量异构多级缓存块对齐转存系统及方法,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:一种万兆流量异构多级缓存块对齐转存系统,系统采用采集-解析-编排-转存四级流水线式处理架构,包括网络数据采集模块、解析与流控模块、数据重组编排模块、顺序转存模块;各模块之间通过无锁环形缓冲区传输数据;
3、所述网络数据采集模块基于dpdk轮询模式驱动,网卡dma引擎直接将报文写入用户态预分配大页内存池,实现报文零拷贝采集;
4、所述解析与流控模块内置stv滑动窗口时序累积与多周期趋势投票压力判定机制,融合流量、磁盘io多维度指标计算瞬时压力指数,依据系统负载动态执行报文筛选、非核心流量载荷剥离策略;
5、所述数据重组编排模块采用ssd+hdd异构存储架构,对网络报文重组分块,基于xor算法生成校验文件块,完成4096字节整数倍块对齐处理,支持lz4压缩;
6、所述顺序转存模块采用一磁盘一线程一cpu核心绑定架构,通过io_uring异步批量、顺序写入对齐后的数据文件块与校验文件块。
7、作为本技术方案的进一步优选的:所述网络数据采集模块五元组哈希分流算法为:
8、rindex=crc32c(key,37) mod m;
9、其中,为37字节内存块,内存布局依次为16字节源ip、16字节目的ip、2字节源端口、2字节目的端口、1字节协议;为解析处理队列总数;同一五元组数据流分发至同一解析线程。
10、作为本技术方案的进一步优选的:所述解析与流控模块瞬时压力指数计算公式为:
11、;
12、其中,为当前输入流量速率;为流量最大值;为磁盘实际写入带宽;为磁盘持续写入最大带宽;为io队列深度均值;为io队列深度饱和阈值;为写入平均延迟;为写入延迟饱和阈值;为权重系数,满足。
13、作为本技术方案的进一步优选的:所述stv机制包含滑动窗口均值、窗口标准差、压力变化趋势斜率、多周期序列一致性投票四层计算逻辑;
14、滑动窗口均值公式:
15、;
16、窗口标准差公式:
17、;
18、压力变化趋势斜率公式:
19、;
20、其中,为滑动窗口长度,为采样间隔,为阻尼系数;系统维护长度为的斜率环形队列完成正负趋势投票;同时满足均值阈值、趋势投票、波动收敛、持续时长四项条件时,系统切换过载/正常存储模式。
21、作为本技术方案的进一步优选的:所述ssd+hdd异构存储架构中,ssd采用raid1容错存储元数据,元数据占全量流量数据3%~6%,元数据包含时间戳、五元组、协议、原始数据文件块编号及偏移量;多块hdd独立线程存储原始流量报文,不采用传统raid阵列;磁盘总数为时,每个数据文件块通过xor运算生成1个校验文件块,校验块轮转分配至各磁盘;单磁盘损坏时,通过重构丢失数据块。
22、作为本技术方案的进一步优选的:所述数据重组编排模块执行块对齐分块处理:所有数据文件块、校验文件块尺寸均为4096字节整数倍;单个时间周期末尾剩余数据不足标准块尺寸时,以0x0填充补齐对齐,文件块头部标记有效数据长度;配置跨文件报文寻址算法,依据当前磁盘编号、校验号、编组号迭代计算下一组文件块存储位置。
23、作为本技术方案的进一步优选的:所述解析与流控模块设置两种运行模式:正常模式下完整存储全部报文载荷;过载模式基于ip、端口黑白名单完整留存白名单核心业务流量,针对非核心流量动态调整载荷采样保留比例,仅存储报文头部、时间戳溯源信息,载荷保留比例随系统压力升降同步调整。
24、作为本技术方案的进一步优选的:所述顺序转存模块io_uring开启ioring_setup_sqpoll、ioring_setup_sq_aff标识,写入操作携带o_direct直接i/o标识绕过操作系统页缓存;每一块hdd磁盘独立创建专属io_uring实例并绑定独立cpu核心,批量提交对齐大块i/o写入请求。
25、作为本技术方案的进一步优选的:系统磁盘故障恢复分为故障期间增量数据直接拷贝恢复、故障前存量数据xor重构恢复两种方式;替换故障磁盘后于系统空闲时段执行恢复;出现两块及以上磁盘故障时,系统保持降级写入持续存储新流量,存量数据依据编组保留部分原始数据。
26、作为本技术方案的进一步优选的:一种万兆流量异构多级缓存块对齐转存方法,包含如下步骤:
27、s1、隔离业务cpu核心,dpdkpmd主动轮询万兆网卡,通过大页内存池完成零拷贝报文接收,基于五元组哈希公式分流至各解析线程;
28、s2、预解析报文头部提取五元组、报文长度信息,通过stv机制实时计算系统压力指数,判定过载状态并执行差异化报文存储策略;
29、s3、内存缓存报文并重组分块,按4096字节对齐标准切割,xor运算生成校验块,可选lz4压缩处理;元数据同步写入ssdraid1,数据块、校验块轮转分发至各hdd磁盘;
30、s4、各磁盘独立线程通过io_uring批量顺序写入对齐文件块;磁盘故障时将待写入数据重定向至恢复缓冲区,更换故障磁盘后分阶段完成数据恢复。
31、与现有技术相比,本发明的有益效果是:
32、1、本发明中,采用dpdk pmd零拷贝采集结合io_uring批量直写架构,搭配内存报文块对齐重组,将随机小包流量转换为磁盘最优顺序大块写入,彻底规避传统raid5读改写惩罚与条带锁竞争;各hdd磁盘独立线程并行写入,聚合写入带宽接近所有有效磁盘带宽总和,单盘故障时系统仍可降级满足万兆1.25gib/s线速存储需求,大幅提升海量流量落盘吞吐,降低cpu系统调用与内存拷贝开销。
33、2、本发明中,通过内置stv滑动窗口时序投票压力判定机制,融合流量、io队列、写入延迟多维度指标综合评估系统负载,区别于单一阈值判定易误判缺陷;系统过载时仅剥离非核心流量载荷、完整留存白名单核心报文并保留所有报文头部溯源信息,可动态调节载荷留存比例,有效避免无差别整体丢包,保障网络安全审计、回溯场景下关键业务数据完整可追溯。
34、3、本发明中,采用ssd+hdd异构存储与应用层xor分块容错机制,ssd raid1独立存储少量元数据,检索读取数据量仅为原始流量3%~6%,查询效率显著提升;采用文件块级虚拟条带实现单盘数据完整重构,多块磁盘同时故障时系统可持续写入新流量,存量数据按编组部分保留,相比raid5多盘故障全盘失效的缺陷,存储系统容错鲁棒性大幅提升,搭配lz4压缩可进一步节约10%~20%磁盘存储空间。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com