PCAP文件无缝切换处理方法、装置、设备及介质与流程
本技术涉及网络数据存储领域,特别涉及一种pcap文件无缝切换处理方法、装置、设备及介质。
背景技术:
1、随着网络技术的飞速发展,高速网络流量捕获与分析在网络安全监控、数据中心运维以及通信协议分析等领域中发挥着越来越重要的作用。在高速网络数据采集存储场景中,通常需要将捕获到的网络数据包按照pcap文件格式存储至存储介质中,以便后续进行离线分析和回溯处理。pcap文件格式是网络数据包捕获领域中广泛使用的一种标准文件格式,每一个pcap文件包含一个全局文件头和若干个数据包记录,每个数据包记录包括数据包头和数据内容两部分。
2、在基于异构平台实现高速网络数据采集存储的技术方案中,通常由可编程逻辑(programmable logic,pl)端负责网络数据包的接收、pcap格式打包以及数据缓存,由处理系统(processing system,ps)端运行操作系统并负责文件系统管理和大容量存储介质的读写控制。然而,在实际应用中,为了便于文件管理和数据回溯,需要将连续捕获的网络数据切分为多个pcap文件进行存储,例如按照单个文件大小进行切分。当单个pcap文件的存储大小达到预设阈值时,需要进行文件切换,即关闭当前pcap文件并创建新的pcap文件继续写入。
3、在现有技术中,当需要执行pcap文件切换时,通常由ps端发起切文件指令,pl端在接收到切文件指令后将后续数据写入新文件对应的存储区域。但是,由于网络数据包是以流式方式持续到达的,在切文件指令发出至实际执行文件切换之间存在时间差,此时pl端仍在将当前数据包写入双倍数据速率(double data rate,ddr)存储器中。若在切换时刻未能妥善处理ddr缓存中已经写入但尚未落盘的边界数据,则可能导致数据包被错误地归属至前一个文件或后一个文件,造成pcap文件的数据不完整或格式异常。此外,在低流量场景下,切文件指令发出后可能长时间没有新的数据包到达,导致文件切换无法及时完成,进一步影响数据存储的连续性和可靠性。因此,如何在异构平台上实现pcap文件的无缝切换,避免边界数据丢失或归属错误,成为亟需解决的技术问题。
技术实现思路
1、本技术旨在提出一种pcap文件无缝切换处理方法、装置、设备及介质,能够实现基于zynq架构的高速数据采集存储中pcap文件的无缝切换,避免文件切换过程中边界数据丢失或归属错误。
2、第一方面,本技术实施例提供一种pcap文件无缝切换处理方法,应用于异构平台,所述异构平台包括可编程逻辑端和处理系统端,所述方法包括以下步骤:
3、所述处理系统端响应于当前pcap文件的存储大小超过预设文件阈值,向所述可编程逻辑端发送切文件指令;
4、所述可编程逻辑端响应于所述切文件指令,将文件头添加标志位置高,并在下一帧网络数据打包过程中添加pcap文件头,以及在检测到包含所述pcap文件头的数据包时,将双倍数据速率存储器的写地址切换至下一预设对齐位置,并返回上一缓存空间的数据有效长度;
5、所述可编程逻辑端根据所述数据有效长度,发起与所述数据有效长度相对应的突发写命令,以将边界数据写入所述双倍数据速率存储器中,实现前后pcap文件的无缝切换。
6、根据本技术的一些实施例,所述可编程逻辑端根据所述数据有效长度,发起与所述数据有效长度相对应的突发写命令,包括:
7、所述可编程逻辑端的双倍数据速率写模块在正常状态下按照预设突发长度向所述双倍数据速率存储器写入数据;
8、所述双倍数据速率写模块响应于切文件脉冲,将内部寄存器标志位置高;
9、在所述寄存器标志位置高的情况下,所述双倍数据速率写模块判断先进先出缓存中的数据量是否等于所述数据有效长度,若等于则产生一次突发长度等于所述数据有效长度的写双倍数据速率命令。
10、根据本技术的一些实施例,所述双倍数据速率写模块响应于切文件脉冲,将内部寄存器标志位置高之前,还包括:
11、所述可编程逻辑端的双倍数据速率缓存处理模块在检测到包含所述pcap文件头的数据包时,将所述双倍数据速率存储器的写地址切换至下一预设对齐位置,并返回上一缓存空间的数据有效长度,同时向所述双倍数据速率写模块发起所述切文件脉冲。
12、根据本技术的一些实施例,还包括:所述处理系统端向所述可编程逻辑端发送所述切文件指令后,通过高级可扩展接口总线持续查询所述可编程逻辑端的状态标志位;
13、所述状态标志位默认为低电平,所述可编程逻辑端在检测到包含所述pcap文件头的数据包时将所述状态标志位置高,并将所述状态标志位作为所述切文件指令处理完成的指示反馈至所述处理系统端。
14、根据本技术的一些实施例,所述处理系统端通过高级可扩展接口总线持续查询所述可编程逻辑端的状态标志位之后,还包括:
15、所述处理系统端查询到所述状态标志位变高后,向非易失性内存快速通道盘控制器发起直接内存访问读取命令;
16、所述直接内存访问读取命令用于读取所述可编程逻辑端的双倍数据速率读模块内部缓存先进先出的数据,所述直接内存访问读取的长度根据所述上一缓存空间的数据有效长度确定。
17、根据本技术的一些实施例,所述可编程逻辑端在检测到包含所述pcap文件头的数据包时,将双倍数据速率存储器的写地址切换至下一预设对齐位置,包括:
18、所述可编程逻辑端按照预设突发长度将网络数据以pcap文件格式写入所述双倍数据速率存储器中;
19、在检测到包含所述pcap文件头的数据包时,所述可编程逻辑端将当前写地址跳变至所述下一预设对齐位置,并将在所述下一预设对齐位置之后的数据按照地址递增规律写入所述双倍数据速率存储器。
20、根据本技术的一些实施例,还包括:
21、所述处理系统端向所述可编程逻辑端发送所述切文件指令后,若所述可编程逻辑端在预设超时时间内未检测到包含所述pcap文件头的数据包,则所述可编程逻辑端触发超时机制,执行所述双倍数据速率存储器的写地址切换并返回所述上一缓存空间的数据有效长度。
22、第二方面,本技术实施例提供了一种pcap文件无缝切换处理装置,应用于异构平台,所述异构平台包括可编程逻辑端和处理系统端,所述装置包括:
23、切文件指令发起模块,设置于所述处理系统端,用于响应于当前pcap文件的存储大小超过预设文件阈值,向所述可编程逻辑端发送切文件指令;
24、可编程逻辑处理模块,设置于所述可编程逻辑端,用于响应于所述切文件指令,将文件头添加标志位置高,并在下一帧网络数据打包过程中添加pcap文件头,以及在检测到包含所述pcap文件头的数据包时,将双倍数据速率存储器的写地址切换至下一预设对齐位置,并返回上一缓存空间的数据有效长度;
25、边界数据写入模块,设置于所述可编程逻辑端,用于根据所述数据有效长度,发起与所述数据有效长度相对应的突发写命令,以将边界数据写入所述双倍数据速率存储器中,实现前后pcap文件的无缝切换。
26、第三方面,本技术实施例提供了一种电子设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;
27、所述处理器执行所述计算机程序指令时实现如第一方面所述的pcap文件无缝切换处理方法。
28、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如第一方面所述的pcap文件无缝切换处理方法。
29、本技术实施例的pcap文件无缝切换处理方法、装置、设备及介质,至少具有如下有益效果:
30、本实施方式中,通过处理系统端在检测到当前pcap文件的存储大小超过预设文件阈值时向可编程逻辑端发送切文件指令,可编程逻辑端响应于切文件指令将文件头添加标志位置高,并在下一帧网络数据打包过程中添加pcap文件头,以及在检测到包含pcap文件头的数据包时将双倍数据速率存储器的写地址切换至下一预设对齐位置并返回上一缓存空间的数据有效长度,可编程逻辑端根据数据有效长度发起与数据有效长度相对应的突发写命令以将边界数据写入双倍数据速率存储器中。如此,可以实现pcap文件切换过程中的边界数据完整性保护,确保前后两个pcap文件之间无缝对接,避免边界数据丢失或归属错误,从而提高高速网络数据采集存储的可靠性和数据完整性。同时,该方案由可编程逻辑端与处理系统端协同完成,可编程逻辑端负责边界数据的硬件级检测和完整性处理,处理系统端负责文件切换的决策和触发,两者分工明确、配合紧密,充分发挥了异构平台软硬件协同处理的优势。
31、本技术的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com