一种网络数据包处理方法和装置与流程

技术特征：
1.一种网络数据包处理方法，其特征在于，应用于网络数据包处理系统，所述系统包括dpdk抓包框架、kafka分布式订阅框架、以及geode分布式内存数据库；所述kafka分布式订阅框架包括kafka生产者接口、kafka集群以及kafka消费者，所述方法包括：基于所述dpdk抓包框架，在用户层抓取网络数据；将抓取的所述网络数据组织成预设格式的数据包；通过调用所述kafka生产者接口，将所述数据包发送至所述kafka集群；通过多台虚拟机上部署的kafka消费者，分别消费所述kafka集群中的数据包；将消费后的数据包保存至所述geode分布式内存数据库；对所述geode分布式内存数据库中的所述消费后的数据包进行解析，得到目标数据包。2.根据权利要求1所述的方法，其特征在于，所述dpdk抓包框架中包括无锁缓存队列，所述基于所述dpdk抓包框架，在用户层抓取网络数据之后，所述方法还包括：将所述网络数据存入所述无锁缓存队列中。3.根据权利要求2所述的方法，其特征在于，所述将抓取的所述网络数据组织成预设格式的数据包，包括：将所述无锁缓存队列中的网络数据组织成预设格式的数据包。4.根据权利要求1所述的方法，其特征在于，所述将所述数据包发送至所述kafka集群之后，所述方法还包括：所述kafka集群将所述数据包存入内存缓存中；所述分别消费所述kafka集群中的数据包之前，所述方法还包括：根据所述内存缓存中所述数据包的流量，确定第一数量的kafka消费者线程；通过所述第一数量的kafka消费者线程，分别从所述内存缓存中获取所述数据包。5.根据权利要求1所述的方法，其特征在于，所述对所述geode分布式内存数据库中的所述消费后的数据包进行解析，得到目标数据包，包括：根据所述geode分布式内存数据库中的所述消费后的数据包的流量，确定第二数量的解析程序线程；通过所述第二数量的解析程序线程，分别解析所述消费后的数据包，得到目标数据包。6.根据权利要求1所述的方法，其特征在于，所述得到目标数据包之后，所述方法还包括：将所述目标数据包保存至所述geode分布式内存数据库。7.一种网络数据包处理装置，其特征在于，应用于网络数据包处理系统，所述系统包括dpdk抓包框架、kafka分布式订阅框架、以及geode分布式内存数据库；所述kafka分布式订阅框架包括kafka生产者接口、kafka集群以及kafka消费者，所述装置包括：抓取模块，用于基于所述dpdk抓包框架，在用户层抓取网络数据；组织模块，用于将抓取的所述网络数据组织成预设格式的数据包；调用模块，用于通过调用所述kafka生产者接口，将所述数据包发送至所述kafka集群；消费模块，用于通过多台虚拟机上部署的kafka消费者，分别消费所述kafka集群中的数据包；第一保存模块，用于将消费后的数据包保存至所述geode分布式内存数据库；解析模块，用于对所述geode分布式内存数据库中的所述消费后的数据包进行解析，得
到目标数据包。8.根据权利要求7所述的装置，其特征在于，所述dpdk抓包框架中包括无锁缓存队列，所述装置还包括：第一缓存模块，用于将所述网络数据存入所述无锁缓存队列中。9.根据权利要求8所述的装置，其特征在于，所述组织模块，包括：组织子模块，用于将所述无锁缓存队列中的网络数据组织成预设格式的数据包。10.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二缓存模块，用于所述kafka集群将所述数据包存入内存缓存中；所述装置还包括：确定线程模块，用于根据所述内存缓存中所述数据包的流量，确定第一数量的kafka消费者线程；获取数据包模块，用于通过所述第一数量的kafka消费者线程，分别从所述内存缓存中获取所述数据包。11.根据权利要求7所述的装置，其特征在于，所述解析模块，包括：确定子模块，用于根据所述geode分布式内存数据库中的所述消费后的数据包的流量，确定第二数量的解析程序线程；解析子模块，用于通过所述第二数量的解析程序线程，分别解析所述消费后的数据包，得到目标数据包。12.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二保存模块，用于将所述目标数据包保存至所述geode分布式内存数据库。13.一种用于网络数据包处理的装置，其特征在于，包括：一个或多个处理器；和其上存储有计算机程序的一个或多个可读存储介质，当所述计算机程序由所述一个或多个处理器执行时，使得所述装置执行如权利要求1至6所述的一个或多个的网络数据包处理方法。14.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1至6任一项所述的网络数据包处理方法。

技术总结
本发明实施例提供了一种网络数据包处理方法和装置，应用于网络数据包处理系统，所述系统包括DPDK抓包框架、Kafka分布式订阅框架、以及geode分布式内存数据库；所述Kafka分布式订阅框架包括Kafka生产者接口、Kafka集群以及Kafka消费者，其中的方法包括：基于所述DPDK抓包框架，在用户层抓取网络数据；将抓取的所述网络数据组织成预设格式的数据包；通过调用所述Kafka生产者接口，将所述数据包发送至所述Kafka集群；通过多台虚拟机上部署的Kafka消费者，分别消费所述Kafka集群中的数据包；将消费后的数据包保存至所述geode分布式内存数据库；对所述geode分布式内存数据库中的所述消费后的数据包进行解析，得到目标数据包。本发明可以减少网络数据包处理过程中内核态与用户态之间的切换次数。户态之间的切换次数。户态之间的切换次数。


技术研发人员：耿小敏
受保护的技术使用者：大唐移动通信设备有限公司
技术研发日：2020.06.22
技术公布日：2022/1/10