一种高性能构件化的数据包处理框架的制作方法

1.本发明属于计算机网络领域，具体涉及一种高性能构件化的数据包处理框架。


背景技术：

2.如今，网络安全已经成为国家安全的重要组成部分，为了保证网络的安全，需要使用多样的网络安全设备来应对越来越多样化的网络攻击。
3.然而，随着硬件网络安全设备的不断增多，一些问题也逐渐显露了出来。首先，随着网络攻击的日渐复杂多变，为了应对一种新的网络攻击，可能就需要引入一种新的安全设备，在有限的网络中心中为新设备开辟空间并配备合适的电力条件变得越来越难。其次，专用硬件设备需要集成越来越多的安全策略，大大增加了硬件的设计难度。新型网络攻击不断出现，而硬件设备的开发周期较长，硬件安全设备很快就会落后于网络攻防技术的发展形势，甚至阻碍新型安全技术的产生。再次，不同厂商的网络设备的操作大相径庭，使用多种厂家的设备使得网络管理员疲于适应各种各样的网络操作系统而疏于网络安全的保障，但如果只使用同一厂家的设备则会造成厂商绑定，从而产生更严重的安全隐患。最后，为了在网络峰值时保证高可用性，网络中心必须预留出足够的硬件设备，这在闲时则会造成大量的资源浪费。网络功能虚拟化概念的提出使得这些问题的解决迎来了转机。网络功能虚拟化使用标准的虚拟化技术，将软件网络功能的实现与底层的硬件解耦，并将软件实现的虚拟网络功能整合到通用的硬件设备中。
4.使用网络功能虚拟化将在专用硬件上部署的网络服务转换到软件上来面临的最重要的问题就是性能问题，软硬件之间性能上数量级的差距成为了网络功能虚拟化发展最大的瓶颈。幸好，最近一些高速包转发库(dpdk，netmap， pf_ring)与新型国产硬件技术的发展(多核/众核处理器技术)，使得软件实现的虚拟网络功能的性能逼近硬件成为了可能。但是，上层的应用开发者很难利用这些底层的库或是硬件来形成高性能高可用的网络应用，同时使用这些底层库或是硬件驱动要对底层架构有比较清晰的了解，这就要求网络功能的开发者需要掌握一定的硬件架构上的知识，这使得将网络设备软件化的进程进展缓慢。
5.使用软件的方式实现网络功能的另一个障碍就是将网络服务的需求转化为真实部署在通用服务器上的实例。就如同之前硬件的解决方案所面临的问题，在现有的框架中，使用底层的高速包转发库与硬件技术要形成真正可用的虚拟网络功能需要对批处理大小，并行化等一系列参数进行重复的调优，严重阻碍了虚拟网络功能部署在通用硬件上的进程。底层多种多样的转发库与软硬件驱动，虽然带来了较高的硬件性能，但是也带来了高复杂性，开发者很难利用这些库来开发现实的网络功能。使得用户需求的服务部署在通用的硬件上需要漫长的时间，这就使网络功能虚拟化的发展陷入了一个困境，既不能达到硬件的高性能，也不能够实现网络服务的快速开发与部署。


技术实现要素：

6.(一)要解决的技术问题
7.本发明要解决的技术问题是如何提供一种高性能构件化的数据包处理框架，以解决现有的网络功能虚拟化既不能达到硬件的高性能，也不能够实现网络服务的快速开发与部署的问题。
8.(二)技术方案
9.为了解决上述技术问题，本发明提出一种高性能构件化的数据包处理框架，该框架包括硬件层、数据包处理与加速器驱动层、虚拟网络功能组件层、虚拟网络功能层和网络服务层，
10.硬件层：通用的硬件为其他各层提供计算、网络、存储和加速器资源的支持；
11.数据包处理与加速器驱动层：管理硬件资源并为上层网络应用提供高速的数据包处理与管理库；
12.虚拟网络功能组件层：虚将虚拟网络功能组件vnfc划分为两种基本的模型 vnode和vlink；vnode处理以cpu处理为中心的数据包操作，而vlink描述了 vnode之间的关联关系，处理vnode功能链之间，vnode与驱动之间的数据包流转，并且用户能通过vnode与vlink模板的接口函数，增加自定义的虚拟网络功能组件；
13.虚拟网络功能层：一个虚拟网络功能由一个或者多个虚拟网络功能组件组成，每个虚拟网络功能都是网络中间件的软件实现，用户使用虚拟网络功能组件搭建自定义的虚拟网络功能；
14.网络服务层：网络服务层是能够被业务支撑系统直接使用的集成功能，它描述了虚拟网络功能的排列拓扑与依赖关系。
15.进一步地，vnode包括以下七个部分：
16.数据包包头过滤器：当一批数据包经过数据包包头过滤器时，用户定义的特定的数据包包头字段会被抽取出来作为数据包注解进入查询器中进行处理，同时将完整的数据包在内存缓冲区中进行缓存；
17.规则表：规则表是流表的一种实现,规则表中的键是数据包信息的任意组合，动作id是索引预定义动作方法体的唯一标志符；
18.查询器：查询器根据特定的数据包头字段信息检索规则表，然后找到相匹配的处理动作id，动作id与预定义的包处理动作相对应；
19.动作表：动作表存储着动作id与动作方法体之间一一对应的关系；
20.动作执行器：动作执行器遍历预定义好的规则表去匹配一批数据包的动作 id，然后执行匹配到动作id的方法体，获取整批的数据包，然后根据方法体的执行结果给这些数据包的注解打上标记；
21.分发器：分发器决定数据包应该通过哪个连接点，分发器通过检查数据包注解上的标记信息，重定向数据包流，使数据包通过对应的连接点；
22.连接点：连接点是vnfc的起点和终点。每个vnfc可以有一个或多个输入连接点和3个或更多的输出连接点。
23.进一步地，规则表中的键是数据包信息的任意组合，数据包信息为macda， vlan，ipsa和载荷。
24.进一步地，每个vnfc只能存在一个规则表，当规则表为空时，vnfc将会使用默认的规则，即绕过这个vnfc。
25.进一步地，打在数据包上的标记只有三种——丢弃、转发到vlink和转发到vnode。
26.进一步地，在配置文件中对连接点进行注册，每个连接点拥有一个唯一的标识符去所引导连接点的详细信息，连接点是一个方法接口，而连接点之间的连接是方法调用。
27.进一步地，vlink包括三个部分：
28.接收/输出环形队列：接收/输出环形队列基于包处理框架实现，使用包处理框架提供的共享内存管理与cpu支持的直接内存访问技术实现零拷贝的数据包处理；当使用vlink与硬件进行交互时，接收/输出环形队列将会使用硬件驱动提供的输入输出队列，以半软件化、半硬件的方式实现；
29.卸载方法：将vlink中转出队列进入的数据包负载卸载到硬件驱动或者软件库提供的队列中，并使用轮询的方式接收经过硬件或者软件库处理的数据包，并将其放入接收队列中；
30.连接点：vlink中只能存在两个连接点，一个负责与前驱节点的输出端限量，一个负责与后继节点的输入端相连。
31.进一步地，用户使用ini形式的配置文件，自底向上地配置出具体业务需要的网络服务，首先，用户从虚拟网络构件库中明确选取的构件类型，然后为每个构件分配硬件资源；最后确定构件之间的连接点的连接关系，这样的一组配置项作为一个虚拟网络功能的描述符。
32.进一步地，该框架采用了流水线与运行至完成相结合的方式，对于单独的虚拟网络功能，采用运行至完成的模式将所有的执行逻辑运行在同一个cpu核心上完成，在虚拟网络功能之间，采用流水线的形式，不同的虚拟网络功能执行不同的数据包处理逻辑，部署在不同的核心上。
33.进一步地，该框架框架通过解析网络服务描述文件以连接虚拟网络功能构件的方式形成可用的网络，具体步骤如下：
34.检查输入参数：检查由配置文件解析而来的参数是否为空，输入端口输出端口数量是合理且匹配；
35.创建虚拟网络功能：注册虚拟网络功能的标识符，根据配置文件为虚拟网络功能分配硬件资源；
36.创建vlink构件：注册vlink构件的标识符，使用配置文件中的批处理大小参数调用vlink的创建函数为vlink构件分配资源并初始化；
37.创建vnode构件：注册vnode构件的标识符，根据配置文件中的规则表的文件路径使用vnode构件创建规则表的方法初始化并填充规则表，然后根据配置文件的16进制数据包头掩码调用vnode的创建方法完成对包头过滤器、动作表、动作执行器和分发器的创建；
38.连接输入输出端口：相连的vnode与vlink的连接点相互注册；
39.开启网络服务：创建并启动默认的控制节点，控制节点通过消息队列与虚拟网络功能进行通讯。
40.(三)有益效果
41.本发明提出一种高性能构件化的数据包处理框架，与现有的技术相比，本发明提
出了vnode与vlink两种构件虚拟网络功能的组件的基本模型，虚拟网络功能组件能够基于基本模型快速开发。提供包括数据包分类器，二层交换，简单路由，数据包队列在内的一批基于vlink，vnode实现的简单虚拟网络功能组件，用户在不进行虚拟网络功能组件开发的情况下，能够使用ini形式的配置语言，将基本的虚拟网络功能组件配置成可用的网络功能，并达到与专用硬件产品相当的性能。我们使用了pktgen数据包生成工具对虚拟网络功能组件组成的网络功能和服务链进行了测试，从实验结果来看，使用本发明搭建的网络功能具有较高的性能和良好的扩展性，不同网络功能组成服务链后仍具有较高的性能。
附图说明
42.图1为本发明整体架构图；
43.图2为本发明的vnode模型结构图；
44.图3为本发明的vlink模型结构图；
45.图4本发明与linux协议栈吞吐量对比；
46.图5网卡单端口情境下本发明的吞吐量；
47.图6网卡全端口情境下本发明的吞吐量；
48.图7实现不同网络功能的吞吐量。
具体实施方式
49.为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
50.本发明的目的就是提出一个能够利用现有的软硬件技术快速地将现有的安全网络服务需求迅速转化为部署在通用硬件上的网络功能的数据包处理框架，并达到与硬件网络设备相当的性能。
51.1.整体架构
52.图1为本发明的整体架构图，如图1所示，整体架构包含如下5层：
53.硬件层：通用的硬件为其他各层提供计算、网络、存储和加速器资源的支持。
54.数据包处理与加速器驱动层：管理硬件资源并为上层网络应用提供高速的数据包处理与管理库。
55.虚拟网络功能组件层：虚拟网络功能组件vnfc是一个虚拟网络功能的组成部分，它实现了一个虚拟网络功能功能的子集。我们将虚拟网络功能组件划分为两种基本的模型vnode和vlink。vnode处理以cpu处理为中心的数据包操作，例如规则表的查询，数据包包头的解析等；而vlink描述了vnode之间的关联关系，主要处理vnode功能链之间，vnode与驱动(网卡驱动、加速引擎驱动) 之间的数据包流转。并且用户可以通过vnode与vlink模板的接口函数，增加自定义的虚拟网络功能组件。
56.虚拟网络功能层：一个虚拟网络功能可以由一个或者多个虚拟网络功能组件组成。每个虚拟网络功能都是现实世界中网络中间件的软件实现。用户可以系统配置的方式使用虚拟网络功能组件搭建自定义的虚拟网络功能。
57.网络服务层：网络服务层是能够被业务支撑系统直接使用的集成功能，它描述了虚拟网络功能的排列拓扑与依赖关系。
58.2.vnode模型
59.vnode实现了对规则表查询过程的封装。如图2所示一个典型的vnode包括以下七个部分：
60.数据包包头过滤器：当一批数据包经过数据包包头过滤器时，用户定义的特定的数据包包头字段会被抽取出来作为数据包注解进入查询器中进行处理，同时将完整的数据包在内存缓冲区中进行缓存，通常的数据包处理操作只需对包头中的数据处理，只有在执行与数据包载荷相关的数据包处理动作时，才需要对内存缓冲区中的完整数据包进行访问。
61.规则表：规则表是流表的一种实现。规则表中的键可以是数据包信息的任意组合，例如：macda，vlan，ipsa，载荷等。动作id是索引预定义动作方法体的唯一标志符。每个vnfc只能存在一个规则表，当规则表为空时，vnfc将会使用默认的规则，即绕过这个vnfc。
62.查询器：查询器根据特定的数据包头字段信息检索规则表，然后找到相匹配的处理动作的id，这些id与预定义的包处理动作相对应。
63.动作表：动作表存储着动作id与动作方法体之间一一对应的关系。
64.动作执行器：动作执行器遍历预定义好的规则表去匹配一批数据包的动作 id。然后执行匹配到动作id的方法体，获取整批的数据包，然后根据方法体的执行结果给这些数据包的注解打上标记。在我们的设计中，打在数据包上的标记只有三种——丢弃、转发到vlink和转发到vnode。
65.分发器：分发器决定数据包应该通过哪个连接点。分发器通过检查数据包注解上的标记信息，重定向数据包流，使数据包通过对应的连接点。
66.连接点：连接点是vnfc的起点和终点。每个vnfc可以有一个或多个输入连接点和3个或更多的输出连接点。在我们使用连接点前，我们必须在配置文件中对连接点进行注册，每个连接点拥有一个唯一的标识符去所引导连接点的详细信息。通常连接点是一个方法接口，而连接点之间的连接是方法调用。
67.3.vlink模型
68.vlivk将数据包从前驱节点的发送队列发送到后继节点的接受队列，并使用统一定义的接口对将数据包负载卸载到加速器驱动上进行了封装。如图3所示，一个vlink主要包括三个部分：
69.接收/输出环形队列：接收/输出环形队列基于包处理框架实现。他们使用包处理框架提供的共享内存管理与cpu支持的直接内存访问技术实现零拷贝的数据包处理。当使用vlink与硬件进行交互时，接收/输出环形队列将会使用硬件驱动提供的输入输出队列，以半软件化、半硬件的方式实现。
70.卸载方法：卸载方法实现了将vlink中转出队列进入的数据包负载卸载到硬件驱动或者软件库提供的队列中，并使用轮询的方式接收经过硬件或者软件库处理的数据包，并将其放入接收队列(针对数据包处理逻辑的接收队列)中。
71.连接点：vlink中的连接点与vnode中的连接点类似，唯一的不同是vlink 中只能存在两个连接点，一个负责与前驱节点的输出端限量，一个负责与后继节点的输入端相连。
72.4.配置网络服务
73.我们预制了一系列基础的构件。基于vnode模型实现的二层交换、三层交换、路由、
防火墙、安全网关等和基于vlink模型实现的多队列网卡通道、加密卸载队列、加速器卸载队列和软件缓冲区队列等。用户使用ini形式的配置文件，自底向上地配置出具体业务需要的网络服务。首先，用户从虚拟网络构件库中明确选取的构件类型。然后为每个构件分配网卡、cpu、加速器等硬件资源，用户可以根据硬件资源亲和性的原则进行配置以获取更好的性能。最后确定构件之间的连接点的连接关系，这样的一组配置项作为一个虚拟网络功能的描述符。
74.在我们的框架中，采用了流水线与运行至完成相结合的方式，对于单独的虚拟网络功能，我们采用运行至完成的模式将所有的执行逻辑运行在同一个cpu 核心上完成，可以充分利用缓存中的数据，方便进行数据预取等操作。而在虚拟网络功能之间，我们采用流水线的形式，不同的虚拟网络功能执行不同的数据包处理逻辑，部署在不同的核心上，方便网络管理员对虚拟网络功能的执行逻辑进行单独的性能优化，使整体的性能达到更优。同时将多个虚拟网络功能以流水线的形式部署在多个核心上，也能减少线程之间切换，优化性能。基于这样数据包转发模型，我们将实际的网络服务通过网络功能连接图拆分为一个个互相连接的虚拟网络功能，通过简单的配置虚拟网络功能的连接关系即可搭建出完整的网络服务。描述了完整的网络功能的ini配置文件我们称之为网络服务描述文件。
75.5.运行网络服务
76.我们的框架通过解析网络服务描述文件以连接虚拟网络功能构件的方式形成可用的网络，具体步骤如下：
77.检查输入参数：检查由配置文件解析而来的参数是否为空，输入端口输出端口数量是合理且匹配。
78.创建虚拟网络功能：注册虚拟网络功能的标识符，根据配置文件为虚拟网络功能分配cpu、网卡、加速器等硬件资源。
79.创建vlink构件：注册vlink构件的标识符，使用配置文件中的批处理大小参数(如果没有设置则为默认的32)调用vlink的创建函数为vlink构件分配资源并初始化。
80.创建vnode构件：注册vnode构件的标识符，vnode中的动作表目前没有开放用户的定制功能。默认的动作表只存在三种默认的模式：丢弃数据包，将数据包发送到端口和将数据包发送到规则表。这对于大多数的网络功能来说已经够用。根据配置文件中的规则表的文件路径使用vnode构件创建规则表的方法初始化并填充规则表。然后根据配置文件的16进制数据包头掩码调用vnode的创建方法完成对包头过滤器、动作表、动作执行器和分发器的创建。
81.连接输入输出端口：相连的vnode与vlink的连接点相互注册。
82.开启网络服务：创建并启动默认的控制节点，控制节点通过消息队列与虚拟网络功能进行通讯，目前框架提供了一个简单的命令行工具使用控制节点对虚拟网络功能进行运行时控制(更改策略，启动，停止等)。
83.6.框架性能度量
84.我们将两台服务器直连，其中一台服务器运行pktgen分别产生64b，128b， 256b，512b和1024b的数据包作为测试数据源，另一台运行测试程序。每台服务器均配置四个cpu节点，2张全双工双端口40gb的网卡，使用linux系统。
85.场景一本发明与linux协议栈对比
86.测试服务器分别运行linux网络协议栈和基于本发明搭建的ip路由器。如图4所示，在最好的情况下linux网络协议栈的吞吐仅为6.3gb/s，而在64b包大小的情况下，本发明搭建的ip路由器已经可以达到6.8gb/s的吞吐，在数据包大小达到1024b大小时，已经可以达到网卡的线速度。与linux网络协议栈相比，本发明搭建的ip路由器性能提高了8
‑
10倍。
87.场景二本发明的性能与拓展性
88.测试服务器运行本发明搭建的ip路由器，第一次测试运行单个ip路由器实例，服务器使用单个网卡端口与单个cpu节点，第二次测试运行4个ip路由器实例，服务器使用4个网卡端口与全部4个cpu节点。如图5所示，当数据包大小达到512b时，ip路由器的吞吐已经能够达到数据源产生数据包的速度，当数据包大小持续增大，ip路由器的处理速度将达到网卡端口的线速度。根据统计，网络上的数据包的平均大小为744b，ip路由器在实际应用中可以保证以网卡线速度进行转发。如图6所示，当ip路由器从单网卡端口扩展到多网卡端口，从单核扩展到多核之后，ip路由器的性能并没有受到影响，在512b数据包大小的情况下就达到了网卡的线速度，由于网卡型号的限制，当单张网卡同时使用两个端口时，网卡的线速度只能达到50gb/s。
89.场景三本发明实现的不同网络功能与服务链的性能
90.我们使用本发明的框架搭建了网络中十分常见的ip路由器(rt)，防火墙 (fw)，流分类器(fc)与二层交换机(l2fwd)。首先测试了这些网络功能单独运行时的性能，为每个网络功能创建两个实例，将它们配置运行在同一节点的不同的cpu核上，每个实例处理该cpu节点双端口网卡的一个端口，然后将这4 个网络功能的八个实例(在8个cpu核上)串联成2串服务链(fw
‑
fc
‑
rt
‑
l2fwd) 每个服务链负责处理该节点双端口网卡的一个端口。从图7中我们看出，在运行单个网络功能的时候，在处理512b大小的数据包时，网络功能就基本可以达到网卡的线速度，在数据包大小大于512b的时候，安全网关处理数据包的能力已经基本达到网卡收发数据包的速率。从图7中，我们发现，串联连接的网络功能的性能只是稍稍低于组成它的网络功能中性能最差的那一部分。数据包在应用程序内部从一个网络功能被送往另一个网络功能是通过传递指针而不是整个数据包复制实现的，因此，只有很少的一部分的通讯开销在这个过程中产生。
91.与现有的技术相比，本发明提出了vnode与vlink两种构件虚拟网络功能的组件的基本模型，虚拟网络功能组件能够基于基本模型快速开发。提供包括数据包分类器，二层交换，简单路由，数据包队列在内的一批基于vlink，vnode 实现的简单虚拟网络功能组件，用户在不进行虚拟网络功能组件开发的情况下，能够使用ini形式的配置语言，将基本的虚拟网络功能组件配置成可用的网络功能，并达到与专用硬件产品相当的性能。我们使用了pktgen数据包生成工具对虚拟网络功能组件组成的网络功能和服务链进行了测试，从实验结果来看，使用本发明搭建的网络功能具有较高的性能和良好的扩展性，不同网络功能组成服务链后仍具有较高的性能。
92.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。