基于DPDK内核旁路的网络加速系统及方法与流程

摘要: 本发明属于服务器优化领域,尤其涉及基于dpdk内核旁路的网络加速系统及方法。背景技术:1、在证券期货极速交易、高性能计算等领域,网络延迟与稳定性是决定系统竞争力...
基于DPDK内核旁路的网络加速系统及方法与流程

本发明属于服务器优化领域,尤其涉及基于dpdk内核旁路的网络加速系统及方法。

背景技术:

1、在证券期货极速交易、高性能计算等领域,网络延迟与稳定性是决定系统竞争力的关键指标;随着交易指令处理进入微秒级竞争,传统基于操作系统内核协议栈的网络收发模式已成为主要性能瓶颈;通用内核网络栈存在系统调用与上下文切换频繁、数据多次拷贝以及中断处理不可控等固有缺陷,极易导致cpu处理时延过高及应用性能抖动。尽管当前技术尝试从内核旁路、硬件卸载及线程隔离等单一维度进行改良,但在追求极致低延迟与高度确定性时仍面临以下技术困境。

2、公开号为cn110460540b的专利公开了一种低延迟高频交易系统及方法,通过fpga对交易数据包进行硬件预处理,再通过dpdk高速网卡的数据处理单元建立与pc端的用户态高速通道,实现软硬件协同加速。但该方案侧重于fpga与dpdk网卡之间的硬件信号链路加速,缺乏对应用层内存访问、垃圾回收等计算逻辑抖动的协同优化,也未涉及对复杂业务负载下的资源调度与指令集级别优化,因此在面对交易网关等复杂应用时,难以消除应用层计算引发的微秒级性能毛刺。

3、公开号为cn117978694a的专利公开了一种dpdk实时流量的cpu资源动态控制方法,通过lstm模型预测未来流量,当收包能力不足时动态调整收包线程数量和cpu核心分布。该方案虽实现了基于流量预测的动态资源调度,但资源调节主要面向网络收包能力的满足,未从指令集优化、内存预取等编译执行层面进行加速,也未设计面向业务特征的cpu亲和性调度机制,缺乏对应用层计算逻辑确定性执行的全链路优化手段。

4、公开号为cn117614901a的专利公开了一种基于dpdk的高效并行无锁流表状态处理方法及系统,通过建立与核数相对应的流表和定时器,实现业务流的并行无锁分类处理。该方法通过无锁设计提升了并行处理效率,但其优化主要集中在流表状态管理,未涉及智能网卡的硬件卸载能力与操作系统级调优的深度融合,也未考虑超频环境下负载波动对处理器稳定性的影响,难以实现端到端的确定性低延迟。

5、以上现有技术存在以下问题:现有技术分别从fpga硬件卸载、流量驱动的动态资源调度和并行无锁流表处理等维度对网络延迟进行了改良,但均未能实现智能网卡硬件旁路加速、操作系统级精细化资源隔离与面向高级语言应用的编译执行层极致优化的有机协同。因此,如何在高频密集交易等场景下,消除用户态网络直通加速机制与复杂应用计算逻辑对cpu资源的无序争抢,解决因二者资源调度与执行优化相互割裂而导致的性能抖动问题,构成本领域亟待解决的关键技术问题。

技术实现思路

1、针对现有技术的不足,本发明提出了基于dpdk内核旁路的网络加速系统及方法,所述系统包括用户态直通模块、资源隔离模块及编译优化代理模块,通过dpdk驱动将智能网卡物理接收环形缓冲区映射至用户态虚拟地址空间,建立旁路操作系统内核协议栈的直通数据路径;通过内核启动参数预留专用物理核心并禁用本地中断,将收包处理线程绑定至该专用物理核心,在无中断干扰状态下执行忙轮询;当新报文到达时交由java虚拟机处理,截获即时编译器编译事件,对标记注解的目标方法进行向量化指令序列替换,并对堆内存对象执行末级缓存锁定及同步块锁消除。本发明解决了用户态网络直通与复杂计算逻辑对cpu资源无序争抢导致的微秒级性能抖动问题,实现了高吞吐与低延迟并存的网络加速效果。

2、为实现上述目的,本发明提供如下技术方案:

3、基于dpdk内核旁路的网络加速系统,应用于边缘计算节点,所述边缘计算节点部署于所述智能网卡的物理接收端口与所述用户态应用进程的业务处理端口之间的直通数据通道上,包括:

4、用户态直通模块,被配置为:获取用户态应用进程与智能网卡之间的直通数据路径,所述直通数据路径是通过dpdk驱动将所述智能网卡的物理接收环形缓冲区映射至所述用户态应用进程的虚拟地址空间而建立的,用于使所述用户态应用进程旁路操作系统内核协议栈直接存取报文缓冲数据结构中的报文负载数据;

5、资源隔离模块,被配置为:获取为所述用户态应用进程中的收包处理线程所绑定的专用物理核心,所述专用物理核心由内核启动参数预留并禁用本地中断,并通过重定向所述智能网卡硬件队列中断至通用物理核心集,以使所述收包处理线程在无中断干扰状态下对所述物理接收环形缓冲区的写指针寄存器值执行忙轮询。

6、具体地,网络加速系统,还包括:

7、编译优化代理模块,被配置为:当所述忙轮询判定有新报文到达时,将所述报文负载数据交由运行于所述专用物理核心上的java虚拟机进程处理,并在所述java虚拟机进程处理过程中,截获即时编译器触发的代码编译事件;

8、根据所述代码编译事件,对所述java虚拟机进程中标记有向量化优化注解的目标方法,执行指令序列替换操作,将所述目标方法的循环体操作指令序列替换为所述专用物理核心支持的向量化单指令多数据流指令序列;

9、根据所述java虚拟机进程中标记有缓存常驻注解的堆内存对象,在全局垃圾回收完成后执行末级缓存锁定操作,将所述堆内存对象的数据驻留于末级缓存;同时,对标记有锁消除注解的同步块,移除其对应的字节码同步指令。

10、具体地,用户态直通模块包括缓冲区聚合单元和页表映射执行单元,所述缓冲区聚合单元,被配置为:

11、获取所述智能网卡上报的硬件接收队列数量n,其中n为大于1的整数;

12、遍历所述n个硬件接收队列对应的n个物理接收环形缓冲区,提取每个物理接收环形缓冲区的物理基地址和缓冲区长度;

13、在所述用户态应用进程的虚拟地址空间中,计算并预留一段总长度为所述n个物理接收环形缓冲区的缓冲区长度之和的连续虚拟地址区间,并将所述连续虚拟地址区间的起始虚拟地址作为聚合基地址。

14、具体地,页表映射执行单元,被配置为:以所述聚合基地址为映射目标起始地址,以所述n个物理接收环形缓冲区的物理基地址列表为映射源地址集合,以所述n个物理接收环形缓冲区的缓冲区长度列表为映射尺寸参数集合,调用所述dpdk驱动提供的单次批量页表映射接口,一次性建立所述连续虚拟地址区间与所述n个物理接收环形缓冲区之间的完整页表映射关系,使得第i个物理接收环形缓冲区的物理基地址对应于所述聚合基地址加上前(i-1)个物理接收环形缓冲区的缓冲区长度累计值所得的虚拟地址偏移位置,其中i为从1至n的整数。

15、具体地,用户态直通模块还包括直接引用建立单元和零拷贝访问封装单元:所述直接引用建立单元,被配置为:获取所述报文缓冲数据结构中用于存储报文负载数据的内存指针字段地址;将所述内存指针字段地址所存储的指针值,更新为所述物理接收环形缓冲区在用户态虚拟地址空间中对应的映射基地址加上当前报文数据在所述物理接收环形缓冲区中的偏移量所得的虚拟地址,使所述报文缓冲数据结构中的报文负载数据指针直接指向所述物理接收环形缓冲区中报文数据的原始存储位置;所述零拷贝访问封装单元,被配置为:向上层业务处理逻辑提供报文数据访问接口,当所述上层业务处理逻辑通过所述报文数据访问接口请求读取所述报文负载数据时,返回所述报文负载数据指针的副本,使所述上层业务处理逻辑通过所述报文负载数据指针的副本直接对所述物理接收环形缓冲区中报文数据的原始存储位置执行内存读取操作,绕过所述用户态应用进程的堆内存分配器。

16、具体地,用户态直通模块还包括状态标记单元和回收同步单元:所述状态标记单元,被配置为:当所述应用进程完成对所述报文缓冲数据结构中报文负载数据的处理后,获取所述报文缓冲数据结构中用于记录缓冲区位占用状态的状态标记字段地址;将所述状态标记字段地址所存储的状态值从表示占用状态的第一状态值更新为表示释放状态的第二状态值,使所述报文缓冲数据结构对应的物理接收环形缓冲区中的缓冲区位被标记为待回收状态;所述回收同步单元,被配置为:遍历所述报文缓冲数据结构中状态标记字段值为所述第二状态值的报文缓冲数据结构,提取被标记为待回收状态的缓冲区位在所述物理接收环形缓冲区中的偏移量,将所述偏移量作为回收参数调用所述dpdk驱动的缓冲区释放接口,使所述智能网卡根据所述偏移量将对应缓冲区位归还至所述物理接收环形缓冲区的可分配空间池,并更新所述物理接收环形缓冲区中描述符表项的空闲位域为可分配状态。

17、基于dpdk内核旁路的网络加速方法,包括:

18、获取用户态应用进程与智能网卡之间的直通数据路径,所述直通数据路径是通过dpdk驱动将所述智能网卡的物理接收环形缓冲区映射至所述用户态应用进程的虚拟地址空间而建立的,用于使所述用户态应用进程旁路操作系统内核协议栈直接存取报文缓冲数据结构中的报文负载数据;

19、获取为所述用户态应用进程中的收包处理线程所绑定的专用物理核心,所述专用物理核心由内核启动参数预留并禁用本地中断,并通过重定向所述智能网卡硬件队列中断至通用物理核心集,以使所述收包处理线程在无中断干扰状态下对所述物理接收环形缓冲区的写指针寄存器值执行忙轮询;

20、当所述忙轮询判定有新报文到达时,将所述报文负载数据交由运行于所述专用物理核心上的java虚拟机进程处理,并在所述java虚拟机进程处理过程中,截获即时编译器触发的代码编译事件;

21、根据所述代码编译事件,对所述java虚拟机进程中标记有向量化优化注解的目标方法,执行指令序列替换操作,将所述目标方法的循环体操作指令序列替换为所述专用物理核心支持的向量化单指令多数据流指令序列;

22、根据所述java虚拟机进程中标记有缓存常驻注解的堆内存对象,在全局垃圾回收完成后执行末级缓存锁定操作,将所述堆内存对象的数据驻留于末级缓存;同时,对标记有锁消除注解的同步块,移除其对应的字节码同步指令。

23、与现有技术相比,本发明的有益效果是:

24、本发明通过用户态直通模块建立dpdk驱动的网卡物理接收环形缓冲区到用户态虚拟地址空间的直接映射,使应用进程旁路内核协议栈直接存取报文数据,从根本上消除了内核态与用户态之间的数据拷贝及上下文切换开销,从而降低单包处理时延;通过资源隔离模块将收包处理线程经cpu亲和性掩码绑定至内核启动参数预留的专用物理核心,并将网卡硬件队列中断重定向至通用核心集,使收包线程在禁用本地中断的状态下对物理接收环形缓冲区写指针寄存器执行忙轮询,消除了硬件中断抢占引发的tlb表项逐出及缓存行失效事件,保障了高负载下的时延确定性;进一步通过编译优化代理模块截获即时编译器编译事件,对标记注解的目标方法进行向量化指令序列替换、对堆内存对象执行末级缓存锁定及同步块锁消除,消除了java虚拟机因即时编译重优化、垃圾回收停顿及缓存缺失引发的计算逻辑时延抖动,最终实现了用户态网络直通加速机制与复杂应用计算逻辑在cpu资源利用上的有序协同,在极速交易等高频密集场景下稳定达成微秒级全链路低延迟响应。