分析型数据库透明加密自适应加速方法、系统及存储介质与流程

摘要: 本申请属于数据库加密存储,尤其涉及一种分析型数据库透明加密自适应加速方法、系统及存储介质。背景技术:1、随着信息安全性愈发重要,数据库透明加密实现保护存储层数据...
分析型数据库透明加密自适应加速方法、系统及存储介质与流程

本申请属于数据库加密存储,尤其涉及一种分析型数据库透明加密自适应加速方法、系统及存储介质。

背景技术:

1、随着信息安全性愈发重要,数据库透明加密实现保护存储层数据安全的功能被广泛使用,但由于数据加密存储使用加密算法方式不同,存储速度不同,都比未加密表耗时严重。尤其是分析型mpp数据库通常存储海量数据,其加密存储面临着以下技术痛点:

2、(1)传统数据库透明加密完全依赖cpu通用指令执行sm4等加解密运算,对于分析型数据库常见的批量数据扫描、大规模导入导出等场景,加解密开销可导致整体查询性能下降50%左右。

3、(2)现有硬件加速方案(如cpu集成的密码协处理器、独立加密卡等)通常需要修改应用程序代码或替换底层密码库,数据库系统代码庞大、耦合度高,难以在不侵入核心代码的前提下接入硬件加速能力。

4、(3)现有硬件加速方案缺乏根据数据块大小、系统负载状态、硬件繁忙度等维度进行动态决策的机制,对于小数据块加密场景,硬件加速通道的调度开销会超过cpu直接执行软件加密的时间,导致所谓的"负优化"现象。

5、(4)析型数据库的批量导入(load data)、全表扫描等操作涉及大量连续数据页的加密处理,现有方案将每个数据页的加密视为独立任务逐个提交,无法充分利用密码协处理器的多通道并行能力和流水线特性,导致硬件利用率低下。

技术实现思路

1、有鉴于此,本申请旨在提出一种分析型数据库透明加密自适应加速方法、系统及存储介质,以解决上述至少一个问题。

2、为达到上述目的,本申请的技术方案是这样实现的:

3、第一方面,本申请提供了一种分析型数据库透明加密自适应加速方法,包括:

4、基于数据库参数配置,在数据库启动过程中执行初始化操作,包括:根据cpu特性检测cpu内部的密码协处理器及其dma通道能力,通过调用申请共享内存并建立无锁环形缓冲区和dma数据缓冲区;

5、通过在数据库透明加密接口处,基于自适应阈值调度机制决策单数据块加密执行路径,并依据密码协处理器的当前队列深度和cpu利用率动态调整自适应调度阈值;其中,在所述硬件加密路径中,将构造的加密命令描述符写入所述无锁环形缓冲区,由密码协处理器通过dma读取数据并写回加密结果;

6、将批量加密请求中的数据页按照dma通道数分组,将各分组的批量加密命令描述符并行提交至不同dma通道,采用批量轮询策略定期轮询各通道的批量完成标志位,以获取各分组处理结果。

7、第二方面,基于同一发明构思,本申请还提供了一种分析型数据库透明加密自适应加速系统,包括:

8、参数配置模块,基于数据库参数配置,在数据库启动过程中执行初始化操作,包括:根据cpu特性检测cpu内部的密码协处理器及其dma通道能力,通过调用申请共享内存并建立无锁环形缓冲区和dma数据缓冲区;

9、自适应调度模块,被配置为通过在数据库透明加密接口处,基于自适应阈值调度机制决策单数据块加密执行路径,并依据密码协处理器的当前队列深度和cpu利用率动态调整自适应调度阈值;其中,在所述硬件加密路径中,将构造的加密命令描述符写入所述无锁环形缓冲区,由密码协处理器通过dma读取数据并写回加密结果;

10、批量处理模块,被配置为将批量加密请求中的数据页按照dma通道数分组,将各分组的批量加密命令描述符并行提交至不同dma通道,采用批量轮询策略定期轮询各通道的批量完成标志位,以获取各分组处理结果。

11、第三方面,基于同一发明构思,本申请还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法。

12、第四方面,基于同一发明构思,本申请还提供了一种非暂态计算机可读存储介质,其中,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如第一方面所述的方法。

13、相对于现有技术,本申请所述的分析型数据库透明加密自适应加速方法、系统及存储介质具有以下有益效果:

14、本申请通过在数据库透明加密接口处建立软硬件双路径调度,使小数据块能够避开命令提交和dma启动带来的额外开销;依据密码协处理器队列深度和cpu利用率动态调整自适应调度阈值,在数据库运行状态变化时实现负载转移;通过批量数据页的多dma通道并行提交和非阻塞结果获取提高硬件通道利用率。

1.一种分析型数据库透明加密自适应加速方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于:

3.根据权利要求1所述的方法,其特征在于:

4.根据权利要求1所述的方法,其特征在于,所述自适应阈值调度机制包括:

5.根据权利要求4所述的方法,其特征在于,还包括:

6.根据权利要求1所述的方法,其特征在于:

7.根据权利要求6所述的方法,其特征在于:

8.根据权利要求1所述的方法,其特征在于:

9.一种分析型数据库透明加密自适应加速系统,其特征在于,包括:

10.一种非暂态计算机可读存储介质,其特征在于,其中,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1-8任一项所述的方法。