自适应分层压缩索引—编码传输—可搜索加密一体化方法与流程

摘要: 本发明属于计算机软件与信息安全,具体涉及一种计算机系统自适应分层压缩索引—编码传输—可搜索加密一体化方法。该方法适用于日志/指标时间序列数据库、列式键值存储系统...
自适应分层压缩索引—编码传输—可搜索加密一体化方法与流程

本发明属于计算机软件与信息安全,具体涉及一种计算机系统自适应分层压缩索引—编码传输—可搜索加密一体化方法。该方法适用于日志/指标时间序列数据库、列式键值存储系统、对象元数据管理以及大规模倒排/向量id列表等需要兼顾存储效率、传输可靠性与数据安全性的场景。

背景技术:

1、列式数据与时间序列数据在实际业务中呈现出强相关增量、稀疏与稠密混杂的显著特征。以日志系统和指标监控平台为例,数据按时间顺序持续写入,同一列内的数值往往具有高度局部相关性,而跨列之间则呈现稀疏分布。传统处理方式通常遵循“先解压、再查询”的路径,即先将压缩数据从存储器读取到处理器缓存,经解码还原为明文后再执行索引查找,这一路径导致i/o带宽与处理器计算资源的双重放大。

2、在跨区域或跨数据中心传输场景下,网络链路面临丢包、抖动与长尾延迟等问题。现有传输方案多基于固定分片尺寸与静态冗余策略,未能根据链路带宽、传播时延及传输时延等参数进行动态适配,导致冗余开销与重传次数居高不下。

3、与此同时,数据合规与隐私保护要求存储于存储器中的数据具备可验证、可删除、可审计的能力。现有方案往往将压缩、传输与加密作为三个独立模块分别优化,缺乏端到端的协同设计,难以在存储效率、传输时延与安全强度之间取得平衡。

技术实现思路

1、针对现有技术的不足,本发明提出一种自适应分层压缩索引—编码传输—可搜索加密一体化方法,其核心设计思想在于:

2、第一,索引即压缩:将可直接执行rank、select与range查询的索引结构直接存于压缩域;

3、第二,传输与索引参数联合优化:以触达比特量耦合传输冗余与块大小;

4、第三,安全与可搜索并存:在不泄露明文结构的前提下支持有限等价查询与可验证完整性。

5、具体而言,本发明的技术方案包括如下内容:

6、一、列式与时间窗分层压缩索引

7、由处理器按列标识与时间窗对存储器中的数据进行切片,得到切片集合,即窗口内切片数。每片内主键(或时间戳)按升序排列为。

8、对差分()估计位宽,处理器执行位打包操作,位打包成本为。为进一步压缩,采用pfordelta策略:设定阈值,异常比例,则pfordelta位成本当较小,,处理器优先采用pfordelta。

9、对值列,处理器先执行运行长度编码rle得到,再基于符号分布计算零级熵,继而通过rans熵编码将码长期望值压缩至趋近于,其中→0。对升序主键序列,处理器构建分段elias-fano索引:位成本,将序列分段为,以动态规划近似最小化,并配合每个元素设置一个门位指针以支持区间跳跃。

10、对稀疏过滤列,处理器构建rrr位图,位成本,其中为块长,为块内1的个数。查询复杂度,其中为触达元素数。

11、为加速定位,处理器训练两层学习型范围索引rmi,以二段式模型近似累积分布函数:,预测位置,在误差界下确定搜寻区间,区间内再通过pef门位精确定位。单次范围查询的触达比特量为,其中为门位开销,为辅助结构开销。

12、二、编码传输与链路联合优化

13、处理器基于–链路模型描述单跳时延,其中为传输比特量,为链路带宽。处理器联合优化分片尺寸、喷泉冗余κ与链路侧压缩/量化比,最优分片尺寸,其中为丢包率下冗余/重传开销。

14、处理器采用raptorq喷泉码进行编码传输,解码成功率,其中为接收片数与源片数之比,为基准冗余,为成功率参数。在跨机架或跨域汇聚节点处,处理器引入随机线性网络编码rlnc,编码向量,系数矩阵满足满秩概率,其中为有限域大小。端到端时延期望为,处理器联合优化,约束条件为且,其中为解码失败概率上界,为量化均方误差上界。

15、三、可搜索与可验证加密

16、处理器在存储器中执行时间分段密钥演进:周期,主密钥通过单向更新函数演进为,其中为随机数,满足前向安全fs要求。对数据块,处理器采用siv/xchacha20-poly1305算法进行认证加密,生成密文与认证标签,即,其中为随机数,为关联数据。该算法抵御nonce重用与乱序攻击。

17、处理器对密文块构建merkle树承诺:叶节点,根节点,验证者通过完成完整性验证。对于线性序列,处理器采用kzg承诺:多项式,承诺,验证等式,其中为开证明。

18、处理器为查询词term派生标签,构建se-bloom或gcs结构支持集合、前缀及简范围等价查询。bloom误报率,gcs误报率,其中为哈希函数个数,为位数组长度,为元素数,为golomb编码参数。仅暴露的哈希影像,处理器通过轮换prf子键与盐实现前向隐私。

19、在统一模型层面,处理器计算总比特成本,其中为元信息开销,为标签位成本。查询延迟,其中为并发度,为寻道时间,为i/o带宽,为缓存命中率。安全上界包括:aead伪造成功概率,merkle/kzg错误通过概率,sse误报率如上,前向安全要求若upd单向则。

20、与现有技术相比,本发明将分层压缩索引、编码传输与可搜索加密进行一体化协同设计,实现了存储效率、传输可靠性与数据安全性的端到端联合优化。

1.一种自适应分层压缩索引—编码传输—可搜索加密一体化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述主键压缩采用位打包与pfordelta组合编码:对升序主键序列,计算差分,估计位宽后进行位打包;设定阈值,对超过的异常值单独编码,异常比例。

3.根据权利要求1所述的方法,其特征在于,所述值列压缩采用运行长度编码rle与rans熵编码组合:对值列先做rle得到,再基于符号分布计算零级熵,rans码长期望值趋近于。

4.根据权利要求1所述的方法,其特征在于,所述查询定位结构包括分段elias-fano索引与学习型范围索引rmi:所述分段elias-fano将升序序列分段为,以动态规划近似最小化位成本,并配合门位支持区间跳跃;所述rmi以二段式模型近似累积分布函数,在误差界下确定搜寻区间,其中。

5.根据权利要求1所述的方法,其特征在于,所述端到端链路模型采用α-β模型描述单跳时延,并联合优化分片尺寸s、喷泉冗余κ及链路侧压缩/量化比qh,以最小化端到端时延。

6.根据权利要求5所述的方法,其特征在于,所述喷泉编码采用raptorq,其解码成功率,其中;在跨域汇聚处使用随机线性网络编码rlnc,编码向量,系数矩阵满足满秩概率。

7.根据权利要求1所述的方法,其特征在于,所述前向安全加密中,主密钥按周期通过单向更新函数演进为,并采用siv/xchacha20-poly1305算法对数据块进行认证加密,生成密文与认证标签。

8.根据权利要求1所述的方法,其特征在于,所述密码学承诺机制包括merkle树承诺或kzg承诺:所述merkle树对密文块构建哈希树,叶节点,根节点;所述kzg承诺对多项式生成承诺,并通过双线性配对验证。

9.根据权利要求1所述的方法,其特征在于,所述标签化可搜索加密为se-bloom或gcs结构:通过伪随机函数prf为查询词term派生标签,bloom过滤器误报率,gcs误报率,仅暴露的哈希影像,并通过轮换prf子键与盐实现前向隐私。