数据压缩处理方法、闪存控制器、存储设备及程序产品与流程
本技术属于数据存储,尤其涉及数据压缩处理方法、闪存控制器、存储设备及程序产品。
背景技术:
1、随着大数据和人工智能技术的快速发展,存储设备面临的数据量呈指数级增长。为应对数据增长带来的存储压力, 数据压缩技术被广泛应用于存储设备中。
2、然而,目前的通用压缩策略中,通常采用固定的压缩算法对待处理数据进行独立压缩,这种方式会浪费存储设备的计算资源,且压缩效率低。
技术实现思路
1、本技术实施例提供了数据压缩处理方法、闪存控制器、存储设备及程序产品,可以解决现有算法中计算资源浪费、存储效率低的技术问题。
2、第一方面,本技术实施例提供了一种数据压缩处理方法,包括:
3、获取待处理数据和预设模板数据;
4、基于预设比对粒度比对待处理数据与预设模板数据,生成定长的差异位图,差异位图中的每一位用于标识待处理数据中一个比对粒度的数据与预设模板数据中对应的数据是否相同;
5、基于差异位图,从待处理数据中按序提取标识为不同状态的目标数据生成变长的差异数据,其中,差异数据的数据量由差异位图中标识为不同状态的比特位总数决定;
6、基于差异位图和差异数据的组合,获得待处理数据对应的目标输出数据。
7、通过上述方式,利用预设模板数据与待处理数据之间的冗余特征,仅提取存在差异的数据进行处理,大幅减少了需要压缩的数据量,避免了对待处理数据中与模板相同的重复数据进行重复压缩处理,从而提升了压缩效率,节省了存储设备的计算资源;同时,由于仅存储差异位图和差异数据,而非完整的待处理数据,有效减少了数据占用的存储空间。
8、在第一方面的一种可能的实现方式中,待处理数据为单次获取的定长数据块,定长数据块的长度为预设标准处理长度;
9、预设模板数据为与待处理数据大小相等且数据结构相同的预设数据块。
10、通过上述方式,将待处理数据限定为单次获取的定长数据块,并使预设模板数据与其大小相等且数据结构相同,确保比对时两者在相同位置上的数据单元一一对应,避免因数据长度或结构不一致导致比对错位,同时使差异位图长度固定,便于压缩数据的组织与解压还原。
11、在第一方面的一种可能的实现方式中,基于预设比对粒度比对待处理数据与预设模板数据,生成定长的差异位图,包括:
12、遍历待处理数据中的各第一数据单元,对于每个第一数据单元,从预设模板数据中提取与第一数据单元处于相同位置的第二数据单元;
13、按照预设比对粒度,将第一数据单元和第二数据单元进行异或处理,获得异或结果;
14、根据待处理数据中的各第一数据单元的异或结果,获得差异位图中对应位置的状态标识,其中,异或结果为0对应的状态标识为相同,异或结果不为0对应的状态标识为不同。
15、通过上述方式,进行异或运算能够快速识别两份数据在每个位置上的异同,以极小的计算开销完成比对,为后续提取差异数据提供精确的位置指示,从而提升压缩效率。
16、在第一方面的一种可能的实现方式中,从待处理数据中按序提取标识为不同状态的目标数据,生成差异数据,包括:
17、依据待处理数据的原始数据流顺序,依次遍历差异位图;
18、针对差异位图中的任一比特位,若比特位的状态标识为不同时,提取待处理数据中对应位置的数据;
19、将提取的数据按遍历的先后顺序依次拼接,生成差异数据。
20、通过上述方式,通过依据待处理数据的原始数据流顺序遍历差异位图,并按遍历顺序依次提取和拼接差异数据,保证了差异数据与待处理数据中差异位置的顺序一一对应,解压时可依据差异位图准确还原,无需额外记录位置信息,简化了处理逻辑,提升了压缩与解压效率。
21、在第一方面的一种可能的实现方式中,基于差异位图和差异数据的组合,获得待处理数据对应的目标输出数据,包括:
22、基于差异位图中比特位标识为不同状态的比特位的总位数,确定差异数据的大小;
23、根据差异数据的大小、差异位图的大小以及待处理数据的大小,确定第一压缩比;
24、在第一压缩比小于或等于第一阈值的情况下,基于差异位图和差异数据的拼接数据,获得目标输出数据;
25、在第一压缩比大于第一阈值的情况下,基于待处理数据获得目标输出数据。
26、通过上述方式,通过统计差异位图中具有第一值的位的总数量预判压缩效果,仅在压缩比满足阈值时才执行拼接操作,避免了无效压缩,节省了计算资源。
27、在第一方面的一种可能的实现方式中,基于差异位图和差异数据的拼接数据,获得目标输出数据,包括:
28、对拼接数据进行压缩,并基于拼接数据的压缩数据获得拼接数据的第二压缩比;
29、若第二压缩比小于或等于第二阈值,确定目标输出数据为拼接数据的压缩数据;
30、若第二压缩比大于第二阈值,确定目标输出数据为拼接数据。
31、通过上述方式,在一次压缩有效的基础上,对拼接数据进一步执行二次压缩,并仅在第二压缩比满足阈值时才采用二次压缩后的数据,从而兼顾压缩比、避免无效压缩。
32、在第一方面的一种可能的实现方式中,基于待处理数据获得目标输出数据,包括:
33、对待处理数据进行压缩,并基于待处理数据的压缩数据获得待处理数据的第三压缩比;
34、若第三压缩比小于或等于第二阈值,确定目标输出数据为待处理数据的压缩数据;
35、若第三压缩比大于第二阈值,确定目标输出数据为待处理数据。
36、通过上述方式,在一次压缩无效的情况下,对待处理数据直接执行第二压缩,并仅在第三压缩比满足阈值时才采用二次压缩后的数据,否则直接输出原始数据,从而在无法利用模板冗余时仍有机会通过通用压缩算法获得存储收益,同时避免无效压缩导致的性能损失。
37、在第一方面的一种可能的实现方式中,还包括:
38、获取对待处理数据的解压请求;
39、基于差异位图、差异数据和预设模板数据,对目标输出数据进行解压缩,获得解压后的待处理数据。
40、通过上述方式,在获取解压请求后,利用压缩时保留的差异信息与预设模板数据还原出原始的待处理数据,保证数据的一致性和完整性。
41、在第一方面的一种可能的实现方式中,目标输出数据为如下任一种压缩数据:差异位图和差异数据的拼接数据、拼接数据的压缩数据、待处理数据的压缩数据;
42、基于差异位图、差异数据和预设模板数据,对目标输出数据进行解压缩,获得解压后的待处理数据,包括:
43、若目标输出数据为拼接数据,则根据拼接数据中的差异位图,将差异数据覆盖至预设模板数据中对应的位置,生成待处理数据的解压数据;
44、若目标输出数据为拼接数据的压缩数据,对拼接数据的压缩数据进行解压,获得拼接数据;再根据差异位图,将差异数据覆盖至预设模板数据中对应的位置,生成待处理数据的解压数据;
45、若目标输出数据为待处理数据的压缩数据,对待处理数据的压缩数据进行解压,获得待处理数据。
46、通过上述方式,解压过程与压缩流程完全对应,仅对实际经过压缩的数据执行解压操作,避免了对未压缩数据执行无效解压,提升了读性能。
47、在第一方面的一种可能的实现方式中,预设比对粒度包括字节粒度、字粒度或双字粒度中的任一种。
48、通过上述方式,通过支持字节、字或双字多种比对粒度的灵活配置,能够适配不同业务场景对压缩精度和压缩率的需求,兼顾压缩效果与灵活性。
49、第二方面,本技术实施例提供一种数据压缩处理装置,数据压缩处理装置包括:
50、数据获取模块,用于获取待处理数据和预设模板数据;
51、数据比对模块,用于基于预设比对粒度比对待处理数据与预设模板数据,生成定长的差异位图,差异位图中的每一位用于标识待处理数据中一个比对粒度的数据与预设模板数据中对应的数据是否相同;
52、差异数据生成模块,用于基于差异位图,从待处理数据中按序提取标识为不同状态的目标数据生成变长的差异数据,其中,差异数据的数据量由差异位图中标识为不同状态的比特位总数决定;
53、结果输出模块,用于将差异位图和差异数据组合,构建待处理数据对应的目标输出数据。
54、第三方面,本技术实施例提供一种闪存控制器,闪存控制器包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如第一方面任一项的数据压缩处理方法。
55、第四方面,本技术实施例提供一种存储设备,存储设备包括如第三方面的闪存控制器。
56、第五方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在存储设备上运行时,使得存储设备执行上述第一方面中任一项的方法。
57、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com