一种数据去重方法及装置与流程

技术特征：
1.一种数据去重方法，其特征在于，包括：获取待存储到目标存储空间中的第一数据，所述目标存储空间中已存储m个数据块，所述m为正整数；计算所述第一数据的数据内容的总和校验码；在确定所述第一数据的数据内容的总和校验码与所述m个数据块的数据内容的总和校验码都不相同的情况下，为所述第一数据分配第一数据块，将所述第一数据存储到所述第一数据块中；在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，所述索引节点用于记录数据与存储数据的数据块的地址信息的关联关系。2.如权利要求1所述的方法，其特征在于，所述在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，包括：在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同，以及所述第二数据块的第一被引用次数小于第一阈值的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，并将所述第一被引用次数加1；所述第一被引用次数为重复计数表中记录的所述第二数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：在确定所述m个数据块中的n个第二数据块的数据内容的总和校验码与所述第一数据的数据内容的总和校验码相同，且所述n个第二数据块的第一被引用次数都大于或等于第一阈值的情况下，为所述第一数据分配第一数据块，并将所述第一数据存储到所述第一数据块中；所述n为小于或等于m的整数，所述第一被引用次数为重复计数表中记录的所述第二数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系。4.如权利要求1
‑
3任一项所述的方法，其特征在于，在所述获取待存储到目标存储空间中的第一数据之前，所述方法还包括：在接收到将第三数据修改为第四数据的指令后，获取与所述第三数据对应的第三数据块的第二被引用次数；所述第二被引用次数为重复计数表中记录的所述第三数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系；在确定所述第二被引用次数等于1的情况下，将所述第四数据作为所述第一数据，并删除与所述第三数据相关的信息；在确定所述第二被引用次数大于1的情况下，将所述第四数据作为所述第一数据，并将所述重复计数表中的所述第二被引用次数减1。
5.如权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：在接收到删除第五数据的指令后，获取所述第五数据对应的第五数据块的第三被引用次数；所述第三被引用次数为重复计数表中记录的所述第五数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系；在确定所述第三被引用次数等于1的情况下，删除与所述第五数据相关的信息；在确定所述第三被引用次数大于1的情况下，将所述重复计数表中所述第三被引用次数减1。6.如权利要求1所述的方法，其特征在于，所述在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，包括：在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同的情况下，计算所述第一数据的数据内容的第一标识符和所述第二数据块的数据内容的第二标识符；在确定所述第一标识符与所述第二标识符相同的情况下，确定所述第二数据块的数据内容与所述第一数据的数据内容相同；在确定所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中。7.如权利要求1
‑
6任一项所述的方法，其特征在于，所述总和校验码包括循环冗余校验码。8.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器、存储器和显示屏；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：获取待存储到目标存储空间中的第一数据，所述目标存储空间中已存储m个数据块，所述m为正整数；计算所述第一数据的数据内容的总和校验码；在确定所述第一数据的数据内容的总和校验码与所述m个数据块的数据内容的总和校验码都不相同的情况下，为所述第一数据分配第一数据块，将所述第一数据存储到所述第一数据块中；在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，所述索引节点用于记录数据与存储数据的数据块的地址信息的关联关系。9.如权利要求8所述的电子设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述电子设备执行：在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同，且所述第二数据块的数据内容与所述第一数据的数据内容相
同，以及所述第二数据块的第一被引用次数小于第一阈值的情况下，将所述第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中，并将所述第一被引用次数加1；所述第一被引用次数为重复计数表中记录的所述第二数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系。10.如权利要求8或9所述的电子设备，其特征在于，所述一个或多个处理器，还用于调用所述计算机指令以使得所述电子设备执行：在确定所述m个数据块中的n个第二数据块的数据内容的总和校验码与所述第一数据的数据内容的总和校验码相同，且所述n个第二数据块的第一被引用次数都大于或等于第一阈值的情况下，为所述第一数据分配第一数据块，并将所述第一数据存储到所述第一数据块中；所述n为小于或等于m的整数，所述第一被引用次数为重复计数表中记录的所述第二数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系。11.如权利要求8
‑
10任一项所述的电子设备，其特征在于，所述一个或多个处理器，还用于调用所述计算机指令以使得所述电子设备执行：在所述获取待存储到目标存储空间中的第一数据之前，在接收到将第三数据修改为第四数据的指令后，获取与所述第三数据对应的第三数据块的第二被引用次数；所述第二被引用次数为重复计数表中记录的所述第三数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系；在确定所述第二被引用次数等于1的情况下，将所述第四数据作为所述第一数据，并删除与所述第三数据相关的信息；在确定所述第二被引用次数大于1的情况下，将所述第四数据作为所述第一数据，并将所述重复计数表中的所述第二被引用次数减1。12.如权利要求8
‑
11任一项所述的电子设备，其特征在于，所述一个或多个处理器，还用于调用所述计算机指令以使得所述电子设备执行：在接收到删除第五数据的指令后，获取所述第五数据对应的第五数据块的第三被引用次数；所述第三被引用次数为重复计数表中记录的所述第五数据块的地址信息被引用的次数，所述重复计数表用于记录数据块与数据块的地址信息被重复引用的次数的关联关系；在确定所述第三被引用次数等于1的情况下，删除与所述第五数据相关的信息；在确定所述第三被引用次数大于1的情况下，将所述重复计数表中所述第三被引用次数减1。13.如权利要求8所述的电子设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述电子设备执行：在确定所述第一数据的数据内容的总和校验码与所述m个数据块中的第二数据块的数据内容的总和校验码相同的情况下，计算所述第一数据的数据内容的第一标识符和所述第二数据块的数据内容的第二标识符；在确定所述第一标识符与所述第二标识符相同的情况下，确定所述第二数据块的数据内容与所述第一数据的数据内容相同；在确定所述第二数据块的数据内容与所述第一数据的数据内容相同的情况下，将所述
第二数据块的地址信息作为存储所述第一数据的数据块的地址信息记录到索引节点中。14.如权利要求8
‑
13任一项所述的电子设备，其特征在于，所述总和校验码包括循环冗余校验码。15.一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1
‑
7中任一项所述的方法。16.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1
‑
7中任一项所述的方法。17.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至7中任一项所述的方法。

技术总结
本申请公开一种数据去重方法及装置，该数据去重方法包括：获取待存储到目标存储空间中的第一数据，目标存储空间中已存储M个数据块，M为正整数；计算第一数据的数据内容的总和校验码；在确定第一数据的数据内容的总和校验码与M个数据块的数据内容的总和校验码都不相同的情况下，为第一数据分配第一数据块，将第一数据存储到第一数据块中；在确定第一数据的数据内容的总和校验码与M个数据块中的第二数据块的数据内容的总和校验码相同，且第二数据块的数据内容与第一数据的数据内容相同的情况下，将第二数据块的地址信息作为存储第一数据的数据块的地址信息记录到索引节点中。使得提升存储空间利用率的同时减少性能损耗。升存储空间利用率的同时减少性能损耗。升存储空间利用率的同时减少性能损耗。


技术研发人员：周文
受保护的技术使用者：荣耀终端有限公司
技术研发日：2021.06.15
技术公布日：2021/11/30