数据处理方法、装置及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，所述方法包括：获取待存储数据，并将所述待存储数据存储至存储系统的可读写高速存储后端；在可读写高速存储后端的已存储数据中确定待转存数据；将所述待转存数据转存至所述存储系统的只读存储后端。2.根据权利要求1所述的数据处理方法，其特征在于，将所述待存储数据存储至存储系统的可读写高速存储后端，包括：确定所述待存储数据所属的存储桶；响应于所述存储系统的可读写高速存储后端中已存在第一目标数据，所述第一目标数据所属存储桶与所述待存储数据所属存储桶相同，将所述待存储数据与所述第一目标数据整合为同一数据段存储至所述存储系统的可读写高速存储后端。3.根据权利要求2所述的数据处理方法，其特征在于，在可读写高速存储后端的已存储数据中确定待转存数据，包括：确定所述存储系统的可读写高速存储后端所存储的数据段，并通过所述数据段，得到转存至所述存储系统的只读存储后端的待转存数据。4.根据权利要求1或3所述的数据处理方法，其特征在于，将所述待转存数据转存至所述存储系统的只读存储后端之前，所述方法还包括：确定可读写高速存储后端已存储数据的数量达到目标数量阈值，和/或确定可读写高速存储后端已存储数据中存在有数据大小达到目标大小阈值的数据。5.根据权利要求1所述的数据处理方法，其特征在于，将所述待转存数据转存至所述存储系统的只读存储后端，包括：确定所述待转存数据所属的存储桶；响应于所述存储系统的只读存储后端中已存在第二目标数据，所述第二目标数据所属存储桶与所述待转存数据所属存储桶相同，将所述待转存数据与所述第二目标数据整合为同一数据段存储至所述存储系统的只读存储后端。6.根据权利要求2或5所述的数据处理方法，其特征在于，采用如下方式将指定数据与指定待转存数据整合为同一数据段存储所述存储系统的指定存储后端，其中，所述指定数据包括待存储数据，所述指定待转存数据包括第一目标数据，所述指定存储后端包括可读写高速存储后端，或，所述指定数据包括待转存数据，所述指定待转存数据包括第二目标数据，所述指定存储后端包括只读存储后端：将所述指定数据存储于所述指定存储后端的第一存储地址，以及将所述指定待转存数据存储于所述指定存储后端的第二存储地址，所述第一存储地址与所述第二存储地址之间的存储地址差异度小于第一差异度阈值。7.根据权利要求6所述的数据处理方法，其特征在于，所述方法还包括：将所述指定数据的元数据存储于所述指定存储后端的第三存储地址，以及将所述指定待转存数据的元数据存储于所述指定存储后端的第四存储地址，所述第三存储地址与所述第四存储地址之间的存储地址差异度小于第二差异度阈值。8.一种数据处理方法，其特征在于，所述方法包括：响应于获取到数据集读取请求，确定匹配所述数据集读取请求的指定数据集；在存储系统的可读写高速存储后端和/或只读存储后端中，确定匹配所述指定数据集
的元数据，并基于匹配所述指定数据集的元数据，读取所述指定数据集；其中，针对指定存储后端中存储的数据，所述指定存储后端包括可读写高速存储后端或只读存储后端，匹配相同数据集的所述数据之间的存储地址差异度小于第一差异度阈值，匹配相同数据集的所述数据的元数据之间的存储地址差异度小于第二差异度阈值。9.一种数据处理装置，其特征在于，所述装置包括：获取单元，用于获取待存储数据；处理单元，用于将所述待存储数据存储至存储系统的可读写高速存储后端；确定单元，用于在可读写高速存储后端的已存储数据中确定待转存数据；所述处理单元，还用于将所述待转存数据转存至所述存储系统的只读存储后端。10.一种数据处理装置，其特征在于，所述装置包括：获取单元，用于获取数据集读取请求；确定单元，用于确定匹配所述数据集读取请求的指定数据集；以及在存储系统的可读写高速存储后端和/或只读存储后端中，确定匹配所述指定数据集的元数据，并基于匹配所述指定数据集的元数据，读取所述指定数据集；其中，针对指定存储后端中存储的数据，所述指定存储后端包括可读写高速存储后端或只读存储后端，匹配相同数据集的所述数据之间的存储地址差异度小于第一差异度阈值，匹配相同数据集的所述数据的元数据之间的存储地址差异度小于第二差异度阈值。11.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行权利要求1至7中任意一项所述的数据处理方法，或执行权利要求8所述的数据处理方法。12.一种存储介质，其特征在于，所述存储介质中存储有指令，当所述存储介质中的指令由处理器执行时，使得处理器能够执行权利要求1至7中任意一项所述的数据处理方法，或执行权利要求8所述的数据处理方法。

技术总结
本公开是关于一种数据处理方法、装置及存储介质。数据处理方法包括：获取待存储数据，并将所述待存储数据存储至存储系统的可读写高速存储后端；在可读写高速存储后端的已存储数据中确定待转存数据；将所述待转存数据转存至所述存储系统的只读存储后端。通过本公开可以提升数据存储效率。提升数据存储效率。提升数据存储效率。


技术研发人员：胡瑞坤
受保护的技术使用者：北京迈格威科技有限公司
技术研发日：2021.11.30
技术公布日：2022/4/26