数据更新方法及装置与流程

技术特征：
1.一种数据更新方法，其特征在于，应用于数据存储系统，所述系统包括可变存储块和数据存储块，所述方法包括：获取数据变更操作信息；将获取到的数据变更操作信息写入所述可变存储块，并在所述可变存储块的已占用存储空间达到预设第一存储阈值时，从所述可变存储块中读取所述已占用存储空间存储的数据变更操作信息；基于读取到的数据变更操作信息，更新所述数据存储块中存储的数据。2.如权利要求1所述的方法，其特征在于，所述将获取到的数据变更操作信息写入所述可变存储块，包括：基于获取到的数据变更操作信息中含有的索引标识号，确定获取到的数据变更操作信息在所述可变存储块中的存储顺序；基于确定出的存储顺序，将获取到的数据变更操作信息存储至所述可变存储块。3.如权利要求2所述的方法，其特征在于，所述方法还包括：在从所述可变存储块中读取第一数据变更操作信息，并基于所述第一数据变更操作信息更新所述数据存储块中存储的数据之后，从所述可变存储块中读取第二数据变更操作信息；所述第二数据变更操作信息的存储位置位于所述第一数据变更操作信息之后，且所述第二数据变更操作信息的存储位置与所述第一数据变更操作信息的存储位置相邻；以第一位置为起点，从所述数据存储块中查找所述第二数据变更操作信息中含有的索引标识号，以确定所述第二数据变更操作信息中含有的索引标识号在所述数据存储块中的第二位置；所述第一位置为所述第一数据变更操作信息中含有的索引标识号在所述数据存储块中的位置；基于所述第二数据变更操作信息，更新所述第二位置中存储的数据。4.如权利要求1所述的方法，其特征在于，所述可变存储块的数量为多个，其中一个可变存储块为活跃可变存储块；所述将获取到的数据变更操作信息写入所述可变存储块，并在所述可变存储块的已占用存储空间达到预设第一存储阈值时，从所述可变存储块中读取所述已占用存储空间存储的数据变更操作信息，包括：将获取到的数据变更操作信息写入所述活跃可变存储块；在所述活跃可变存储块的已占用存储空间达到预设第二存储阈值时，将所述活跃可变存储块切换为冻结可变存储块；其中，所述冻结可变存储块中禁止写入数据；从多个可变存储块中选择一个未存储数据的可变存储块作为新的活跃可变存储块，并跳转至所述将获取到的数据变更操作信息写入所述活跃可变存储块的步骤；在监测到所述冻结可变存储块的个数达到预设个数阈值时，从所有的冻结可变存储块中读取数据变更操作信息。5.如权利要求4所述的方法，其特征在于，所述系统还包括元数据存储块；所述从所有的冻结可变存储块中读取数据变更操作信息，包括：从所述元数据存储块中获取各个冻结可变存储块之间的顺序；其中，各个冻结可变存储块之间的顺序基于各个冻结可变存储块的时间进行排序，时间越晚，排序越靠后，冻结可变存储块的时间为最先写入冻结可变存储块中的数据变更操作信息的获取时间；
根据各个冻结可变存储块之间的顺序，依次从各个冻结可变存储块中读取数据变更操作信息。6.如权利要求1所述的方法，其特征在于，所述系统还包括元数据存储块，所述数据存储块的数量为多个；所述基于读取到的数据变更操作信息，更新所述数据存储块中存储的数据，包括：从所述元数据存储块中获取多个数据存储块之间的顺序以及各个数据存储块对应的索引标识号范围；其中，所述多个数据存储块之间的顺序基于各个数据存储块的索引标识号范围进行排序；根据所述多个数据存储块之间的顺序，依次将各个数据存储块的索引标识号范围与读取到的数据变更操作信息中含有的索引标识号进行比对，以从所述多个数据存储块中查找出第一目标数据存储块；所述第一目标数据存储块的索引标识号范围与读取到的数据变更操作信息中含有的索引标识号匹配；从所述元数据存储块中获取所述第一目标数据存储块的地址，并基于读取到的数据变更操作信息，更新所述第一目标数据存储块的地址中存储的数据。7.如权利要求6所述的方法，其特征在于，所述数据变更操作信息包括数据新增操作信息、数据替换操作信息和数据删除操作信息中的至少一种；所述基于读取到的数据变更操作信息，更新所述第一目标数据存储块的地址中存储的数据，包括：若读取到所述数据新增操作信息，则将数据新增操作信息中含有的待新增数据和待新增数据的索引标识号存储至所述第一目标数据存储块的地址对应的存储区域中；若读取到所述数据替换操作信息，则从所述第一目标数据存储块的地址对应的存储区域中，查找所述数据替换操作信息中含有的索引标识号，并将查找出的索引标识号对应的数据替换为所述数据替换操作信息中含有的待替换数据；若读取到所述数据删除操作信息，则从所述第一目标数据存储块的地址对应的存储区域中，查找所述数据删除操作信息中含有的索引标识号，并将查找出的索引标识号对应的数据删除。8.如权利要求6所述的方法，其特征在于，所述数据存储块中的数据根据索引标识号有序存储；所述方法还包括：接收终端发送的数据查找请求；所述数据查找请求包括待查找数据的索引标识号；从所述元数据存储块中获取所述多个数据存储块之间的顺序以及各个数据存储块对应的索引标识号范围；根据所述多个数据存储块之间的顺序，依次将各所述数据存储块对应的索引标识号范围与所述待查找数据的索引标识号进行比对，以从所述多个数据存储块中查找出第二目标数据存储块；所述第二目标数据存储块的索引标识号范围与待查找数据的索引标识号匹配；依次将所述第二目标数据存储块中的索引标识号与所述待查找数据的索引标识号进行比对，以从所述第二目标存储块中查找出所述待查找数据；将查找出的数据发送至所述终端。9.如权利要求1所述的方法，其特征在于，所述可变存储块和所述数据存储块部署在不
同的存储节点。10.一种数据更新装置，其特征在于，应用于数据存储系统，所述系统包括可变存储块和数据存储块，所述装置包括：获取模块，配置为获取数据变更操作信息；读取模块，配置为将获取到的数据变更操作信息写入所述可变存储块，并在所述可变存储块的已占用存储空间达到预设第一阈值时，从所述可变存储块中读取所述已占用存储空间存储的数据变更操作信息；更新模块，配置为基于读取到的数据变更操作信息，更新所述数据存储块中存储的数据。

技术总结
本申请的实施例揭示了一种数据更新方法及装置，应用于数据存储系统，该系统包括可变存储块和数据存储块，该方法包括：获取数据变更操作信息，将获取到的数据变更操作信息写入可变存储块，在可变存储块的已占用存储空间达到预设第一存储阈值时，从可变存储块中读取已占用存储空间中存储的数据变更操作信息，基于读取到的数据变更操作信息更新数据存储块中存储的数据。本申请实施例的技术方案能够提升存储系统读写性能，降低存储系统崩溃的概率，提升存储系统的稳定性。提升存储系统的稳定性。提升存储系统的稳定性。


技术研发人员：何超
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.07.22
技术公布日：2023/2/3