基于daos分布式存储系统中数据增量重构系统和方法与流程

技术特征：
1.基于daos分布式存储系统中数据增量重构系统，其特征在于，所述系统由恢复端和权威端组成，其中，权威端用于供恢复端拉取数据进行恢复，恢复端包括：扫描模块，用于从权威端获取待恢复对象；对象遍历模块，用于遍历待恢复对象；对象粒度识别模块，对待恢复对象进行对象粒度识别，将恢复端不存在的对象拉取至恢复端数据库，将恢复端存在的对象发送至dkey遍历模块；dkey遍历模块，用于遍历恢复端存在的待恢复对象的所有dkey；dkey粒度识别模块，对待恢复对象进行dkey粒度识别，将恢复端不存在的dkey拉取至恢复端数据库，将恢复端存在的dkey发送至rsv比较模块；rsv比较模块，用于判断恢复端存在的dkey是否需要重构恢复，将需要恢复的dkey发送至akey遍历模块；akey遍历模块，用于遍历需要恢复的dkey的所有akey；akey粒度识别模块，对待恢复dkey进行akey粒度识别，将恢复端不存在的akey拉取至恢复端数据库，以恢复端存在的akey的records为最小粒度进行数据的增量重构；恢复端数据库，用于存储从权威端拉取的对象、dkey、akey和records数据；rsv更新模块，用于在数据在以对象、dkey、akey或records为粒度进行增量重构后将恢复端的rsv更新为重构任务版本。2.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统，其特征在于，对象粒度识别模块具体用于：将每个待恢复对象的object_id依次与在恢复端数据库中对象的对象树进行匹配，当待恢复对象的object_id与在恢复端数据库中对象的对象树匹配失败，判定恢复端存在所述待恢复对象，当待恢复对象的object_id与在恢复端数据库中对象的对象树匹配成功，判定恢复端不存在所述待恢复对象。3.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统，其特征在于，dkey粒度识别模块具体用于：将每个待恢复dkey的dkey_id依次与恢复端数据库中dkey的dkey树进行匹配，当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey树匹配失败，判定恢复端存在所述待恢复对象，当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey树匹配成功，判定恢复端不存在所述待恢复对象。4.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统，其特征在于，rsv比较模块具体用于：获取恢复端存在的dkey在权威端的rsv，若所述dkey在恢复端的rsv等于权威端的rsv，则判定所述dkey不需要重构恢复，若所述dkey在恢复端的rsv小于权威端的rsv，将所述dkey发送至akey遍历模块。5.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统，其特征在于，akey粒度识别模块具体用于：对待恢复dkey进行akey粒度识别，包括：将每个待恢复akey的akey_id依次与在恢复端数据库中akey的akey树进行匹配，当待恢复akey的akey_id与在恢复端数据库中akey的akey树匹配失败，判定恢复端存在所述待恢复对象，当待恢复akey的akey_id与在恢复端数据库中akey的akey树匹配成功，判定恢复端不存在所述待恢复对象。6.基于daos分布式存储系统中数据增量重构方法，其特征在于，所述方法，包括：步骤s1：通过扫描模块从权威端获取待恢复对象；步骤s2：通过对象遍历模块遍历待恢复对象，通过对象粒度识别模块对待恢复对象进
行对象粒度识别，将恢复端不存在的对象拉取至恢复端数据库，将恢复端存在的对象发送至dkey遍历模块；步骤s3：通过dkey遍历模块遍历步骤s2发送的待恢复对象的所有dkey，通过dkey粒度识别模块对待恢复对象进行dkey粒度识别，将恢复端不存在的dkey拉取至恢复端数据库，将恢复端存在的dkey发送至rsv比较模块，通过rsv比较模块判断恢复端存在的dkey是否需要恢复，将需要恢复的dkey发送至akey遍历模块；步骤s4：通过akey遍历模块遍历步骤s3发送的需要恢复的dkey的所有akey，通过akey粒度识别模块对待恢复dkey进行akey粒度识别，将恢复端不存在的akey拉取至恢复端数据库，以恢复端存在的akey的records为最小粒度进行数据的增量重构。7.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，步骤s2中，通过对象粒度识别模块对待恢复的对象进行对象粒度识别，包括：将每个待恢复对象的object_id依次与在恢复端数据库中对象的对象树进行匹配，根据匹配结果判定待恢复对象是否存在于恢复端。8.根据权利要求7所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，根据匹配结果判定待恢复对象是否存在于恢复端，包括：当待恢复对象的object_id与在恢复端数据库中对象的对象树匹配失败，判定恢复端存在所述待恢复对象；当待恢复对象的object_id与在恢复端数据库中对象的对象树匹配成功，判定恢复端不存在所述待恢复对象。9.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，步骤s3中，通过dkey粒度识别模块对待恢复对象进行dkey粒度识别，包括：将每个待恢复dkey的dkey_id依次与恢复端数据库中dkey的dkey树进行匹配，根据匹配结果判定待恢复dkey是否存在于恢复端。10.根据权利要求9所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，根据匹配结果判定待恢复dkey是否存在于恢复端，包括：当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey树匹配失败，判定恢复端存在所述待恢复对象；当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey树匹配成功，判定恢复端不存在所述待恢复对象。11.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，步骤s3中，通过rsv比较模块判断恢复端存在的dkey是否需要重构恢复，将需要重构恢复的dkey发送至akey遍历模块，包括：获取所述dkey在权威端的rsv，若所述dkey在恢复端的rsv等于权威端的rsv，则判定所述dkey不需要重构恢复，若所述dkey在恢复端的rsv小于权威端的rsv，将所述dkey发送至akey遍历模块。12.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，步骤s4中，通过akey粒度识别模块对待恢复dkey进行akey粒度识别，包括：将每个待恢复akey的akey_id依次与在恢复端数据库中akey的akey树进行匹配，根据匹配结果判定待恢复akey是否存在于恢复端。13.根据权利要求12所述的基于daos分布式存储系统中数据增量重构方法，其特征在
于，根据匹配结果判定待恢复akey是否存在于恢复端，包括：当待恢复akey的akey_id与在恢复端数据库中akey的akey树匹配失败，判定恢复端存在所述待恢复对象；当待恢复akey的akey_id与在恢复端数据库中akey的akey树匹配成功，判定恢复端不存在所述待恢复对象。14.根据权利要求1所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，步骤s4中，以恢复端存在的akey的records为最小粒度进行数据的增量重构，包括：将所述akey所属dkey上记录的rsv对应的版本号与恢复端故障恢复时的版本号之间的records所对应的数据段拉取至恢复端数据库。15.根据权利要求1所述的基于daos分布式存储系统中数据增量重构方法，其特征在于，步骤s1至步骤s4中，任一步骤执行结束后，采用rsv更新模块将恢复端的rsv更新为重构任务版本。

技术总结
本发明涉及数据重构技术领域，提供基于daos分布式存储系统中数据增量重构系统和方法，本发明的系统由恢复端和权威端组成，其中，恢复端包括：扫描模块，对象遍历模块，对象粒度识别模块，dkey遍历模块，dkey粒度识别模块，rsv比较模块，akey遍历模块，akey粒度识别模块，恢复端数据库，rsv更新模块。根据本发明示例性实施例的基于daos分布式存储系统中数据增量重构系统和方法，通过分级数据恢复机制来提升重构效率，以最短的时间识别出数据需要进行重构的粒度，仅恢复故障期间缺失部分的数据，有效减少重构过程的数据迁移，提升重构流程的效率，降低重构对系统资源的消耗，提高集群的可靠性，以最小的数据恢复代价实现分布式存储系统数据的一致性。存储系统数据的一致性。存储系统数据的一致性。


技术研发人员：明靖鸥 余攀 舒坦
受保护的技术使用者：中国电子系统技术有限公司
技术研发日：2022.09.20
技术公布日：2022/12/9