一种数据处理方法、装置、设备及可读存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：获取不同纠删策略的纠删参数，并分别按照各个所述纠删参数，生成对应的纠删预置组；按照各个所述纠删预置组，在分布式存储系统中创建不同的纠删池；启用各个所述纠删池，并获取各个所述纠删池的服务性能；比对各个所述服务性能，确定最佳服务性能；关闭所述最佳服务性能之外的纠删池，并以满条带为下刷数据的触发条件进行数据处理。2.根据权利要求1所述的数据处理方法，其特征在于，还包括：基于最佳服务性能对应的纠删参数，选取若干个目标条带；对所述目标条带的修改覆盖写进行记录，并将对应数据段标记为垃圾数据分片；对所述目标条带中未标记所述垃圾数据分片的有效数据进行重组，得到新的满条带数据分片；基于所述满条带数据分片生成校验位数据分片；将所述满条带数据分片和所述检验位数据分片写入所述最佳服务性能对应的纠删池中。3.根据权利要求2所述的数据处理方法，其特征在于，还包括：对所述垃圾数据分片进行垃圾回收。4.根据权利要求2所述的数据处理方法，其特征在于，对所述目标条带的修改覆盖写进行记录，并将对应数据段标记为垃圾数据分片，包括：记录每个所述目标条带的数据分片修改覆盖写的offset和到校验分片的长度；利用所述offset和所述长度计算偏移，确定修改覆盖写的对应数据段；将所述数据段记录为所述垃圾数据分片。5.根据权利要求1所述的数据处理方法，其特征在于，所述以满条带为下刷数据的触发条件进行数据处理，包括：若满条带，则以顺序写方式下刷数据。6.根据权利要求1所述的数据处理方法，其特征在于，所述获取不同纠删策略的纠删参数，包括：获取不同的k m、以及分别对应故障域和条带单元；其中，所述k对应纠删的数据分片数量，所述m对应纠删的校验分片数量。7.根据权利要求6所述的数据处理方法，其特征在于，所述获取不同的k m、以及分别对应故障域和条带单元，包括：获取各个所述k m，判断是否存在对应的条带单元；如果否，则将条带单元设置为4096字节。8.根据权利要求6所述的数据处理方法，其特征在于，所述分别按照各个所述纠删参数，生成对应的纠删预置组，包括：利用各个所述k m，以及所述k m对应的所述故障域和所述条带单元生成名称；生成各个所述名称对应的所述纠删预置组。9.根据权利要求8所述的数据处理方法，其特征在于，所述利用各个所述k m，以及所述
k m对应的所述故障域和所述条带单元生成名称，包括：比对各个所述k m，以及所述k m对应的所述故障域和所述条带单元，确定是否配置相同；如果是，则复用同一个所述名称。10.根据权利要求8所述的数据处理方法，其特征在于，所述按照各个所述纠删预置组，在分布式存储系统中创建不同的纠删池，包括：分别判断所述纠删预置组是否生成失败；如果是，则返回错误；如果否，则按照当前纠删预置组，在分布式存储系统中创建对应的纠删池。11.根据权利要求1至10任一项所述的数据处理方法，其特征在于，在关闭所述最佳服务性能之外的纠删池，并以满条带为下刷数据的触发条件进行数据处理之后，还包括：获取当前服务性能；若所述当前服务性能低于预设阈值，则返回执行所述启用各个所述纠删池，并获取各个所述纠删池的服务性能的步骤。12.根据权利要求11所述的数据处理方法，其特征在于，在返回执行所述启用各个所述纠删池，并获取各个所述纠删池的服务性能的步骤之前，还包括：判断当前数据处理场景是否为小文件场景；如果是，则确定纠删单元为4096字节，分布式存储节点数大于8节点，则确定k m为8 2。13.一种数据处理装置，其特征在于，包括：纠删预置组生成模块，用于获取不同纠删策略的纠删参数，并分别按照各个所述纠删参数，生成对应的纠删预置组；纠删池创建模块，用于按照各个所述纠删预置组，在分布式存储系统中创建不同的纠删池；性能监测模块，用于启用各个所述纠删池，并获取各个所述纠删池的服务性能；性能比对模块，用于比对各个所述服务性能，确定最佳服务性能；纠删择优模块，用于关闭所述最佳服务性能之外的纠删池，并以满条带为下刷数据的触发条件进行数据处理。14.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至12任一项所述数据处理方法的步骤。15.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述数据处理方法的步骤。

技术总结
本申请属于存储技术领域，公开了一种数据处理方法、装置、设备及可读存储介质，该方法包括：获取不同纠删策略的纠删参数，并分别按照各个纠删参数，生成对应的纠删预置组；按照各个纠删预置组，在分布式存储系统中创建不同的纠删池；启用各个纠删池，并获取各个纠删池的服务性能；比对各个服务性能，确定最佳服务性能；关闭最佳服务性能之外的纠删池，并以满条带为下刷数据的触发条件进行数据处理。本申请可根据处理数据的性能情况自动调整纠删条带大小，以取得最优的聚合纠删效果，而每次写入均写满整个条带，可省去数据补齐环节，解决了非对齐条带需要读取整个条带，再进行覆盖写导致的读放大问题，能够提升分布式存储的IO性能、存储利用率。存储利用率。存储利用率。


技术研发人员：何怡川 臧林劼
受保护的技术使用者：浪潮电子信息产业股份有限公司
技术研发日：2022.11.08
技术公布日：2022/12/6