一种数据存储方法、系统、电子设备及存储介质与流程

技术特征：
1.一种数据存储方法，其特征在于，应用于spark计算框架，所述数据存储方法包括：确定持久内存设备的设备名称和预设文件大小；其中，所述持久内存设备为处于fsdax模式的设备；根据所述设备名称在所述持久内存设备中创建多个spark任务对应的文件路径，并在每一所述文件路径下生成所述预设文件大小的持久内存文件；将每一所述spark任务生成的中间数据存储至对应的所述持久内存文件。2.根据权利要求1所述数据存储方法，其特征在于，根据所述设备名称在所述持久内存设备中创建多个spark任务对应的文件路径，包括：随机生成多个中间文件名，并根据所述设备名称和所述中间文件名在所述持久内存设备中创建多个所述spark任务对应的所述文件路径。3.根据权利要求2所述数据存储方法，其特征在于，还包括：在检测到所述spark计算框架执行新spark任务时，随机生成新中间文件名，并根据所述设备名称和所述新中间文件名在所述持久内存设备中创建所述新spark任务对应的新文件路径；在所述新文件路径下生成新持久内存文件，并将所述新spark任务生成的新中间数据存储至所述新持久内存文件。4.根据权利要求1所述数据存储方法，其特征在于，在将每一所述spark任务生成的中间数据存储至对应的所述持久内存文件之前，还包括：确定所述持久内存设备对应的目标cpu核心；获取所述spark任务的当前进程号；配置所述当前进程号和所述目标cpu核心的绑定关系；相应的，将每一所述spark任务生成的中间数据存储至对应的所述持久内存文件，包括：根据所述绑定关系控制所述目标cpu核心将每一所述spark任务生成的中间数据存储至对应的所述持久内存文件。5.根据权利要求4所述数据存储方法，其特征在于，配置所述当前进程号和所述目标cpu核心的绑定关系，包括：通过taskset方法或sched_setaffinity方法配置所述当前进程号和所述目标cpu核心的绑定关系。6.根据权利要求1所述数据存储方法，其特征在于，在确定持久内存设备的设备名称和预设文件大小之前，还包括：判断所述持久内存设备的设备属性是否为目录；若是，则判定所述持久内存设备为处于fsdax模式的设备。7.根据权利要求1至6任一项所述数据存储方法，其特征在于，在将每一所述spark任务生成的中间数据存储至对应的所述持久内存文件之后，还包括：若检测到spark任务执行完毕，则通过调用posix的文件删除方法删除执行完毕的spark任务对应的持久内存文件。8.一种数据存储系统，其特征在于，应用于spark计算框架，所述数据存储系统包括：参数确定模块，用于确定持久内存设备的设备名称和预设文件大小；其中，所述持久内
存设备为处于fsdax模式的设备；文件创建模块，用于根据所述设备名称在所述持久内存设备中创建多个spark任务对应的文件路径，并在每一所述文件路径下生成所述预设文件大小的持久内存文件；数据存储模块，用于将每一所述spark任务生成的中间数据存储至对应的所述持久内存文件。9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述数据存储方法的步骤。10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述数据存储方法的步骤。

技术总结
本申请公开了一种数据存储方法，应用于Spark计算框架，所述数据存储方法包括：确定持久内存设备的设备名称和预设文件大小；其中，所述持久内存设备为处于fsdax模式的设备；根据所述设备名称在所述持久内存设备中创建多个Spark任务对应的文件路径，并在每一所述文件路径下生成所述预设文件大小的持久内存文件；将每一所述Spark任务生成的中间数据存储至对应的所述持久内存文件。本申请能够灵活分配执行器的数量，使得Spark计算框架能够同时执行多个Spark任务，提高了Spark计算框架的任务处理效率和连续运行时的稳定性。本申请还公开了一种数据存储系统、一种电子设备及一种存储介质，具有以上有益效果。具有以上有益效果。具有以上有益效果。


技术研发人员：秦朝阳 付海明 袁博
受保护的技术使用者：济南浪潮数据技术有限公司
技术研发日：2021.05.20
技术公布日：2021/11/2