一种文件合并方法、装置、电子设备及介质与流程

技术特征：
1.一种文件合并方法，其特征在于，包括：获取目标历史合并周期对应的历史上限值和历史读取速度，所述历史上限值为合并文件的文件大小的上限值；根据所述历史上限值和所述历史读取速度，确定当前合并周期对应的当前上限值；基于所述当前上限值对待合并文件进行合并。2.根据权利要求1所述的方法，其特征在于，所述目标历史合并周期包括位于当前合并周期之前且与当前合并周期距离最近的预设数量的合并周期。3.根据权利要求2所述的方法，其特征在于，所述根据所述历史上限值和所述历史读取速度，确定当前合并周期对应的当前上限值，包括：根据各目标历史合并周期的历史上限值以及在各目标历史合并周期内的历史读取速度，计算当前合并周期的迭代值；基于所述迭代值和与当前合并周期相邻的上一目标历史合并周期的上限值，确定当前合并周期对应的当前上限值。4.根据权利要求3所述的方法，其特征在于，所述根据各目标历史合并周期的历史上限值以及在各目标历史合并周期内的历史读取速度，计算当前合并周期的迭代值，包括：基于各目标历史合并周期的历史上限值以及在各目标历史合并周期内的历史读取速度，计算当前合并周期的迭代率；基于所述迭代率和学习率的预设值，确定当前合并周期的迭代值。5.根据权利要求2所述的方法，其特征在于，所述获取目标历史合并周期对应的历史上限值和历史读取速度，包括：如果存在预设数量的目标历史合并周期，则针对每一个目标历史合并周期，获取目标历史合并周期对应的历史上限值和历史读取速度。6.根据权利要求2所述的方法，其特征在于，还包括：如果不存在预设数量的目标历史合并周期，则将与当前合并周期对应的预设上限值作为当前合并周期对应的当前上限值。7.根据权利要求1-6任一所述的方法，其特征在于，所述基于所述当前上限值对待合并文件进行合并，包括：基于预设筛选条件对hdfs中的文件进行筛选，确定所述hdfs中的待合并文件；根据所述当前上限值和所述待合并文件对应的业务类型，将所述待合并文件合并为至少一个合并文件。8.一种文件合并装置，其特征在于，包括：获取模块，用于获取目标历史合并周期对应的历史上限值和历史读取速度，所述历史上限值为合并文件的文件大小的上限值；确定模块，用于根据所述历史上限值和所述历史读取速度，确定当前合并周期对应的当前上限值；合并模块，用于基于所述当前上限值对待合并文件进行合并。9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的文件合并方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的文件合并方法。

技术总结
本发明公开了一种文件合并方法、装置、电子设备及介质，所述方法包括：获取目标历史合并周期对应的历史上限值和历史读取速度，所述历史上限值为合并文件的文件大小的上限值；根据所述历史上限值和所述历史读取速度，确定当前合并周期对应的当前上限值；基于所述当前上限值对待合并文件进行合并。通过根据历史上限值和历史读取速度确定当前合并周期对应的当前上限值，实现了当前合并周期的当前上限值的动态调整，进而基于当前上限值对待合并文件进行合并，能够适应HDFS的实际情况，提高HDFS的性能。性能。性能。


技术研发人员：王炳坤
受保护的技术使用者：慕思健康睡眠股份有限公司
技术研发日：2022.09.07
技术公布日：2022/12/5