文件处理方法、装置及电子设备与流程

技术特征：
1.一种文件处理方法，其特征在于，包括：接收文件处理请求，其中，所述文件处理请求中至少包含游标信息，所述游标信息用于标识数据库集群中的第一个待删除文件；按照预设的删除顺序，根据游标信息采用并行删除的方式对所述数据库集群中的至少一个待删除文件的部分文件数据进行删除，其中，所述部分文件数据的数据量小于或等于预设数据量，在删除每个待删除文件时，从所述每个待删除文件的尾部开始从后往前删除文件数据；在每次删除操作完成之后，统计删除数据总量，并在所述删除数据总量大于或等于预设阈值时，更新元数据信息，其中，所述元数据信息至少包括最新的目标游标信息以及每个待删除文件剩余的目标数据量，所述目标游标信息用于表征在执行下一次删除操作时的第一个待删除文件。2.根据权利要求1所述的方法，其特征在于，按照预设的删除顺序，根据游标信息采用并行删除的方式对所述数据库集群中的至少一个待删除文件的部分文件数据进行删除，包括：按照所述预设的删除顺序，从所述数据库集群中确定预设数量的待删除文件；采用并行删除的方式对所述预设数量的待删除文件进行删除，其中，在删除过程中包括至少一次删除操作，每次删除操作所删除的最大文件数据量为所述预设数据量。3.根据权利要求2所述的方法，其特征在于，采用并行删除的方式对所述预设数量的待删除文件进行删除，包括：在每次对所述待删除文件进行删除操作时，检测所述待删除文件在删除过程中是否存在异常；在所述待删除文件在删除过程中存在异常时，确定所述待删除文件为异常文件；将所述异常文件对应的垃圾文件记录移动至第一文件队列中。4.根据权利要求3所述的方法，其特征在于，采用并行删除的方式对所述预设数量的待删除文件进行删除，包括：在每次对所述待删除文件进行删除操作时，检测所述待删除文件的文件数据是否已经被全部删除；在所述待删除文件的文件数据未被全部删除的情况下，将所述待删除文件对应的垃圾文件记录移动至第二文件队列中；在所述待删除文件的文件数据已经被全部删除的情况下，将所述待删除文件对应的垃圾文件记录移动至第三文件队列中。5.根据权利要求2所述的方法，其特征在于，采用并行删除的方式对所述预设数量的待删除文件进行删除，包括：在每次对所述待删除文件进行删除时，确定所述待删除文件还未被删除的文件数据的数据量为待删除数据量；在所述待删除数据量大于或等于固定数据量时，从所述待删除文件的尾部开始从后往前删除所述固定数据量的文件数据，其中，所述固定数据量为每次删除操作时对一个待删除文件能够进行删除的最大数据量；在所述待删除数据量小于所述固定数据量时，将所述待删除文件全部删除。
6.根据权利要求4所述的方法，其特征在于，在所述删除数据总量大于或等于预设阈值时，更新元数据信息，包括：根据所述第二文件队列中的垃圾文件记录确定目标文件，其中，所述目标文件为所述第二文件队列所对应的所有待删除文件中文件序号最小的文件，所述文件序号用于表征所述待删除文件的删除顺序；根据所述目标文件更新所述游标信息，得到所述目标游标信息，其中，所述目标游标信息表征在执行下一次删除操作时，所述目标文件为第一个待删除文件；更新所述第二文件队列中的每个垃圾文件记录所对应的文件的数据量，得到所述目标数据量；将所述第三文件队列中的每个垃圾文件记录所对应的文件的数据量更新为0；根据所述目标数据量以及所述目标游标信息更新所述元数据信息。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在根据所述目标文件更新所述游标信息，得到所述目标游标信息时，根据所述目标游标信息以及所述游标信息确定待删除的垃圾文件记录；删除所述待删除的垃圾文件记录。8.根据权利要求7所述的方法，其特征在于，在更新元数据信息之后，所述方法还包括：清零所述删除数据总量，并在下一次删除操作完成之后重新计算所述删除数据总量；清空所述第一文件队列中的垃圾文件记录和所述第三文件队列中的垃圾文件记录。9.根据权利要求1所述的方法，其特征在于，在更新元数据信息之后，所述方法还包括：检测用于管理所述数据库集群的分布式文件系统是否出现异常并且进行了重启；在所述分布式文件系统重启成功之后，根据所述目标游标信息对所述数据库集群中剩余的待删除文件进行删除。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收文件处理终止请求，其中，所述文件处理终止请求用于请求在预设时长内终止正在执行的文件处理请求；根据预设时长确定最大等待时长，其中，所述最大等待时长小于所述预设时长；检测在所述最大等待时长内已经完成删除操作的第一待删除文件；获取所述第一待删除文件的最新数据量；根据所述最新数据量更新所述元数据信息；禁止执行新的文件处理请求。11.根据权利要求10所述的方法，其特征在于，在根据预设时长确定最大等待时长之后，所述方法还包括：检测在所述最大等待时长内是否完成了对所述元数据信息的更新操作；若在所述最大等待时长内完成了对所述元数据信息的更新操作，生成第一回复信息，其中，所述第一回复信息表征所述文件处理请求已经完成。12.一种文件处理装置，其特征在于，包括：接收模块，用于接收文件处理请求，其中，所述文件处理请求中至少包含游标信息，所述游标信息用于标识数据库集群中的第一个待删除文件；删除模块，用于按照预设的删除顺序，根据游标信息采用并行删除的方式对所述数据
库集群中的至少一个待删除文件的部分文件数据进行删除，其中，所述部分文件数据的数据量小于或等于预设数据量，在删除每个待删除文件时，从所述每个待删除文件的尾部开始从后往前删除文件数据；更新模块，用于在每次删除操作完成之后，统计删除数据总量，并在所述删除数据总量大于或等于预设阈值时，更新元数据信息，其中，所述元数据信息至少包括最新的目标游标信息以及每个待删除文件剩余的目标数据量，所述目标游标信息用于表征在执行下一次删除操作时的第一个待删除文件。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至11任一项中所述的文件处理方法。14.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至11中任意一项所述的文件处理方法。

技术总结
本申请公开了一种文件处理方法、装置及电子设备。其中，该方法包括：接收文件处理请求，其中，文件处理请求中至少包含游标信息，游标信息用于标识数据库集群中的第一个待删除文件；按照预设的删除顺序，根据游标信息采用并行删除的方式对数据库集群中的至少一个待删除文件的部分文件数据进行删除；在每次删除操作完成之后，统计删除数据总量，并在删除数据总量大于预设阈值时，更新元数据信息，其中，元数据信息至少包括最新的目标游标信息以及每个待删除文件剩余的目标数据量，目标游标信息用于表征在执行下一次删除操作时的第一个待删除文件。本申请解决了现有技术中垃圾文件删除效率低的技术问题。除效率低的技术问题。除效率低的技术问题。


技术研发人员：赵岩 刘名欣 瞿天善 张旭明 王豪迈 胥昕
受保护的技术使用者：北京星辰天合科技股份有限公司
技术研发日：2022.09.21
技术公布日：2022/11/29