数据文件加密方法、装置、计算设备及存储介质与流程

技术特征：
1.一种数据文件加密方法，包括：接收数据文件的文件上传请求，将所述数据文件的多个数据分片分别存入分布式存储系统中的多个数据节点中；获取所述数据文件的任一数据分片所存入的数据节点的负载信息；根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象；若确定执行加密处理的对象为该数据分片所存入的数据节点，控制所述数据节点对该数据分片进行加密处理。2.根据权利要求1所述的方法，其中，在所述确定执行加密处理的对象之后，所述方法进一步包括：若确定执行加密处理的对象为计算节点，控制所述计算节点从所述数据节点读取该数据分片并加载到所述计算节点本地以对该数据分片进行加密处理。3.根据权利要求1或2所述的方法，其中，所述接收数据文件的文件上传请求之前，所述方法还包括：接收通过断点续传的方式所上传的数据文件的多个数据分片；其中，所述多个数据分片是按照第一预定大小对数据文件分割而生成。4.根据权利要求1-3中任一项所述的方法，其中，所述负载信息包括：cpu负载信息和/或磁盘负载信息；所述根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象进一步包括：在该数据分片所存入的数据节点的cpu负载信息低于第一预设值和/或磁盘负载信息低于第二预设值的情况下，确定执行加密处理的对象为所述数据节点；在该数据分片所存入的数据节点的cpu负载信息高于第一预设值和/或磁盘负载信息高于第二预设值的情况下，确定执行加密处理的对象为计算节点。5.根据权利要求1-4中任一项所述的方法，其中，所述控制所述数据节点对该数据分片进行加密处理进一步包括：创建第一计算任务，将所述第一计算任务发送给所述数据节点，以供所述数据节点运行所述第一计算任务；其中，所述第一计算任务用于对该数据分片进行加密处理。6.根据权利要求2-5中任一项所述的方法，其中，所述控制所述计算节点从所述数据节点读取该数据分片并加载到所述计算节点本地以对该数据分片进行加密处理进一步包括：创建第二计算任务，将所述第二计算任务发送给计算节点，以供所述计算节点运行所述第二计算任务；其中，所述第二计算任务用于从所述数据节点读取该数据分片并加载到所述计算节点本地并对该数据分片进行加密处理。7.根据权利要求1-6中任一项所述的方法，其中，所述对该数据分片进行加密处理进一步包括：根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理，得到该数据分片的加密处理结果；其中，若该数据分片为所述数据文件中的第1个数据分片，该数据分片的前一数据分片的加密处理结果为预设加密处理结果。8.根据权利要求7所述的方法，其中，若该数据分片为所述数据文件中的第1个数据分
片，根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理，得到该数据分片的加密处理结果进一步包括：若该数据分片的数据的大小是第二预定大小的整数倍，按照所述第二预定大小对该数据分片进行分组，得到多个分组；若该数据分片的数据的大小不是所述第二预定大小的整数倍，按照所述第二预定大小对该数据分片进行分组，得到多个分组和尾部数据；根据所述多个分组以及所述预设加密处理结果进行加密运算，得到散列中间结果。9.根据权利要求8所述的方法，其中，若该数据分片为除了第1个数据分片之外的其他任一数据分片，所述根据该数据分片的数据以及该数据分片的前一数据分片的加密处理结果进行加密处理进一步包括：在所述前一数据分片的加密处理结果包括散列中间结果以及尾部数据的情况下，将所述前一数据分片对应的尾部数据与该数据分片的数据进行拼接；根据拼接得到的数据以及所述前一数据分片对应的散列中间结果进行加密处理，得到该数据分片的加密处理结果；在所述前一数据分片的加密处理结果包括散列中间结果但不包括尾部数据的情况下，根据该数据分片的数据以及所述前一数据分片对应的散列中间结果进行加密处理，得到该数据分片的加密处理结果。10.根据权利要求7-9中任一项所述的方法，其中，所述方法还包括：提取所述数据文件的最后一个数据分片的加密处理结果中包含的散列中间结果，将提取的散列中间结果保存为所述数据文件的加密处理结果。11.根据权利要求2-10中任一项所述的方法，其中，在确定执行加密处理的对象为计算节点之后，所述方法还包括：根据计算节点集群中各个计算节点的负载信息，从计算节点集群中筛选出目标计算节点；所述控制所述计算节点从所述数据节点读取该数据分片并加载到所述计算节点本地以对该数据分片进行加密处理进一步包括：控制所述目标计算节点从所述数据节点读取该数据分片并加载到所述计算节点本地以对该数据分片进行加密处理。12.一种数据文件加密装置，包括：获取模块，适于接收数据文件的文件上传请求，将所述数据文件的多个数据分片分别存入分布式存储系统中的多个数据节点中；决策模块，适于获取所述数据文件的任一数据分片所存入的数据节点的负载信息；根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象；处理模块，适于若确定执行加密处理的对象为该数据分片所存入的数据节点，控制所述数据节点对该数据分片进行加密处理。13.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-11中任一项所述的数据文件加密方法对应的操作。14.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-11中任一项所述的数据文件加密方法对应的操作。

技术总结
本申请公开了一种数据文件加密方法、装置、计算设备及存储介质，该方法包括：接收数据文件的文件上传请求，将数据文件的多个数据分片分别存入分布式存储系统中的多个数据节点中；获取数据文件的任一数据分片所存入的数据节点的负载信息；根据该数据分片所存入的数据节点的负载信息，确定执行加密处理的对象；若确定执行加密处理的对象为该数据分片所存入的数据节点，控制数据节点对该数据分片进行加密处理。通过上述方式，只需要数据节点动态地预留一部分计算资源，在数据节点负载较低的情况下，在数据节点完成数据分片的加密处理，而无需将数据分片加载到外部计算节点进行加密处理，能够节省网络带宽资源，能够避免数据节点吞吐量过大的情况。点吞吐量过大的情况。点吞吐量过大的情况。


技术研发人员：梁松涛 罗小凡 缪春锴
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：2022.10.28
技术公布日：2023/1/31