文件处理方法、装置、设备、介质及产品与流程
本技术涉及计算机,尤其涉及一种文件处理方法、装置、设备、介质及产品,具体涉及一种文件处理方法、一种文件处理装置、一种计算机设备、一种计算机可读存储介质及一种计算机程序产品。
背景技术:
1、云上大数据存储系统(简称云存储系统),是基于云存储打造的为大数据计算服务提供存储服务的系统,该云存储系统通过将数据按照文件形式进行存储,并且文件中的数据通常会以数据块的形式来组织。
2、目前,客户端向云存储系统中每次写入或上传一个数据块时,均需要与服务器(如元数据管理服务器)之间进行交互,频繁交互的方式导致文件操作的效率低下。
技术实现思路
1、本技术提供一种文件处理方法、装置、设备、介质及产品,能够通过操作版本标识及上传版本标识这种双版本的数据块管理方式,来实现对文件的高效处理操作,可提高文件操作效率。
2、一方面,本技术实施例提供了一种文件处理方法,该方法包括:
3、向元数据管理服务器发送针对第一文件的文件操作请求,第一文件按照数据块方式存储于云存储系统中,元数据管理服务器用于对云存储系统中存储的文件的元数据进行管理;
4、接收第一文件的第一操作版本标识,第一文件的第一操作版本标识是元数据管理服务器响应于文件操作请求而返回的;
5、基于第一操作版本标识,在云存储系统中对第一文件执行文件操作处理;文件操作处理用于指示对第一文件的数据块执行至少一次数据处理操作;
6、在文件操作处理的执行过程中,为第一文件中的第一数据块生成第一上传版本标识,第一数据块是指第一文件中随任一次数据处理操作发生变化的数据块;
7、将第一操作版本标识及第一上传版本标识作为第一数据块的描述信息发送至元数据管理服务器,使元数据管理服务器基于描述信息对第一文件中的元数据进行更新处理。
8、一方面,本技术实施例提供了一种文件处理方法,该方法包括:
9、接收客户端发送的针对第一文件的文件操作请求,第一文件按照数据块方式存储于云存储系统中,元数据管理服务器用于对云存储系统中存储的文件的元数据进行管理;
10、响应于文件操作请求,向客户端发送第一文件的第一操作版本标识;
11、接收客户端发送的第一数据块的描述信息,描述信息包括第一操作版本标识及第一文件中的第一数据块的第一上传版本标识;第一上传版本标识是在云存储系统中对第一文件执行的文件操作处理过程中,由客户端为第一文件中的第一数据块生成的,第一数据块是指第一文件中随任一次数据处理操作发生变化的数据块;文件操作处理用于指示对第一文件的数据块执行至少一次数据处理操作;
12、基于第一数据块的描述信息对第一文件的元数据进行更新处理。
13、一方面,本技术实施例提供了一种文件处理装置,该装置包括:
14、发送单元,用于向元数据管理服务器发送针对第一文件的文件操作请求,第一文件按照数据块方式存储于云存储系统中,元数据管理服务器用于对云存储系统中存储的文件的元数据进行管理;
15、接收单元,用于接收第一文件的第一操作版本标识,第一文件的第一操作版本标识是元数据管理服务器响应于文件操作请求而返回的;
16、处理单元,用于基于第一操作版本标识,在云存储系统中对第一文件执行文件操作处理;文件操作处理用于指示对第一文件的数据块执行至少一次数据处理操作;
17、处理单元,还用于在文件操作处理的执行过程中,为第一文件中的第一数据块生成第一上传版本标识,第一数据块是指第一文件中随任一次数据处理操作发生变化的数据块;
18、发送单元,还用于将第一操作版本标识及第一上传版本标识作为第一数据块的描述信息发送至元数据管理服务器,使元数据管理服务器基于描述信息对第一文件中的元数据进行更新处理。
19、在一种可能的实现方式中,第一文件包括可变数据块,可变数据块支持被写入数据;数据处理操作包括对第一文件的数据写入操作;处理单元1003在文件操作处理的执行过程中,为第一文件中的第一数据块生成第一上传版本标识,用于执行以下操作:
20、从云存储系统中将第一文件中的可变数据块加载至客户端的内存中;可变数据块具备初始上传版本标识i,i为整数;
21、获取数据写入操作对应的第一数据,并在内存中向可变数据块中写入所述第一数据,生成第一数据块;
22、基于可变数据块的初始上传版本标识i,为第一数据块生成第一上传版本标识i+1;
23、其中,当检测到云存储系统的缓存接口被调用时,内存中的第一数据块被持久化至云存储系统中。
24、在一种可能的实现方式中,处理单元还用于执行以下操作:
25、从云存储系统中将第一数据块加载至客户端的内存中,并获取数据写入操作对应待写入的第二数据;
26、在内存中向第一数据块中写入第二数据生成第二数据块,并基于第一数据块的第一上传版本标识i+1,为第二数据块生成第二上传版本标识i+2;
27、直至被执行数据写入操作后的可变数据块的数据长度达到预设长度时,向云存储系统提交预设长度的固定数据块;
28、将删除预设长度后的可变数据块作为第一文件中新的可变数据块,并为新的可变数据块设置新的上传版本标识。
29、在一种可能的实现方式中,数据处理操作还包括对第一文件的数据删除操作;处理单元在云存储系统中对第一文件执行文件操作处理,还用于执行以下操作:
30、从云存储系统中将第二数据块加载至客户端的内存中;第二数据块具备第二上传版本标识i+2;
31、获取数据删除操作对应的待删除数据,并在内存中从第二数据块中删除待删除数据,生成第三数据块;
32、基于第二数据块的第二上传版本标识i+2,为第三数据块生成第三上传版本标识i+3;其中,第一数据块、第二数据块以及第三数据块均具备第一操作版本标识。
33、在一种可能的实现方式中,第一文件中的任一个数据块在云存储系统中被存储为一个对象,每个对象对应一个对象标识;文件操作处理还用于指示对第一文件的数据读取操作;处理单元还用于执行以下操作:
34、获取元数据管理服务器发送的第一文件的元数据,第一文件的元数据中记录有第一文件中各个数据块的描述信息;任一个数据块的描述信息包括:操作版本标识、上传版本标识、块序号、长度中的至少一种;
35、解析第一文件的元数据,获取数据读取操作对应待读取数据块的目标描述信息;
36、基于目标描述信息生成目标对象标识,并基于目标对象标识从云存储系统中的第一文件中读取目标对象标识所指示的目标数据块。
37、在一种可能的实现方式中,第一文件的第一操作版本标识表示为j,j为整数;处理单元还用于执行以下操作:
38、响应于对云存储系统的文件关闭接口的调用操作,将第一文件中的第一数据块持久化至云存储系统中;
39、向元数据管理服务器再次发送针对第一文件的文件操作请求,接收元数据管理服务器返回的第一文件的第二操作版本标识;其中,第二操作版本标识为j+1。
40、一方面,本技术实施例提供了一种文件处理装置,该装置包括:
41、接收单元,用于接收客户端发送的针对第一文件的文件操作请求,第一文件按照数据块方式存储于云存储系统中,元数据管理服务器用于对云存储系统中存储的文件的元数据进行管理;
42、发送单元,用于响应于文件操作请求,向客户端发送第一文件的第一操作版本标识;
43、接收单元,还用于接收客户端发送的第一数据块的描述信息,描述信息包括第一操作版本标识及第一文件中的第一数据块的第一上传版本标识;第一上传版本标识是在云存储系统中对第一文件执行的文件操作处理过程中,由客户端为第一文件中的第一数据块生成的,第一数据块是指第一文件中随任一次数据处理操作发生变化的数据块;文件操作处理用于指示对第一文件的数据块执行至少一次数据处理操作;
44、处理单元,用于基于第一数据块的描述信息对第一文件的元数据进行更新处理。
45、在一种可能的实现方式中,处理单元基于描述信息对第一文件的元数据进行更新处理,用于执行以下操作:
46、获取第一文件的元数据,并基于第一文件的元数据为第一文件构建第一数据存储结构;
47、基于第一数据块的描述信息对第一数据存储结构进行更新处理,得到第一文件更新后的第二数据存储结构。
48、在一种可能的实现方式中,第一文件中包括n个固定数据块及一个可变数据块,每个固定数据块的数据长度均等于预设长度,并且可变数据块的数据长度小于预设长度,n为正整数;第一文件的元数据中记录有第一文件中各个数据块的描述信息;处理单元基于第一文件的元数据为第一文件构建第一数据存储结构,用于执行以下操作:
49、从第一文件的元数据中获取每个固定数据块的第一描述信息,第一描述信息包括:块序号、操作版本标识;
50、按照n个固定数据块的第一描述信息,为n个固定数据块构建得到k个区间树,并将k个区间树按序存储至第一存储区中;其中,每个区间树用于记录具备相同操作版本标识的至少一个固定数据块,k为正整数;
51、从第一文件的元数据中获取可变数据块的第二描述信息,并将第二描述信息存储至第二存储区中;第二描述信息包括:初始操作版本标识、初始上传版本标识、初始长度中的至少一种;
52、将第一存储区与第二存储区,拼接为第一文件的第一数据存储结构。
53、在一种可能的实现方式中,发送单元向客户端发送第一文件的第一操作版本标识,用于执行以下操作:
54、若文件操作请求用于指示第一文件被执行创建操作,则将第一操作版本标识设为初始值;
55、若文件操作请求用于指示第一文件被执行文件操作处理,则从第一文件的第一数据存储结构中获取可变数据块的初始操作版本标识;
56、基于初始操作版本标识生成第一操作版本标识,并将第一操作版本标识返回至客户端。
57、在一种可能的实现方式中,处理单元还用于执行以下操作:
58、获取发送文件操作请求的目标客户端标识,并基于目标客户端标识对客户端进行校验;其中,校验包括:权限校验、安全性校验、合法性校验中的至少一种;
59、若对客户端的校验通过,则触发执行从第一文件的第一数据存储结构中获取可变数据块的初始操作版本标识的步骤。
60、在一种可能的实现方式中,处理单元基于第一数据块的描述信息对第一数据存储结构进行更新处理,得到第一文件更新后的第二数据存储结构,用于执行以下操作:
61、解析第一数据块的描述信息,得到第一数据块对应的目标长度;
62、若目标长度小于预设长度,则基于第一数据块的描述信息对第一数据存储结构中的第二存储区进行数据更新处理,得到第一文件的第二数据存储结构。
63、在一种可能的实现方式中,处理单元还用于执行以下操作:
64、若目标长度等于所述预设长度,则将第一数据块作为一个固定数据块,并将第一数据块的第一操作版本标识添加至第一数据存储结构的第一存储区中,得到第一文件的第二数据存储结构;或者,
65、若目标长度大于所述预设长度,则将第一数据块划分为:至少一个固定数据块和新的可变数据块;将每个固定数据块的第一操作版本标识添加至第一数据存储结构的第一存储区中,并基于新的可变数据块的描述信息对第一数据存储结构中的第二存储区进行数据更新处理,得到第一文件的第二数据存储结构。
66、一方面,本技术实施例提供了一种计算机设备,该计算机设备包括处理器和存储器;该存储器中存储有计算机程序;该计算机程序被处理器执行时,执行上述文件处理方法。
67、一方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时,执行上述文件处理方法。
68、一方面,本技术实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序被处理器执行时,执行上述文件处理方法。
69、本技术实施例中,向元数据管理服务器发送针对第一文件的文件操作请求,第一文件按照数据块方式存储于云存储系统中,元数据管理服务器用于对云存储系统中存储的文件的元数据进行管理;接收第一文件的第一操作版本标识,第一文件的第一操作版本标识是元数据管理服务器响应于文件操作请求而返回的;基于第一操作版本标识,在云存储系统中对第一文件执行文件操作处理,该文件操作处理用于指示对第一文件的数据块执行至少一次数据处理操作;可见,在客户端请求对云存储系统中的任一文件(如第一文件)执行文件操作处理时,可以基于元数据管理服务器返回的第一操作版本标识,来对第一文件执行多次文件操作处理,无需每次执行文件操作处理时,均与元数据管理服务器进行交互。在文件操作处理的执行过程中,为第一文件中的第一数据块生成第一上传版本标识,第一数据块是指第一文件中随任一次数据处理操作发生变化的数据块;将第一操作版本标识及第一上传版本标识作为第一数据块的描述信息发送至元数据管理服务器,使元数据管理服务器基于描述信息对第一文件中的元数据进行更新处理;可见,每对文件执行一次数据处理操作时,客户端均能够对当前操作所产生变化的数据块对应生成一个上传版本标识,进而将第一操作版本标识和第一上传版本标识作为当前产生变化的第一数据块的描述信息发送至元数据管理服务器。总结来说,本技术在客户端请求对文件执行操作处理时,服务器向客户端返回一次操作版本标识后,即可支持客户端在该操作版本标识下对文件执行多次数据处理操作,减少与服务器之间的频繁交互,提高文件操作效率。另外,通过设计操作版本标识和上传版本标识这种双版本数据块,有利于元数据管理服务器对文件的高效管理。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com