一种文件管理方法、程序产品、主控节点及存储介质与流程

1.本技术涉及计算机文件管理的技术领域，具体而言，涉及一种文件管理方法、程序产品、主控节点及存储介质。


背景技术：

2.在计算机视觉领域的人工智能训练中，常常需要大量随机读取数据集中的图片文件，具体例如4～1024kb级别的小文件训练数据集，通常对于这种小文件训练数据集进行管理都是采用分布式文件系统服务来管理的。然而，在具体的实践过程中发现，常见的分布式文件系统服务对于大量大小为4～1024kb级别的小文件的处理效率比较慢。


技术实现要素：

3.本技术实施例的目的在于提供一种文件管理方法、程序产品、主控节点及存储介质，以改善上述技术问题。
4.为实现上述目的，本技术实施例提供如下技术方案：
5.第一方面，本技术实施例提供了一种文件管理方法，应用于主控节点，包括：接收终端设备发送的文件请求，文件请求包括目标文件的文件标识；查找到目标文件的文件标识对应的卷标识；判断卷标识对应的数据卷是否加载在服务节点中；若是，则获取服务节点对应的映射文件，并向终端设备发送映射文件，映射文件包括：服务节点标识与卷标识之间的映射关系。在上述的实现过程中，通过确定该目标文件对应的卷标识对应的数据卷加载在服务节点中，就向终端设备发送映射文件，终端设备可以根据映射文件从能够从预先加载数据卷的服务节点中获取目标文件，避免了服务节点临时加载数据卷来提高目标文件的情况，有效地减少了服务节点处理文件请求的时长，从而提高了小文件的处理效率。
6.在第一方面的一种实现方式中，在判断卷标识对应的数据卷是否加载在服务节点中之后，还包括：若卷标识对应的数据卷没有加载在服务节点中，则向终端设备发送对象存储服务的地址信息文件，对象存储服务用于向终端设备提供目标文件。在上述的实现过程中，通过确定卷标识对应的数据卷没有加载在服务节点中，则向终端设备发送对象存储服务的地址信息文件，从而保证该终端设备始终能够访问目标文件。
7.在第一方面的一种实现方式中，在向终端设备发送对象存储服务的索引地址之后，还包括：获取卷标识对应的数据卷；将卷标识对应的数据卷加载在服务节点中。在上述的实现过程中，通过获取卷标识对应的数据卷；将卷标识对应的数据卷加载在服务节点中，以便该数据卷中的文件在被下次访问到时，服务节点就可以直接从该数据卷中返回想要访问的文件，而不需要再次加载该卷标识对应的数据卷，从而提升了终端设备访问重复数据卷中文件的访问效率和访问速度。
8.在第一方面的一种实现方式中，在向终端设备发送映射文件之后，还包括：查找文件标识关联的卷标识；向终端设备发送文件标识关联的卷标识对应的映射文件。在上述的实现过程中，通过提前预加载机制将关联的卷标识与服务节点对应的映射文件推送给终端
设备，以使终端设备再次使用到该映射文件时，就不用再次请求该映射文件，而是直接使用该映射文件到服务节点获取文件即可；这种方式有效地提高了数据卷的使用命中率，从而提高了对数据卷上的小文件的访问效率和速度。
9.在第一方面的一种实现方式中，在判断卷标识对应的数据卷是否加载在服务节点中之前，还包括：接收终端设备发送的文件存储请求；获取文件存储请求对应的文件数据，并将文件数据存储在卷标识对应的数据卷中。
10.在第一方面的一种实现方式中，文件存储请求包括：对象存储服务的索引地址；获取文件存储请求对应的文件数据，包括：根据索引地址从对象存储服务中获取文件存储请求对应的文件数据。
11.在第一方面的一种实现方式中，将文件数据存储在卷标识对应的数据卷中，包括：通过分布式集群中的集群节点将文件数据存储在卷标识对应的数据卷中，获得数据卷的状态；通过集群节点将数据卷的状态同步给分布式集群。在上述的实现过程中，通过分布式集群中的集群节点将文件数据存储在卷标识对应的数据卷中，获得数据卷的状态；通过集群节点将数据卷的状态同步给分布式集群，从而分布式集群中的集群节点以最快速度得知该数据卷的状态，避免了重复将目标文件存储在该数据卷的情况出现。
12.在第一方面的一种实现方式中，文件管理方法还包括：根据服务节点中的文件访问信息统计出需要备份的数据卷；向服务节点发送拷贝指令，拷贝指令用于将需要备份的数据卷拷贝到不同的服务节点中。在上述的实现过程中，通过热点均衡机制将需要备份的数据卷拷贝到不同的服务节点中，使得热点数据卷可以同时被多个服务节点使用，并向大量的终端设备提供文件访问服务，从而避免了终端设备数量过大导致热点小文件访问速度慢的情况，有效地提高了热点小文件的读取效率。
13.第二方面，本技术实施例还提供了一种文件管理方法，应用于终端设备，包括：根据目标文件的文件标识生成文件请求，并向主控节点发送文件请求，文件请求用于请求获取目标文件对应的映射文件或者地址信息文件；若接收到主控节点发送的目标文件对应的映射文件，则从映射文件中解析出服务节点标识，并向服务节点发送目标文件对应的卷标识和文件标识，文件标识用于从服务节点上获取目标文件。在上述的实现过程中，通过终端设备向主控节点发送文件请求，文件请求用于请求获取目标文件对应的映射文件或者地址信息文件；使得终端设备可以根据映射文件从能够从预先加载数据卷的服务节点中获取目标文件，有效地减少了终端设备在获取文件过程中使用的资源，从而提高了小文件的处理效率。
14.在第二方面的一种实现方式中，在向主控节点发送文件请求之后，还包括：若接收到主控节点发送的目标文件对应的地址信息文件，则从地址信息文件中的对象存储服务获取目标文件。
15.第三方面，本技术实施例还提供了一种文件管理方法，应用于服务节点，包括：接收终端设备发送的文件标识，文件标识用于请求目标文件；在预先加载的数据卷中查找文件标识对应的目标文件；向终端设备发送目标文件。在上述的实现过程中，通过在预先加载的数据卷中查找文件标识对应的目标文件，并向终端设备发送目标文件，从而避免了根据文件标识从硬盘或者磁盘上读取目标文件的情况，有效地提高了终端设备访问服务节点上的目标文件的访问效率。
16.在第三方面的一种实现方式中，数据卷中存储有索引文件、数据文件和元文件；在预先加载的数据卷中查找文件标识对应的目标文件，包括：从索引文件中查找到目标文件对应的起始偏移量，起始偏移量是目标文件的文件数据存储在数据卷中的地址偏移量；根据起始偏移量从数据卷中读取目标文件的文件数据；从元文件获取目标文件的元信息，并根据目标文件的元信息、文件数据和文件标识生成目标文件。在上述的实现过程中，通过nori格式的文件存储单位的方式来存储文件数据，该nori格式有效地将文件的索引文件、元文件和数据文件分开存储，并提前推送映射文件至终端设备，从而加速了批量小文件在数据卷上的读取速度。
17.第四方面，本技术实施例提供了一种文件管理系统，包括：主控节点和服务节点；主控节点与服务节点相互通信；主控节点用于执行如上面第一方面的任一实施方式中描述的方法；服务节点用于执行如上面第三方面的任一实施方式中描述的方法。
18.第五方面，本技术实施例还提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令被处理器读取并运行时，执行如第一方面、第二方面和/或第三方面的任一实施方式中描述的方法。
19.第六方面，本技术实施例还提供了一种主控节点，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如第一方面、第二方面和/或第三方面描述的任一实施方式中的方法。
20.第七方面，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面、第二方面和/或第三方面描述的任一实施方式中的方法。
附图说明
21.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术实施例的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
22.图1示出的本技术实施例提供的主控节点执行的文件管理方法的流程示意图；
23.图2示出的本技术实施例提供的终端设备从oss中获取目标文件的流程示意图；
24.图3示出的本技术实施例提供的将文件数据存储在数据卷的流程示意图；
25.图4示出的本技术实施例提供的服务节点执行的文件管理方法的流程示意图；
26.图5示出的本技术实施例提供的nori格式的文件存储单位示意图。
具体实施方式
27.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术实施例的实施例的详细描述并非旨在限制要求保护的本技术实施例的范围，而是仅仅表示本技术实施例的选定实施例。基于本技术实施例的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都
属于本技术实施例保护的范围。
28.需要说明的是，本技术实施例提供的文件管理方法可以被主控节点和/或服务节点执行，这里的主控节点和服务节点是对文件管理方法中的角色抽象，因此，主控节点可以是在第一服务器上运行的进程实例，服务节点可以是在第二服务器上运行的进程实例，此处的第一服务器和第二服务器可以是相同的服务器，也可以是不同的服务器。上述的服务器是指通过网络提供计算服务的设备，此处的服务器可以是指实体服务器，当然也可以是指运行于实体服务器上的虚拟服务器(例如使用虚拟化技术实现的弹性云计算服务器或者云主机等等)，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和unix服务器。
29.下面介绍该文件管理方法适用的应用场景，这里的应用场景包括但不限于：使用该文件管理方法对大量小文件进行批量管理，或者，使用该文件管理方法提高分布式文件系统的功能或者服务性能，例如提高分布式文件系统中的大批量小文件读取速度和效率等等。
30.在介绍文件管理方法之前，先介绍文件管理系统，该文件管理系统包括：主控节点和服务节点；其中，主控节点和服务节点的存储介质可以均只采用固态硬盘(solid state disk或solid state drive，ssd)或者随机存取存储器(random access memory，ram)，由于ssd和ram的读取速度和存储速度比机械式硬盘或磁盘的速度快很多，因此，存储介质采用ssd或ram可以有效地加速数据卷的访问速度。主控节点与服务节点可以相互通信，且主控节点和服务节点均可以与终端设备相互通信，主控节点和服务节点均是为了终端设备提供服务而设置的。在具体的实践过程中，为了提高终端设备访问主控节点和服务节点的速度，可以将一个主控节点和多个服务节点设置为一个计算机集群，该计算机集群可以为众多的终端设备提供文件服务，还可以将主控节点与服务节点设置在同一个局域网之内，为终端设备提供文件管理服务。其中，终端设备可以与主控节点或服务节点设置在同一个局域网内，也可以不设置在同一个局域网内。
31.请参见图1示出的本技术实施例提供的主控节点执行的文件管理方法的流程示意图；该文件管理方法的主要思路是，通过确定该目标文件对应的卷标识对应的数据卷加载在服务节点中，就向终端设备发送映射文件，终端设备可以根据映射文件从能够从预先加载数据卷的服务节点中获取目标文件，避免了服务节点临时加载数据卷来提高目标文件的情况，有效地减少了服务节点处理文件请求的时长，从而提高了小文件的处理效率。上述的文件管理方法的实施方式可以包括：
32.步骤s110：主控节点接收终端设备发送的文件请求，文件请求包括目标文件的文件标识。
33.主控节点(controller)是文件服务的控制者，可以是由一个服务器执行主控节点对应的动作，也可以是由一个集群执行主控节点对应的动作。此处的主控节点例如：nori格式的主控节点(即nori controller)等等。
34.上述步骤s110的实施方式例如：终端设备根据目标文件的文件标识生成文件请求，并向主控节点发送文件请求。主控节点接收终端设备发送的文件请求，并从该文件请求中解析出目标文件的文件标识。
35.步骤s120：主控节点查找到目标文件的文件标识对应的卷标识。
36.上述步骤s120的实施方式例如：主控节点在内存中缓存的索引文件中查找到目标文件的文件标识对应的卷标识，该索引文件中存放有文件标识与卷标识的索引关系，也就是说，可以通过该索引关系获知预设卷标识存放的有哪些文件。进一步地，由于索引文件是主控节点事先缓存在内存中的，可以有效地增加主控节点根据目标文件的文件标识查找到对应卷标识的速度。
37.步骤s130：主控节点判断卷标识对应的数据卷是否加载在服务节点中。
38.数据卷(volume)，是指文件存储单位(可以理解为文件夹)的数据分块，数据卷的最大容量可以根据具体情况进行设置，例如将数据卷的最大容量设置为32gb或者64gb等等。此处的数据卷的存储格式可以采取nori格式，此处以nori文件(即nori格式的文件存储单位)为例进行说明，一个nori文件有可能会因为数据量过大或者高度并发的需求，导致该nori文件被拆分到多个数据卷中。卷标识(volume id，vid)是指nori文件存储单位中的不同数据卷的编号，该编号可以采用全局唯一的uint64类型的整数。上述步骤s110和步骤s120中的目标文件是包括在nori文件中的，即nori文件本身是存储尺寸较小的目标文件的容器，无法作为目标文件被访问，nori文件只允许服务器使用。
39.上述步骤s130的实施方式例如：主控节点在内存数据库的加载记录表中是否查询到服务节点标识对应数据卷的卷标识；若查询到该服务节点标识对应数据卷的卷标识，则确定该卷标识对应的数据卷是加载在服务节点中；若没有查询到该服务节点标识对应数据卷的卷标识，则确定该卷标识对应的数据卷没有加载在服务节点中。
40.步骤s140：若卷标识对应的数据卷加载在服务节点中，则主控节点获取服务节点对应的映射文件，并向终端设备发送映射文件，映射文件包括：服务节点标识与卷标识之间的映射关系。
41.上述步骤s140的实施方式例如：在主控节点中，若卷标识对应的数据卷加载在服务节点中(即主控节点在内存数据库的加载记录表中查询到该服务节点标识对应数据卷的卷标识)，则主控节点获取服务节点对应的映射文件，并向终端设备发送映射文件，映射文件包括：服务节点标识与卷标识之间的映射关系。
42.在上述的实现过程中，主控节点在接收到终端设备发送的文件请求之后，查找到目标文件的文件标识对应的卷标识，在确定卷标识对应的数据卷加载在服务节点中的情况下，才获取服务节点对应的映射文件，并向终端设备发送映射文件，使得终端设备可以根据映射文件从能够从预先加载数据卷的服务节点中获取目标文件。通过确定该目标文件对应的卷标识对应的数据卷加载在服务节点中，就向终端设备发送映射文件，终端设备可以根据映射文件从能够从预先加载数据卷的服务节点中获取目标文件，避免了服务节点临时加载数据卷来提高目标文件的情况，有效地减少了服务节点处理文件请求的时长，从而提高了小文件的处理效率。
43.请参见图2示出的本技术实施例提供的终端设备从oss中获取目标文件的流程示意图；可选地，若服务节点没有加载该数据卷，则可以让终端设备从对象存储服务(object storage service，oss)中获取目标文件，那么上述的文件管理方法的实施方式可以包括：
44.步骤s210：终端设备根据目标文件的文件标识生成文件请求，并向主控节点发送文件请求，文件请求用于请求获取目标文件对应的映射文件或者地址信息文件。
45.上述步骤s210的实施方式包括：判断目标文件的文件标识是否满足预设条件，预
设条件包括：在终端设备本地已存储的索引文件中无法查找到目标文件的文件标识对应的卷标识，或者，在终端设备本地已存储的映射文件中无法查找到目标文件所在的卷标识对应的服务节点标识。若目标文件的文件标识满足预设条件，则根据目标文件的文件标识生成文件请求，并向主控节点发送文件请求。
46.步骤s220：主控节点接收终端设备发送的文件请求，文件请求包括目标文件的文件标识。
47.步骤s230：主控节点查找到目标文件的文件标识对应的卷标识。
48.步骤s240：主控节点判断卷标识对应的数据卷是否加载在服务节点中。
49.其中，该步骤s220至步骤s240的实施原理和实施方式与步骤s110至步骤s130的实施原理和实施方式是类似的，因此，这里不再说明其实施原理和实施方式，如有不清楚的地方，可以参考对步骤s110至步骤s130的描述。
50.步骤s250：若卷标识对应的数据卷没有加载在服务节点中，则主控节点向终端设备发送对象存储服务的地址信息文件，对象存储服务用于向终端设备提供目标文件。
51.对象存储服务(object storage service，oss)是一种第三方公司提供的海量、安全、低成本、高可靠的云存储服务。终端设备可以从对象存储服务中获取目标文件，也可以将目标文件存储至主控节点或者服务节点的数据卷中后，由主控节点或者服务节点将目标文件上传至对象存储服务中。
52.上述步骤s250的实施方式例如：在主控节点中，若卷标识对应的数据卷没有加载在服务节点中(即主控节点在内存数据库的加载记录表中没有查询到该服务节点标识对应数据卷的卷标识)，则主控节点向终端设备发送对象存储服务的地址信息文件，对象存储服务用于向终端设备提供目标文件。终端设备接收到主控节点发送的目标文件对应的地址信息文件，则终端设备从地址信息文件中的对象存储服务获取目标文件。
53.步骤s260：若卷标识对应的数据卷加载在服务节点中，则主控节点获取服务节点对应的映射文件，并向终端设备发送映射文件，映射文件包括：服务节点标识与卷标识之间的映射关系。
54.其中，该步骤的实施原理和实施方式与步骤s140的实施原理和实施方式是类似的，因此，这里不再说明其实施原理和实施方式，如有不清楚的地方，可以参考对步骤s140的描述。
55.可选地，主控节点在向终端设备发送映射文件之后，还可以向终端设备发送关联的映射文件，该实施方式可以包括：主控节点查找文件标识关联的卷标识，然后，主控节点向终端设备发送文件标识关联的卷标识对应的映射文件；具体例如：主控节点查找该文件标识在时间上(例如访问时间范围内或者存储时间范围内)关联的卷标识(例如：习惯固定时间顺序播放短视频文件等等)，或者，在空间上(例如访问空间范围内或者存储空间范围内)关联的卷标识(例如：用户自己设置的将习惯一起访问的文件放在同一个数据卷中)，然后，主控节点向终端设备发送文件标识关联的卷标识对应的映射文件。使得终端设备在访问到这些卷标识对应数据卷上的文件时，不用再次请求映射文件，直接使用该映射文件即可，这种机制又被称为提前预加载机制，即将终端设备上的客户端可能访问到的信息提前发送给终端设备上的客户端，以加快客户端的访问速度。在上述的实现过程中，通过提前预加载机制将时间或者空间上关联的卷标识与服务节点对应的映射文件推送给终端设备，以
使终端设备再次使用到该映射文件时，就不用再次请求该映射文件，而是直接使用该映射文件到服务节点获取文件即可；这种方式有效地提高了数据卷的使用命中率，从而提高了对数据卷上的小文件的访问效率和速度。
56.步骤s270：终端设备接收主控节点发送的目标文件对应的映射文件，从映射文件中解析出服务节点标识，并向服务节点发送目标文件对应的卷标识和文件标识，文件标识用于从服务节点上获取目标文件。
57.上述步骤s270的实施方式例如：终端设备在接收主控节点发送的目标文件对应的映射文件之后，先从映射文件中解析出服务节点标识，并向服务节点发送目标文件对应的卷标识和文件标识。服务节点可以根据文件标识从文件标识对应的数据卷中上获取目标文件，并向终端设备发送该目标文件。
58.可选地，在主控节点向终端设备发送对象存储服务的索引地址之后，还可以让该服务节点加载卷标识对应的数据卷，以便该目标文件被再次访问时能够被加速。让该服务节点加载卷标识对应的数据卷的实施方式有很多种，包括但不限于如下几种：
59.第一种实施方式，让主控节点获知该数据卷的存储位置，将该数据卷的存储位置发送给服务节点，让服务节点根据该数据卷的存储位置获取该数据卷。服务节点在根据该数据卷的存储位置获取该数据卷之后，将该数据卷加载在服务节点中，如果该数据卷中的文件被再次访问，就可以有效地加速该数据卷中的文件访问过程。
60.第二种实施方式，主控节点获取卷标识对应的数据卷，并将卷标识对应的数据卷发送给服务节点，以使服务节点将该数据卷加载在服务节点中，如果该数据卷中的文件被再次访问，就可以有效地加速该数据卷中的文件访问过程。
61.请参见图3示出的本技术实施例提供的将文件数据存储在数据卷的流程示意图；下面介绍该文件管理方法中的文件存储过程，在终端设备获取目标文件之前，还需要先将目标文件存储数据卷中，具体可以采用主控节点将目标文件发送给服务节点，然后服务节点获取并存储目标文件至数据卷中，或者，由服务节点来执行将文件数据存储在数据卷中的过程。下面介绍将文件数据存储在数据卷的过程，该过程可以包括：
62.步骤s310：主控节点或者服务节点接收终端设备发送的文件存储请求。
63.其中，文件存储请求包括：对象存储服务的索引地址或者目标文件。
64.上述步骤s310的实施方式例如：主控节点或者服务节点通过超文本传输协议(hyper text transfer protocol，http)或者超文本传输安全协议(hyper text transfer protocol secure，https)接收终端设备发送的文件存储请求。
65.步骤s320：主控节点或者服务节点获取文件存储请求对应的文件数据，并将文件数据存储在卷标识对应的数据卷中。
66.上述步骤s320的获取文件存储请求对应的文件数据的实施方式包括：第一种实施方式，终端设备直接发送目标文件，然后将目标文件存储在卷标识对应的数据卷中；第二种实施方式，终端设备发送的是对象存储服务的索引地址，然后，主控节点或者服务节点根据索引地址从对象存储服务中获取文件存储请求对应的文件数据，并将目标文件的文件数据存储在卷标识对应的数据卷中。
67.上述步骤s320的将文件数据存储在卷标识对应的数据卷中的实施方式例如：通过分布式集群中的集群节点(例如主控节点或者服务节点)将文件数据存储在卷标识对应的
数据卷中，获得数据卷的状态。然后，通过集群节点将数据卷的状态立即同步给分布式集群中的其它服务节点。在上述的实现过程中，通过分布式集群中的集群节点将文件数据存储在卷标识对应的数据卷中，获得数据卷的状态；通过集群节点将数据卷的状态同步给分布式集群，从而分布式集群中的集群节点以最快速度得知该数据卷的状态，避免了重复将目标文件存储在该数据卷的情况出现。
68.可选地，在本技术实施例中，如果数据卷的访问过热(即该数据集被很多终端设备访问)，那么还可以使用热点均衡机制来改善访问过热的情况。可以理解的是，在具体实践过程中，此处的热点均衡机制可以是由主控节点来做的，也可以是由单独的服务器设备或者服务器设备上的监控进程来做的，下面以主控节点来做热点均衡机制为例进行说明，该热点均衡机制的实现方式可以包括：
69.步骤s330：主控节点根据服务节点中的文件访问信息统计出需要备份的数据卷。
70.上述步骤s330的实施方式包括：上述的文件访问信息可以包括：访问次数和/或访问频率等等信息，具体地，将累积访问次数超过预设数值(例如4百万次)的数据卷，或者，一个月内访问次数超过预设次数(例如4万次)的数据卷确定为需要备份的数据卷。
71.步骤s340：主控节点向服务节点发送拷贝指令，拷贝指令用于将需要备份的数据卷拷贝到不同的服务节点中。
72.上述步骤s340的实施方式包括：主控节点向服务节点发送将需要备份的数据卷拷贝到其他服务节点的拷贝指令。该服务节点收到拷贝指令之后，从拷贝指令中获取需要备份的数据卷的卷标识，然后找到该卷标识对应的数据卷；最后，将该卷标识对应的数据卷拷贝到其他不同的服务节点中。当然在实际情况中，如果经过一段时间(例如半个月)发现，这些数据卷不再是热点数据卷(即该数据卷的访问频次逐渐下降到预设阈值，比如40次每周)后，也可以动态地减少热点数据卷的数量到预设阈值(例如2个或者3个)，即存储同一个数据卷的服务节点的数量减少到预设阈值(例如2个或者3个)。
73.在上述的实现过程中，通过热点均衡机制将需要备份的数据卷拷贝到不同的服务节点中，使得热点数据卷可以同时被多个服务节点使用，并向大量的终端设备提供文件访问服务，从而避免了终端设备数量过大导致热点小文件访问速度慢的情况，有效地提高了热点小文件的读取效率。
74.请参见图4示出的本技术实施例提供的服务节点执行的文件管理方法的流程示意图；本技术实施例还提供了一种服务节点执行的文件管理方法，该方法的实施方式可以包括：
75.步骤s410：服务节点接收终端设备发送的文件标识，文件标识用于请求目标文件。
76.上述步骤s410的实施方式例如：服务节点通过http协议或者https协议接收终端设备发送的文件标识，该文件标识是用于请求目标文件的。
77.步骤s420：服务节点在预先加载的数据卷中查找文件标识对应的目标文件。
78.请参见图5示出的本技术实施例提供的nori格式的文件存储单位示意图。其中，数据卷中可以存储有索引文件(即图中index文件)、数据文件(即图中的data文件)和元文件(即图中的meta文件)。
79.上面的步骤s420的实施方式例如：从索引文件中查找到目标文件对应的起始偏移量，起始偏移量是目标文件的文件数据存储在数据卷中的地址偏移量。根据起始偏移量从
数据卷中读取目标文件的文件数据。从元文件获取目标文件的元信息，并根据目标文件的元信息、文件数据和文件标识生成目标文件。
80.步骤s430：服务节点向终端设备发送目标文件。
81.上述步骤s430的实施方式例如：服务节点向终端设备发送目标文件，终端设备接收服务节点发送的目标文件。在上述的实现过程中，通过在预先加载的数据卷中查找文件标识对应的目标文件，并向终端设备发送目标文件，从而避免了根据文件标识从硬盘或者磁盘上读取目标文件的情况，有效地提高了终端设备访问服务节点上的目标文件的访问效率。
82.本技术实施例还提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令被处理器读取并运行时，执行如上面描述的方法。应理解的是，该计算机程序产品与上述的文件管理方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该计算机程序产品具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该计算机程序产品包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在计算机程序产品的操作系统(operating system，os)中的软件功能模块。
83.本技术实施例提供的一种主控节点，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上的方法。
84.本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上的方法。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory,简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory,简称eprom)，可编程只读存储器(programmable read-only memory,简称prom)，只读存储器(read-only memory,简称rom)，磁存储器，快闪存储器，磁盘或光盘。
85.本技术实施例提供的几个实施例中，应该理解到，所揭露的程序产品和方法，也可以通过其他的方式实现。以上所描述的实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本技术实施例的多个实施例的程序产品、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。
86.另外，在本技术实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
87.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
88.以上的描述，仅为本技术实施例的可选实施方式，但本技术实施例的保护范围并
不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。