文件传输方法、系统、计算机设备及存储介质与流程

1.本发明涉及文件传输领域，尤其涉及一种文件传输方法、系统、计算机设备及存储介质。


背景技术：

2.通常，不同服务器之间存在多种类型的文件。在现有技术，不同服务器之间传输文件一般用ssh协议(secure shell,安全外壳协议)传输。由于数据中心划分为多个网络区域，利用ssh协议传输文件过程中，会要求防火墙打通，导致文件传输过程存在安全隐患。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种文件传输方法、系统、计算机设备及存储介质，以解决现有技术中进行跨网络的文件传输时，文件容易泄密或丢失等的安全问题。
4.一种文件传输方法，应用于文件传输系统，所述文件传输系统包括主控节点、设置在源主机上的第一文件代理组件和设置在目标主机上的第二文件代理组件；所述主控节点与所述源主机通信连接；所述主控节点与所述目标主机通信连接；所述第一文件代理组件和所述第二文件代理组件用于处理文件的压缩、解压和下载；
5.所述文件传输方法包括：
6.通过所述主控节点确定源主机和若干目标主机，并向所述源主机发送跨网络传输命令，以使所述第一文件代理组件根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许所述主控节点通过所述访问链接访问所述压缩文件；
7.通过所述主控节点将所述访问链接发送至所述第二文件代理组件，并向若干所述第二文件代理组件发送文件下载命令，以使若干所述第二文件代理组件通过所述访问链接下载所述压缩文件；
8.通过所述第二文件代理组件对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件。
9.一种文件传输系统，所述文件传输系统包括主控节点、设置在源主机上的第一文件代理组件和设置在目标主机上的第二文件代理组件；所述主控节点与所述源主机通信连接；所述主控节点与所述目标主机通信连接；所述第一文件代理组件和所述第二文件代理组件用于处理文件的压缩、解压和下载；
10.所述主控节点，用于确定源主机和若干目标主机，并向所述源主机发送跨网络传输命令；
11.所述第一文件代理组件，用于根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许所述主控节点通过所述访问链接访问所述压缩文件；
12.所述主控节点，还用于将所述访问链接发送至所述第二文件代理组件，并向若干所述第二文件代理组件发送文件下载命令；
13.所述第二文件代理组件，用于通过所述访问链接下载所述压缩文件；并对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件。
14.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述文件传输方法。
15.一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述文件传输方法。
16.上述文件传输方法、系统、计算机设备及存储介质，通过所述主控节点确定源主机和若干目标主机，并向所述源主机发送跨网络传输命令，以使所述第一文件代理组件根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许所述主控节点通过所述访问链接访问所述压缩文件；通过所述主控节点将所述访问链接发送至所述第二文件代理组件，并向若干所述第二文件代理组件发送文件下载命令，以使若干所述第二文件代理组件通过所述访问链接下载所述压缩文件；通过所述第二文件代理组件对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件。本发明通过安装有文件代理组件的源主机和若干目标主机，可实现跨网络文件传输，不需要开通防火墙，提高了文件传输安全性。同时，通过主控节点对源主机和目标主机的若干文件代理组件进行调控，可实现点对点以及一对多的文件传输，提高了文件传输效率。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明一实施例中文件传输方法的一应用环境示意图；
19.图2是本发明一实施例中文件传输方法的一流程示意图；
20.图3是本发明一实施例中文件传输系统的一结构示意图；
21.图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.本实施例提供的文件传输方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群
来实现。
24.在一实施例中，如图2所示，提供一种文件传输方法，该方法应用于文件传输系统，所述文件传输系统包括主控节点、设置在源主机上的第一文件代理组件和设置在目标主机上的第二文件代理组件；所述主控节点与所述源主机通信连接；所述主控节点与所述目标主机通信连接；所述第一文件代理组件和所述第二文件代理组件用于处理文件的压缩、解压和下载。
25.以该方法应用在图1中的服务端为例进行说明，包括如下步骤s10-s30。
26.s10、通过所述主控节点确定源主机和若干目标主机，并向所述源主机发送跨网络传输命令，以使所述第一文件代理组件根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许所述主控节点通过所述访问链接访问所述压缩文件。
27.可理解的，主控节点用于对外提供api接口以及开启文件传输任务等，其中，对外提供api接口涉及接口调用，需要指定源主机、目标主机和源文件(包括文件和文件夹)等信息。当主控节点接收到用户端的文件传输申请时，通过主控节点确定源主机和若干目标主机，并生成跨网络传输命令，同时，将跨网络传输命令发送至源主机。其中，源主机是指存放有源文件的主机，目标主机是指用于接收源文件的主机。目标主机的数量可根据实际需求设定，一般的，目标主机的数量至少为一个。其中，源文件是指存储在源主机中的，用于传输至目标主机的文件。第一文件代理组件是指安装在源主机中的文件管理器，例如，该文件管理器可为agent。跨网络传输命令是指将源文件从源主机传输至与该源主机处于不同网络环境的目标主机的命令。压缩处理是指对源文件进行数据压缩，改变源文件的格式和数据大小，得到压缩文件，并将压缩文件放置指定目录。访问链接是用于访问指定目录中的压缩文件的指定目录。文件传输环境是指文件传输的数据配置，例如，可配置为开启访问链接，允许主控节点通过访问链接访问压缩文件。
28.优选的，在生成压缩文件之后，将压缩文件缓存在文件服务器中。其中，文件服务器负责跨网络环境文件传输过程中数据的缓存以及数据流的转发。例如，将压缩文件转发给指定的目标主机。通过文件服务器对压缩文件进行缓存，只需要对源文件进行一次获取和压缩，即可实现文件多次多目标的快速转发，提高文件传输的效率。
29.s20、通过所述主控节点将所述访问链接发送至所述第二文件代理组件，并向若干所述第二文件代理组件发送文件下载命令，以使若干所述第二文件代理组件通过所述访问链接下载所述压缩文件。
30.可理解的，第二文件代理组件指安装在目标主机中的文件管理器，例如，该文件管理器可为agent。通过agent可实现文件自动管理，提高文件传输效率。一个目标主机对应安装一个第二文件代理组件。目标主机的第二文件代理组件通过主控节点获取已经开启访问权限的访问链接，并根据文件下载命令从该访问链接中下载压缩文件。其中，文件下载命令是主控节点在检测到源主机的文件传输环境创建完成后生成的。
31.s30、通过所述第二文件代理组件对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件。
32.可理解的，解压处理是指将下载在目标主机中的压缩文件，通过第二文件代理组件进行解压还原，得到源文件的过程。
33.在步骤s10-s30中，通过所述主控节点确定源主机和若干目标主机，并向所述源主机发送跨网络传输命令，以使所述第一文件代理组件根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许所述主控节点通过所述访问链接访问所述压缩文件；通过所述主控节点将所述访问链接发送至所述第二文件代理组件，并向若干所述第二文件代理组件发送文件下载命令，以使若干所述第二文件代理组件通过所述访问链接下载所述压缩文件；通过所述第二文件代理组件对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件。在本实施例中，通过安装有文件代理组件的源主机和若干目标主机，可实现跨网络文件传输，不需要开通防火墙，提高了文件传输安全性。同时，通过主控节点对源主机和目标主机的若干文件代理组件进行调控，可实现点对点以及一对多的文件传输，提高了文件传输效率。
34.可选的，在步骤s10中，所述通过所述主控节点确定用于文件传输的源主机和若干目标主机，并向所述源主机发送跨网络传输命令，包括：
35.s101、通过所述主控节点判断若干所述目标主机与所述源主机是否处于相同网络环境；
36.s102、当所述若干目标主机与所述源主机不处于相同网络环境时，通过所述主控节点向所述源主机发送跨网络传输命令。
37.可理解的，在进行文件传输时，先通过主控节点确定需要发送的源文件以及源文件所在的源主机，同时确定接收该源文件的至少一个目标主机。在确定源主机和目标主机之后，需要进一步确定源主机和目标主机的网络环境，即通过主控节点判断每个目标主机与源主机是否处于相同网络环境。当需要接收源文件的若干目标主机与发送源文件的源主机不处于相同网络环境时，通过所述主控节点向源主机发送跨网络传输命令。优选的，当需要接收源文件的若干目标主机与发送源文件的源主机处于相同网络环境时，通过所述主控节点向源主机发送同网络传输命令。其中，同网络传输命令是指在同一网络中进行文件传输的命令。
38.本实施例通过主控节点进行网络环境的判断，可针对不同的网络环境提供相应的文件传输方式，提高文件传输的灵活性和效率。
39.可选的，在步骤s10中，所述以使所述第一文件代理组件根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，包括：
40.s103、从所述源主机中获取所述源文件；
41.s104、对所述源文件进行压缩处理，得到所述压缩文件，并将所述压缩文件存储至指定文件目录；
42.s105、根据所述指定文件目录，生成所述访问链接。
43.可理解的，源文件是指存储在源主机中的文件。压缩处理是指对源文件进行压缩，转变源文件格式的过程。在得到压缩文件之后，将压缩文件存储至指定文件目录。进而，根据指定文件目录生成访问连接。在本实施例中，可实现通过访问连接直接访问或获取指定文件目录中的压缩文件，可提高文件传输的传输效率。
44.可选的，在步骤s104中，所述指定文件目录色设置在文件服务器中；所述文件服务器用于存储所述压缩文件，并将所述压缩文件分发至若干所述目标主机。
45.可理解的，在生成压缩文件之后，将压缩文件缓存在文件服务器中。其中，文件服
务器负责跨网络环境文件传输过程中数据的缓存以及数据流的转发。例如，将压缩文件转发给指定的目标主机。通过文件服务器对压缩文件进行缓存，，只需要对源文件进行一次获取和压缩，即可实现文件多次多目标的快速转发，提高文件传输的效率。
46.可选的，在步骤s104中，所述将所述压缩文件存储至指定文件目录，包括：
47.s1041、对所述压缩文件进行分片处理，得到若干分片文件；
48.s1042、将所有所述分片文件按照预设顺序进行上传至所述指定文件目录；
49.s1043、当所有所述分片文件上传完成时，对所有所述分片文件进行合并，得到合并文件，将所述合件存储在所述指定文件目录中。
50.可理解的，当压缩文件的数据量较大时，需要对压缩文件进行分片处理再进行传输，以确保压缩文件传输的完整性和准确性。分片处理是指将压缩分文件分成若干分片文件的过程。其中，分片文件是指对压缩文件进行分片得到的文件。在对压缩文件进行分片处理之后，将所有的分片文件按照预设顺序上传至指定文件目录，并在上传完成之后，在指定文件目录中对上传的所有分片文件进行合并，得到合并文件。最终，将合并文件存储在指定文件目录中。
51.可选的，在步骤s30之后，即在所述通过所述第二文件代理组件对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件之后，包括：
52.s401、当所述第二文件代理组件检测到所述解压处理完成时，通过所述第二文件代理组件清除所述压缩文件，并向所述主控节点反馈下载完成信号，以使所述主控节点向所述源主机发送文件传输结束命令；
53.s402、当所述源主机接收到所述文件传输结束命令时，生成清理命令，以使所述第一文件代理组件根据所述清理命令对所述文件传输环境进行清理。
54.可理解的，当目标主机第二文件代理组件检测到解压处理完成时，表明目标主机已接收到源文件，需要对目标主机中的压缩文件进行清理，同时向主控节点反馈下载完成信号。在主控节点接收到下载完成信号之后，主控节点向源主机发送文件传输结束命令，以使源主机在接收到文件传输结束命令之后，通过第一文件代理组件对源主机中的压缩文件以及访问连接等进行清理。在本实施例中，在文件成功传输之后，及时对源主机和目标主机在文件传输过程中产生的附加数据进行清理，减少冗余数据，可提高文件传输的效率。
55.可选的，在步骤s402中，所述以使所述第一文件代理组件根据所述清理命令对所述文件传输环境进行清理，包括：
56.关闭所述访问链接，并清除所述压缩文件。
57.可理解的，源主机在接收到文件传输结束命令之后，通过第一文件代理组件对源主机中的压缩文件以及访问连接等进行清理，可以减少源主机的内存占用量，提高源主机处理数据的速度，从而提高文件传输的效率。
58.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
59.在一实施例中，提供一种文件传输系统，该文件传输系统与上述实施例中文件传输方法一一对应。如图3所示，该文件传输系统包括主控节点10、设置在源主机20上的第一文件代理组件210和设置在目标主机30上的第二文件代理组件310；主控节点10与源主机20
通信连接；主控节点10与目标主机30通信连接；第一文件代理组件210和第二文件代理组件310用于处理文件的压缩、解压和下载。各功能模块详细说明如下：
60.主控节点10，用于确定源主机20和若干目标主机30，并向源主机20发送跨网络传输命令；
61.第一文件代理组件210，用于根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许主控节点10通过所述访问链接访问所述压缩文件；
62.主控节点10，还用于将所述访问链接发送至第二文件代理组件310，并向若干第二文件代理组件310发送文件下载命令；
63.第二文件代理组件310，用于通过所述访问链接下载所述压缩文件；并对所述压缩文件进行解压处理，以使目标主机30得到所述源文件。
64.可选的，主控节点10还用于判断若干目标主机30与源主机20是否处于相同网络环境；
65.当所述若干目标主机30与源主机20不处于相同网络环境时，主控节点10还用于向源主机20发送跨网络传输命令。
66.可选的，第一文件代理组件210还用于从源主机20中获取所述源文件；
67.对所述源文件进行压缩处理，得到所述压缩文件，并将所述压缩文件存储至指定文件目录；
68.根据所述指定文件目录，生成所述访问链接。
69.可选的，所述指定文件目录色设置在文件服务器中；所述文件服务器用于存储所述压缩文件，并将所述压缩文件分发至若干目标主机30。
70.可选的，第一文件代理组件210还用于对所述压缩文件进行分片处理，得到若干分片文件；
71.将所有所述分片文件按照预设顺序进行上传至所述指定文件目录；
72.当所有所述分片文件上传完成时，对所有所述分片文件进行合并，得到合并文件，将所述合件存储在所述指定文件目录中。
73.可选的，第二文件代理组件310还用于清除所述压缩文件，并向主控节点10反馈下载完成信号，以使主控节点10向源主机20发送文件传输结束命令；
74.第一文件代理组件210还用于根据源主机20生成的清理命令对所述文件传输环境进行清理。
75.可选的，第一文件代理组件210还用于关闭所述访问链接，并清除所述压缩文件。
76.关于文件传输系统的具体限定可以参见上文中对于文件传输方法的限定，在此不再赘述。上述文件传输系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
77.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指
令。该内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机可读指令被处理器执行时以实现一种文件传输方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
78.在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
79.通过所述主控节点确定源主机和若干目标主机，并向所述源主机发送跨网络传输命令，以使所述第一文件代理组件根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许所述主控节点通过所述访问链接访问所述压缩文件；
80.通过所述主控节点将所述访问链接发送至所述第二文件代理组件，并向若干所述第二文件代理组件发送文件下载命令，以使若干所述第二文件代理组件通过所述访问链接下载所述压缩文件；
81.通过所述第二文件代理组件对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件。
82.在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现以下步骤：
83.通过所述主控节点确定源主机和若干目标主机，并向所述源主机发送跨网络传输命令，以使所述第一文件代理组件根据所述跨网络传输命令对源文件进行压缩处理，生成压缩文件和所述压缩文件的访问链接，并创建文件传输环境；所述文件传输环境允许所述主控节点通过所述访问链接访问所述压缩文件；
84.通过所述主控节点将所述访问链接发送至所述第二文件代理组件，并向若干所述第二文件代理组件发送文件下载命令，以使若干所述第二文件代理组件通过所述访问链接下载所述压缩文件；
85.通过所述第二文件代理组件对所述压缩文件进行解压处理，以使所述目标主机得到所述源文件。
86.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
87.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
88.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。