基于Redis数据库的异地资产文件极速传输方法及传输系统与流程

基于redis数据库的异地资产文件极速传输方法及传输系统
技术领域
1.本发明涉及文件传输技术领域，尤其涉及一种基于redis数据库的异地资产文件极速传输方法及传输系统。


背景技术：

2.在cg制作的流程中，除了主要的场景文件之外，还需要大量的贴图等资产(文件)，如果只是小场景，在本地进行渲染是没有问题；但对于一个电影项目，多达上百tb的资产文件如何才能实现在本地快速渲染输出？显然这是不可能的，因此应运而生云渲染平台，用户只需将制作好的文件提交到云渲染平台，即可快速渲染输出成果。
3.目前的云渲染流程是：1.用户制作场景；2.使用云渲染平台的客户端对场景文件进行分析，获取该场景需要的贴图等资产；3.上传场景文件与资产文件；4.文件上传成功后提交任务并开始渲染；5.下载渲染结果。
4.现有传输模式如图1所示，在实际应用中，由于用户有大量的资产需要进行上传，因此在上述第3步的步骤中，需要花费大量的时间进行文件传输，而且用户的多个场景可能使用重复的资产文件，这就会导致一下几个问题：1.重复的文件上传，并且本地文件与服务端文件比对时间长；2.由于客户网络带宽的限制，会进一步让文件传输的时间拉长。这样对于用户的体验是非常不好的，传输的时间远远大于渲染的时间，无法完全体现云渲染的优势。
5.因此，现有技术存在缺陷，需要改进。


技术实现要素：

6.本发明要解决的技术问题是：提供一种基于redis数据库的异地资产文件极速传输方法及传输系统，在客户本地建立数据节点，那么用户在传输资产时，大多数时间只需要与本地的数据中心进行交互，避免了大量的网络访问耗时，进而达到快速传输、快速提交任务的目的。
7.本发明的技术方案如下：提供一种基于redis数据库的异地资产文件极速传输方法，包括以下步骤。
8.s1：在数据服务器上部署redis服务，记录数据服务器的ip地址、redis服务使用的端口，关闭数据服务器的防火墙。
9.s2：在渲染项目提交机安装渲染客户端；在渲染提交机客户端安装目录下，找到redis.ini-default文件，将此文件重命名为redis.ini。
10.s3：将redis.ini文件打开，将数据服务器的ip地址、redis服务使用的端口填入redis.ini文件，然后保存并关闭。
11.s4：启动渲染客户端，在渲染客户端上提交渲染任务。
12.s5：渲染客户端上传渲染任务。
13.s6：渲染客户端获取当前需要传输的文件a的基本信息；并将当前需要传输的文件
a的文件路径到数据服务器中进行查询。
14.s7：若渲染客户端在数据服务器中查询到当前需要传输的文件a的记录，则读取该文件a的基本信息，并进入步骤s8；若渲染客户端在数据服务器中没有查询到当前需要传输文件a的记录，则表明该文件a并没有传输过，或者该文件a的信息已经过期；此时渲染客户端与传输服务器进行通讯，确认文件a是否传输过，进入步骤s10。
15.s8：将步骤s6中的文件a的基本信息与步骤s7中从数据服务器中读取的文件a的基本信息进行校验。
16.s9：如果信息一致，则表明该文件a已经传输过，可以直接跳过传输，同时刷新数据服务器中的文件a的基本信息中的时间；如果信息不一致，则表明该文件a并没有传输过，或者该文件a的信息已经过期；此时用户本地的传输引擎需要与传输服务器进行通讯，以确认文件a是否传输过，进入步骤s10。
17.s10：如果文件a已经传输过，则跳过文件a的数据传输，并刷新数据服务器中的文件a的基本信息；如果文件a没有传输过，即在平台存储上不存在文件a，渲染客户端通过传输服务器与中心平台数据库建立网络连接，渲染客户端开始上传文件a，进入步骤s11。
18.s11：文件a在经过s10传输完毕后，需要将该文件a的基本信息记录到数据服务器中。
19.s12：文件a传输完成以后，当前的文件a传输流程结束；在传输下一个文件时，按步骤s6-s12的步骤进行，直至全部需要上传的文件上传结束。
20.在云渲染领域，用户一个项目90％的文件都是共用且基本很少发生变化，有变化的一般是镜头文件，与总文件的占比比较小。在现有的传输方式中，用户将文件同步到渲染平台后，大部分时间花在了本地与渲染平台的文件比对中，这个时间的长短主要取决于网络的好坏。在客户本地建立数据服务器，那么用户在传输文件时，大多数时间只需要与本地的数据服务器进行交互，避免了大量的网络访问耗时，进而达到快速传输、快速提交任务的目的。
21.数据服务器采用的计算机内存配置大于16g，cpu在i3及以上，操作系统至少在windows7及以上版本，或者支持redis服务的linux系统。
22.所述文件a的基本信息包括：时间、大小、路径。
23.数据服务器中的文件a的基本信息，不可被移除。
24.需要对数据服务器中的数据进行预热，预热时间为4-9天。在本地的数据服务器能够完全达到预想的结果前，需要对数据服务器中的晚间数据进行预热，预热4-9天，因为大部分用户提交任务时可以在4-9天覆盖80％以上的资产。所以一周之后，用户的传输体验会提升至少1个数量级
25.所述数据服务器连接在渲染项目提交机所处的局域网中。
26.本发明还提供一种传输系统，包括：中心平台数据库，与所述中心平台数据库连接的传输服务器，与所述传输服务器连接的渲染客户端，与所述渲染客户端连接的数据服务器。
27.采用上述方案，本发明提供一种基于redis数据库的异地资产文件极速传输方法及传输系统，在客户本地建立数据服务器，那么用户在传输文件时，大多数时间只需要与本地的数据服务器进行交互，避免了大量的网络访问耗时，进而达到快速传输、快速提交任务
的目的。
附图说明
28.图1为现有的传输系统的功能模块图；
29.图2为raysync引擎和aspera引擎在图1传输系统下的传输速度对比图；
30.图3为本发明的传输系统的功能模块图；
31.图4为raysync引擎采用本发明方法的传输速度与aspera引擎在图1传输模式下的传输速度对比图。
具体实施方式
32.以下结合附图和具体实施例，对本发明进行详细说明。
33.请参阅图3，本实施例提供一种传输系统，包括：中心平台数据库10，与所述中心平台数据库10连接的传输服务器20，与所述传输服务器20连接的渲染客户端30，与所述渲染客户端30连接的数据服务器40。
34.本实施例还提供一种基于redis数据库的异地资产文件极速传输方法，包括以下步骤。
35.s1：在数据服务器40上部署redis服务，记录数据服务器40的ip地址、redis服务使用的端口，关闭数据服务器40的防火墙。
36.s2：在渲染项目提交机安装渲染客户端30；在渲染提交机客户端安装目录下，找到redis.ini-default文件，将此文件重命名为redis.ini。
37.s3：将redis.ini文件打开，将数据服务器40的ip地址、redis服务使用的端口填入redis.ini文件，然后保存并关闭。
38.s4：启动渲染客户端30，在渲染客户端30上提交渲染任务。
39.s5：渲染客户端30上传渲染任务。
40.s6：渲染客户端30获取当前需要传输的文件a的基本信息；并将当前需要传输的文件a的文件路径到数据服务器40中进行查询。
41.s7：若渲染客户端30在数据服务器40中查询到当前需要传输的文件a的记录，则读取该文件a的基本信息，并进入步骤s8；若渲染客户端30在数据服务器40中没有查询到当前需要传输文件a的记录，则表明该文件a并没有传输过，或者该文件a的信息已经过期；此时渲染客户端30与传输服务器20进行通讯，确认文件a是否传输过，进入步骤s10。
42.s8：将步骤s6中的文件a的基本信息与步骤s7中从数据服务器40中读取的文件a的基本信息进行校验。
43.s9：如果信息一致，则表明该文件a已经传输过，可以直接跳过传输，同时刷新数据服务器40中的文件a的基本信息中的时间；如果信息不一致，则表明该文件a并没有传输过，或者该文件a的信息已经过期；此时用户本地的传输引擎需要与传输服务器20进行通讯，以确认文件a是否传输过，进入步骤s10。
44.s10：如果文件a已经传输过，则跳过文件a的数据传输，并刷新数据服务器40中的文件a的基本信息；如果文件a没有传输过，即在平台存储上不存在文件a，渲染客户端30通过传输服务器20与中心平台数据库10建立网络连接，渲染客户端30开始上传文件a，进入步
骤s11。
45.s11：文件a在经过s10传输完毕后，需要将该文件a的基本信息记录到数据服务器40中。
46.s12：文件a传输完成以后，当前的文件a传输流程结束；在传输下一个文件时，按步骤s6-s12的步骤进行，直至全部需要上传的文件上传结束。
47.在云渲染领域，用户一个项目90％的文件都是共用且基本很少发生变化，有变化的一般是镜头文件，与总文件的占比比较小。在现有的传输方式中，用户将文件同步到渲染平台后，大部分时间花在了本地与渲染平台的文件比对中，这个时间的长短主要取决于网络的好坏。在客户本地建立数据服务器40，那么用户在传输文件时，大多数时间只需要与本地的数据服务器40进行交互，避免了大量的网络访问耗时，进而达到快速传输、快速提交任务的目的。
48.数据服务器40采用的计算机内存配置大于16g，cpu在i3及以上，操作系统至少在windows7及以上版本，或者支持redis服务的linux系统。
49.所述文件a的基本信息包括：时间、大小、路径。
50.数据服务器40中的文件a的基本信息，不可被移除。
51.需要对数据服务器40中的数据进行预热，预热时间为4-9天。在本地的数据服务器40能够完全达到预想的结果前，需要对数据服务器40中的晚间数据进行预热，预热4-9天，因为大部分用户提交任务时可以在4-9天覆盖80％以上的资产。所以一周之后，用户的传输体验会提升至少1个数量级。
52.所述数据服务器40连接在渲染项目提交机所处的局域网中。
53.请参阅图2和图4，本发明的用户传输速度能够提升1个数量级，达到快速传输、快速提交任务的目的，极大的提升了用户的使用体验。
54.综上所述，本发明提供一种基于redis数据库的异地资产文件极速传输方法及传输系统，在客户本地建立数据服务器，那么用户在传输文件时，大多数时间只需要与本地的数据服务器进行交互，避免了大量的网络访问耗时，进而达到快速传输、快速提交任务的目的。
55.以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。