一种用于对加密数据进行分片发送的系统的制作方法

1.本发明涉及数据存储技术领域，具体是一种用于对加密数据进行分片发送的系统。


背景技术：

2.在大多数分布式系统比如隐私计算网络中，各个组织处于不同网络中，彼此之间默认情况下都是不可信的，每个隐私计算任务都会涉及到数据的传输、数据的接收以及对数据的计算等过程。很多情况下，数据传输的过程中是很难保证数据是保密的以及传输是否安全的，同时对于数据量较大的数据在传输过程中也很难保证其数据的完整性。而数据分片，又常称为partition、sharding。狭义上是指数据存储系统，把大表切分成更小的切片的过程，分割后的数据块会分布在多个服务器中。广义上的数据分片也包含数据计算分片，即将的请求路由到不同的服务器上进行数据计算处理。 zookeeper,etcd等系统都是分布式系统常用的组件，但是他们首先强调的是数据节点之间的通信和一致性的机制保证，并不强调单节点的读写性能，而且对数据加密传输的支持也不是很高。
3.现有技术存在如下缺陷：
4.(1)数据分片之前的系统，当面临数据突增带来的服务器压力，一般的思路是垂直扩展，但是会带来很多的问题，需替换为更大的磁盘，随着数据的增长，将额外的磁盘添加到服务器。然而，系统最终将达到极限，无法再轻松地给服务器增加存储容量，也可能由于并发用户的量逐渐增多，服务器的cpu最终会达到上限导致响应变慢或计算超时，对网络带宽的要求也很高，网络流量可能会超过用于连接到服务器的网络的容量，导致请求失败；
5.(2)使用了数据分片处理了数据，但是大多数系统仍然无法保证数据传输的安全性，以及数据量大所面临的传输效率问题。
6.因此我们提出一种用于对加密数据进行分片发送的系统。


技术实现要素：

7.本发明的目的在于提供一种用于对加密数据进行分片发送的系统，其中数据服务完成对数据的存储、数据分片以及下发等一系列操作，而加密数据的分片则是通过调用rosetta完成。同时我们在数据传输的过程中，考虑到信道安全问题，引入了国密证书，对信道进行加密和认证，保障了传输的安全；同时本发明旨在解决数据传输效率及提高数据传输过程中的安全性，以此将数据服务分成存储服务、数据引擎服务包括上传、下载、分片等，同时还有数据传输的网络模块服务等。
8.为实现上述目的，本发明提供如下技术方案：
9.一种用于对加密数据进行分片发送的系统，所述系统包括：
10.数据储存服务模块，所述储存储存服务模块用于对数据进行储存；
11.数据引擎服务模块，所述数据引擎服务模块用于提供数据列表的查看、数据上传、数据下载、数据分片、数据删除相关的服务接口；
12.数据传输网络服务模块，所述数据传输网络服务模块用于在客户端和服务器之间建立连接。
13.作为本发明的一种优选实施方案，所述数据储存服务模块中设置有多个本地储存节点，即设置有多个物理设备。
14.作为本发明的一种优选实施方案，所述储存服务模块通过分布式文件系统提供统一视图。
15.作为本发明的一种优选实施方案，所述储存服务模块使用的分布式文件系统包括但不局限于glusterfs系统和hdfs系统等。
16.作为本发明的一种优选实施方案，所述数据引擎服务模块包括：
17.数据列表查看子模块，所述数据列表查看子模块用于提供查看数据列表接口；
18.数据上传子模块，所述数据上传子模块用于提供数据上传服务接口；
19.数据下载服务子模块，所述数据下载服务子模块用于提供数据下载服务接口；
20.数据分片子模块，所述数据分片子模块用于数据分片删除服务接口。
21.作为本发明的一种优选实施方案，所述数据引擎服务模块还包括：
22.数据删除子模块，所述数据删除子模块用于提供数据删除服务接口。
23.作为本发明的一种优选实施方案，所述无数据传输网络服务模块引入国密证书，对信道进行加密和认证。
24.作为本发明的一种优选实施方案，所述无数据传输网络服务模块使用微服务技术，对组织内的机器的ip，端口，机器id，接口等信息进行统一注册，需要被外部组织调用时，由本组织的微服务进行请求消息的转发和返回响应。
25.作为本发明的一种优选实施方案，所述无数据传输网络服务模块在组织和服务器之间的通讯进行加密的同时，使用双证书认证。
26.作为本发明的一种优选实施方案，所述无数据传输网络服务模块内置握手协议认证单元。
27.与现有技术相比，本发明的有益效果是：本发明适用于大多数的分布式的系统，可用于解决分布式系统各节点之间数据传输，比如隐私计算、深度学习、联邦学习等系统存在的数据加密传输的问题；有效的保障了分布式系统各节点之间数据流通的安全性，同时可以提高数据传输的安全性，分片技术的合理运用也节约了存储的资源。
附图说明
28.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
29.图1为本发明的系统构架图。
30.图2为本发明的数据储存服务器连接图。
31.图3为本发明的数据传输网络服务连接图。
32.图4为本发明的信道加密认证的握手流程图。
具体实施方式
33.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
34.本发明一种用于对加密数据进行分片发送的系统，所述系统包括：
35.数据储存服务模块，所述储存储存服务模块用于对数据进行储存；
36.数据引擎服务模块，所述数据引擎服务模块用于提供数据列表的查看、数据上传、数据下载、数据分片、数据删除相关的服务接口；
37.数据传输网络服务模块，所述数据传输网络服务模块用于在客户端和服务器之间建立连接。
38.进一步的，所述数据储存服务模块中设置有多个本地储存节点，即设置有多个物理设备。
39.进一步的，所述储存服务模块通过分布式文件系统提供统一视图。
40.进一步的，所述储存服务模块使用的分布式文件系统包括glusterfs系统和hdfs 系统。
41.进一步的，所述数据引擎服务模块包括：
42.数据列表查看子模块，所述数据列表查看子模块用于提供查看数据列表接口；
43.数据上传子模块，所述数据上传子模块用于提供数据上传服务接口；
44.数据下载服务子模块，所述数据下载服务子模块用于提供数据下载服务接口；
45.数据分片子模块，所述数据分片子模块用于数据分片删除服务接口。
46.进一步的，所述数据引擎服务模块还包括：
47.数据删除子模块，所述数据删除子模块用于提供数据删除服务接口。
48.进一步的，所述无数据传输网络服务模块引入国密证书，对信道进行加密和认证。
49.进一步的，所述无数据传输网络服务模块使用微服务技术，对组织内的机器的ip，端口，机器id，接口等信息进行统一注册，需要被外部组织调用时，由本组织的微服务进行请求消息的转发和返回响应。
50.进一步的，所述无数据传输网络服务模块在组织和服务器之间的通讯进行加密的同时，使用双证书认证。
51.进一步的，所述无数据传输网络服务模块内置握手协议认证单元。
52.实施例一
53.请参阅图1，一种用于对加密数据进行分片发送的系统，所述系统包括：
54.数据储存服务模块，所述储存储存服务模块用于对数据进行储存；
55.数据引擎服务模块，所述数据引擎服务模块用于提供数据列表的查看、数据上传、数据下载、数据分片、数据删除相关的服务接口；
56.数据传输网络服务模块，所述数据传输网络服务模块用于在客户端和服务器之间建立连接。
57.在本实施例中，所述数据储存服务模块中设置有多个本地储存节点，即设置有多个物理设备。
58.在本实施例中，所述储存服务模块通过分布式文件系统提供统一视图。
59.在本实施例中，所述储存服务模块使用的分布式文件系统包括glusterfs系统和 hdfs系统。
60.在本实施例中，一个数据节点的存储可以抽象为目录/文件，即使有多个物理设备，也可以通过分布式文件系统如glusterfs，hdfs等提供统一的视图，glusterfs是 scale-out存储解决方案gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数pb存储容量和处理数千客户端。glusterfs借助tcp/ip或infinibandrdma网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据，hdfs有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。hdfs放宽了(relax)posix的要求(requirements)这样可以实现流的形式访问(streamingaccess)文件系统中的数据，。
61.实施例二
62.一种用于对加密数据进行分片发送的系统，所述系统包括：
63.数据储存服务模块，所述储存储存服务模块用于对数据进行储存；
64.数据引擎服务模块，所述数据引擎服务模块用于提供数据列表的查看、数据上传、数据下载、数据分片、数据删除相关的服务接口；
65.数据传输网络服务模块，所述数据传输网络服务模块用于在客户端和服务器之间建立连接。
66.在本实施例中，所述数据引擎服务模块包括：
67.数据列表查看子模块，所述数据列表查看子模块用于提供查看数据列表接口；
68.数据上传子模块，所述数据上传子模块用于提供数据上传服务接口；
69.数据下载服务子模块，所述数据下载服务子模块用于提供数据下载服务接口；
70.数据分片子模块，所述数据分片子模块用于数据分片删除服务接口，加密数据的分片是通过调用rosetta完成。
71.在本实施例中，所述数据引擎服务模块还包括：
72.数据删除子模块，所述数据删除子模块用于提供数据删除服务接口。
73.在本实施例中数据引擎服务主要提供了对数据列表的查看、数据上传、数据下载、数据分片、数据删除等相关的服务接口。
74.实施例三
75.一种用于对加密数据进行分片发送的系统，所述系统包括：
76.数据储存服务模块，所述储存储存服务模块用于对数据进行储存；
77.数据引擎服务模块，所述数据引擎服务模块用于提供数据列表的查看、数据上传、数据下载、数据分片、数据删除相关的服务接口；
78.数据传输网络服务模块，所述数据传输网络服务模块用于在客户端和服务器之间建立连接。
79.在本实施例中，所述无数据传输网络服务模块引入国密证书，对信道进行加密和认证。
80.在本实施例中，所述无数据传输网络服务模块使用微服务技术，对组织内的机器的ip，端口，机器id，接口等信息进行统一注册，需要被外部组织调用时，由本组织的微服务
进行请求消息的转发和返回响应。
81.在本实施例中，所述无数据传输网络服务模块在组织和服务器之间的通讯进行加密的同时，使用双证书认证。
82.在本实施例中，所述无数据传输网络服务模块内置握手协议认证单元。
83.在本实施例中，网络模块考虑到信道安全问题，引入了国密证书，对信道进行加密和认证；由于生产环境中，组织内的服务器对外开放的端口，可能会受到严格的控制和限制，所以使用微服务技术，对组织内的机器的ip，端口，机器id，接口等信息进行统一注册，需要被外部组织调用时，由本组织的微服务进行请求消息的转发和返回响应。客户端与服务器之间的通讯使用国密证书进行加密，并且使用双证书认证：客户端和服务器之间建立通道，需要经过握手协议并验证成功后，才能建立连接，使用国密证书进行信道加密认证的握手流程如图4所示，连接成功后，方可将加密后的分片数据进行传输。
84.综上所述，本发明适用于大多数的分布式的系统，可用于解决分布式系统各节点之间数据传输，比如隐私计算、深度学习、联邦学习等系统存在的数据加密传输的问题；有效的保障了分布式系统各节点之间数据流通的安全性，同时可以提高数据传输的安全性，分片技术的合理运用也节约了存储的资源。
85.示例性的，处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(read-only memory， rom)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
86.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
87.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
88.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
89.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高
速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(securedigital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
90.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
91.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
92.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。