一种数据流处理方法、存储控制节点及可读存储介质与流程

1.本技术涉及数据流处理技术领域，更具体地说，涉及一种数据流处理方法、存储控制节点及可读存储介质。


背景技术：

2.当前市场需求驱动全球存储数据量以zb级激增，单个存储硬盘性能、存储内部cpu（central processing unit）对内存访问带宽和存储所用的网络接口带宽也显著提升，客户对于存储系统i/o性能也提出了更高的需求。
3.当前主流的存储系统框架是以cpu计算为中心的架构，适用于传统的存储设备使用场景，以cpu为中心，通过高速总线将前端接口卡、gpu（graphics processing unit，图形处理器）、内存、fpga（field programmable gate array，现场可编程逻辑门阵列）、hdd（hard disk drive，硬盘驱动器）、ssd（solid state disk，固态硬盘）等计算、存储及通信设备挂载在cpu下，所有的计算、控制都由cpu发起。但是，随着后摩尔时代的来临，cpu单核计算能力滞涨，因此，以cpu为中心的框架无法更好且更快地进行i/o数据流的处理，成为存储系统性能提升的瓶颈。
4.综上所述，如何提高数据流的处理效率和处理性能，是目前本领域技术人员亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本技术的目的是提供一种数据流处理方法、存储控制节点及可读存储介质，用于提高数据流的处理效率和处理性能。
6.为了实现上述目的，本技术提供如下技术方案：一种数据流处理方法，存储控制节点中包括第一dpu和第二dpu，所述数据流处理方法包括：所述第一dpu接收i/o请求，对所述i/o请求进行协议卸载，得到数据报文，并将所述数据报文存储在存储器中；所述第二dpu从所述存储器中获取数据报文，并对获取到的数据报文进行数据处理。
7.优选的，所述第一dpu将所述数据报文存储在存储器中，包括：所述第一dpu确定所述数据报文中包含的数据的类型，根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中。
8.优选的，所述第一dpu确定所述数据报文中包含的数据的类型，包括：所述第一dpu对所述数据报文进行数据指纹计算，得到所述数据报文的数据指纹；根据所述数据指纹确定所述数据报文中包含的数据的类型。
9.优选的，所述第一dpu将所述数据报文存储在存储器中，包括：所述第一dpu通过高速互联总线将所述数据报文存储在存储器中。
10.优选的，所述第二dpu从所述存储器中获取数据报文，对获取到的数据报文进行数据处理，包括：所述第二dpu通过所述高速互联总线从所述存储器中获取数据报文，并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
11.优选的，还包括：所述存储控制节点中的cpu进行数据转发控制和存储管理。
12.一种存储控制节点，包括第一dpu和第二dpu，其中：所述第一dpu，用于接收i/o请求，对所述i/o请求进行协议卸载，得到数据报文，并将所述数据报文存储在存储器中；所述第二dpu，用于从所述存储器中获取数据报文，并对获取到的数据报文进行数据处理。
13.优选的，所述第一dpu，具体用于确定所述数据报文中包含的数据的类型，根据所述数据报文中包含的数据的类型将所述数据报文存储在相应的存储器中。
14.优选的，还包括cpu：所述cpu，用于进行数据转发控制和存储管理。
15.一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的数据流处理方法的步骤。
16.本技术提供了一种数据流处理方法、存储控制节点及可读存储介质，存储控制节点中包括第一dpu和第二dpu，数据流处理方法包括：第一dpu接收i/o请求，对i/o请求进行协议卸载，得到数据报文，并将数据报文存储在存储器中；第二dpu从存储器中获取数据报文，并对获取到的数据报文进行数据处理。
17.本技术公开的上述技术方案，在存储控制节点中部署第一dpu和第二dpu，由第一dpu进行i/o请求接收、协议卸载和数据报文的存储，由第二dpu获取存储的数据报文，并对数据报文进行数据处理，即通过第一dpu和第二dpu来专门进行数据流的处理，从而提高数据流的处理效率，并提高数据流的处理性能。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
19.图1为本技术实施例提供的一种数据流处理方法的流程图；图2为本技术实施例提供的存储控制节点的架构示意图；图3为现有以cpu为核心进行数据处理的流程图。
具体实施方式
20.当前市场需求驱动全球存储数据量以zb级激增，单个存储硬盘性能、存储内部cpu对内存访问带宽和存储所用的网络接口带宽也显著提升，客户对于存储系统i/o性能也提出了更高的需求（更高带宽、iops（input/output operations per second，每秒进行读写
(i/o)操作的次数）和更低时延），然而后摩尔时代半导体工艺制程发展减缓，单核算力滞涨（52%-》3.5%），这些对于存储系统设计带来了巨大性能提升挑战。
21.当前主流的存储系统框架是以cpu计算为中心的架构，适用于传统的存储设备使用场景，以cpu为中心，通过高速总线将前端接口卡、gpu、内存、fpga、hdd、ssd等计算、存储及通信设备挂载在cpu下，所有的计算、控制都由cpu发起。但是，随着后摩尔时代的来临，cpu单核计算能力滞涨，因此，以cpu为中心的框架无法更好且更快地进行i/o数据流的处理，成为存储系统性能提升的瓶颈。
22.为此，本技术提供一种数据流处理方法、存储控制节点及可读存储介质，用于提高数据流的处理效率和处理性能。
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.参见图1和图2，其中，图1示出了本技术实施例提供地一种数据流处理方法的流程图，图2示出了本技术实施例提供的存储控制节点的架构示意图。本技术实施例提供地一种数据流处理方法，存储控制节点中可以包括第一dpu和第二dpu，数据流处理方法可以包括：s11：第一dpu接收i/o请求，对i/o请求进行协议卸载，得到数据报文，并将数据报文存储在存储器中。
25.存储系统中所包含的存储控制控制节点是一类单独的物理设备，其主要实现接收和响应服务器的i/o请求（读操作、写操作）、数据组织（去重、压缩、加密、纠删）、保障数据一致性、对于数据转发控制、可靠性控制以及对存储系统的管理功能。其中，在本技术中，存储控制控制节点中除了包含有cpu之外，还可以至少包含有第一dpu（data processing unit，数据处理器）和第二dpu，且可以利用第一dpu和第二dpu来实现数据流的处理。需要说明的是，图2中所示出的基于远程直接数据存取的网卡（rnic）及交换机用于传输服务器所发送的i/o请求至存储控制节点。需要说明的是，图2中实线流对应的是数据流，虚线流对应的是控制流。
26.具体地，存储控制节点中的第一dpu实现接收和响应服务器的i/o请求。在此过程中，第一dpu对所接收到的i/o请求中的数据包进行协议卸载，具体地可以进行数据报文拆包、解析、校验等运算，得到数据报文。其中，第一dpu具体可以通过内部的硬件实现tcp（transmission control protocol，传输控制协议）、nvme over fabrics（nvme-of，一个相对较新的协议规范，旨在使用nvme通过网络结构将主机连接到存储）的网络协议的卸载。当然，也可以实现其他协议的卸载。相较于现有由cpu负责网络协议卸载工作，并由cpu进行数据拆包、解析、校验等运算而占用大量的cpu计算资源，本技术由专门用于进行数据处理的dpu进行协议卸载工作，以降低对cpu计算资源的消耗，提高协议卸载效率。
27.第一dpu在通过协议卸载而得到数据报文之后，可以将数据报文存储在存储器中，此过程是通过p2p（端到端）的dma（direct memory access，直接存储器访问）技术进行实现。其中，这里提及的存储器具体可以为dram（dynamic random access memory，动态随机存取存储器）或scm（storage class memory，存储级存储器），当然，也可以为其他类型的存储器，本技术对此不作限定。
28.通过利用第一dpu进行协议卸载和数据报文存储，可以便于后续对数据报文进行处理。而且通过利用dpu来专门实现前述过程，可以提高数据流的处理效率和处理性能，减少存储控制节点中cpu的数据处理量，降低cpu的压力。
29.s12：第二dpu从存储器中获取数据报文，并对获取到的数据报文进行数据处理。
30.考虑到在存储控制节点中还有数据处理的需求，因此，则可以利用第二dpu来从存储器中获取数据报文，并对获取到的数据报文进行处理。其中，第二dpu通过内置的数据流加速引擎可以通过硬件对数据报文的数据处理进行硬件加速，带来快速数据路径的优化和性能提升。相较于现有以cpu为中心进行数据处理时需要同时用到多个加速器进行实现，本技术直接利用专门用于进行数据处理的dpu通过内置的数据流加速引擎以硬件方式对数据处理进行硬件加速，带来快速数据路径的优化和性能提升，提高数据处理的效率，降低数据处理的复杂度。
31.通过上述过程可知，本技术在数据流的处理过程中，以dpu为中心，在数据流处理过程中多点离散式布局dpu，实现多种i/o硬件加速技术，利用dpu实现数据流的处理，也即将数据流处理和其他功能分离开来，并借助dpu来专门实现数据流处理，而不再由cpu进行数据流处理，既降低cpu的处理压力，又能够在短时间内完成流式快路径，提高数据流的处理效率和处理性能。
32.本技术公开的上述技术方案，在存储控制节点中部署第一dpu和第二dpu，由第一dpu进行i/o请求接收、协议卸载和数据报文的存储，由第二dpu获取存储的数据报文，并对数据报文进行数据处理，即通过第一dpu和第二dpu来专门进行数据流的处理，从而提高数据流的处理效率，并提高数据流的处理性能。
33.本技术实施例提供地一种数据流处理方法，第一dpu将数据报文存储在存储器中，可以包括：第一dpu确定数据报文中包含的数据的类型，根据数据报文中包含的数据的类型将数据报文存储在相应的存储器中。
34.考虑到现有cpu在进行数据报文存储时所用介质是固定好或前期约定好的，而这会因如果固定好或前期约定好所有的数据报文均存储到dram中，机器掉电后dram中的数据会丢失，如果固定好或前期约定好存储到scm中，则会因scm存储数据量有限而无法满足大量数据存储的需求，为此，在本技术中，第一dpu在将数据报文存储在存储器中时，可以先确定数据报文中包含的数据的类型，然后，根据数据报文中包含的数据的类型将数据报文存储在与数据的类型相对应的存储器中，即实现实时地将不同的数据报文存储在不同的存储器中，从而带来快速数据路径的优化，并提高数据存储的合理性和可靠性。也即是说，在本技术中，第一dpu具体将数据存储在哪种存储器中是有选择的。以dram或scm为例，具体可以根据数据报文中所包含的数据的类型来选择存储在dram或scm中，其中，scm相比dram具有非易失性的属性，存在上面的数据即使掉电也不会丢失，因此，将存储要可靠性要求高的数据（例如元数据等）存储在scm中比存储在dram中效果及可靠性更优，并可以将存储可靠性要求低的数据存储在dram中。
35.本技术实施例提供地一种数据流处理方法，第一dpu确定数据报文中包含的数据的类型，可以包括：第一dpu对数据报文进行数据指纹计算，得到数据报文的数据指纹；
根据数据指纹确定数据报文中包含的数据的类型。
36.在本技术中，第一dpu在确定数据报文中包含的数据的类型时，具体可以对数据报文进行数据指纹计算（例如采用md5算法、sha1算法等），以得到数据报文的数据指纹。之后，可以根据所计算出的数据指纹来确定数据报文中包含的数据的类型，以便根据数据的类型而将不同的数据报文存储在不同的存储器中。
37.通过上述方式可以便于准确地确定数据类型，以更好地将不同的数据报文存储在不同的存储器中。
38.本技术实施例提供地一种数据流处理方法，第一dpu将数据报文存储在存储器中，可以包括：第一dpu通过高速互联总线将数据报文存储在存储器中。
39.在本技术中，存储控制节点中可以部署有高速互联总线，第一dpu可以通过高速互联总线将数据报文存储在存储器中，以通过借助高速互联总线而实现数据报文的共享，减少数据流处理过程中对数据报文的搬运次数，从而提高数据流的处理效率，降低数据流处理的复杂度。
40.本技术实施例提供地一种数据流处理方法，第二dpu从存储器中获取数据报文，包括：第二dpu通过高速互联总线从存储器中获取数据报文，并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
41.相较于现有以cpu为中心，在获取数据报文以及对数据报文进行处理时需要用到多个加速器，带来大量的访问内存操作、数据搬运操作，存在效率低、性能不好等问题，本技术中的第二dpu可以通过高速互联总线进行数据报文获取，并借助高速互联总线及第二dpu内置的数据流加速引擎对数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理，以实现数据共享，减少数据搬运及对cpu资源的占用，提高数据处理效率和处理性能，并降低数据处理的复杂度。
42.具体地，如图2和图3所示，其中，图3示出了现有以cpu为核心进行数据处理的流程图，以
①‑⑤
为数据压缩为例，现有在进行数据压缩时，
①
代表从网卡中获取数据，并存储在内存中，
②
代表通知到cpu内存已接收到数据，
③
代表从内存中搬运数据到其中一个加速器上，以进行数据压缩，
④
代表将压缩后的数据返回给内存，
⑤
代表将压缩后的数据搬运到磁盘中，由此可知，现有在数据压缩过程中需要不停地访问内存，并进行数据搬运，而在本技术中，第二dpu只需要通过高速互联总线从存储器中获取数据报文，并利用自身内置的加速模块进行数据压缩即可，而无需频繁进行数据搬运，且无需额外设置加速器。以
⑥‑⑨
为数据纠删为例，
⑥
代表内存通知cpu内存里所存储的数据，
⑦
代表利用外置的加速器对数据进行纠删，
⑧
代表将纠删后的数据存储到内存中，
⑨
代表内存中所存储的纠删后的数据经过cpu搬运到网卡，并经由网卡发送出去，由此可知，现有在数据纠删过程中也需要频繁地访问内存，并进行数据搬运，而在本技术中，第二dpu只需通过高速互联总线从存储器中获取数据报文，并利用自身内置的加速模块进行数据纠删即可，而无需频繁进行数据搬运，且无需额外设置加速器。当然，
①‑⑤
、
⑥‑⑨
均可以为数据处理中的任意一个流程，通过图2可知，仅是一个数据处理流程，则至少需要4次或5次对内存的访问操作，而本技术通过高速互联总线可以实现数据共享，减少数据访问次数和数据搬运次数。
43.需要说明的是，上述的数据处理可以采用同一个第二dpu进行实现，以减少第二dpu的部署数量，降低存储控制节点以及数据流处理的成本。
44.当然，加密处理和压缩处理可以在数据路径上合并，以利用一个第二dpu进行实现（具体可以内置加速模块进行实现），也即如果既需要数据加密又需要数据压缩时，则i/o路径可以合并处理，以使得i/o路径更短更优，而上述的纠删处理、去重处理、数据一致性保护处理可以采用一个第二dpu进行实现。当然，也可以为上述的各个处理分别对应各自对应一个第二dpu。
45.本技术实施例提供地一种数据流处理方法，还可以包括：存储控制节点中的cpu进行数据转发控制和存储管理。
46.在本技术中，存储控制节点中的cpu负责进行数据转发控制、存储可靠性管理、存储系统管理等较为复杂的控制逻辑功能，也即本技术通过数据流和控制流分离技术，使得cpu可以从现有的数据流处理和控制流处理而转为控制流处理和极少的数据处理，其余数据处理则由存储控制节点中的dpu进行实现，以降低cpu的处理压力和处理工作量，提高数据流处理效率，带来快速i/o路径的实现目的。
47.本技术实施例还提供了一种存储控制节点，参见图2，存储控制节点可以包括第一dpu和第二dpu，其中：第一dpu，用于接收i/o请求，对i/o请求进行协议卸载，得到数据报文，并将数据报文存储在存储器中；第二dpu，用于从存储器中获取数据报文，并对获取到的数据报文进行数据处理。
48.本技术实施例提供的一种存储控制节点，第一dpu，具体用于确定数据报文中包含的数据的类型，根据数据报文中包含的数据的类型将数据报文存储在相应的存储器中。
49.本技术实施例提供的一种存储控制节点，第一dpu，具体用于对数据报文进行数据指纹计算，得到数据报文的数据指纹；根据数据指纹确定数据报文中包含的数据的类型。
50.本技术实施例提供的一种存储控制节点，第一dpu，具体用于通过高速互联总线将数据报文存储在存储器中。
51.本技术实施例提供的一种存储控制节点，第二dpu，具体用于通过高速互联总线从存储器中获取数据报文，并对获取到的数据报文进行纠删处理、加密处理、压缩处理、去重处理、数据一致性保护处理。
52.本技术实施例提供的一种存储控制节点，还可以包括cpu：cpu，用于进行数据转发控制和存储管理。
53.本技术实施例还提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时刻实现如下步骤：第一dpu接收i/o请求，对i/o请求进行协议卸载，得到数据报文，并将数据报文存储在存储器中；第二dpu从存储器中获取数据报文，并对获取到的数据报文进行数据处理。
54.该可读存储介质可以包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
55.本技术提供的一种存储控制节点及可读存储介质中相关部分的说明可以参见本技术实施例提供的一种数据流处理方法中对应部分的详细说明，在此不再赘述。
56.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、
ꢀ“
包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本技术实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
57.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。