一种应用于大数据分布式计算集群的通信系统及方法与流程

1.本发明涉及大数据分布式计算的通信技术领域，具体地，涉及一种应用于大数据分布式计算集群的通信系统及方法。


背景技术：

2.现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活越来越方便，大数据就是这个高科技时代的产物。基于此，有人更是断言：未来的时代将不是it时代，而是dt的时代，dt就是data technology数据科技。如果说把数据比喻为蕴藏的煤矿；那么，如同煤炭按其燃烧程度等有焦煤、肥煤、瘦煤、贫煤等品级优劣之分、煤矿按其开采难度有露天煤矿、地下煤矿之分(显然不同类型矿区的原煤挖掘成本差别极大)一样，大数据并不只在于其“储量大”，而更重要的还是在于“有用”。因此，在大数据领域，数据的价值含量、挖掘成本维度的属性往往比单纯地数据量更为重要；对于大多数的从业者，如何高效地利用其掌握的大规模数据资源，才是赢得竞争的关键。
3.虽然，广义的大数据技术包括了存储、计算和分析等一系列庞杂的技术，但下游的计算、分析一直是实现大数据之“用”的关键，尤其是其中的实现大数据深度利用的分布式计算一直是大数据技术的核心。而要了解大数据领域的分布式计算技术，则不妨以mapreduce分布式计算模型为例开始。mapreduce理论模型自被提出以来，经过十多年的发展，已经成为了当前大数据生态的基石。概而言之，mapreduce主要分成map(映射)和reduce(归约)两部分；一般来说，通过map()和reduce()两个函数即可实现分布式计算。例如，当向mapreduce框架提交一个计算作业(job)时，mapreduce框架首先会将该计算作业分成若干个map任务(task)；然后将map任务分配到不同的计算节点(映射)上去执行，每一个map任务处理对应当前计算作业的全部输入样本数据的一部分，在map阶段，将每个任务对应的样本数据部分输入到相应的计算节点(映射)；当map任务计算完成后会生成一些中间数据对象，即参数，这些参数将作为reduce任务的输入数据；而reduce任务即是将前面对应的若干个map任务的参数汇总到一起并输出；在reduce阶段，也可是由若干个计算节点(归约)分层/分步汇总的。而无论是map阶段，还是reduce阶段，在mapreduce框架中，显然是存在着大量的数据通信需求。然而，现有的应用程序跨端通信模块都是围绕着tcp/ip协议构建的。在低速的网络中(网络协议栈通常是前面述及的tcp/ip/以太网)，其数据拷贝开销等相对网络硬件传输的时间而言尚不显著，然而当普遍带宽达到40gb/s-300gb/s的网络设备被应用在用于大数据处理的商用集群时，tcp通道就成了集群数据传输的通信瓶颈了。


技术实现要素：

4.有鉴于此，本发明提供一种应用于大数据分布式计算集群的通信系统及方法，应用于大数据分布式计算集群，通过为其提供额外的可靠且低开销的通道连接和及时响应的高效信道，以提高其中样本数据、参数等大数据传输对象的通信效率。
5.一方面，本发明实施例提供一种应用于大数据分布式计算集群的通信系统，应用
于例如基于mapreduce等大数据分布式计算框架搭建/部署的集群中，通过为集群的相关节点间提供提供高效、可复用并低开销的rdma通道连接，并在分布式计算过程中及时响应为其中的样本数据/参数提供高效的rdma通道，以克服通信瓶颈进而提高分布式计算效率。
6.上述的应用于大数据分布式计算集群的通信系统，包括：tcp通道服务单元和rdma通道服务单元；其中，tcp通道服务单元，用于为分布式计算过程中的数据对象跨端传输提供tcp通道；rdma通道服务单元，用于为分布式计算集群节点间(特别是为节点间若干组数据对象传输)提供可复用的rdma通道连接以及在分布式计算过程中通过调用所述rdma通道连接更高效地为所述数据对象跨端传输提供rdma通道；在分布式计算过程中，通过rdma通道跨端传输的数据对象主要包括前面述及的样本数据/参数及与之对应的任务标识；通过tcp通道跨端传输的数据对象则主要包括分布式计算过程中的各种控制消息、rdma通道信使元信息等；所述rdma通道服务单元根据其在当前数据对象请求前提供的rdma通道连接以及rdma通道元信息提供所述rdma通道；所述rdma通道元信息主要包括：传输两端的注册内存地址和rdma通道信使元信息；所述的rdma通道信使元信息包括远程内存识别标志；其中，所述的远程内存识别标志，被提供给远程主机节点的通道适配器(hca)，用于在rdma操作期间允许远程进程访问本地的系统内存；在rdma操作期间，通过注册内存地址和远程内存识别标志形成rdma通道来实现远端内存的读/写；所述的任务标识主要用于标识被传输的样本数据/参数；例如标识所述样本数据/参数在分布式计算过程中所属的任务等，以便所述样本数据/参数能够被分布式计算框架识别和作为输入参与相应的计算(包括归约计算)中。
7.在第一方面的各实施例中，其中的一些作为又一种可能的实现方式，其所提供的应用于大数据分布式计算集群的通信系统中，其中的rdma通道连接，可以用于所述节点间的一个任务、多个任务甚至是全部任务的部分或全部样本数据/参数及其对应的任务标识的通信。
8.考虑到rdma通信的开销，对于数据量小的对象，例如长度较小的样本数据、参数，在请求并使用rdma通道跨端传输时，往往是负收益的。因此，在第一方面的各实施例中，其中的一些作为一种可能的实现方式，其所提供的应用于大数据分布式计算集群的通信系统中，若所述的样本数据/参数小于预设数据长度，则通过tcp通道传输。
9.在第一方面的各实施例中，其中的一些作为又一种可能的实现方式，其所提供的应用于大数据分布式计算集群的通信系统中，通过远程过程调用(rpc)执行分布式计算过程中rmda通道信使元信息等的跨端传输，以提高两端的响应速度，继而整体提高通信效率。
10.在第一方面的各实施例中，其中的一些作为又一种可能的实现方式，其所提供的应用于大数据分布式计算集群的通信系统中，所述的rdma通道的提供，包括但不仅限于：在任务调度节点与任务计算节点间，以及任务计算节点与任务结算节点间。
11.另一方面，本发明实施例提供一种应用于大数据分布式计算集群的通信方法，应用于例如基于mapreduce等大数据分布式计算框架搭建/部署的集群中，通过为集群的相关节点间提供提供高效、可复用并低开销的rdma通道连接，并在分布式计算过程中及时响应为其中的样本数据/参数提供高效的rdma通道，以克服通信瓶颈进而提高分布式计算效率。
12.结合第一方面，上述的应用于大数据分布式计算集群的通信方法，包括：当一个计算作业被提交给分布式计算框架，在执行分布式计算过程中，样本数据/参数的跨端传输，
例如在任务调度节点与任务计算节点间的，或者任务计算节点与任务结算节点间的，被配置为通过rdma传输；当所述样本数据/参数请求跨端传输过程时，生成所述样本数据或参数的rdma通道元信息，并通过tcp通道跨端传输所述rdma通道元信息中的所述rdma通道信使元信息，根据维持在通信两端的rdma通道连接以及rdma通道元信息，为所述样本数据/参数提供rdma通道，并以所述rdma通道传输所述的样本数据/参数及其对应的任务标识；其中，所述的rdma通道连接在当前样本数据/参数请求通信前在集群节点部署初始化时或应请求建立，能够更高效地为所述样本数据/参数提供rdma通道；其中，所述的rdma通道元信息主要包括：传输两端的注册内存地址和所述的rdma通道信使元信息；其中，所述的rdma通道信使元信息包括对应当前数据对象，即样本数据/参数，的远程内存识别标志；所述的远程内存识别标志，被提供给远程主机节点的通道适配器(hca)，用于在rdma操作期间允许远程进程访问本地的系统内存；在rdma操作期间，通过注册内存地址和远程内存识别标志形成rdma通道来实现远端内存的读/写；所述的任务标识主要用于标识被传输的样本数据/参数；例如标识所述样本数据/参数在分布式计算过程中所属的任务等，以便所述样本数据/参数能够被分布式计算框架识别和作为输入参与相应的计算(包括归约计算)中。
13.在第二方面的各实施例中，其中的一些作为一种可能的实现方式，其所提供的应用于大数据分布式计算集群的通信方法中，其中的rdma通道连接，可以用于所述节点间的一个任务、多个任务甚至是全部任务的部分或全部样本数据/参数及其对应的任务标识的通信。
14.考虑到rdma通信的开销，对于数据量小的对象，例如长度较小的样本数据、参数，在请求并使用rdma通道跨端传输时，往往是负收益的。因此，在第二方面的各实施例中，其中的一些作为一种可能的实现方式，其所提供的应用于大数据分布式计算集群的通信方法中，若所述的样本数据/参数小于预设数据长度，则通过tcp通道传输。
15.在第二方面的各实施例中，其中的一些作为一种可能的实现方式，其所提供的应用于大数据分布式计算集群的通信方法中，通过远程过程调用(rpc)执行分布式计算过程中rmda通道信使元信息等的跨端传输，以提高两端的响应速度，继而整体提高通信效率。
16.再一方面，本发明实施例提供一种计算机可读存储介质。
17.结合上述各方面，上述的计算机可读存储介质中存储有用于执行分布式计算过程中样本数据或参数的跨端传输的代码，其中包括：用于执行第二方面述及的应用于大数据分布式计算集群的通信方法操作的指令。
18.上述诸实施例提供的应用于大数据分布式计算集群的通信系统、方法以及相关的计算机可读存储介质，通过在分布式计算过程中为集群节点间提供提供高效、可复用并低开销的rdma通道连接，并在分布式计算过程中及时响应为其中的样本数据/参数提供高效的rdma通道，以克服通信瓶颈进而提高分布式计算效率。
19.下面通过附图、具体实施例对本发明的技术方案做进一步的描述。
附图说明
20.为更加清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明中一部分实施例或现有技术描述中涉及的附图做简单介绍。
21.图1为本发明一优选实施例提供的分布式计算过程中map阶段数据对象在任务调
度引擎与任务计算引擎间跨端传输的示意图；
22.图2为本发明一优选实施例提供的分布式计算过程中map阶段数据对象在任务计算引擎与任务计算引擎间跨端传输的示意图；
23.图3为本发明一实施例提供的基于mapreduce型框架构建的大数据分布式计算集群中样本数据/参数跨端传输的流程示意图。
具体实施方式
24.下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.在大数据分布式计算过程中，无论是map阶段，还是reduce阶段，无疑都会产生大量的数据跨端通信需求的，而现有的分布式计算应用程序中的通信模块实现，又多是围绕着tcp/ip协议构建的；而在带宽达到40gb/s-300gb/s的网络设备被应用在用于大数据处理的商用集群时，tcp通道就成了集群数据传输的通信瓶颈了。
26.于是，本发明提供一种应用于大数据分布式计算集群的通信系统及方法，应用于大数据分布式计算集群，通过为其提供额外的可靠且低开销的通道连接和及时响应的高效信道，以提高其中样本数据、参数等大数据传输对象的通信效率。
27.以下为本发明的一些优选实施例。其中，
28.本发明的一些优选实施例提供一种应用于大数据分布式计算集群的通信系统，应用于例如基于mapreduce等大数据分布式计算框架搭建/部署的集群中。该应用于大数据分布式计算集群的通信系统，包括：tcp通道服务单元和rdma通道服务单元；其中，tcp通道服务单元，用于为分布式计算过程中的数据对象跨端传输提供tcp通道；rdma通道服务单元，用于为分布式计算集群节点间(特别是为节点间或若干组数据对象传输)提供可复用的rdma通道连接以及在分布式计算过程中通过调用所述rdma通道连接更高效地为所述数据对象跨端传输提供rdma通道；在分布式计算过程中，通过rdma通道跨端传输的数据对象主要包括前面述及的样本数据/参数及与之对应的任务标识；通过tcp通道跨端传输的数据对象则主要包括分布式计算过程中的各种控制消息、rdma通道信使元信息等；所述rdma通道服务单元根据其在当前数据对象请求前提供的rdma通道连接以及rdma通道元信息提供所述rdma通道；所述rdma通道元信息主要包括：传输两端的注册内存地址和rdma通道信使元信息；所述的rdma通道信使元信息包括远程内存识别标志；其中，所述的远程内存识别标志，被提供给远程主机节点的通道适配器(hca)，用于在rdma操作期间允许远程进程访问本地的系统内存；在rdma操作期间，通过注册内存地址和远程内存识别标志形成rdma通道来实现远端内存的读/写；所述的任务标识主要用于标识被传输的样本数据/参数；例如标识所述样本数据/参数在分布式计算过程中所属的任务等，以便所述样本数据/参数能够被分布式计算框架识别和作为输入参与相应的计算(包括归约计算)中。
29.在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：其中的rdma通道连接，可以用于所述节点间的一个任务、多个任务甚至是全部任务的部分或全部样本数据/参数及其对应的任务标识的通信。其中的rdma通道连接可以在一段时间后销毁，
并在有请求通信时在创建，也可维持直至节点销毁或关闭。
30.在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：考虑到rdma通信的开销，若所述的样本数据/参数小于预设数据长度，则通过tcp通道传输。
31.在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：在通过远程过程调用(rpc)执行分布式计算过程中rmda通道信使元信息等的跨端传输，通过及时获取所述rmda通道信使元信息和获取rmda通道信使元信息后的及时响应，高效率地提供rdma通道用于所述样本数据/参数传输，继而整体提高通信效率。
32.在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：所述的rdma通道不仅提供给在map阶段的任务调度节点与任务计算节点间的样本数据/参数的跨端传输，还提供分布式计算框架中任务计算节点与任务结算节点间的样本数据/参数的跨端传输，例如reduce阶段的参数汇总等。
33.本发明的另一些优选实施例提供一种应用于大数据分布式计算集群的通信方法，应用于在例如基于mapreduce等大数据分布式计算框架搭建/部署的集群进行的分布式计算过程中。该应用于大数据分布式计算集群的通信方法，包括：当一个计算作业被提交给分布式计算框架，在执行分布式计算过程中，样本数据/参数的跨端传输，例如在任务调度节点与任务计算节点间的，或者任务计算节点与任务结算节点间的，被配置为通过rdma传输；当所述样本数据/参数请求跨端传输过程时，生成所述样本数据或参数的rdma通道元信息，并通过tcp通道跨端传输所述rdma通道元信息中的所述rdma通道信使元信息，根据维持在通信两端的rdma通道连接以及rdma通道元信息，为所述样本数据/参数提供rdma通道，并以所述rdma通道传输所述的样本数据/参数及其对应的任务标识；其中，所述的rdma通道连接在当前样本数据/参数请求通信前在集群节点部署初始化时或应请求建立，能够更高效地为所述样本数据/参数提供rdma通道；其中，所述的rdma通道元信息主要包括：传输两端的注册内存地址和所述的rdma通道信使元信息；其中，所述的rdma通道信使元信息包括对应当前数据对象，即样本数据/参数，的远程内存识别标志；所述的远程内存识别标志，被提供给远程主机节点的通道适配器(hca)，用于在rdma操作期间允许远程进程访问本地的系统内存；在rdma操作期间，通过注册内存地址和远程内存识别标志形成rdma通道来实现远端内存的读/写；所述的任务标识主要用于标识被传输的样本数据/参数；例如标识所述样本数据/参数在分布式计算过程中所属的任务等，以便所述样本数据/参数能够被分布式计算框架识别和作为输入参与相应的计算(包括归约计算)中。
34.在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：其中的rdma通道连接，可以用于所述节点间的一个任务、多个任务甚至是全部任务的部分或全部样本数据/参数及其对应的任务标识的通信。
35.在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：考虑到rdma通信的开销，若所述的样本数据/参数小于预设数据长度，则通过tcp通道传输。
36.在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：在通过远程过程调用(rpc)执行分布式计算过程中rmda通道信使元信息等的跨端传输，通过及时获取所述rmda通道信使元信息和获取rmda通道信使元信息后的及时响应，高效率地提供rdma通道用于所述样本数据/参数传输，继而整体提高通信效率。
37.结合上述诸实施例，以下结合附图介绍所述通信系统/方法在应用于mapreduce型
框架后，其上执行的分布式计算过程中的样本数据/参数跨端传输的具体过程。本实施例以基于mapreduce型框架的分布式计算集群系统为例，在分布式计算过程中，其样本数据/参数跨端传输，不仅可以是分布式计算过程中任务调度节点与任务计算节点间的跨端传输(如图1所示，例如在map阶段)，还可以是任务计算节点与任务结算节点间的跨端传输(如图2所示，例如在reduce阶段)，如图3所示，其具体实现如下：
38.当向所述分布式计算系统提交一个计算作业(job)后，即进入了map阶段，所述的分布式计算系统中的任务调度引擎会通过运行程序，调用map()函数，将该计算作业分成若干个map任务(task)，并分配到不同的任务计算引擎(映射)上去执行，当然任务计算引擎所在节点之外的样本数据就需要通过跨端输入；而每个任务计算引擎(映射)处理完分配的样本数据后又会生成各自的参数，这些中间数据对象需要汇总到一起，无论是直接汇总到一个任务计算引擎(归约)，还是分层/分步汇总(即存在多个任务计算引擎(归约)和多步汇总)，也是需要跨端通信的。为提高上述的样本数据/参数的跨端传输效率，将其被配置为通过rdma传输；
39.在分布式计算过程中，在节点部署初始化或因请求，在有具体的样本数据/参数通信前，即在节点间建立可复用的rdma通道连接，当在此通道的节点间有样本数据/参数请求通信时，调用rdma通道连接，以及在通信的两端注册内存(注册样本数据/参数内存为rdma内存以及在对端注册相应的rdma内存)，得到rdma通道元信息(即传输两端的注册内存地址、rdma通道信使元信息)，并将其中的rdma通道信使元信息，远程内存识别标志，发送给对端，两端通过rdma通道连接以及rdma通道元信息在两端的内存间更高效地形成rdma通道，通过执行rdma传输操作执行样本数据/参数的跨端传输及其对应的任务标识taskid的通信。其中，上面述及的taskid是mapreduce型框架识别数据对象所述任务等的标识，而远程内存识别标志，被提供给远程主机节点的通道适配器(hca)，用于在rdma操作期间允许远程进程访问本地的系统内存；在rdma操作期间，通过注册内存地址和远程内存识别标志形成rdma通道来实现远端内存的读/写。
40.本发明的再一些优选实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于执行分布式计算过程中样本数据或参数的跨端传输的代码，其中包括了用于执行上述任一实施例中述及的应用于大数据分布式计算集群的通信方法操作的指令。
41.以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此。