一种Kafka集群间数据传输方法及相关设备与流程

一种kafka集群间数据传输方法及相关设备
技术领域
1.本技术属于互联网技术领域，尤其涉及一种kafka集群间数据传输方法、系统及设备。


背景技术：

2.kafka是一个开源流处理平台。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。kafka的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
3.对于不同的企业，为处理企业内部的数据，通常具有架设于企业内网的kafka平台，然而随着业务需要，kafka内的信息往往需要与不同企业的kafka平台进行同步，此时为了数据传输的安全性考虑，往往需要额外设置一个具有公网ip的kafka集群作为中转，才能将数据将数据由一个企业的内网kafka平台传输到另一个企业的内网kafka平台。
4.这一过程成kafka跨机房传输方案主要问题在于数据传输链路长，增加网络延迟风险，并且传输需要额外搭建kafka trans集群，集群机器数量过多，导致成本过高。


技术实现要素：

5.本技术实施例第一方面提供了一种kafka集群间数据传输方法，其特征在于，所述方法应用于第一kafka集群，包括：
6.所述第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器，以使得所述第一nginx服务器基于安全套接字协议将所述第一数据传输至第二nginx服务器，由所述第二nginx服务器传输所述第一数据至第二kafka集群；
7.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
8.基于本技术实施例第一方面所提供的kafka集群间数据传输方法，可选的，所述第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器，包括：
9.所述第一kafka集群传输所述第一数据至kafka mirror服务，以使得所述kafka mirror服务传输所述第一数据至第一nginx服务器。
10.基于本技术实施例第一方面所提供的kafka集群间数据传输方法，可选的，所述第一nginx服务器和所述第二nginx服务器均处于双活模式。
11.本技术实施例第二方面提供了一种kafka集群间数据传输方法，所述方法应用于第一nginx服务器，包括：
12.所述第一nginx服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至所述第一nginx服务器；
13.所述第一nginx服务器基于安全套接字协议发送所述第一数据至第二nginx服务器，以使得所述第二nginx服务器传输所述第一数据至第二kafka集群；
14.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
15.本技术实施三方面提供了一种kafka集群间数据传输方法，所述方法应用于第一nginx服务器，包括：
16.所述第一nginx服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至所述第一nginx服务器；
17.所述第一nginx服务器基于安全套接字协议发送所述第一数据至第二nginx服务器，以使得所述第二nginx服务器传输所述第一数据至第二kafka集群；
18.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
19.本技术实施例第四方面提供了一种kafka集群间数据传输方法，所述方法应用于第二nginx服务器，包括：
20.所述第二nginx服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至第一nginx服务器后，所述第一nginx服务器基于安全套接字协议发送至所述第二nginx服务器；
21.所述第二nginx服务器发送所述第一数据至第二kafka集群；
22.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
23.本技术实施例第五方面提供了一种kafka集群间数据传输方法，所述方法应用于第二kafka服务器；
24.所述第二kafka服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至第一nginx服务器后，所述第一nginx服务器基于安全套接字协议发送至第二nginx服务器，由所述第二nginx服务器发送至所述第二kafka服务器；
25.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
26.本技术实施例第六方面提供了一种kafka集群间数据传输系统，包括：
27.第一kafka集群、第一nginx服务器、第二kafka集群和第二nginx服务器；
28.所述第一kafka集群用于基于虚拟ip传输第一数据至第一nginx服务器；
29.所述第一nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二nginx服务器；
30.所述第二nginx服务器用于接收所述第一数据，并发送所述第一数据至第二kafka集群；
31.所述第二kafka集群用于接收所述第一数据；
32.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
33.本技术实施例第六方面提供了一种kafka集群设备，包括：
34.中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
35.所述存储器为短暂存储存储器或持久存储存储器；
36.所述中央处理器配置为与所述存储器通信，在所述设备上执行所述存储器中的指令操作以执行本技术实施例第一方面中任意一项所述的方法。
37.本技术实施例第七方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如本技术实施例第一方面中任意一项所述的方法。
38.从以上技术方案可以看出，本技术实施例具有以下优点：本技术提供了一种kafka集群间数据传输方法，所述方法应用于第一kafka集群，包括：所述第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器，以使得所述第一nginx服务器基于安全套接字协议将所述第一数据传输至第二nginx服务器，由所述第二nginx服务器传输所述第一数据至第二kafka集群；所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。基于本方案可知，本技术所提供的kafka集群间数据传输方法通过使用nginx进行传输，利用了nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过nginx ssl加密，保证了数据传输的安全性，提高了kafka集群间数据传输过程的可实施性。并且现架构数据传输链路变得简洁，数据延迟风险问题得以解决。
附图说明
39.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。可以理解的是，本部分所提供的附图仅用于更好地理解本方案，不构成对本技术的限定。
40.图1为本技术所提供的kafka集群间数据传输系统实施例的一个结构示意图；
41.图2为本技术所提供的kafka集群设备实施例的一个结构示意图；
42.图3为本技术所提供的nginx服务器设备实施例的一个结构示意图；
43.图4为本技术所提供的nginx服务器设备实施例的另一个结构示意图；
44.图5为本技术所提供的kafka集群设备实施例的另一个结构示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本技术方案，下面对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提
下所获得的所有其他实施例，都应当属于本技术保护的范围。同时，为了描述清楚和简明，以下的描述中省略了对公知的功能和结构的描述。
46.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
47.kafka是一个开源流处理平台。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。kafka的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
48.对于不同的企业，为处理企业内部的数据，通常具有架设于企业内网的kafka平台，然而随着业务需要，kafka内的信息往往需要与不同企业的kafka平台进行同步，此时为了数据传输的安全性考虑，往往需要额外设置一个具有公网ip的kafka集群作为中转，才能将数据将数据由一个企业的内网kafka平台传输到另一个企业的内网kafka平台。
49.这一过程中一般的传输路径包括：数据传输起点的第一kafka集群、将第一kafka集群中的数据转运传输至设置于公网的kafka trans集群的kafka mirror服务、用于中转数据的kafka trans集群、用于将kafka trans集群转运至第二kafka集群的kafka mirror服务以及数据传输终点的第二kafka集群。整个数据传输链路存在较多问题，首先，受限于kafka系统的处理能力用于中转的kafka trans集群需要设置多个机器设备才能支持数据中转过程的实现，导致数据传输过程的成本较高，不利于实施。其次基于上述方式的数据传输过程中需要多次的数据落地过程，数据传输链路较长，增加了网络延迟的风险。最后上述架构所涉及的环节较多，架构较为复杂，不利于实际实施过程中的生产与排查环节。为解决上述问题，本技术实施例第一方面提供了一种kafka集群间数据传输系统，具体的，请参照图1，本技术所提供的kafka集群间数据传输系统的一个实施例包括：
50.第一kafka集群101、kafka mirror服务102、第一nginx服务器103、第二nginx服务器104和第二kafka集群105。
51.第一kafka集群101、kafka mirror服务102和第一nginx服务器103设置于第一内网，即设置于传输起点企业的内网。所述第二kafka集群104和所述第二nginx服务器105设置于第二内网，即设置于数据传输终点企业的内网，所述第一内网与所述第二内网为不同内网，即两个内网间不能直接的完成数据传输。可以理解的是，第一内网和第二内网的设置单位不限于企业，也可为学校、科研机构或医院等具有数据分享和使用需求的机构，具体此处不做限定。为保证第一nginx服务器103和所述第二nginx服务器104之间的数据传输过程，所述第一nginx服务器103和所述第二nginx服务器104分别具有外网ip，以便二者之间可通过公网进行数据传输。
52.第一kafka集群101用于基于虚拟ip传输第一数据至第一nginx服务器103。具体
的，第一kafka集群即为数据传输的起点集群，第一kafka集群可为任意企业内部用于管理企业内部数据的kafka集群。在实际实施过程中第一kafka集群的机器数量可依据需求而设置，此处不做限定。第一kafka集群用于处理和存储企业所生成的数据，具体的数据种类可依据实际情况而定，如订单数据，缴费数据和日志数据等，此处不做限定。在企业运营过程中往往需要将第一kafka集群内的某些数据同步给另一企业，以便另一企业基于这些数据完成生产经营活动，如电商平台与实际商户之间，消费者在电商平台上下发订单后，电商平台需要将相应的订单信息转发至实际商户，以便实际商户向消费者提供商品，完成整个交易流程，对于另一企业而言，其用于处理自身企业数据的服务器即为第二kafka集群105。第一kafka集群101和第二kafka集群105出于安全需要均设置于自身企业的内网中，但数据需要经过公网传输。在基于公网进行传输前，首先需要第一kafka集群101将数据传输到第一nginx服务器103处。
53.在本实施例中第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器过程，可通过kafka mirror服务102完成。kafka mirror：卡夫卡镜是一种kafka监控工具，可以实时监控kafka应用程序、跟踪吞吐量、每秒事件、可以直接访问您的kafka集群的日志数据，kafkamirror可以提供精确，可靠的反馈，这些反馈可用于改善系统运行状况和发现异常情况。即kafka mirror作为消费者(consumer)拉取第一kafka集群内的数据，并作为生产者将该数据提供给第一nginx服务器。可以理解的是，在实际实施过程中也可采用其他可以达到同样效果的服务替换kafka mirror服务，具体此处不做限定。
54.虚拟ip地址(vip)是一个不与特定计算机或一个计算机中的网络接口卡(nic)相连的ip地址。数据包被发送到这个vip地址，但是所有的数据还是经过真实的网络接口。vips大部分用于连接冗余；一个vip地址也可能在一台计算机或nic发生故障时可用，交由另一个可选计算机或nic响应连接。虚拟ip与nginx服务器的双活模式配合使用，进而在最大程度上保证了数据传输的稳定性及数据传输效率。本实施例中第一数据可为任意类型的数据，此处不做限定。
55.所述第一nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二nginx服务器；所述第二nginx服务器用于接收所述第一数据，并发送所述第一数据至第二kafka集群；
56.nginx(engine x)是一个高性能的http和反向代理web服务器，同时也提供了imap/pop3/smtp服务。其将源代码以类bsd许可证的形式发布，因它的稳定性、丰富的功能集、简单的配置文件和低系统资源的消耗而闻名。nginx是一款轻量级的web服务器/反向代理服务器及电子邮件(imap/pop3)代理服务器，在bsd-like协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好。
57.nginx keepalived双机主主模式：即前端使用两台负载均衡服务器，互为主备，且都处于活动状态，同时各自绑定一个公网虚拟ip，提供负载均衡服务；当其中一台发生故障时，另一台接管发生故障服务器的公网虚拟ip(这时由非故障机器一台负担所有的请求)。这种方案，经济实惠，非常适合于当前架构环境。
58.第一nginx服务器和第二nginx服务器基于公网ip地址完成数据传输，同时由于传输过程中使用安全套接字协议(ssl，secure sockets layer)进行传输保证了公网传输过程的数据安全性，并且通过nginx服务器双活模式保证了服务器的稳定性与可用性，从而尽
可能提高了数据传输过程的可实施性。
59.所述第二kafka集群用于接收所述第一数据，进而完成整个数据传输过程。值得注意的是，本方案也可进行适应性调整以使得可以由第二kafka集群传输数据至第一kafka集群，具体的即采用第二kafka mirror服务以将数据由第二kafka集群传输至第二nginx服务器，具体此处不做赘述。
60.为保证数据传输的顺利实现，整个系统还需要进行一些适应性设置，具体的，包括：第一kafka集群与第二kafka集群应将ip与主机名称对应进行dns内网全局解析，以保证地址正确识别，支持数据传输过程。运行kafka mirror服务的设备需要解析内网的第一nginx服务器ip地址以及对端机房第二kafka集群主机名称与地址的映射关系。nginx服务器监听端口须与kafka broker被nginx代理端口一致。第一卡夫卡集群中的kafka server.properties配置中需要添加advertised.listeners参数指定暴露给nginx代理的地址与端口。两端机房防火墙需要开通给nginx代理的端口。通过上述设置进一步的保证了数据传输过程的稳定实现。
61.从以上技术方案可以看出，本技术实施例具有以下优点：本技术提供了一种kafka集群间的数据传输系统，包括：第一kafka集群、第一nginx服务器、第二kafka集群和第二nginx服务器；所述第一kafka集群用于基于虚拟ip传输第一数据至第一nginx服务器；所述第一nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二nginx服务器；所述第二nginx服务器用于接收所述第一数据，并发送所述第一数据至第二kafka集群；所述第二kafka集群用于接收所述第一数据；所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。本技术所提供的kafka集群间数据传输系统通过使用nginx服务器进行传输，利用了nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了kafka集群间数据传输过程的可实施性。
62.上述内容对kafka集群间数据传输系统进行了描述，下面分别在不同设备的角度对本方案分别进行描述。
63.1、对于第一kafka集群而言。
64.第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器，以使得所述第一nginx服务器基于安全套接字协议将所述第一数据传输至第二nginx服务器，由所述第二nginx服务器传输所述第一数据至第二kafka集群；
65.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
66.在本实施例中第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器过程，可通过kafka mirror服务完成。kafka mirror：卡夫卡镜是一种kafka监控工具，可以实时监控kafka应用程序、跟踪吞吐量、每秒事件、可以直接访问您的kafka集群的日志数据，kafkamirror可以提供精确，可靠的反馈，这些反馈可用于改善系统运行状况和发现异常情况。即kafka mirror作为消费者(consumer)拉取第一kafka集群内的数据，并作为生产者将
该数据提供给第一nginx服务器。虚拟ip地址(vip)是一个不与特定计算机或一个计算机中的网络接口卡(nic)相连的ip地址。数据包被发送到这个vip地址，但是所有的数据还是经过真实的网络接口。vips大部分用于连接冗余；一个vip地址也可能在一台计算机或nic发生故障时可用，交由另一个可选计算机或nic响应连接。虚拟ip与nginx服务器的双活模式配合使用，进而在最大程度上保证了数据传输的稳定性及数据传输效率。本实施例中第一数据可为任意类型的数据，此处不做限定。
67.nginx(engine x)是一个高性能的http和反向代理web服务器，同时也提供了imap/pop3/smtp服务。其将源代码以类bsd许可证的形式发布，因它的稳定性、丰富的功能集、简单的配置文件和低系统资源的消耗而闻名。nginx是一款轻量级的web服务器/反向代理服务器及电子邮件(imap/pop3)代理服务器，在bsd-like协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好。
68.nginx keepalived双机主主模式：即前端使用两台负载均衡服务器，互为主备，且都处于活动状态，同时各自绑定一个公网虚拟ip，提供负载均衡服务；当其中一台发生故障时，另一台接管发生故障服务器的公网虚拟ip(这时由非故障机器一台负担所有的请求)。这种方案，经济实惠，非常适合于当前架构环境。
69.为保证数据传输的顺利实现，整个系统还需要进行一些适应性设置，具体的，包括：第一kafka集群与第二kafka集群应将ip与主机名称对应进行dns内网全局解析，以保证地址正确识别，支持数据传输过程。运行kafka mirror服务的设备需要解析内网的第一nginx服务器ip地址以及对端机房第二kafka集群主机名称与地址的映射关系。nginx服务器监听端口须与kafka broker被nginx代理端口一致。第一卡夫卡集群中的kafka server.properties配置中需要添加advertised.listeners参数指定暴露给nginx代理的地址与端口。两端机房防火墙需要开通给nginx代理的端口。通过上述设置进一步的保证了数据传输过程的稳定实现。
70.从以上技术方案可以看出，本技术实施例具有以下优点：本技术提供了一种kafka集群间数据传输方法，所述方法应用于第一kafka集群，包括：所述第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器，以使得所述第一nginx服务器基于安全套接字协议将所述第一数据传输至第二nginx服务器，由所述第二nginx服务器传输所述第一数据至第二kafka集群；所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。基于本方案可知，本技术所提供的kafka集群间数据传输方法通过使用nginx进行传输，利用了nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了kafka集群间数据传输过程的可实施性。
71.2、对于第一nginx服务器而言。
72.第一nginx服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至所述第一nginx服务器；
73.所述第一nginx服务器基于安全套接字协议发送所述第一数据至所述第二nginx服务器，以使得所述第二nginx服务器传输所述第一数据至第二kafka集群；
74.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
75.在本实施例中第一kafka集群基于虚拟ip传输第一数据至第一nginx服务器过程，可通过kafka mirror服务完成。第一nginx服务器与第一kafka集群架设于同一公司内网，且第一nginx服务器具有外网ip地址。第一nginx服务器通过公网传输第一数据至第二nginx服务器，以便第二nginx服务器执行后续流程，具体过程可参照前述图1对应实施例中所述的内容，此处不做赘述。
76.从以上技术方案可以看出，本技术实施例具有以下优点：本技术提供了一种kafka集群间数据传输方法，所述方法应用于第一nginx服务器，包括：第一nginx服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至所述第一nginx服务器；所述第一nginx服务器基于安全套接字协议发送所述第一数据至所述第二nginx服务器，以使得所述第二nginx服务器传输所述第一数据至第二kafka集群；所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
77.基于本方案可知，本技术所提供的kafka集群间数据传输方法通过使用nginx进行传输，利用了nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了kafka集群间数据传输过程的可实施性。
78.3、对于第二nginx服务器而言。
79.第二nginx服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至所述第一nginx服务器后，所述第一nginx服务器基于安全套接字协议发送至所述第二nginx服务器；
80.所述第二nginx服务器发送所述第一数据至第二kafka集群；
81.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
82.本实施例中各步骤的具体实施方式可参照前述图1对应实施例中所述的内容，此处不做赘述。
83.基于本方案可知，本技术所提供的kafka集群间数据传输方法通过使用nginx进行传输，利用了nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了kafka集群间数据传输过程的可实施性。
84.4、对于第二kafka服务器而言。
85.第二kafka服务器接收第一数据，所述第一数据为第一kafka集群基于虚拟ip传输至所述第一nginx服务器后，所述第一nginx服务器基于安全套接字协议发送至第二nginx服务器，由所述第二nginx服务器发送至所述第二kafka服务器；
86.所述第一kafka集群和所述第一nginx服务器设置于第一内网，所述第二kafka集
群和所述第二nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一nginx服务器和所述第二nginx服务器分别具有外网ip。
87.本实施例中各步骤的具体实施方式可参照前述图1对应实施例中所述的内容，此处不做赘述。
88.基于本方案可知，本技术所提供的kafka集群间数据传输方法通过使用nginx进行传输，利用了nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了kafka集群间数据传输过程的可实施性。
89.上述内容对本技术所提供的kafka集群间的数据传输系统及方法进行了描述，为支持上述实施例的实施，本技术还提供了相应设备以便支持上述方法及系统的实现，请参阅图2，本技术所提供kafka集群设备的一个实施例包括：
90.图2是本技术实施例提供的一种kafka集群设备的结构示意图，该kafka集群设备可以包括一个或多个服务器200，该服务器200可以包括一个或一个以上中央处理器(central processing units，cpu)201和存储器205，该存储器205中存储有一个或一个以上的应用程序或数据。
91.其中，存储器205可以是易失性存储或持久存储。存储在存储器205的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器201可以设置为与存储器205通信，在服务器200上执行存储器205中的一系列指令操作。
92.服务器200还可以包括一个或一个以上电源202，一个或一个以上有线或无线网络接口203，一个或一个以上输入输出接口204，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等。
93.该中央处理器201可以执行前述图1所示实施例中第一kafka集群所执行的操作，具体此处不再赘述。
94.图3是本技术实施例提供的一种nginx服务器设备的结构示意图，该服务器300可以包括一个或一个以上中央处理器(central processing units，cpu)301和存储器305，该存储器305中存储有一个或一个以上的应用程序或数据。
95.其中，存储器305可以是易失性存储或持久存储。存储在存储器305的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器301可以设置为与存储器305通信，在服务器300上执行存储器305中的一系列指令操作。
96.服务器300还可以包括一个或一个以上电源302，一个或一个以上有线或无线网络接口303，一个或一个以上输入输出接口304，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等。
97.该中央处理器301可以执行前述图1所示实施例中第一nginx服务器所执行的操作，具体此处不再赘述。
98.图4是本技术实施例提供的另一种nginx服务器设备的结构示意图，该服务器400可以包括一个或一个以上中央处理器(central processing units，cpu)401和存储器405，该存储器405中存储有一个或一个以上的应用程序或数据。
99.其中，存储器405可以是易失性存储或持久存储。存储在存储器405的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器401可以设置为与存储器405通信，在服务器400上执行存储器405中的一系列指令操作。
100.服务器400还可以包括一个或一个以上电源402，一个或一个以上有线或无线网络接口403，一个或一个以上输入输出接口404，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等。
101.该中央处理器401可以执行前述图1所示实施例中第二nginx服务器所执行的操作，具体此处不再赘述。
102.图5是本技术实施例提供的另一种kafka集群设备的结构示意图，该kafka集群设备可以包括一个或多个服务器500，该服务器500可以包括一个或一个以上中央处理器(central processing units，cpu)501和存储器505，该存储器505中存储有一个或一个以上的应用程序或数据。
103.其中，存储器505可以是易失性存储或持久存储。存储在存储器505的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器501可以设置为与存储器505通信，在服务器500上执行存储器505中的一系列指令操作。
104.服务器500还可以包括一个或一个以上电源502，一个或一个以上有线或无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等。
105.该中央处理器501可以执行前述图1所示实施例中第二kafka集群所执行的操作，具体此处不再赘述。
106.本技术实施例还提供了一种计算机存储介质，该计算机存储介质用于储存为上述kafka集群间数据传输方法所用的计算机软件指令，其包括用于执行为kafka集群间数据传输方法所设计的程序。
107.该kafka集群间数据传输方法可以如前述实施例中所描述的kafka集群间数据传输方法。
108.本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述实施例中任意一项的kafka集群间数据传输方法的流程。
109.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，电路的等效变换，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
110.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
111.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
112.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。