跨集群容器通信方法及分布式系统与流程

摘要: 本公开涉及分布式系统领域,尤其涉及一种跨数据面容器通信方法及分布式系统。背景技术:1、在云边协同、分布式训练和机器人集群等场景中,业务工作负载可以采用容器形式部...
跨集群容器通信方法及分布式系统与流程

本公开涉及分布式系统领域,尤其涉及一种跨数据面容器通信方法及分布式系统。

背景技术:

1、在云边协同、分布式训练和机器人集群等场景中,业务工作负载可以采用容器形式部署,并分布于多个集群,例如多个kubernetes集群。不同集群可能位于各自的私有网络、网络地址转换(nat)或防火墙之后,各容器实例的真实网络地址通常仅在所在集群内部可达,因而存在跨集群通信需求。

2、相关跨集群通信方案通常需要修改底层容器网络、建立集群级虚拟专用网络或配置互通路由,部署和运维成本较高;采用应用层网关的方案则可能要求业务程序感知目标位置。此外,还面临容器重建后地址变化、来源身份难以可信核验以及路由与访问授权状态不一致等问题。

技术实现思路

1、相关方案中,位于不同网络环境的容器实例之间难以直接建立通信连接。即使通过代理或中转服务端实现跨网络转发,仍可能面临来源身份难以可信确认、目标寻址与访问授权缺乏一致性,以及目标数据面无法接受外部主动连接等问题。

2、为此,本公开提出了一种跨数据面容器通信方法及分布式系统,通过来源容器网络代理截获发往目标容器实例的域内虚拟地址的网络流量,由节点代理解析目标位置并经认证转发通道将业务数据发送至中转服务端,再通过目标数据面预先建立的反向通道将业务数据转发至目标容器实例,从而在无需跨集群底层路由互通的情况下,实现对业务程序透明的跨数据面容器通信。

3、根据本公开实施例的第一方面,提出了一种跨集群容器通信方法,用于第一集群中的第一容器实例与第二集群中的第二容器实例之间的通信,所述第一容器实例和所述第二容器实例属于同一逻辑域,所述方法包括:由与所述第一容器实例对应的第一容器网络代理截获发往所述第二容器实例的域内虚拟地址的网络流量,并通过本地进程间通信连接,将所述域内虚拟地址及所述网络流量中的业务数据传递至所述第一容器实例所在节点的节点代理;由所述节点代理根据所述域内虚拟地址确定所述第二容器实例的目标位置信息,并通过与中转服务端之间的认证转发通道,将所述目标位置信息和所述业务数据转发至所述中转服务端;以及由所述中转服务端通过所述第二集群中的代理组件预先建立的反向通道,将所述业务数据转发至与所述第二容器实例对应的第二容器网络代理,以使所述第二容器网络代理将所述业务数据传递至所述第二容器实例中的目标业务进程。

4、可选地,所述第一集群和所述第二集群分别与同一控制面通信,所述方法还包括:由所述控制面分别接收所述第一集群和所述第二集群上报的、属于所述逻辑域的容器实例信息;根据所述逻辑域的虚拟地址段,为所述逻辑域内的容器实例分配虚拟地址;根据所述容器实例信息及分配的虚拟地址,生成所述逻辑域的域路由目录,所述域路由目录包括虚拟地址、集群标识、节点标识及容器实例真实地址之间的对应关系;以及分别向所述第一集群和所述第二集群分发所述域路由目录。

5、可选地,为所述逻辑域内的容器实例分配虚拟地址包括:根据容器实例所属的集群标识、本地命名空间和实例名称,构造稳定实例键;响应于所述容器实例重建,根据所述稳定实例键查找历史虚拟地址分配记录;以及在查找到对应的历史虚拟地址分配记录、且对应的历史虚拟地址未发生冲突的情况下,将所述历史虚拟地址分配给重建后的容器实例。

6、可选地,由与所述第一容器实例对应的第一容器网络代理截获发往所述第二容器实例的域内虚拟地址的网络流量,并通过本地进程间通信连接,将所述域内虚拟地址及所述网络流量中的业务数据传递至所述第一容器实例所在节点的节点代理,包括:通过所述第一容器网络代理创建的虚拟隧道网卡tun设备截获所述网络流量;通过所述第一容器网络代理中的用户态协议栈对截获的所述网络流量进行协议处理,以获取所述域内虚拟地址及所述业务数据;以及通过所述第一容器网络代理中的本地进程间通信客户端,将所述域内虚拟地址及所述业务数据,经所述本地进程间通信连接传递至所述节点代理。

7、可选地,所述方法还包括:由所述节点代理读取操作系统提供的所述本地进程间通信连接的对端进程凭据,以取得对端进程标识;根据所述对端进程标识,查询进程与容器实例之间的对应关系,以核验所述本地进程间通信连接的对端进程属于所述第一容器实例;以及根据所述第一容器实例的身份信息,查询容器实例与逻辑域之间的对应关系,以核验所述第一容器实例属于所述逻辑域,其中,由所述节点代理根据所述域内虚拟地址确定所述第二容器实例的目标位置包括:所述节点代理在经核验的所述逻辑域的域路由目录中查询所述域内虚拟地址,以确定所述第二容器实例的目标位置。

8、可选地,所述节点代理为不同逻辑域分别维护安全外壳协议ssh连接池,每个ssh连接池包括一条或多条物理ssh连接,每条物理ssh连接能够承载多个逻辑通道;其中,所述认证转发通道为所述节点代理在所述逻辑域对应的ssh连接池中选择的物理ssh连接上建立的逻辑通道。

9、可选地,在所述中转服务端通过所述反向通道转发所述业务数据之前,所述方法还包括:由所述中转服务端对所述节点代理建立所述认证转发通道时提供的域认证凭证进行验证,并根据验证通过的所述域认证凭证确定所述第一容器实例所属的逻辑域及所述第一集群;由所述中转服务端根据所述目标位置信息,确定所述第二容器实例的目标真实地址;由所述中转服务端读取所述第二集群对应的所述逻辑域的域路由目录,查询所述目标真实地址是否记录于所述域路由目录中;以及响应于所述目标真实地址记录于所述域路由目录中,允许通过所述反向通道建立至所述第二容器网络代理的转发连接。

10、可选地,由所述中转服务端通过所述第二集群中的代理组件预先建立的反向通道,将所述业务数据转发至与所述第二容器实例对应的第二容器网络代理,包括:由所述中转服务端根据所述目标位置信息,依次尝试所述第二集群的目标节点专用反向通道、所述第二集群通用反向通道和所述第二集群的任一节点反向通道,以将所述业务数据转发至所述第二容器网络代理。

11、根据本公开实施例的第二方面,提出了一种分布式系统,包括第一集群、第二集群、中转服务端以及通信子系统,其中,所述通信子系统被配置为使所述第一集群、所述第二集群和所述中转服务端协同执行如上第一方面所述的跨集群容器通信方法。

12、根据本公开实施例的第三方面,提出了一种计算机程序产品,包括计算机程序指令,该计算机程序指令被处理器执行时实现如上第一方面所述的方法。

13、由此,本公开通过域内虚拟地址实现跨数据面目标寻址,并结合认证转发通道与目标侧预建反向通道,实现对业务程序透明的跨数据面容器通信,无需修改底层网络或配置跨集群互通路由。此外,通过来源进程凭据核验与目标侧二次授权,提高跨域转发的安全性;通过虚拟地址恢复,减轻容器重建对寻址的影响;通过域认证连接池及多级反向通道选择,降低重复建连开销,并提高通信的可靠性。

1.一种跨集群容器通信方法,用于第一集群中的第一容器实例与第二集群中的第二容器实例之间的通信,所述第一容器实例和所述第二容器实例属于同一逻辑域,所述方法包括:

2.如权利要求1所述的方法,其中,所述第一集群和所述第二集群分别与同一控制面通信,所述方法还包括:

3.如权利要求2所述的方法,其中,为所述逻辑域内的容器实例分配虚拟地址包括:

4.如权利要求1-3任一项所述的方法,其中,由与所述第一容器实例对应的第一容器网络代理截获发往所述第二容器实例的域内虚拟地址的网络流量,并通过本地进程间通信连接,将所述域内虚拟地址及所述网络流量中的业务数据传递至所述第一容器实例所在节点的节点代理,包括:

5.如权利要求1-3任一项所述的方法,还包括:

6.如权利要求1-3任一项所述的方法,其中,所述节点代理为不同逻辑域分别维护安全外壳协议ssh连接池,每个ssh连接池包括一条或多条物理ssh连接,每条物理ssh连接能够承载多个逻辑通道;

7.如权利要求1-3任一项所述的方法,其中,在所述中转服务端通过所述反向通道转发所述业务数据之前,所述方法还包括:

8.如权利要求1-3任一项所述的方法,其中,由所述中转服务端通过所述第二集群中的代理组件预先建立的反向通道,将所述业务数据转发至与所述第二容器实例对应的第二容器网络代理,包括:

9.一种分布式系统,包括第一集群、第二集群、中转服务端以及通信子系统,其中,所述通信子系统被配置为使所述第一集群、所述第二集群和所述中转服务端协同执行如权利要求1-8中任一项所述的跨集群容器通信方法。

10.一种计算机程序产品,包括计算机程序指令,该计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。