使用边车代理机构提供多云微服务网关的系统和方法与流程

使用边车代理机构提供多云微服务网关的系统和方法
1.相关申请交叉引用
2.本技术请求2019年6月12日提交的标题为“systems and methods providing a multi-cloud microservices gateway using a sidecar proxy(使用边车代理机构提供多云微服务网关的系统和方法)”的美国非临时专利申请第16/439,441号的权益和优先权，该申请的全部内容通过引用明确并入本文。
技术领域
3.本公开的主题总体涉及云计算领域，并且更具体地涉及在作为服务功能运行的各种微服务之间、在容器内、在虚拟机内或者甚至在裸机上提供端到端的安全连接性和全局可达性。


背景技术：

4.生产级容器编排平台的出现使得基于微服务的应用越来越受欢迎。基于微服务的应用可以帮助减少开发时间，同时提高应用的可扩展性。基于微服务的应用当部署在云中时，可以利用云提供商的特定api，从而加快开发时间。然而，尽管这些平台对开发人员和运营团队有帮助，但当涉及到多云时或当应用使用异构技术时，这些平台可能会成为一种限制。当在aws(亚马逊网络服务)、azure(微软的网络服务)或gcp(谷歌云提供商)等数据中心运行时，连接工作负载可能会很复杂。此外，工作负载可以具有多种形状因子，包括裸机、虚拟机、容器或无服务器。
5.这种限制的一个实际示例是由以下微服务组成的应用：在kubernetes中运行的容器，其中aws利用了aws dynamodb pi；使用azure机器学习服务在azure中运行的虚拟机；以及在私有数据中心中运行的具有快速gpu(图形处理器)的物理服务器。在这些不同的示例中连接工作负载可能很复杂。
附图说明
6.为了描述可以获得本公开的上述和其他优点和特征的方式，将通过参考在附图中示出的本公开的具体实施例来呈现对以上简要描述的原理的更具体描述。应当理解，这些附图仅描述了本公开的示例性实施例，因此不应被认为是对其范围的限制，通过使用附图，以附加的特性和细节来描述并解释本文的原理，在附图中：
7.图1示出了根据一些示例的企业网络的拓扑；
8.图2示出了根据一些示例的企业网络的逻辑架构；
9.图3示出了根据一些示例的与用于获得关于软件漏洞的信息的外部馈送相协调的服务网格；
10.图4示出了具有星座服务器和各自与客户端连接的各种代理/边车代理机构的示例网络配置；
11.图5a示出了设置连接性过程；
12.图5b示出了部署期间的各种连接性选项；
13.图5c示出了可以表示数据库的表，该数据库示出了用于一个接入上的第一端点和另一接入上的第二端点的各种连接性参数的映射，以确定两个端点之间的隧道配置；
14.图5d示出了详细描述代理或边车代理机构的注册过程的方法示例；
15.图5e示出了关注于初始注册和部署之后的连接过程的另一方法示例；
16.图6示出了根据各种示例的示例网络设备；并且
17.图7示出了根据一些示例的示例计算设备体系结构。
具体实施方式
18.下面详细讨论本公开的各种实施例。虽然讨论了具体的实施方式，但是应当理解，这仅仅是为了说明的目的。相关领域的技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以使用其他组件和配置。
19.概述
20.本公开的附加特征和优点将在下面的描述中阐述，并且部分地将从描述中变得显而易见，或者可以通过实践本文公开的原理来学习。本公开的特征和优点可以通过在所附权利要求中特别指出的工具和组合来实现和获得。本公开的这些和其他特征将从下面的描述和所附权利要求中变得更加明显，或者可以通过本文所述原理的实践来学习。
21.有可能利用云服务提供商提供的虚拟专用网络(vpn)网关，但在异构环境中连接微服务工作负载的任务无法由常规开发人员轻松完成。该任务通常需要基础架构团队的参与。一旦安全连接性到位，如果没有支持多云的服务发现平台的支持，开发人员将很难找到在多个云上运行的服务。微服务可能具有不同类型的连接性：公有ipv4、利用nat的私有ipv4、全局可达的ipv6等。因此，开发人员不得不做出妥协，限制使用csp提供的同类最佳api。
22.为了解决由异构环境中的微服务工作负载难以连接所引起的问题，本公开关注这样的解决方案：其中代理或边车代理机构与微服务工作负载部署在一起、部署在微服务工作负载中或靠近微服务工作负载部署。建立能够被所有代理访问的服务器。根据微服务部署类型(例如是容器、虚拟机还是裸机)，代理可以具有不同的形状因子。通过代理的操作，可以建立经由直接或间接隧道进行的微服务之间的通信，以使数据能够在相应的微服务之间流动。
23.本文公开了系统、方法和计算机可读介质。一种示例方法包括：在第一云计算环境中部署与第一微服务关联的第一代理，所述第一微服务是第一类型的；由第一代理收集可达性候选信息，以产生第一可达性候选信息，该可达性候选信息包括与第一代理不同且第一微服务所需的其他微服务的端点相关信息；基于第一可达性候选信息，在服务器处接收对第一微服务的注册；以及由服务器认证第一微服务。接下来，该方法包括在第二云计算环境中部署与第二微服务有关的第二代理，第二微服务是第二类型的。第一云计算环境可以不同于第二云计算环境。
24.该方法还包括：由第二代理收集可达性候选信息，以产生第二可达性候选信息，该可达性候选信息包括与第二代理不同且第二微服务所需要的其他微服务的端点相关信息；基于第二可达性候选信息，在服务器处接收对第二微服务的注册；以及由服务器认证第二
微服务。该方法可包括：从第一代理向服务器传输第一能够验证的身份文档；在第一代理处基于第一能够验证的身份文档从服务器接收第一有效证书，以产生第一认证；从第二代理向服务器传输第二能够验证的身份文档；在第二代理处基于第二能够验证的身份文档从服务器接收第二有效证书，以产生第二认证；基于第一认证，在第一代理处接收用于第一微服务的第一星座ip地址；以及基于第二认证，在第二代理处接收用于第二微服务的第二星座ip地址。服务器使能微服务发现并将星座ip地址分配给授权代理，使得在第一类型的第一微服务和第二类型的第二微服务之间具有端到端安全连接性和全局可达性。
25.在另一方面，一种方法可以在配置在具有第一客户端和第二客户端的客户端星座中的客户端处执行。第一客户端包括第一类型的第一微服务和相关联的第一代理，第二客户端包括第二类型的第二微服务和相关联的第二代理。该方法包括：在第一客户端处接收来自第二客户端的连接请求；检索与第二客户端相关联的端点可达性数据；基于端点可达性数据，向服务器传输连接请求；基于连接请求，从服务器接收与第二客户端相关联的端点可达性信息；在第一客户端处，与第二客户端开始双向连接；以及基于双向连接，在第一客户端和所述第二客户端之间建立隧道。隧道可以被配置为第一客户端和第二客户端之间的直接隧道或间接隧道中的一者。
26.隧道的建立可以是如下的表，该表将与第一客户端相关联的第一连接性选项映射到与第二客户端相关联的第二连接性选项，以确定在第一客户端和第二客户端之间是建立直接隧道还是间接隧道。该方法可以包括经由隧道在第一客户端和第二客户端之间传送应用数据。
27.示例实施例的描述
28.本文公开了用于如下方案的系统、方法和计算机可读介质：根据这些方案，可以选择性地在源节点和目的地节点之间传输的实时流量流和原始流量流之间做出选择，截短(truncate)流量流的报头，并将流量流传输到网络控制器以进行网络分析，而不干扰被转发到其目的地的实时和原始流量流。使用实时和原始流量流的一些示例优点是减少了控制平面和数据平面中的负载，以及显著降低了执行网络监视、性能测量和检测网络损伤的复杂性。
29.云原生环境(cloud-native environment)可以包括采用容器的云计算系统。容器是用于应用在不同环境(例如，本地部署(on-premise)站点、远程站点等)之间移动并独立运行的轻量级、高效且标准的方式。在一些实施方式中，容器可以保存运行应用所需的所有信息和数据。例如，应用的代码、运行时间、系统工具、库和设定可以打包在容器中。容器的使用使得为云原生环境构建分布式应用成为可能。
30.云原生应用可以支持不同的软件服务。术语“微服务”是指可以用于使用容器构建分布式应用的软件服务。微服务架构将云原生应用的不同功能(例如，安全、流量管理等)当作独立的服务，这些独立的服务可以在不影响云原生环境中的其他应用的情况下被更改、更新或关闭。在一些示例中，微服务可以围绕利用云原生环境的公司的业务能力来构建，并且微服务能使用完全自动化的部署机制来独立地部署。
31.基于云原生应用的基础设施，云原生应用可以利用各种软件服务来实现诸如负载均衡、流量管理、路由、健康监控、安全策略、服务和用户认证、针对入侵的保护、分布式拒绝服务(ddos)攻击等功能。在云原生应用中，这些软件服务可以使用微服务构造来实现，这可
能涉及提供大量(例如，数百或数千)容器。用于管理这些大量容器的分立的硬件设备是不实际的，因此，例如，采用“服务网格”来管理和递送可集成在云原生环境的计算群集中的微服务。服务网格利用应用编程接口(api)，这些接口的实现不需要硬件设备。在一些实施例中，服务网格可以在所有的对应用进行容器化和微服务可以连接到的环境中递送到处渗透的服务层。
32.因此，服务网格可以用于直接在计算群集内向基于容器的微服务应用递送诸如流量管理、安全性和可观察性之类的服务。由于服务网格通过由api控制的软件组件而不是使用分立的硬件设备来提供监视、可扩展性和高可用性服务，因此服务网格的灵活框架降低了与现代分布式应用相关联的操作复杂性。例如，服务网格递送应用服务，例如负载均衡，而不需要昂贵且具有挑战性的替代方案，例如在每个位置和/或由云基础设施利用的每个服务器处的物理硬件设备负载均衡器。
33.可以使用容器旁边的网络代理阵列来实现服务网格。每个代理机构或代理被称为“边车代理机构”，用作容器之间进行的交互的网关。边车代理机构协助将计算负载分散到服务网格上，并将请求定向到可以为该请求提供服务的适当下游容器。中央控制器可以编排服务网格中的连接，并且控制平面可以被配置为监视在边车代理机构之间流动的服务流量。控制平面可以递送访问控制策略并收集要提供给编排器的性能度量。编排器还可以与诸如开放源代码系统的平台集成，用于自动化进行容器化应用的部署和管理。
34.如上所述，在服务网格基础设施中，可以独立地开发、部署和管理每个微服务。例如，可以将微服务的新功能和更新递送到服务网格，有时是以快速和增量的方式递送，使得新版本的微服务可以不断地集成到云原生平台中。以这种方式开发的基于微服务的应用是非常动态的，例如，可以每天更新和部署这些应用数百次。然而，考虑到开发和部署众多微服务及其版本的独立方式，这些微服务中的一个或多个可能存在漏洞。一些漏洞可能很严重，会导致整个服务网格的大范围的中断，而另一些漏洞可能不太严重且能得到控制。识别漏洞、辨别可能受影响的潜在容器并基于这些漏洞的严重性采取行动是一项挑战。以下部分描述了用于保护示例服务网格不受软件漏洞影响的系统和方法。
35.图1示出了可以根据本公开的各方面来配置的企业网络100的拓扑的示例。虽然在图1至图3的讨论中不必展开对星座服务器和结合客户端部署的代理的特定讨论，但是所描述的网络环境可以对图4中引入的框架具有一些适用性。
36.图1所示的企业网络100可以包括有线网络，可以根据本文的示例技术来监视该有线网络的流量。在一个示例中，企业网络100可以提供基于意图的联网(intent-based networking)。应当理解，对于企业网络100和本文所讨论的任何网络，可以有更多或更少的节点、设备、链路、网络或者类似或替代配置的组件。此处还预期具有不同数量和/或类型的端点、节点、云组件、服务器、软件组件、设备、虚拟或物理资源、配置、拓扑、服务、装置或部署的示例实施例。此外，企业网络100可以包括可以由端点或网络设备访问和利用的任何数量或类型的资源。本文提供的说明和示例是出于清楚和简洁的目的。本文公开的关于使用边车代理机构的原理可以应用于网络100的任何资源。
37.企业网络100包括管理云102和网络结构(fabric)120。尽管在该示例中将管理云102示为网络结构120的外部网络或云，但是该管理云可以替代地或附加地驻留在组织的场所或托管中心中(除了由云提供商或类似环境托管之外)。管理云102可以提供用于构建和
操作网络结构120的中央管理平面。管理云102可以负责转发配置和策略分发以及设备管理和分析。管理云102可以包括一个或多个网络控制器设备104、一个或多个认证、授权和计费(aaa)设备106、一个或多个无线局域网控制器(wlc)108、以及一个或多个结构控制平面节点110。在其他实施例中，管理云102的一个或多个元件可以与网络结构120共处一地。在一个方面，管理云102可以执行图4中引入的星座服务器410的操作。
38.(一个或多个)网络控制器设备104可以用作一个或多个网络结构的命令和控制系统，并且可以容纳用于部署和管理(一个或多个)网络结构的自动化工作流。(一个或多个)网络控制器设备104可以包括自动化、设计、策略、供应和保证能力等，如下面参考图2进一步讨论的。在一些示例中，一个或多个思科数字网络架构(cisco dna
tm
)设备可以作为网络控制器设备104来操作。
39.(一个或多个)aaa设备106可以控制对计算资源的访问，促进网络策略的实施，审核使用情况，并提供对服务计费所必需的信息。aaa设备可以与网络控制器设备104交互，并与包含用户、设备、事物、策略、计费的信息和类似信息的数据库和目录交互，以提供认证、授权和计费服务。在一些实施例中，(一个或多个)aaa设备106可以利用远程认证拨入用户服务(radius)或diameter来与设备和应用进行通信。在一些实施例中，一个或多个身份服务引擎(ise)设备可以作为(一个或多个)aaa设备106操作。
40.(一个或多个)wlc 108可以支持附接到网络结构120的结构使能接入点，处理与wlc相关联的传统任务以及与结构控制平面的交互以用于无线端点注册和漫游。在一些实施例中，网络架构120可以实施无线部署，该无线部署将数据平面终端(例如，虚拟可扩展局域网或“vxlan”)从集中式位置(例如，具有无线接入点的先前覆盖控制和供应(capwap)部署)移动到接入点/结构边缘节点。这可以实现无线流量的分布式转发和分布式策略应用，同时保留集中式供应和管理的优势。在一些实施例中，一个或多个无线控制器、无线lan和/或其他支持cisco dna
tm
的无线控制器可以作为wlc 108操作。
41.网络结构120可以包括结构边界节点122a和122b(统称为122)、结构中间节点124a-d(统称为124)和结构边缘节点126a-f(统称为126)。虽然在该示例中，(一个或多个)结构控制平面节点110被示为在网络结构120的外部，但是在其他实施例中，(一个或多个)结构控制平面节点110可以与网络结构120共处一地。在(一个或多个)结构控制平面节点110与网络结构120共处一地的实施例中，(一个或多个)结构控制平面节点110可以包括专用节点或节点集，或者(一个或多个)结构控制节点110的功能可以由结构边界节点122来实现。
42.(一个或多个)结构控制平面节点110可以用作中央数据库，用于在所有用户、设备和事物附连到网络结构120时以及在它们漫游时跟踪它们。(一个或多个)结构控制平面节点110可以允许网络基础设施(例如，交换机、路由器、wlc等)查询数据库以确定连接到结构的用户、设备和事物的位置，而不是使用泛洪和学习机制。以这种方式，(一个或多个)结构控制平面节点110可以作为关于附接到网络结构120的每个端点在任何时间点所处位置的单个真实源来操作。除了跟踪特定端点(例如，ipv4的/32地址、ipv6的/128地址等)之外，(一个或多个)结构控制平面节点110还可以跟踪较大的汇总路由器(例如，ip/掩码)。这种灵活性有助于跨结构站点进行汇总，并提高整体可扩展性。
43.结构边界节点122可以将网络结构120连接到传统的第3层网络(例如非结构网络)
或连接到不同的结构站点。结构边界节点122还可以将上下文(例如，用户、设备或事物映射和身份)从一个结构站点转换到另一个结构站点或传统网络。当跨不同结构站点的封装相同时，结构上下文的转换通常是1：1映射。结构边界节点122还可以与不同结构站点的结构控制平面节点交换可达性和策略信息。结构边界节点122还为内部网络和外部网络提供边界功能。内部边界可以通告一组定义的已知子网，例如通向一组分支站点或数据中心的子网。另一方面，外部边界可以通告未知目的地(例如，向互联网进行通告，在操作上类似于默认路由的功能)。
44.结构中间节点124可以作为纯粹的第3层转发器来操作，该转发器将结构边界节点122连接到结构边缘节点126，并为结构覆盖(overlay)流量提供第3层底层(underlay)。
45.结构边缘节点126可以将端点连接到网络结构120，并且可以对来自这些端点的去往网络结构和来自网络结构的流量进行封装/解封装以及进行转发。结构边缘节点126可以在网络结构120的外围操作，并且可以是用于用户、设备和事物的附接以及策略的实现的第一点。在一些实施例中，网络结构120还可以包括结构扩展节点(未示出)，用于将下游非结构层2网络设备附接到网络结构120，从而扩展网络结构。例如，扩展节点可以是经由第2层连接到结构边缘节点的小型交换机(例如，紧凑型交换机、工业以太网交换机、楼宇自动化交换机等)。连接到结构扩展节点的设备或事物可以使用结构边缘节点126来与外部子网通信。
46.在该示例中，网络结构可以表示可以与多站点结构部署相区别的单个结构站点部署。
47.在一些示例中，在结构站点中托管的所有子网可以跨该结构站点中的每个结构边缘节点126来提供。例如，如果子网10.10.10.0/24在给定结构站点中提供，则该子网可被定义为跨该结构站点中的所有结构边缘节点126，并且位于该子网中的端点可以放置在该结构中的任何结构边缘节点126上。这可以简化ip地址管理，并允许部署更少但更大的子网。在一些实施例中，一个或多个交换机、cisco交换机、cisco交换机、集成服务路由器(isr)、聚合服务路由器(asr)、企业网络计算系统(encs)、云服务虚拟路由器(csrvs)、cisco集成服务虚拟路由器(isrvs)、cisco设备和/或其他cisco dna-ready
tm
设备可以作为结构节点122、124和126操作。
48.企业网络100还可以包括有线端点130a、130c、130d和130f以及无线端点130b和130e(统称为130)。有线端点130a、130c、130d和130f可以通过线缆分别连接到结构边缘节点126a、126c、126d和126f，并且无线端点130b和130e可以分别无线地连接到无线接入点128b和128e(统称为128)，无线接入点128b和128e又可以通过线缆分别连接到结构边缘节点126b和126e。在一些实施例中，cisco接入点、cisco 接入点和/或其他支持cisco dna
tm
的接入点可以作为无线接入点128操作。
49.端点130可以包括通用计算设备(例如，服务器、工作站、台式计算机等)、移动计算设备(例如，膝上型计算机、平板计算机、移动电话等)、可穿戴设备(例如手表、眼镜或其他头戴式显示器(hmd)、耳戴式设备等)等。端点130还可以包括物联网(iot)设备或装备，例如农业装备(例如，牲畜跟踪和管理系统、浇水设备、无人飞行器(uav)等)；联网汽车和其他车
辆；智能家居传感器和设备(例如，警报系统、安全摄像机、照明、电器、媒体播放器、hvac装备、公用事业仪表、窗户、自动门、门铃、锁等)；办公装备(如台式电话、复印机、传真机等)；保健设备(例如，起搏器、生物传感器、医疗装备等)；工业装备(例如，机器人、工厂机制、建筑装备、工业传感器等)；零售装备(例如，自动售货机、销售点(pos)设备、射频识别(rfid)标签等)；智能城市设备(例如，路灯、停车计时器、废物管理传感器等)；运输和后勤装备(例如，十字转门、租车跟踪器、导航设备、库存监控器等)；等等。如下面结合图4所讨论的，任何端点都可以配置有代理或边车代理机构。
50.在一些示例中，网络结构120可以支持作为单个集成基础设施的一部分的有线和无线接入，使得有线和无线端点的连接性、移动性和策略实施行为都是相似或相同的。这可以为用户、设备和事物带来独立于访问介质的统一体验。
51.在集成的有线和无线部署中，控制平面集成可以通过(一个或多个)wlc 108向(一个或多个)结构控制平面节点110通知无线端点130的加入、漫游和断开来实现，使得(一个或多个)结构控制平面节点可以具有关于网络结构120中的有线和无线端点的连接性信息，并且可以用作端点连接到网络结构的单一事实来源。对于数据平面集成，(一个或多个)wlc 108可以指示结构无线接入点128形成到其相邻结构边缘节点126的vxlan覆盖隧道。ap vxlan隧道可以承载去往和来自结构边缘节点126的分段和策略信息，从而允许与有线端点的连接和功能相同或相似的连接和功能。当无线端点130经由结构无线接入点128加入网络结构120时，(一个或多个)wlc 108可以将端点装载到网络结构120中，并向结构控制平面节点110通知端点的媒体访问控制(mac)地址。wlc 108然后可以指示结构无线接入点128形成到相邻结构边缘节点126的vxlan覆盖隧道。接下来，无线端点130可以经由动态主机配置协议(dhcp)来获得它们自己的ip地址。一旦完成，结构边缘节点126可以将无线端点130的ip地址注册到(一个或多个)结构控制平面节点110，以形成端点的mac和ip地址之间的映射，并且去往无线端点130的流量和来自无线端点130的流量可以开始流动。
52.图2示出了企业网络(例如企业网络100)的逻辑体系结构200的示例，其中可以应用本文所公开的原理。本领域普通技术人员将理解，对于本公开中讨论的逻辑体系结构200和任何系统，在类似或替代配置中可以有附加或更少的组件。本公开中提供的说明和示例是为了简明和清楚。其他示例可以包括不同数量和/或类型的元件，但是本领域普通技术人员将理解，这样的变化不脱离本公开的范围。在该示例中，逻辑体系结构200包括管理层202、控制器层220、网络层230(例如由网络结构120实现)、物理层240(例如由图1的各种元件实现)和共享服务层250。
53.管理层202可以抽象其他层的复杂性和依赖性，并向用户提供用于管理企业网络(例如企业网络100)的工具和工作流。管理层202可以包括用户接口204、设计功能206、策略功能208、供应功能210、保证功能212、平台功能214和基础自动化功能216。用户接口204可以向用户提供单个点来管理和自动化网络。用户接口204可以在可由web浏览器访问的web应用/web服务器和/或可由桌面应用、移动应用、外壳程序或其他命令行接口(cli)、应用编程接口(例如，restful状态传递(rest)、简单对象访问协议(soap)、面向服务的体系结构(soa)等)访问的应用/应用服务器和/或其他合适的接口内实现，其中用户可以配置云管理的网络基础设施、设备和事物；提供用户偏好；指定策略；输入数据；审查统计数据；配置交互或操作；等等。用户接口204还可以提供可见性信息，诸如网络、网络基础设施、计算设备
和事物的视图。例如，用户接口204可以提供网络的状态或条件、发生的操作、服务、性能、拓扑或布局、实现的协议、运行的过程、错误、通知、警报、网络结构、正在进行的通信、数据分析等的视图。
54.设计功能206可以包括用于管理站点配置文件、映射和平面图、网络设置和ip地址管理等的工具和工作流。策略功能208可以包括用于定义和管理网络策略的工具和工作流。供应功能210可以包括用于部署网络的工具和工作流。保证功能212可以使用机器学习和分析来通过从网络基础设施、端点和信息的其他上下文源学习来提供网络的端到端可见性。平台功能214可以包括用于将网络管理系统与其他技术集成的工具和工作流。基础自动化功能216可以包括支持策略功能208、供应功能210、保证功能212和平台功能214的工具和工作流。
55.在一些示例中，设计功能206、策略功能208、供应功能210、保证功能212、平台功能214和基础自动化功能216可以被实现为微服务，其中相应的软件功能被实现在彼此通信的多个容器中，而不是将所有工具和工作流合并到单个软件二进制文件中。设计功能206、策略功能208、供应功能210、保证功能212和平台功能214中的每一个可以被视为一组相关的自动化微服务，以覆盖网络生命周期的设计、策略创作、供应、保证和跨平台集成阶段。基础自动化功能214可以通过允许用户执行某些网络范围的任务来支持顶层功能。
56.星座服务器410的操作可以由管理层202、控制器层220、网络层230和/或物理层240中的一个或多个来执行。
57.图3示出了被配置以实现本公开的各个方面的网络300的示例拓扑。网络300可以是用于支持云原生应用的企业网络。在一些方面，网络300可以包括图1的企业网络100的示例实现，该企业网络100的逻辑体系结构200在上面参考图2进行了描述。
58.例如，网络300示出了服务网格302，该服务网格302可以配备有诸如图1的网络结构120之类的网络结构。服务网格302可以是软件定义网络(sdn)，并且包括配置服务网格302的数据平面的集中式控制平面310。服务网格302提供用于控制服务到服务通信的基础设施层。服务网格302包括网络代理机构的阵列322。在阵列322可以包括的各种网络代理机构中，示出了边车代理机构324a-c，并且将在下面更详细地解释这些边车代理机构。接下来描述的边车代理机构可以应用为图4中讨论的代理或边车代理机构。
59.如本领域技术人员将理解的，企业网络可以使用代理机构来实现安全措施和管理对服务的访问。例如，如果公司的办公室环境中的用户从办公室中的计算机请求网页，则请求可以首先由公司的web代理机构接收，该web代理机构可以检查该请求的安全性问题。一旦由web代理机构实施的安全措施被清除，则请求可以被发送到托管该网页的外部服务器。当响应于该请求将网页返回到计算机时，web代理机构可以再次检查被返回的网页中的内容的安全性问题，然后代理机构将网页及其网页内容返回给用户。在服务网格302中，请求通过微服务自身基础设施层中的代理机构在微服务之间路由。由于这个原因，组成服务网格的单独代理机构被称为边车或边车代理机构，因为这些代理机构与每个服务一起运行，而不是在服务中运行。边车代理机构324a-c是可以存在于服务网格302中的这种边车代理机构的示例。
60.边车代理机构可以处置与之配对的一个或多个服务实例的访问和安全措施。例如，服务实例328a-c在图3中示出，与相应的边车代理机构324a-c配对。此外，服务实例及其
配对的边车代理机构可以共享容器。例如，示出了容器330a-c，其中每个容器330a-c可以由相应的服务实例328a-c和边车代理机构324a-c共享。边车代理机构324a-c可以处理与其他容器的服务实例的通信。例如，容器330a的边车代理机构324a可以处理服务实例328a与容器330b的服务实例328b的通信。边车代理机构324a-c还可以支持诸如服务网格302中的服务实例的发现、负载均衡、认证和授权、安全通信等的能力。服务实例328a-c可以是微服务。如前所述，微服务可以是用于构建灵活、可独立部署的软件系统的面向服务体系结构(soa)的实现方法的专门化。
61.如前所述，控制平面310可以处理服务网格302的控制功能。例如，控制平面310可以在服务实例328a-c上安装和维护策略和配置(例如，通过相应的边车代理机构324a-c)。在一些示例中，控制平面310可以指示边车代理机构324a-c对这些策略和配置进行动态更新。因此，控制平面310可以包括用于执行这些功能的不同模块。例如，控制平面310可以包括用于定义和管理网络策略、流量策略等的策略模块312。控制平面310还可以包括用于实现平衡服务网格302中的流量和工作负载的负载均衡方案的负载均衡器314。可以存在于控制平面310中的一个或多个其他模块一般被示为模块316，用于执行例如参考图2中的控制层220所讨论的一个或多个控制功能。
62.在示例方面，控制平面310可以包括软件漏洞处理器(svp)318，用于处理与例如识别、隔离和校正软件漏洞有关的各种功能。在一个或多个示例中，svp 318(或更一般地，控制平面310)可以与服务目录320通信。例如，服务目录320可以维护在服务网格302的各种服务实例328a-c中运行的软件的各种细节的目录，诸如软件版本、来源、发布日期等。因此，在一些示例中，服务目录320可以包含软件(及其版本)和服务实例328a-c的最新映射。服务目录320用一种或多种方式更新，这将在下面描述。
63.如图3所示，服务网格302的控制平面310可以与一个或多个外部实体通信。其中，编排系统304可以与服务网格302协同工作，用于例如服务网格302的容器330a-c中的容器化应用的部署、缩放和管理。例如，用于自动管理或容器化应用的开源编排系统在本领域中是已知的。除了其他功能之外，编排系统304还可以维护工作负载/应用、容器图像、网络资源等的状态。
64.例如，服务网格302还可以与各种其他外部馈送307、309等通信，以获得关于在服务网格的容器330a-c中执行的软件中的潜在漏洞的信息。本文讨论的软件漏洞可以涉及在服务实例中识别的任何暴露，这些暴露可以危害服务实例的隐私、安全性、效率、准确性、性能等。在一些示例中，漏洞可以是程序错误、服务和用户认证中的漏洞、针对入侵的保护中的缺口、对分布式拒绝服务(ddos)攻击的暴露等。潜在的软件漏洞可能有也可能没有现成的修复程序。软件漏洞数据库云联盟306可以从诸如国家漏洞数据库(nvd)、产品安全事件响应小组(psirt)等各种储存库和标准获取漏洞信息，并将关于外部馈送307的该信息提供给服务网格302。例如，软件漏洞分类帐区块链308可以向服务网格302提供具有从区块链分类帐和其他分布式分类帐获得的漏洞的另一外部馈送309。尽管没有详尽地示出和描述，但是各种其他这样的外部馈送可以向服务网格302提供关于任何软件漏洞的信息，这些软件漏洞已经在行业中被识别、为公众所知或者来源于私人实体。
65.在一个或多个示例中，控制平面310，或者更具体地，syp 318可以与这些外部馈送307、309等交互，并且收集软件漏洞和补救信息。在一些示例中，svp 318可以实现检测可能
影响服务网格302的漏洞的以下过程。svp 318可以监控外部馈送307、309并且咨询服务目录320以确定是否在外部馈送307、309上报告了可能影响服务目录320中的一个或多个服务的任何漏洞。此外，当在服务网格302中添加任何新服务或者服务发现功能识别服务网格302中的新服务时，svp 318可以更新服务目录320并监控外部馈送307、309以确定添加到服务目录320的任何新的或更新的信息是否可能具有由外部馈送307、309报告的漏洞。
66.本公开已经在图1至图3中介绍了一些网络配置，这些网络配置可以适用于以下概念。接下来，本公开介绍了关注于不同微服务之间的端到端安全性和连接性的创新。图4示出了具有星座服务器410和各种代理或边车代理机构的示例网络配置，每个代理或边车代理机构与客户端412、414、418、420、422连接部署。为了在异构环境中提供到微服务工作负载的连接性，本公开关注一种解决方案，其中代理或边车代理机构与微服务工作负载一起部署、部署在微服务工作负载中或靠近微服务工作负载部署。建立所有代理412、414、418、420、422可到达的星座服务器410。根据微服务部署类型(诸如是容器、虚拟机还是裸机)，代理可以具有不同的形状因子。
67.如图4所示，异构环境400包括多个不同的组件。第一公共云402包括具有多个不同模块或组件的星座服务器410。例如，可达性控制器可以被引入作为星座服务器410的一部分，并且可以包括域名系统(dns)组件，该组件可以向各个客户端412、414、418、420、422指派星座ip地址。可以包括istio组件，该组件解决了开发者和运营商在网络从单片式应用向分布式微服务体系结构(如图4所示)过渡时所面临的挑战。“istio”一词在希腊语中是“sail”的意思，被用作独立于开放平台的服务网格的名称，该服务网格提供流量管理、策略执行和遥测收集。istio服务网格可以为微服务应用的网络提供服务，并实现网络和服务之间的交互。istio组件可以提供对整个服务网格的洞察和操作控制，并提供完整的解决方案来满足微服务应用的各种不同需求。
68.传统的istio服务网格可以包括多个控制平面拓扑，其中每个群集具有相同的控制平面安装，并且每个控制平面管理其自己的端点。在这种情况下，向istio网关提供服务条目，以便可以配置由参与群集组成的单个逻辑服务网格。本解决方案引入了与先前的istio解决方案不同的方法，但是还可以利用或协调与istio服务网格的通信。
69.turn中继也可以包括在星座服务器410内，该星座服务器410可以用于在例如客户端420和客户端422之间提供间接隧道424。turn代表“通过relay方式穿越nat(traversal using relays around nat)”。“nat”是一种网络地址转换方法，该方法通过当封包在路由设备上传输时，修改封包之ip标头中的网络地址信息，而将一个ip地址空间重新映射至另一ip地址空间。如果主机位于nat之后，则在某些情况下，该主机可能无法直接与其他对等主机通信。在这些情况下，主机必须使用充当通信中继的中间节点的服务。turn协议允许主机控制中继的操作，并使用中继与其对等体交换分组。turn与其他一些中继控制协议的不同之处在于，turn允许客户端使用单个中继地址与多个对等体进行通信。
70.turn协议被设计为用作nat遍历的ice(交互式连接性建立)方法的一部分，但turn协议也可以在没有ice的情况下使用。关于turn协议的更多细节，参见通过引用结合于此的ietf rfc 5766、8155和8553。在本文所述的一些情况下，可以在两个对等体420、422之间建立间接隧道424。
71.客户端412被部署在公共云402内。客户端414被部署在公共云404内。客户端418被
配置在k8s群集416内。客户端420被配置在私有云406中。客户端422被配置在家庭408或其他建筑物中。与每个客户端412、414、418、420、422有关的参考是相应的覆盖地址(例如，2001:db8)，并且示出了加密隧道以及控制平面连接。
72.服务器410用作公共微服务发现服务。服务器负责微服务认证、星座ip地址分配和微服务发现的dns。代理或边车代理机构还维持与服务器410的控制平面连接，以帮助设置与其对等体的安全网格隧道。与微服务工作负载部署在一起、部署在微服务工作负载内或靠近微服务工作负载部署的代理负责向星座服务器410注册这些微服务，以便加入星座应用。代理还负责在隧道设置期间执行策略。
73.如上所述，服务器410包括多个组件并执行多个功能。服务器410执行代理注册认证。服务负责验证代理身份并递送签名证书。这些服务还负责向代理分配访问策略。在一个示例中，istio是这种服务的实际实现的示例方法或候选。
74.与服务器410相关联的dns服务实现微服务发现。在一个方面，dns服务可以被认为是常规dns服务器，但是仅为一组星座应用和特定域操作。服务器410中所示的可达性控制器组件负责维护代理可达性信息候选的数据库、代理的分布式星座ip地址以及过程的同步连接性集合。
75.图5a示出了与注册过程中的启动相关的方法示例。第一客户端启动(502)。如上所述，客户端512由一个或多个微服务工作负载及其相关联的代理或边车代理机构组成。本文描述的步骤可以由构成客户端的这些组件中的任何组件来执行。在客户端启动之后，客户端或客户端的代理收集可达性候选信息(504)并联系星座服务器(506)。可达性信息可以包括公有和私有ipv4地址、公有和私有ipv6地址、网关ipv6地址(可以使用upnp、stu或云api来收集)以及ietf rfc 8445中定义的ice协议所需的任何端点相关信息。客户端向星座服务器(514)发出可达性信息spifee证书请求(506)。步骤(506)可以涉及代理联系服务器410/514以进行认证。可以根据spifee规范执行认证。spifee规范是指第一每个人的安全生产身份框架(secure production identity framework for everyone)。这些规范在一些标准中定义了一个框架，用于识别和保护基于web的服务之间的通信。认证也可以通过其他协议来执行，并且本公开不限于特定的spifee标准。
76.相应代理将其能够验证spifee的身份文档(spifee verifiable identity document svid)发送到服务器410/514。如果认证成功，则代理512接收稍后将用于与其他对等微服务进行认证的有效证书。星座服务器处理spifee请求，指定ipv6地址，并记录相应的客户端可达性(508)。一旦被认证，服务器410就向代理分配相应微服务的星座地址(508)。ipv6地址将用于任何微服务到微服务的通信。
77.然后，星座服务器514将签名证书、ipv6地址和前缀传输到星座客户端512。星座客户端然后创建tap接口，并且可以绘制用于不同客户端之间的通信的路由数据(510)。tap接口是纯软件接口，因为该tap接口只存在于内核中，没有物理硬件组件。
78.可以将tap接口(或tun接口)视为常规网络接口，当内核决定“在线路上”发送数据的时刻到来时，该常规网络接口会替代性地使用特定过程将数据发送到附接到该接口的某个用户空间程序。当程序附接到tap接口时，该tap接口会获得特殊的文件描述符，从中读取接口发出的数据。以类似的方式，程序可以对该特殊描述符进行写入，并且数据(必须正确格式化)将显示为tap接口的输入。对于内核来说，这看起来就像是tap接口正在“从线路”接
收数据。
79.tap接口和tun接口之间的区别在于，tap接口输出(并且必须给予)完整的以太网帧，而tun接口输出(并且必须给予)原始ip分组(并且内核不添加以太网报头)。在创建接口时，使用标志指定接口的功能是像tun接口还是像tap接口。本文所公开的原理将适用于任一类型的接口。
80.tap/tun接口可以是瞬态的，这意味着该接口是由同一个程序创建、使用和销毁的。当程序终止时，即使该程序没有显式地销毁接口，接口也不再存在。另一个选项是使接口持久。在这种情况下，可以使用专用实用程序(如tunctl或openvpn－mktun)创建接口，然后普通程序可以附接到该接口。当程序附接时，这些程序必须使用与最初创建接口时使用的相同类型(tun或tap)进行连接，否则它们将无法附接。
81.一旦tun/tap接口就位，该接口就可以像任何其他接口一样使用，这意味着可以分派ip地址，可以分析其流量，可以创建防火墙规则，可以建立指向该接口的路由等。
82.用于创建全新接口和(重新)附接到持久接口的代码本质上是相同的。不同之处在于，前者必须由root(具有cap_net_admin功能的用户)运行，而后者在满足特定条件的情况下可以由普通用户运行。接下来讨论新接口的创建。
83.首先，设备/dev/net/tun必须以读/写方式打开。该设备也称为克隆设备，因为该设备用作创建任何tun/tap虚拟接口的起点。该操作(与任何open()调用一样)返回文件描述符。但这还不足以开始使用它与接口进行通信。
84.创建接口的下一步骤是发出特殊的ioctl()系统调用，该系统调用的参数是在上一步骤中获得的描述符、tunsetiff常量和指向数据结构的指针，该数据结构包含描述虚拟接口的参数(基本上是虚拟接口的名称和所需的操作模式-tun或tap)。作为一种变体，虚拟接口的名称可以不指定，在这种情况下，内核将通过尝试指定该类型的“下一个”设备来选择名称(例如，如果tap2已经存在，则内核将尝试指定tap3，依此类推)。所有这些都必须由root用户(或具有capnetadmin功能的用户)完成。如果ioctl()成功，则创建虚拟接口，并且以前具有的文件描述符现在与该虚拟接口关联，并且可以用于通信。
85.在这一点上，可能会发生两件事。程序可以立即开始使用接口(可能之前至少为该接口配置了一个ip地址)，并在完成后终止和销毁接口。另一种选择是发出其他特殊的ioctl()调用，以使接口持久，并终止使该接口留在适当的位置，以便其他程序附加到该接口。例如，这就是像tunctl或openvpn
‑‑
mktun这样的程序所做的事情。这些程序通常还可以选择性地将虚拟接口的所有权设置为非根用户和/或组，因此以非根用户身份运行但具有适当权限的程序可以在以后附接到该接口。用于创建虚拟接口的基本代码显示在内核源代码树中的documentation/networking/tuntap.txt文件中。该文献在此引入作为参考。
86.图5b示出了在对等客户端之间设置连接性。代理或边车代理机构通常将执行此操作。在图5b中，一些步骤由客户端538执行，一些由服务器540执行，而一些由另一客户端或端点542执行。该过程开始于检测连接请求，例如与dns或初始分组相关联的请求(520)。然后，客户端538需要检索端点可达性数据522。从客户端538向服务器540发送连接请求。服务器540通知目标端点并向客户端538和端点542发送可达性信息(524)。以下步骤发生在客户端538上。在接收到端点可达性信息后，客户端开始双向ice连接过程(526)。在连接被建立后，客户端538与端点建立加密隧道(528)，一旦建立了隧道，客户端538就可以处理可以在
客户端538和端点542之间流动(530)的应用流量。如本文所述，隧道可以是直接的或间接的。
87.端点542处的处理包括，在接收到连接通知之后，与客户端538开始双向ice连接(532)。一旦建立了连接，端点542就参与跟客户端538建立加密隧道(534)。一旦建立了隧道，端点542就可以处理端点542和客户端538之间的应用流量(536)。
88.可以使用不同的协议来建立对等体之间的连接性。当需要时，使用ice协议，并且图5c示出或总结了不同对等体之间的选项的不同连接性。在表550中，一个端点的连接性选项可以在列552中示出，而另一个端点的连接性选项可以在行554中示出。各种选项包括，例如，无防火墙的全局ipv6、入口阻塞的全局ipv6、无防火墙的全局ipv4、入口阻塞的全局ipv4、能够穿透的nat(pierceable nat)的私有ipv4(upnp、stun)以及不能够穿透nat(unpierceable nat)的私有ipv4。这些表示连接性选项的示例，并且也考虑了其他选项。该表示出了如何基于相应的连接性特性来确定将在或可在相应的端点之间发生的隧道传输的类型的示例。这些特性可以是微不足道的并且因此隧道传输可以是直接的(参见图4中的特征426)，或者这些特性可能需要中继556。
89.图4示出了间接隧道424，该间接隧道使用turn中继作为星座服务器410的一部分。当在单独端点之间建立连接性时，可以访问图5c中所示的表，以确定两个相应端点之间的每个单独隧道应该是直接的还是间接的。例如，特征556表示间接隧道，其中，当一个端点具有私有ipv4、不能够穿透的nat的连接性配置文件，而另一个端点具有没有防火墙的全局ipv6的连接性配置文件时，需要中继。在所示的示例中，中继是使用teredo的ip4到ip6，teredo是过渡技术，可为ipv4互联网上支持ipv6但与ipv6网络没有原生连接性的客户端提供完整的ipv6连接。teredo在ipv4互联网上通过nat设备路由数据报。其他转换服务可以包括map-t、upnp map-t或其他。upnp代表“通用即插即用”，是一组网络协议，这些网络协议允许诸如个人计算机、打印机、互联网网关、wifi接入点等的网络设备发现彼此在网络上的存在，并建立用于数据共享的功能性网络服务。map-t协议是使用转换的地址和端口的映射，该映射提供跨ipv6域到ipv4主机的连接性。每个客户端422、412、414、416、420可以具有其自己的到服务器410的控制平面连接428。
90.图5c的位置558中的“*”表示该过程应在防火墙上打开允许打开的端口，并使另一个节点连接到该端口。位置560中的“**”符号指示该连接应在nat中打开允许打开的端口，并使另一个节点连接到该端口。
91.一旦在两个代理之间建立了连接，就会设置加密隧道，并使用证书对对等体进行授权。相应的代理可以基于应用或本地策略来授权或拒绝与另一微服务的连接性。由服务器410递送的应用ipv6地址被分派给隧道的两端。本地代理可以基于在x.509远程证书中通告的远程方的身份来实施细粒度组安全策略以及更高级的策略。如上所述，代理将需要与cap网络管理功能一起运行，以便能够创建如上所述的tap接口并分派星座ip地址。
92.遵循本文所述的过程，系统可以在作为服务功能运行的微服务之间、在容器内、在虚拟机内或甚至在裸机上提供端到端安全连接性和全局可达性。该方法将与所有现有的云技术兼容，云技术诸如但不限于kubernetes、openstack、虚拟机和裸机服务器。该方法可以在公共云和私有云中工作。
93.图5d示出了一种方法示例，该方法示例涵盖了客户端星座的初始注册和设置过
程，以便能够按需在相应的微服务之间建立直接或间接隧道，即使这些微服务是不同类型的。一种示例方法包括：在第一云计算环境中部署与第一微服务关联的第一代理，第一微服务是第一类型的(570)；由第一代理收集可达性候选信息，以产生第一可达性候选信息(572)，该可达性候选信息包括与第一代理不同且第一微服务所需的其他微服务的端点相关信息；基于第一可达性候选信息，在服务器处接收对第一微服务的注册；由服务器认证第一微服务；以及在第二云计算环境中部署与第二微服务关联的第二代理，第二微服务是第二类型的(574)。在一个方面，第一云计算环境不同于第二云计算环境。这些环境也可以是相同类型的，或者共享多个特征。
94.该方法还包括：由第二代理收集可达性候选信息，以产生第二可达性候选信息(576)，该可达性候选信息包括与第二代理不同且第二微服务所需要的其他微服务的端点相关信息；基于第二可达性候选信息，在服务器处接收对第二微服务的注册；以及由服务器认证第二微服务(578)。该方法还可以包括：从第一代理向服务器传输第一能够验证的身份文档(580)；在第一代理处基于第一能够验证的身份文档从服务器接收第一有效证书，以产生第一认证(582)；从第二代理向服务器传输第二能够验证的身份文档(584)；以及在第二代理处基于第二能够验证的身份文档从服务器接收第二有效证书，以产生第二认证(586)。
95.附加步骤可以包括基于第一认证并且在第一代理处接收第一微服务的第一星座ip地址(588)；以及基于第二认证并且在第二代理处接收第二微服务的第二星座ip地址(590)。服务器使能微服务发现并将星座ip地址分配给授权代理，使得在第一类型的第一微服务和第二类型的第二微服务之间具有端到端安全连接性和全局可达性。
96.在一个方面，第一类型不同于第二类型。例如，第一类型和第二类型各自可以包括容器、虚拟机、无服务器类型或裸机类型中的一者。第一类型可以是虚拟机，而第二类型可以是裸机类型。
97.在另一示例中，该方法还可以包括：基于第一认证和第二认证，在第一微服务和第二微服务之间建立直接隧道或间接隧道。确定是建立直接隧道还是间接隧道的步骤可以基于参考如图5c所示的相应连接性选项的表或数据库，并且该表可以包括针对第一微服务的第一连接性选项和针对第二微服务的第二活动选项。
98.当表550指示第一微服务利用ipv4协议而第二微服务利用ipv6协议时，建立还可以包括在第一微服务和第二微服务之间建立间接隧道。这是应用图5c所示表的结果。当表指示第一微服务利用ipv4协议并且是不能够穿透的nat，并且第二微服务利用ipv4协议并且是不能够穿透的nat时，建立还可以包括使用turn中继562在第一微服务和第二微服务之间建立间接隧道。图5c中所示的各种选择也可以改变。何时使通信相关或何时使隧道是直接隧道的特定指派是示例性的，并且任何选择可以被指派给端点特性的任何组合。
99.用于在微服务星座中实现端到端安全连接性和全局可达性的服务器或系统，可以包括至少一个处理器和计算机可读存储设备。存储设备可以存储指令，这些指令在由至少一个处理器执行时，使该至少一个处理器执行操作，以产生根据本文公开的算法或步骤编程的专用计算机。指令可以包括以下中的一个或多个：从微服务星座中的第一客户端接收可达性信息和spifee证书请求；处理spifee证书请求以生成第一签名证书；将第一ipv6地址分配给第一客户端；在数据库中记录第一客户端可达性；将第一签名证书和第一ipv6地址传输到第一客户端；基于第一客户端的连接到第二客户端的连接请求，向第二客户端通
知连接请求；向第一客户端和第二客户端发送可达性信息，以使得能够在第一客户端和第二客户端之间建立直接隧道或间接隧道，从而使得应用流量能够在第一客户端和第二客户端之间流动。本文公开的任何算法或一系列步骤，当在计算机系统上实现时，引起或导致该计算机系统成为专用计算机。
100.在另一方面，计算机可读存储设备存储附加指令，这些附加指令在由至少一个处理器执行时使至少一个处理器执行进一步包括以下操作中的一个或多个的操作：从微服务星座中的第二客户端接收可达性信息和第二spifee证书请求；处理第二spifee证书请求，以生成第二签名证书；将第二ipv6地址分派给第二客户端；在数据库中记录第二客户端可达性；以及将第二签名证书和第二ipv6地址传输到第二客户端，以使得应用流量能够通过直接隧道或间接隧道在第一客户端和第二客户端之间流动。
101.微服务星座可以包括第一类型的第一客户端和第二类型的第二客户端。第一客户端可以包括第一微服务和第一代理，该第一代理被配置为与第一微服务在一起、在第一微服务内或靠近第一微服务，并且其中第二客户端可以包括第二微服务和第二代理，该第二代理被配置为与第二微服务在一起、在第二微服务内或靠近第二微服务。在一个方面，第一类型和第二类型可以是相同类型的客户端，但是预期它们将是不同类型的。
102.图5e示出了从客户端和由客户端星座中的每个客户端执行的过程的立场来看的另一示例方法。一种方法，包括：在具有第一客户端和第二客户端的客户端星座中，其中第一客户端包括第一类型的第一微服务和相关联的第一代理，第二客户端包括第二类型的第二微服务和相关联的第二代理，在第一客户端处接收来自第二客户端的连接请求(592)；检索与第二客户端相关联的端点可达性数据(594)；以及基于端点可达性数据向服务器传输连接请求(595)。
103.该方法还包括：基于连接请求，从服务器接收与第二客户端相关联的端点可达性信息(596)；在第一客户端处并且与第二客户端开始双向连接(597)；以及基于双向连接，在第一客户端和第二客户端之间建立隧道(598)。隧道可以包括第一客户端和第二客户端之间的直接隧道或间接隧道中的一者。隧道的建立还可以基于类似于图5c中所示的表的表，该表将与第一客户端相关联的第一连接性选项映射到与第二客户端相关联的第二连接性选项，以确定在第一客户端和第二客户端之间是建立直接隧道还是间接隧道。该方法可以包括经由隧道在第一客户端和第二客户端之间传送应用数据(599)。
104.第一连接性选项和第二连接性选项各自都可以包括无防火墙的全局ipv6、入口阻塞的全局ipv6、无防火墙的全局ipv4、入口阻塞的全局ipv4、利用能够穿透的nat的私有ipv4和利用不能够穿透的nat的私有ipv4中的一者。当表(表的示例如图5c所示)指示第一微服务利用ipv4协议而第二微服务利用ipv6协议时，隧道的建立还包括在第一微服务和第二微服务之间建立间接隧道。在另一示例中，当表指示第一微服务利用ipv4协议并且是不能够穿透的nat，并且第二微服务利用ipv4协议并且是不能够穿透的nat时，隧道的建立还包括使用turn中继在第一微服务和第二微服务之间建立间接隧道。服务器将第一星座ip地址分派给第一客户端，并将第二星座ip地址分派给第二客户端。在另一方面，相关联的第一代理和相关联的第二代理各自在隧道的建立期间实施策略。策略可以涉及安全性、效率、用户身份、微服务身份、能源使用、地理策略等。
105.图6示出了适合于实现本公开的方面的示例网络设备600。在一些示例中，可以根
据网络设备600的配置来实现控制平面310和/或svp 318。网络设备600包括中央处理器(cpu)604、接口602和连接610(例如，pci总线)。当在适当的软件或固件的控制下工作时，cpu 604负责执行分组管理、错误检测和/或路由功能。cpu 604优选地在包括操作系统和任何适当的应用软件的软件的控制下完成所有这些功能。cpu 604可以包括一个或多个处理器608，诸如来自微处理器的intel x86系列的处理器。在一些情况下，处理器608可以是专门设计的用于控制网络设备600的操作的硬件。在一些情况下，存储器606(例如，非易失性ram、rom等)也形成cpu 604的一部分。然而，有许多不同的方式可以将存储器耦合到系统。
106.接口602通常提供为模块化接口卡(有时称为“线路卡”)。通常，接口控制通过网络发送和接收数据分组，并且有时支持与网络设备600一起使用的其他外围设备。在可以提供的接口中有以太网接口、帧中继接口、电缆接口、dsl接口、令牌环接口等。此外，可以提供各种超高速接口，诸如快速令牌环接口、无线接口、以太网接口、千兆比特以太网接口、atm接口、hssi接口、pos接口、fddi接口、wifi接口、3g/4g/5g蜂窝接口、can总线、lora等。通常，这些接口可以包括适于与适当介质通信的端口。在一些情况下，这些接口还可以包括独立的处理器，并且在一些情况下，易失性ram。独立处理器可以控制诸如分组交换、媒体控制、信号处理、密码处理和管理的通信密集型任务。通过为通信密集型任务提供单独的处理器，这些接口允许cpu 604有效地执行路由计算、网络诊断、安全功能等。
107.尽管图6中所示的系统是本技术的一个特定网络设备，但该系统绝不是可以在其上实现本技术的唯一网络设备体系结构。例如，经常使用具有处理通信以及路由计算等的单个处理器的体系结构。此外，其他类型的接口和介质也可以与网络设备600一起使用。
108.无论网络设备的配置如何，该网络设备都可以采用一个或多个存储器或存储器模块(包括存储器606)，这些存储器或存储器模块被配置为存储用于通用网络操作的程序指令以及用于本文所述的漫游、路由优化和路由功能的机制。例如，程序指令可以控制操作系统和/或一个或多个应用的操作。一个或多个存储器还可以被配置为存储表，诸如移动性绑定、注册和关联表等。存储器606还可以保存各种软件容器和虚拟化的执行环境和数据。
109.网络设备600还可以包括专用集成电路(asic)，该专用集成电路可以被配置为执行路由和/或交换操作。asic可以经由连接610与网络设备600中的其他组件通信，以交换数据和信号并协调网络设备600的各种类型的操作，诸如路由、交换和/或数据存储操作。
110.图7示出了可以实现本文所描述的各种技术的示例计算设备的示例计算设备体系结构700。计算设备体系结构700的组件被示为使用诸如总线的连接705彼此电通信。示例计算设备体系结构700包括处理单元(cpu或处理器)710和计算设备连接705，该计算设备连接将包括诸如只读存储器(rom)720和随机存取存储器(ram)725的计算设备存储器715的各种计算设备组件耦合到处理器710。
111.计算设备体系结构700可以包括高速存储器的高速缓存，该高速缓存直接与处理器710连接、与处理器710非常接近或集成为处理器710的一部分。计算设备体系结构700可以将数据从存储器715和/或存储设备730复制到高速缓存712，以供处理器710快速访问。这样，高速缓存可以提供性能提升，避免处理器710在等待数据时的延迟。这些和其他模块可以控制或被配置为控制处理器710以执行各种动作。其他计算设备存储器715也可供使用。存储器715可以包括具有不同性能特性的多种不同类型的存储器。处理器710可以包括任何通用处理器和硬件或软件服务，诸如存储在存储设备730中的服务1 732、服务2 734和服务
3 736，这些服务被配置为控制处理器710以及专用处理器，其中软件指令被结合到处理器设计中。处理器710可以是包含多个核或处理器、总线、存储器控制器、高速缓存等的自含式系统。多核处理器可以是对称或非对称的。
112.为了使用户能够与计算设备体系结构700交互，输入设备745可以表示任何数量的输入机制，诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等等。输出设备735还可以是本领域技术人员已知的多个输出机制中的一个或多个，诸如显示器、投影仪、电视、扬声器设备等。在一些实例中，多模态计算设备可使用户能够提供多种类型的输入以与计算设备体系结构700通信。通信接口740通常可以控制和管理用户输入和计算设备输出。对在任何特定硬件布置上的操作没有限制，并且因此当改进的硬件或固件布置被开发时，本文的基本特征可以容易地被替换。
113.存储设备730是非易失性存储器，并且可以是硬盘或可以存储可由计算机访问的数据的其他类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储器设备、数字多功能盘、盒式磁带、随机存取存储器(ram)725、只读存储器(rom)720及其混合。存储设备730可以包括用于控制处理器710的服务732、734、736。可以考虑其他硬件或软件模块。存储设备730可以连接到计算设备连接705。在一个方面，执行特定功能的硬件模块可以包括存储在计算机可读介质中的软件组件，该软件组件与诸如处理器710、连接705、输出设备735等的必要硬件组件相结合以执行该功能。
114.为了解释清楚，在一些情况下，本技术可以被呈现为包括单独的功能块，该功能块包括以软件或硬件和软件的组合体现的方法中的设备、设备组件、步骤或例程。
115.在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等的有线或无线信号。然而，当提及时，非瞬态计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身的介质。
116.根据上述示例的方法可以使用计算机可执行指令来实现，该计算机可执行指令被存储或可从计算机可读介质获得。这样的指令可以包括例如使得或以其他方式配置通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。可以通过网络访问所使用的计算机资源的部分。计算机可执行指令可以是例如二进制、诸如汇编语言的中间格式指令、固件或源代码。可用于存储在根据所描述的示例的方法期间使用的指令、信息和/或创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、配备有非易失性存储器的usb设备、联网存储设备等。
117.实现根据这些公开的方法的设备可以包括硬件、固件和/或软件，并且可以采用各种形状因子中的任何一种。这种形状因子的一些示例包括诸如服务器、机架安装设备、台式计算机、膝上型计算机等的通用计算设备，或者诸如平板计算机、智能电话、个人数字助理、可穿戴设备等的通用移动计算设备。本文描述的功能也可以体现在外围设备或附加卡中。作为进一步的示例，这样的功能也可以在不同芯片之间的电路板上实现，或者在单个设备中执行的不同过程中实现。
118.指令、用于输送这些指令的介质、用于执行这些指令的计算资源以及用于支持这些计算资源的其他结构是用于提供这些公开中所描述的功能的手段。
119.尽管使用了各种示例和其他信息来解释在所附权利要求的范围内的方面，但是基于这些示例中的特定特征或布置，不应暗示对权利要求的限制，因为本领域技术人员将能
够使用这些示例来导出各种各样的实现。例如，可以从一个客户端、代理或边车代理机构、服务器410、传输客户端或接收客户端等的立场来起草声明。可以是传输、接收数据、建立隧道等的所有数据通信可以从整个网络内的这些节点或组件中的任何节点或组件的立场来定义。此外并且尽管一些主题可能已经用特定于结构特征和/或方法步骤的示例的语言进行了描述，应当理解，在所附权利要求中定义的主题不必限于这些所描述的特征或动作。例如，这样的功能可以不同地分布或在不同于本文所识别的组件中执行。相反，所描述的特征和步骤被公开为在所附权利要求的范围内的系统和方法的组件的示例。
120.引用集合“中的至少一个”的权利要求语言指示该集合的一个成员或该集合的多个成员满足该权利要求。例如，引用“a和b中的至少一个”的权利要求语言表示a、b或a和b。