测量网络部署的影响1.相关申请的交叉引用2.本技术要求2019年3月13日提交的美国申请第16/352,593号的优先权，出于所有目的，该申请的内容通过引用以其整体结合于此。
技术领域：
：3.本公开大体上涉及通信网络，且尤其涉及测量网络部署的影响。4.背景5.通信网络(如光纤网络、蜂窝网络和宽带无线网络)为计算系统(如计算机、平板电脑、智能手机)提供数据通信通道，以传送数据和信息，如文本、图像、视频、网站内容等。通信网络覆盖的地理区域可以被分成多个子区域(例如，区块(tile)、蜂窝网络中的小区(cell)、诸如县的区域、城市、城镇、村庄等的集合的区域)。每个子区域可以生成一定量的网络流量，并且通信网络可以向由通信网络覆盖的任何数量的子区域提供连接服务。用户可以(例如使用计算设备)访问通信网络，以用于下载和上传数据。通信网络可以具有允许用户使用由通信网络支持的服务的带宽。6.特定实施例的概述7.根据本发明的第一方面，提供了一种方法，方法包括由一个或更多个计算系统：确定由通信网络连接的多个地理区域的一个或更多个网络度量，其中多个地理区域包括受网络部署影响的感兴趣的地理区域；通过基于由多个地理区域中的一个或更多个地理区域共享的至少一个网络度量的至少一个度量特征将该一个或更多个地理区域聚类成第一组地理区域，来识别候选对照区域集合；通过基于第一组地理区域的每一个和感兴趣的区域之间的比较从第一组地理区域中识别第二组地理区域，来从候选对照区域集合中选择一个或更多个对照区域；将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较，其中基于一个或更多个对照区域来确定第一网络度量基线；以及确定在网络部署之后与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。8.优选地，基于在网络部署之前的第一时间段和网络部署之后的第二时间段期间收集的网络性能数据来确定一个或更多个网络度量。9.方便地，由第一组地理区域共享的至少一个度量特征是基于在网络部署之前的第一时间段期间收集的网络性能数据来确定的。10.优选地，第二组地理区域中的每一个和感兴趣的地理区域具有高于相似性阈值的相似性，并且其中基于网络部署之前与感兴趣的地理区域和那个地理区域相关联的一个或更多个度量特征来确定相似性。11.方便地，第一网络度量基线是基于所选择的一个或更多个对照区域的加权组合来确定的。12.优选地，第二组地理区域由机器学习模型识别，并且其中所选择的一个或更多个对照区域由综合对照方法使用。13.方便地，第一网络基线是基于在网络部署之后的第二时间段期间收集的网络性能数据来确定的。14.优选地，第二组地理区域是被排除在网络部署影响之外的保留区域(hold‑outregion)，其中所选择的一个或更多个对照区域是从第二组地理区域中随机选择的，并且其中基于所选择的一个或更多个对照区域来确定第一网络度量基线。15.方便地，该方法还包括：将在网络部署之后的感兴趣的地理区域的第二网络度量与第二网络度量基线进行比较；以及确定在网络部署之后感兴趣的地理区域的第二网络度量是否具有大于第二预定阈值的变化。16.优选地，基于在网络部署之前感兴趣的地理的网络性能数据来确定第二网络基线。17.方便地，第二网络度量包括以下中的一个或更多个：流失(churned)用户数；用户流失率；新用户数；或者恢复(resurrected)用户数。18.优选地，至少一个度量特征包括以下中的一个或更多个：度量趋势；度量值；度量范围；度量变化斜率；度量误差水平；度量变化；或者度量置信水平。19.方便地，该方法还包括当第一网络度量的变化大于第一预定阈值时，确定第一网络度量的变化和网络部署之间的因果关联(cause‑effectcorrelation)。20.优选地，一个或更多个网络度量包括以下中的一个或更多个：增量网络度量；每月活跃人数度量；网络速度度量；网络延迟度量；或者时间花费度量。21.方便地，感兴趣的地理区域是千米级的小规模区域。22.优选地，该方法还包括：确定在网络部署之前感兴趣的地理区域的第三网络度量在一组网络度量桶(bucket)上的第一分布；确定在网络部署之后感兴趣的地理区域的第三网络度量在该组网络度量桶上的第二分布；比较第三网络度量的第一分布和第二分布；以及确定在网络部署之后第三网络度量是否具有大于第三预定阈值的变化。23.方便地，第三网络度量由运营商(carrier)特定的方法、运营商不可知的方法或基于用户的方法来确定。24.优选地，该方法还包括：在受网络部署影响的两个或更多个运营商上聚集一个或更多个网络度量；以及确定在网络部署之后一个或更多个网络度量在两个或更多个运营商上是否具有大于各自预定阈值的变化。25.根据本发明的另一方面，提供了一种或更多种包含软件的计算机可读非暂时性存储介质，该软件在被执行时可操作来：确定由通信网络连接的多个地理区域的一个或更多个网络度量，其中多个地理区域包括受网络部署影响的感兴趣的地理区域；通过基于由多个地理区域中的一个或更多个地理区域共享的至少一个网络度量的至少一个度量特征将一个或更多个地理区域聚类成第一组地理区域，来识别候选对照区域集合；通过基于第一组地理区域的每一个和感兴趣的区域之间的比较从第一组地理区域中识别第二组地理区域，来从候选对照区域集合中选择一个或更多个对照区域；将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较，其中基于一个或更多个对照区域来确定第一网络度量基线；以及确定在网络部署之后与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。26.根据本发明的又一方面，提供了一种系统，该系统包括：一个或更多个包含指令的非暂时性计算机可读存储介质；以及一个或更多个处理器，其耦合到存储介质并可操作来执行指令以：确定由通信网络连接的多个地理区域的一个或更多个网络度量，其中多个地理区域包括受网络部署影响的感兴趣的地理区域；通过基于由多个地理区域中的一个或更多个地理区域共享的至少一个网络度量的至少一个度量特征将一个或更多个地理区域聚类成第一组地理区域，来识别候选对照区域集合；通过基于第一组地理区域的每一个和感兴趣的区域之间的比较从第一组地理区域中识别第二组地理区域，来从候选对照区域集合中选择一个或更多个对照区域；将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较，其中基于一个或更多个对照区域来确定第一网络度量基线；以及确定在网络部署之后与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。27.这里描述的特定实施例涉及一种基于增量度量和综合对照方法来测量网络连接部署的影响的方法。系统可以首先针对每个部署从支持基础设施(例如，sn服务器、应用、运营商基础设施)收集与受影响地区(例如，国家、城市、州/省、具有影响半径的位置、区块、邮政编码区域、千米级地区)、受影响用户、受影响运营商(例如，运营商id)、部署类型(例如，添加wi‑fi接入点、改进回程、4g升级)、时间窗口(例如，部署启动日期、持续时间)等相关的网络性能数据和部署信息。收集的网络性能数据可以与部署前的第一时间段(例如，60天，6个月)和部署后的第二时间段(例如，60天，6个月)相关联。然后，系统可以预处理收集的数据并将候选对照区域聚类成组或类别，以缩小识别合格对照区域的范围。每个组可以包含候选对照区域，其具有基于一个或更多个网络度量特征(例如，趋势、斜率、范围、误差、变化、置信水平等)的至少一个相似性。网络度量特征可以基于与部署之前的第一时间段相关联的网络性能数据来确定。然后，系统可以基于与这些区域相关联的网络度量特征和这些网络度量或网络度量特征的一个或更多个资格标准(例如，趋势标准、斜率范围、值范围、相似性阈值、置信水平、误差水平等)来确定一组合格的对照区域。该系统可以基于部署前网络性能数据基于合格对照区域的网络度量来确定一个或更多个网络度量基线。此后，系统可以通过将感兴趣的区域的部署后网络度量与相应的基线进行比较来确定每个部署的影响。系统可以基于增量网络度量和相应的显著性标准(例如，显著性阈值)来确定部署影响是否显著。该系统可以在交互式用户界面上将每个部署的测量结果可视化并显示给用户。28.在特定实施例中，系统可以使用多种方法(例如，因果推断方法，包括综合对照、基于保留的实验(holdout‑basedexperiment)、增长核算方法等)来测量部署影响。每种方法可以基于为该方法预先选择的一个或更多个网络度量，例如，网络速度、网络延迟、连接的人数、花费在网络上的时间、样本量、互联网用户的增量数量(例如，增量每月活跃人数(map))、体验更快网络速度的互联网用户的增量数量(例如，体验更快网络速度的增量每月活跃人数(map))、信号强度、增长核算度量(例如，流失用户、新用户、恢复的用户)等。在特定实施例中，系统可以确定，对于特定的部署，不能识别合格的对照区域，因为不存在满足合格标准的区域。该系统可以指示部署影响不能被有效地测量，因为缺乏合格的对照区域，并且基于合格的对照区域的假设存在的任何自动推断可能是不可靠的。当综合方法发生故障时，通过识别故障，系统可以避免来自自动测量过程的不可靠或错误的推断。该系统可以基于更精确的测量结果，显著地改进用于设定连接部署的优先级的决策过程。29.在特定实施例中，系统可以基于用户通过交互式用户界面(ui)指定的网络度量和方法来测量网络连接部署的影响。该系统可以经由交互式ui接收用户输入，该用户输入包含关于网络部署的信息(例如，部署项目、部署日期、部署类型、项目创建者、部署位置、运营商id、预期影响范围、受影响的区块、部署优先级)和关于用于测量网络性能的网络度量(例如，网络速度、延迟、花费的时间、互联网用户的增量、体验更快网络速度的互联网用户的增量数量、显著性阈值、过滤标准)的信息。然后，系统可以创建用于测量网络性能的网络测量项目。系统可以收集或访问部署前后的时间窗口(例如，120天)(例如，部署前60天和部署后60天)的网络性能数据。此后，系统可以基于收集或访问的网络性能数据来确定由用户指定的网络度量。系统可以将部署后的网络度量与相应的基线进行比较，以确定增量网络度量(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量)。系统可以基于互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量以及一个或更多个显著性标准(例如，显著性阈值)来确定部署的影响是否显著。最后，系统可以在交互式ui上可视化和向用户显示部署的测量影响。显示的测量结果可以由用户基于通过交互式ui接收的用户输入来定制或更新。30.本文公开的实施例仅仅是示例，并且本公开的范围不限于它们。特定实施例可以包括本文公开的实施例的组件、要素、特征、功能、操作或步骤中的全部、一些，或不包括这些组件、要素、特征、功能、操作或步骤。根据本发明的实施例在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中被具体公开，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一个权利要求类别(例如，系统)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何先前权利要求的有意往回引用(特别是多个从属关系)而产生的任何主题，从而权利要求及其特征的任何组合被公开了并且可以被要求保护，而不管所附权利要求中选择的从属关系如何。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。31.附图简述32.图1示出了部署影响测量系统的示例架构。33.图2a示出了使用包括综合对照的因果推断方法来识别合格对照区域的示例网络度量匹配结果。34.图2b示出了当不能识别合格的对照区域时的示例网络度量匹配结果。35.图3示出了基于从长期保留实验中收集的数据确定的互联网用户增量数量的示例结果。36.图4a示出了与增长核算相关的蜂窝塔升级对感兴趣的区域的互联网用户增量数量的总体影响的示例结果。37.图4b示出了通过多个蜂窝塔升级聚集的对互联网用户的增量数量的总体影响的示例结果。38.图5示出了基于http请求的端到端测量来测量下载速度的示例过程。39.图6示出了用于测量往返时间(rtt)延迟的示例过程。40.图7示出了用于确定受影响的区块的示例过程。41.图8a示出了在网络部署之前和之后感兴趣的区域的一组速度桶上的示例网络速度分布变化。42.图8b示出了多个运营商的网络速度分布的示例结果。43.图9a示出了用于从用户接收输入以创建测量项目的示例交互式用户界面(ui)。44.图9b示出了用于从用户接收输入以编辑测量项目的示例交互式用户界面(ui)。45.图9c示出了用于在列表视图中显示测量项目并允许用户在控制面板中配置测量项目的示例交互式用户界面(ui)。46.图9d示出了用于在地图视图中显示部署测量项目的示例交互式用户界面(ui)。47.图9e示出了用于在地图视图中显示部署测量项目的另一示例交互式用户界面(ui)。48.图9f示出了供用户上传部署数据文件的示例交互式用户界面(ui)。49.图9g示出了用于基于用户的选择和配置显示测量结果概要的示例交互式用户界面(ui)。50.图9h示出了用于配置用于测量并显示在测量结果中的度量‑方法方案的示例交互式用户界面(ui)。51.图9i示出了用于配置用于测量并显示在测量结果中的网络度量的示例交互式用户界面(ui)。52.图9j示出了用于在测量结果中显示的增量度量的详细视图的示例交互式用户界面(ui)。53.图9k示出了用于在测量结果中显示的多个增量度量的详细视图的示例交互式用户界面(ui)。54.图9l示出了用于在地图视图中显示部署项目和测量结果概要的示例交互式用户界面(ui)。55.图10示出了测量网络部署对感兴趣的地理区域的影响的示例方法。56.图11示出了与社交网络系统相关联的示例网络环境。57.图12示出了示例计算机系统。58.示例实施例的描述59.综述60.问题61.用于部署网络连接部署以优化通信网络的传统系统和方法具有许多缺点，并且可能导致非最佳网络性能。例如，用于测量部署影响的传统系统和方法可能假设存在合格的对照区域，这在某些情况下可能不成立。当没有合格的对照区域用于测量时，传统的系统和方法可能从测量结果中产生不可靠或者甚至错误的推断，并部署错误的部署来优化通信网络，这可能因此导致非最佳的网络性能(例如，降低的网络速度、抑制的活跃用户数量、更长的网络延迟等)。此外，即使合格的对照区域确实存在，但当候选对照区域的数量大时(例如，一个国家的数百或数千个城市或地区)，传统的系统和方法也不能有效地识别它们。非最佳对照区域可能导致部署影响的测量结果不准确，并导致网络上的非最佳或甚至错误部署，这将导致非最佳网络性能。此外，传统系统和方法仅测量相对较大的区域(例如，州/省级别或城市级别)。当影响区域相对较小时(例如，邮政编码区域、千米级区域)，这些小区域包含相对较少数量的样本(例如，网络用户)。依赖于对大量样本求平均的网络度量可能是不稳定的或/和不可靠的，因为在这些区域中只有有限数量的样本可用，并且传统的系统和方法可能导致不准确的影响测量和非最佳的网络部署。62.解决方案63.本系统的特定实施例解决了传统系统和方法的缺点，并为这些技术问题提供了技术解决方案。例如，系统的特定实施例可以识别合格对照区域不存在的情况。因此，该系统可以避免基于合格对照区域的假设存在的测量的不可靠或错误推断，并避免非最佳网络部署。作为另一个示例，系统的特定实施例可以使用聚类过程将(例如，具有相似特征的)大量候选对照区域分组到多个类别中，以缩小对照区域范围并以高准确度和精度识别合格的对照区域。作为另一个示例，系统的特定实施例可以使用许多对照区域的加权组合来确定用于测量部署影响的准确和精确的基线。该系统即使是在受影响区域所具有的样本数量相对较少的时候也提高了部署影响测量的准确性和精度。64.好处/技术效果65.本系统的特定实施例解决了用于部署网络连接部署以优化通信网络的传统系统和方法的局限性和缺点。系统的特定实施例避免了基于对照区域的假设存在的测量的不可靠或错误推断，并且通过提高网络部署的有效性来提高网络性能。系统的特定实施例从大量候选对照区域中识别具有更好质量和准确度的合格对照区域。系统的特定实施例提高了测量网络部署影响的准确度和精度。系统的特定实施例能够实现最佳网络部署并提高网络性能(例如，更高的网络速度、更低的网络延迟、更多的连接用户等)。66.系统架构67.图1示出了部署影响测量系统100的示例架构。在特定实施例中，系统100可以包括测量数据源模块110、影响测量模块120、内部测量模块130、外部测量模块140等。测量数据源模块110可以包括多个数据源，其为影响测量模块120提供数据(例如，网络性能数据112、区块级用户度量数据114、部署数据116等)。测量数据源模块110可以包括用于从支持基础设施(例如，sn服务器、应用、运营商基础设施)收集所有相关数据的数据收集程序。网络性能数据可以从网络洞察系统收集，并且区块级用户度量数据可以由地理预测算法生成。影响测量模块120可以包括方法模块122、度量表124、部署数据库126等。方法模块122可以包括用于测量部署影响的许多不同方法(例如，综合对照方法、保留实验、增长核算方法等)的实现。部署数据库126可以存储与任何实体进行的部署(例如，历史部署、未来部署)相关的数据。部署数据库126可以从测量数据源模块110接收部署数据116。影响测量模块120可以接收和处理来自测量数据源模块110的数据(例如，数据网络性能数据112、区块级用户度量数据114、部署数据116等)，并生成部署影响测量结果。内部客户的内部测量模块120可以包括内部门户132(例如仪表板)、内部服务模块134等。外部合作方(例如，移动网络承运商、互联网服务提供商、原始设备制造商等)的外部测量模块140可以包括独立门户142、集成到现有门户中的门户144、合作方数据摄取api146等。影响测量模块120可以从内部测量模块130和外部测量模块140接收数据并向其发送数据。合作方数据摄取api146可以收集合作方部署数据，并将收集的数据发送到部署模块116。内部测量模块130和外部测量模块140可以包括多个交互式用户界面，用于客户(例如，内部客户和外部客户)与系统100交互(例如，输入查询和查看结果)。68.互联网用户的增量数量69.综合对照方法70.在特定实施例中，系统可以使用综合对照方法来测量对一个或更多个通信网络进行的网络连接部署的影响。综合对照方法可以是一种用于在比较测量中评估网络部署或干预的效果的统计方法。综合方法可以包括识别一个或更多个对照区域，将受部署或干预影响的感兴趣的区域与该对照区域进行比较。对照区域可用于确定基线(例如，使用两个或更多个对照区域的加权组合)，该基线可指示如果感兴趣的区域没有接收到部署或干预，该区域将会发生什么。部署或干预的影响可以通过将部署或干预之后的一个或更多个网络性能度量与所确定的基线进行比较来测量。71.增量度量72.在特定实施例中，系统可以为通信网络确定一个或更多个增量度量，以量化部署影响。在特定实施例中，增量度量可以包括，例如但不限于，互联网用户的增量数量(例如，增量每月活跃人数(map))、体验更快网络速度或更少网络延迟的互联网用户的增量数量(例如，体验更快网络速度的增量每月活跃人数(map))、花费在网络上的时间、信号强度、增长核算度量(例如，流失用户数、用户流失率、新用户数量、恢复用户数)、连接人数、网络流量、样本数、样本量等。在特定实施例中，系统可以基于网络生态系统的一个或更多个关键性能指标(kpi)(例如，互联网采用(internetadoption)、网络速度、收入(revenue)、网络使用(usage)等)来测量在通信网络上进行的网络部署的影响。在特定实施例中，系统可以基于多个网络度量的加权组合来确定复杂影响度量。考虑到多个网络度量和相应的加权因子，复杂影响度量可以指示部署的总体影响级别。在特定实施例中，系统可以通过将部署后的网络度量与所确定的基线进行比较来计算增量度量，该基线指示如果受影响区域没有接收到部署会发生什么。73.包括综合对照的因果推断方法74.在特定实施例中，系统可以通过将感兴趣的区域的一个或更多个网络度量与基线进行比较来测量部署影响(例如，确定部署的积极的和统计上显著的影响)，该基线指示如果感兴趣的区域没有接收到部署会发生什么。在特定实施例中，系统可以使用多种方法来确定用于测量部署影响的基线。在特定实施例中，系统可以使用准实验(quasi‑experimental)统计方法来找到用于确定基线的可信对照区域。例如，系统可以使用包括综合对照的因果推断方法来确定对照区域。因果推断方法可以包括用于识别用于测量感兴趣的区域中的增量变化的对照区域和相关属性(例如，位置、面积、大小)的模型。因果推断方法可以通过基于部署前网络性能数据匹配候选对照区域和感兴趣的区域的网络度量特征(例如，趋势、斜率、范围、变化、误差水平、置信水平)来识别对照区域。例如，系统可以基于部署前网络性能数据来确定与候选对照区域相关联的一个或更多个网络度量特征。该系统可以将候选对照区域的所识别的网络度量特征与感兴趣的区域的网络度量特征进行比较。当候选对照区域和感兴趣的区域的网络度量特征(例如，趋势、斜率、范围、误差水平、置信水平)满足一个或更多个资格标准(例如，相似性阈值)时，系统可以识别合格的对照区域。系统可以假设，如果该部署没有被部署，受部署影响的区域中的网络度量将由对照区域或对照区域的加权组合来近似。75.步骤1：数据收集76.在特定实施例中，系统可以首先收集与受影响的用户、受影响的区域(例如，受影响的位置、受影响的区域大小、受影响的半径)、受影响的运营商(例如，运营商id)、影响时间窗口(例如，启动日期、影响持续时间)、影响类型(例如，新的wi‑fi、改进的回程、更高的网络速度、更少的网络延迟、升级的4g/5g网络、改进的网络覆盖等)、部署或干预信息(例如，部署日期、部署类型、部署持续时间、部署位置纬度、部署位置经度、影响半径)等相关的数据。网络数据可以从一个或更多个通信网络的一个或更多个支持基础设施(例如，sn服务器、应用、运营商等)收集。77.在特定实施例中，系统可以测量网络部署日期前后预定时间窗口的部署影响。例如，系统可以在围绕部署事件的120天时间窗口(例如，部署前60天和部署后60天)内测量部署影响。系统可以访问或收集与部署前的60天时间段和部署后的60天时间段相关联的网络数据。作为另一个示例，系统可以在部署事件前后的6个月时间窗口内测量影响。系统可以访问或收集与部署前3个月和部署后3个月相关联的网络数据。作为另一个示例，系统可以在部署事件前后的12个月时间窗口内测量影响。系统可以访问或收集与部署前的6个月时间段和部署后的6个月时间段相关联的网络数据。78.在特定实施例中，系统可以基于与使用地理预测算法确定的部署位置附近最频繁使用互联网(例如，社交网络)的用户相关的数据来计算互联网用户的增量数量。在特定实施例中，系统可以基于一种或更多种其他类型的数据——例如，应用数据(例如，社交网络应用、第三方应用、网络承运商应用、运营商应用)、网络流量数据(例如，蜂窝塔数据)、服务器数据、运营商数据、服务提供商数据、应用开发者数据、第三方数据等——来计算互联网用户的增量数量。在特定实施例中，系统可以通过使用地理预测算法计算预测居住在受影响地区的用户来计算针对每个部署的互联网用户的增量数量。随着时间的推移，地理预测算法可能不一致，尤其是当用户在两个不同的地理地区之间分配他们的时间时。为了解决一致性问题，系统可以为每个用户使用在预定时间段(例如，最后14天)期间最频繁观察到的地理区块。在特定实施例中，地理预测算法可以使用不同的时间窗口来平滑用户级区块预测，并进一步提高预测一致性。该系统可以使用最频繁的互联网使用区块(例如，社交网络使用区块)来捕获启用了位置服务的大部分互联网用户(例如，启用了位置服务的用户的社交网络使用的70％)。该系统可以使用将用户与最频繁的互联网使用区块匹配的定制流水线(pipeline)。该系统可以聚集具有位置服务能力的用户的参与度量，以获得关于部署对该系统可能具有良好位置信号的子群体的影响的另一信号。该系统可以提高地理预测结果的准确性。在特定实施例中，系统可以在用户级别平滑地理预测数据，以提供更稳定的用户到区块的映射。79.步骤2：区域聚类和缩窄80.在特定实施例中，可能存在更大数量的区域，例如，国家范围内的州/省、城市、城镇，这些区域可以是用于测量对特定感兴趣的区域(例如，城市)的部署影响的候选对照区域。由于候选对照区域的绝对数量(例如，全国数百或数千个城市或地区)，可能很难找到合格的对照区域来近似感兴趣的区域。在特定实施例中，系统可以预处理收集的数据并将候选对照区域聚类成组，以缩窄用于识别合格对照区域的范围。每个组可以包含具有至少一个相似性的候选对照区域。相似性可以基于一个或更多个网络度量(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量、花费在网络上的时间、网络流量、信号强度、样本数量等)和/或一个或更多个网络度量特征(例如，趋势、斜率、变化、范围、误差水平、置信水平)来确定。被聚类到同一类别的区域所需的相似性可以包括一个网络度量特征或多个网络度量特征的组合。网络度量特征可以基于一个网络度量或多个网络度量的组合。在特定实施例中，系统可以基于平均度量值或/和度量的斜率对候选对照区域进行聚类。在特定实施例中，系统可以使用降维技术来确定一个或更多个网络度量的历史趋势，并且基于所确定的趋势来聚类候选对照区域。81.作为示例而非限制，系统可以基于所收集的数据来确定不受部署影响的多个区域(例如，保留区域、受影响区域之外的区域)的每月活跃人数(map)。系统可以识别区域的部署前map的一个或更多个趋势(例如，增加、减少、波动、稳定)。然后，系统可以基于所识别的相应区域的趋势将区域聚类成不同的类别(例如，增加区域、减少区域、波动区域、具有稳定map的区域)。聚类成特定类别或组的区域可以具有相同或相似的趋势，并且可以用作具有相同或相似map趋势的感兴趣的区域的候选对照区域。作为另一个示例，系统可以确定在部署之前多个区域在预定时间段(例如，60天)上的map曲线的斜率。然后，系统可以基于区域的map曲线的斜率范围(例如‑15°～‑10°、‑10°～‑5°、‑5°～0°、0°～5°、5°～10°、10°～15°)将区域聚类成不同的类别。聚类在同一类别中的所有区域可以具有在相同预定范围内的map曲线斜率，并且可以用作具有在相同范围内的map曲线斜率的感兴趣的区域的候选对照区域。值得注意的是，map被用作示例度量，并且网络度量不限于map。可以用于表征网络性能的任何合适的网络度量可以用作聚类候选对照区域的基础。网络度量可以包括，例如，但不限于，月活跃人数(map)、体验更快网络速度(例如，更快网络下载速度、更少网络延迟)的月活跃人数(map)、花费在网络上的时间、信号强度、增长核算度量(例如，流失用户、用户流失率、新用户、恢复的用户)、连接人数、网络流量、样本数、样本量等。82.作为另一个示例，系统可以基于这些区域的网络度量值或范围将这些区域聚类成不同的类别。当网络速度被用作网络度量时，基于这些区域中的网络速度值或范围(例如，非常差：<0.5mbps；差：0.5～1mbps；一般：1～1.5mbps；好：1.5～5mbps；很好：5～15mbps；非常好：>15mbps等)，这些区域可以被聚类成不同的类别。同一类别中的所有区域可以用作网络速度在相同范围内的感兴趣的区域的候选对照区域。作为另一个示例，系统可以基于网络度量的误差水平将区域聚类成不同的类别。一个类别中的所有区域可以被用作对于该网络度量具有相同误差水平的感兴趣的区域的候选对照区域。作为另一个示例，系统可以基于网络度量的置信水平将区域聚类成不同的类别。一个类别中的所有区域可以用作对于该网络度量具有相同的置信水平的感兴趣的区域的候选对照区域。作为另一个示例，系统可以基于两个或更多个网络度量特征(例如，趋势、斜率、变化、范围、误差水平、置信水平)的任意组合将区域聚类成不同的类别。例如，系统可以将网络速度低于0.5mbps并且网络速度下降斜率在(‑1°,0°)以内的所有区域聚类为差且缓慢下降的网络速度类别。83.步骤3：识别对照区域84.在特定实施例中，系统可以将候选对照区域聚类成不同的类别或组，以缩窄识别具有更快速度和更高质量的合格对照区域的范围(例如，对照区域对趋势的更准确和更好的近似)。在候选对照区域已经被聚类成相应的类别或组之后，系统可以基于与这些区域相关联的网络度量特征和一个或更多个资格标准来识别合格的对照区域。在特定实施例中，资格标准可以包括与区域相关联的一个或更多个网络度量或网络度量特征的一个或更多个资格阈值。资格阈值可以指示对照区域和感兴趣的区域的部署前网络度量(或网络度量特征)之间的相似度或匹配度。本系统可以将感兴趣的区域的网络度量或网络度量特征与候选对照区域的网络度量或网络度量特征进行比较，并且当匹配程度满足由相应相似性阈值定义的资格标准时，将这些区域识别为合格对照区域。85.图2a示出了使用包括综合对照的因果推断方法来识别合格对照区域的示例网络度量匹配结果。作为示例而非限制，系统可以测量12个月时间窗口的部署影响(例如，部署时间202之前的前6个月时间段和部署时间202之后的后6个月时间段)。系统可以收集这些时间段内的网络性能数据，并为候选对照区域和感兴趣的区域计算这些时间段内的map值。然后，系统可以计算候选对照区域和感兴趣的区域的map值差，如曲线210a所示的部署前时间段和曲线210b所示的部署后时间段。系统可以确定统计显著性的置信区间(例如，95％置信区间的上限曲线212a‑b和下限曲线214a‑b)。map差的曲线210a‑b可以被部署时间202分成部署前部分210a和部署后部分210b。系统可以基于部署前map差值(例如，210a)和一个或更多个资格阈值来确定候选对照区域是否是合格对照区域。例如，系统可以使用0.5％的波动范围作为资格阈值。可以将与map差曲线210a相关联的候选对照区域确定为合格对照区域，因为map差在0％左右，这在0.5％的波动范围内。作为另一个示例，系统可以使用±1°斜率阈值作为资格阈值。可以将与map差曲线210a相关联的候选对照区域确定为合格对照区域，因为map差曲线具有±1°以内的总斜率。在特定实施例中，系统可以计算感兴趣的区域和候选对照区域的加权组合之间的map差，并且当map差满足由相应资格阈值定义的要求时，将这些候选对照区域识别为合格对照区域。系统可以确定在部署之前与部署区域中的网络map趋势最匹配的对照区域的加权组合。86.步骤4：确定显著影响87.在识别了合格的对照区域之后，系统可以基于一个或更多个对照区域或对照区域的加权组合来确定基线，用于测量感兴趣的区域的部署影响。系统可以假设，部署后感兴趣的区域的map趋势可以通过不进行部署的情况下对照区域的相同加权组合来近似。系统可以将受影响区域(例如，感兴趣的区域)的map与由对照区域的加权组合近似的map趋势进行比较，以通过计算受影响区域和基线的map差异来测量部署影响。作为示例而非限制，map差曲线210b示出了受影响区域的map和所确定的基线之间的差异。曲线210b表明，在部署后的6个月时间内，影响区域和基线之间的map差从0％正增加到8％，斜率约为45°。88.在特定实施例中，系统可以基于互联网用户的增量数量(例如，map)和相应的显著性标准(例如，显著性阈值)来确定是否存在显著影响。例如，系统可以使用6个月时间段内5％的正增长作为互联网用户的增量数量(例如，map)的显著性阈值，并且可以将如图2a中的210b所示的部署影响确定为显著影响(因为它在6个月时间段内正增长了8％)。作为另一个示例，系统可以使用在6个月时间段内正增长的30°斜率作为显著性阈值，并且可以将如图2a中的210b所示的影响确定为显著性影响(因为它对于在6个月时间段内正增长具有45°斜率)。在特定实施例中，系统可以使用来自综合对照方法的样本外预测来计算度量的标准误差，并且使用基于统计置信度的阈值来将测量的影响限定为有资格为或无资格为显著影响。例如，当互联网用户总增量的标准误差大于统计置信阈值时，系统可以确定测量的影响在统计上不显著。89.应用案例90.作为另一个示例，系统可以使用包括综合对照的因果推断方法来测量部署的影响，该部署在多个部署区域中增加或升级481个蜂窝塔。系统可以使用120天的时间窗口(例如，部署前60天和部署后60天)来确定部署的互联网用户的增量数量(例如，增量map)。系统可以使用95％的置信度作为显著性阈值。例如，对于第一组34个蜂窝塔(即，受部署影响的所有塔的7.07％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)是567126，其中互联网用户的增量数量是28035，置信区间为95％(25977，30093)。由于互联网用户的增量数量(例如，增量map)变化的置信区间的下限高于零，系统可以确定这些区域中的影响是积极的并且在统计上是显著的。作为另一个示例，对于第二组13个蜂窝塔(即，受部署影响的所有塔的2.70％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为260090，互联网用户的增量数量为‑15321。互联网用户的增量数量变化为‑5.80％，其低于‑3％。因此，系统可以确定这些区域的影响是负面的，并且在统计上是显著的。作为另一个示例，对于第三组114个蜂窝塔(即，受部署影响的所有塔的23.70％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为8151820，互联网用户的增量数量为12201。互联网用户的增量数量变化为0.15％，在±3％以内。因此，系统可以确定这些区域的影响绝对值小于3％，并且在统计上是不显著的。作为另一个示例，对于第四组152个蜂窝塔(即，受部署影响的所有塔的31.60％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为5835144，互联网用户的增量数量(例如，增量map)为115759。互联网用户的增量数量变化为2.04％，在±3％以内。因此，系统可以确定这些区域的影响在统计上不显著，但在1％以上。作为另一个示例，对于第五组100个蜂窝塔(即，受部署影响的所有塔的20.79％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为3092167，互联网用户的增量数量(例如，增量map)为‑49385。互联网用户的增量数量变化为‑1.59％，在±3％以内。因此，系统可以确定这些区域的影响在统计上不显著，并且低于‑1％。作为另一个示例，对于第六组68个蜂窝塔(即，受部署影响的所有塔的14.14％)，系统可以确定在120天时间窗口内互联网用户的总数(例如，总map)为2932815，互联网用户的增量数量(例如，增量map)为84245。尽管互联网用户增量数量的变化为3％，但系统可以确定无法测量这些区域中的影响，因为系统无法识别可信的对照区域(例如，训练误差高度偏离t分布)。系统自动生成的推断不应该算作影响。作为另一个示例，系统可以确定在这些481个蜂窝塔上的互联网用户的总数(例如，总map)不能被确定，因为互联网用户的总增量数(例如，增量map)的标准误差高于标准误差阈值，并且系统可以确定标准误差太大而不能声称对481个蜂窝塔的互联网用户的总数量(例如，map)具有统计显著性。91.识别测量失败92.用于测量部署影响的传统系统和方法可能总是假定存在合格的对照区域，而在某些情况下可能并非如此。当没有合格的对照区域用于测量时，传统的系统和方法可能从测量结果中产生不可靠或甚至错误的推断，并部署错误的部署来优化通信网络，这可能因此导致非最佳的网络性能(例如，降低的网络速度、抑制的活跃用户数量、更长的网络延迟等)。93.在特定实施例中，系统可以在综合对照方法发生故障时识别该故障，并通过识别合格对照区域不存在的情况来避免从影响测量结果中得出不可靠或不正确的推断。作为示例而非限制，系统可以基于部署前的时间模式来确定综合对照方法失败，该时间模式显示由统计方法构建的反事实不接近实际度量趋势(例如，在部署前的曲线中存在斜率，而它应该是平坦的)。系统可以确定合格的对照区域不能被识别，因为没有区域满足基于度量的资格标准。该系统可以避免基于合格对照区域的假设存在的自动测量结果的不可靠或错误推断，并避免非最佳网络部署。在这种情况下，系统可指示由于缺乏合格的对照区域而无法有效地测量影响，并且可指示假设对照区域存在的自动推断可能不可靠。作为另一个示例，当指示不确定性的误差棒(errorbar)高于预定阈值时，系统可以确定综合对照方法失败。作为另一个示例，系统可以识别由于回忆问题或预见问题导致的综合对照方法的失败。系统可以确定以下情况：(1)部署影响无法测量；(2)部署后实际上没有发生任何事情(例如，测量结果是由噪声引起的)；(4)部署后存在网络度量变化，但测量结果的置信度水平较低，因为变化可能在误差范围内。94.图2b示出了当不能识别合格的对照区域时的示例网络度量匹配结果。作为示例而非限制，系统可以测量12个月时间窗口的部署影响(例如，部署时间204之前的6个月时间段和部署时间204之后的6个月时间段)。系统可以收集这些时间段内的网络性能数据，并为候选对照区域和感兴趣的区域计算这些时间段内的map值。然后，系统可以计算候选对照区域和感兴趣的区域的map值差，如曲线220a所示的部署前时间段和曲线220b所示的部署后时间段。曲线222a‑b和224a‑b可以指示具有95％置信水平的map差值的范围。map差的曲线220a‑b可以被部署时间204分成部署前部分210a和部署后部分210b。系统可以基于部署前map差(例如，220a)和一个或更多个资格阈值来确定候选对照区域是否是合格对照区域。例如，系统可以使用由综合对照方法估计的反事实和部署区域之间的差异的部署前模式来确定对照区域的资格。具体而言，差曲线220a可以在部署前时段期间向上倾斜，表现出部署区域中的度量比对照区域中的度量在部署前时段期间增长得更快。因此，对照区域可能与部署区域不够相似。然后，系统可以确定所选择的对照区域不能用于对部署影响的有效推断。95.小区域96.在特定实施例中，系统可以测量例如国家、城市、州/省、城镇、村庄、定居点、区块、邮政编码区域、千米级区域等不同大小的区域中的部署影响。受影响区域的特征可以是位置和半径。在特定实施例中，感兴趣的区域或受影响区域的大小可以相对较小(例如，邮政编码区域、千米级区域、小时级区域等)，并因此包含相对较少数量的用于收集数据的样本(例如，较小的map数量、较少的网络流量、较少数量的样本等)。对于传统系统和方法来说，准确测量这些区域中的部署影响在技术上是困难的，因为较少数量的样本可能导致不太稳定或/和不太可靠的网络度量确定。例如，依赖于来自该区域的所有样本的平均的网络度量(例如，平均网络速度)在为较小区域计算时可能不如为包括较大数量样本的较大区域计算的相应度量稳定和/或可靠。不太稳定或不太可靠的网络度量可能导致不准确的测量基线，从而导致不准确的测量结果。在特定实施例中，系统可以识别多个对照区域(例如，使用包括综合对照的因果推断方法)，并且可以确定用于确定网络度量基线的对照区域的加权组合。通过访问包括互联网(例如，社交网络)使用数据的数据源并使用多个对照区域的加权组合，系统可以提高所确定的基线的准确性(例如，基于所有这些对照区域中的样本总数)，并因此提高用于测量相对较小区域中的部署影响的测量准确性。本系统的特定实施例可以提高在所有大小的区域(例如，国家、城市、州/省、城镇、村庄、定居点、区块、邮政编码区域、千米级区域等)上测量部署影响的准确性。在特定实施例中，系统可以将最小的可测量区域限制为1.2km×1.2km的大小。97.跨网络聚合98.在特定实施例中，map可以包括部署区域中的所有用户(例如，跨越所有运营商)，不包括重复计数的账户。排除重复计数后，系统可以对不同部署进行求和，以计算互联网用户的总增量数量。在特定实施例中，系统可以对包括正面或负面(无论统计上是否显著)的所有影响进行求和，以确定总体影响，从而最大化影响核算。在特定实施例中，系统可以仅将统计上显著的正面和负面影响相加。在特定实施例中，系统可以仅对统计上显著的积极影响求和，以提高统计显著性准确性。在特定实施例中，系统可以通过估计部署之间的协方差项来聚合多个部署，因为由于影响部署的共同因素(例如，诸如季节性)，系统不能假设跨部署的独立性。99.部署类别100.在特定实施例中，系统可以测量不同类别的多个部署的影响。例如，部署可为部署前没有互联网连接的区域添加wi‑fi连接。作为另一个示例，部署可以将一个或更多个蜂窝塔添加到在部署之前该区域中没有来自任何运营商的连接的区域。在这些情况下，无法建立基线，因为在部署之前没有互联网连接。作为另一个示例，部署可以将新的wi‑fi连接添加到预先存在其他运营商的互联网连接的区域。作为另一个示例，部署可以将一个或更多个新的蜂窝塔添加到预先存在来自其他运营商的蜂窝塔的区域。作为另一个示例，部署可以将一个或更多个新的蜂窝塔添加到存在来自同一运营商的预先存在的重叠蜂窝塔的区域。作为另一个示例，部署可以将一个或更多个现有蜂窝塔升级到新技术。作为另一个示例，在不改变技术的情况下，部署可以给现有的蜂窝塔增加更多的网络容量。作为另一个示例，部署可以扩展区域中的预先存在的网络。在这些情况下，可以使用预先存在的网络的网络度量来确定测量部署影响的基线。101.保留实验102.图3示出了基于从长期保留实验中收集的数据确定的互联网用户增量数量的示例结果。在特定实施例中，系统可以使用多个保留区域作为用于测量部署影响的对照区域。保留区域可以是在长期保留实验期间被排除在部署之外的区域。该系统可以从保留区域和受影响区域收集数据，并计算互联网用户的增量数量以测量部署影响。在特定实施例中，系统可以使用一组随机选择的保留区域作为对照区域来确定互联网用户增量数量基线。可以以类似于a/b测试的方式随机选择保留区域。系统可以假设，如果部署没有被部署，则受部署影响的区域将会被保留区域近似。在特定实施例中，系统可以使用短期结果来预测长期影响(例如，对活跃互联网用户数量的影响)，并且使用第三方数据来校正从特定客户(例如，参与该计划的设备制造商的客户)收集的数据的偏差。作为示例而非限制，如图3所示，系统可以基于保留区域来确定互联网用户的预计增量数量302，作为用于测量部署影响的基线。该系统可以基于从保留实验收集的数据来确定互联网用户的增量数量的多个组成部分(例如，306、308)，并且基于互联网用户的增量数量的组成部分(例如，306、308)来确定互联网用户的总增量数量304。系统可以通过将感兴趣的区域的互联网用户的总增量数量304与互联网用户的预计增量数量302进行比较来测量部署影响。互联网用户的总增量数量304和互联网用户的预计增量数量302之间的差异可以指示部署影响的程度。该系统可以通过将互联网用户的增量数量的一个或更多个组成部分(例如，306、308)与互联网用户的预计增量数量302进行比较来测量部署影响。互联网用户的增量数量的组成部分(例如，306、308)可以对应于不同类型的区域，例如，零评级区域、sms绑定区域等。103.作为另一个示例，但不是作为限制，系统可以根据从保留实验中收集的数据来确定关于在特定日期进行的部署的互联网用户的增量数量。系统可以确定互联网用户的数量在部署后的第一个月期间显示出8％的增加，并且提升在第二个月减少到2％，并且在60天后消失。系统可以使用5％的显著性阈值来确定影响是否显著。系统可以确定部署仅在前60天期间产生显著影响(例如，增加互联网用户的数量)，并且在前60天时间段之后影响降低到不显著的水平。104.增长核算105.在特定实施例中，系统可以通过将受影响区域的一个或更多个部署后网络度量与该受影响区域的相应部署前网络度量进行比较来测量部署影响。系统可以假设，如果不在感兴趣的区域进行部署，则部署前网络度量趋势会在感兴趣的区域继续。在特定实施例中，系统可以使用受影响区域中的客户转变度量(例如，新客户数、流失客户数、用户流失率、恢复客户数等)来测量部署影响。该系统可以确定用户流失率，该流失率可以是在给定时间段内中止他们的订阅的订户或用户的百分比。受影响区域的特征可以是例如由影响半径和部署位置确定的圆形区域。在特定实施例中，系统可以使用地理预测算法基于客户转变度量来确定互联网用户的增量数量，并且可以在运营商级别划分客户转变度量。例如，系统可以基于每个转变类别(例如，新客户、恢复客户、流失客户等)中的客户数量来确定互联网用户的增量数量。系统可以通过比较部署前趋势和部署后趋势来执行精确的影响测量。106.图4a示出了与增长核算相关的蜂窝塔升级对感兴趣的区域的互联网用户的增量数量的总体影响的示例结果。该系统可以在围绕蜂窝塔升级部署的7个月时间段内从感兴趣的区域收集数据。系统可以在部署时间408之前和之后确定与新用户404、恢复的用户406和流失用户402相关的互联网用户的数量(例如，map)。图4b示出了对通过多个蜂窝塔升级聚集的互联网用户的增量数量的总体影响的示例结果。系统可以对蜂窝塔升级聚合，以显示在部署时间418之前的60天时段和部署时间418之后的60天时间段的互联网用户(例如，流失用户412、新用户414、恢复的用户416)的增量数量。107.体验更好网络速度的用户的增量数量108.用户级109.在特定实施例中，系统可以确定体验更快网络速度的互联网用户的增量数量，以测量在通信网络上进行的部署的影响。该系统可以基于所测量的部署影响来优先化和优化未来的网络连接部署，以提高网络速度。该系统可以基于准确的测量结果显著地改进用于优先化连接部署的决策过程。该系统可以基于一个或更多个网络度量来确定体验受影响区域的更快网络速度的互联网用户的数量，该网络度量包括例如但不限于网络速度、延迟、花费的时间等。在特定实施例中，系统可以计算受速度提高部署影响的人数，并对部署影响执行用户级速度测量。在特定实施例中，系统可以测量用户在部署程序级别或在受部署程序影响的地理位置所体验的网络速度。在特定实施例中，系统可以根据部署类型使用各种方法来确定部署前后网络度量的变化。例如，如果部署在部署前没有网络覆盖的区域部署，系统可只对互联网用户的增量数量计数，而排除体验更快网络速度的互联网用户的增量数量，以避免重复计数。110.区块和ap级111.在特定实施例中，当部署/干预的位置已知时，系统可以在区块级测量受影响区域内的下载速度。区块级测量可以在不同的部署程序中是一致的，并且可以提供一致的方式来测量体验更快网络速度的互联网用户的增量数量。在特定实施例中，当接入点(ap)的标识符已知时，系统可以测量ap级别的下载速度。系统可以确定下载速度在为部署网络速度之前和之后定义的一组预定速度桶上的分布的变化或移动。作为示例而非限制，系统可以确定在部署之后在该组下载速度桶上的速度分布已经显著改变。系统可以基于速度分布变化(例如，从较低速度桶移动到较高速度桶)来测量部署影响。作为另一个示例，系统可以确定在升级网络之后该组速度桶上的速度分布没有显著变化，并且系统可以确定速度分布没有显著变化的原因。例如，系统可能确定在部署前95％的请求来自4g小区，这意味着即使在升级之前，该地区仍以4g为主，增加更多4g的部署并没有显著改变速度分布。112.测量下载速度113.图5示出了基于http请求的端到端测量来测量下载速度的示例过程。在特定实施例中，系统可以使用下载速度(例如，以kbps/mbps为单位)作为网络度量来测量不同部署程序之间的部署影响。下载速度可以用于测量网络用户的体验质量。输入数据可以由下载速度测量仪器基于来自支持位置服务的用户的1％请求样本来记录(例如，当应用在前台运行时)。该系统可以共享网络洞察(ni)系统使用的相同数据源。在特定实施例中，该系统可以使用定制仪器，使用http请求的端到端测量(例如，从社交网络服务器到客户端设备)来测量样本请求的网络下载速度和延迟。114.作为示例而非限制，系统可以测量从端到端http请求和响应过程的下载速度。如图5所示，时间线以上的区域516可以对应于客户端设备从服务器接收数据的过程，时间线以下的区域518可以对应于客户端设备向服务器发送数据的过程。用户请求可以在用户请求时间502生成，例如，当用户拉取社交网络动态消息(newsfeed)时生成。用户请求可以在请求发送时间504从用户设备(例如，智能手机、平板电脑、计算机)发送到社交网络平台的服务器。服务器可以在请求接收时间506接收请求，并在第一字节发送时间508开始发送数据的第一字节。客户端设备可以在第一字节接收时间510从服务器接收第一字节。接着服务器可以开始向客户端设备发送http响应主体(例如，视频内容、新闻内容)。客户端设备可以在最后一个字节接收时间514接收http响应主体512的最后一个字节。系统可以通过将http响应主体512的大小除以用于传送http响应主体的持续时间520来确定下载速度。基于http请求的测量可能比评估最大网络容量的传统吞吐量测量要轻。在特定实施例中，系统可以移除具有小于12kbit的http响应主体大小的样本，以移除斜坡上升效应。115.rtt延迟116.图6示出了用于测量往返时间(rtt)延迟的示例过程。在特定实施例中，系统可以使用往返时间(rtt)来确定网络延迟，以测量部署的影响。系统可以跟踪原始延迟测量，或者使用平滑/平均延迟测量作为延迟度量。作为示例而非限制，可以通过与同步分组(syn)和同步确认分组(ack)的3次握手，在客户端设备502和服务器504之间建立连接。客户端设备502可以首先向服务器504发送syn分组522，服务器504当其接收到syn分组522时可以向客户端设备502发回ack分组524。然后，当客户端设备502接收到ack分组524时，可以计算rtt508。客户端设备502因此可以向服务器504发送syn分组526和530，并且可以从服务器504接收相应的ack分组528和532。117.由于网络类型和客户端设备发送syn分组时的定时差，基于单对syc‑ack的个别rtt测量值可能存在较大差异。为了解决这个问题，系统可以使用平滑的rtt以类似于加权移动平均的方式来测量延迟。在计算总的rtt时，系统可以考虑给定连接的rtt的最近历史。例如，系统可以基于三对syn‑ack分组(例如，522‑524、526‑528、530‑532)来确定三个rtt(例如，508、510和512)，并且基于508、520和512的三个rtt的平均值或加权平均值来确定平滑的rtt514。由于该方法测量用户体验的从社交网络服务器到用户设备的端到端延迟，因此网络性能的测量结果可能会受到网络类型、互联网基础设施、社交网络服务器或缓存机制的影响。在特定实施例中，系统可以使用下游延迟来测量网络延迟。下游延迟可以被定义为社交网络用户的客户端设备上接收到采样请求的第一个字节的时间减去服务器处理时间。118.花费的时间119.在特定实施例中，系统可以使用花费的时间作为网络度量来测量部署的影响。花费的时间可以指示用户在网络上花费的时间量。该系统可以对跨时间、空间和用户花费的时间进行求和，并且以类似于互联网用户数量(例如，map)的方式，使用一个区域花费的总时间或平均时间作为网络度量。在特定实施例中，除了互联网用户的增量数量和体验更快网络速度的互联网用户的增量数量之外，系统可以使用花费的时间作为第三度量来跨程序报告。该系统可以确定由地理预测算法分配给受部署影响的特定区域的用户所花费的时间。该系统可以从互联网(例如，社交网络)使用数据和网络性能增长数据确定每个用户花费的时间。系统可以在没有用户信息的情况下使用会话级工具来跟踪在ap上测量的所有会话。在特定实施例中，系统可以使用同时在线的人数作为网络度量来测量部署的影响。体验更好网络速度的用户的增量数量的测量过程120.步骤1：数据收集121.图7示出了用于确定受影响的区块的示例过程。在特定实施例中，系统可以首先从部署程序或部署合作方收集部署信息(例如，部署位置706、受影响半径710等)。系统可以通过基于部署位置706和影响半径710确定圆形区域来确定受影响区域708。该系统可以将包括部署区域708的周围区域700划分成多个区块(例如，701、702、703a、703b、704等)。区块可以是矩形或正方形形状，并且可以处于特定的地图缩放级别(例如，地图区块缩放级别14)。当任何区块(例如，703a、703b)与至少一部分区块区域的受影响区域708的圆形区域重叠时，系统可以将它们确定为受影响的区块。然后，系统可以确定部署前一段时间的网络速度，并测量部署后一段时间的网络速度变化。在特定实施例中，当感兴趣的网络度量随着时间变得稳定时，部署后时间段可以结束。122.步骤2：确定速度桶上的速度分布变化123.在特定实施例中，系统可以为一个或更多个网络度量建立一个或更多个部署前基线，并将部署后速度与部署前基线进行比较，以确定网络速度是否有显著变化。在特定实施例中，系统可以基于受影响用户的用户体验的变化来比较前后网络性能。在特定实施例中，系统可以基于受影响区域的网络速度分布的变化来比较前和后网络性能。在特定实施例中，系统可以使用基于用户的测量来测量网络速度，以测量单独用户所体验的网络速度改善。在特定实施例中，系统可以使用基于位置的速度测量而不是基于用户的速度测量来测量网络速度，以测量不同位置(例如，区块)的用户体验改善。在特定实施例中，系统可以基于使用客户端仪器从蜂窝塔测量的下载速度来测量网络速度。124.在特定实施例中，系统可以通过确定在预定的一组速度桶上的网络速度分布变化，基于体验更快网络速度的互联网用户的增量数量来测量部署影响。例如，系统可以定义对应于不同用户体验水平的多个速度桶，例如，非常差：<0.5mbps；差：0.5～1mbps；一般：1～1.5mbps；好：1.5～5mbps；很好：5～15mbps；非常好：>15mbps等。速度桶可以对应于不同技术(例如，2g、3g、4g、5g)和不同流内容(例如，没有视频的一般web冲浪、标准清晰度视频、在线游戏、hd视频、4k视频等)的典型速度。部署影响可以基于随着时间的推移将请求的分布从较低速度桶移动到较高速度的桶来确定。例如，在干预或部署之前，具有10mmap的区域可能有30％的请求在好的速度桶内或以上得到服务，而在干预或部署之后，可能有50％的请求在好的速度桶内或以上得到服务。在这种情况下，系统可以确定该部署通过将额外的20％的会话带到好或更高的互联网速度桶来帮助提高10m人的速度。125.在特定实施例中，系统可以使用更通用的速度分桶方案。在特定实施例中，对于给定的部署，系统可以允许用户改变这些桶来定制基于桶或基于阈值的测量。例如，系统用户可以指定第一部署应该将一定数量的客户的下载速度移动到1.5mbps以上，第二部署应该将一定数量的客户的下载速度移动到5mbps以上。系统可以基于流式传输不同类型的互联网内容(例如，没有视频的一般web冲浪、sd视频、在线游戏、hd视频、4k视频等)所需的近似下载速度来确定桶组。系统可以为不同的部署程序选择不同的桶，以基于用户的特定目标将用户移动到这些选择的桶中。例如，一个部署(例如terragraph)可能寻求将用户移动到最快的使用层，而其他部署程序可能旨在让用户达到一般速度桶及以上。在特定实施例中，系统可以优化网络速度桶，以避免激励针对短期内的大改进的多个渐进改进。系统可以根据网络类型和部署(例如，蜂窝、wi‑fi、运营商特定或所有运营商级别等)来确定速度桶。126.图8a示出了在网络部署之前和之后感兴趣的区域的一组速度桶上的示例网络速度分布变化。作为示例而非限制，系统可以测量部署前300天时间段和部署后200天时间段的网络速度。当ap的标识符已知时，系统可以测量ap级别的下载速度，或者当部署的位置已知时，系统可以测量区块级别的下载速度。系统可以确定一组速度桶(例如，非常差：<0.5mbps；差：0.5～1mbps；一般：1～1.5mbps；好：1.5～5mbps；很好：5～15mbps)中每个速度桶的百分比。如图8a所示，非常差速度桶的网络速度百分比值从60％下降到约16％，而一般速度桶的百分比值从15％上升到40％，好速度桶的百分比值从14％上升到30％。因此，系统可以确定部署影响已经将网络速度分布从较低速度桶移动到较高速度桶(例如，从非常差移动到一般和好速度桶)。127.图8b示出了多个运营商的网络速度分布的示例结果。作为示例而非限制，系统可以通过计算多个运营商(例如，运营商a832、运营商b834、运营商c836、运营商838、运营商840)的网络速度值的归一化百分比值来确定网络速度分布。系统可以使用网络速度分布曲线来说明百分比分布，如图8b所示。网络速度分布曲线显示，这五家运营商的大多数用户可能会体验到0.1mbps到15mbps范围内的网速。为了测量部署对特定运营商的影响，系统可以计算并确定部署前后的网络分布曲线，以确定由部署引起的网络速度分布变化。128.步骤3：确定显著性129.在特定实施例中，系统可以基于显著性阈值来确定网络速度变化是否在统计上是显著的。网络速度可能需要从较低速度的桶转移到较高速度的桶，转移的量足够大以至于被认为是显著的。可以为每种方法预先确定阈值。例如，系统可以使用20％的显著性阈值来确定网络速度移动是否显著。速度提升5％的受部署影响的第一个感兴趣的区域可被确定为不显著。速度提升25％的第二个受部署影响的感兴趣的区域可被确定为显著。在特定实施例中，系统可以对多个网络部署使用相同的显著性阈值。例如，系统可以使用以下一致的阈值：将20％的速度从较低速度桶移动到较高速度桶。在特定实施例中，系统可以基于部署属性(例如，类型、位置、启动日期、持续时间、目标)来确定显著性阈值，以允许使用不同的显著性阈值来评估不同的部署。在特定实施例中，系统可以使用基于数据科学的方法来均匀地比较速度分布，以确定显著性阈值。如果速度显著增加，系统可以确定影响在统计上是显著的，并且通过对影响区域中的运营商/isp流量上的每月活跃用户的数量求和来计算体验更快网络速度的互联网用户的增量数量。130.步骤4：输出结果131.当网络速度移动显著时，系统可以确定部署可以达到网络连接目标。当网络速度移动不显著时，系统可以确定部署不能达到网络连接目标。如果网络速度移动显著，系统可以计算体验更快网络速度的互联网用户的增量数量。系统可以计算在部署后的时间段内，在受影响的运营商/isp流量上体验更快网络速度的互联网用户的增量数量。为了将来自测量仪器的样本转换成用户计数，系统可以确定用户对其不同请求所体验的速度分布。一些用户请求可以在非常好的网络速度下得到解决，而其他用户可能会体验到一般的网络速度。系统可以假设给定运营商的给定区域中的所有用户体验相同的网络速度分布。当分布移到更高的速度时，该区域的所有map可能会受到影响。该系统可以比较小的感兴趣的区域中不同运营商的下载速度分布。最后，系统可以为每个部署生成影响声明。例如，系统可以生成一条声明“具有10mmap的区域在干预前有30％的请求处于好的速度或以上，在干预后有50％的请求处于好的速度”。系统可将结果报告为“该部署通过将20％的用户请求从一般和较差网络速度提升到好和较好网络速度而提高了10m人的速度。”132.速度度量桶基线133.在特定实施例中，取决于是否跟踪了受影响的区块上或受影响的用户的历史数据(例如，速度分布)，系统可以将不同的基线方法用于运营商特定的和运营商不可知的方法。系统可以基于估计方法的精度和所需数据的复杂性之间的权衡来优化基线方法的选择。在特定实施例中，当用于用户‑运营商匹配和每用户度量测量的数据源未被验证时，系统可以使用区块级方法。在特定实施例中，当用户级数据源可靠时，系统可以使用用户级方法来测量部署的影响。在特定实施例中，系统可以测量部署区块中所有活跃运营商的网络度量(例如，速度分布)。134.运营商特定方法135.在特定实施例中，该系统使用多种类型的方法(例如，运营商特定方法、运营商不可知方法、基于用户的方法、基于区块和所有运营商的方法等)来计算体验更快网络速度的互联网用户的增量数量。对于运营商特定的方法，系统可以基于部署区域中特定运营商的区块来跟踪网络度量。系统可以通过识别被分配给部署运营商(例如，作为他们的主要运营商)并通过地理预测算法被分配给部署区块的用户来确定受影响的群体。例如，系统可以确定针对指定运营商的部署前后的网络速度分布变化，并比较该运营商在部署前的第一时间段(例如60天)和部署后的第二时间段(例如60天)在部署区块中的速度ping分布。136.运营商不可知的方法137.对于运营商不可知的方法，系统可以基于部署区域中所有运营商的区块来跟踪网络度量。例如，系统可以确定在部署前代表性的网络速度分布，并将部署前的分布与部署后所有运营商的部署的wi‑fi接入点或蜂窝塔的速度分布进行比较。该系统可以比较部署前60天的时间段内部署区块中所有运营商的速度ping的分布和部署后60天的时间段内部署区块中部署运营商的速度ping的分布。138.基于用户的方法139.对于基于用户的方法，系统可以确定部署前后的受影响用户的用户体验变化。例如，系统可以通过部署的wi‑fi接入点或蜂窝塔的使用来识别受影响的用户。该系统可以确定在部署之前60天时间段内所有运营商的受影响用户的速度分布，以确定基线。速度分布可以通过使用每个运营商的用户数量来加权。系统可以将部署前60天时间段的速度分布与部署后60天时间段的速度分布进行比较。该系统可以通过使用基于用户的方法来提供更好的精度。对于基于区块和所有运营商的方法，系统可以通过由地理预测算法识别分配给部署区块的用户来确定受影响的群体。例如，系统可以为部署区域中所有运营商的受影响用户确定部署前后的用户体验变化。系统可以确定并比较在部署之前的60天时间段和部署之后的60天时间段中部署区块中所有运营商的速度ping的分布。使用这种基于区块和所有运营商的方法，系统可以在部署后捕获来自其他运营商的任何竞争响应。在特定实施例中，系统可以使用准实验方法(例如，包括综合对照的因果推断方法)或前后比较方法(例如，增长核算方法)来测量互联网用户的增量数量，并且可以使用运营商级互联网用户增量数量测量作为健全性检查。140.跨程序聚合141.在特定实施例中，该系统可以确定跨程序求和能力，并且在适当时对跨多个部署和网络连接程序体验更快网络速度的互联网用户的增量数量求和。在特定实施例中，系统可以将网络延迟分组到桶中，以便允许交叉部署和程序比较。例如，系统可以使用多个延迟桶，包括，例如但不限于，非常差：>300ms；差：150～300ms；一般：100～150ms；好：50～100ms；很好：0～50ms等。该系统可以通过使用捕获所有互联网流量的外部数据集来测量网络延迟，以便全局监控延迟。该系统可以通过精确到城市水平的ip定位使该测量具有地理特异性。该系统可以使用蜂窝塔信息作为跨程序延迟比较的主要源。142.在特定实施例中，系统可以使用用于用户级速度测量的数据源和不同的测量方法来直接测量被带到更高速度的用户。在特定实施例中，系统可以基于部署基线(例如，至少10％的请求移动到好的速度或更高)为每个程序的影响提供显著性阈值。显著性阈值可以是关于速度、延迟或/和花费的时间。系统可以针对其部署的每个单元(例如，站点、存在点(pops)、热点等)确定受部署影响的速度显著提高的互联网用户(例如，map)的运营商级数量。系统可以确定低于显著性阈值的站点不会对体验更快网络速度的互联网用户(例如，map)的总数有所贡献。系统可以对所有程序中体验高于显著性阈值的更快网络速度的互联网用户(例如，map)的数量进行求和，以获得总影响。该系统可以生成这样的声明：“部署程序和合作方帮助大约10m人实现了显著更高的互联网速度。”在特定实施例中，当用户级速度测量是可靠的时，系统可以基于用户级速度测量，对在多个部署程序的部署前和部署后的每个速度桶中体验更快网络速度的互联网用户(例如，map)的数量进行求和。143.机器学习(ml)模型144.在特定实施例中，系统可以使用机器学习(ml)模型来确定或测量互联网用户的增量数量或/和体验部署影响的更快网络速度的互联网用户的增量数量。例如，系统可以使用ml模型对收集的数据进行预处理，并对相似的候选对照区域进行聚类。系统可以使用ml模型来确定部署前和部署后的网络度量趋势，并将候选对照区域的度量趋势与感兴趣的区域进行匹配，以识别合格的对照区域。作为另一个示例，系统可以使用ml模型来确定网络度量变化的显著性阈值，并确定网络度量变化是否在统计上是显著的。作为另一个示例，系统可以使用ml模型来确定部署和特定影响(例如，map变化、网络速度变化、延迟变化、时间花费变化)之间的相关性(例如，因果关系)。作为另一个示例，系统可以使用ml模型来聚合跨多个部署程序的互联网用户(例如，map)的数量。作为另一个示例，系统可以使用ml模型来生成影响报告声明。145.用户界面146.ui综述147.在特定实施例中，系统可以基于用户通过交互式用户界面(ui)指定的网络度量和方法来测量网络连接部署的影响。该系统可以经由交互式ui从客户端系统接收用户输入，该用户输入包括指定至少通信网络和感兴趣的地理区域的一个或更多个项目约束。用户界面可操作来检索通信网络的网络性能测量和在通信网络上进行的网络部署。例如，系统可以从数据库检索或从系统的用户接收关于网络部署的信息(例如，部署项目、部署日期、部署类型、项目创建者、部署位置、运营商id、预期影响范围、受影响的区块、部署优先级)、与网络度量相关的信息(例如，互联网用户的数量、体验更快网络速度的互联网用户的数量、网络速度、延迟、花费的时间、显著性阈值、过滤标准)、以及与网络性能测量相关的信息(例如，相关运营商、增量网络度量、相似性阈值、显著性阈值、过滤标准、度量‑方法方案、方法类型、包括网络部署前的第一时间段和部署后的第二时间段的时间窗口等)。然后，系统可以生成网络测量项目，用于测量网络性能和网络部署对由通信网络连接的感兴趣的地理区域的影响。系统可以收集或访问部署前后的时间窗口(例如，120天)(例如，部署前60天和部署后60天)的网络性能数据。此后，系统可以基于收集或访问的网络性能数据来确定用户指定的一个或更多个增量网络度量。系统可以将部署后的网络度量与相应的基线进行比较，以确定增量度量(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量)。系统可以基于增量度量(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量)和一个或更多个显著性阈值的比较来确定部署的影响是否显著。最后，系统可以向客户端系统发送用于在用户界面内呈现网络部署的影响的可视化的指令。可视化可以包括描述感兴趣的地理区域的至少一部分的信息以及关于感兴趣的地理区域的所述部分的通信网络的一个或更多个增量度量的指示。该系统可以在交互式ui上向用户显示部署的测量影响(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量的趋势或变化)。显示的测量结果可以基于通过交互式ui接收的用户输入来定制或更新。148.接收用户输入149.图9a示出了用于从用户接收输入以创建测量项目的示例交互式用户界面(ui)900a。作为示例而非限制，系统可以从弹出对话框901接收用户输入，用于创建新的测量项目。对话框901可以包括供用户键入项目名称的输入字段902、供用户选择运营商的下拉菜单903、供用户选择国家的下拉菜单904、取消项目创建的按钮905以及确认项目创建的按钮906。在特定实施例中，系统可以经由一个或更多个交互式ui接收用户输入，该用户输入包含关于网络部署的信息(例如，部署项目、部署日期、部署类型、项目创建者、部署位置、运营商id、预期影响范围、受影响的区块、部署优先级)、关于网络度量的信息(例如，互联网用户的数量、体验更快网络速度的互联网用户的数量、网络速度、延迟、花费的时间、显著性阈值、过滤标准)、关于时间窗口的信息(例如，部署之前的时间段和部署之后的时间段)，用于测量网络部署影响。150.图9b示出了用于从用户接收输入以编辑测量项目的示例交互式用户界面(ui)900b。作为示例而非限制，系统可以从弹出对话框911接收用户输入，用于编辑测量项目。对话框911可以包括表格，该表格包括用于用户编辑项目名称的项目名称栏912、用于用户编辑或选择运营商名称的运营商名称栏913、用于用户编辑或选择县的国家名称栏914、用于用户编辑或删除项目的编辑‑删除按钮栏915、用于用户创建新项目的新项目按钮916、用于用户确认项目编辑的按钮917。在特定实施例中，系统可以允许用户编辑或配置与测量项目相关联的任何属性或参数。151.列表视图152.图9c示出了用于在列表视图中显示测量项目并允许用户在控制面板中配置测量项目的示例交互式用户界面(ui)900c。在特定实施例中，系统可以提供交互式ui，其可以允许用户创建和配置其影响将被测量的部署项目。在特定实施例中，交互式ui可以基于用户通过交互式ui的选择在列表视图或地图视图中显示部署项目。列表视图模式中的交互式ui可以在表格(例如，蜂巢式表格(hivetable))中显示多个部署。作为示例而非限制，交互式ui900c可以包括分段按钮921，以允许用户在地图视图和列表视图之间切换。列表视图模式中的交互式ui900c可以包括用于显示测量项目的表格930。表格930可以包括许多行和列。每行可以包括一个部署项目，而每列可以对应于与部署相关联的属性。例如，部署属性可以包括例如部署名称931、相关联的程序932(例如，网络洞察、terragraph、wi‑fi)、相关联的项目933(例如，小区升级、光纤回程、三角州城市化(deltaurban)、农村接入、小区更新、wi‑fi启动)、相关联的区域934(例如，国家、州、城市、区块、邮政编码区域)、运营商935、方法936、时间段937(例如，开始日期和结束日期)等。在特定实施例中，交互式ui900c可以包括下拉菜单938，其可以允许用户选择时间段来过滤表格930中显示的部署项目。交互式ui900c可以包括用于表格930的每行的具有复选框标记的选择按钮(例如940)，以允许用户选择相应的部署项目用于编辑或配置操作。153.控制面板154.在特定实施例中，交互式ui900c可以包括多个控制面板，这些控制面板可以允许用户为部署项目选择参数值或配置选项。例如，控制面板923可以允许用户选择部署程序，例如网络洞察、terragraph、wi‑fi等。作为另一个示例，控制面板924可以允许用户选择部署项目，例如，wi‑fi启动、小区升级、农村接入、三角州城市化、光纤回程等。作为另一示例，控制面板925允许用户从下拉菜单中选择区域(例如，国家、城市、州/省、位置、影响半径、区块、邮政编码区域)。作为另一个示例，控制面板926可以允许用户从运营商列表或下拉菜单927中选择运营商。在特定实施例中，交互式ui900c还可以包括搜索栏922，用于用户搜索所有部署项目。交互式ui900c还可以包括供用户上传部署数据的按钮928、供用户编辑项目的按钮929以及供用户查看测量结果的按钮939。155.在特定实施例中，控制面板(例如，923、924、925、926)和搜索栏(例如，922)可以允许用户选择或输入多个部署属性值中的一个或组合来过滤表格中显示的部署。例如，用户可以为部署的程序属性选择“网络洞察”。交互式ui900c的表格可以过滤并显示所有以“网络洞察”作为项目属性的部署。作为另一个示例，用户可以选择“wi‑fi”作为程序属性，选择“mexico”作为位置。交互式ui900c可以过滤并显示所有程序属性为“wi‑fi”且位置属性为“mexico”的部署。在交互式ui900c中，控制面板可显示在显示部署的表格旁边。交互式ui900c可以允许用户根据用户指定的一个或多个部署属性来过滤部署。交互式ui900c还可以允许用户按时间(例如，持续时间、开始日期、结束日期)过滤部署。例如，用户可以选择或指定时间段(例如，从下拉菜单938或日历中选择)。交互式ui900c可以根据指定的时间段过滤并显示相应的部署。在特定实施例中，交互式ui900c可以允许用户从表格930中选择一个或更多个部署来进行影响测量并查看测量结果。例如，用户可以从表格930中选择一个或多个部署，并点击查看结果按钮939来查看测量结果。系统可以开始测量部署影响的过程，并将测量结果显示给用户。测量结果可以在测量进行时(例如，收集或访问网络性能数据并计算增量度量)和/或在测量完成后更新给用户。156.地图视图157.图9d示出了用于在地图视图中显示部署测量项目的示例交互式用户界面(ui)900d。在特定实施例中，交互式ui900d可以允许用户选择列表视图模式或地图视图模式来显示部署。例如，用户可以通过点击分段按钮921在列表视图和地图视图之间切换。当用户选择地图视图模式时，交互式ui900d可以在覆盖部署区域的地图941上显示部署。例如，交互式ui900c可以显示多个部署区域(例如，942、943、944、945、946、947、948、949)。每个部署区域可以由地图上的圆形区域表示，该圆形区域的中心表示部署位置，圆形半径表示影响半径。每个圆形区域可以包括指示部署属性信息(例如，部署类型)的图标或其他视觉信息。交互式ui900d可以允许用户放大和缩小地图，以查看地图上更小或更大的区域。交互式ui900d可以允许用户从地图中选择一个或多个部署来查看更详细的信息。交互式ui900d可以以类似于列表视图的方式针对地图视图包括搜索栏922和控制面板(例如，923、924、925、926、927)。控制面板可以包括具有可能选项或值的部署属性，并允许用户选择一个或更多个属性选项来过滤或配置地图视图显示。交互式ui900d可以包括按钮928、929和939，用于用户上传部署数据、编辑项目和查看测量结果。158.图9e示出了用于在地图视图中显示部署测量项目的另一示例交互式用户界面(ui)900e。交互式ui900e中的地图905可以处于覆盖整个世界的缩小模式，并显示多个部署区域(例如，951、952、953、954、955、956、957)。每个部署区域可以由圆形区域表示。每个圆形区域可以包括相应部署区域中的部署信息(例如，该区域中受影响的蜂窝塔的数量)。在特定实施例中，地图视图可以包括区块层，其在区块级提供更详细的部署信息。交互式ui900e可以包括按钮928、929和939，用于用户上传部署数据、编辑项目和查看测量结果。159.图9f示出了供用户上传部署数据文件的示例交互式用户界面(ui)900f。在特定实施例中，交互式ui可以允许用户通过经由交互式ui的手动键入或选择来输入或编辑部署信息。例如，交互式ui可以使用弹出对话框来允许用户输入或编辑一个或更多个部署项目的信息(例如，项目、区域、运营商)。在特定实施例中，交互式ui可以允许用户准备或/和上传包含部署数据的部署文件。作为示例而非限制，交互式ui900f可以包括供用户上传部署数据的弹出对话框960。交互式ui900f可以包括指示上传过程的每个步骤的状态的状态指示器961。状态指示器961可以显示上传部署文件的一系列步骤，包括例如添加部署文件、验证文件、上传数据等。交互式ui900f可以包括操作面板962，其向用户显示相关信息(例如，站点标识符963、属性964)，用于添加包括部署数据的文件。交互式ui900f可以允许用户准备和上传具有各种站点标识符963(例如，站点名称、经度、纬度、zip编码/邮政编码、城市、州/省、国家等)和各种属性964(例如，程序、项目、方法等)的文件。交互式ui900e可以包括拖放区域965，其可以允许用户将部署文件拖放到该区域中用于上传操作。交互式ui900e可以允许用户通过浏览按钮966上传包含部署数据的文件。交互式ui900e可以允许用户通过文本字段967指定部署名称。交互式ui900e可以允许用户通过点击按钮969b进行文件上传过程的下一步骤，或者通过按钮959a返回到上传过程的前一步骤，或者通过取消按钮968取消文件上传操作。160.测量结果概要161.图9g示出了用于基于用户的选择和配置显示测量结果概要的示例交互式用户界面(ui)900g。在特定实施例中，系统可以测量一个或更多个感兴趣的区域的部署影响，并且基于用户的选择或配置在交互式ui中可视化测量结果。作为示例而非限制，交互式ui900g可以显示包括部署列表的表格970。表格970可以允许用户选择一个或更多个部署来查看测量结果。一旦用户选择了特定的部署，交互式ui900g可以在交互式ui900g中的表格970旁边显示测量结果概要980和增量概要988。测量结果概要980可以包括一个或更多个图表(例如，993)，其显示在部署之前和之后的一段时间内一个或更多个网络度量的趋势，以及一个或更多个文本概要(例如，983、984、985)，用于显示与网络度量(例如，互联网用户的数量、体验更快网络速度的互联网用户的数量)和测量方法(例如，包括综合对照的因果推断方法、保留实验、增长核算方法等)相关的信息。增量概要988可以包括增量视图模式(deltaviewmode)下的百分比条形图994，显示部署后增量度量的变化。条形图944可以显示在一组速度桶(例如，非常低、低、一般、好、非常好)上体验更快网络速度的互联网用户的增量数量的改善，并且可以显示互联网用户的整体增量数量的改善。条形图944中的每个度量条可以包括指示相应度量的测量值的中心点(例如，989a指示对于非常好的速度桶的体验更快网络速度的互联网用户的值增量数量)，并且条(例如，989b)可以指示测量度量值的误差范围或置信区间。在特定实施例中，交互式ui900g可以在增量时间序列视图中显示测量的增量度量。在特定实施例中，系统可以在增量时间序列视图模式中显示度量条条形图，其中度量条可以显示为随时间的序列，以显示度量随时间的变化或趋势。度量条的长度可以指示误差范围或置信区间，度量条的中心点可以指示测量的度量值。162.图9h示出了用于配置用于测量并显示在测量结果中的度量‑方法方案的示例交互式用户界面(ui)900h。在特定实施例中，交互式ui可以允许用户指定哪些网络度量和哪些方法将用于特定测量，并且将显示测量结果概要。作为示例而非限制，交互式ui900h可以允许用户从下拉菜单976中选择一个或多个网络度量和一个或更多个方法。用户可以从显示的下拉菜单992上显示的多个选项中选择一个或更多个度量‑方法方案。一旦选择了网络度量和方法，交互式ui900h可以基于用户的选择或配置显示或更新可视化测量结果。例如，用户可以选择“增量map，增长核算”和“增量速度map，小区棕色地带(cellularbrownfield)”方法作为特定测量的方法。系统可以处理网络性能数据，并基于用户的选择确定影响测量结果。交互式ui900h可以相应地显示或更新测量概要和增量概要。除了网络度量图表之外，测量概要还可以显示当前使用的网络度量和方法。163.图9i示出了用于配置用于测量并显示在测量结果中的网络度量的示例交互式用户界面(ui)900i。在特定实施例中，交互式ui可以允许用户指定哪些网络度量将用于特定测量，并且将显示测量结果。作为示例而非限制，交互式ui900i可以允许用户从下拉菜单977中选择一个或更多个网络度量。用户可以从显示的下拉菜单991上的多个选项中选择一个或更多个度量。例如，用户可以选择包括性能评级、总map和总部署的三个网络度量作为特定部署项目的网络度量。一旦选择了网络度量，交互式ui900i可以基于用户的选择或配置显示或更新显示的测量结果。164.此外，交互式ui可以允许用户设置时间窗口的长度(例如，部署前后60天)和用于测量网络性能的影响半径。作为示例而非限制，交互式ui900i可以允许用户通过下拉菜单981设置用于测量网络性能的时间窗口。一旦用户选择或改变时间窗口，系统可以基于用户的选择或配置生成测量结果。交互式ui900i可以相应地显示或更新测量结果。作为示例而非限制，交互式ui900i可以允许用户通过下拉菜单981设置用于测量网络性能的受影响范围(例如，3km受影响半径)。一旦用户选择或改变受影响的范围，系统可以基于用户的选择或配置生成测量结果。交互式ui900i可以相应地显示或更新测量结果。165.详细视图图表166.图9j示出了用于在测量结果中显示的增量度量的详细视图的示例交互式用户界面(ui)900j。在特定实施例中，交互式ui可以显示由用户通过交互式ui指定的一个或更多个增量度量的详细视图图表。作为示例而非限制，ui900j可以显示详细视图9020，该详细视图9020示出了在部署前的60天时间段和部署后的60天时间段内具有相应置信区间的增量网络度量9021(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量)的变化和趋势。167.图9k示出了用于在测量结果中显示的多个增量度量的详细视图的示例交互式用户界面(ui)900j。在特定实施例中，交互式ui可以显示由用户通过交互式ui指定的多个增量度量的详细视图图表。作为示例而非限制，ui900k可以显示详细视图9020，其示出了第一增量度量9021(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量)和第二增量度量9022(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量)的变化和趋势。第一和第二增量度量可以与部署前的60天时间段和部署后的60天时间段相关联。在特定实施例中，详细视图图表9020中的网络度量可以各自使用不同的颜色来标记。每个网络度量的曲线可以与置信区间(例如，上限曲线和下限曲线)一起显示。交互式ui900k可以允许用户通过选择要显示的网络度量、改变显示的值范围或改变显示的时间窗口来配置和定制详细视图。详细视图图表9020可以允许用户对网络度量趋势和相应部署的影响有直观的理解。此外，交互式ui900k可以允许用户将测量结果导出到外部文件，并允许用户在用户进行选择或配置后手动更新测量结果。168.图9l示出了用于在地图视图中显示部署项目和测量结果概要的示例交互式用户界面(ui)。在特定实施例中，系统可以允许用户选择视图模式(例如，地图视图或列表视图)，用于显示部署，同时在侧面显示测量结果。作为示例而非限制，用户可以(例如，通过点击分段按钮921)选择在地图视图9010中显示部署，同时在地图旁边显示测量概要980和增量概要988。地图视图9010可以在地图9020中显示多个部署区域(例如，9011、9012、9013、9014、9015、9016)。地图视图9010可允许用户缩放或移动地图9020，并选择或取消选择部署以查看相应的测量结果。169.示例方法170.图10示出了测量网络部署对感兴趣的地理区域的影响的示例方法。该方法可以在步骤1010开始，其中系统可以确定由通信网络连接的多个地理区域的一个或更多个网络度量。地理区域可以包括受网络部署影响的感兴趣的地理区域。在特定实施例中，一个或更多个网络度量可以包括例如但不限于每月活跃人数度量、网络速度度量、网络延迟度量、花费时间度量等。在特定实施例中，感兴趣的地理区域和其他地理区域可以是任何大小或规模的区域，包括例如但不限于国家、城市、州/省、区块、邮政编码区域、千米级区域等。在特定实施例中，网络度量可以基于在网络部署之前的第一时间段(例如，60天)和网络部署之后的第二时间段(例如，60天)期间收集的网络性能数据来确定。171.在步骤1020，系统可以通过基于地理区域之间的相似性将地理区域聚类成一个或更多个候选对照区域组来识别候选对照区域集合。例如，每组中的地理区域可以共享一个或更多个公共度量特征，包括例如但不限于度量趋势、度量值、度量范围、度量变化斜率、度量误差水平、度量变化、度量置信水平等。每组地理区域可以是候选对照区域的一个类别，合格的对照区域将从该类别中被识别。系统可以将地理区域聚类成候选对照区域组，以缩窄识别合格对照区域的范围。每个组中的候选对照区域共享的度量特征可以基于至少一个网络度量来确定，该网络度量是基于在网络部署之前的第一时间段期间收集的网络性能数据来确定的。172.在步骤1030，系统可以通过从一组候选对照区域中识别第二组地理区域作为合格对照区域，而从候选对照区域集合中选择一个或更多个对照区域。合格的对照区域可以基于感兴趣的区域和该组候选对照区域的每个候选对照区域之间的比较来识别。该系统可以比较由感兴趣的地理区域和候选对照区域共享的度量特征，并且当该共享网络特征的相似性高于相似性阈值或资格阈值时，可以将该候选对照区域确定为合格对照区域。用于确定相似性的共享度量特征可以基于在网络部署之前收集的网络性能数据来确定。综合对照方法可以使用合格的对照区域来确定网络度量基线。在特定实施例中，系统可以聚类候选对照区域，并使用机器学习模型识别合格的对照区域。173.在步骤1040，系统可以将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较。该系统可以基于一个或更多个所选对照区域的加权组合来确定第一网络度量基线。基线可以基于与所选对照区域相关联的并且在网络部署之后收集的网络性能数据来确定。系统可以假设，如果不进行网络部署，受影响区域的网络度量或网络度量趋势可以通过基于合格对照区域确定的基线来近似。在特定实施例中，系统可以使用来自长期保留实验的保留区域作为候选对照区域。保留区域可以是不受网络部署影响的区域。在特定实施例中，用于确定网络度量基线的所选对照区域可以从保留区域中随机选择。174.在步骤1050，系统可以确定在网络部署之后，与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。第一预定阈值可以通过机器学习模型来确定。在特定实施例中，系统还可以在网络部署之后将感兴趣的地理的第二网络度量与第二网络度量基线进行比较。第二网络基线可以在网络部署之前基于感兴趣的地理的网络性能数据来确定。该系统可以确定感兴趣的地理区域的第二网络度量在网络部署之后是否具有大于第二预定阈值的变化。第二网络度量可以包括例如但不限于流失用户数、用户流失率、新用户数、恢复的用户数等中的一个或更多个。175.在特定实施例中，该系统还可以在网络部署之前确定感兴趣的地理区域的网络度量在一组网络度量桶上的第一分布。该系统可以在网络部署之后确定感兴趣的地理区域的相同网络度量在该组网络度量桶上的第二分布。该系统可以比较第三网络度量的第一分布和第二分布，以确定在网络部署之后第三网络度量是否具有大于第三预定阈值的变化。该系统可以使用运营商特定的方法、运营商不可知的方法或基于用户的方法来确定网络度量。在特定实施例中，系统可以聚合跨受部署影响的两个或更多个运营商的一个或更多个网络度量，并且确定在部署之后在两个或更多个运营商上一个或更多个网络度量是否具有大于各自预定阈值的变化。在特定实施例中，当第一网络度量的变化大于相应的预定阈值时，系统可以进一步确定网络度量的变化和网络部署之间的因果关联。176.在适当的情况下，特定实施例可以重复图10的方法的一个或更多个步骤。尽管本公开将图10的方法的特定步骤描述和示出为以特定顺序发生，但是本公开设想图10的方法的任何合适的步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了用于测量感兴趣的地理区域的网络部署影响的示例方法，包括图10的方法的特定步骤，但是本公开设想了用于测量感兴趣的地理区域的网络部署影响的任何合适的方法，其包括任何合适的步骤，在适当的情况下，可以包括图10的方法的所有、一些步骤或没有这些步骤。此外，尽管本公开描述和示出了执行图10的方法的特定步骤的特定组件、设备或系统，但是本公开设想了执行图10的方法的任何合适步骤的任何合适的组件、设备或系统的任何合适的组合。177.系统概况178.图11示出了与社交网络系统相关联的示例网络环境1100。网络环境1100包括通过网络1110彼此连接的客户端系统1130、社交网络系统1160和第三方系统1170。尽管图11示出了客户端系统1130、社交网络系统1160、第三方系统1170和网络1110的特定布置，但是本公开设想了客户端系统1130、社交网络系统1160、第三方系统1170和网络1110的任何合适的布置。作为示例而不是作为限制，客户端系统1130、社交网络系统1160和第三方系统1170中的两个或更多个可以绕过网络1110彼此直接连接。作为另一个示例，客户端系统1130、社交网络系统1160和第三方系统1170中的两个或更多个可以全部或部分地在物理上或逻辑上彼此位于同一位置。此外，尽管图11示出了特定数量的客户端系统1130、社交网络系统1160、第三方系统1170和网络1110，但是本公开设想了任何合适数量的客户端系统1130、社交网络系统1160、第三方系统1170和网络1110。作为示例而不是作为限制，网络环境1100可以包括多个客户端系统1130、社交网络系统1160、第三方系统1170和网络1110。179.本公开设想了任何合适的网络1110。作为示例而不是作为限制，网络1110的一个或更多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(vpn)、局域网(lan)、无线lan(wlan)、广域网(wan)、无线wan(wwan)、城域网(man)、互联网的一部分、公共交换电话网(pstn)的一部分、蜂窝电话网、或这些中的两个或更多个的组合。网络1110可以包括一个或更多个网络1110。180.链路1150可以将客户端系统1130、社交网络系统1160和第三方系统1170连接到通信网络1110或连接到彼此。本公开设想了任何合适的链路1150。在特定实施例中，一个或更多个链路1150包括一个或更多个有线(诸如例如数字用户线路(dsl)或基于电缆的数据服务接口规范(docsis))链路、无线(诸如例如wi‑fi或全球互通微波接入(wimax))链路、或光(诸如例如同步光网络(sonet)或同步数字体系(sdh))链路。在特定实施例中，一个或更多个链路1150各自包括自组织网络、内联网、外联网、vpn、lan、wlan、wan、wwan、man、互联网的一部分、pstn的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一链路1150、或两个或更多个这种链路1150的组合。链路1150不需要在整个网络环境1100中一定是相同的。一个或更多个第一链路1150可以在一个或更多个方面上不同于一个或更多个第二链路1150。181.在特定实施例中，客户端系统1130可以是一种电子设备，该电子设备包括硬件、软件或嵌入式逻辑部件、或两个或更多个这样的部件的组合，并且能够执行由客户端系统1130实现或支持的适当功能。作为示例而不是作为限制，客户端系统1130可以包括计算机系统，如台式计算机、笔记本电脑或膝上型计算机、上网本、平板计算机、电子书阅读器、gps设备、照相机、个人数字助理(pda)、手持电子设备、蜂窝电话、智能手机、增强/虚拟现实设备、其他合适的电子设备、或其任何合适的组合。本公开设想了任何合适的客户端系统1130。客户端系统1130可以使在客户端系统1130处的网络用户能够访问网络1110。客户端系统1130可以使它的用户能够与在其他客户端系统1130处的其他用户进行通信。182.在特定实施例中，客户端系统1130可以包括web浏览器1132，例如microsoftinternetexplorer、googlechrome或mozillafirefox，并且可以具有一个或更多个附加件、插件或其他扩展件，例如toolbar或yahootoolbar。在客户端系统1130处的用户可以输入统一资源定位符(url)或将web浏览器1132引导到特定的服务器(例如服务器1162或与第三方系统1170相关联的服务器)的其他地址，并且web浏览器1132可以生成超文本传输协议(http)请求并将http请求传递到服务器。服务器可以接受http请求，并响应于http请求而向客户端系统1130传递一个或更多个超文本标记语言(html)文件。客户端系统1130可以基于来自服务器的html文件来显现网页用于呈现给用户。本公开设想了任何合适的网页文件。作为示例而不是作为限制，网页可以根据特定的需要从html文件、可扩展超文本标记语言(xhtml)文件或可扩展标记语言(xml)文件来显现。这样的页面还可以执行脚本，例如且没有限制，用javascript、java、microsoftsilverlight编写的脚本、标记语言和脚本(例如ajax(异步javascript和xml))的组合等。在本文，在适当的情况下，对网页的引用包括一个或更多个相应的网页文件(浏览器可以使用这些网页文件来显现网页)，反之亦然。183.在特定实施例中，社交网络系统1160可以是可以托管在线社交网络的网络可寻址计算系统。社交网络系统1160可以生成、存储、接收并发送社交网络数据(诸如例如，用户简档数据、概念简档数据、社交图信息或与在线社交网络相关的其他合适的数据)。社交网络系统1160可以由网络环境1100的其他部件直接地或经由网络1110来访问。作为示例而不是作为限制，客户端系统1130可以使用web浏览器1132或与社交网络系统1160相关联的原生(native)应用(例如，移动社交网络应用、消息传递应用、另一合适的应用或其任何组合)直接地或经由网络1110来访问社交网络系统1160。在特定实施例中，社交网络系统1160可以包括一个或更多个服务器1162。每个服务器1162可以是整体式服务器(unitaryserver)或跨越多台计算机或多个数据中心的分布式服务器。服务器1162可以具有各种类型，诸如，例如且没有限制，web服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适合于执行本文描述的功能或过程的另一服务器、或者其任何组合。在特定实施例中，每个服务器1162可以包括用于执行由服务器1162实现或支持的适当功能的硬件、软件或嵌入式逻辑部件、或两个或更多个这样的部件的组合。在特定实施例中，社交网络系统1160可以包括一个或更多个数据储存器1164。数据储存器1164可以用于存储各种类型的信息。在特定实施例中，可以根据特定的数据结构来组织存储在数据储存器1164中的信息。在特定实施例中，每个数据储存器1164可以是关系数据库、纵列(columnar)数据库、相关性数据库或其他合适的数据库。尽管本公开描述或示出了特定类型的数据库，但是本公开设想了任何合适类型的数据库。特定实施例可以提供使客户端系统1130、社交网络系统1160或第三方系统1170能够管理、检索、修改、添加或删除存储在数据储存器1164中的信息的接口。184.在特定实施例中，社交网络系统1160可以在一个或更多个数据储存器1164中存储一个或更多个社交图。在特定实施例中，社交图可以包括多个节点——其可以包括多个用户节点(各自对应于特定用户)或多个概念节点(各自对应于特定概念)——以及连接节点的多条边。社交网络系统1160可以向在线社交网络的用户提供与其他用户通信和交互的能力。在特定实施例中，用户可以经由社交网络系统1160加入在线社交网络，且然后添加与社交网络系统1160中的他们想要关连到的多个其他用户的关连(例如，关系)。在本文，术语“朋友”可以指用户经由社交网络系统1160与其形成关连、关联(association)或关系的社交网络系统1160的任何其他用户。185.在特定实施例中，社交网络系统1160可以向用户提供对由社交网络系统1160支持的各种类型的项目或对象采取动作的能力。作为示例而不是作为限制，项目和对象可以包括社交网络系统1160的用户可以属于的群组或社交网络、用户可能感兴趣的事件或日历条目、用户可以使用的基于计算机的应用、允许用户经由服务来购买或销售商品的交易、用户可以执行的与广告的交互、或其他合适的项目或对象。用户可以与能够在社交网络系统1160中或者由第三方系统1170的外部系统表示的任何事物进行交互，第三方系统1170与社交网络系统1160分离并且经由网络1110耦合到社交网络系统1160。186.在特定实施例中，社交网络系统1160能够链接各种实体。作为示例而不是作为限制，社交网络系统1160可以使用户能够彼此交互以及从第三方系统1170或其他实体接收内容，或者允许用户通过应用编程接口(api)或其他通信渠道与这些实体交互。187.在特定实施例中，第三方系统1170可以包括一种或更多种类型的服务器、一个或更多个数据储存器、一个或更多个接口(包括但不限于api)、一个或更多个web服务、一个或更多个内容源、一个或更多个网络或任何其他合适的部件(例如，服务器可以与这些部件通信)。第三方系统1170可以由与操作社交网络系统1160的实体不同的实体进行操作。然而，在特定实施例中，社交网络系统1160和第三方系统1170可以彼此结合来操作以向社交网络系统1160或第三方系统1170的用户提供社交网络服务。在这个意义上，社交网络系统1160可以提供平台或骨干网(backbone)，其他系统(例如第三方系统1170)可以使用该平台或骨干网来在整个互联网上向用户提供社交网络服务和功能。188.在特定实施例中，第三方系统1170可以包括第三方内容对象提供者。第三方内容对象提供者可以包括可以被传送到客户端系统1130的内容对象的一个或更多个源。作为示例而不是作为限制，内容对象可以包括关于用户感兴趣的事情或活动的信息，诸如例如电影放映时间、电影评论、餐馆评论、餐馆菜单、产品信息和评论或其他合适的信息。作为另一个示例而不是作为限制，内容对象可以包括激励内容对象(例如优惠券、折扣券、礼品券或其他合适的激励对象)。189.在特定实施例中，社交网络系统1160还包括用户生成的内容对象，其可以增强用户与社交网络系统1160的交互。用户生成的内容可以包括用户可以添加、上传、发送或“发布(post)”到社交网络系统1160的任何内容。作为示例而不是作为限制，用户将帖子从客户端系统1130传送到社交网络系统1160。帖子可以包括数据，例如状态更新或其他文本数据、位置信息、照片、视频、链接、音乐或其他类似数据或媒体。内容还可以由第三方通过“通信渠道”(例如动态消息或流)来添加到社交网络系统1160。190.在特定实施例中，社交网络系统1160可以包括各种服务器、子系统、程序、模块、日志和数据储存器。在特定实施例中，社交网络系统1160可以包括下列项中的一个或更多个：web服务器、动作记录器、api请求服务器、相关性和排序引擎、内容对象分类器、通知控制器、动作日志、第三方内容对象暴露日志、推理模块、授权/隐私服务器、搜索模块、广告定位模块(advertisement‑targetingmodule)、用户界面模块、用户简档储存器、关连储存器、第三方内容储存器或位置储存器。社交网络系统1160还可以包括合适的部件，如网络接口、安全机构、负载平衡器、故障转移服务器、管理和网络操作控制台、其他合适的部件、或其任何合适的组合。在特定实施例中，社交网络系统1160可以包括用于存储用户简档的一个或更多个用户简档储存器。用户简档可以包括例如，传记信息、人口统计信息、行为信息、社交信息或其他类型的描述性信息(例如工作经历、教育历史、爱好或偏好、兴趣、亲和性或位置)。兴趣信息可以包括与一个或更多个类别相关的兴趣。类别可以是一般的或特定的。作为示例而不是作为限制，如果用户“赞(like)”关于一种品牌的鞋的文章，则该类别可以是品牌，或者是“鞋”或“服装”的一般类别。关连储存器可以用于存储关于用户的关连信息。关连信息可以指示具有相似或共同的工作经历、组成员资格、爱好、教育历史或者以任何方式相关或共享共同属性的用户。关连信息还可以包括在不同用户和内容(内部和外部)之间的用户定义的关连。web服务器可以用于经由网络1110将社交网络系统1160链接到一个或更多个客户端系统1130或一个或更多个第三方系统1170。web服务器可以包括邮件服务器或用于在社交网络系统1160和一个或更多个客户端系统1130之间接收并路由(routing)消息的其他消息传递功能。api请求服务器可以允许第三方系统1170通过调用一个或更多个api访问来自社交网络系统1160的信息。动作记录器可以用于从web服务器接收关于用户在社交网络系统1160上或之外的动作的通信。结合动作日志，可以维护用户暴露于第三方内容对象的第三方内容对象日志。通知控制器可以向客户端系统1130提供关于内容对象的信息。信息可以作为通知被推送到客户端系统1130，或者信息可以响应于从客户端系统1130接收的请求而从客户端系统1130中被拉取。授权服务器可以用于实施社交网络系统1160的用户的一个或更多个隐私设置。用户的隐私设置确定与用户相关联的特定信息可以如何被共享。授权服务器可以诸如例如通过设置适当的隐私设置来允许用户选择加入或选择退出使他们的动作由社交网络系统1160记录或者与其他系统(例如，第三方系统1170)共享。第三方内容对象储存器可以用于存储从第三方(例如第三方系统1170)接收的内容对象。位置储存器可以用于存储从客户端系统1130接收的与用户相关联的位置信息。广告定价模块可以组合社交信息、当前时间、位置信息或其他合适的信息以用通知的形式向用户提供相关广告。191.隐私192.在特定实施例中，在线社交网络的一个或更多个内容对象可以与隐私设置相关联。对象的隐私设置(或“访问设置”)可以以任何合适的方式存储，诸如例如与对象相关联、以授权服务器上的索引、以另一种合适的方式或其任意组合存储。对象的隐私设置可以指定可以如何使用在线社交网络来访问(例如，查看或共享)对象(或与对象相关联的特定信息)。在对象的隐私设置允许特定用户访问该对象的情况下，该对象可以被描述为对于该用户是“可见的”。作为示例而非限制，在线社交网络的用户可以为用户简档页面指定隐私设置，该隐私设置标识可以访问用户简档页面上的工作经验信息的一组用户，从而排除其他用户访问该信息。在特定实施例中，隐私设置可以指定不应被允许访问与对象相关联的某些信息的用户的“黑名单(blockedlist)”。换句话说，黑名单可以指定对象对其是不可见的一个或更多个用户或实体。作为示例而非限制，用户可以指定不能访问与该用户相关联的相册的一组用户，从而排除这些用户访问相册(同时也可能允许不在该组用户中的某些用户访问相册)。在特定实施例中，隐私设置可以与特定社交图元素相关联。社交图元素(诸如节点或边)的隐私设置可以指定可以如何使用在线社交网络来访问社交图元素、与社交图元素相关联的信息、或与社交图元素相关联的内容对象。作为示例而不是作为限制，对应于特定照片的特定概念节点可以具有指定照片只能由在照片中标记的用户及他们的朋友访问的隐私设置。在特定实施例中，隐私设置可以允许用户选择加入或选择退出使其动作由社交网络系统1160记录或与其他系统(例如，第三方系统1170)共享。在特定实施例中，与对象相关联的隐私设置可以指定允许访问或拒绝访问的任何合适的粒度。作为示例而非限制，可以为特定用户(例如，只有我、我的室友和我的老板)、特定分离度内的用户(例如，朋友或朋友的朋友)、用户组(例如，游戏俱乐部、我的家庭)、用户网络(例如，特定雇主的雇员、特定大学的学生或校友)、所有用户(“公共”)、无用户(“私人”)、第三方系统1170的用户、特定应用(例如，第三方应用、外部网站)、其他合适的用户或实体，或其任何组合指定访问或拒绝访问。尽管本公开描述了以特定方式使用特定隐私设置，但是本公开设想了以任何合适的方式使用任何合适的隐私设置。193.在特定实施例中，一个或更多个服务器1162可以是用于实施隐私设置的授权/隐私服务器。响应于用户(或其他实体)对存储在数据储存器1164中的特定对象的请求，社交网络系统1160可以向数据储存器1164发送对该对象的请求。该请求可以识别与该请求相关联的用户，并且只有当授权服务器基于与对象相关联的隐私设置确定用户被授权访问该对象时才可以将其发送给该用户(或用户的客户端系统1130)。如果请求用户未被授权访问该对象，则授权服务器可以阻止所请求的对象从数据储存器1164中被检索到，或者可以阻止所请求的对象被发送给用户。在搜索查询上下文中，只有当查询用户被授权访问对象时，才可以生成对象作为搜索结果。换句话说，对象必须具有对查询用户可见的可见性。如果对象具有对用户不可见的可见性，则该对象可以从搜索结果中排除。尽管本公开描述了以特定方式实施隐私设置，但是本公开设想了以任何合适的方式实施隐私设置。194.系统和方法195.图12示出了示例计算机系统1200。在特定实施例中，一个或更多个计算机系统1200执行本文描述或示出的一个或更多个方法的一个或更多个步骤。在特定实施例中，一个或更多个计算机系统1200提供本文描述或示出的功能。在特定实施例中，在一个或更多个计算机系统1200上运行的软件执行本文描述或示出的一个或更多个方法的一个或更多个步骤，或者提供本文描述或示出的功能。特定实施例包括一个或更多个计算机系统1200的一个或更多个部分。在本文，在适当的情况下，对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包括一个或更多个计算机系统。196.本公开设想了任何合适数量的计算机系统1200。本公开设想了采取任何合适的物理形式的计算机系统1200。作为示例而不是作为限制，计算机系统1200可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(诸如例如，模块上计算机(com)或模块上系统(som))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网状网、移动电话、个人数字助理(pda)、服务器、平板计算机系统、增强/虚拟现实设备、或者这些中的两个或更多个的组合。在适当的情况下，计算机系统1200可以包括一个或更多个计算机系统1200；可以是整体式的或分布式的；跨越多个位置；跨越多台机器；跨越多个数据中心；或者驻留在云中，云可以包括在一个或更多个网络中的一个或更多个云部件。在适当的情况下，一个或更多个计算机系统1200可以在没有实质性空间或时间限制的情况下执行本文描述或示出的一个或更多个方法的一个或更多个步骤。作为示例而不是作为限制，一个或更多个计算机系统1200可以实时地或以批处理模式来执行本文描述或示出的一个或更多个方法的一个或更多个步骤。在适当的情况下，一个或更多个计算机系统1200可以在不同的时间或在不同的位置处执行本文描述或示出的一个或更多个方法的一个或更多个步骤。197.在特定实施例中，计算机系统1200包括处理器1202、存储器1204、存储装置1206、输入/输出(i/o)接口1208、通信接口1210和总线1212。尽管本公开描述并示出了具有在特定布置中的特定数量的特定部件的特定计算机系统，但是本公开设想了具有在任何合适布置中的任何合适数量的任何合适部件的任何合适的计算机系统。198.在特定实施例中，处理器1202包括用于执行指令(例如构成计算机程序的那些指令)的硬件。作为示例而不是作为限制，为了执行指令，处理器1202可以从内部寄存器、内部高速缓存、存储器1204或存储装置1206中检索(或取回)指令；将这些指令解码并执行它们；以及然后将一个或更多个结果写到内部寄存器、内部高速缓存、存储器1204或存储装置1206。在特定实施例中，处理器1202可以包括用于数据、指令或地址的一个或更多个内部高速缓存。在适当的情况下，本公开设想了包括任何合适数量的任何合适的内部高速缓存的处理器1202。作为示例而不是作为限制，处理器1202可以包括一个或更多个指令高速缓存、一个或更多个数据高速缓存、以及一个或更多个转译后备缓冲区(tlb)。在指令高速缓存中的指令可以是在存储器1204或存储装置1206中的指令的副本，并且指令高速缓存可以加速处理器1202对那些指令的检索。在数据高速缓存中的数据可以是：在存储器1204或存储装置1206中的数据的副本，用于供在处理器1202处执行的指令来操作；在处理器1202处执行的先前指令的结果，用于由在处理器1202处执行的后续指令访问或者用于写到存储器1204或存储装置1206；或其他合适的数据。数据高速缓存可以加速由处理器1202进行的读或写操作。tlb可以加速关于处理器1202的虚拟地址转译。在特定实施例中，处理器1202可以包括用于数据、指令或地址的一个或更多个内部寄存器。在适当的情况下，本公开设想了包括任何合适数量的任何合适的内部寄存器的处理器1202。在适当的情况下，处理器1202可以包括一个或更多个算术逻辑单元(alu)；可以是多核处理器；或者包括一个或更多个处理器1202。尽管本公开描述并示出了特定的处理器，但是本公开设想了任何合适的处理器。199.在特定实施例中，存储器1204包括主存储器，其用于存储供处理器1202执行的指令或供处理器1202操作的数据。作为示例而不是作为限制，计算机系统1200可以将指令从存储装置1206或另一个源(诸如例如，另一个计算机系统1200)加载到存储器1204。处理器1202然后可以将指令从存储器1204加载到内部寄存器或内部高速缓存。为了执行指令，处理器1202可以从内部寄存器或内部高速缓存中检索指令并将它们解码。在指令的执行期间或之后，处理器1202可以将一个或更多个结果(其可以是中间结果或最终结果)写到内部寄存器或内部高速缓存。处理器1202然后可以将这些结果中的一个或更多个写到存储器1204。在特定实施例中，处理器1202仅执行在一个或更多个内部寄存器或内部高速缓存中或在存储器1204(而不是存储装置1206或其他地方)中的指令，并且仅对在一个或更多个内部寄存器或内部高速缓存中或在存储器1204(而不是存储装置1206或其他地方)中的数据进行操作。一个或更多个存储器总线(其可以各自包括地址总线和数据总线)可以将处理器1202耦合到存储器1204。如下所述，总线1212可以包括一个或更多个存储器总线。在特定实施例中，一个或更多个存储器管理单元(mmu)驻留在处理器1202和存储器1204之间，并且便于由处理器1202请求的对存储器1204的访问。在特定实施例中，存储器1204包括随机存取存储器(ram)。在适当的情况下，ram可以是易失性存储器。在适当的情况下，ram可以是动态ram(dram)或静态ram(sram)。此外，在适当的情况下，ram可以是单端口ram或多端口ram。本公开设想了任何合适的ram。在适当的情况下，存储器1204可以包括一个或更多个存储器1204。尽管本公开描述并示出了特定的存储器，但是本公开设想了任何合适的存储器。200.在特定实施例中，存储装置1206包括用于数据或指令的大容量存储装置。作为示例而不是作为限制，存储装置1206可以包括硬盘驱动器(hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(usb)驱动器、或这些中的两个或更多个的组合。在适当的情况下，存储装置1206可以包括可移动或不可移动(或固定)介质。在适当的情况下，存储装置1206可以在计算机系统1200的内部或外部。在特定实施例中，存储装置1206是非易失性固态存储器。在特定实施例中，存储装置1206包括只读存储器(rom)。在适当的情况下，rom可以是掩模编程rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可变rom(earom)、或闪存、或这些中的两个或更多个的组合。本公开设想了采用任何合适的物理形式的大容量存储装置1206。在适当的情况下，存储装置1206可以包括便于在处理器1202和存储装置1206之间的通信的一个或更多个存储装置控制单元。在适当的情况下，存储装置1206可以包括一个或更多个存储装置1206。尽管本公开描述并示出了特定的存储装置，但是本公开设想了任何合适的存储装置。201.在特定实施例中，i/o接口1208包括为在计算机系统1200和一个或更多个i/o设备之间的通信提供一个或更多个接口的硬件、软件或两者。在适当的情况下，计算机系统1200可以包括这些i/o设备中的一个或更多个。这些i/o设备中的一个或更多个可以实现在人和计算机系统1200之间的通信。作为示例而不是作为限制，i/o设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态摄像机、触笔、平板计算机、触摸屏、跟踪球、视频摄像机、另一个合适的i/o设备、或这些中的两个或更多个的组合。i/o设备可以包括一个或更多个传感器。本公开设想了任何合适的i/o设备以及用于它们的任何合适的i/o接口1208。在适当的情况下，i/o接口1208可以包括使处理器1202能够驱动这些i/o设备中的一个或更多个的一个或更多个设备或软件驱动器。在适当的情况下，i/o接口1208可以包括一个或更多个i/o接口1208。尽管本公开描述并示出了特定的i/o接口，但是本公开设想了任何合适的i/o接口。202.在特定实施例中，通信接口1210包括提供用于在计算机系统1200和一个或更多个其他计算机系统1200或一个或更多个网络之间的通信(诸如例如，基于包(packet‑based)的通信)的一个或更多个接口的硬件、软件或两者。作为示例而不是作为限制，通信接口1210可以包括用于与以太网或其他基于有线的网络进行通信的网络接口控制器(nic)或网络适配器，或者用于与无线网络(例如wi‑fi网络)进行通信的无线nic(wnic)或无线适配器。本公开设想了任何合适的网络和用于它的任何合适的通信接口1210。作为示例而不是作为限制，计算机系统1200可以与自组织网络、个域网(pan)、局域网(lan)、广域网(wan)、城域网(man)或互联网的一个或更多个部分、或这些中的两个或更多个的组合进行通信。这些网络中的一个或更多个的一个或更多个部分可以是有线的或无线的。作为示例，计算机系统1200可以与无线pan(wpan)(诸如，例如，蓝牙wpan)、wi‑fi网络、wi‑max网络、蜂窝电话网络(诸如，例如，全球移动通信系统(gsm)网络)、或其他合适的无线网络、或这些中的两个或更多个的组合进行通信。在适当的情况下，计算机系统1200可以包括用于这些网络中的任一个的任何合适的通信接口1210。在适当的情况下，通信接口1210可以包括一个或更多个通信接口1210。尽管本公开描述并示出了特定的通信接口，但是本公开设想了任何合适的通信接口。203.在特定实施例中，总线1212包括将计算机系统1200的部件耦合到彼此的硬件、软件或两者。作为示例而不是作为限制，总线1212可以包括加速图形端口(agp)或其他图形总线、扩展工业标准体系结构(eisa)总线、前端总线(fsb)、hypertransport(ht)互连、工业标准体系结构(isa)总线、infiniband互连、低引脚数(lpc)总线、存储器总线，微通道体系结构(mca)总线、外围部件互连(pci)总线、pci‑express(pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线、或任何其他合适的总线、或这些中的两个或更多个的组合。在适当的情况下，总线1212可以包括一个或更多个总线1212。尽管本公开描述并示出了特定总线，但是本公开设想了任何合适的总线或互连。204.在本文，在适当的情况下，一个或更多个计算机可读非暂时性存储介质可以包括一个或更多个基于半导体的或其他集成电路(ic)(诸如例如，现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字(securedigital)卡或驱动器、任何其他合适的计算机可读非暂时性存储介质、或这些中的两个或更多个的任何合适组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性的、非易失性的或者易失性和非易失性的组合。205.本文中，除非另有明确指示或通过上下文另有指示，否则“或”是包括性的而非排他性的。因此在本文，除非另有明确指示或通过上下文另有指示，否则“a或b”意指“a、b或两者”。此外，除非另有明确指示或通过上下文另有指示，否则“和”既是联合的又是各自的。因此在本文，除非另有明确指示或通过上下文另有指示，否则“a和b”意指“a和b，联合地或各自地”。206.本公开的范围包括本领域中的普通技术人员将理解的对本文描述或示出的示例实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或示出的示例实施例。此外，尽管本公开将本文的相应实施例描述并示为包括特定的部件、元件、特征、功能、操作或步骤，但是这些实施例中的任何一个可以包括本领域中的普通技术人员将理解的在本文任何地方描述或示出的任何部件、元件、特征、功能、操作或步骤的任何组合或置换。此外，在所附权利要求中对适合于、被布置成、能够、被配置成、实现来、可操作来、或操作来执行特定功能的装置或系统或装置或系统的部件的引用包括无论该装置、系统、部件或其特定功能是否被激活、开启或解锁，只要该装置、系统或部件是这样被调整、被布置、使能够、被配置、被实现、可操作的、或操作的。此外，尽管本公开将特定实施例描述或示为提供特定优点，但是特定实施例可以提供这些优点中的一些、全部或不提供这些优点。当前第1页12当前第1页12
技术领域：
：3.本公开大体上涉及通信网络，且尤其涉及测量网络部署的影响。4.背景5.通信网络(如光纤网络、蜂窝网络和宽带无线网络)为计算系统(如计算机、平板电脑、智能手机)提供数据通信通道，以传送数据和信息，如文本、图像、视频、网站内容等。通信网络覆盖的地理区域可以被分成多个子区域(例如，区块(tile)、蜂窝网络中的小区(cell)、诸如县的区域、城市、城镇、村庄等的集合的区域)。每个子区域可以生成一定量的网络流量，并且通信网络可以向由通信网络覆盖的任何数量的子区域提供连接服务。用户可以(例如使用计算设备)访问通信网络，以用于下载和上传数据。通信网络可以具有允许用户使用由通信网络支持的服务的带宽。6.特定实施例的概述7.根据本发明的第一方面，提供了一种方法，方法包括由一个或更多个计算系统：确定由通信网络连接的多个地理区域的一个或更多个网络度量，其中多个地理区域包括受网络部署影响的感兴趣的地理区域；通过基于由多个地理区域中的一个或更多个地理区域共享的至少一个网络度量的至少一个度量特征将该一个或更多个地理区域聚类成第一组地理区域，来识别候选对照区域集合；通过基于第一组地理区域的每一个和感兴趣的区域之间的比较从第一组地理区域中识别第二组地理区域，来从候选对照区域集合中选择一个或更多个对照区域；将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较，其中基于一个或更多个对照区域来确定第一网络度量基线；以及确定在网络部署之后与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。8.优选地，基于在网络部署之前的第一时间段和网络部署之后的第二时间段期间收集的网络性能数据来确定一个或更多个网络度量。9.方便地，由第一组地理区域共享的至少一个度量特征是基于在网络部署之前的第一时间段期间收集的网络性能数据来确定的。10.优选地，第二组地理区域中的每一个和感兴趣的地理区域具有高于相似性阈值的相似性，并且其中基于网络部署之前与感兴趣的地理区域和那个地理区域相关联的一个或更多个度量特征来确定相似性。11.方便地，第一网络度量基线是基于所选择的一个或更多个对照区域的加权组合来确定的。12.优选地，第二组地理区域由机器学习模型识别，并且其中所选择的一个或更多个对照区域由综合对照方法使用。13.方便地，第一网络基线是基于在网络部署之后的第二时间段期间收集的网络性能数据来确定的。14.优选地，第二组地理区域是被排除在网络部署影响之外的保留区域(hold‑outregion)，其中所选择的一个或更多个对照区域是从第二组地理区域中随机选择的，并且其中基于所选择的一个或更多个对照区域来确定第一网络度量基线。15.方便地，该方法还包括：将在网络部署之后的感兴趣的地理区域的第二网络度量与第二网络度量基线进行比较；以及确定在网络部署之后感兴趣的地理区域的第二网络度量是否具有大于第二预定阈值的变化。16.优选地，基于在网络部署之前感兴趣的地理的网络性能数据来确定第二网络基线。17.方便地，第二网络度量包括以下中的一个或更多个：流失(churned)用户数；用户流失率；新用户数；或者恢复(resurrected)用户数。18.优选地，至少一个度量特征包括以下中的一个或更多个：度量趋势；度量值；度量范围；度量变化斜率；度量误差水平；度量变化；或者度量置信水平。19.方便地，该方法还包括当第一网络度量的变化大于第一预定阈值时，确定第一网络度量的变化和网络部署之间的因果关联(cause‑effectcorrelation)。20.优选地，一个或更多个网络度量包括以下中的一个或更多个：增量网络度量；每月活跃人数度量；网络速度度量；网络延迟度量；或者时间花费度量。21.方便地，感兴趣的地理区域是千米级的小规模区域。22.优选地，该方法还包括：确定在网络部署之前感兴趣的地理区域的第三网络度量在一组网络度量桶(bucket)上的第一分布；确定在网络部署之后感兴趣的地理区域的第三网络度量在该组网络度量桶上的第二分布；比较第三网络度量的第一分布和第二分布；以及确定在网络部署之后第三网络度量是否具有大于第三预定阈值的变化。23.方便地，第三网络度量由运营商(carrier)特定的方法、运营商不可知的方法或基于用户的方法来确定。24.优选地，该方法还包括：在受网络部署影响的两个或更多个运营商上聚集一个或更多个网络度量；以及确定在网络部署之后一个或更多个网络度量在两个或更多个运营商上是否具有大于各自预定阈值的变化。25.根据本发明的另一方面，提供了一种或更多种包含软件的计算机可读非暂时性存储介质，该软件在被执行时可操作来：确定由通信网络连接的多个地理区域的一个或更多个网络度量，其中多个地理区域包括受网络部署影响的感兴趣的地理区域；通过基于由多个地理区域中的一个或更多个地理区域共享的至少一个网络度量的至少一个度量特征将一个或更多个地理区域聚类成第一组地理区域，来识别候选对照区域集合；通过基于第一组地理区域的每一个和感兴趣的区域之间的比较从第一组地理区域中识别第二组地理区域，来从候选对照区域集合中选择一个或更多个对照区域；将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较，其中基于一个或更多个对照区域来确定第一网络度量基线；以及确定在网络部署之后与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。26.根据本发明的又一方面，提供了一种系统，该系统包括：一个或更多个包含指令的非暂时性计算机可读存储介质；以及一个或更多个处理器，其耦合到存储介质并可操作来执行指令以：确定由通信网络连接的多个地理区域的一个或更多个网络度量，其中多个地理区域包括受网络部署影响的感兴趣的地理区域；通过基于由多个地理区域中的一个或更多个地理区域共享的至少一个网络度量的至少一个度量特征将一个或更多个地理区域聚类成第一组地理区域，来识别候选对照区域集合；通过基于第一组地理区域的每一个和感兴趣的区域之间的比较从第一组地理区域中识别第二组地理区域，来从候选对照区域集合中选择一个或更多个对照区域；将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较，其中基于一个或更多个对照区域来确定第一网络度量基线；以及确定在网络部署之后与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。27.这里描述的特定实施例涉及一种基于增量度量和综合对照方法来测量网络连接部署的影响的方法。系统可以首先针对每个部署从支持基础设施(例如，sn服务器、应用、运营商基础设施)收集与受影响地区(例如，国家、城市、州/省、具有影响半径的位置、区块、邮政编码区域、千米级地区)、受影响用户、受影响运营商(例如，运营商id)、部署类型(例如，添加wi‑fi接入点、改进回程、4g升级)、时间窗口(例如，部署启动日期、持续时间)等相关的网络性能数据和部署信息。收集的网络性能数据可以与部署前的第一时间段(例如，60天，6个月)和部署后的第二时间段(例如，60天，6个月)相关联。然后，系统可以预处理收集的数据并将候选对照区域聚类成组或类别，以缩小识别合格对照区域的范围。每个组可以包含候选对照区域，其具有基于一个或更多个网络度量特征(例如，趋势、斜率、范围、误差、变化、置信水平等)的至少一个相似性。网络度量特征可以基于与部署之前的第一时间段相关联的网络性能数据来确定。然后，系统可以基于与这些区域相关联的网络度量特征和这些网络度量或网络度量特征的一个或更多个资格标准(例如，趋势标准、斜率范围、值范围、相似性阈值、置信水平、误差水平等)来确定一组合格的对照区域。该系统可以基于部署前网络性能数据基于合格对照区域的网络度量来确定一个或更多个网络度量基线。此后，系统可以通过将感兴趣的区域的部署后网络度量与相应的基线进行比较来确定每个部署的影响。系统可以基于增量网络度量和相应的显著性标准(例如，显著性阈值)来确定部署影响是否显著。该系统可以在交互式用户界面上将每个部署的测量结果可视化并显示给用户。28.在特定实施例中，系统可以使用多种方法(例如，因果推断方法，包括综合对照、基于保留的实验(holdout‑basedexperiment)、增长核算方法等)来测量部署影响。每种方法可以基于为该方法预先选择的一个或更多个网络度量，例如，网络速度、网络延迟、连接的人数、花费在网络上的时间、样本量、互联网用户的增量数量(例如，增量每月活跃人数(map))、体验更快网络速度的互联网用户的增量数量(例如，体验更快网络速度的增量每月活跃人数(map))、信号强度、增长核算度量(例如，流失用户、新用户、恢复的用户)等。在特定实施例中，系统可以确定，对于特定的部署，不能识别合格的对照区域，因为不存在满足合格标准的区域。该系统可以指示部署影响不能被有效地测量，因为缺乏合格的对照区域，并且基于合格的对照区域的假设存在的任何自动推断可能是不可靠的。当综合方法发生故障时，通过识别故障，系统可以避免来自自动测量过程的不可靠或错误的推断。该系统可以基于更精确的测量结果，显著地改进用于设定连接部署的优先级的决策过程。29.在特定实施例中，系统可以基于用户通过交互式用户界面(ui)指定的网络度量和方法来测量网络连接部署的影响。该系统可以经由交互式ui接收用户输入，该用户输入包含关于网络部署的信息(例如，部署项目、部署日期、部署类型、项目创建者、部署位置、运营商id、预期影响范围、受影响的区块、部署优先级)和关于用于测量网络性能的网络度量(例如，网络速度、延迟、花费的时间、互联网用户的增量、体验更快网络速度的互联网用户的增量数量、显著性阈值、过滤标准)的信息。然后，系统可以创建用于测量网络性能的网络测量项目。系统可以收集或访问部署前后的时间窗口(例如，120天)(例如，部署前60天和部署后60天)的网络性能数据。此后，系统可以基于收集或访问的网络性能数据来确定由用户指定的网络度量。系统可以将部署后的网络度量与相应的基线进行比较，以确定增量网络度量(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量)。系统可以基于互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量以及一个或更多个显著性标准(例如，显著性阈值)来确定部署的影响是否显著。最后，系统可以在交互式ui上可视化和向用户显示部署的测量影响。显示的测量结果可以由用户基于通过交互式ui接收的用户输入来定制或更新。30.本文公开的实施例仅仅是示例，并且本公开的范围不限于它们。特定实施例可以包括本文公开的实施例的组件、要素、特征、功能、操作或步骤中的全部、一些，或不包括这些组件、要素、特征、功能、操作或步骤。根据本发明的实施例在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中被具体公开，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一个权利要求类别(例如，系统)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何先前权利要求的有意往回引用(特别是多个从属关系)而产生的任何主题，从而权利要求及其特征的任何组合被公开了并且可以被要求保护，而不管所附权利要求中选择的从属关系如何。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。31.附图简述32.图1示出了部署影响测量系统的示例架构。33.图2a示出了使用包括综合对照的因果推断方法来识别合格对照区域的示例网络度量匹配结果。34.图2b示出了当不能识别合格的对照区域时的示例网络度量匹配结果。35.图3示出了基于从长期保留实验中收集的数据确定的互联网用户增量数量的示例结果。36.图4a示出了与增长核算相关的蜂窝塔升级对感兴趣的区域的互联网用户增量数量的总体影响的示例结果。37.图4b示出了通过多个蜂窝塔升级聚集的对互联网用户的增量数量的总体影响的示例结果。38.图5示出了基于http请求的端到端测量来测量下载速度的示例过程。39.图6示出了用于测量往返时间(rtt)延迟的示例过程。40.图7示出了用于确定受影响的区块的示例过程。41.图8a示出了在网络部署之前和之后感兴趣的区域的一组速度桶上的示例网络速度分布变化。42.图8b示出了多个运营商的网络速度分布的示例结果。43.图9a示出了用于从用户接收输入以创建测量项目的示例交互式用户界面(ui)。44.图9b示出了用于从用户接收输入以编辑测量项目的示例交互式用户界面(ui)。45.图9c示出了用于在列表视图中显示测量项目并允许用户在控制面板中配置测量项目的示例交互式用户界面(ui)。46.图9d示出了用于在地图视图中显示部署测量项目的示例交互式用户界面(ui)。47.图9e示出了用于在地图视图中显示部署测量项目的另一示例交互式用户界面(ui)。48.图9f示出了供用户上传部署数据文件的示例交互式用户界面(ui)。49.图9g示出了用于基于用户的选择和配置显示测量结果概要的示例交互式用户界面(ui)。50.图9h示出了用于配置用于测量并显示在测量结果中的度量‑方法方案的示例交互式用户界面(ui)。51.图9i示出了用于配置用于测量并显示在测量结果中的网络度量的示例交互式用户界面(ui)。52.图9j示出了用于在测量结果中显示的增量度量的详细视图的示例交互式用户界面(ui)。53.图9k示出了用于在测量结果中显示的多个增量度量的详细视图的示例交互式用户界面(ui)。54.图9l示出了用于在地图视图中显示部署项目和测量结果概要的示例交互式用户界面(ui)。55.图10示出了测量网络部署对感兴趣的地理区域的影响的示例方法。56.图11示出了与社交网络系统相关联的示例网络环境。57.图12示出了示例计算机系统。58.示例实施例的描述59.综述60.问题61.用于部署网络连接部署以优化通信网络的传统系统和方法具有许多缺点，并且可能导致非最佳网络性能。例如，用于测量部署影响的传统系统和方法可能假设存在合格的对照区域，这在某些情况下可能不成立。当没有合格的对照区域用于测量时，传统的系统和方法可能从测量结果中产生不可靠或者甚至错误的推断，并部署错误的部署来优化通信网络，这可能因此导致非最佳的网络性能(例如，降低的网络速度、抑制的活跃用户数量、更长的网络延迟等)。此外，即使合格的对照区域确实存在，但当候选对照区域的数量大时(例如，一个国家的数百或数千个城市或地区)，传统的系统和方法也不能有效地识别它们。非最佳对照区域可能导致部署影响的测量结果不准确，并导致网络上的非最佳或甚至错误部署，这将导致非最佳网络性能。此外，传统系统和方法仅测量相对较大的区域(例如，州/省级别或城市级别)。当影响区域相对较小时(例如，邮政编码区域、千米级区域)，这些小区域包含相对较少数量的样本(例如，网络用户)。依赖于对大量样本求平均的网络度量可能是不稳定的或/和不可靠的，因为在这些区域中只有有限数量的样本可用，并且传统的系统和方法可能导致不准确的影响测量和非最佳的网络部署。62.解决方案63.本系统的特定实施例解决了传统系统和方法的缺点，并为这些技术问题提供了技术解决方案。例如，系统的特定实施例可以识别合格对照区域不存在的情况。因此，该系统可以避免基于合格对照区域的假设存在的测量的不可靠或错误推断，并避免非最佳网络部署。作为另一个示例，系统的特定实施例可以使用聚类过程将(例如，具有相似特征的)大量候选对照区域分组到多个类别中，以缩小对照区域范围并以高准确度和精度识别合格的对照区域。作为另一个示例，系统的特定实施例可以使用许多对照区域的加权组合来确定用于测量部署影响的准确和精确的基线。该系统即使是在受影响区域所具有的样本数量相对较少的时候也提高了部署影响测量的准确性和精度。64.好处/技术效果65.本系统的特定实施例解决了用于部署网络连接部署以优化通信网络的传统系统和方法的局限性和缺点。系统的特定实施例避免了基于对照区域的假设存在的测量的不可靠或错误推断，并且通过提高网络部署的有效性来提高网络性能。系统的特定实施例从大量候选对照区域中识别具有更好质量和准确度的合格对照区域。系统的特定实施例提高了测量网络部署影响的准确度和精度。系统的特定实施例能够实现最佳网络部署并提高网络性能(例如，更高的网络速度、更低的网络延迟、更多的连接用户等)。66.系统架构67.图1示出了部署影响测量系统100的示例架构。在特定实施例中，系统100可以包括测量数据源模块110、影响测量模块120、内部测量模块130、外部测量模块140等。测量数据源模块110可以包括多个数据源，其为影响测量模块120提供数据(例如，网络性能数据112、区块级用户度量数据114、部署数据116等)。测量数据源模块110可以包括用于从支持基础设施(例如，sn服务器、应用、运营商基础设施)收集所有相关数据的数据收集程序。网络性能数据可以从网络洞察系统收集，并且区块级用户度量数据可以由地理预测算法生成。影响测量模块120可以包括方法模块122、度量表124、部署数据库126等。方法模块122可以包括用于测量部署影响的许多不同方法(例如，综合对照方法、保留实验、增长核算方法等)的实现。部署数据库126可以存储与任何实体进行的部署(例如，历史部署、未来部署)相关的数据。部署数据库126可以从测量数据源模块110接收部署数据116。影响测量模块120可以接收和处理来自测量数据源模块110的数据(例如，数据网络性能数据112、区块级用户度量数据114、部署数据116等)，并生成部署影响测量结果。内部客户的内部测量模块120可以包括内部门户132(例如仪表板)、内部服务模块134等。外部合作方(例如，移动网络承运商、互联网服务提供商、原始设备制造商等)的外部测量模块140可以包括独立门户142、集成到现有门户中的门户144、合作方数据摄取api146等。影响测量模块120可以从内部测量模块130和外部测量模块140接收数据并向其发送数据。合作方数据摄取api146可以收集合作方部署数据，并将收集的数据发送到部署模块116。内部测量模块130和外部测量模块140可以包括多个交互式用户界面，用于客户(例如，内部客户和外部客户)与系统100交互(例如，输入查询和查看结果)。68.互联网用户的增量数量69.综合对照方法70.在特定实施例中，系统可以使用综合对照方法来测量对一个或更多个通信网络进行的网络连接部署的影响。综合对照方法可以是一种用于在比较测量中评估网络部署或干预的效果的统计方法。综合方法可以包括识别一个或更多个对照区域，将受部署或干预影响的感兴趣的区域与该对照区域进行比较。对照区域可用于确定基线(例如，使用两个或更多个对照区域的加权组合)，该基线可指示如果感兴趣的区域没有接收到部署或干预，该区域将会发生什么。部署或干预的影响可以通过将部署或干预之后的一个或更多个网络性能度量与所确定的基线进行比较来测量。71.增量度量72.在特定实施例中，系统可以为通信网络确定一个或更多个增量度量，以量化部署影响。在特定实施例中，增量度量可以包括，例如但不限于，互联网用户的增量数量(例如，增量每月活跃人数(map))、体验更快网络速度或更少网络延迟的互联网用户的增量数量(例如，体验更快网络速度的增量每月活跃人数(map))、花费在网络上的时间、信号强度、增长核算度量(例如，流失用户数、用户流失率、新用户数量、恢复用户数)、连接人数、网络流量、样本数、样本量等。在特定实施例中，系统可以基于网络生态系统的一个或更多个关键性能指标(kpi)(例如，互联网采用(internetadoption)、网络速度、收入(revenue)、网络使用(usage)等)来测量在通信网络上进行的网络部署的影响。在特定实施例中，系统可以基于多个网络度量的加权组合来确定复杂影响度量。考虑到多个网络度量和相应的加权因子，复杂影响度量可以指示部署的总体影响级别。在特定实施例中，系统可以通过将部署后的网络度量与所确定的基线进行比较来计算增量度量，该基线指示如果受影响区域没有接收到部署会发生什么。73.包括综合对照的因果推断方法74.在特定实施例中，系统可以通过将感兴趣的区域的一个或更多个网络度量与基线进行比较来测量部署影响(例如，确定部署的积极的和统计上显著的影响)，该基线指示如果感兴趣的区域没有接收到部署会发生什么。在特定实施例中，系统可以使用多种方法来确定用于测量部署影响的基线。在特定实施例中，系统可以使用准实验(quasi‑experimental)统计方法来找到用于确定基线的可信对照区域。例如，系统可以使用包括综合对照的因果推断方法来确定对照区域。因果推断方法可以包括用于识别用于测量感兴趣的区域中的增量变化的对照区域和相关属性(例如，位置、面积、大小)的模型。因果推断方法可以通过基于部署前网络性能数据匹配候选对照区域和感兴趣的区域的网络度量特征(例如，趋势、斜率、范围、变化、误差水平、置信水平)来识别对照区域。例如，系统可以基于部署前网络性能数据来确定与候选对照区域相关联的一个或更多个网络度量特征。该系统可以将候选对照区域的所识别的网络度量特征与感兴趣的区域的网络度量特征进行比较。当候选对照区域和感兴趣的区域的网络度量特征(例如，趋势、斜率、范围、误差水平、置信水平)满足一个或更多个资格标准(例如，相似性阈值)时，系统可以识别合格的对照区域。系统可以假设，如果该部署没有被部署，受部署影响的区域中的网络度量将由对照区域或对照区域的加权组合来近似。75.步骤1：数据收集76.在特定实施例中，系统可以首先收集与受影响的用户、受影响的区域(例如，受影响的位置、受影响的区域大小、受影响的半径)、受影响的运营商(例如，运营商id)、影响时间窗口(例如，启动日期、影响持续时间)、影响类型(例如，新的wi‑fi、改进的回程、更高的网络速度、更少的网络延迟、升级的4g/5g网络、改进的网络覆盖等)、部署或干预信息(例如，部署日期、部署类型、部署持续时间、部署位置纬度、部署位置经度、影响半径)等相关的数据。网络数据可以从一个或更多个通信网络的一个或更多个支持基础设施(例如，sn服务器、应用、运营商等)收集。77.在特定实施例中，系统可以测量网络部署日期前后预定时间窗口的部署影响。例如，系统可以在围绕部署事件的120天时间窗口(例如，部署前60天和部署后60天)内测量部署影响。系统可以访问或收集与部署前的60天时间段和部署后的60天时间段相关联的网络数据。作为另一个示例，系统可以在部署事件前后的6个月时间窗口内测量影响。系统可以访问或收集与部署前3个月和部署后3个月相关联的网络数据。作为另一个示例，系统可以在部署事件前后的12个月时间窗口内测量影响。系统可以访问或收集与部署前的6个月时间段和部署后的6个月时间段相关联的网络数据。78.在特定实施例中，系统可以基于与使用地理预测算法确定的部署位置附近最频繁使用互联网(例如，社交网络)的用户相关的数据来计算互联网用户的增量数量。在特定实施例中，系统可以基于一种或更多种其他类型的数据——例如，应用数据(例如，社交网络应用、第三方应用、网络承运商应用、运营商应用)、网络流量数据(例如，蜂窝塔数据)、服务器数据、运营商数据、服务提供商数据、应用开发者数据、第三方数据等——来计算互联网用户的增量数量。在特定实施例中，系统可以通过使用地理预测算法计算预测居住在受影响地区的用户来计算针对每个部署的互联网用户的增量数量。随着时间的推移，地理预测算法可能不一致，尤其是当用户在两个不同的地理地区之间分配他们的时间时。为了解决一致性问题，系统可以为每个用户使用在预定时间段(例如，最后14天)期间最频繁观察到的地理区块。在特定实施例中，地理预测算法可以使用不同的时间窗口来平滑用户级区块预测，并进一步提高预测一致性。该系统可以使用最频繁的互联网使用区块(例如，社交网络使用区块)来捕获启用了位置服务的大部分互联网用户(例如，启用了位置服务的用户的社交网络使用的70％)。该系统可以使用将用户与最频繁的互联网使用区块匹配的定制流水线(pipeline)。该系统可以聚集具有位置服务能力的用户的参与度量，以获得关于部署对该系统可能具有良好位置信号的子群体的影响的另一信号。该系统可以提高地理预测结果的准确性。在特定实施例中，系统可以在用户级别平滑地理预测数据，以提供更稳定的用户到区块的映射。79.步骤2：区域聚类和缩窄80.在特定实施例中，可能存在更大数量的区域，例如，国家范围内的州/省、城市、城镇，这些区域可以是用于测量对特定感兴趣的区域(例如，城市)的部署影响的候选对照区域。由于候选对照区域的绝对数量(例如，全国数百或数千个城市或地区)，可能很难找到合格的对照区域来近似感兴趣的区域。在特定实施例中，系统可以预处理收集的数据并将候选对照区域聚类成组，以缩窄用于识别合格对照区域的范围。每个组可以包含具有至少一个相似性的候选对照区域。相似性可以基于一个或更多个网络度量(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量、花费在网络上的时间、网络流量、信号强度、样本数量等)和/或一个或更多个网络度量特征(例如，趋势、斜率、变化、范围、误差水平、置信水平)来确定。被聚类到同一类别的区域所需的相似性可以包括一个网络度量特征或多个网络度量特征的组合。网络度量特征可以基于一个网络度量或多个网络度量的组合。在特定实施例中，系统可以基于平均度量值或/和度量的斜率对候选对照区域进行聚类。在特定实施例中，系统可以使用降维技术来确定一个或更多个网络度量的历史趋势，并且基于所确定的趋势来聚类候选对照区域。81.作为示例而非限制，系统可以基于所收集的数据来确定不受部署影响的多个区域(例如，保留区域、受影响区域之外的区域)的每月活跃人数(map)。系统可以识别区域的部署前map的一个或更多个趋势(例如，增加、减少、波动、稳定)。然后，系统可以基于所识别的相应区域的趋势将区域聚类成不同的类别(例如，增加区域、减少区域、波动区域、具有稳定map的区域)。聚类成特定类别或组的区域可以具有相同或相似的趋势，并且可以用作具有相同或相似map趋势的感兴趣的区域的候选对照区域。作为另一个示例，系统可以确定在部署之前多个区域在预定时间段(例如，60天)上的map曲线的斜率。然后，系统可以基于区域的map曲线的斜率范围(例如‑15°～‑10°、‑10°～‑5°、‑5°～0°、0°～5°、5°～10°、10°～15°)将区域聚类成不同的类别。聚类在同一类别中的所有区域可以具有在相同预定范围内的map曲线斜率，并且可以用作具有在相同范围内的map曲线斜率的感兴趣的区域的候选对照区域。值得注意的是，map被用作示例度量，并且网络度量不限于map。可以用于表征网络性能的任何合适的网络度量可以用作聚类候选对照区域的基础。网络度量可以包括，例如，但不限于，月活跃人数(map)、体验更快网络速度(例如，更快网络下载速度、更少网络延迟)的月活跃人数(map)、花费在网络上的时间、信号强度、增长核算度量(例如，流失用户、用户流失率、新用户、恢复的用户)、连接人数、网络流量、样本数、样本量等。82.作为另一个示例，系统可以基于这些区域的网络度量值或范围将这些区域聚类成不同的类别。当网络速度被用作网络度量时，基于这些区域中的网络速度值或范围(例如，非常差：<0.5mbps；差：0.5～1mbps；一般：1～1.5mbps；好：1.5～5mbps；很好：5～15mbps；非常好：>15mbps等)，这些区域可以被聚类成不同的类别。同一类别中的所有区域可以用作网络速度在相同范围内的感兴趣的区域的候选对照区域。作为另一个示例，系统可以基于网络度量的误差水平将区域聚类成不同的类别。一个类别中的所有区域可以被用作对于该网络度量具有相同误差水平的感兴趣的区域的候选对照区域。作为另一个示例，系统可以基于网络度量的置信水平将区域聚类成不同的类别。一个类别中的所有区域可以用作对于该网络度量具有相同的置信水平的感兴趣的区域的候选对照区域。作为另一个示例，系统可以基于两个或更多个网络度量特征(例如，趋势、斜率、变化、范围、误差水平、置信水平)的任意组合将区域聚类成不同的类别。例如，系统可以将网络速度低于0.5mbps并且网络速度下降斜率在(‑1°,0°)以内的所有区域聚类为差且缓慢下降的网络速度类别。83.步骤3：识别对照区域84.在特定实施例中，系统可以将候选对照区域聚类成不同的类别或组，以缩窄识别具有更快速度和更高质量的合格对照区域的范围(例如，对照区域对趋势的更准确和更好的近似)。在候选对照区域已经被聚类成相应的类别或组之后，系统可以基于与这些区域相关联的网络度量特征和一个或更多个资格标准来识别合格的对照区域。在特定实施例中，资格标准可以包括与区域相关联的一个或更多个网络度量或网络度量特征的一个或更多个资格阈值。资格阈值可以指示对照区域和感兴趣的区域的部署前网络度量(或网络度量特征)之间的相似度或匹配度。本系统可以将感兴趣的区域的网络度量或网络度量特征与候选对照区域的网络度量或网络度量特征进行比较，并且当匹配程度满足由相应相似性阈值定义的资格标准时，将这些区域识别为合格对照区域。85.图2a示出了使用包括综合对照的因果推断方法来识别合格对照区域的示例网络度量匹配结果。作为示例而非限制，系统可以测量12个月时间窗口的部署影响(例如，部署时间202之前的前6个月时间段和部署时间202之后的后6个月时间段)。系统可以收集这些时间段内的网络性能数据，并为候选对照区域和感兴趣的区域计算这些时间段内的map值。然后，系统可以计算候选对照区域和感兴趣的区域的map值差，如曲线210a所示的部署前时间段和曲线210b所示的部署后时间段。系统可以确定统计显著性的置信区间(例如，95％置信区间的上限曲线212a‑b和下限曲线214a‑b)。map差的曲线210a‑b可以被部署时间202分成部署前部分210a和部署后部分210b。系统可以基于部署前map差值(例如，210a)和一个或更多个资格阈值来确定候选对照区域是否是合格对照区域。例如，系统可以使用0.5％的波动范围作为资格阈值。可以将与map差曲线210a相关联的候选对照区域确定为合格对照区域，因为map差在0％左右，这在0.5％的波动范围内。作为另一个示例，系统可以使用±1°斜率阈值作为资格阈值。可以将与map差曲线210a相关联的候选对照区域确定为合格对照区域，因为map差曲线具有±1°以内的总斜率。在特定实施例中，系统可以计算感兴趣的区域和候选对照区域的加权组合之间的map差，并且当map差满足由相应资格阈值定义的要求时，将这些候选对照区域识别为合格对照区域。系统可以确定在部署之前与部署区域中的网络map趋势最匹配的对照区域的加权组合。86.步骤4：确定显著影响87.在识别了合格的对照区域之后，系统可以基于一个或更多个对照区域或对照区域的加权组合来确定基线，用于测量感兴趣的区域的部署影响。系统可以假设，部署后感兴趣的区域的map趋势可以通过不进行部署的情况下对照区域的相同加权组合来近似。系统可以将受影响区域(例如，感兴趣的区域)的map与由对照区域的加权组合近似的map趋势进行比较，以通过计算受影响区域和基线的map差异来测量部署影响。作为示例而非限制，map差曲线210b示出了受影响区域的map和所确定的基线之间的差异。曲线210b表明，在部署后的6个月时间内，影响区域和基线之间的map差从0％正增加到8％，斜率约为45°。88.在特定实施例中，系统可以基于互联网用户的增量数量(例如，map)和相应的显著性标准(例如，显著性阈值)来确定是否存在显著影响。例如，系统可以使用6个月时间段内5％的正增长作为互联网用户的增量数量(例如，map)的显著性阈值，并且可以将如图2a中的210b所示的部署影响确定为显著影响(因为它在6个月时间段内正增长了8％)。作为另一个示例，系统可以使用在6个月时间段内正增长的30°斜率作为显著性阈值，并且可以将如图2a中的210b所示的影响确定为显著性影响(因为它对于在6个月时间段内正增长具有45°斜率)。在特定实施例中，系统可以使用来自综合对照方法的样本外预测来计算度量的标准误差，并且使用基于统计置信度的阈值来将测量的影响限定为有资格为或无资格为显著影响。例如，当互联网用户总增量的标准误差大于统计置信阈值时，系统可以确定测量的影响在统计上不显著。89.应用案例90.作为另一个示例，系统可以使用包括综合对照的因果推断方法来测量部署的影响，该部署在多个部署区域中增加或升级481个蜂窝塔。系统可以使用120天的时间窗口(例如，部署前60天和部署后60天)来确定部署的互联网用户的增量数量(例如，增量map)。系统可以使用95％的置信度作为显著性阈值。例如，对于第一组34个蜂窝塔(即，受部署影响的所有塔的7.07％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)是567126，其中互联网用户的增量数量是28035，置信区间为95％(25977，30093)。由于互联网用户的增量数量(例如，增量map)变化的置信区间的下限高于零，系统可以确定这些区域中的影响是积极的并且在统计上是显著的。作为另一个示例，对于第二组13个蜂窝塔(即，受部署影响的所有塔的2.70％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为260090，互联网用户的增量数量为‑15321。互联网用户的增量数量变化为‑5.80％，其低于‑3％。因此，系统可以确定这些区域的影响是负面的，并且在统计上是显著的。作为另一个示例，对于第三组114个蜂窝塔(即，受部署影响的所有塔的23.70％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为8151820，互联网用户的增量数量为12201。互联网用户的增量数量变化为0.15％，在±3％以内。因此，系统可以确定这些区域的影响绝对值小于3％，并且在统计上是不显著的。作为另一个示例，对于第四组152个蜂窝塔(即，受部署影响的所有塔的31.60％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为5835144，互联网用户的增量数量(例如，增量map)为115759。互联网用户的增量数量变化为2.04％，在±3％以内。因此，系统可以确定这些区域的影响在统计上不显著，但在1％以上。作为另一个示例，对于第五组100个蜂窝塔(即，受部署影响的所有塔的20.79％)，系统可以确定在120天的时间窗口内互联网用户的总数(例如，总map)为3092167，互联网用户的增量数量(例如，增量map)为‑49385。互联网用户的增量数量变化为‑1.59％，在±3％以内。因此，系统可以确定这些区域的影响在统计上不显著，并且低于‑1％。作为另一个示例，对于第六组68个蜂窝塔(即，受部署影响的所有塔的14.14％)，系统可以确定在120天时间窗口内互联网用户的总数(例如，总map)为2932815，互联网用户的增量数量(例如，增量map)为84245。尽管互联网用户增量数量的变化为3％，但系统可以确定无法测量这些区域中的影响，因为系统无法识别可信的对照区域(例如，训练误差高度偏离t分布)。系统自动生成的推断不应该算作影响。作为另一个示例，系统可以确定在这些481个蜂窝塔上的互联网用户的总数(例如，总map)不能被确定，因为互联网用户的总增量数(例如，增量map)的标准误差高于标准误差阈值，并且系统可以确定标准误差太大而不能声称对481个蜂窝塔的互联网用户的总数量(例如，map)具有统计显著性。91.识别测量失败92.用于测量部署影响的传统系统和方法可能总是假定存在合格的对照区域，而在某些情况下可能并非如此。当没有合格的对照区域用于测量时，传统的系统和方法可能从测量结果中产生不可靠或甚至错误的推断，并部署错误的部署来优化通信网络，这可能因此导致非最佳的网络性能(例如，降低的网络速度、抑制的活跃用户数量、更长的网络延迟等)。93.在特定实施例中，系统可以在综合对照方法发生故障时识别该故障，并通过识别合格对照区域不存在的情况来避免从影响测量结果中得出不可靠或不正确的推断。作为示例而非限制，系统可以基于部署前的时间模式来确定综合对照方法失败，该时间模式显示由统计方法构建的反事实不接近实际度量趋势(例如，在部署前的曲线中存在斜率，而它应该是平坦的)。系统可以确定合格的对照区域不能被识别，因为没有区域满足基于度量的资格标准。该系统可以避免基于合格对照区域的假设存在的自动测量结果的不可靠或错误推断，并避免非最佳网络部署。在这种情况下，系统可指示由于缺乏合格的对照区域而无法有效地测量影响，并且可指示假设对照区域存在的自动推断可能不可靠。作为另一个示例，当指示不确定性的误差棒(errorbar)高于预定阈值时，系统可以确定综合对照方法失败。作为另一个示例，系统可以识别由于回忆问题或预见问题导致的综合对照方法的失败。系统可以确定以下情况：(1)部署影响无法测量；(2)部署后实际上没有发生任何事情(例如，测量结果是由噪声引起的)；(4)部署后存在网络度量变化，但测量结果的置信度水平较低，因为变化可能在误差范围内。94.图2b示出了当不能识别合格的对照区域时的示例网络度量匹配结果。作为示例而非限制，系统可以测量12个月时间窗口的部署影响(例如，部署时间204之前的6个月时间段和部署时间204之后的6个月时间段)。系统可以收集这些时间段内的网络性能数据，并为候选对照区域和感兴趣的区域计算这些时间段内的map值。然后，系统可以计算候选对照区域和感兴趣的区域的map值差，如曲线220a所示的部署前时间段和曲线220b所示的部署后时间段。曲线222a‑b和224a‑b可以指示具有95％置信水平的map差值的范围。map差的曲线220a‑b可以被部署时间204分成部署前部分210a和部署后部分210b。系统可以基于部署前map差(例如，220a)和一个或更多个资格阈值来确定候选对照区域是否是合格对照区域。例如，系统可以使用由综合对照方法估计的反事实和部署区域之间的差异的部署前模式来确定对照区域的资格。具体而言，差曲线220a可以在部署前时段期间向上倾斜，表现出部署区域中的度量比对照区域中的度量在部署前时段期间增长得更快。因此，对照区域可能与部署区域不够相似。然后，系统可以确定所选择的对照区域不能用于对部署影响的有效推断。95.小区域96.在特定实施例中，系统可以测量例如国家、城市、州/省、城镇、村庄、定居点、区块、邮政编码区域、千米级区域等不同大小的区域中的部署影响。受影响区域的特征可以是位置和半径。在特定实施例中，感兴趣的区域或受影响区域的大小可以相对较小(例如，邮政编码区域、千米级区域、小时级区域等)，并因此包含相对较少数量的用于收集数据的样本(例如，较小的map数量、较少的网络流量、较少数量的样本等)。对于传统系统和方法来说，准确测量这些区域中的部署影响在技术上是困难的，因为较少数量的样本可能导致不太稳定或/和不太可靠的网络度量确定。例如，依赖于来自该区域的所有样本的平均的网络度量(例如，平均网络速度)在为较小区域计算时可能不如为包括较大数量样本的较大区域计算的相应度量稳定和/或可靠。不太稳定或不太可靠的网络度量可能导致不准确的测量基线，从而导致不准确的测量结果。在特定实施例中，系统可以识别多个对照区域(例如，使用包括综合对照的因果推断方法)，并且可以确定用于确定网络度量基线的对照区域的加权组合。通过访问包括互联网(例如，社交网络)使用数据的数据源并使用多个对照区域的加权组合，系统可以提高所确定的基线的准确性(例如，基于所有这些对照区域中的样本总数)，并因此提高用于测量相对较小区域中的部署影响的测量准确性。本系统的特定实施例可以提高在所有大小的区域(例如，国家、城市、州/省、城镇、村庄、定居点、区块、邮政编码区域、千米级区域等)上测量部署影响的准确性。在特定实施例中，系统可以将最小的可测量区域限制为1.2km×1.2km的大小。97.跨网络聚合98.在特定实施例中，map可以包括部署区域中的所有用户(例如，跨越所有运营商)，不包括重复计数的账户。排除重复计数后，系统可以对不同部署进行求和，以计算互联网用户的总增量数量。在特定实施例中，系统可以对包括正面或负面(无论统计上是否显著)的所有影响进行求和，以确定总体影响，从而最大化影响核算。在特定实施例中，系统可以仅将统计上显著的正面和负面影响相加。在特定实施例中，系统可以仅对统计上显著的积极影响求和，以提高统计显著性准确性。在特定实施例中，系统可以通过估计部署之间的协方差项来聚合多个部署，因为由于影响部署的共同因素(例如，诸如季节性)，系统不能假设跨部署的独立性。99.部署类别100.在特定实施例中，系统可以测量不同类别的多个部署的影响。例如，部署可为部署前没有互联网连接的区域添加wi‑fi连接。作为另一个示例，部署可以将一个或更多个蜂窝塔添加到在部署之前该区域中没有来自任何运营商的连接的区域。在这些情况下，无法建立基线，因为在部署之前没有互联网连接。作为另一个示例，部署可以将新的wi‑fi连接添加到预先存在其他运营商的互联网连接的区域。作为另一个示例，部署可以将一个或更多个新的蜂窝塔添加到预先存在来自其他运营商的蜂窝塔的区域。作为另一个示例，部署可以将一个或更多个新的蜂窝塔添加到存在来自同一运营商的预先存在的重叠蜂窝塔的区域。作为另一个示例，部署可以将一个或更多个现有蜂窝塔升级到新技术。作为另一个示例，在不改变技术的情况下，部署可以给现有的蜂窝塔增加更多的网络容量。作为另一个示例，部署可以扩展区域中的预先存在的网络。在这些情况下，可以使用预先存在的网络的网络度量来确定测量部署影响的基线。101.保留实验102.图3示出了基于从长期保留实验中收集的数据确定的互联网用户增量数量的示例结果。在特定实施例中，系统可以使用多个保留区域作为用于测量部署影响的对照区域。保留区域可以是在长期保留实验期间被排除在部署之外的区域。该系统可以从保留区域和受影响区域收集数据，并计算互联网用户的增量数量以测量部署影响。在特定实施例中，系统可以使用一组随机选择的保留区域作为对照区域来确定互联网用户增量数量基线。可以以类似于a/b测试的方式随机选择保留区域。系统可以假设，如果部署没有被部署，则受部署影响的区域将会被保留区域近似。在特定实施例中，系统可以使用短期结果来预测长期影响(例如，对活跃互联网用户数量的影响)，并且使用第三方数据来校正从特定客户(例如，参与该计划的设备制造商的客户)收集的数据的偏差。作为示例而非限制，如图3所示，系统可以基于保留区域来确定互联网用户的预计增量数量302，作为用于测量部署影响的基线。该系统可以基于从保留实验收集的数据来确定互联网用户的增量数量的多个组成部分(例如，306、308)，并且基于互联网用户的增量数量的组成部分(例如，306、308)来确定互联网用户的总增量数量304。系统可以通过将感兴趣的区域的互联网用户的总增量数量304与互联网用户的预计增量数量302进行比较来测量部署影响。互联网用户的总增量数量304和互联网用户的预计增量数量302之间的差异可以指示部署影响的程度。该系统可以通过将互联网用户的增量数量的一个或更多个组成部分(例如，306、308)与互联网用户的预计增量数量302进行比较来测量部署影响。互联网用户的增量数量的组成部分(例如，306、308)可以对应于不同类型的区域，例如，零评级区域、sms绑定区域等。103.作为另一个示例，但不是作为限制，系统可以根据从保留实验中收集的数据来确定关于在特定日期进行的部署的互联网用户的增量数量。系统可以确定互联网用户的数量在部署后的第一个月期间显示出8％的增加，并且提升在第二个月减少到2％，并且在60天后消失。系统可以使用5％的显著性阈值来确定影响是否显著。系统可以确定部署仅在前60天期间产生显著影响(例如，增加互联网用户的数量)，并且在前60天时间段之后影响降低到不显著的水平。104.增长核算105.在特定实施例中，系统可以通过将受影响区域的一个或更多个部署后网络度量与该受影响区域的相应部署前网络度量进行比较来测量部署影响。系统可以假设，如果不在感兴趣的区域进行部署，则部署前网络度量趋势会在感兴趣的区域继续。在特定实施例中，系统可以使用受影响区域中的客户转变度量(例如，新客户数、流失客户数、用户流失率、恢复客户数等)来测量部署影响。该系统可以确定用户流失率，该流失率可以是在给定时间段内中止他们的订阅的订户或用户的百分比。受影响区域的特征可以是例如由影响半径和部署位置确定的圆形区域。在特定实施例中，系统可以使用地理预测算法基于客户转变度量来确定互联网用户的增量数量，并且可以在运营商级别划分客户转变度量。例如，系统可以基于每个转变类别(例如，新客户、恢复客户、流失客户等)中的客户数量来确定互联网用户的增量数量。系统可以通过比较部署前趋势和部署后趋势来执行精确的影响测量。106.图4a示出了与增长核算相关的蜂窝塔升级对感兴趣的区域的互联网用户的增量数量的总体影响的示例结果。该系统可以在围绕蜂窝塔升级部署的7个月时间段内从感兴趣的区域收集数据。系统可以在部署时间408之前和之后确定与新用户404、恢复的用户406和流失用户402相关的互联网用户的数量(例如，map)。图4b示出了对通过多个蜂窝塔升级聚集的互联网用户的增量数量的总体影响的示例结果。系统可以对蜂窝塔升级聚合，以显示在部署时间418之前的60天时段和部署时间418之后的60天时间段的互联网用户(例如，流失用户412、新用户414、恢复的用户416)的增量数量。107.体验更好网络速度的用户的增量数量108.用户级109.在特定实施例中，系统可以确定体验更快网络速度的互联网用户的增量数量，以测量在通信网络上进行的部署的影响。该系统可以基于所测量的部署影响来优先化和优化未来的网络连接部署，以提高网络速度。该系统可以基于准确的测量结果显著地改进用于优先化连接部署的决策过程。该系统可以基于一个或更多个网络度量来确定体验受影响区域的更快网络速度的互联网用户的数量，该网络度量包括例如但不限于网络速度、延迟、花费的时间等。在特定实施例中，系统可以计算受速度提高部署影响的人数，并对部署影响执行用户级速度测量。在特定实施例中，系统可以测量用户在部署程序级别或在受部署程序影响的地理位置所体验的网络速度。在特定实施例中，系统可以根据部署类型使用各种方法来确定部署前后网络度量的变化。例如，如果部署在部署前没有网络覆盖的区域部署，系统可只对互联网用户的增量数量计数，而排除体验更快网络速度的互联网用户的增量数量，以避免重复计数。110.区块和ap级111.在特定实施例中，当部署/干预的位置已知时，系统可以在区块级测量受影响区域内的下载速度。区块级测量可以在不同的部署程序中是一致的，并且可以提供一致的方式来测量体验更快网络速度的互联网用户的增量数量。在特定实施例中，当接入点(ap)的标识符已知时，系统可以测量ap级别的下载速度。系统可以确定下载速度在为部署网络速度之前和之后定义的一组预定速度桶上的分布的变化或移动。作为示例而非限制，系统可以确定在部署之后在该组下载速度桶上的速度分布已经显著改变。系统可以基于速度分布变化(例如，从较低速度桶移动到较高速度桶)来测量部署影响。作为另一个示例，系统可以确定在升级网络之后该组速度桶上的速度分布没有显著变化，并且系统可以确定速度分布没有显著变化的原因。例如，系统可能确定在部署前95％的请求来自4g小区，这意味着即使在升级之前，该地区仍以4g为主，增加更多4g的部署并没有显著改变速度分布。112.测量下载速度113.图5示出了基于http请求的端到端测量来测量下载速度的示例过程。在特定实施例中，系统可以使用下载速度(例如，以kbps/mbps为单位)作为网络度量来测量不同部署程序之间的部署影响。下载速度可以用于测量网络用户的体验质量。输入数据可以由下载速度测量仪器基于来自支持位置服务的用户的1％请求样本来记录(例如，当应用在前台运行时)。该系统可以共享网络洞察(ni)系统使用的相同数据源。在特定实施例中，该系统可以使用定制仪器，使用http请求的端到端测量(例如，从社交网络服务器到客户端设备)来测量样本请求的网络下载速度和延迟。114.作为示例而非限制，系统可以测量从端到端http请求和响应过程的下载速度。如图5所示，时间线以上的区域516可以对应于客户端设备从服务器接收数据的过程，时间线以下的区域518可以对应于客户端设备向服务器发送数据的过程。用户请求可以在用户请求时间502生成，例如，当用户拉取社交网络动态消息(newsfeed)时生成。用户请求可以在请求发送时间504从用户设备(例如，智能手机、平板电脑、计算机)发送到社交网络平台的服务器。服务器可以在请求接收时间506接收请求，并在第一字节发送时间508开始发送数据的第一字节。客户端设备可以在第一字节接收时间510从服务器接收第一字节。接着服务器可以开始向客户端设备发送http响应主体(例如，视频内容、新闻内容)。客户端设备可以在最后一个字节接收时间514接收http响应主体512的最后一个字节。系统可以通过将http响应主体512的大小除以用于传送http响应主体的持续时间520来确定下载速度。基于http请求的测量可能比评估最大网络容量的传统吞吐量测量要轻。在特定实施例中，系统可以移除具有小于12kbit的http响应主体大小的样本，以移除斜坡上升效应。115.rtt延迟116.图6示出了用于测量往返时间(rtt)延迟的示例过程。在特定实施例中，系统可以使用往返时间(rtt)来确定网络延迟，以测量部署的影响。系统可以跟踪原始延迟测量，或者使用平滑/平均延迟测量作为延迟度量。作为示例而非限制，可以通过与同步分组(syn)和同步确认分组(ack)的3次握手，在客户端设备502和服务器504之间建立连接。客户端设备502可以首先向服务器504发送syn分组522，服务器504当其接收到syn分组522时可以向客户端设备502发回ack分组524。然后，当客户端设备502接收到ack分组524时，可以计算rtt508。客户端设备502因此可以向服务器504发送syn分组526和530，并且可以从服务器504接收相应的ack分组528和532。117.由于网络类型和客户端设备发送syn分组时的定时差，基于单对syc‑ack的个别rtt测量值可能存在较大差异。为了解决这个问题，系统可以使用平滑的rtt以类似于加权移动平均的方式来测量延迟。在计算总的rtt时，系统可以考虑给定连接的rtt的最近历史。例如，系统可以基于三对syn‑ack分组(例如，522‑524、526‑528、530‑532)来确定三个rtt(例如，508、510和512)，并且基于508、520和512的三个rtt的平均值或加权平均值来确定平滑的rtt514。由于该方法测量用户体验的从社交网络服务器到用户设备的端到端延迟，因此网络性能的测量结果可能会受到网络类型、互联网基础设施、社交网络服务器或缓存机制的影响。在特定实施例中，系统可以使用下游延迟来测量网络延迟。下游延迟可以被定义为社交网络用户的客户端设备上接收到采样请求的第一个字节的时间减去服务器处理时间。118.花费的时间119.在特定实施例中，系统可以使用花费的时间作为网络度量来测量部署的影响。花费的时间可以指示用户在网络上花费的时间量。该系统可以对跨时间、空间和用户花费的时间进行求和，并且以类似于互联网用户数量(例如，map)的方式，使用一个区域花费的总时间或平均时间作为网络度量。在特定实施例中，除了互联网用户的增量数量和体验更快网络速度的互联网用户的增量数量之外，系统可以使用花费的时间作为第三度量来跨程序报告。该系统可以确定由地理预测算法分配给受部署影响的特定区域的用户所花费的时间。该系统可以从互联网(例如，社交网络)使用数据和网络性能增长数据确定每个用户花费的时间。系统可以在没有用户信息的情况下使用会话级工具来跟踪在ap上测量的所有会话。在特定实施例中，系统可以使用同时在线的人数作为网络度量来测量部署的影响。体验更好网络速度的用户的增量数量的测量过程120.步骤1：数据收集121.图7示出了用于确定受影响的区块的示例过程。在特定实施例中，系统可以首先从部署程序或部署合作方收集部署信息(例如，部署位置706、受影响半径710等)。系统可以通过基于部署位置706和影响半径710确定圆形区域来确定受影响区域708。该系统可以将包括部署区域708的周围区域700划分成多个区块(例如，701、702、703a、703b、704等)。区块可以是矩形或正方形形状，并且可以处于特定的地图缩放级别(例如，地图区块缩放级别14)。当任何区块(例如，703a、703b)与至少一部分区块区域的受影响区域708的圆形区域重叠时，系统可以将它们确定为受影响的区块。然后，系统可以确定部署前一段时间的网络速度，并测量部署后一段时间的网络速度变化。在特定实施例中，当感兴趣的网络度量随着时间变得稳定时，部署后时间段可以结束。122.步骤2：确定速度桶上的速度分布变化123.在特定实施例中，系统可以为一个或更多个网络度量建立一个或更多个部署前基线，并将部署后速度与部署前基线进行比较，以确定网络速度是否有显著变化。在特定实施例中，系统可以基于受影响用户的用户体验的变化来比较前后网络性能。在特定实施例中，系统可以基于受影响区域的网络速度分布的变化来比较前和后网络性能。在特定实施例中，系统可以使用基于用户的测量来测量网络速度，以测量单独用户所体验的网络速度改善。在特定实施例中，系统可以使用基于位置的速度测量而不是基于用户的速度测量来测量网络速度，以测量不同位置(例如，区块)的用户体验改善。在特定实施例中，系统可以基于使用客户端仪器从蜂窝塔测量的下载速度来测量网络速度。124.在特定实施例中，系统可以通过确定在预定的一组速度桶上的网络速度分布变化，基于体验更快网络速度的互联网用户的增量数量来测量部署影响。例如，系统可以定义对应于不同用户体验水平的多个速度桶，例如，非常差：<0.5mbps；差：0.5～1mbps；一般：1～1.5mbps；好：1.5～5mbps；很好：5～15mbps；非常好：>15mbps等。速度桶可以对应于不同技术(例如，2g、3g、4g、5g)和不同流内容(例如，没有视频的一般web冲浪、标准清晰度视频、在线游戏、hd视频、4k视频等)的典型速度。部署影响可以基于随着时间的推移将请求的分布从较低速度桶移动到较高速度的桶来确定。例如，在干预或部署之前，具有10mmap的区域可能有30％的请求在好的速度桶内或以上得到服务，而在干预或部署之后，可能有50％的请求在好的速度桶内或以上得到服务。在这种情况下，系统可以确定该部署通过将额外的20％的会话带到好或更高的互联网速度桶来帮助提高10m人的速度。125.在特定实施例中，系统可以使用更通用的速度分桶方案。在特定实施例中，对于给定的部署，系统可以允许用户改变这些桶来定制基于桶或基于阈值的测量。例如，系统用户可以指定第一部署应该将一定数量的客户的下载速度移动到1.5mbps以上，第二部署应该将一定数量的客户的下载速度移动到5mbps以上。系统可以基于流式传输不同类型的互联网内容(例如，没有视频的一般web冲浪、sd视频、在线游戏、hd视频、4k视频等)所需的近似下载速度来确定桶组。系统可以为不同的部署程序选择不同的桶，以基于用户的特定目标将用户移动到这些选择的桶中。例如，一个部署(例如terragraph)可能寻求将用户移动到最快的使用层，而其他部署程序可能旨在让用户达到一般速度桶及以上。在特定实施例中，系统可以优化网络速度桶，以避免激励针对短期内的大改进的多个渐进改进。系统可以根据网络类型和部署(例如，蜂窝、wi‑fi、运营商特定或所有运营商级别等)来确定速度桶。126.图8a示出了在网络部署之前和之后感兴趣的区域的一组速度桶上的示例网络速度分布变化。作为示例而非限制，系统可以测量部署前300天时间段和部署后200天时间段的网络速度。当ap的标识符已知时，系统可以测量ap级别的下载速度，或者当部署的位置已知时，系统可以测量区块级别的下载速度。系统可以确定一组速度桶(例如，非常差：<0.5mbps；差：0.5～1mbps；一般：1～1.5mbps；好：1.5～5mbps；很好：5～15mbps)中每个速度桶的百分比。如图8a所示，非常差速度桶的网络速度百分比值从60％下降到约16％，而一般速度桶的百分比值从15％上升到40％，好速度桶的百分比值从14％上升到30％。因此，系统可以确定部署影响已经将网络速度分布从较低速度桶移动到较高速度桶(例如，从非常差移动到一般和好速度桶)。127.图8b示出了多个运营商的网络速度分布的示例结果。作为示例而非限制，系统可以通过计算多个运营商(例如，运营商a832、运营商b834、运营商c836、运营商838、运营商840)的网络速度值的归一化百分比值来确定网络速度分布。系统可以使用网络速度分布曲线来说明百分比分布，如图8b所示。网络速度分布曲线显示，这五家运营商的大多数用户可能会体验到0.1mbps到15mbps范围内的网速。为了测量部署对特定运营商的影响，系统可以计算并确定部署前后的网络分布曲线，以确定由部署引起的网络速度分布变化。128.步骤3：确定显著性129.在特定实施例中，系统可以基于显著性阈值来确定网络速度变化是否在统计上是显著的。网络速度可能需要从较低速度的桶转移到较高速度的桶，转移的量足够大以至于被认为是显著的。可以为每种方法预先确定阈值。例如，系统可以使用20％的显著性阈值来确定网络速度移动是否显著。速度提升5％的受部署影响的第一个感兴趣的区域可被确定为不显著。速度提升25％的第二个受部署影响的感兴趣的区域可被确定为显著。在特定实施例中，系统可以对多个网络部署使用相同的显著性阈值。例如，系统可以使用以下一致的阈值：将20％的速度从较低速度桶移动到较高速度桶。在特定实施例中，系统可以基于部署属性(例如，类型、位置、启动日期、持续时间、目标)来确定显著性阈值，以允许使用不同的显著性阈值来评估不同的部署。在特定实施例中，系统可以使用基于数据科学的方法来均匀地比较速度分布，以确定显著性阈值。如果速度显著增加，系统可以确定影响在统计上是显著的，并且通过对影响区域中的运营商/isp流量上的每月活跃用户的数量求和来计算体验更快网络速度的互联网用户的增量数量。130.步骤4：输出结果131.当网络速度移动显著时，系统可以确定部署可以达到网络连接目标。当网络速度移动不显著时，系统可以确定部署不能达到网络连接目标。如果网络速度移动显著，系统可以计算体验更快网络速度的互联网用户的增量数量。系统可以计算在部署后的时间段内，在受影响的运营商/isp流量上体验更快网络速度的互联网用户的增量数量。为了将来自测量仪器的样本转换成用户计数，系统可以确定用户对其不同请求所体验的速度分布。一些用户请求可以在非常好的网络速度下得到解决，而其他用户可能会体验到一般的网络速度。系统可以假设给定运营商的给定区域中的所有用户体验相同的网络速度分布。当分布移到更高的速度时，该区域的所有map可能会受到影响。该系统可以比较小的感兴趣的区域中不同运营商的下载速度分布。最后，系统可以为每个部署生成影响声明。例如，系统可以生成一条声明“具有10mmap的区域在干预前有30％的请求处于好的速度或以上，在干预后有50％的请求处于好的速度”。系统可将结果报告为“该部署通过将20％的用户请求从一般和较差网络速度提升到好和较好网络速度而提高了10m人的速度。”132.速度度量桶基线133.在特定实施例中，取决于是否跟踪了受影响的区块上或受影响的用户的历史数据(例如，速度分布)，系统可以将不同的基线方法用于运营商特定的和运营商不可知的方法。系统可以基于估计方法的精度和所需数据的复杂性之间的权衡来优化基线方法的选择。在特定实施例中，当用于用户‑运营商匹配和每用户度量测量的数据源未被验证时，系统可以使用区块级方法。在特定实施例中，当用户级数据源可靠时，系统可以使用用户级方法来测量部署的影响。在特定实施例中，系统可以测量部署区块中所有活跃运营商的网络度量(例如，速度分布)。134.运营商特定方法135.在特定实施例中，该系统使用多种类型的方法(例如，运营商特定方法、运营商不可知方法、基于用户的方法、基于区块和所有运营商的方法等)来计算体验更快网络速度的互联网用户的增量数量。对于运营商特定的方法，系统可以基于部署区域中特定运营商的区块来跟踪网络度量。系统可以通过识别被分配给部署运营商(例如，作为他们的主要运营商)并通过地理预测算法被分配给部署区块的用户来确定受影响的群体。例如，系统可以确定针对指定运营商的部署前后的网络速度分布变化，并比较该运营商在部署前的第一时间段(例如60天)和部署后的第二时间段(例如60天)在部署区块中的速度ping分布。136.运营商不可知的方法137.对于运营商不可知的方法，系统可以基于部署区域中所有运营商的区块来跟踪网络度量。例如，系统可以确定在部署前代表性的网络速度分布，并将部署前的分布与部署后所有运营商的部署的wi‑fi接入点或蜂窝塔的速度分布进行比较。该系统可以比较部署前60天的时间段内部署区块中所有运营商的速度ping的分布和部署后60天的时间段内部署区块中部署运营商的速度ping的分布。138.基于用户的方法139.对于基于用户的方法，系统可以确定部署前后的受影响用户的用户体验变化。例如，系统可以通过部署的wi‑fi接入点或蜂窝塔的使用来识别受影响的用户。该系统可以确定在部署之前60天时间段内所有运营商的受影响用户的速度分布，以确定基线。速度分布可以通过使用每个运营商的用户数量来加权。系统可以将部署前60天时间段的速度分布与部署后60天时间段的速度分布进行比较。该系统可以通过使用基于用户的方法来提供更好的精度。对于基于区块和所有运营商的方法，系统可以通过由地理预测算法识别分配给部署区块的用户来确定受影响的群体。例如，系统可以为部署区域中所有运营商的受影响用户确定部署前后的用户体验变化。系统可以确定并比较在部署之前的60天时间段和部署之后的60天时间段中部署区块中所有运营商的速度ping的分布。使用这种基于区块和所有运营商的方法，系统可以在部署后捕获来自其他运营商的任何竞争响应。在特定实施例中，系统可以使用准实验方法(例如，包括综合对照的因果推断方法)或前后比较方法(例如，增长核算方法)来测量互联网用户的增量数量，并且可以使用运营商级互联网用户增量数量测量作为健全性检查。140.跨程序聚合141.在特定实施例中，该系统可以确定跨程序求和能力，并且在适当时对跨多个部署和网络连接程序体验更快网络速度的互联网用户的增量数量求和。在特定实施例中，系统可以将网络延迟分组到桶中，以便允许交叉部署和程序比较。例如，系统可以使用多个延迟桶，包括，例如但不限于，非常差：>300ms；差：150～300ms；一般：100～150ms；好：50～100ms；很好：0～50ms等。该系统可以通过使用捕获所有互联网流量的外部数据集来测量网络延迟，以便全局监控延迟。该系统可以通过精确到城市水平的ip定位使该测量具有地理特异性。该系统可以使用蜂窝塔信息作为跨程序延迟比较的主要源。142.在特定实施例中，系统可以使用用于用户级速度测量的数据源和不同的测量方法来直接测量被带到更高速度的用户。在特定实施例中，系统可以基于部署基线(例如，至少10％的请求移动到好的速度或更高)为每个程序的影响提供显著性阈值。显著性阈值可以是关于速度、延迟或/和花费的时间。系统可以针对其部署的每个单元(例如，站点、存在点(pops)、热点等)确定受部署影响的速度显著提高的互联网用户(例如，map)的运营商级数量。系统可以确定低于显著性阈值的站点不会对体验更快网络速度的互联网用户(例如，map)的总数有所贡献。系统可以对所有程序中体验高于显著性阈值的更快网络速度的互联网用户(例如，map)的数量进行求和，以获得总影响。该系统可以生成这样的声明：“部署程序和合作方帮助大约10m人实现了显著更高的互联网速度。”在特定实施例中，当用户级速度测量是可靠的时，系统可以基于用户级速度测量，对在多个部署程序的部署前和部署后的每个速度桶中体验更快网络速度的互联网用户(例如，map)的数量进行求和。143.机器学习(ml)模型144.在特定实施例中，系统可以使用机器学习(ml)模型来确定或测量互联网用户的增量数量或/和体验部署影响的更快网络速度的互联网用户的增量数量。例如，系统可以使用ml模型对收集的数据进行预处理，并对相似的候选对照区域进行聚类。系统可以使用ml模型来确定部署前和部署后的网络度量趋势，并将候选对照区域的度量趋势与感兴趣的区域进行匹配，以识别合格的对照区域。作为另一个示例，系统可以使用ml模型来确定网络度量变化的显著性阈值，并确定网络度量变化是否在统计上是显著的。作为另一个示例，系统可以使用ml模型来确定部署和特定影响(例如，map变化、网络速度变化、延迟变化、时间花费变化)之间的相关性(例如，因果关系)。作为另一个示例，系统可以使用ml模型来聚合跨多个部署程序的互联网用户(例如，map)的数量。作为另一个示例，系统可以使用ml模型来生成影响报告声明。145.用户界面146.ui综述147.在特定实施例中，系统可以基于用户通过交互式用户界面(ui)指定的网络度量和方法来测量网络连接部署的影响。该系统可以经由交互式ui从客户端系统接收用户输入，该用户输入包括指定至少通信网络和感兴趣的地理区域的一个或更多个项目约束。用户界面可操作来检索通信网络的网络性能测量和在通信网络上进行的网络部署。例如，系统可以从数据库检索或从系统的用户接收关于网络部署的信息(例如，部署项目、部署日期、部署类型、项目创建者、部署位置、运营商id、预期影响范围、受影响的区块、部署优先级)、与网络度量相关的信息(例如，互联网用户的数量、体验更快网络速度的互联网用户的数量、网络速度、延迟、花费的时间、显著性阈值、过滤标准)、以及与网络性能测量相关的信息(例如，相关运营商、增量网络度量、相似性阈值、显著性阈值、过滤标准、度量‑方法方案、方法类型、包括网络部署前的第一时间段和部署后的第二时间段的时间窗口等)。然后，系统可以生成网络测量项目，用于测量网络性能和网络部署对由通信网络连接的感兴趣的地理区域的影响。系统可以收集或访问部署前后的时间窗口(例如，120天)(例如，部署前60天和部署后60天)的网络性能数据。此后，系统可以基于收集或访问的网络性能数据来确定用户指定的一个或更多个增量网络度量。系统可以将部署后的网络度量与相应的基线进行比较，以确定增量度量(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量)。系统可以基于增量度量(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量)和一个或更多个显著性阈值的比较来确定部署的影响是否显著。最后，系统可以向客户端系统发送用于在用户界面内呈现网络部署的影响的可视化的指令。可视化可以包括描述感兴趣的地理区域的至少一部分的信息以及关于感兴趣的地理区域的所述部分的通信网络的一个或更多个增量度量的指示。该系统可以在交互式ui上向用户显示部署的测量影响(例如，互联网用户的增量数量或体验更快网络速度的互联网用户的增量数量的趋势或变化)。显示的测量结果可以基于通过交互式ui接收的用户输入来定制或更新。148.接收用户输入149.图9a示出了用于从用户接收输入以创建测量项目的示例交互式用户界面(ui)900a。作为示例而非限制，系统可以从弹出对话框901接收用户输入，用于创建新的测量项目。对话框901可以包括供用户键入项目名称的输入字段902、供用户选择运营商的下拉菜单903、供用户选择国家的下拉菜单904、取消项目创建的按钮905以及确认项目创建的按钮906。在特定实施例中，系统可以经由一个或更多个交互式ui接收用户输入，该用户输入包含关于网络部署的信息(例如，部署项目、部署日期、部署类型、项目创建者、部署位置、运营商id、预期影响范围、受影响的区块、部署优先级)、关于网络度量的信息(例如，互联网用户的数量、体验更快网络速度的互联网用户的数量、网络速度、延迟、花费的时间、显著性阈值、过滤标准)、关于时间窗口的信息(例如，部署之前的时间段和部署之后的时间段)，用于测量网络部署影响。150.图9b示出了用于从用户接收输入以编辑测量项目的示例交互式用户界面(ui)900b。作为示例而非限制，系统可以从弹出对话框911接收用户输入，用于编辑测量项目。对话框911可以包括表格，该表格包括用于用户编辑项目名称的项目名称栏912、用于用户编辑或选择运营商名称的运营商名称栏913、用于用户编辑或选择县的国家名称栏914、用于用户编辑或删除项目的编辑‑删除按钮栏915、用于用户创建新项目的新项目按钮916、用于用户确认项目编辑的按钮917。在特定实施例中，系统可以允许用户编辑或配置与测量项目相关联的任何属性或参数。151.列表视图152.图9c示出了用于在列表视图中显示测量项目并允许用户在控制面板中配置测量项目的示例交互式用户界面(ui)900c。在特定实施例中，系统可以提供交互式ui，其可以允许用户创建和配置其影响将被测量的部署项目。在特定实施例中，交互式ui可以基于用户通过交互式ui的选择在列表视图或地图视图中显示部署项目。列表视图模式中的交互式ui可以在表格(例如，蜂巢式表格(hivetable))中显示多个部署。作为示例而非限制，交互式ui900c可以包括分段按钮921，以允许用户在地图视图和列表视图之间切换。列表视图模式中的交互式ui900c可以包括用于显示测量项目的表格930。表格930可以包括许多行和列。每行可以包括一个部署项目，而每列可以对应于与部署相关联的属性。例如，部署属性可以包括例如部署名称931、相关联的程序932(例如，网络洞察、terragraph、wi‑fi)、相关联的项目933(例如，小区升级、光纤回程、三角州城市化(deltaurban)、农村接入、小区更新、wi‑fi启动)、相关联的区域934(例如，国家、州、城市、区块、邮政编码区域)、运营商935、方法936、时间段937(例如，开始日期和结束日期)等。在特定实施例中，交互式ui900c可以包括下拉菜单938，其可以允许用户选择时间段来过滤表格930中显示的部署项目。交互式ui900c可以包括用于表格930的每行的具有复选框标记的选择按钮(例如940)，以允许用户选择相应的部署项目用于编辑或配置操作。153.控制面板154.在特定实施例中，交互式ui900c可以包括多个控制面板，这些控制面板可以允许用户为部署项目选择参数值或配置选项。例如，控制面板923可以允许用户选择部署程序，例如网络洞察、terragraph、wi‑fi等。作为另一个示例，控制面板924可以允许用户选择部署项目，例如，wi‑fi启动、小区升级、农村接入、三角州城市化、光纤回程等。作为另一示例，控制面板925允许用户从下拉菜单中选择区域(例如，国家、城市、州/省、位置、影响半径、区块、邮政编码区域)。作为另一个示例，控制面板926可以允许用户从运营商列表或下拉菜单927中选择运营商。在特定实施例中，交互式ui900c还可以包括搜索栏922，用于用户搜索所有部署项目。交互式ui900c还可以包括供用户上传部署数据的按钮928、供用户编辑项目的按钮929以及供用户查看测量结果的按钮939。155.在特定实施例中，控制面板(例如，923、924、925、926)和搜索栏(例如，922)可以允许用户选择或输入多个部署属性值中的一个或组合来过滤表格中显示的部署。例如，用户可以为部署的程序属性选择“网络洞察”。交互式ui900c的表格可以过滤并显示所有以“网络洞察”作为项目属性的部署。作为另一个示例，用户可以选择“wi‑fi”作为程序属性，选择“mexico”作为位置。交互式ui900c可以过滤并显示所有程序属性为“wi‑fi”且位置属性为“mexico”的部署。在交互式ui900c中，控制面板可显示在显示部署的表格旁边。交互式ui900c可以允许用户根据用户指定的一个或多个部署属性来过滤部署。交互式ui900c还可以允许用户按时间(例如，持续时间、开始日期、结束日期)过滤部署。例如，用户可以选择或指定时间段(例如，从下拉菜单938或日历中选择)。交互式ui900c可以根据指定的时间段过滤并显示相应的部署。在特定实施例中，交互式ui900c可以允许用户从表格930中选择一个或更多个部署来进行影响测量并查看测量结果。例如，用户可以从表格930中选择一个或多个部署，并点击查看结果按钮939来查看测量结果。系统可以开始测量部署影响的过程，并将测量结果显示给用户。测量结果可以在测量进行时(例如，收集或访问网络性能数据并计算增量度量)和/或在测量完成后更新给用户。156.地图视图157.图9d示出了用于在地图视图中显示部署测量项目的示例交互式用户界面(ui)900d。在特定实施例中，交互式ui900d可以允许用户选择列表视图模式或地图视图模式来显示部署。例如，用户可以通过点击分段按钮921在列表视图和地图视图之间切换。当用户选择地图视图模式时，交互式ui900d可以在覆盖部署区域的地图941上显示部署。例如，交互式ui900c可以显示多个部署区域(例如，942、943、944、945、946、947、948、949)。每个部署区域可以由地图上的圆形区域表示，该圆形区域的中心表示部署位置，圆形半径表示影响半径。每个圆形区域可以包括指示部署属性信息(例如，部署类型)的图标或其他视觉信息。交互式ui900d可以允许用户放大和缩小地图，以查看地图上更小或更大的区域。交互式ui900d可以允许用户从地图中选择一个或多个部署来查看更详细的信息。交互式ui900d可以以类似于列表视图的方式针对地图视图包括搜索栏922和控制面板(例如，923、924、925、926、927)。控制面板可以包括具有可能选项或值的部署属性，并允许用户选择一个或更多个属性选项来过滤或配置地图视图显示。交互式ui900d可以包括按钮928、929和939，用于用户上传部署数据、编辑项目和查看测量结果。158.图9e示出了用于在地图视图中显示部署测量项目的另一示例交互式用户界面(ui)900e。交互式ui900e中的地图905可以处于覆盖整个世界的缩小模式，并显示多个部署区域(例如，951、952、953、954、955、956、957)。每个部署区域可以由圆形区域表示。每个圆形区域可以包括相应部署区域中的部署信息(例如，该区域中受影响的蜂窝塔的数量)。在特定实施例中，地图视图可以包括区块层，其在区块级提供更详细的部署信息。交互式ui900e可以包括按钮928、929和939，用于用户上传部署数据、编辑项目和查看测量结果。159.图9f示出了供用户上传部署数据文件的示例交互式用户界面(ui)900f。在特定实施例中，交互式ui可以允许用户通过经由交互式ui的手动键入或选择来输入或编辑部署信息。例如，交互式ui可以使用弹出对话框来允许用户输入或编辑一个或更多个部署项目的信息(例如，项目、区域、运营商)。在特定实施例中，交互式ui可以允许用户准备或/和上传包含部署数据的部署文件。作为示例而非限制，交互式ui900f可以包括供用户上传部署数据的弹出对话框960。交互式ui900f可以包括指示上传过程的每个步骤的状态的状态指示器961。状态指示器961可以显示上传部署文件的一系列步骤，包括例如添加部署文件、验证文件、上传数据等。交互式ui900f可以包括操作面板962，其向用户显示相关信息(例如，站点标识符963、属性964)，用于添加包括部署数据的文件。交互式ui900f可以允许用户准备和上传具有各种站点标识符963(例如，站点名称、经度、纬度、zip编码/邮政编码、城市、州/省、国家等)和各种属性964(例如，程序、项目、方法等)的文件。交互式ui900e可以包括拖放区域965，其可以允许用户将部署文件拖放到该区域中用于上传操作。交互式ui900e可以允许用户通过浏览按钮966上传包含部署数据的文件。交互式ui900e可以允许用户通过文本字段967指定部署名称。交互式ui900e可以允许用户通过点击按钮969b进行文件上传过程的下一步骤，或者通过按钮959a返回到上传过程的前一步骤，或者通过取消按钮968取消文件上传操作。160.测量结果概要161.图9g示出了用于基于用户的选择和配置显示测量结果概要的示例交互式用户界面(ui)900g。在特定实施例中，系统可以测量一个或更多个感兴趣的区域的部署影响，并且基于用户的选择或配置在交互式ui中可视化测量结果。作为示例而非限制，交互式ui900g可以显示包括部署列表的表格970。表格970可以允许用户选择一个或更多个部署来查看测量结果。一旦用户选择了特定的部署，交互式ui900g可以在交互式ui900g中的表格970旁边显示测量结果概要980和增量概要988。测量结果概要980可以包括一个或更多个图表(例如，993)，其显示在部署之前和之后的一段时间内一个或更多个网络度量的趋势，以及一个或更多个文本概要(例如，983、984、985)，用于显示与网络度量(例如，互联网用户的数量、体验更快网络速度的互联网用户的数量)和测量方法(例如，包括综合对照的因果推断方法、保留实验、增长核算方法等)相关的信息。增量概要988可以包括增量视图模式(deltaviewmode)下的百分比条形图994，显示部署后增量度量的变化。条形图944可以显示在一组速度桶(例如，非常低、低、一般、好、非常好)上体验更快网络速度的互联网用户的增量数量的改善，并且可以显示互联网用户的整体增量数量的改善。条形图944中的每个度量条可以包括指示相应度量的测量值的中心点(例如，989a指示对于非常好的速度桶的体验更快网络速度的互联网用户的值增量数量)，并且条(例如，989b)可以指示测量度量值的误差范围或置信区间。在特定实施例中，交互式ui900g可以在增量时间序列视图中显示测量的增量度量。在特定实施例中，系统可以在增量时间序列视图模式中显示度量条条形图，其中度量条可以显示为随时间的序列，以显示度量随时间的变化或趋势。度量条的长度可以指示误差范围或置信区间，度量条的中心点可以指示测量的度量值。162.图9h示出了用于配置用于测量并显示在测量结果中的度量‑方法方案的示例交互式用户界面(ui)900h。在特定实施例中，交互式ui可以允许用户指定哪些网络度量和哪些方法将用于特定测量，并且将显示测量结果概要。作为示例而非限制，交互式ui900h可以允许用户从下拉菜单976中选择一个或多个网络度量和一个或更多个方法。用户可以从显示的下拉菜单992上显示的多个选项中选择一个或更多个度量‑方法方案。一旦选择了网络度量和方法，交互式ui900h可以基于用户的选择或配置显示或更新可视化测量结果。例如，用户可以选择“增量map，增长核算”和“增量速度map，小区棕色地带(cellularbrownfield)”方法作为特定测量的方法。系统可以处理网络性能数据，并基于用户的选择确定影响测量结果。交互式ui900h可以相应地显示或更新测量概要和增量概要。除了网络度量图表之外，测量概要还可以显示当前使用的网络度量和方法。163.图9i示出了用于配置用于测量并显示在测量结果中的网络度量的示例交互式用户界面(ui)900i。在特定实施例中，交互式ui可以允许用户指定哪些网络度量将用于特定测量，并且将显示测量结果。作为示例而非限制，交互式ui900i可以允许用户从下拉菜单977中选择一个或更多个网络度量。用户可以从显示的下拉菜单991上的多个选项中选择一个或更多个度量。例如，用户可以选择包括性能评级、总map和总部署的三个网络度量作为特定部署项目的网络度量。一旦选择了网络度量，交互式ui900i可以基于用户的选择或配置显示或更新显示的测量结果。164.此外，交互式ui可以允许用户设置时间窗口的长度(例如，部署前后60天)和用于测量网络性能的影响半径。作为示例而非限制，交互式ui900i可以允许用户通过下拉菜单981设置用于测量网络性能的时间窗口。一旦用户选择或改变时间窗口，系统可以基于用户的选择或配置生成测量结果。交互式ui900i可以相应地显示或更新测量结果。作为示例而非限制，交互式ui900i可以允许用户通过下拉菜单981设置用于测量网络性能的受影响范围(例如，3km受影响半径)。一旦用户选择或改变受影响的范围，系统可以基于用户的选择或配置生成测量结果。交互式ui900i可以相应地显示或更新测量结果。165.详细视图图表166.图9j示出了用于在测量结果中显示的增量度量的详细视图的示例交互式用户界面(ui)900j。在特定实施例中，交互式ui可以显示由用户通过交互式ui指定的一个或更多个增量度量的详细视图图表。作为示例而非限制，ui900j可以显示详细视图9020，该详细视图9020示出了在部署前的60天时间段和部署后的60天时间段内具有相应置信区间的增量网络度量9021(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量)的变化和趋势。167.图9k示出了用于在测量结果中显示的多个增量度量的详细视图的示例交互式用户界面(ui)900j。在特定实施例中，交互式ui可以显示由用户通过交互式ui指定的多个增量度量的详细视图图表。作为示例而非限制，ui900k可以显示详细视图9020，其示出了第一增量度量9021(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量)和第二增量度量9022(例如，互联网用户的增量数量、体验更快网络速度的互联网用户的增量数量)的变化和趋势。第一和第二增量度量可以与部署前的60天时间段和部署后的60天时间段相关联。在特定实施例中，详细视图图表9020中的网络度量可以各自使用不同的颜色来标记。每个网络度量的曲线可以与置信区间(例如，上限曲线和下限曲线)一起显示。交互式ui900k可以允许用户通过选择要显示的网络度量、改变显示的值范围或改变显示的时间窗口来配置和定制详细视图。详细视图图表9020可以允许用户对网络度量趋势和相应部署的影响有直观的理解。此外，交互式ui900k可以允许用户将测量结果导出到外部文件，并允许用户在用户进行选择或配置后手动更新测量结果。168.图9l示出了用于在地图视图中显示部署项目和测量结果概要的示例交互式用户界面(ui)。在特定实施例中，系统可以允许用户选择视图模式(例如，地图视图或列表视图)，用于显示部署，同时在侧面显示测量结果。作为示例而非限制，用户可以(例如，通过点击分段按钮921)选择在地图视图9010中显示部署，同时在地图旁边显示测量概要980和增量概要988。地图视图9010可以在地图9020中显示多个部署区域(例如，9011、9012、9013、9014、9015、9016)。地图视图9010可允许用户缩放或移动地图9020，并选择或取消选择部署以查看相应的测量结果。169.示例方法170.图10示出了测量网络部署对感兴趣的地理区域的影响的示例方法。该方法可以在步骤1010开始，其中系统可以确定由通信网络连接的多个地理区域的一个或更多个网络度量。地理区域可以包括受网络部署影响的感兴趣的地理区域。在特定实施例中，一个或更多个网络度量可以包括例如但不限于每月活跃人数度量、网络速度度量、网络延迟度量、花费时间度量等。在特定实施例中，感兴趣的地理区域和其他地理区域可以是任何大小或规模的区域，包括例如但不限于国家、城市、州/省、区块、邮政编码区域、千米级区域等。在特定实施例中，网络度量可以基于在网络部署之前的第一时间段(例如，60天)和网络部署之后的第二时间段(例如，60天)期间收集的网络性能数据来确定。171.在步骤1020，系统可以通过基于地理区域之间的相似性将地理区域聚类成一个或更多个候选对照区域组来识别候选对照区域集合。例如，每组中的地理区域可以共享一个或更多个公共度量特征，包括例如但不限于度量趋势、度量值、度量范围、度量变化斜率、度量误差水平、度量变化、度量置信水平等。每组地理区域可以是候选对照区域的一个类别，合格的对照区域将从该类别中被识别。系统可以将地理区域聚类成候选对照区域组，以缩窄识别合格对照区域的范围。每个组中的候选对照区域共享的度量特征可以基于至少一个网络度量来确定，该网络度量是基于在网络部署之前的第一时间段期间收集的网络性能数据来确定的。172.在步骤1030，系统可以通过从一组候选对照区域中识别第二组地理区域作为合格对照区域，而从候选对照区域集合中选择一个或更多个对照区域。合格的对照区域可以基于感兴趣的区域和该组候选对照区域的每个候选对照区域之间的比较来识别。该系统可以比较由感兴趣的地理区域和候选对照区域共享的度量特征，并且当该共享网络特征的相似性高于相似性阈值或资格阈值时，可以将该候选对照区域确定为合格对照区域。用于确定相似性的共享度量特征可以基于在网络部署之前收集的网络性能数据来确定。综合对照方法可以使用合格的对照区域来确定网络度量基线。在特定实施例中，系统可以聚类候选对照区域，并使用机器学习模型识别合格的对照区域。173.在步骤1040，系统可以将与感兴趣的地理区域相关联的第一网络度量与第一网络度量基线进行比较。该系统可以基于一个或更多个所选对照区域的加权组合来确定第一网络度量基线。基线可以基于与所选对照区域相关联的并且在网络部署之后收集的网络性能数据来确定。系统可以假设，如果不进行网络部署，受影响区域的网络度量或网络度量趋势可以通过基于合格对照区域确定的基线来近似。在特定实施例中，系统可以使用来自长期保留实验的保留区域作为候选对照区域。保留区域可以是不受网络部署影响的区域。在特定实施例中，用于确定网络度量基线的所选对照区域可以从保留区域中随机选择。174.在步骤1050，系统可以确定在网络部署之后，与感兴趣的地理区域相关联的第一网络度量是否具有大于第一预定阈值的变化。第一预定阈值可以通过机器学习模型来确定。在特定实施例中，系统还可以在网络部署之后将感兴趣的地理的第二网络度量与第二网络度量基线进行比较。第二网络基线可以在网络部署之前基于感兴趣的地理的网络性能数据来确定。该系统可以确定感兴趣的地理区域的第二网络度量在网络部署之后是否具有大于第二预定阈值的变化。第二网络度量可以包括例如但不限于流失用户数、用户流失率、新用户数、恢复的用户数等中的一个或更多个。175.在特定实施例中，该系统还可以在网络部署之前确定感兴趣的地理区域的网络度量在一组网络度量桶上的第一分布。该系统可以在网络部署之后确定感兴趣的地理区域的相同网络度量在该组网络度量桶上的第二分布。该系统可以比较第三网络度量的第一分布和第二分布，以确定在网络部署之后第三网络度量是否具有大于第三预定阈值的变化。该系统可以使用运营商特定的方法、运营商不可知的方法或基于用户的方法来确定网络度量。在特定实施例中，系统可以聚合跨受部署影响的两个或更多个运营商的一个或更多个网络度量，并且确定在部署之后在两个或更多个运营商上一个或更多个网络度量是否具有大于各自预定阈值的变化。在特定实施例中，当第一网络度量的变化大于相应的预定阈值时，系统可以进一步确定网络度量的变化和网络部署之间的因果关联。176.在适当的情况下，特定实施例可以重复图10的方法的一个或更多个步骤。尽管本公开将图10的方法的特定步骤描述和示出为以特定顺序发生，但是本公开设想图10的方法的任何合适的步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了用于测量感兴趣的地理区域的网络部署影响的示例方法，包括图10的方法的特定步骤，但是本公开设想了用于测量感兴趣的地理区域的网络部署影响的任何合适的方法，其包括任何合适的步骤，在适当的情况下，可以包括图10的方法的所有、一些步骤或没有这些步骤。此外，尽管本公开描述和示出了执行图10的方法的特定步骤的特定组件、设备或系统，但是本公开设想了执行图10的方法的任何合适步骤的任何合适的组件、设备或系统的任何合适的组合。177.系统概况178.图11示出了与社交网络系统相关联的示例网络环境1100。网络环境1100包括通过网络1110彼此连接的客户端系统1130、社交网络系统1160和第三方系统1170。尽管图11示出了客户端系统1130、社交网络系统1160、第三方系统1170和网络1110的特定布置，但是本公开设想了客户端系统1130、社交网络系统1160、第三方系统1170和网络1110的任何合适的布置。作为示例而不是作为限制，客户端系统1130、社交网络系统1160和第三方系统1170中的两个或更多个可以绕过网络1110彼此直接连接。作为另一个示例，客户端系统1130、社交网络系统1160和第三方系统1170中的两个或更多个可以全部或部分地在物理上或逻辑上彼此位于同一位置。此外，尽管图11示出了特定数量的客户端系统1130、社交网络系统1160、第三方系统1170和网络1110，但是本公开设想了任何合适数量的客户端系统1130、社交网络系统1160、第三方系统1170和网络1110。作为示例而不是作为限制，网络环境1100可以包括多个客户端系统1130、社交网络系统1160、第三方系统1170和网络1110。179.本公开设想了任何合适的网络1110。作为示例而不是作为限制，网络1110的一个或更多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(vpn)、局域网(lan)、无线lan(wlan)、广域网(wan)、无线wan(wwan)、城域网(man)、互联网的一部分、公共交换电话网(pstn)的一部分、蜂窝电话网、或这些中的两个或更多个的组合。网络1110可以包括一个或更多个网络1110。180.链路1150可以将客户端系统1130、社交网络系统1160和第三方系统1170连接到通信网络1110或连接到彼此。本公开设想了任何合适的链路1150。在特定实施例中，一个或更多个链路1150包括一个或更多个有线(诸如例如数字用户线路(dsl)或基于电缆的数据服务接口规范(docsis))链路、无线(诸如例如wi‑fi或全球互通微波接入(wimax))链路、或光(诸如例如同步光网络(sonet)或同步数字体系(sdh))链路。在特定实施例中，一个或更多个链路1150各自包括自组织网络、内联网、外联网、vpn、lan、wlan、wan、wwan、man、互联网的一部分、pstn的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一链路1150、或两个或更多个这种链路1150的组合。链路1150不需要在整个网络环境1100中一定是相同的。一个或更多个第一链路1150可以在一个或更多个方面上不同于一个或更多个第二链路1150。181.在特定实施例中，客户端系统1130可以是一种电子设备，该电子设备包括硬件、软件或嵌入式逻辑部件、或两个或更多个这样的部件的组合，并且能够执行由客户端系统1130实现或支持的适当功能。作为示例而不是作为限制，客户端系统1130可以包括计算机系统，如台式计算机、笔记本电脑或膝上型计算机、上网本、平板计算机、电子书阅读器、gps设备、照相机、个人数字助理(pda)、手持电子设备、蜂窝电话、智能手机、增强/虚拟现实设备、其他合适的电子设备、或其任何合适的组合。本公开设想了任何合适的客户端系统1130。客户端系统1130可以使在客户端系统1130处的网络用户能够访问网络1110。客户端系统1130可以使它的用户能够与在其他客户端系统1130处的其他用户进行通信。182.在特定实施例中，客户端系统1130可以包括web浏览器1132，例如microsoftinternetexplorer、googlechrome或mozillafirefox，并且可以具有一个或更多个附加件、插件或其他扩展件，例如toolbar或yahootoolbar。在客户端系统1130处的用户可以输入统一资源定位符(url)或将web浏览器1132引导到特定的服务器(例如服务器1162或与第三方系统1170相关联的服务器)的其他地址，并且web浏览器1132可以生成超文本传输协议(http)请求并将http请求传递到服务器。服务器可以接受http请求，并响应于http请求而向客户端系统1130传递一个或更多个超文本标记语言(html)文件。客户端系统1130可以基于来自服务器的html文件来显现网页用于呈现给用户。本公开设想了任何合适的网页文件。作为示例而不是作为限制，网页可以根据特定的需要从html文件、可扩展超文本标记语言(xhtml)文件或可扩展标记语言(xml)文件来显现。这样的页面还可以执行脚本，例如且没有限制，用javascript、java、microsoftsilverlight编写的脚本、标记语言和脚本(例如ajax(异步javascript和xml))的组合等。在本文，在适当的情况下，对网页的引用包括一个或更多个相应的网页文件(浏览器可以使用这些网页文件来显现网页)，反之亦然。183.在特定实施例中，社交网络系统1160可以是可以托管在线社交网络的网络可寻址计算系统。社交网络系统1160可以生成、存储、接收并发送社交网络数据(诸如例如，用户简档数据、概念简档数据、社交图信息或与在线社交网络相关的其他合适的数据)。社交网络系统1160可以由网络环境1100的其他部件直接地或经由网络1110来访问。作为示例而不是作为限制，客户端系统1130可以使用web浏览器1132或与社交网络系统1160相关联的原生(native)应用(例如，移动社交网络应用、消息传递应用、另一合适的应用或其任何组合)直接地或经由网络1110来访问社交网络系统1160。在特定实施例中，社交网络系统1160可以包括一个或更多个服务器1162。每个服务器1162可以是整体式服务器(unitaryserver)或跨越多台计算机或多个数据中心的分布式服务器。服务器1162可以具有各种类型，诸如，例如且没有限制，web服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适合于执行本文描述的功能或过程的另一服务器、或者其任何组合。在特定实施例中，每个服务器1162可以包括用于执行由服务器1162实现或支持的适当功能的硬件、软件或嵌入式逻辑部件、或两个或更多个这样的部件的组合。在特定实施例中，社交网络系统1160可以包括一个或更多个数据储存器1164。数据储存器1164可以用于存储各种类型的信息。在特定实施例中，可以根据特定的数据结构来组织存储在数据储存器1164中的信息。在特定实施例中，每个数据储存器1164可以是关系数据库、纵列(columnar)数据库、相关性数据库或其他合适的数据库。尽管本公开描述或示出了特定类型的数据库，但是本公开设想了任何合适类型的数据库。特定实施例可以提供使客户端系统1130、社交网络系统1160或第三方系统1170能够管理、检索、修改、添加或删除存储在数据储存器1164中的信息的接口。184.在特定实施例中，社交网络系统1160可以在一个或更多个数据储存器1164中存储一个或更多个社交图。在特定实施例中，社交图可以包括多个节点——其可以包括多个用户节点(各自对应于特定用户)或多个概念节点(各自对应于特定概念)——以及连接节点的多条边。社交网络系统1160可以向在线社交网络的用户提供与其他用户通信和交互的能力。在特定实施例中，用户可以经由社交网络系统1160加入在线社交网络，且然后添加与社交网络系统1160中的他们想要关连到的多个其他用户的关连(例如，关系)。在本文，术语“朋友”可以指用户经由社交网络系统1160与其形成关连、关联(association)或关系的社交网络系统1160的任何其他用户。185.在特定实施例中，社交网络系统1160可以向用户提供对由社交网络系统1160支持的各种类型的项目或对象采取动作的能力。作为示例而不是作为限制，项目和对象可以包括社交网络系统1160的用户可以属于的群组或社交网络、用户可能感兴趣的事件或日历条目、用户可以使用的基于计算机的应用、允许用户经由服务来购买或销售商品的交易、用户可以执行的与广告的交互、或其他合适的项目或对象。用户可以与能够在社交网络系统1160中或者由第三方系统1170的外部系统表示的任何事物进行交互，第三方系统1170与社交网络系统1160分离并且经由网络1110耦合到社交网络系统1160。186.在特定实施例中，社交网络系统1160能够链接各种实体。作为示例而不是作为限制，社交网络系统1160可以使用户能够彼此交互以及从第三方系统1170或其他实体接收内容，或者允许用户通过应用编程接口(api)或其他通信渠道与这些实体交互。187.在特定实施例中，第三方系统1170可以包括一种或更多种类型的服务器、一个或更多个数据储存器、一个或更多个接口(包括但不限于api)、一个或更多个web服务、一个或更多个内容源、一个或更多个网络或任何其他合适的部件(例如，服务器可以与这些部件通信)。第三方系统1170可以由与操作社交网络系统1160的实体不同的实体进行操作。然而，在特定实施例中，社交网络系统1160和第三方系统1170可以彼此结合来操作以向社交网络系统1160或第三方系统1170的用户提供社交网络服务。在这个意义上，社交网络系统1160可以提供平台或骨干网(backbone)，其他系统(例如第三方系统1170)可以使用该平台或骨干网来在整个互联网上向用户提供社交网络服务和功能。188.在特定实施例中，第三方系统1170可以包括第三方内容对象提供者。第三方内容对象提供者可以包括可以被传送到客户端系统1130的内容对象的一个或更多个源。作为示例而不是作为限制，内容对象可以包括关于用户感兴趣的事情或活动的信息，诸如例如电影放映时间、电影评论、餐馆评论、餐馆菜单、产品信息和评论或其他合适的信息。作为另一个示例而不是作为限制，内容对象可以包括激励内容对象(例如优惠券、折扣券、礼品券或其他合适的激励对象)。189.在特定实施例中，社交网络系统1160还包括用户生成的内容对象，其可以增强用户与社交网络系统1160的交互。用户生成的内容可以包括用户可以添加、上传、发送或“发布(post)”到社交网络系统1160的任何内容。作为示例而不是作为限制，用户将帖子从客户端系统1130传送到社交网络系统1160。帖子可以包括数据，例如状态更新或其他文本数据、位置信息、照片、视频、链接、音乐或其他类似数据或媒体。内容还可以由第三方通过“通信渠道”(例如动态消息或流)来添加到社交网络系统1160。190.在特定实施例中，社交网络系统1160可以包括各种服务器、子系统、程序、模块、日志和数据储存器。在特定实施例中，社交网络系统1160可以包括下列项中的一个或更多个：web服务器、动作记录器、api请求服务器、相关性和排序引擎、内容对象分类器、通知控制器、动作日志、第三方内容对象暴露日志、推理模块、授权/隐私服务器、搜索模块、广告定位模块(advertisement‑targetingmodule)、用户界面模块、用户简档储存器、关连储存器、第三方内容储存器或位置储存器。社交网络系统1160还可以包括合适的部件，如网络接口、安全机构、负载平衡器、故障转移服务器、管理和网络操作控制台、其他合适的部件、或其任何合适的组合。在特定实施例中，社交网络系统1160可以包括用于存储用户简档的一个或更多个用户简档储存器。用户简档可以包括例如，传记信息、人口统计信息、行为信息、社交信息或其他类型的描述性信息(例如工作经历、教育历史、爱好或偏好、兴趣、亲和性或位置)。兴趣信息可以包括与一个或更多个类别相关的兴趣。类别可以是一般的或特定的。作为示例而不是作为限制，如果用户“赞(like)”关于一种品牌的鞋的文章，则该类别可以是品牌，或者是“鞋”或“服装”的一般类别。关连储存器可以用于存储关于用户的关连信息。关连信息可以指示具有相似或共同的工作经历、组成员资格、爱好、教育历史或者以任何方式相关或共享共同属性的用户。关连信息还可以包括在不同用户和内容(内部和外部)之间的用户定义的关连。web服务器可以用于经由网络1110将社交网络系统1160链接到一个或更多个客户端系统1130或一个或更多个第三方系统1170。web服务器可以包括邮件服务器或用于在社交网络系统1160和一个或更多个客户端系统1130之间接收并路由(routing)消息的其他消息传递功能。api请求服务器可以允许第三方系统1170通过调用一个或更多个api访问来自社交网络系统1160的信息。动作记录器可以用于从web服务器接收关于用户在社交网络系统1160上或之外的动作的通信。结合动作日志，可以维护用户暴露于第三方内容对象的第三方内容对象日志。通知控制器可以向客户端系统1130提供关于内容对象的信息。信息可以作为通知被推送到客户端系统1130，或者信息可以响应于从客户端系统1130接收的请求而从客户端系统1130中被拉取。授权服务器可以用于实施社交网络系统1160的用户的一个或更多个隐私设置。用户的隐私设置确定与用户相关联的特定信息可以如何被共享。授权服务器可以诸如例如通过设置适当的隐私设置来允许用户选择加入或选择退出使他们的动作由社交网络系统1160记录或者与其他系统(例如，第三方系统1170)共享。第三方内容对象储存器可以用于存储从第三方(例如第三方系统1170)接收的内容对象。位置储存器可以用于存储从客户端系统1130接收的与用户相关联的位置信息。广告定价模块可以组合社交信息、当前时间、位置信息或其他合适的信息以用通知的形式向用户提供相关广告。191.隐私192.在特定实施例中，在线社交网络的一个或更多个内容对象可以与隐私设置相关联。对象的隐私设置(或“访问设置”)可以以任何合适的方式存储，诸如例如与对象相关联、以授权服务器上的索引、以另一种合适的方式或其任意组合存储。对象的隐私设置可以指定可以如何使用在线社交网络来访问(例如，查看或共享)对象(或与对象相关联的特定信息)。在对象的隐私设置允许特定用户访问该对象的情况下，该对象可以被描述为对于该用户是“可见的”。作为示例而非限制，在线社交网络的用户可以为用户简档页面指定隐私设置，该隐私设置标识可以访问用户简档页面上的工作经验信息的一组用户，从而排除其他用户访问该信息。在特定实施例中，隐私设置可以指定不应被允许访问与对象相关联的某些信息的用户的“黑名单(blockedlist)”。换句话说，黑名单可以指定对象对其是不可见的一个或更多个用户或实体。作为示例而非限制，用户可以指定不能访问与该用户相关联的相册的一组用户，从而排除这些用户访问相册(同时也可能允许不在该组用户中的某些用户访问相册)。在特定实施例中，隐私设置可以与特定社交图元素相关联。社交图元素(诸如节点或边)的隐私设置可以指定可以如何使用在线社交网络来访问社交图元素、与社交图元素相关联的信息、或与社交图元素相关联的内容对象。作为示例而不是作为限制，对应于特定照片的特定概念节点可以具有指定照片只能由在照片中标记的用户及他们的朋友访问的隐私设置。在特定实施例中，隐私设置可以允许用户选择加入或选择退出使其动作由社交网络系统1160记录或与其他系统(例如，第三方系统1170)共享。在特定实施例中，与对象相关联的隐私设置可以指定允许访问或拒绝访问的任何合适的粒度。作为示例而非限制，可以为特定用户(例如，只有我、我的室友和我的老板)、特定分离度内的用户(例如，朋友或朋友的朋友)、用户组(例如，游戏俱乐部、我的家庭)、用户网络(例如，特定雇主的雇员、特定大学的学生或校友)、所有用户(“公共”)、无用户(“私人”)、第三方系统1170的用户、特定应用(例如，第三方应用、外部网站)、其他合适的用户或实体，或其任何组合指定访问或拒绝访问。尽管本公开描述了以特定方式使用特定隐私设置，但是本公开设想了以任何合适的方式使用任何合适的隐私设置。193.在特定实施例中，一个或更多个服务器1162可以是用于实施隐私设置的授权/隐私服务器。响应于用户(或其他实体)对存储在数据储存器1164中的特定对象的请求，社交网络系统1160可以向数据储存器1164发送对该对象的请求。该请求可以识别与该请求相关联的用户，并且只有当授权服务器基于与对象相关联的隐私设置确定用户被授权访问该对象时才可以将其发送给该用户(或用户的客户端系统1130)。如果请求用户未被授权访问该对象，则授权服务器可以阻止所请求的对象从数据储存器1164中被检索到，或者可以阻止所请求的对象被发送给用户。在搜索查询上下文中，只有当查询用户被授权访问对象时，才可以生成对象作为搜索结果。换句话说，对象必须具有对查询用户可见的可见性。如果对象具有对用户不可见的可见性，则该对象可以从搜索结果中排除。尽管本公开描述了以特定方式实施隐私设置，但是本公开设想了以任何合适的方式实施隐私设置。194.系统和方法195.图12示出了示例计算机系统1200。在特定实施例中，一个或更多个计算机系统1200执行本文描述或示出的一个或更多个方法的一个或更多个步骤。在特定实施例中，一个或更多个计算机系统1200提供本文描述或示出的功能。在特定实施例中，在一个或更多个计算机系统1200上运行的软件执行本文描述或示出的一个或更多个方法的一个或更多个步骤，或者提供本文描述或示出的功能。特定实施例包括一个或更多个计算机系统1200的一个或更多个部分。在本文，在适当的情况下，对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包括一个或更多个计算机系统。196.本公开设想了任何合适数量的计算机系统1200。本公开设想了采取任何合适的物理形式的计算机系统1200。作为示例而不是作为限制，计算机系统1200可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(诸如例如，模块上计算机(com)或模块上系统(som))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网状网、移动电话、个人数字助理(pda)、服务器、平板计算机系统、增强/虚拟现实设备、或者这些中的两个或更多个的组合。在适当的情况下，计算机系统1200可以包括一个或更多个计算机系统1200；可以是整体式的或分布式的；跨越多个位置；跨越多台机器；跨越多个数据中心；或者驻留在云中，云可以包括在一个或更多个网络中的一个或更多个云部件。在适当的情况下，一个或更多个计算机系统1200可以在没有实质性空间或时间限制的情况下执行本文描述或示出的一个或更多个方法的一个或更多个步骤。作为示例而不是作为限制，一个或更多个计算机系统1200可以实时地或以批处理模式来执行本文描述或示出的一个或更多个方法的一个或更多个步骤。在适当的情况下，一个或更多个计算机系统1200可以在不同的时间或在不同的位置处执行本文描述或示出的一个或更多个方法的一个或更多个步骤。197.在特定实施例中，计算机系统1200包括处理器1202、存储器1204、存储装置1206、输入/输出(i/o)接口1208、通信接口1210和总线1212。尽管本公开描述并示出了具有在特定布置中的特定数量的特定部件的特定计算机系统，但是本公开设想了具有在任何合适布置中的任何合适数量的任何合适部件的任何合适的计算机系统。198.在特定实施例中，处理器1202包括用于执行指令(例如构成计算机程序的那些指令)的硬件。作为示例而不是作为限制，为了执行指令，处理器1202可以从内部寄存器、内部高速缓存、存储器1204或存储装置1206中检索(或取回)指令；将这些指令解码并执行它们；以及然后将一个或更多个结果写到内部寄存器、内部高速缓存、存储器1204或存储装置1206。在特定实施例中，处理器1202可以包括用于数据、指令或地址的一个或更多个内部高速缓存。在适当的情况下，本公开设想了包括任何合适数量的任何合适的内部高速缓存的处理器1202。作为示例而不是作为限制，处理器1202可以包括一个或更多个指令高速缓存、一个或更多个数据高速缓存、以及一个或更多个转译后备缓冲区(tlb)。在指令高速缓存中的指令可以是在存储器1204或存储装置1206中的指令的副本，并且指令高速缓存可以加速处理器1202对那些指令的检索。在数据高速缓存中的数据可以是：在存储器1204或存储装置1206中的数据的副本，用于供在处理器1202处执行的指令来操作；在处理器1202处执行的先前指令的结果，用于由在处理器1202处执行的后续指令访问或者用于写到存储器1204或存储装置1206；或其他合适的数据。数据高速缓存可以加速由处理器1202进行的读或写操作。tlb可以加速关于处理器1202的虚拟地址转译。在特定实施例中，处理器1202可以包括用于数据、指令或地址的一个或更多个内部寄存器。在适当的情况下，本公开设想了包括任何合适数量的任何合适的内部寄存器的处理器1202。在适当的情况下，处理器1202可以包括一个或更多个算术逻辑单元(alu)；可以是多核处理器；或者包括一个或更多个处理器1202。尽管本公开描述并示出了特定的处理器，但是本公开设想了任何合适的处理器。199.在特定实施例中，存储器1204包括主存储器，其用于存储供处理器1202执行的指令或供处理器1202操作的数据。作为示例而不是作为限制，计算机系统1200可以将指令从存储装置1206或另一个源(诸如例如，另一个计算机系统1200)加载到存储器1204。处理器1202然后可以将指令从存储器1204加载到内部寄存器或内部高速缓存。为了执行指令，处理器1202可以从内部寄存器或内部高速缓存中检索指令并将它们解码。在指令的执行期间或之后，处理器1202可以将一个或更多个结果(其可以是中间结果或最终结果)写到内部寄存器或内部高速缓存。处理器1202然后可以将这些结果中的一个或更多个写到存储器1204。在特定实施例中，处理器1202仅执行在一个或更多个内部寄存器或内部高速缓存中或在存储器1204(而不是存储装置1206或其他地方)中的指令，并且仅对在一个或更多个内部寄存器或内部高速缓存中或在存储器1204(而不是存储装置1206或其他地方)中的数据进行操作。一个或更多个存储器总线(其可以各自包括地址总线和数据总线)可以将处理器1202耦合到存储器1204。如下所述，总线1212可以包括一个或更多个存储器总线。在特定实施例中，一个或更多个存储器管理单元(mmu)驻留在处理器1202和存储器1204之间，并且便于由处理器1202请求的对存储器1204的访问。在特定实施例中，存储器1204包括随机存取存储器(ram)。在适当的情况下，ram可以是易失性存储器。在适当的情况下，ram可以是动态ram(dram)或静态ram(sram)。此外，在适当的情况下，ram可以是单端口ram或多端口ram。本公开设想了任何合适的ram。在适当的情况下，存储器1204可以包括一个或更多个存储器1204。尽管本公开描述并示出了特定的存储器，但是本公开设想了任何合适的存储器。200.在特定实施例中，存储装置1206包括用于数据或指令的大容量存储装置。作为示例而不是作为限制，存储装置1206可以包括硬盘驱动器(hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(usb)驱动器、或这些中的两个或更多个的组合。在适当的情况下，存储装置1206可以包括可移动或不可移动(或固定)介质。在适当的情况下，存储装置1206可以在计算机系统1200的内部或外部。在特定实施例中，存储装置1206是非易失性固态存储器。在特定实施例中，存储装置1206包括只读存储器(rom)。在适当的情况下，rom可以是掩模编程rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可变rom(earom)、或闪存、或这些中的两个或更多个的组合。本公开设想了采用任何合适的物理形式的大容量存储装置1206。在适当的情况下，存储装置1206可以包括便于在处理器1202和存储装置1206之间的通信的一个或更多个存储装置控制单元。在适当的情况下，存储装置1206可以包括一个或更多个存储装置1206。尽管本公开描述并示出了特定的存储装置，但是本公开设想了任何合适的存储装置。201.在特定实施例中，i/o接口1208包括为在计算机系统1200和一个或更多个i/o设备之间的通信提供一个或更多个接口的硬件、软件或两者。在适当的情况下，计算机系统1200可以包括这些i/o设备中的一个或更多个。这些i/o设备中的一个或更多个可以实现在人和计算机系统1200之间的通信。作为示例而不是作为限制，i/o设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态摄像机、触笔、平板计算机、触摸屏、跟踪球、视频摄像机、另一个合适的i/o设备、或这些中的两个或更多个的组合。i/o设备可以包括一个或更多个传感器。本公开设想了任何合适的i/o设备以及用于它们的任何合适的i/o接口1208。在适当的情况下，i/o接口1208可以包括使处理器1202能够驱动这些i/o设备中的一个或更多个的一个或更多个设备或软件驱动器。在适当的情况下，i/o接口1208可以包括一个或更多个i/o接口1208。尽管本公开描述并示出了特定的i/o接口，但是本公开设想了任何合适的i/o接口。202.在特定实施例中，通信接口1210包括提供用于在计算机系统1200和一个或更多个其他计算机系统1200或一个或更多个网络之间的通信(诸如例如，基于包(packet‑based)的通信)的一个或更多个接口的硬件、软件或两者。作为示例而不是作为限制，通信接口1210可以包括用于与以太网或其他基于有线的网络进行通信的网络接口控制器(nic)或网络适配器，或者用于与无线网络(例如wi‑fi网络)进行通信的无线nic(wnic)或无线适配器。本公开设想了任何合适的网络和用于它的任何合适的通信接口1210。作为示例而不是作为限制，计算机系统1200可以与自组织网络、个域网(pan)、局域网(lan)、广域网(wan)、城域网(man)或互联网的一个或更多个部分、或这些中的两个或更多个的组合进行通信。这些网络中的一个或更多个的一个或更多个部分可以是有线的或无线的。作为示例，计算机系统1200可以与无线pan(wpan)(诸如，例如，蓝牙wpan)、wi‑fi网络、wi‑max网络、蜂窝电话网络(诸如，例如，全球移动通信系统(gsm)网络)、或其他合适的无线网络、或这些中的两个或更多个的组合进行通信。在适当的情况下，计算机系统1200可以包括用于这些网络中的任一个的任何合适的通信接口1210。在适当的情况下，通信接口1210可以包括一个或更多个通信接口1210。尽管本公开描述并示出了特定的通信接口，但是本公开设想了任何合适的通信接口。203.在特定实施例中，总线1212包括将计算机系统1200的部件耦合到彼此的硬件、软件或两者。作为示例而不是作为限制，总线1212可以包括加速图形端口(agp)或其他图形总线、扩展工业标准体系结构(eisa)总线、前端总线(fsb)、hypertransport(ht)互连、工业标准体系结构(isa)总线、infiniband互连、低引脚数(lpc)总线、存储器总线，微通道体系结构(mca)总线、外围部件互连(pci)总线、pci‑express(pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线、或任何其他合适的总线、或这些中的两个或更多个的组合。在适当的情况下，总线1212可以包括一个或更多个总线1212。尽管本公开描述并示出了特定总线，但是本公开设想了任何合适的总线或互连。204.在本文，在适当的情况下，一个或更多个计算机可读非暂时性存储介质可以包括一个或更多个基于半导体的或其他集成电路(ic)(诸如例如，现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字(securedigital)卡或驱动器、任何其他合适的计算机可读非暂时性存储介质、或这些中的两个或更多个的任何合适组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性的、非易失性的或者易失性和非易失性的组合。205.本文中，除非另有明确指示或通过上下文另有指示，否则“或”是包括性的而非排他性的。因此在本文，除非另有明确指示或通过上下文另有指示，否则“a或b”意指“a、b或两者”。此外，除非另有明确指示或通过上下文另有指示，否则“和”既是联合的又是各自的。因此在本文，除非另有明确指示或通过上下文另有指示，否则“a和b”意指“a和b，联合地或各自地”。206.本公开的范围包括本领域中的普通技术人员将理解的对本文描述或示出的示例实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或示出的示例实施例。此外，尽管本公开将本文的相应实施例描述并示为包括特定的部件、元件、特征、功能、操作或步骤，但是这些实施例中的任何一个可以包括本领域中的普通技术人员将理解的在本文任何地方描述或示出的任何部件、元件、特征、功能、操作或步骤的任何组合或置换。此外，在所附权利要求中对适合于、被布置成、能够、被配置成、实现来、可操作来、或操作来执行特定功能的装置或系统或装置或系统的部件的引用包括无论该装置、系统、部件或其特定功能是否被激活、开启或解锁，只要该装置、系统或部件是这样被调整、被布置、使能够、被配置、被实现、可操作的、或操作的。此外，尽管本公开将特定实施例描述或示为提供特定优点，但是特定实施例可以提供这些优点中的一些、全部或不提供这些优点。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
