一种性能测试方法及装置、存储介质与流程

1.本技术涉及数据分析技术，尤其涉及一种性能测试方法及装置、存储介质。


背景技术：

2.为了给用户提供更好的服务体验，管理者在实验地区(或试点地区)推出应用程序(application，app)的一种预设功能时，通常会对该预设功能进行分地域实验，以分析预设功能应用于实验地区所带来的应用程序的性能变化，该性能变化表示了该预设功能应用于该实验地区所带来的效果。其中，预设功能可以包括app的一种功能或一种操作方式等。分地域实验具体包括：先从现有的地区中，选出与实验地区的某些特征(例如，人口数量，地理位置)相似的参照地区。再获取第一预设时段内，预设功能未应用于实验地区和参照地区的情况下，该app在实验地区的第一使用情况、以及该app在参照地区的第一使用情况。若该app在参照地区的第一使用情况和在实验地区的第一使用情况没有显著差异，获取第二预设时段内，该预设功能仅应用于实验地区的情况下，该app在实验地区的第二使用情况、以及该app在参照地区的第二使用情况。然后，根据该app在参照地区的第一使用情况和第二使用情况，确定参照地区的使用情况的变化。还根据该app在实验地区的第一使用情况和第二使用情况，确定实验地区的使用情况的变化。最后，比较参照地区的使用情况的变化和实验地区的使用情况的变化，分析预设功能应用于实验地区所带来的app的性能变化。
3.然而，仅利用某些特征选择和实验地区相似的参照地区，该选择参照地区的方式具有较强的主观性。并且各个地区的特征往往是复杂多样的，仅根据某些特征相似选择参照地区的方式过于片面。因此，这样选出的参照地区和该实验地区极有可能存在系统性差别。进而，通过比较参照地区的使用情况的变化和实验地区的使用情况的变化分析出的、上述预设功能应用于实验地区所带来的app的性能变化，应该不仅包括该预设功能应用于实验地区所带来的app的性能变化，还包括实验地区相较于参照地区的地区差别所带来的app的性能变化。也就是说，上述方案得到的预设功能应用于实验地区所带来的app的性能变化的准确度较低。


技术实现要素：

4.本技术实施例提供一种性能测试方法及装置、存储介质，可以提高预设功能应用于实验地区所带来的app的性能变化的准确度。
5.为实现上述技术目的，本技术实施例采用如下技术方案：
6.第一方面，本技术实施例提供了一种性能测试方法，该方法包括：获取应用程序的第一实验指标和第一参照指标；提取影响第一实验指标的多种实验特征、以及影响第一参照指标的多种参照特征；根据第一实验指标及对应的实验特征、以及第一参照指标及对应的参照特征，确定多个参照地区对应的组合信息；获取应用程序的第二实验指标和第二参照指标；根据第一实验指标、第一参照指标、第二实验指标、第二参照指标、以及组合信息，判断预设功能应用于实验地区所带来的应用程序的性能变化；基于判断结果生成预设功能
的性能测试结果。
7.其中，第一实验指标用于反映在第一预设时段内，应用程序的预设功能未应用于实验地区的情况下，应用程序在实验地区的使用情况；第一参照指标用于反映在第一预设时段内，预设功能未应用于多个参照地区的情况下，应用程序在多个参照地区的使用情况。组合信息用于指示多个参照地区组成一个合成地区，合成地区与实验地区的特征相似度高于预定阈值。第二实验指标用于反映在第二预设时段内，预设功能应用于实验地区的情况下，应用程序在实验地区的使用情况。第二参照指标用于反映在第二预设时段内，预设功能未应用于多个参照地区的情况下，应用程序在多个参照地区的使用情况。
8.其中，第一实验指标用于反映在第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。第一参照指标用于反映在第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。多个参照地区按照地区组合权重组合形成与实验地区相似的合成地区。第二实验指标用于反映在第二预设时段内，预设功能应用于实验地区的情况下，app在实验地区的使用情况。第二参照指标用于反映在第二预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。
9.在一种可能的实施方式中，第一实验指标包括：第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的预设指标。第一参照指标包括：第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的预设指标。
10.另一种可能的实施方式中，多种实验特征包括：在第一预设时段内，影响第一实验指标的预设多种特征的数值。多种参照特征包括：在第一预设时段内，影响第一参照指标的预设多种特征的数值。其中，预设多种特征可以包括以下至少一种：用户数量，表示用户画像的用户特征，以及能够被量化的地区特征。
11.另一种可能的实施方式中，组合信息包括地区组合权重。上述根据第一实验指标及对应的实验特征、以及第一参照指标及对应的参照特征，确定多个参照地区对应的组合信息，包括：根据第一实验指标对应的实验特征和第一参照指标对应的参照特征，生成特征差异计算公式；根据第一实验指标和第一参照指标，生成指标差异计算公式；其中，指标差异计算公式用于在地区组合权重的不同取值下，计算第一实验指标和第一参照指标的差异；对特征差异计算公式和指标差异计算公式进行联合求解，得到地区组合权重，使第一实验指标和第一参照指标的差异最小。其中，特征差异计算公式用于在预设多种特征的特征权重的不同取值下，根据第一实验指标对应的实验特征和第一参照指标对应的参照特征计算地区组合权重，使第一实验指标对应的实验特征和第一参照指标对应的参照特征的差异最小。地区组合权重的不同取值是基于预设多种特征的特征权重的不同取值计算得到的。
12.另一种可能的实施方式中，上述根据第一实验指标对应的实验特征和第一参照指标对应的参照特征，生成特征差异计算公式，包括：将第一实验指标对应的实验特征转化为实验特征矩阵；将第一参照指标对应的参照特征转化为参照特征矩阵；将实验特征矩阵减去参照特征矩阵与地区组合权重矩阵的乘积，得到特征差异矩阵；将特征差异矩阵的转置、特征权重矩阵和特征差异矩阵相乘，生成特征差异计算公式。其中，地区组合权重矩阵中包括待求解的地区组合权重。特征权重矩阵中包括待求解的特征权重。
13.另一种可能的实施方式中，上述根据第一实验指标和第一参照指标，生成指标差
异计算公式，包括：将第一实验指标转化为第一实验指标矩阵；将第一参照指标转换为第一参照指标矩阵；将第一实验指标矩阵减去第一参照指标矩阵与地区组合权重矩阵的乘积，得到指标差异矩阵；其中，地区组合权重矩阵中包括待求解的地区组合权重；将指标差异矩阵的转置和指标差异矩阵相乘，生成指标差异计算公式。
14.另一种可能的实施方式中，上述对特征差异计算公式和指标差异计算公式进行联合求解，得到地区组合权重，使第一实验指标和第一参照指标的差异最小，包括：获取特征权重的初始值；用特征权重的初始值加上随机扰动值，得到特征权重的实时值；分别根据特征权重的初始值和特征权重的实时值，采用特征差异计算公式，计算得到特征权重的初始值对应的地区组合权重、特征权重的实时值对应的地区组合权重；分别根据初始值对应的地区组合权重和实时值对应的地区组合权重，采用指标差异计算公式，得到初始值对应的指标差异值、实时值对应的指标差异值；根据初始值对应的指标差异值、以及实时值对应的指标差异值，得到地区组合权重，使第一实验指标和第一参照指标的差异最小。
15.另一种可能的实施方式中，上述根据第一实验指标、第一参照指标、第二实验指标、以及组合信息，判断预设功能应用于实验地区所带来的应用程序的性能变化，包括：利用组合信息、第一参照指标和第二参照指标，计算合成地区的指标差异值；利用第一实验指标和第二实验指标，计算实验地区的指标差异值；计算合成地区的指标差异值和实验地区的指标差异值的差值，得到预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值。其中，合成地区的指标差异值表征在第一预设时段和第二预设时段内，预设功能未应用于实验地区的情况下，实验地区的指标的变化值。实验地区的指标差异值表征在第一预设时段内预设功能应用于实验地区、且在第二预设时段内预设功能未应用于实验地区的情况下，实验地区的指标的变化值。
16.另一种可能的实施方式中，上述基于判断结果生成预设功能的性能测试结果，包括：若差异值大于预设差异阈值，生成表示预设功能应用于实验地区带来了应用程序的性能变化的性能测试结果；若差异值小于或等于预设差异阈值，生成表示预设功能应用于实验地区没有带来应用程序的性能变化的性能测试结果。
17.第二方面，本技术实施例还提供了一种性能测试装置，包括：数据获取模块、地区组合模块和性能分析模块。
18.其中，数据获取模块，用于获取app的第一实验指标和第一参照指标；提取影响第一实验指标的多种实验特征、以及影响第一参照指标的多种参照特征；其中，第一实验指标用于反映在第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的使用情况；第一参照指标用于反映在第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。地区组合模块，用于根据第一实验指标及对应的实验特征、以及第一参照指标及对应的参照特征，确定多个参照地区对应的组合信息；组合信息用于指示多个参照地区组成一个合成地区，合成地区与实验地区的特征相似度高于预定阈值。数据获取模块，还用于获取app的第二实验指标和第二参照指标；其中，第二实验指标用于反映在第二预设时段内，预设功能应用于实验地区的情况下，app在实验地区的使用情况；第二参照指标用于反映在第二预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。性能分析模块，用于根据第一实验指标、第一参照指标、第二实验指标、第二参照指标、以及组合信息，判断预设功能应用于实验地区所带来的
应用程序的性能变化；基于判断结果生成预设功能的性能测试结果。
19.在一种可能的实施方式中，第一实验指标包括：第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的预设指标。第一参照指标包括：第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的预设指标。
20.另一种可能的实施方式中，多种实验特征包括：在第一预设时段内，影响第一实验指标的预设多种特征的数值。多种参照特征包括：在第一预设时段内，影响第一参照指标的预设多种特征的数值。其中，预设多种特征可以包括以下至少一种：用户数量，表示用户画像的用户特征，以及能够被量化的地区特征。
21.另一种可能的实施方式中，组合信息包括地区组合权重。地区组合模块，具体用于：根据第一实验指标对应的实验特征和第一参照指标对应的参照特征，生成特征差异计算公式；根据第一实验指标和第一参照指标，生成指标差异计算公式；对特征差异计算公式和指标差异计算公式进行联合求解，得到地区组合权重，使第一实验指标和第一参照指标的差异最小。其中，特征差异计算公式用于在预设多种特征的特征权重的不同取值下，根据第一实验指标对应的实验特征和第一参照指标对应的参照特征计算地区组合权重，使第一实验指标对应的实验特征和第一参照指标对应的参照特征的差异最小。指标差异计算公式用于在地区组合权重的不同取值下，计算第一实验指标和第一参照指标的差异。地区组合权重的不同取值是基于预设多种特征的特征权重的不同取值计算得到的。
22.另一种可能的实施方式中，地区组合模块，具体用于：将第一实验指标对应的实验特征转化为实验特征矩阵；将第一参照指标对应的参照特征转化为参照特征矩阵；将实验特征矩阵减去参照特征矩阵与地区组合权重矩阵的乘积，得到特征差异矩阵；将特征差异矩阵的转置、特征权重矩阵和特征差异矩阵相乘，生成特征差异计算公式。其中，地区组合权重矩阵中包括待求解的地区组合权重。特征权重矩阵中包括待求解的特征权重。
23.另一种可能的实施方式中，地区组合模块，具体用于：将第一实验指标转化为第一实验指标矩阵；将第一参照指标转换为第一参照指标矩阵；将第一实验指标矩阵减去第一参照指标矩阵与地区组合权重矩阵的乘积，得到指标差异矩阵；将指标差异矩阵的转置和指标差异矩阵相乘，生成指标差异计算公式。其中，地区组合权重矩阵中包括待求解的地区组合权重。
24.另一种可能的实施方式中，地区组合模块，具体用于：获取特征权重的初始值；用特征权重的初始值加上随机扰动值，得到特征权重的实时值；分别根据特征权重的初始值和特征权重的实时值，采用特征差异计算公式，计算得到特征权重的初始值对应的地区组合权重、特征权重的实时值对应的地区组合权重；分别根据初始值对应的地区组合权重和实时值对应的地区组合权重，采用指标差异计算公式，得到初始值对应的指标差异值、实时值对应的指标差异值；根据初始值对应的指标差异值、以及实时值对应的指标差异值，得到地区组合权重，使第一实验指标和第一参照指标的差异最小。
25.另一种可能的实施方式中，性能分析模块，具体用于：利用组合信息、第一参照指标和第二参照指标，计算合成地区的指标差异值；利用第一实验指标和第二实验指标，计算实验地区的指标差异值；计算合成地区的指标差异值和实验地区的指标差异值的差值，得到预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值，并将差异值作为判断结果。其中，合成地区的指标差异值表征在第一预设时段和第二预设时段内，预设功
能未应用于实验地区的情况下，实验地区的指标的变化值。实验地区的指标差异值表征在第一预设时段内预设功能应用于实验地区、且在第二预设时段内预设功能未应用于实验地区的情况下，实验地区的指标的变化值。
26.另一种可能的实施方式中，性能分析模块，具体用于：若差异值大于预设差异阈值，生成表示预设功能应用于实验地区带来了应用程序的性能变化的性能测试结果；若差异值小于或等于预设差异阈值，生成表示预设功能应用于实验地区没有带来应用程序的性能变化的性能测试结果。
27.第三方面，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，当计算机指令在性能测试装置上运行时，使得性能测试装置执行如第一方面及其任一种可能的实施方式的性能测试方法。
28.第四方面，本技术实施例还提供一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以在性能测试装置上运行，使得性能测试装置执行如第一方面及其任一种可能的实施方式的性能测试方法。
29.本技术实施例提供的性能测试方法，通过第一实验指标、多种实验特征、第一实验指标和多种参照特征这些实际的数据，计算多个参照地区对应的组合信息。其中，多个参照地区按照该组合信息可以组成一个与实验地区相似的合成地区、且该合成地区与实验地区的特征相似度高于预定阈值。该多个参照地区按照该组合信息组成与实验地区较相似的合成地区，相较于在现有的地区中选择和实验地区在某些特征上相似的参照地区，避免了由于个人主观性和随机性等因素，导致根据某些特征选择出的参照地区和实验地区存在偏差的问题；并且，还解决了受现有的地区的局限所选出的参照地区仍然和实验地区存在偏差的问题。也就是说，得到了和实验地区更相似的该合成地区。
30.其次，由于第一参照指标反映了第一预设时段内预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。那么，第一参照指标结合上述组合信息就能够反映第一预设时段内的预设功能未应用于合成地区的情况下，app在合成地区的使用情况。而合成地区与实验地区相似，那么，第二参照指标结合上述组合信息也能够反映第二预设时段内的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。同理地，由于第二参照指标反映了第二预设时段内预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。那么，第二参照指标结合上述组合信息，就能够反映第二预设时段内的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。进而，结合组合信息的第一参照指标和第二参照指标，就能够反映在第二预设时段内预设功能仍未应用于实验地区的情况下的指标的变化。
31.另外，由于第一实验指标反映了在第一预设时段内预设功能未应用于实验地区的情况下的指标，第二实验指标反映了在第二预设时段内预设功能应用于实验地区的情况下的指标。那么，第一实验指标和第二实验指标就能够反映在第二预设时段内预设功能才应用于实验地区的情况下的指标的变化。
32.进而，再根据第一实验指标、第二实验指标、以及结合组合信息的第一参照指标和第二参照指标，判断预设功能应用于实验地区所带来的应用程序的性能变化，就是根据在第二预设时段内预设功能仍未应用于实验地区的情况下的指标的变化、以及在第二预设时段内预设功能才应用于实验地区的情况下的指标的变化，判断预设功能应用于实验地区所
带来的应用程序的性能变化。由于在第二预设时段内预设功能仍未应用于实验地区的情况下的指标的变化、以及在第二预设时段内预设功能才应用于实验地区的情况下的指标的变化，是在相同时段内，同一个实验地区应用预设功能和不应用预设功能导致的两种指标的变化。因此，利用其判断得到的预设功能应用于实验地区所带来的应用程序的性能变化，不受时段的不同和地区的不同的影响，该预设功能应用于实验地区所带来的应用程序的性能变化只是预设功能应用于实验地区所产生的，则预设功能应用于实验地区所带来的应用程序的性能变化的准确度更高。
附图说明
33.图1为本技术实施例提供的一种性能测试方法的流程图一；
34.图2为本技术实施例提供的一种性能测试方法的流程图二；
35.图3为本技术实施例提供的一种性能测试方法的流程图三；
36.图4为本技术实施例提供的一种性能测试装置的组成示意图一；
37.图5为本技术实施例提供的一种性能测试装置的组成示意图二。
具体实施方式
38.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上，“多种”的含义是两种或两种以上。
39.随着终端的广泛使用，终端上可用的app也越来越多。这些app为用户提供各种各样的功能，以满足用户的各种使用需求。每一个app的管理者为了给用户提供更好的使用体验，往往在发布该app的一项新的功能之前，会对该新的功能为app所带来的性能变化(即该新的功能的效果)进行评估。其中，app的一项新的功能可以称为预设功能；该预设功能可以为app的一种新的功能或一种新的操作方式等等。
40.进一步地，考虑到不同地区的用户对预设功能的使用情况也是有所差别的，因此，可以对预设功能进行分地域实验，评估该新的功能应用于实验地区所带来的app的性能变化(即该预设功能应用于实验地区所带来的效果)。其中，该实验地区也可以称为该预设功能的试点地区；该实验地区可以为某个城市或某个省份等等。
41.目前，分地域实验中主要采用的倍差法。倍差法的基本原理就是：基于反事实框架，评估实验行为发生和不发生这两种情况下评估变量的变化。采用倍差法，对预设功能进行分地域实验，具体包括：先将地区分为两类，即app上应用该预设功能的实验地区和app上未应用该预设功能的参照地区；然后，可以将该预设功能未应用于实验地区和该预设功能应用于实验地区的情况下，参照地区的评估变量的变化，看作该预设功能一直未应用于实验地区的情况下实验地区的评估变量的变化，即反事实的结果；最后，比较实验地区的评估变量的变化和参照组的评估变量的变化，以评估该新的功能应用于实验地区所带来的app的性能变化(即该预设功能应用于实验地区所带来的效果或实际效益)。其中，参照地区的评估变量表征该app在参照地区的使用情况；实验地区的评估变量表征该app在实验地区的使用情况。并且在该预设功能应用于实验地区和参照地区的情况下，参照地区的评估变量
和实验地区的评估变量没有显著差异。
42.可以知道，分地域实验的关键就是确定实验地区对应的参照地区。选择参照地区的常用方法就是：寻找某些特征都与实验地区的特征相似的地区，作为实验地区对应的参照地区；进而可以将该参照地区作为实验地区的反事实替身，实验地区的反事实替身就是可以另一个和实验地区相同的地区。然而，上述参照地区的选择方法带有较强的主观性和随机性。由于缺少定量的选择指标，这样选出的参照地区只是在某些特征上和实验地区相似，作为实验地区的反事实替身是不准确的。另外，实验地区还可能存在一些独一无二的特征，实际中不存在具有和该独一无二的特征相似的特征的地区，如此，就无法选出该实验地区对应的参照地区。
43.示例性地，以实验地区为中国的首都北京为例，评估app的一种操作方式应用于北京所带来的app的性能变化(即该操作方式应用于北京所带来的效果)。可以根据北京具有的一线城市的特点，选择同为一线城市的上海、深圳和杭州这三个城市作为参照地区。但实际上，由于这三个城市在地理位置上，相较于北京偏向南方，因此，这三个城市的用户的生活习惯和北京的用户的生活习惯存在较大的差距。进而导致这三个城市的用户对该app的使用情况和北京的用户对该app的使用情况本就存在较大的差异。因此，将这三个城市作为北京的参照地区，用于评估该app的一种操作方式应用于北京所带来的app的性能变化时，这三个城市和北京存在的用户的生活习惯的差别，导致评估出的这种操作方式应用于北京所带来的app的性能变化是不准确的。并且，由于北京在地区上的特殊性，现实中基本不存在和北京相似的城市。
44.本技术实施例提供一种性能测试方法，通过该方法可以提高预设功能应用于实验地区所带来的app的性能变化的准确度，并且，对于具有特殊性的实验地区，能够确定出和具有特殊性的实验地区相似的地区。
45.本技术实施例提供的一种性能测试方法，可以应用于电子设备或服务器中。该性能测试方法的执行主体可以为性能测试装置。该性能测试装置可以为上述电子设备或上述服务器。该性能测试装置还可以为上述电子设备(或上述服务器)的中央处理器(central processing unit，cpu)；或者，上述电子设备(或上述服务器)中的用于执行性能测试方法的控制模块等等。下面以服务器为例，介绍性能测试方法。
46.本技术实施例提供一种性能测试方法，考虑到在现有的地区中选择出的参照地区，均不可能达到和实验地区在各方面都相似，不能作为实验地区的反事实替身，电子设备可以对现有的多个参照地区进行加权组合，构造一个和实验地区在各方面都相似的合成地区。该合成地区作为该实验地区的反事实替身，用于评估预设功能应用于实验地区所带来的app的性能变化。具体地，参见图1，性能测试方法可以包括s101-s105。
47.s101、电子设备获取app的第一实验指标和第一参照指标。
48.其中，第一实验指标用于反映在第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。第一参照指标用于反映在第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。并且，第一实验指标和第一参照指标可以都是数值。
49.其中，为了评估预设功能在实验地区所带来的app的性能变化，需要确定该实验地区的反事实替身。可以在现有的地区中，选择和实验地区的某些特征相似的多个参照地区；
再用该多个参照地区得到该实验地区的反事实替身。该某些特征属于预设多种特征；预设多种特征是指影响该app在地区的使用情况的特征。
50.本技术实施例中，预设多种特征包括以下至少一种：用户数量，表示用户画像的用户特征，以及能够被量化的地区特征等等。其中，预设多种特征中所说的用户可以是地区中使用该app的用户，也可以是地区中的使用电子设备的用户，还可以是地区的所有居民。
51.其中，表示用户画像的用户特征是指组成用户画像的任意一种用户特征，例如，用户年龄、用户性别、用户职业等等。能够被量化的地区特征可以包括表示地区的经济情况的信息，例如，地区的国内生成总值(gross domestic product，gdp)、地区的平均工资等等。
52.需要说明的是，除了上述特征，预设多种特征还可以包括影响该app在地区的使用情况的其他特征，例如，地区的青年人在地区总人口中的占比，本技术实施例不做限制。
53.一般而言，实验地区的反事实替身应该在预设功能都未应用于实验地区和反事实替身的情况下，关于该app的使用情况和该app在实验地区的使用情况基本相同。因此，电子设备获取上述第一预设时段内，反映该app在该多个参照地区的使用情况的第一参照指标，以及反映该app在该实验地区的使用情况的第一实验指标，以用于得到该实验地区的反事实替身。
54.电子设备针对实验地区和多个参照地区，可以接收用户输入的app的第一实验指标和第一参照指标；或者，可以从存储有app的第一实验指标和第一参照指标的数据库中，读取该第一实验指标和第一参照指标；或者，还可以在第一预设时段内，app的预设功能未应用于实验地区的情况下，统计得到app的第一实验指标和第一参照指标。
55.本技术实施例中，第一实验指标包括：第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的预设指标。第一参照指标包括：第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的预设指标。其中，预设指标包括以下至少一种指标：日活跃用户数量，用户留存率，以及用户使用行为信息。
56.其中，第一预设时段可以为一天、一周或者由多个不连续的时长组成的一个时段。第一参照指标包括：第一预设时段内，预设功能未应用于多个参照地区中的每个参照地区的情况下，app在每个参照地区的预设指标。
57.其中，日活跃用户数量是指一天内，在一个地区使用该app的用户数量。用户留存率是指经过一段时长后的留存用户数量和新增用户数量的比率；新增用户数量就是在一段时长的开始时段内使用app的所有用户(也可以称为新增用户)的数量，留存用户数量就是一段时长的结束时段内该新增用户中使用app的用户数量。例如，对应一段时长为两天的次日留存率、对应一段时长为七天的七日留存率。用户使用行为信息是指在一个地区用户使用该app的行为数据，例如，点赞数量、转发次数或浏览app次数等等。
58.s102、电子设备提取影响第一实验指标的多种实验特征、以及影响第一参照指标的多种参照特征。
59.其中，实验地区的反事实替身除了在上述第一预设时段内，预设功能未应用于实验地区和多个参照地区的情况下，关于该app的使用情况和该app在实验地区的使用情况基本相同，还要满足自身的预设多种特征和实验地区的预设多种特征也基本相似。因此，电子设备还获取实验地区的多种实验特征、以及多个参照地区的多种参照特征，以用于得到该实验地区的反事实替身。并且，实验特征和参照特征可以都是数值。
60.需要说明的是，电子设备获取该多种实验特征和该多种参照特征的详细过程，可以参考上述获取第一实验指标和第一参照指标的具体介绍，本技术实施例这里不予赘述。
61.本技术实施例中，多种实验特征包括：在上述第一预设时段内，影响第一实验指标的上述预设多种特征的数值。多种参照特征包括：在上述第一预设时段内，影响第一参照指标的上述预设多种特征的数值。
62.其中，多种参照特征包括：在第一预设时段内，影响多个参照地区中的每个参照地区的第一参照指标的预设多种特征的数值。
63.示例性地，预设多种特征可以包括表示用户画像的用户特征。以实验地区为例，表示用户画像的用户特征可以为用户年龄，那么，实验地区的关于表示用户画像的用户特征的数值可以是实验地区中的某一个年龄段的使用app的用户数量在该实验地区的使用app的总用户数量中的占比。
64.s103、电子设备根据第一实验指标及对应的实验特征、以及第一参照指标及对应的参照特征，确定多个参照地区对应的组合信息；其中，组合信息用于指示多个参照地区组成一个合成地区，合成地区与实验地区的特征相似度高于预定阈值。
65.其中，第一实验指标对应的实验特征可以是上述影响第一实验指标的多种实验特征。第一参照指标对应的参照特征可以是上述影响第一参照指标的多种参照特征。
66.本技术实施例中，多个参照地区对应的组合信息可以包括多个参照地区的地区组合权重。多个参照地区按照对应的地区组合权重组合形成与实验地区相似的该合成地区。
67.其中，在确定多个参照地区各自在构造实验地区的反事实替身中的权重时，考虑到实验地区的反事实替身需要满足在上述第一预设时段内，预设功能未应用于实验地区和多个参照地区的情况下，关于该app的使用情况和该app在实验地区的使用情况基本相同，以及自身的预设多种特征和实验地区的预设多种特征也基本相似。电子设备可以根据反映该app的使用情况的第一实验指标和第一参照指标，以及表示预设多种特征的数值的多种实验特征和多种参照特征，计算多个参照地区的地区组合权重。
68.其中，该地区组合权重包括和多个参照地区一一对应的多个权重，多个权重均为非负数。该多个权重的总和等于1。
69.本技术实施例中，电子设备可以计算一个使得该第一实验指标和该第一参照指标的差异最小、且使得该多种实验特征和该多种参照特征的差异最小的地区组合权重。进而，多个参照地区按照该地区组合权重形成的合成地区就是与实验地区最相似的地区，该合成地区可以作为该实验地区的反事实替身。
70.本技术实施例中，电子设备可以根据第一实验指标对应的实验特征、以及第一参照指标对应的参照特征、以及组合信息，计算实验地区与合成地区的特征差异值。该实验地区与合成地区的特征差异值就是合成地区与实验地区的特征相似度。
71.本技术实施例中，上述预设阈值可以是，电子设备根据第一实验指标及对应的实验特征、以及第一参照指标对应的参照特征，分别计算多个参照地区和实验地区的特征差异值；再根据各个参照地区和实验地区的特征差异值，设置预设阈值。预设阈值可以大于各个参照地区和实验地区的特征差异值，或者等于多个特征差异值中的最大值，多个特征差异值和多个参照地区一一对应。
72.s104、电子设备获取app的第二实验指标和第二参照指标。
73.其中，第二实验指标用于反映在第二预设时段内，预设功能应用于实验地区的情况下，app在实验地区的使用情况。第二参照指标用于反映在第二预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。并且，第二实验指标和第二参照指标可以都是数值。
74.其中，由于该第二参照指标反映了第二预设时段内预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况，并且，该多个参照地区按照上述地区组合权重组合可以形成与实验地区相似的合成地区；那么，第二参照指标结合上述地区组合权重，就能够反映第二预设时段内的预设功能未应用于合成地区的情况下，app在合成地区的使用情况(即第二预设时段内的预设功能未应用于实验地区的情况下，app在实验地区的使用情况)。
75.需要说明的是，第二实验指标和第一实验指标的区别仅在于反映不同情况下的app在实验地区的使用；因此，电子设备获取第二实验指标的详情描述，可以参见上述电子设备获取第一实验指标的具体介绍；以及第二实验指标的详情描述，也可以参见上述第一实验指标的具体结束，本技术实施例这里均不予赘述。
76.需要说明的是，第二参照指标和第一参照指标的区别仅在于反映不同情况下的app在多个参照地区的使用；因此，电子设备获取第二参照指标的详情描述，可以参见上述电子设备获取第一参照指标的具体介绍；以及第二参照指标的详情描述，也可以参见上述第一参照指标的具体介绍，本技术实施例这里均不予赘述。
77.s105、电子设备根据第一实验指标、第一参照指标、第二实验指标、第二参照指标、以及组合信息，判断预设功能应用于实验地区所带来的app的性能变化。
78.电子设备可以根据第一实验指标、第一参照指标、第二实验指标、第二参照指标、以及组合信息，计算预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值，并将该差异值作为判断结果。该差异值用于反映预设功能应用于实验地区所带来的app的性能变化。
79.其中，第一实验指标和第二实验指标，分别反映了在第一预设时段内预设功能未应用于实验地区的情况下，以及在第二预设时段内预设功能应用于实验地区的情况下，app在实验地区的使用情况；因此，电子设备可以计算该第一实验指标和第二实验指标的差异值。其能够反映在第二预设时段内预设功能应用于实验地区的情况下，app在实验地区的使用情况的变化。也就是说，该第一实验指标和第二实验指标的差异值，就是仅在两个时段中的第二预设时段内预设功能应用于实验地区的指标的差异值。其中，两个时段包括第一预设时段和第二预设时段。
80.由上述描述可知，第二参照指标结合上述组合信息(如，地区组合权重)，反映了第二预设时段内的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。与第二参照指标结合上述组合信息的详情描述同理，第一参照指标结合上述组合信息，反映了第一预设时段内的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。因此，电子设备可以计算结合上述组合信息的该第一参照指标和结合上述组合信息的第二参照指标的差异值。其能够反映在第二预设时段内预设功能仍未应用于实验地区的情况下，app在实验地区的使用情况的变化。也就是说，结合上述组合信息的该第一参照指标和第二参照指标的差异值，就是在两个时段内预设功能都未应用于实验地区的指标的差异值。
81.综上所述，电子设备利用仅在两个时段中的第二预设时段内预设功能应用于实验地区的指标的差异值、以及在两个时段内预设功能都未应用于实验地区的指标的差异值，可以计算出预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值。由于仅在两个时段中的第二预设时段内预设功能应用于实验地区的指标的差异值，和在两个时段内预设功能都未应用于实验地区的指标的差异值，都是针对相同的两个时段、且相同的实验地区计算出的。因此，利用其计算出的差异值不受时段的不同和地区的不同的影响，该差异值只是预设功能应用于实验地区所产生的，该差异值能够准确反映预设功能应用于实验地区所带来的app的性能变化。
82.s106、电子设备基于判断结果生成预设功能的性能测试结果。
83.本技术实施例中，电子设备判断该差异值是否大于预设差异阈值；若差异值大于预设差异阈值，生成表示预设功能应用于实验地区带来了应用程序的性能变化的性能测试结果，例如，yes或1；若差异值小于或等于预设差异阈值，生成表示预设功能应用于实验地区没有带来应用程序的性能变化的性能测试结果，例如，no或0。
84.其中，若差异值不小于预设差异阈值，电子设备可以确定预设功能应用于实验地区，对app在实验地区的使用情况产生较大的影响；那么，实验地区内可以在app上增加该预设功能。若差异值小于预设差异阈值，电子设备可以确定预设功能应用于实验地区，对app在实验地区的使用情况基本没有影响；那么，实验地区内在app上不增加该预设功能。
85.本技术实施例提供的性能测试方法，通过第一实验指标、多种实验特征、第一实验指标和多种参照特征这些实际的数据，计算多个参照地区对应的组合信息。其中，多个参照地区按照该地区组合权重可以组成一个与实验地区相似的合成地区。该多个参照地区按照该地区组合权重组成与实验地区相似的合成地区，相较于在现有的地区中选择和实验地区在某些特征上相似的参照地区，避免了由于个人主观性和随机性等因素，导致根据某些特征选择出的参照地区和实验地区存在偏差的问题；并且，还解决了受现有的地区的局限所选出的参照地区仍然和和实验地区存在偏差的问题。也就是说，得到了和实验地区更相似的该合成地区。
86.其次，由于第一参照指标反映了第一预设时段内预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。那么，第一参照指标结合上述组合信息(如，地区组合权重)就能够反映第一预设时段内的预设功能未应用于合成地区的情况下，app在合成地区的使用情况。而合成地区与实验地区相似，那么，第二参照指标结合上述组合信息也能够反映第二预设时段内的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。同理地，由于第二参照指标反映了第二预设时段内预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。那么，第二参照指标结合上述组合信息，就能够反映第二预设时段内的预设功能未应用于实验地区的情况下，app在实验地区的使用情况。进而，结合组合信息的第一参照指标和第二参照指标，就能够反映在第二预设时段内预设功能仍未应用于实验地区的情况下的指标的变化。
87.另外，由于第一实验指标反映了在第一预设时段内预设功能未应用于实验地区的情况下的指标，第二实验指标反映了在第二预设时段内预设功能应用于实验地区的情况下的指标。那么，第一实验指标和第二实验指标就能够反映在第二预设时段内预设功能才应用于实验地区的情况下的指标的变化。
88.进而，再根据第一实验指标、第二实验指标、以及结合组合信息的第一参照指标和第二参照指标，计算预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值，就是根据在第二预设时段内预设功能仍未应用于实验地区的情况下的指标的变化、以及在第二预设时段内预设功能才应用于实验地区的情况下的指标的变化，计算该差异值。由于在第二预设时段内预设功能仍未应用于实验地区的情况下的指标的变化、以及在第二预设时段内预设功能才应用于实验地区的情况下的指标的变化，是在相同时段内，同一个实验地区应用预设功能和不应用预设功能导致的两种指标的变化。因此，利用其计算出的差异值不受时段的不同和地区的不同的影响，该差异值只是预设功能应用于实验地区所产生的，并且，该差异值表示了预设功能应用于实验地区所产生的app在实验区域的使用情况的变化情况，则该差异值能够准确反映预设功能应用于实验地区所带来的app的性能变化。
89.本技术实施例中，电子设备可以计算使得第一实验指标和第一参照指标的差距最小，以及多种实验特征和多种参照特征的差距最小的地区组合权重。那么，多个参照地区按照该地区组合权重组合形成的合成地区，就是和实验地区最相似的地区。具体的，参见图2，s103可以包括s103a-s103c。
90.s103a、电子设备根据多种实验特征和多种参照特征，生成特征差异计算公式。
91.其中，特征差异计算公式用于在预设多种特征的特征权重的不同取值下，根据多种实验特征(即，第一实验指标对应的实验特征)和多种参照特征(即，第一参照指标对应的参照特征)计算地区组合权重，使多种实验特征和多种参照特征的差异最小。
92.其中，为了使得由多个参照地区组成的合成地区和实验地区尽可能相似，电子设备可以利用实验地区的多种实验特征、多个参照地区的多种参照特征、以及多个参照地区的地区组合权重，表示合成地区和实验地区的特征的差异，并使该特征的差异尽可能的小。
93.本技术实施例中，电子设备可以将多种实验特征转化为实验特征矩阵；再将多种参照特征转化为参照特征矩阵；然后，将实验特征矩阵减去参照特征矩阵与地区组合权重矩阵的乘积，得到特征差异矩阵；其中，地区组合权重矩阵中包括待求解的地区组合权重；最后，将特征差异矩阵的转置、特征权重矩阵和特征差异矩阵相乘，生成特征差异计算公式；其中，特征权重矩阵中包括待求解的特征权重。
94.其中，待求解的地区组合权重表示多个参照地区在组成合成地区(即与实验地区相似的地区)时的权重大小；该待求解的地区组合权重的总和等于1。上述参照特征矩阵与包括待求解的地区组合权重的地区组合权重矩阵相乘，可以得到表示该合成地区的特征的矩阵。再用实验特征矩阵减去参照特征矩阵与地区组合权重矩阵的乘积，得到表示实验地区和合成地区的特征的差异的特征差异矩阵。另外，由于预设多种特征对预设指标的影响程度不同，那么，预设多种特征在计算实验地区和合成地区的特征的差异中的重要度也不同。因此，按照对预设指标的影响程度，设置预设多种特征对应的待求解的特征权重，并将包括待求解的特征权重的特征权重矩阵，用于计算使得实验地区和合成地区的特征的差异最小的地区组合权重的问题中。最后，将特征差异矩阵的转置、特征权重矩阵和特征差异矩阵相乘，以计算实验地区和合成地区的特征的差异的数值。
95.其中，待求解的特征权重的总和可以等于1，待求解的特征权重为非负数。特征权重矩阵可以为对角矩阵；该对角矩阵中的对角元素为待求解的特征权重。
96.需要说明的是，电子设备还可以将多种实验特征和多种参照特征，代入预设特征
差异计算公式，生成特征差异计算公式。其中，预设特征差异计算公式用于在预设多种特征的特征权重的不同取值下，计算使得实验地区和多个参照地区的特征的差异的地区组合权重。
97.s103b、电子设备根据第一实验指标和第一参照指标，生成指标差异计算公式。
98.其中，指标差异计算公式用于在地区组合权重的不同取值下，计算第一实验指标和第一参照指标的差异。地区组合权重的不同取值是基于预设多种特征的特征权重的不同取值计算得到的。
99.其中，由于合成地区和实验地区在相同条件下的关于app的使用情况应该尽可能相同，而第一实验指标和第一参照指标是分别反映对实验地区和多个参照地区在相同条件下的关于app的使用情况，因此，计算使得第一实验指标和第一参照指标的差异尽可能小的地区组合权重，就能够保证合成地区和实验地区在相同条件下的关于app的使用情况应该尽可能相同。
100.除了合成地区和实验地区的特征的差异尽可能的小，表示合成地区和实验地区尽可能相似，最主要的目标是要使得合成地区和实验地区，电子设备要使得第一实验指标和第一参照指标的差异最小，可以将第一实验指标和第一参照指标，代入预设特征差异计算公式，求解使得第一实验指标和第一参照指标的差异最小的地区组合权重。其中，预设特征差异计算公式用于利用地区组合权重计算实验地区和多个参照地区的指标的差异。
101.本技术实施例中，电子设备可以将第一实验指标转化为第一实验指标矩阵；再将第一参照指标转换为第一参照指标矩阵；然后，将第一实验指标矩阵减去第一参照指标矩阵与地区组合权重矩阵的乘积，得到指标差异矩阵；其中，地区组合权重矩阵中包括待求解的地区组合权重；最后，将指标差异矩阵的转置和指标差异矩阵相乘，生成指标差异计算公式。
102.其中，上述第一参照指标矩阵与包括待求解的地区组合权重的地区组合权重矩阵相乘，可以得到表示该合成地区的指标的矩阵。再用第一实验指标矩阵减去第一参照指标矩阵与地区组合权重矩阵的乘积，得到表示实验地区和合成地区的指标的差异的指标差异矩阵。最后，将指标差异矩阵的转置和指标差异矩阵相乘，以计算表示实验地区和合成地区的指标的差异的数值。
103.需要说明的是，电子设备还可以将第一实验指标和第一参照指标，代入预设指标差异计算公式，生成指标差异计算公式。其中，预设指标差异计算公式用于利用地区组合权重的不同取值，计算实验地区和多个参照地区的指标的差异。
104.s103c、电子设备对特征差异计算公式和指标差异计算公式进行联合求解，得到地区组合权重，使第一实验指标和第一参照指标的差异最小。
105.其中，对特征差异计算公式和指标差异计算公式进行联合求解，可以认为是一个双层规划问题。可以采用多种方法求解双层规划问题，包括：极点搜索法、卡罗需-库恩-塔克条件(karush-kuhn-tucker conditions，kkt条件)、下降法、数值优化方法等。
106.示例性地，以预设指标包括1个指标，预设多种特征包括m个特征，多个参照地区包括n个参照地区，第一预设时段为[t1，t2]，第二预设时段为[t2，t3]为例，[t1，t2]可以被分为t个第一子时段，对s103的过程进行具体说明。其中，m、n、t均为正整数。电子设备可以获取第一实验指标和第一参照指标。其中，该第一实验指标包括实验地区的t个第一指标；t个第
一指标分别为t个第一子时段内，预设功能未应用于实验地区的情况下，app在实验地区的预设指标。该第一参照指标包括n个参照地区各自的t个第一指标；每个参照地区的t个第一指标分别为t个第一子时段内，预设功能未应用于对应的参照地区的情况下，app在对应的参照地区的预设指标。
[0107]
电子设备还可以获取多种实验特征和多种参照特征。其中，该多种实验特征包括实验地区的m个特征；该实验地区的m个特征包括在[t1，t2]内，影响该第一实验指标的预设多种特征。该多种参照特征包括n个参照地区各自的m个特征；每个参照地区的m个特征包括在[t1，t2]内，影响对应的参照地区的指标的预设多种特征。
[0108]
然后，电子设备可以将该第一实验指标转换为第一实验指标矩阵该第一实验指标矩阵为t*1维列向量。将第一参照指标转换为第一参照指标矩阵该第一参照指标矩阵为t*n维矩阵。将多种实验特征转换为实验特征矩阵该实验特征矩阵为m*1为列向量。将多种参照特征转换为参照特征矩阵该参照特征矩阵为m*n维矩阵。
[0109]
进而，电子设备可以生成特征差异计算公式如式(1)所示：
[0110][0111]
电子设备可以生成指标差异计算公式如式(2)所示：
[0112][0113]
其中，w为包括待求解的地区组合权重的地区组合权重矩阵，w可以为n*1维列向量，w＝(w1,w2,
…
,wn)
′
，并且待求解的地区组合权重的总和等于1，即符号
“’”
表示矩阵的转置。v表示包括待求解的特征权重的特征权重矩阵；v可以为m*m维的对角矩阵，对角矩阵中的对角元素为非负元素，表征预设多种特征各自对应的特征权重；对角矩阵中的除对角元素之外的元素为0。w
*
(v)表示在v取值一定的情况下，使得公式(1)的值最小的w。由于v的取值，影响w
*
，而w
*
的取值影响公式(2)的值，因此，对公式(1)和公式(2)进行联合求解，得到使第一实验指标和第一参照指标的差异最小的地区组合权重，就是求解使得公式(2)的值最小的v
*
。
[0114]
示例性地，电子设备采用模拟退火算法，对公式(1)和公式(2)进行联合求解的具体过程可以包括步骤a1-a5。
[0115]
a1、电子设备获取特征权重的初始值v0。
[0116]
电子设备可以随机产生v0。其中，特征权重的初始值v0可以包括预设多种特征一一对应的多个数值。
[0117]
a2、电子设备用特征权重的初始值v0加上随机扰动值θ，得到特征权重的实时值v1。
[0118]
电子设备令v1＝v0 θ。其中，随机扰动值θ是一个实时变化的随机数。并且，随机扰动值θ和特征权重的初始值v0为一一对应的，随机扰动值θ可以包括多个数值。
[0119]
a3、电子设备分别根据特征权重的初始值v0和特征权重的实时值v1，采用特征差异计算公式(例如，公式(1))，计算得到特征权重的初始值v0对应的地区组合权重w
*
(v0)、特征权重的实时值v1对应的地区组合权重w
*
(v1)。
[0120]
电子设备可以分别将v0转换初始特征权重矩阵将v1转换实时特征权重矩阵
再分别将带入公式(1)，分别得到w
*
(v0)、w
*
(v1)。
[0121]
其中，当公式(1)中的v已知时，公式(1)的求解是一个二次规划问题。可以采用多种方法对公式(1)进行求解，例如，拉格朗日方法、lemke方法、内点法、有效集法、椭球算法等。还可以调用一些二次规划求解工具对公式(1)进行求解，例如，python中的cvxopt模块，r语言中的quadprog，matlab中的quadprog。
[0122]
a4、电子设备分别根据初始值对应的地区组合权重w
*
(v0)和实时值对应的地区组合权重w
*
(v1)，采用指标差异计算公式(例如，公式(2))，得到初始值对应的指标差异值d(w
*
(v0))、实时值对应的指标差异值d(w
*
(v1))。
[0123]
电子设备可以分别将w
*
(v0)和w
*
(v1)带入公式(2)，分别得到d(w
*
(v0))、d(w
*
(v1))。
[0124]
其中，其中，
[0125]
a5、电子设备根据初始值对应的指标差异值d(w
*
(v0))、以及实时值对应的指标差异值d(w
*
(v1))，得到地区组合权重w
*
(v
*
)，使第一实验指标和第一参照指标的差异最小。
[0126]
电子设备可以比较d(w
*
(v0))和d(w
*
(v1))的大小。若d(w
*
(v0))大于d(w
*
(v1))，电子设备将特征权重的实时值v1赋值于特征权重的初始值v0(即令v0＝v1)。若d(w
*
(v0))小于或等于d(w
*
(v1))，电子设备按照预设概率将特征权重的实时值v1赋值于特征权重的初始值v0。然后，电子设备可以判断是否满足预设终止条件。若不满足预设终止条件，继续用特征权重的初始值v0加上随机扰动值θ，即继续执行步骤a2。若满足预设终止条件，确定当前对应指标差异值更小的地区组合权重，就是使第一实验指标和第一参照指标的差异最小的w
*
(v
*
)。
[0127]
其中，w
*
(v
*
)可以是d(w
*
(v0))大于d(w
*
(v1))时的w
*
(v1)，还可以是d(w
*
(v0))小于或等于d(w
*
(v1))时的w
*
(v0)。
[0128]
其中，预设终止条件可以为表示地区组合权重满足使得第一实验指标和第一参照指标的差异最小的条件。例如，特征权重的初始值v0保持k次不再变化；k为正整数。又例如，电子设备计算地区组合权重的迭代次数等于迭代次数阈值l；l为正整数。
[0129]
示例性地，以参照地区的个数n等于3，预设多种特征的个数m等于2，子时段的个数t等于4为例，那么，第一实验指标矩阵为4*1维列向量，第一参照指标矩阵为4*3维矩阵，待求解的地区组合权重矩阵w为3*1维列向量，实验特征矩阵为2*1维列向量，参照特征矩阵为2*3维列向量；待求解的地区组合权重矩阵w为3*1维列向量，待求解的特征权重矩阵为2*2维的对角矩阵。
[0130]
假设预设指标为七日留存率，电子设备得到的和为：
[0131][0132]
假设2个特征包括地区中的使用app的用户数量、以及该用户数量中20-30岁的用户数量占比，电子设备得到的和为：
[0133][0134]
假设包括特征权重的初始值v0的初始特征权重矩阵以及包括随机扰动值θ的随机扰动矩阵为：
[0135][0136]
那么，可以得到包括特征权重的实时值v1的实时特征权重矩阵为：
[0137][0138]
可以将特征权重矩阵代入公式(1)，计算得到实时值对应的地区组合权重w
*
(v1)为：
[0139][0140]
将w
*
(v1)代入公式(2)，可以计算得到实时值对应的指标差异值d(w
*
(v1))为0.001797。在多次迭代后，计算得到使第一实验指标和第一参照指标的差异最小的地区组合权重w
*
(v
*
)、以及对应的v
*
为：
[0141][0142]
利用该w
*
(v
*
)和该v
*
计算得到的第一实验指标和第一参照指标的差异值为0.001697小于迭代过程中的所有指标差异值，包括0.001797。
[0143]
本技术实施例提供的性能测试方法，利用实验地区的第一实验指标和多种实验特征，以及多个参照地区的第一参照指标和多种参照特征，这些实际的数据，计算多个参照地区的地区组合权重，而不是根据某些特征来选择参照地区。利用这些实际的数据计算多个参照地区的地区组合权重，避免了由于个人主观性和随机性等因素，导致根据某些特征选择出的参照地区和实验地区存在偏差的问题。该地区组合权重使得该第一实验指标和该第一参照指标的差异最小，也就是说，利用该地区组合权重，就可以准确地得到和实验地区相似的合成地区。
[0144]
本技术实施例中，电子设备在计算出地区组合权重矩阵和特征权重矩阵后，可以将多种实验特征转换为实验特征矩阵将多种参照特征转换为参照特征矩阵再按照如下公式(3)计算实验地区与合成地区的特征差异值xs：
[0145][0146]
本技术实施例中，电子设备可以针对每个参照地区，将每个参照地区的多种参照特征转换为参照特征矩阵该参照特征矩阵为m*1维列向量；q在{1，
…
，q}中依次取值，q为多个参照地区的总个数；将多种实验特征转换为实验特征矩阵该实验特征矩阵为m*1维列向量；进而，电子设备可以按照如下公式(4)计算每个参照地区和实验区域的特征差异值
[0147][0148]
本技术实施例中，电子设备得到多个参照地区的地区组合权重后，可以利用该地区组合权重、多个参照地区的第一参照指标和第二参照指标，确定两个时段内预设功能未应用于合成地区的指标的差异。其中，两个时段包括第一预设时段和第二预设时段。然后，利用实验地区的第一实验指标和第二实验指标，确定两个时段内预设功能应用于实验地区前后指标的差异。最后，比较这两个差异，可以确定第二预设时段内预设功能应用于实验地区前后指标的差异(即预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值)。具体的，参见图3，s105可以包括s105a-s105c。
[0149]
s105a、电子设备利用组合信息、第一参照指标和第二参照指标，计算合成地区的指标差异值。
[0150]
其中，组合信息可以为地区组合权重。合成地区的指标差异值表征在第一预设时段和第二预设时段内，预设功能未应用于实验地区的情况下，实验地区的指标的变化值。
[0151]
其中，合成地区的指标差异值表征在两个时段内，预设功能未应用于合成地区的情况下，合成地区的指标的变化值。由于多个参照地区按照该地区组合权重组合形成和实验地区相似的合成地区，因此，合成地区的指标差异值也可以表征在两个时段内，预设功能未应用于实验地区的情况下，实验地区的指标的变化值。
[0152]
本技术实施例中，电子设备可以将地区组合权重转换为地区组合权重矩阵、将第一参照指标转换为第一参照指标矩阵、以及将第二参照指标转换为第二参照指标矩阵；再将第二参照指标矩阵与地区组合权重矩阵的乘积，减去第一参照指标矩阵与地区组合权重矩阵的乘积，得到合成地区的指标差异矩阵；然后，电子设备将合成地区的指标差异矩阵的转置乘以合成地区的指标差异矩阵，得到合成地区的指标差异值。
[0153]
示例性地，在上述以预设指标包括1个指标，预设多种特征包括m个特征，多个参照地区包括n个参照地区，第一预设时段为[t1，t2]，第二预设时段为[t2，t3]为例的基础上，说明电子设备计算合成地区的指标差异值的具体过程。[t2，t3]可以被分为t个第二子时段。电子设备获取的第二参照指标包括n个参照地区各自的t个第二指标；每个参照地区的t个第二指标分别为t个第二子时段内，预设功能未应用于对应的参照地区的情况下，app在对应的参照地区的预设指标。然后，电子设备可以将第二参照指标转换为第二参照指标矩阵该第二参照指标矩阵为t*n维矩阵。进而，电子设备可以按照如下公式(5)计算合成地区的指标差异值zc：
[0154][0155]
s105b、电子设备利用第一实验指标和第二实验指标，计算实验地区的指标差异值。
[0156]
其中，实验地区的指标差异值表征在第一预设时段内预设功能应用于实验地区、且在第二预设时段内预设功能未应用于实验地区的情况下，实验地区的指标的变化值。
[0157]
本技术实施例中，电子设备可以将第一实验指标转换为第一实验指标矩阵、以及将第二实验指标转换为第二实验指标矩阵；再将第二实验指标矩阵减去第一实验指标矩阵，得到实验地区的指标差异矩阵；然后，电子设备将实验地区的指标差异矩阵的转置乘以实验地区的指标差异矩阵，得到实验地区的指标差异值。
[0158]
示例性地，在上述以预设指标包括1个指标，预设多种特征包括m个特征，多个参照地区包括n个参照地区，第一预设时段为[t1，t2]，第二预设时段为[t2，t3]为例的基础上，说明电子设备计算实验地区的指标差异值的具体过程。[t2，t3]可以被分为t个第二子时段。电子设备获取的第二实验指标包括包括实验地区的t个第二指标；t个第二指标分别为t个第二子时段内，预设功能应用于实验地区的情况下，app在实验地区的预设指标。然后，电子设备可以将第二实验指标转换为第二实验指标矩阵该第二实验指标矩阵为t*1维矩阵。进而，电子设备可以按照如下公式(6)计算实验地区的指标差异值zs：
[0159][0160]
s105c、电子设备计算合成地区的指标差异值和实验地区的指标差异值的差值，得到预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值，并将该差异值作为判断结果。
[0161]
电子设备可以用实验地区的指标差异值减去合成地区的指标差异值，得到合成地区的指标差异值和实验地区的指标差异值的差值。该差值就是预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值，即在第二预设时段内预设功能应用于实验地区前后指标的差异值。
[0162]
示例性地，电子设备用zs减去zc，得到该差异值。
[0163]
本技术实施例提供的性能测试方法，利用该地区组合权重、多个参照地区的第一参照指标和第二参照指标，可以确定在两个时段内，预设功能未应用于实验地区的情况下，实验地区的指标的变化值。利用合成地区的指标差异值，可以确定在第一预设时段内预设功能未应用于实验地区，第二预设时段内预设功能应用于实验地区的情况下，实验地区的指标的变化值。进而，利用这指标的变化值，可以得到预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值，即在第二预设时段内预设功能应用于实验地区前后指标的差异值。
[0164]
可以理解的是，上述方法可以由性能测试装置实现。性能测试装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
[0165]
本技术实施例可以根据上述方法示例对上述性能测试装置等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0166]
在采用对应各个功能划分各个功能模块的情况下，图4示出了上述实施例中所涉及的性能测试装置一种可能的结构示意图，该性能测试装置4包括：数据获取模块401、地区组合模块402和性能分析模块403。
[0167]
其中，数据获取模块401，用于获取app的第一实验指标和第一参照指标；提取影响
第一实验指标的多种实验特征、以及影响第一参照指标的多种参照特征；其中，第一实验指标用于反映在第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的使用情况；第一参照指标用于反映在第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。地区组合模块402，用于根据所述第一实验指标及对应的实验特征、以及所述第一参照指标及对应的参照特征，确定所述多个参照地区对应的组合信息；所述组合信息用于指示所述多个参照地区组成一个合成地区，所述合成地区与所述实验地区的特征相似度高于预定阈值。数据获取模块401，还用于获取app的第二实验指标和第二参照指标；其中，第二实验指标用于反映在第二预设时段内，预设功能应用于实验地区的情况下，app在实验地区的使用情况；第二参照指标用于反映在第二预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的使用情况。性能分析模块403，用于根据所述第一实验指标、所述第一参照指标、所述第二实验指标、所述第二参照指标、以及所述组合信息，判断所述预设功能应用于所述实验地区所带来的所述应用程序的性能变化；基于判断结果生成所述预设功能的性能测试结果。
[0168]
在一种可能的实施方式中，第一实验指标包括：第一预设时段内，app的预设功能未应用于实验地区的情况下，app在实验地区的预设指标。第一参照指标包括：第一预设时段内，预设功能未应用于多个参照地区的情况下，app在多个参照地区的预设指标。
[0169]
另一种可能的实施方式中，多种实验特征包括：在第一预设时段内，影响第一实验指标的预设多种特征的数值。多种参照特征包括：在第一预设时段内，影响第一参照指标的预设多种特征的数值。其中，预设多种特征可以包括以下至少一种：用户数量，表示用户画像的用户特征，以及能够被量化的地区特征。
[0170]
另一种可能的实施方式中，所述组合信息包括地区组合权重。地区组合模块402，具体用于：根据第一实验指标对应的实验特征和第一参照指标对应的参照特征，生成特征差异计算公式；根据第一实验指标和第一参照指标，生成指标差异计算公式；对特征差异计算公式和指标差异计算公式进行联合求解，得到地区组合权重，使第一实验指标和第一参照指标的差异最小。其中，特征差异计算公式用于在预设多种特征的特征权重的不同取值下，根据第一实验指标对应的实验特征和第一参照指标对应的参照特征计算地区组合权重，使第一实验指标对应的实验特征和第一参照指标对应的参照特征的差异最小。指标差异计算公式用于在地区组合权重的不同取值下，计算第一实验指标和第一参照指标的差异。地区组合权重的不同取值是基于预设多种特征的特征权重的不同取值计算得到的。
[0171]
另一种可能的实施方式中，地区组合模块402，具体用于：将第一实验指标对应的实验特征转化为实验特征矩阵；将第一参照指标对应的参照特征转化为参照特征矩阵；将实验特征矩阵减去参照特征矩阵与地区组合权重矩阵的乘积，得到特征差异矩阵；将特征差异矩阵的转置、特征权重矩阵和特征差异矩阵相乘，生成特征差异计算公式。其中，地区组合权重矩阵中包括待求解的地区组合权重。特征权重矩阵中包括待求解的特征权重。
[0172]
另一种可能的实施方式中，地区组合模块402，具体用于：将第一实验指标转化为第一实验指标矩阵；将第一参照指标转换为第一参照指标矩阵；将第一实验指标矩阵减去第一参照指标矩阵与地区组合权重矩阵的乘积，得到指标差异矩阵；将指标差异矩阵的转置和指标差异矩阵相乘，生成指标差异计算公式。其中，地区组合权重矩阵中包括待求解的地区组合权重。
[0173]
另一种可能的实施方式中，地区组合模块402，具体用于：获取特征权重的初始值；用特征权重的初始值加上随机扰动值，得到特征权重的实时值；分别根据特征权重的初始值和特征权重的实时值，采用特征差异计算公式，计算得到特征权重的初始值对应的地区组合权重、特征权重的实时值对应的地区组合权重；分别根据初始值对应的地区组合权重和实时值对应的地区组合权重，采用指标差异计算公式，得到初始值对应的指标差异值、实时值对应的指标差异值；根据初始值对应的指标差异值、以及实时值对应的指标差异值，得到地区组合权重，使第一实验指标和第一参照指标的差异最小。
[0174]
另一种可能的实施方式中，性能分析模块403，具体用于：利用组合信息、第一参照指标和第二参照指标，计算合成地区的指标差异值；利用第一实验指标和第二实验指标，计算实验地区的指标差异值；计算合成地区的指标差异值和实验地区的指标差异值的差值，得到预设功能应用于实验地区所带来的实验地区和合成地区的指标的差异值，并将差异值作为判断结果。其中，合成地区的指标差异值表征在第一预设时段和第二预设时段内，预设功能未应用于实验地区的情况下，实验地区的指标的变化值。实验地区的指标差异值表征在第一预设时段内预设功能应用于实验地区、且在第二预设时段内预设功能未应用于实验地区的情况下，实验地区的指标的变化值。
[0175]
另一种可能的实施方式中，性能分析模块403，具体用于：若差异值大于预设差异阈值，生成表示预设功能应用于实验地区带来了应用程序的性能变化的性能测试结果；若差异值小于或等于预设差异阈值，生成表示预设功能应用于实验地区没有带来应用程序的性能变化的性能测试结果。
[0176]
当然，性能测试装置4包括但不限于上述所列举的单元模块。例如，性能测试装置4还可以包括存储模块。该存储模块可以用于保存上述第一实验指标和第一参照指标。并且，上述功能单元的具体所能够实现的功能也包括但不限于上述实例所述的方法步骤对应的功能，性能测试装置4的其他模块的详细描述可以参考其所对应方法步骤的详细描述，本技术实施例这里不再赘述。
[0177]
在采用集成的单元的情况下，图5示出了上述实施例中所涉及的性能测试装置5的一种可能的结构示意图。该装置5可以包括：处理器501、存储器502和通信模块503。处理器501用于对性能测试装置的动作进行控制管理。存储器502，用于保存性能测试装置的程序代码和数据，如性能测试方法，获取前端项目工程中待创建的一个或多个前端项目的配置信息等。通信模块503用于支持性能测试装置与其他网络实体的通信，以实现数据交互等功能，如该通信模块503支持性能测试装置与终端设备的通信，以实现数据交互功能。
[0178]
其中，处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0179]
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可
读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本技术实施例提供的性能测试方法。
[0180]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在性能测试装置(例如，上述电子设备)上运行时，使得该性能测试装置执行上述方法实施例中的各个功能或者步骤。例如，该计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
[0181]
本技术实施例还提供一种计算机程序产品，当计算机程序产品在性能测试装置(例如，上述电子设备)上运行时，使得该性能测试装置执行上述方法实施例中的各个功能或者步骤。
[0182]
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0183]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0184]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0185]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0186]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0187]
以上内容，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。