一种测试方法及装置、电子设备、存储介质与流程

1.本发明涉及测试技术领域，具体涉及一种测试方法及装置、电子设备、存储介质。


背景技术：

2.ab测试，指为产品(比如web或app界面)制作至少两种版本，在同一时间维度，分别让组成成分相似的访客群组随机访问这些版本，并收集各群组的反馈数据，从而根据反馈数据分析并评估出产品的正式采用版本。目前的ab测试方法中，通常只能独立观测访客群组对单一测试指标(比如点击率或访问用户数等)的反馈数据，而无法有效分析每位用户对产品使用的整体反馈情况，因此降低了测试分析的全面性。


技术实现要素：

3.本技术提供一种测试方法及装置、电子设备、存储介质，其主要目的在于提升测试分析的全面性。
4.为实现上述目的，本技术实施例提供了一种测试方法，所述方法包括：
5.生成至少两个测试桶；
6.将用户样本分配到所述至少两个测试桶中，得到至少两个目标桶；
7.构建至少两个测试层，将所有所述目标桶分别分配至每个所述测试层；
8.获取为每个所述测试层预设的至少两个测试方案，并将所述至少两个测试方案配置到所述测试层的目标桶，其中，不同所述测试层中目标桶的方案配置规则不同；
9.根据所有所述测试层进行测试，得到所述用户样本对应的目标测试结果。为实现上述目的，本技术实施例还提出了一种测试装置，所述装置包括：
10.生成模块，用于生成至少两个测试桶；
11.分配模块，用于将用户样本分配到所述至少两个测试桶中，得到至少两个目标桶；
12.第一配置模块，用于构建至少两个测试层，将所有所述目标桶分别分配至每个所述测试层；
13.第二配置模块，用于获取为每个所述测试层预设的至少两个测试方案，并将所述至少两个测试方案配置到所述测试层的目标桶，其中，不同所述测试层中目标桶的方案配置规则不同；
14.测试模块，用于根据所有所述测试层进行测试，得到所述用户样本对应的目标测试结果。
15.为实现上述目的，本技术实施例还提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有程序，所述程序被所述处理器执行时实现前述方法的步骤。
16.为实现上述目的，本技术提供了一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
17.本技术提出的测试方法及装置、电子设备、存储介质，通过生成至少两个测试桶，将用户样本分配到上述至少两个测试桶中，得到至少两个目标桶。构建至少两个测试层，将全部目标桶分别分配到每个测试层，故用户样本在每个测试层中对应的目标桶均保持一致，有利于提升追踪用户反馈信息的置信度。基于此，获取为每个测试层预设的至少两个测试方案，并将至少两个测试方案配置到测试层的目标桶，使得不同测试层中目标桶的方案配置规则不同，故每个测试层可满足不同测试指标的ab测试需求。根据全部测试层进行测试，得到用户样本的目标测试结果，故目标测试结果既包含了用户样本在多个测试层中应用的整体测试方案，又追踪了用户样本对整体测试方案的测试反馈，便于同步观察整体测试方案对用户行为的系统性影响，从而以用户为单位进行测试反馈监测，提升了测试分析的全面性。
附图说明
18.图1为本技术实施例所应用的一种电子设备的结构框图；
19.图2为本技术实施例提供的一种测试方法的流程示意图；
20.图3为图2中步骤s210的具体流程图；
21.图4为本技术实施例中一种测试层的方案配置示意图；
22.图5为本技术实施例所应用的一种测试装置的结构框图。
具体实施方式
23.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
24.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本技术的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
25.ab测试，指为产品(比如web或app界面)制作至少两种版本，在同一时间维度，分别让组成成分相似的访客群组随机访问这些版本，并收集各群组的反馈数据，从而根据反馈数据分析并评估出产品的正式采用版本。目前的ab测试方法中，通常只能独立观测访客群组对单一测试指标(比如点击率或访问用户数等)的反馈数据，而无法有效分析每位用户对产品使用的整体反馈情况，因此降低了测试分析的全面性。
26.为了解决上述问题，本技术提供一种测试方法，应用于一种电子设备。参照图1所示，图1为本技术实施例所应用的一种电子设备的结构框图。
27.在本实施例中，电子设备可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
28.该电子设备包括：存储器11、处理器12、网络接口13及数据总线14。
29.存储器11包括至少一种类型的可读存储介质，至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备的内部存储单元，例如该电子设备的硬盘。在另一些实施例中，可读存储介质也可以是电子设备的外部存储器，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
30.在本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备的测试程
序等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
31.处理器12在一些实施例中可以是一中央处理器(central processing unit，cpu)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行测试程序等。
32.网络接口13可选地可以包括标准的有线接口、无线接口(如wi-fi接口)，通常用于在该电子设备与其他电子设备之间建立通信连接。
33.数据总线14用于实现这些组件之间的连接通信。
34.可选的，该电子设备还可以包括用户接口，用户接口可以包括输入单元比如键盘(keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
35.可选的，该电子设备还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organic light-emitting diode，oled)触摸器等。显示器用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
36.可选的，该电子设备还包括触摸传感器。触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
37.此外，该电子设备的显示器的面积可以与触摸传感器的面积相同，也可以不同。可选地，将显示器与触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
38.下面对本技术实施例公开的一种测试方法进行具体说明。
39.如图2所示，图2为本技术实施例提供的一种测试方法的流程示意图。基于图1所示的电子设备实施例，处理器12执行存储器11中存储的程序时实现如下步骤：
40.步骤s200：生成至少两个测试桶。
41.在本技术实施例中，测试桶的数量大于2，比如测试桶的数量为4或6等，其具体数值可以根据测试需求人为指定或调整，对此不做具体限定。
42.步骤s210：将用户样本分配到至少两个测试桶中，得到至少两个目标桶。
43.在本技术实施例中，用户样本可以包括多个目标用户，目标用户为参与产品测试的指定用户，故目标用户的数量也可以根据测试需求进行人为指定及调整。可以理解，目标桶表示完成用户样本分配的测试桶，将所有目标桶中的目标用户相加，即可得到本次测试的全部流量(也即用户样本)。
44.一种可选的实施方式中，可以获取每位目标用户的用户信息，在用户信息属于数字类型(比如id号或ip地址等)的情况下，可以根据指定的哈希表构造方法，从用户信息中获取目标用户对应的目标键值(比如id尾号或id首位号等)，哈希表构造方法包括但不限于直接定址法、数字分析法、平方取中法或折叠法等。之后，根据目标用户对应的目标键值进行哈希分桶，得到目标键值对应的测试桶号，并将目标用户分配到与测试桶号匹配的测试桶中。
45.其他可选的实施方式中，在用户信息属于分类信息的情况下，也可以为每个测试
桶确定相应的分类范围，再根据用户信息，将全部目标用户分配到n个测试桶中，使得每个测试桶中目标用户的用户信息属于该测试桶对应的分类范围。其中，不同分类范围的分类依据包括但不限于目标用户的年龄、职业、教育程度、所在地和活跃度等。示例性的，如果用户信息包括目标用户所在的城市，则每个测试桶对应于国内不同省份，而测试桶对应的分类范围是相应省份的下属行政区，实现对用户样本的地理来源划分。
46.另一些可选的实施方式中，参照图3，图3为图2中步骤s210的具体流程图。如图3所示，步骤s210包括但不限于步骤s211至步骤s213。
47.步骤s211：将用户样本随机分配到至少两个测试桶中，得到分配结果。
48.其中，分配结果表示用户样本中每位目标用户与测试桶的对应关系。
49.步骤s212：分析分配结果是否满足预设的第一均匀分布条件，若是，执行步骤s213，若否，重新执行步骤s211。
50.其中，第一均匀分布条件用于根据分配结果判定每个测试桶中的用户是否均匀分布，且第一均匀分布条件可以包括数量均匀分布条件和质量均匀条件中至少一种，对此不做具体限定。
51.步骤s213：根据分配结果确定至少两个目标桶。
52.可见，实施上述步骤s211至s213，将用户样本均匀分配到全部测试桶中，能够保证用户分配的均匀性，有利于提升数据分析的准确度，改善测试效果。
53.可选的，分析分配结果是否满足第一均匀分布条件，包括但不限于以下三种方式：
54.一种方式中，根据分配结果，获取为每个测试桶分配的用户数量。若用户数量满足数量均匀分布条件，判定分配结果满足第一均匀分布条件。若用户数量不满足数量均匀分布条件，判定分配结果不满足第一均匀分布条件。其中，数量均匀分布条件可以是每个测试桶的用户数量均相等，或者，也可以是根据每个测试桶的用户数量计算得到第一方差值，第一方差值小于或等于预设的第一阈值，不做具体限定。
55.另一种方式中，根据分配结果和预设的质量指标，采集为每个测试桶分配的用户的目标指标值，再将目标指标值进行求和计算，得到测试桶的质量指标值。其中，质量指标包括但不限于用户活跃度、产品使用时长或点击频率等，且质量指标根据测试需要进行人为指定，不做限定。若质量指标值满足质量均匀分布条件，判定分配结果满足第一均匀分布条件。若质量指标值不满足质量均匀分布条件，判定分配结果不满足第一均匀分布条件。质量均匀分布条件可以是每个测试桶的质量指标值均相等，或者，也可以是根据每个测试桶的质量指标值计算得到第二方差值，该第二方差值小于或等于预设的第二阈值，亦不做具体限定。
56.又一种方式中，也可以在分配结果同时满足数量均匀分布条件和质量分布条件时，判定分配结果满足第一均匀分布条件。否则，判定分配结果不满足第一均匀分布条件，能够进一步提升用户分配的均匀性。
57.此外，作为一种可选的实施方式，步骤s200中，具体可以生成至少两个第一桶和至少一个第二桶，则步骤s210还可以为：从用户样本中识别出测试用户和开发用户，再将测试用户分配到至少两个第一桶中，以及将开发用户分配到至少一个第二桶中，得到至少三个目标桶。其中，测试用户表示参与本次测试的普通用户，开发用户表示参与产品开发的专业人员，可以理解，开发用户的行为基础逻辑与普通用户不同，故与测试用户相比，开发用户
加入产品测试时的行为数据缺少决策参考价值。通过设置第一桶容纳测试用户，以及设置第二桶容纳开发用户，再以桶为单位进行方案配置及后续测试，避免了测试用户和开发用户被分配至同一目标桶内，便于单独排除开发用户对整体测试的影响，有利于改善测试分析的精确度。
58.可选的，步骤s200中生成的至少两个测试桶还可以包括至少一个第三桶，第三桶用于容纳人为指定的其他特殊用户，满足多样化的测试分析需求。
59.步骤s220：构建至少两个测试层，将所有目标桶分别分配至每个测试层。
60.在本技术实施例中，每个测试层对应于不同测试场景和测试指标，满足不同的ab测试需求。针对一个测试项目，灵活增加测试层，能够全面覆盖该测试项目所要求的测试内容及指标。比如，针对一个社区app的测试项目，第一个测试层是对社区app中广告分发页的测试层，第二个测试层是对社区app中应用内容页的测试层。而第一个测试层的测试指标为用户在不同广告弹出场景下的点击通过率(click through rate，ctr)，第二个测试层的测试指标为对不同应用内容页的访问用户数等。
61.基于此，将所有目标桶分别分配至每个测试层，使得每个测试层中均包括本次测试的全部流量，且一个测试层内的目标桶之间互斥。因此，同一时期内，不同测试层的测试过程可以独立进行，也可以同时进行。此外，每个测试层中所有目标桶的流量分布均匀，目标桶与目标用户的对应关系保持一致，比完全随机的用户正交分配方式更加公平。
62.步骤s230：获取为每个测试层预设的至少两个测试方案，并将至少两个测试方案配置到测试层的目标桶，其中，不同测试层中目标桶的方案配置规则不同。
63.在本技术实施例中，为每个测试层预设的测试方案的内容与数量均与该测试层的测试场景相关。示例性的，如果测试层的测试场景符合单因素实验设计，则可以为该测试层预设至少两个测试方案，且不同测试方案之间只存在一个影响因素变量发生变化，比如，一个测试方案包括广告分发页a，另一个测试方案包括广告分发页b。如果测试层的测试场景符合多因素实验设计，则可以为该测试层预设多个测试方案，且测试方案之间存在多个影响因素变量发生变化。比如，设定四个测试方案，分别为：广告分发页a，弹出方式a；广告分发页a，弹出方式b；广告分发页b，弹出方式a；广告分发页b，弹出方式b。按照不同的方案配置规则，将测试层的至少两个测试方案配置到该测试层的目标桶中，能够保证不同测试层之间的正交性，即多个测试层同时进行测试而互不干扰，从而改善测试质量，既满足对百万量级用户样本的平均试验需求，也适用于用户样本较少的场合。
64.示例性的，请参阅图4，图4为本技术实施例中一种测试层的方案配置示意图。如图4所示，构建两个测试层，并将四个目标桶分配到每个测试层中，四个目标桶包括目标桶1、目标桶2、目标桶3和目标桶4。假设为第一个测试层预先确定好第一方案和第二方案，则在第一个测试层中，将第一方案配置给目标桶1和目标桶3，将第二方案配置给目标桶2和目标桶4，起到对照试验的效果。假设为第二个测试层预先确定好第三方案和第四方案，则在第二个测试层中，将第三方案配置给目标桶1和目标桶2，而将第四方案配置给目标桶3和目标桶4。可见，尽管用户样本重合，但是不同的方案配置规则会最大限度降低测试层之间的交叉影响。
65.一种可选的实施方式中，步骤s230至少可以包括以下步骤：
66.获取为第i个测试层预设的mi个测试方案，i为正整数且i∈[1，n]，mi≥2。针对第一
个测试层，构建m1个第一测试分组，将第一个测试层的所有目标桶随机分配给m1个第一测试分组，并将第一个测试层对应的每个测试方案配置到不同第一测试分组的目标桶中。
[0067]
之后，针对第j个测试层，构建mj个第j测试分组，将第j个测试层中对应于同一第j-1测试分组的目标桶分配给不同第j测试分组，并将第j个测试层对应的每个测试方案配置到不同第j测试分组的目标桶中，其中，j为正整数且j∈[2，n]。
[0068]
仍以图4为例进行说明。如图4所示，在第一个测试层中，构建两个第一测试分组。将目标桶1和目标桶3分配给其中一个第一测试分组，从而将第一方案配置给该第一测试分组的目标桶；将目标桶2和目标桶4分配给另一个第一测试分组，从而将第二方案配置给该第一测试分组的目标桶。基于此，在第二个测试层中，构建两个第二测试分组。将属于同一第一测试分组的目标桶1和目标桶3分配给不同的第二测试分组，并将属于同一第一测试分组的目标桶2和目标桶4分配给不同的第二测试分组，故第二个测试层中的一个第二测试分组包括目标桶1和目标桶2，另一个第二测试分组包括目标桶3和目标桶4。
[0069]
可见，在每个测试层均包括相同目标桶的情况下，为在上一个测试层中对应于同一测试方案的目标桶重新配置本测试层的不同测试方案，使得不同测试层对同一目标桶的方案配置方式相互区别，实现了可靠的方案正交分配效果。
[0070]
进一步的，如果第j测试分组中目标桶的数量为两个以上，一种实现方式中，将第j个测试层中对应于同一第j-1测试分组的目标桶分配给不同第j测试分组，具体可以是：将第j个测试层中对应于同一第j-1测试分组的目标桶分为mj个子分组，使得mj个子分组满足第二均匀分布条件，再将每个子分组分配至不同第j测试分组。其中，对第二均匀分布条件的描述可参照对第一均匀分布条件的说明，不再赘述。
[0071]
示例性的，假设为第j个测试层构建两个第j测试分组，如果第j个测试层中存在对应于相同第j-1测试分组的四个目标桶，可以将这四个目标桶分为两个子分组g1和g2，每个子分组分别包括两个目标桶，使得子分组满足数量均匀分布条件，故将子分组g1分配给一个第j测试分组，将子分组g2分配给另一个第j测试分组。
[0072]
另一种实现方式中，将第j个测试层中对应于同一第j-1测试分组的目标桶分配给不同第j测试分组，具体也可以是：将第j个测试层中对应于同一第j-1测试分组的目标桶随机分为mj个子分组，再将每个子分组分配至不同第j测试分组。
[0073]
其他实现方式中，针对第j个测试层，还可以获取为第j个测试层的每个测试方案设定的分配权重。在将第j个测试层中对应于同一第j-1测试分组的目标桶分配给不同第j测试分组之后，获得每个第j测试分组对应的目标桶数量，并根据目标桶数量与所有目标桶的总数之间的比值，确定第j测试分组的分组权重。分析各个第j测试分组的分组权重是否与各个测试方案的分配权重相匹配，若不匹配，则重新调整将第j个测试层中对应于同一第j-1测试分组的目标桶分配给不同第j测试分组的步骤，若匹配，再根据分组权重与分配权重的一一匹配关系，将每个测试方案配置到相应的第j测试分组中。
[0074]
步骤s240：根据所有测试层进行测试，得到用户样本对应的目标测试结果。
[0075]
在本技术实施例中，步骤s210之后，还可以生成每位目标用户的分桶信息，分桶信息表示目标用户在至少两个目标桶中对应的目标桶，进而，通过获取在不同测试层中为目标用户的目标桶所配置的测试方案，生成目标用户的整体测试方案。以图4为例，如果目标用户对应的目标桶为目标桶1，则目标用户在本次测试中应用的整体测试方案包括第一方
案和第三方案。
[0076]
基于此，具体的，用户样本对应的目标测试结果包括每位目标用户的全量测试结果，则步骤s240至少可以包括以下步骤s241至步骤s244。
[0077]
步骤s241：根据所有测试层进行测试。
[0078]
具体的，步骤s241中，针对每个测试层，根据为测试层的目标桶所配置的测试方案，为目标桶中的目标用户分配与测试方案匹配的测试资源以进行测试。
[0079]
步骤s242：针对每个测试层，采集每位目标用户针对测试层的反馈数据。
[0080]
其中，反馈数据包括但不限于目标用户对测试资源的行为数据(比如点击、分享或下载等操作)以及评价数据(比如点赞、点踩或评分等)。
[0081]
步骤s243：根据反馈数据和每位目标用户的分桶信息，生成目标用户针对测试层的测试结果。
[0082]
可以理解，根据目标用户的分桶信息，可以确定目标用户在每个测试层应用的测试方案，再结合目标用户针对测试层的反馈数据，得到目标用户的测试结果，故测试结果反映了测试方案与反馈数据的对应关系。
[0083]
步骤s244：根据目标用户针对不同测试层的测试结果，生成目标用户的全量测试结果。
[0084]
也就是说，生成全量测试结果，便于同步观测与追踪目标用户对所有试验场景的测试反馈情况。一些实现方式中，还可以根据指定的系统观测指标，从全量测试结果中分析目标用户对应的系统观测结果。其中，系统观测指标可以是根据产品发展需求人为指定的非ab测试指标，且系统观测指标包括但不限于产品使用时长和产品满意度等。因此，除了直接观测各个测试场景对目标用户的行为影响，还可以有效利用系统观测结果对产品整体使用效果的观测价值，有利于避免产品测试中的辛普森悖论。
[0085]
在一些可选的实施方式中，步骤s200之前，还可以获取测试任务信息，测试任务信息包括但不限于任务结束条件和任务类型。基于此，步骤s240之后，在任务类型属于周期性任务的情况下，可以周期性执行步骤s240(或者s241至步骤s244)，从而保持目标桶与目标用户之间的对应关系，以观测测试方案对目标用户的长期累积性影响，直至满足任务结束条件。在任务类型属于即时任务的情况下，可以循环执行步骤s210至步骤s240，直至满足任务结束条件，从而对用户样本进行重分桶，故每次重分桶时均可观测应用不同测试方案的即时反馈效果，形成了灵活的周期性分桶策略。其中，任务结束条件包括但不限于测试总时长达到指定时长；或者，测试总次数达到指定次数。
[0086]
可选的，在任务类型属于即时任务的情况下，也可以重复利用已构建的至少两个测试层以及为每个测试层确定的方法配置规则。则在步骤s240之后，重新将用户样本分配到至少两个测试桶中，得到至少两个新的目标桶，再将所有新的目标桶分别分配至上述已构建的每个测试层中，并采用相同的方法配置规则对每个测试层进行测试方案的配置。可以理解，此时每个测试层仅为目标桶的排列组合，设计完成后即无需改变，只需灵活调整目标桶与目标用户的对应关系。
[0087]
可见，实施上述方法实施例，每个测试层可满足不同测试指标的ab测试需求，而用户样本在每个测试层中对应的目标桶均保持一致，有利于提升追踪用户反馈信息的置信度。根据所有测试层进行测试，得到目标测试结果，故目标测试结果既包含了用户样本在多
个测试层中应用的整体测试方案，又追踪了用户样本对整体测试方案的测试反馈，便于同步观察整体测试方案对用户行为的系统性影响，从而以用户为单位进行测试反馈监测，提升了测试分析的全面性，有效应对一部分测试指标提升，而另一部分测试指标下降的情况。
[0088]
本技术实施例还提供一种测试装置。请参阅图5，图5为本技术实施例所应用的一种测试装置的结构框图。如图5所示，该测试装置500包括：
[0089]
生成模块510，用于生成至少两个测试桶。
[0090]
分配模块520，用于将用户样本分配到至少两个测试桶中，得到至少两个目标桶。
[0091]
第一配置模块530，用于构建至少两个测试层，将所有目标桶分别分配至每个测试层。
[0092]
第二配置模块540，用于获取为每个测试层预设的至少两个测试方案，并将至少两个测试方案配置到测试层的目标桶，其中，不同测试层中目标桶的方案配置规则不同。
[0093]
测试模块550，用于根据所有测试层进行测试，得到用户样本对应的目标测试结果。
[0094]
一种实施方式中，分配模块520具体包括分配单元、分析单元和确定单元，其中：分配单元，用于将用户样本随机分配到至少两个测试桶中，得到分配结果。分析单元，用于分析分配结果是否满足预设的第一均匀分布条件。确定单元，用于在分配结果满足第一均匀分布条件时，根据分配结果确定至少两个目标桶。分配单元还用于在分配结果不满足第一均匀分布条件，重新执行将用户样本随机分配到至少两个测试桶中的步骤。
[0095]
一种实施方式中，分析单元，具体用于根据分配结果，获取为每个测试桶分配的用户数量，若用户数量满足数量均匀分布条件，判定分配结果满足第一均匀分布条件；若用户数量不满足数量均匀分布条件，判定分配结果不满足第一均匀分布条件；或者，根据分配结果和预设的质量指标，采集为每个测试桶分配的用户的目标指标值，再将目标指标值进行求和计算，得到测试桶的质量指标值；若质量指标值满足质量均匀分布条件，判定分配结果满足第一均匀分布条件；若质量指标值不满足质量均匀分布条件，判定分配结果不满足第一均匀分布条件。
[0096]
一种实施方式中，第二配置模块540，具体用于获取为第i个测试层预设的mi个测试方案，i为正整数且i∈[1，n]，mi≥2；针对第一个测试层，构建m1个第一测试分组，将所述第一个测试层的所有目标桶随机分配给所述m1个第一测试分组，并将所述第一个测试层对应的每个测试方案配置到不同所述第一测试分组的目标桶中；针对第j个测试层，构建mj个第j测试分组，将所述第j个测试层中对应于同一第j-1测试分组的目标桶分配给不同所述第j测试分组，并将所述第j个测试层对应的每个测试方案配置到不同所述第j测试分组的目标桶中，其中，j为正整数且j∈[2，n]。
[0097]
一种实施方式中，第二配置模块540，具体还用于将所述第j个测试层中对应于同一第j-1测试分组的目标桶分为mj个子分组，使得所述mj个子分组满足第二均匀分布条件；将每个所述子分组分配至不同所述第j测试分组。
[0098]
一种实施方式中，用户样本包括多位目标用户，用户样本对应的目标测试结果包括每位目标用户的全量测试结果。生成模块510还用于在分配模块520将用户样本分配到至少两个测试桶中，得到至少两个目标桶之后，生成每位目标用户的分桶信息，分桶信息表示目标用户在至少两个目标桶中对应的目标桶。测试模块550，具体用于根据所有测试层进行
测试；针对每个测试层，采集每位目标用户针对测试层的反馈数据，并根据反馈数据和每位目标用户的分桶信息，生成目标用户针对测试层的测试结果；根据目标用户针对不同测试层的测试结果，生成目标用户的全量测试结果。
[0099]
一种实施方式中，生成模块510还用于生成至少两个第一桶和至少一个第二桶。相应的，分配模块520，还用于从用户样本中识别出测试用户和开发用户，将测试用户分配到至少两个第一桶中，以及将开发用户分配到至少一个第二桶中，得到至少三个目标桶。
[0100]
需要说明的是，本实施例的具体实现过程可参见上述方法实施例的具体实现过程，亦不再赘述。
[0101]
本技术实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器上存储有程序，程序被处理器执行时实现上述测试方法。
[0102]
本技术实施例还提供了一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述测试方法。
[0103]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0104]
在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0105]
以上参照附图说明了本技术的优选实施例，并非因此局限本技术的权利范围。本领域技术人员不脱离本技术的范围和实质内所作的任何修改、等同替换和改进，均应在本技术的权利范围之内。