实验周期的确定方法、装置、终端及存储介质与流程

1.本公开涉及但不限于软件测试领域或者计算机技术领域，尤其涉及一种实验周期的确定方法、装置、终端及存储介质。


背景技术：

2.为了更好地提供产品质量和/或用户体验，通常可以对产品做ab实验或者aa实验等线上实验。而做该些实验时，若实验周期设置的不合理则达不到实验效果：例如设置相对较长的实验周期会导致用户流量的浪费，又如设置相对较短的实验周期则会导致实验结果不置信。


技术实现要素：

3.本公开提供一种实验周期的确定方法、装置、终端及存储介质。
4.根据本公开的第一方面，提供一种实验周期的确定方法，包括：
5.基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果；
6.基于所述统计结果，确定所述测试对象的样本量；
7.根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。
8.在一些实施例中，所述根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期，包括：
9.根据所述样本量、所述实验分组数量、所述用户流量比例及预定时长的乘积，确定第一数值；
10.根据所述第一数值与所述预定时长内新增用户访问数量的比值，确定所述测试对象的实验周期。
11.在一些实施例中，所述基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果，包括以下至少之一：
12.基于所述关键指标在所述预定时长内每天用户启动次数的平均值，确定所述关键指标的关键指标基线；
13.基于所述关键指标的所述关键指标基线及历史信息中预定关键指标基线，确定所述关键指标的检验灵敏度；
14.基于所述关键指标在所述预定时长内每天用户启动次数的方差的算术平方根，确定所述关键指标的标准方差；
15.基于所述关键指标在所述预定时长内新增用户访问数量与所述预定时长内用户访问数量的比值，确定所述关键指标的统计功效参数；
16.基于所述测试对象对应的版本与历史测试的版本的差异程度，确定所述关键指标的显著性参数。
17.在一些实施例中，所述基于所述统计结果，确定所述测试对象的样本量，包括：
18.根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
19.基于所述统计功效参数和/或所述显著性参数，查询正态分布函数以获得第三数值；
20.根据所述第二数值及所述第三数值平方的乘积，确定所述测试对象的所述样本量。
21.在一些实施例中，所述基于所述统计结果，确定所述测试对象的样本量，包括：
22.根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
23.基于所述第二数值，确定所述测试对象的所述样本量。
24.在一些实施例中，所述方法还包括：
25.从所述历史信息中各所述预定时长对应的关键指标基线中，选取最小关键指标基线作为所述预定关键指标基线；
26.所述基于所述关键指标的所述关键指标基线及历史信息中预定关键指标基线，确定所述关键指标的检验灵敏度，包括：
27.基于所述关键指标的所述关键指标基线及所述最小关键指标基线的差值，确定所述检验灵敏度。
28.在一些实施例中，所述方法还包括以下至少之一：
29.基于所述测试对象的所覆盖的国家或地区与第一对应关系，确定所述测试对象的所述用户流量比例；所述第一对应关系包括：所述测试对象覆盖不同国家所对应的用户流量比例；
30.基于所述测试对象所使用的语言类型与第二对应关系，确定所述测试对象的所述用户流量比例；所述第二对应关系包括：所述测试对象使用不同语言类型所对应的用户流量比例；
31.基于所述测试对象包括的所述关键指标与第三对应关系，确定所述测试对象的所述用户流量比例；所述第三对应关系包括：所述测试对象包括不同关键指标所对应的用户流量比例；
32.预先配置所述测试对象的所述用户流量比例。
33.根据本公开的第二方面，提供一种实验周期的确定，包括：
34.第一确定模块，用于基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果；
35.第二确定模块，用于基于所述统计结果，确定所述测试对象的样本量；
36.处理模块，用于根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。
37.在一些实施例中，所述处理模块，用于根据所述样本量、所述实验分组数量、所述用户流量比例及预定时长的乘积，确定第一数值；
38.所述处理模块，还用于根据所述第一数值与所述预定时长内新增用户访问数量的比值，确定所述测试对象的实验周期。
39.在一些实施例中，所述第一确定模块，用于以下至少之一：
40.基于所述关键指标在所述预定时长内每天用户启动次数的平均值，确定所述关键指标的关键指标基线；
41.基于所述关键指标的所述关键指标基线及历史信息中预定关键指标基线，确定所述关键指标的检验灵敏度；
42.基于所述关键指标在所述预定时长内每天用户启动次数的方差的算术平方根，确定所述关键指标的标准方差；
43.基于所述关键指标在所述预定时长内新增用户访问数量与所述预定时长内用户访问数量的比值，确定所述关键指标的统计功效参数；
44.基于所述测试对象对应的版本与历史测试的版本的差异程度，确定所述关键指标的显著性参数。
45.在一些实施例中，所述第二确定模块，用于根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
46.所述第二确定模块，用于基于所述统计功效参数和/或所述显著性参数，查询正态分布函数以获得第三数值；
47.所述第二确定模块，还用于根据所述第二数值及所述第三数值平方的乘积，确定所述测试对象的所述样本量。
48.在一些实施例中，所述第二确定模块，用于根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
49.所述第二确定模块，还用于基于所述第二数值，确定所述测试对象的所述样本量。
50.在一些实施例中，所述第二确定模块，用于从所述历史信息中各所述预定时长对应的关键指标基线中，选取最小关键指标基线作为所述预定关键指标基线；
51.所述第二确定模块，还用于基于所述关键指标的所述关键指标基线及所述最小关键指标基线的差值，确定所述检验灵敏度。
52.在一些实施例中，所述第一确定模块，还用于以下至少之一：
53.基于所述测试对象的所覆盖的国家或地区与第一对应关系，确定所述测试对象的所述用户流量比例；所述第一对应关系包括：所述测试对象覆盖不同国家所对应的用户流量比例；
54.基于所述测试对象所使用的语言类型与第二对应关系，确定所述测试对象的所述用户流量比例；所述第二对应关系包括：所述测试对象使用不同语言类型所对应的用户流量比例；
55.基于所述测试对象包括的所述关键指标与第三对应关系，确定所述测试对象的所述用户流量比例；所述第三对应关系包括：所述测试对象包括不同关键指标所对应的用户流量比例；
56.预先配置所述测试对象的所述用户流量比例。
57.根据本公开的第三方面，提供一种终端，包括：
58.处理器；
59.用于存储处理器可执行指令的存储器；
60.其中，所述处理器被配置为：用于运行所述可执行指令时，实现本公开任意实施例的所述的实验周期的确定方法。
61.根据本公开的第四方面，提供一种计算机可读存储介质，所述可读存储介质存储有可执行程序，其中，所述可执行程序被处理器执行时实现本公开任意实施例所述的实验
周期的确定方法。
62.本公开的实施例提供的技术方案可以包括以下有益效果：
63.本公开实施例通过终端基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果；基于所述统计结果，确定所述测试对象的样本量；并根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。如此，本公开实施例可以通过关键指标的统计结果确定出合适的样本量；并基于合适的样本量、用户流量比例及实验分组数量确定实验周期，从而能够获得合理的实验周期，该实验周期不会过长或者过短。
64.如此，若基于该合理的实验周期进行实验，则进行实验的样本量也不会过大或者过小。如此，能够降低因收集、上报或计算等过多样本量的数据所带来的终端资源的浪费；且还能够不会使得样本量过小的情况出现，从而可以提高实验结果的置信度。
65.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
66.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
67.图1是根据一示例性实施例示出的一种实验周期的确定方法的流程图。
68.图2是根据一示例性实施例示出的一种实验周期的确定方法的流程图。
69.图3是根据一示例性实施例示出的一种正态分布表的示意图。
70.图4是根据一示例性实施例示出的一种正态分布表的示意图。
71.图5是根据一示例性实施例示出的一种实验周期的确定方法的流程图。
72.图6是根据一示例性实施例示出的一种实验周期的确定方法的流程图。
73.图7是根据一示例性实施例示出的一种实验周期的确定装置的框图。
74.图8是根据一示例性实施例示出的一种终端的框图。
具体实施方式
75.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
76.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
77.为了更好地理解本公开任意一个实施例所述描述的技术方案，首先，对相关技术中实验进行部分说明：
78.在一个实施例中，实验可以是但不限于是：ab实验或者aa实验。这里，aa实验或者ab实验是为了网页或应用程序界面或者流程等制作两种(a与b)或者两种以上(a、b1与bn等)策略以生成不同的版本。在同一时间维度，分别让组成成分相同或者相似的访客群组随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好的版本
以加以采用。
79.图1是根据一示例性实施例示出的一种实验周期的确定方法的流程图；如图1所示，所述实验周期的确定方法包括以下步骤：
80.步骤s11：基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果；
81.步骤s12：基于所述统计结果，确定所述测试对象的样本量；
82.步骤s13：根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。
83.本公开实施例所述的实验周期的确定方法，可以由终端执行。这里，终端可以是各种移动终端或者固定终端。示例性的，所述终端可以是服务器、计算机、平板电脑、移动手机、电视、音箱、穿戴式设备，等等。
84.这里，测试对象可以是但不限于是各种类型的信息流产品或者线上产品。示例性的，所述测试对象可以是但不限于是应用程序(app)界面或者流程、或者各种网页等。
85.这里，关键指标可以是但不限于是用户反馈行为相关的指标。示例性的，所述关键指标可以是但不限于是：访问或启动操作、某个功能点击操作、停留时长操作、收藏操作、点赞操作或者评论操作等的指标。
86.这里，关键指标信息，包括但不限于以下至少之一：预定时长内每天用户启动或访问次数、预定时长包括的天数、预定时长内每天用户点击次数、预定时长内每天各用户停留时长的平均值、预定时长内每天用户收藏次数、预定时长内每天用户点赞次数及预定时长内每天用户评论次数。
87.这里，预定时长可以为n天，其中，n为大于1的整数。示例性的，所述预定时长为7天、10天、15天、1个月、2个月、3个月、6个月或者1年等。
88.这里，预定时长可以通过用户预先设置，或者，预定时长可以根据历史信息确定。示例性的，设置所述预定时长为一个固定值，如7天。示例性的，根据历史信息中上次实验设置的预定时长，确定本次的预定时长。示例性的，根据历史信息中m次实验的预定时长的平均值，确定本次的预定时长，其中，m为大于1的整数。
89.终端设置的预定时长的方式及预定时长的天数可以是多种方式，在此不作限制。
90.这里，关键指标的统计结果可以是但不限于是所述关键指标基于统计获得结果；例如可以是基于统计学获得的统计结果。示例性的，所述统计结果包括但不限于至少之一：关键指标基线、检验灵敏度、标准方差、统计功效参数及显著性参数。
91.这里，实验分组数量，可以为两组或者两组以上。示例性的，若设置一个实验组和一个对照组，则确定实验分组数量为2；若设置4组数据进行实验，则确定实验分组数量为4。
92.这里，用户流量比例可以是：大于0且小于或等于100％。
93.这里，用户流量比例可以预先设置，和/或基于用户流量比例的对应关系进行确定。这里，用户流量比例的对应关系包括但不限于以下至少之一：第一对应关系、第二对应关系及第三对应关系。第一对应关系包括：所述测试对象覆盖不同国家或地区所对应的用户流量比例；第二对应关系包括：所述测试对象使用不同语言类型所对应的用户流量比例；所述第三对应关系包括：所述测试对象包括不同关键指标所对应的用户流量比例。
94.在本公开实施例中，可以通过终端基于测试对象的关键指标的关键指标信息，确
定所述关键指标的统计结果；基于所述统计结果，确定所述测试对象的样本量；并根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。如此，本公开实施例可以通过关键指标的统计结果确定出合适的样本量；并基于合适的样本量、用户流量比例及实验分组数量确定实验周期，从而能够获得合理的实验周期，该实验周期不会过长或者过短。
95.如此，若基于该合理的实验周期进行实验，则进行实验的样本量也不会过大或者过小。如此，能够降低因收集、上报或计算等过多样本量的数据所带来的终端资源的浪费；且还能够不会使得样本量过小的情况出现，从而可以提高实验结果的置信度。若样本量不会过大，则也可以降低其它实验所需样本量不足的情况出现。
96.在一些实施例中，所述步骤s11，包括以下至少之一：
97.基于所述关键指标在所述预定时长内每天用户启动次数的平均值，确定所述关键指标的关键指标基线；
98.基于所述关键指标的所述关键指标基线及历史信息中预定关键指标基线，确定所述关键指标的检验灵敏度；
99.基于所述关键指标在所述预定时长内每天用户启动次数的方差的算术平方根，确定所述关键指标的标准方差；
100.基于所述关键指标在所述预定时长内新增用户访问数量与所述预定时长内用户访问数量的比值，确定所述关键指标的统计功效参数；
101.基于所述测试对象对应的版本与历史测试的版本的差异程度，确定所述关键指标的显著性参数。
102.在一个实施例中，一种实现所述基于所述关键指标在所述预定时长内每天用户启动次数的平均值，确定所述关键指标基线的方式为：获取第1至n天人均启动次数；基于第1至第n天人均启动次数的平均值，确定关键指标基线；其中，所述n为预定时长。
103.示例性的，关键指标基线的计算公式为：其中，μ为核心指标基线；n为预定时长；xi为第i天的人均启动次数；i为大于0且小于或等于n的整数。
104.如此，在本公开实施例中，关键指标基线可以反映预定时长内每天用户启动次数的平均值；该关键指标基线可以用于衡量每天用户启动次数与平均值的差距。
105.在一个实施例中，所述方法还包括：从所述历史信息中各所述预定时长对应的关键指标基线中，选取最小关键指标基线为所述预定关键指标基准。
106.这里，历史信息中包括：各所述预定时长对应的关键指标基线。
107.示例性的，预定时长为7天；历史信息中包括1个月对应的关键指标信息，该1个月中至少有4个所述预定时长。则从4个所述预定时长对应的关键指标基线中，选取最小的关键指标基线作为预定关键指标基线，或者，选取与最小的关键指标基线相差预定数值的关键指标基线作为所述预定关键指标基线。
108.示例性的，预定时长为10天；历史信息中包括3个月对应的关键指标信息，该3个月至少有9个所述预定时长。则从9个所述预定时长对应的关键指标基线中，选取最小的关键指标基线作为预定关键指标基线，或者，选取与最小的关键指标基线相差预定数值的关键
指标基线作为所述预定关键指标基线。
109.在一个实施例中，基于所述关键指标的所述关键指标基线及历史信息中预定关键指标基线，确定所述关键指标的检验灵敏度，包括：
110.基于所述关键指标的所述关键指标基线及所述最小关键指标基线的差值，确定所述检验灵敏度。
111.示例性，若最近一个7天的关键指标基线为0.02，历史信息中前一个月中最小关键指标基线为0.01，则确定出所述检测灵敏度为：0.02-0.01＝0.01。这里检验灵敏度可以用δ表示。
112.这里，预定时长的长短与检验精明度的精确程度呈反相关；即预定时长约越长，则检验灵敏度的精确度越低，预定时长越短，则检验灵敏度的精确度越高。
113.如此，在本公开实施例中，若通过最近一次(即本次)关键指标基线与历史信息中最小的关键指标基线的差值确定关键指标的检验灵敏度，则可以反映本次关键指标基线与最小关键指标基线的偏离程度。如此后续基于该检测灵敏度确定样本量时，能提高样本量统计的精确性。
114.在另一个实施例中，所述方法包括：基于所述历史信息中各所述预定时长对应的关键指标基线的平均值，确定所述预定关键指标基线。
115.示例性的，预定时长为7天；历史信息中包括1个月对应的关键指标信息，该1个月中至少有4个所述预定时长。则获取该4个所述预定时长对应的关键指标基线，并基于该4个预定时长对应的关键指标基线的平均值，确定所述预定关键指标基线。例如，该4个所述预定时长对应关键指标基线分别为0.01、0.012、0.012及0.01；则预定指标基线为：0.011。
116.如此，在本公开实施例中，若通过最近一次(即本次)关键指标基线与历史信息中关键指标基线的均值确定关键指标的检验灵敏度，则可以反映本次关键指标基线与平均的关键指标基线的偏离程度。如此后续基于该检测灵敏度确定统计结果时，也能在一定程度上提高统计结果的精确性。
117.在一个实施例中，一种实现所述基于所述关键指标在所述预定时长内每天用户启动次数的方差的算术平方根，确定所述关键指标的标准方差的方式为：获取所述预定时长对应的关键指标基线；基于所述关键指标基线与预定时间内每天启动次数的平均值，确定所述预定时长内每天用户启动次数的方差；基于预定时长内每天用户启动次数的方差的算术平方根，确定所述关键指标的检验灵敏度。
118.示例性的，关键指标的标准方差的计算公式为：其中，σ为关键指标的标准方差；μ为核心指标基线；n为预定时长；xi为第i天的人均启动次数；i为大于0且小于或等于n的整数。
119.如此，在本公开实施例中，可以通过关键指标的标准方差反映出预定时长内每天用户启动次数与平均值的差距。
120.在一个实施例中，统计功效参数为比值或者百分比；例如，该统计功效为：1-β或者
(1-β)
×
100％。示例性的，预定时长为7天，则统计功效1-β为：其中p1为7天内新增用户访问数量，p2为7天内用户总访问数量。这里，β可以是指第一类错误概率。第一类错误概率可以是指取伪错误概率。
121.在一个实施例中，显著性参数为1-α。这里，α可以是指第二类错误概率。第二类错误概率可以是指弃真错误概率。
122.在一个实施例中，测试对象对应的版本与历史测试的版本中新增、减少或者不同的功能的多少，与差异程度成正相关。若测试对象对应的版本与历史测试的版本完全相同，则测试对象对应的版本与历史测试对应的版本没有差异，则显著性参数为0；若测试对象对应的版本与历史对象测试的版本完全不同，则测试对象对应的版本与历史测试对应的版本的差异非常大，则显著性参数为1。这里，历史测试对应的版本可以是指：测试对象历史测试的版本，或者历史测试对象对应的版本。
123.示例性的，若测试对象为一个应用程序(app)，所述app有m个版本，其中，所述m大于1；m个版本至少包括m1和m2。这里，m1可认为是历史测试的版本，m2可认为是本次测试对象对应的版本。若m1与m2版本完全相同，则确定m1与m2的差异程度没有，即关键指标的显著性参数为0。若m2相对m1版本新增几个功能，或者m1与m2版本的至少几个功能不相同，则可以确定m1与m2存在一定的差异，确定m1与m2对应的关键指标的显著性参数为20％。在上述示例中，若历史测试的版本有多个时，则可以距离本次测试最近的一个历史测试的版本，与本次测试的测试对象的版本确定显著性参数。或者，若历史测试版本有多个时，则可以选取预定时间内任意一个测试版本或者与本次测试的测试对象差异车程度最小的测试版本，与本次测试的测试对象的版本一起，确定显著性参数。
124.示例性的，若测试对象和历史测试对象为两个app，例如本次测试对象为微信app，历史测试对象为浏览器app；则测试对象对应的版本与历史测试的版本的显著性参数为1。
125.如此，在本公开实施例中，可以通过统计功效参数和/或显著性参数，即可以通过取伪错误概率和/弃真错误概率，以获得比较精确的统计结果。
126.在本公开实施例中，可以通过统计关键指标信息，准确确定出关键指标的关键指标基线、检验灵敏度、标准方差、统计功效参数及显著性参数等其中至少之一的统计结果，从而有利于确定出准确的测试对象的样本量。
127.如图2所示，在一些实施例中，所述步骤s12，包括：
128.步骤s121：根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
129.步骤s122：基于所述统计功效参数和/或所述显著性参数，查询正态分布函数以获得第三数值；
130.步骤s123：根据所述第二数值及所述第三数值平方的乘积，确定所述测试对象的所述样本量。
131.这里，正态分布函数为z。在一个实施例中，所述正态分布函数可以为一个一维的正态分布函数或者可以为一个二维的正态分布函数。例如，所述正态分布函数可以是z(β)；这里，α是指显著性参数1-α中α，β是指统计功效1-β参数中β。
132.在一个实施例中，所述步骤s122中，查询正态分布函数可以是：查询正态分布表。例如，如图3和图4所示，为正态分布表中部分数据。
133.示例性的，若α＝0.05，则则通过查询如图3所示的正态分布表z得到的分布值为：-3.4，即得到若β＝0.2，则通过查询如图4所示的正态分布表z得到β的分布值为：-0.8；则得到z
β
＝-0.8。
134.在一个实施例中，所述步骤s122的一种实现方式为：终端基于统计功效参数及正态分布表，获得统计功效参数的分布值；以及基于显著性参数及正态分布表，获得统计参数的分布至；基于统计功效参数的分布值及显著性参数的分布值，确定第三数值。
135.在一个实施例中，基于统计功效的分布值及显著性参数的分布值，确定第三数值，包括：基于统计功效参数的分布值与显著性参数的和的平方，确定所述第三数值。
136.示例性的，若获得的分布值为：-3.4，以及获得β的分布值为：-0.8；则确定出的第三数值为：
137.当然，在它的实施例中，若确定出和β，也可以通过任意一种可实现的正态分布函数或者正态分布表，确定出统计功效参数的分布值及显著性参数的分布值；并基于统计功效参数的分布值与显著性参数的和的平方，确定所述第三数值；在此不对具体的正态分布函数或者正态分布表作限制。
138.在一个实施例中，一种计算测试对象的样本量公式为：其中，n为测试对象的样本量；σ为关键指标的标准方差；δ为关键指标的检验灵敏度；α是指显著性参数1-α中α；β是指统计功效1-β参数中β。
139.本公开实施例可以通过正态分布函数来衡量测量对象的关键指标均值偏离整体均值的程度，可以使得统计结果更好。并且，由于测量对象的业务数据通常很大，使用正态分布表则可以更加合理均匀，能统计出更准确的数据；使得到的样本量的可靠性更强。有了更可靠的样本量的数据支撑,则可以利用更可靠的样本量的数据来设置实验周期，有利于获得合适的实验周期。
140.如此，在本公开实施例中，可以基于关键指标的标准方差、检测灵敏度、统计功效参数(或者第一错误概率)及显著性参数(或者第二错误概率)的统计结果，确定出测量对象合适的样本量。
141.在另一些实施例中，所述步骤s12，包括：
142.根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
143.基于所述第二数值，确定所述测试对象的所述样本量。
144.在一个实施例中，一种计算测试对象的样本量公式为：其中，n为测试对象
的样本量；σ为关键指标的标准方差；δ为关键指标的检验灵敏度β。
145.如此，在本公开实施例中，可以基于关键指标的标准方差、检测灵敏度的统计结果，确定出合适的样本量。
146.如图5所示，在一些实施例中，所述步骤s13，包括：
147.步骤s131：根据所述样本量、所述实验分组数量、所述用户流量比例及预定时长的乘积，确定第一数值；
148.步骤s132：根据所述第一数值与所述预定时长内新增用户访问数量的比值，确定所述测试对象的实验周期。
149.在一个实施例中，所述方法包括：预先配置测试对象的用户流量比例。
150.在一个实施例中，所述预先设置对象的用户流量比例，包括：终端基于用户流量，设置用户流量比例。例如，终端若确定用户流量为第一流量时，确定所述用户流量比例为第一流量比例；若确定用户流量为第二流量时，确定所述用户流量比例为第二流量比例；其中，所述第一流量大于所述第二流量，所述第一流量比例小于所述第二流量比例。
151.在一个实施例中，所述预先设置对象的用户流量比例，包括：终端基于历史信息中设置的用户流量比例，确定当前实验的用户流量比例。例如，终端基于历史信息中所述测试对象的上次实验设置的用户流量比例，确定当前实验的用户流量比例。又如，终端基于历史信息中预定时间范围内的所述测量对象的几次实验设置的用户流量的比例的均值，确定当前实验的用户流量比例。
152.如此，本公开实施例可以通过用户的预先设置，确定出测试对象合适的用户流量比例。
153.在一个实施例中，所述方法还包括：基于所述测试对象的所覆盖的国家或地区与第一对应关系，确定所述测试对象的所述用户流量比例。
154.这里，测试对象所覆盖的国家或地区不同，则测试对象的用户流量比例不同。
155.在一个实施例中，终端可以基于测试对象覆盖的国家或地区的人口数量、和/或测试对象在所覆盖的国家或地区受欢迎程度等，确定所述第一对应关系。例如，美国的人口相对印度的人口数量少，则可以确定测试对象在美国的用户流量比例为80％以及确定测试对象在印度的用户流量比例为50％的第一对应关系。又如，测试对象，如第一app在美国的受欢迎程度没有在中受欢迎程度高，则可以确定第一app在美国的用户量流量比例为80％以及确定第一app在中国的用户流量比例为20％的第一对象关系。
156.如此，本公开实施例可以基于测试对象所覆盖的国家地区，确定出测试对象合适的用户流量比例。
157.在另一个实施例中，所述方法还包括：基于所述测试对象所使用的语言类型与第二对应关系，确定所述测试对象的所述用户流量比例。
158.这里，测试对象所使用的语言类型不同，则测试对象的用户流量比例不同。这里，语言类型包括：各国或各地区的各种类型的语言。
159.在一个实施例中，终端可以基于测试对象的语言类型的使用程度，确定第二对应关系。例如，测试对象的语言类型为英文时，则确定测试对象的用户测量比例为20％；若测试对象的语言类型为德文时，则确定测试对象的用户测量比例为80％。又如，测试对象的语言类型为中国的汉文时，则确定测试对象的用户测量比例为20％；若测试对象的语言类型
为中国的藏文时，则确定测试对象的用户测量比例为80％。
160.如此，本公开实施例可以基于测试对象所使用的语言类型，确定出测试对象合适的用户流量比例。
161.在另一个实施例中，所述方法还包括：基于所述测试对象包括的所述关键指标与第三对应关系，确定所述测试对象的所述用户流量比例。
162.这里，测试对象包括的关键指标不同，则测试对象的用户流量比例不同。
163.在一个实施例中，终端可以基于测试对象所包括的关键指标对应的用户流量，确定第三对应关系。例如，终端若确定测试对象的关键指标为访问操作，则确定测试对象对应的用户流量比例为20％；若确定测试对象的关键指标为点赞操作，则确定测试对象对应的用户流量比例为80％。
164.如此，本公开实施例可以基于测试对象所包括的关键指标，确定出测试对象合适的用户流量比例。
165.在另一个实施例中，所述方法还包括：
166.基于所述测试对象的所覆盖的国家或地区与第一对应关系，确定所述测试对象的第一类流量比例；
167.基于所述测试对象所使用的语言类型与第二对应关系，确定所述测试对象的第二类流量比例；
168.基于所述测试对象包括的所述关键指标与第三对应关系，确定所述测试对象的第三类用户流量比例；
169.预先设置所述测试对象的第四类流量比例；
170.确定所述第一类流量比例第一权重系数、所述第二类流量比例的第二权重系数、所述第三类流量的第三权重系数以及第四类流量的第四权重系数；
171.基于所述第一类流量比例与所述第一权重系数的乘积、所述第二类流量与所述第二权重系数的乘积、所述第三类流量比例与所述第三权重系数的乘积、及所述第四流量比例与所述第四权重系数的乘积的其中至少之一的和，确定所述测试对象的所述用户流量比例。
172.这里，第一权重系数、第二权重系数、第三权重系数及第三权重系数均可以为大于等于0且小于等于1的数；且所述第一权重系数、第二权重系数、第三权重系数及第四权重系数之和小于或等于1。这里，第一权重系数、第二权重系数、第三权重系数及第四权重系数的取值均与其对应的确定用户流量比例的方式的重要程度相关。
173.如此，在本公开实施例中，可以基于各种确定用户流量比例的方式的权重，确定出最终的用户流量比例；如此可以适应更多的应用场景的用户流量比例的准确确定。
174.若确定出测试对象的用户流量比例，则可以有利于减少用户流量的浪费。
175.在一个实施例中，一种第一数值的计算公式为：l1＝n
×s×bl
×
n；其中，l1为第一数值；s为实验分组数量；b
l
为用户流量比例；n为预定时长的天数。
176.在一个实施例中，一种实验周期的计算公式为：其中，d1为实验周期；wau为预定时长内新增用户访问数量。
177.在一个实施例中，d1若不是整数，则确定d1取整后的数为实验整理。这里d1取整可
以指取与d1相邻的两个整数的其中之一均可；例如d1为7.1天，测量对象的实验周期可以为7天或者8天。
178.这里，由于设置了用户流量比例，可以相应减少用户流量的浪费。
179.如此，在本公开实施例中，可以通过样本量、用户流量比例、用户流量、预定时长及预定时长内新增用户访问数量的比值，确定出合理的实验周期。若基于该实验周期进行实验，可以一方面使得样本量不至于过大，从而也可以节约用户流量、以及降低样本上报和计算等所带来的资源浪费的情况出现；另一方面合理的实验周期可以使得样本量不至于过小，提高实验结果的置信度。
180.另一个实施例中，所述步骤s131，可以是：根据所述样本量、所述实验分组数量、及预定时长的乘积，确定第一数值；则确定出的实验周期可以为：如此，在本公开实施例中，也可以获得相对合适的实验周期；使得基于该实验周期进行实验时，能够使得样本量不至于多大或者过小，能够节省终端的资源及提高实验结果的置信度。
181.为了进一步解释本公开任意实施例，以下提供一个具体示例：
182.如图6所示，本公开实施例提供一种实验周期的确定方法，由终端执行，所述方法包括以下步骤：
183.步骤s21：获取测试对象的关键指标在预定时长内的关键指标基线、检验灵敏度、标准方差、统计功效参数及显著性参数；
184.在一个可选实施例中，终端获取测试对象的访问操作在7天内的关键指标基线μ；基于所述关键指标基线获取检测灵敏度δ与标准方差σ；并获取所述测试对象的统计功效参数1-β、以及显著性参数1-α。
185.步骤s22：基于所述关键指标的检验灵敏度、标准方差、统计功效参数及显著性参数，确定所述测试对象的样本量；
186.在一个可选实施例中，终端基于所述δ、所述σ、所述α及所述β，获取所述测试对象的样本量：
187.步骤s23：基于所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及所述预定时长的乘积，与所述预定时长内新增用户访问数量的比值，确定所述测试对象的实验周期。
188.在一个可选实施例中，终端基于所述样本量n、所述实验分组数量s、所述用户流量比例b
l
与预定时长的天数7天成绩确定第一数值，基于所述第一数组与7天内新增用户访问数量wau，确定所述测试对象的实验周期：
189.图7提供一示例性实施例示出的一种实验周期的确定装置的框图；如图7所示，所述装置应用于终端，所述装置包括：
190.第一确定模块41，用于基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果；
191.第二确定模块42，用于基于所述统计结果，确定所述测试对象的样本量；
192.处理模块43，用于根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。
193.在一些实施例中，所述处理模块43，用于根据所述样本量、所述实验分组数量、所述用户流量比例及预定时长的乘积，确定第一数值；
194.所述处理模块43，还用于根据所述第一数值与所述预定时长内新增用户访问数量的比值，确定所述测试对象的实验周期。
195.在一些实施例中，所述第一确定模块41，用于以下至少之一：
196.基于所述关键指标在所述预定时长内每天用户启动次数的平均值，确定所述关键指标的关键指标基线；
197.基于所述关键指标的所述关键指标基线及历史信息中预定关键指标基线，确定所述关键指标的检验灵敏度；
198.基于所述关键指标在所述预定时长内每天用户启动次数的方差的算术平方根，确定所述关键指标的标准方差；
199.基于所述关键指标在所述预定时长内新增用户访问数量与所述预定时长内用户访问数量的比值，确定所述关键指标的统计功效参数；
200.基于所述测试对象对应的版本与历史测试的版本的差异程度，确定所述关键指标的显著性参数。
201.在一些实施例中，所述第二确定模块42，用于根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
202.所述第二确定模块42，用于基于所述统计功效参数和/或所述显著性参数，查询正态分布函数以获得第三数值；
203.所述第二确定模块42，还用于根据所述第二数值及所述第三数值平方的乘积，确定所述测试对象的所述样本量。
204.在一些实施例中，所述第二确定模块42，用于根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；
205.所述第二确定模块42，还用于基于所述第二数值，确定所述测试对象的所述样本量。
206.在一些实施例中，所述第二确定模块42，用于从所述历史信息中各所述预定时长对应的关键指标基线中，选取最小关键指标基线作为所述预定关键指标基线；
207.所述第二确定模块42，还用于基于所述关键指标的所述关键指标基线及所述最小关键指标基线的差值，确定所述检验灵敏度。
208.在一些实施例中，所述第一确定模块41，还用于以下至少之一：
209.基于所述测试对象的所覆盖的国家或地区与第一对应关系，确定所述测试对象的所述用户流量比例；所述第一对应关系包括：所述测试对象覆盖不同国家所对应的用户流量比例；
210.基于所述测试对象所使用的语言类型与第二对应关系，确定所述测试对象的所述用户流量比例；所述第二对应关系包括：所述测试对象使用不同语言类型所对应的用户流量比例；
211.基于所述测试对象包括的所述关键指标与第三对应关系，确定所述测试对象的所
述用户流量比例；所述第三对应关系包括：所述测试对象包括不同关键指标所对应的用户流量比例；
212.预先配置所述测试对象的所述用户流量比例。
213.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
214.本公开实施例提供一种终端，包括：
215.处理器；
216.用于存储处理器可执行指令的存储器；
217.其中，所述处理器被配置为：用于运行所述可执行指令时，实现本公开任意实施例的所述的实验周期的确定方法。
218.所述存储器可包括各种类型的存储介质，该存储介质为非临时性计算机存储介质，在通信设备掉电之后能够继续记忆存储其上的信息。
219.所述处理器可以通过总线等与存储器连接，用于读取存储器上存储的可执行程序，例如，实现如图1至2、图5至6所示的方法的至少其中之一。
220.本公开的实施例还提供了一种计算机可读存储介质，所述可读存储介质存储有可执行程序，其中，所述可执行程序被处理器执行时实现本公开任意实施例所述的实验周期的确定方法。例如，实现如图1至2、图5至6所示的方法的至少其中之一。
221.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
222.图8是根据一示例性实施例示出的一种用于终端600的框图。例如，终端600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
223.参照图8，终端600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(i/o)的接口612，传感器组件614，以及通信组件616。
224.处理组件602通常控制终端600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
225.存储器604被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在终端600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
226.电源组件606为终端600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为终端600生成、管理和分配电力相关联的组件。
227.多媒体组件608包括在所述终端600和用户之间的提供一个输出接口的屏幕。在一
些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
228.音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(mic)，当终端600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
229.i/o接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
230.传感器组件614包括一个或多个传感器，用于为终端600提供各个方面的状态评估。例如，传感器组件614可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为终端600的显示器和小键盘，传感器组件614还可以检测终端600或终端600一个组件的位置改变，用户与终端600接触的存在或不存在，终端600方位或加速/减速和终端600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
231.通信组件616被配置为便于终端600和其他设备之间有线或无线方式的通信。终端600可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
232.在示例性实施例中，终端600可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
233.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由终端600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
234.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的
权利要求指出。
235.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。