AB测试的评估方法及装置、电子设备、存储介质与流程

ab测试的评估方法及装置、电子设备、存储介质
技术领域
1.本技术涉及计算机技术领域，特别涉及一种ab测试的评估方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.a/b测试是针对互联网产品的对比分析方法。在同一时间段内，将组成成分相同(或相似)的用户划分为不同组，各组采用不同的方案。通过监控各组用户对方案的反馈情况，来判断各组方案的可行性和有效性。目前，对a/b测试不同方案的进行评估时，通常由数据分析师对后台存储的用户行为分析进行统计分析，手工汇总统计数据，并依据统计结果撰写评估报告。评估过程需耗费耗时耗力，且可能由于人员失误而出现错误的评估结果。


技术实现要素：

3.本技术实施例的目的在于提供一种ab测试的评估方法及装置、电子设备、计算机可读存储介质，用于实现ab测试的自动化评估。
4.一方面，本技术提供了一种ab测试的评估方法，包括：
5.获取测试评估指令；其中，所述测试评估指令包括场景参数、与所述场景参数对应的分组策略；
6.依据所述场景参数、与所述场景参数对应的分组策略，获取与各组对应的浏览数据和反馈数据；
7.根据各组的浏览数据和反馈数据，计算各组的若干评估指标；
8.基于各组的若干评估指标输出评估报告。
9.在一实施例中，所述测试评估指令包括分群策略；
10.所述依据所述场景参数、与所述场景参数对应的分组策略，获取与各组对应的浏览数据和反馈数据，包括：
11.针对所述分群策略中每一群体，依据所述场景参数、与场景参数对应的分组策略，获取所述群体内与各组对应的浏览数据和反馈数据。
12.在一实施例中，所述反馈数据包括订单数据；
13.在所述根据各组的浏览数据和反馈数据，计算各组的若干评估指标之前，所述方法还包括：
14.从各组的订单数据中过滤极端价格对应的订单数据。
15.在一实施例中，在所述根据各组的浏览数据和反馈数据，计算各组的若干评估指标之前，所述方法还包括：
16.针对各组的每个反馈数据，依据所述反馈数据中的设备标识查找对应的浏览数据；
17.判断与所述设备标识对应的浏览数据是否携带用户标识；
18.如果所述设备标识对应的所有浏览数据均不携带用户标识，过滤所述设备标识对
应的反馈数据。
19.在一实施例中，所述分组策略对应对照组和若干实验组，所述反馈数据为订单数据；
20.所述根据各组的浏览数据和反馈数据，计算各组的若干评估指标，包括：
21.根据所述对照组和每个实验组的浏览数据和反馈数据，确定所述对照组的转化率、所述实验组的转化率；
22.根据所述对照组的转化率、浏览数据和反馈数据，每个实验组的转化率、浏览数据和反馈数据，确定每个实验组的若干评估指标。
23.在一实施例中，所述评估指标包括转化率提升指标和gmv提升指标，所述方法还包括：
24.判断所述实验组的转化率提升指标和gmv提升指标是否满足指定条件；
25.如果是，将所述实验组作为下一阶段的对照组。
26.在一实施例中，所述评估指标包括转化率提升率和gmv提升率；
27.所述根据所述对照组的转化率、浏览数据和反馈数据，每个实验组的转化率、浏览数据和反馈数据，确定每个实验组的若干评估指标，包括：
28.根据所述对照组的转化率，以及每个实验组的转化率，确定每个实验组的转化率提升率；
29.根据所述对照组的转化率、浏览数据和反馈数据，以及每个实验组的转化率、浏览数据和反馈数据，确定所述对照组的相对gmv和每个实验组的相对gmv；
30.根据所述对照组的相对gmv和每个实验组的相对gmv，确定每个实验组的相对gmv提升率。
31.在一实施例中，所述方法还包括：
32.基于所述对照组的相对gmv和所述实验组的相对gmv，确定所述实验组对应的全年销售额提升量。
33.进一步的，本技术还提供了一种电子设备，所述电子设备包括：
34.处理器；
35.用于存储处理器可执行指令的存储器；
36.其中，所述处理器被配置为执行上述ab测试的评估方法。
37.另外，本技术还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述ab测试的评估方法。
38.本技术方案，在获取测试评估指令之后，依据测试评估指令中场景参数、与场景参数对应的分组策略，可以筛选出各分组对应的浏览数据和反馈数据，并依据浏览数据和反馈数据计算若干评估指标，进而输出评估报告；本技术方案可自主完成针对ab测试的评估任务，降低了人力成本，并可避免由于人员失误而出现错误的评估结果。
附图说明
39.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍。
40.图1为本技术一实施例提供的ab测试的评估方法的应用场景示意图；
41.图2为本技术一实施例提供的电子设备的结构示意图；
42.图3为本技术一实施例提供的ab测试的评估方法的流程示意图；
43.图4为本技术一实施例提供的反馈数据的过滤方法的流程示意图；
44.图5为本技术一实施例提供的评估指标的计算方法的流程示意图；
45.图6为本技术一实施例提供的ab测试的评估装置的框图。
具体实施方式
46.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
47.相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
48.图1为本技术实施例提供的ab测试的评估方法的应用场景示意图。如图1所示，该应用场景包括客户端20和服务端30；客户端20可以是主机、手机、平板电脑等用户终端，用于向服务端30发送测试评估指令；服务端30可以是服务器、服务器集群或云计算中心，可以响应于测试评估指令，对ab测试结果进行评估。
49.如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30，用于执行ab测试的评估方法。
50.存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory，简称eprom)，可编程只读存储器(programmable red
‑
only memory，简称prom)，只读存储器(read
‑
only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
51.本技术还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本技术提供的ab测试的评估方法。
52.参见图3，为本技术一实施例提供的ab测试的评估方法的流程示意图，如图3所示，该方法可以包括以下步骤310
‑
步骤340。
53.步骤310：获取测试评估指令；其中，测试评估指令包括场景参数、与场景参数对应的分组策略。
54.场景参数用于指示ab测试方案所涉及的场景，该场景可以是网站各业务流程的各个环节。
55.分组策略是预先配置为场景参数对应场景进行分组的策略。示例性的，可以取用户标识的最后两位数字，将最后两位数字位于0到20之间的用户划分为一组、将最后两位数字位于21到60之间的用户划分为一组、将最后两位数字位于61到99之间的用户划分为一组。示例性的，可以取用户标识的最后一位数字，根据该数字为奇数或偶数，将用户划分为两组。示例性的，可以取设备标识的最后两位数字，作为分组依据。
56.分组策略是执行ab测试前确定的，在本技术评估方法中，通过分组策略可以筛选出各分组用户在面对其对应产品方案时产生的数据。
57.服务端可以从客户端获取测试评估指令，该测试评估指令内包含被选中的场景参数、以及与场景参数对应的分组策略。由于各场景参数指示的场景的分组策略可以不同，有利于执行正交实验。
58.步骤320：依据场景参数、与场景参数对应的分组策略，获取与各组对应的浏览数据和反馈数据。
59.服务端从测试评估指令中解析出场景参数、以及对应于场景参数的分组策略之后，可以从用户数据库中筛选出与各组对应的浏览数据和反馈数据。其中，浏览数据为用户对产品方案的页面、内容浏览时产生的数据，浏览数据可以包括uv(unique visitor，独立访客)、pv(page view，页面浏览量)；反馈数据为用户对产品方案反馈而产生的数据，反馈数据可以包括订单数据、每日留存时长(产品方案为游戏)等。
60.示例性的，若测试评估指令中包含一个场景参数和对应于该场景参数的分组策略，该分组策略将用户划分为三个分组，服务端可以依据分组策略从用户数据库中筛选出该分组策略对应的三个分组的浏览数据和反馈数据。
61.步骤330：根据各组的浏览数据和反馈数据，计算各组的若干评估指标。
62.步骤340：基于各组的若干评估指标输出评估报告。
63.在获取各组的浏览数据和反馈数据之后，针对各个分组，服务端依据浏览数据和反馈数据进行统计分析，从而可以获得各组的若干评估指标。评估指标用于评估各分组对应的产品方案。
64.在获得评估指标之后，服务端可以生成评估报告。服务端可以以excel、txt、word等文件形式输出评估报告，便于保存可查看。
65.在一实施例中，测试评估指令可以包括分群策略，该分群策略用户划分用户群体。示例性的，分群策略可以将依据性别将用户划分为女性群体和男性群体。示例性的，分群策略可以依据用户生命周期将用户划分为新用户群体、成长期用户群体和流失期用户群体。
66.服务端在执行步骤320时，可以针对分群策略中每一群体，依据场景参数、与场景参数对应的分组策略，获得该群体内与各组对应的浏览数据和反馈数据。
67.示例性的，分群策略将用户划分为女性群体和男性群体，服务端可以针对女性群体和男性群体，分别依据场景参数和对应于场景参数的分组策略，筛选出女性群体内与各分组对应的浏览数据和反馈数据、男性群体内与各分组对应的浏览数据和反馈数据。
68.通过该措施，在评估ab测试不同产品方案时，可以针对不同的用户群体进行评估，从而在后续更有针对性地改进产品方案。
69.在一实施例中，如果反馈数据包含订单数据，为避免极端价格对反馈数据的影响，服务端在计算各组的评估指标之前，可以从各组的订单数据中过滤极端价格对应的订单数据。其中，极端价格可以包括特别高的价格和特别低的价格。
70.示例性的，针对任一产品/服务，服务端可以对价格数据进行排序，并将最低的5％的价格数据作为极端价格、将最高的5％的价格数据作为极端价格。在确定极端价格之后，服务端可以删除极端价格对应的订单数据。
71.在一实施例中，用户在浏览产品/服务时可能未登陆，而在反馈阶段(比如：下单)
则需登陆后才能操作。在这种情况下，用户在浏览和反馈过程所产生的浏览数据和反馈数据可能不在同一分组内。为避免这种情况对各分组的评估结果造成的影响，服务端在计算各组的评估指标之前，可以将浏览阶段未登陆用户的反馈数据进行过滤。参见图4，为本技术一实施例提供的反馈数据的过滤方法的流程示意图，如图4所示，该方法可以包括如下步骤410
‑
步骤430。
72.步骤410：针对各组的每个反馈数据，依据反馈数据中的设备标识查找对应的浏览数据。
73.其中，设备标识用于指示产生反馈数据的用户终端。示例性的，设备标识可以是imei(international mobile equipment identity，国际移动设备识别码)。
74.服务端可以依据反馈数据中的设备标识，查找预设时段内与设备标识对应的浏览数据。这里，预设时段可以是经验值，示例性的，预设时段可以是过滤反馈数据前的12小时内。
75.步骤420：判断与设备标识对应的浏览数据是否携带用户标识。
76.步骤430：如果设备标识对应的所有浏览数据均不携带用户标识，过滤设备标识对应的反馈数据。
77.在查找到与设备标识对应的浏览数据之后，服务端可以判断浏览数据中是否携带用户标识。一方面，若浏览数据携带用户标识，说明浏览数据是用户登录时产生，浏览数据与反馈数据属于同一分组。另一方面，若浏览数据未携带用户标识，说明浏览数据是用户未登陆时产生，浏览数据与反馈数据可能属于不同分组，此时，服务端可以过滤设备标识对应的反馈数据，以避免其对后续评估造成影响。
78.此外，由于浏览数据的总体数据基数较大，不携带用户标识的浏览数据对后续评估影响极小，服务端可以对此类浏览数据不作处理，或者，可以过滤此类浏览数据。
79.在一实施例中，分组策略对应对照组和若干实验组，反馈数据为订单数据。
80.服务端在根据各组的浏览数据和反馈数据，计算各组的若干评估指标时，可以根据对照组和每个实验组的浏览数据和反馈数据，确定对照组的转化率、各实验组的转化率。
81.示例性的，转化率可以通过如下公式(1)确定：
82.p＝m/n
ꢀꢀ
(1)
83.其中，p为转化率；m为订单数据总量；n为浏览数据总量。
84.服务端可以根据对照组的转化率、浏览数据和反馈数据，每个实验组的转化率、浏览数据和反馈数据，确定每个实验组的若干评估指标。
85.评估指标可以包括转化率提升指标和gmv(gross merchandise volume，商品交易总额)提升指标。转化率提升指标可以包括z分数和转化率差值的置信区间下限中一种或两组的组合。
86.示例性的，z分数可以通过如下公式(2)确定：
[0087][0088]
其中，z表示z分数(z
‑
score)；p1为实验组转化率；p2为对照组转化率；p为样本公共比率，即实验组与对照组的订单数据总量之和，与实验组与对照组的浏览数据总量之和的
比值；n1为实验组浏览数据总量；n2为对照组浏览数据总量。
[0089]
根据z
‑
score的正态分布表可知，在z分数大于等于1.64的情况下，可认为实验组转化率相对对照组转化率有明显提升。
[0090]
示例性的，转化率差值的置信区间下限可以通过如下公式(3)确定：
[0091][0092]
其中，x为转化率差值的置信区间下限；p1为实验组转化率；p2为对照组转化率；n1为实验组浏览数据总量；n2为对照组浏览数据总量；z
α
/2为预设值1.96。
[0093]
当转化率差值的置信区间下限大于0时，说明实验组转化率相对对照组转化率有明显提升。
[0094]
示例性的，gmv提升指标可以通过如下公式(4)确定：
[0095][0096]
其中，y为gmv提升指标；t1为实验组均值，由实验组订单总金额除以浏览数据总量得到；t2为对照组均值，由对照组订单总金额除以浏览数据总量得到；s1为实验组各订单金额的方差；s2为对照组各订单金额的方差；n1为实验组浏览数据总量；n2为对照组浏览数据总量。
[0097]
gmv提升指标可以指示实验组相比对照组在gmv上是否提升显著。服务端可以比较计算出的gmv提升指标与预设提升阈值，当gmv提升指标达到提升阈值时，可说明gmv提升显著。这里，提升阈值可以是1.64。
[0098]
在一实施例中，服务端在计算出各实验组的评估指标之后，针对每个实验组，服务端可以判断该实验组的转化率提升指标和gmv提升指标是否满足指定条件。
[0099]
一方面，若不满足指定条件，可以认为实验组的产品方案相对于对照组的产品方案改进不够大。另一方面，若满足指定条件，可以认为实验组的产品方案相对于对照组的产品方案改进显著。在这种情况下，服务端可以保留实验组的产品方案，并可以将实验组作为下一阶段ab测试的对照组，从而使得后续产品方案可以迭代改进。
[0100]
示例性的，指定条件的匹配情况可通过如下表1来表示：
[0101][0102]
表1
[0103]
如果转化率指标为z分数或转化率差值的置信区间下限，服务端可以依据单一的转化率指标确定转化率是否提升显著。如果转化率指标包括z分数和转化率差值的置信区间下限，在两个指标均指示转化率提升显著时，服务端可以确定转化率提升显著。
[0104]
在一实施例中，评估指标可以包括转化率提升率和gmv提升率。参见图5，为本技术一实施例提供的评估指标的计算方法的流程示意图，如图5所示，可通过如下步骤510
‑
步骤530计算转化率提升率和gmv提升率：
[0105]
步骤510：根据对照组的转化率，以及每个实验组的转化率，确定每个实验组的转化率提升率。
[0106]
转化率提升率是实验组的转化率相对于对照组的转化率的提升比率。可以通过如下公式(5)确定：
[0107]
q＝(p1‑
p2)/p2ꢀꢀ
(5)
[0108]
其中，q为转化率提升率；p1为实验组转化率；p2为对照组转化率。
[0109]
步骤520：根据对照组的转化率、浏览数据和反馈数据，以及每个实验组的转化率、浏览数据和反馈数据，确定对照组的相对gmv和每个实验组的相对gmv。
[0110]
相对gmv可以通过如下公式(6)确定：
[0111]
sgmv＝p*h*n
ꢀꢀ
(6)
[0112]
其中，sgmv为相对gmv；p为分组内转化率；h为分组内均值，由分组内订单总金额处于浏览数据总量得到；n为各分组的浏览数据总量之和。
[0113]
步骤530：根据对照组的相对gmv和每个实验组的相对gmv，确定每个实验组的相对gmv提升率。
[0114]
在计算出对照组的相对gmv和实验组的相对gmv之后，服务端可以通过如下公式(7)确定实验组的相对gmv提升率：
[0115][0116]
其中，r为相对gmv提升率；sgmv1表示实验组的相对gmv；sgmv2表示对照组的相对
gmv。
[0117]
在一实施例中，服务端计算出对照组的相对gmv和实验组的相对gmv之后，可以确定实验组对应的全年销售额提升量。全年销售额提升量表示启用实验组的产品方案后，在本年度剩余时间可提升的销售额。
[0118]
服务端可以通过如下公式(8)确定全年销售额提升量：
[0119][0120]
其中，f表示全年销售额提升量；sgmv1表示实验组的相对gmv；sgmv2表示对照组的相对gmv；t1表示ab测试耗费的天数；t2表示本年度剩余天数。本技术方案各实施例计算出的各类指标均可作为评估指标记入评估报告中，从而可从多个维度说明ab测试时各实验组方案的效果。
[0121]
图6是本发明一实施例的一种ab测试的评估装置，如图6所示，该装置可以包括：
[0122]
获取模块610，用于获取测试评估指令；其中，所述测试评估指令包括场景参数、与场景参数对应的分组策略；
[0123]
筛选模块620，用于依据所述场景参数、与场景参数对应的分组策略，获取与各组对应的浏览数据和反馈数据；
[0124]
计算模块630，用于根据各组的浏览数据和反馈数据，计算各组的若干评估指标；
[0125]
评估模块640，用于基于各组的若干评估指标输出评估报告。
[0126]
上述装置中各个模块的功能和作用的实现过程具体详见上述ab测试的评估方法中对应步骤的实现过程，在此不再赘述。
[0127]
在本技术所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0128]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0129]
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。