一种广告实验平台、方法及电子设备与流程

1.本发明属于计算机技术领域，更具体的是涉及一种广告实验平台、方法、电子设备及计算机可读介质。


背景技术：

2.目前，由于大数据驱动，使得效果指标的量化评估成为了可能。为了实现好的广告投放效率，线上运行的每一个广告策略都可以进行相应的实验和效果分析，通过量化分析来评估该广告策略效果的好坏。广告策略可能需要不断地尝试，并进行合理地流量均匀分流，经过多轮线上a/b test实验迭代，以形成最终的决策值。
3.现有广告实验平台，无法对实验分析结果的置信度进行分析，无法保证实验分析结果的可信度，影响广告策略的正式上线效果。


技术实现要素：

4.(一)要解决的技术问题
5.本发明旨在解决无法对实验分析结果的置信度进行分析的技术问题。
6.(二)技术方案
7.为解决上述技术问题，本发明的一方面提出一种广告实验平台，用于对运营人员配置的广告策略进行效果分析，所述广告实验平台包括：
8.创建模块，用于根据用户输入创建实验中广告策略的定向人群；
9.投放模块，用于根据客户端广告请求从所述创建模块创建的广告策略中选取目标广告策略，并根据所述目标广告策略筛选出目标广告向客户端投放；
10.效果分析模块，用于获取客户端对目标广告的效果数据，根据所述效果数据分析各个广告策略；所述效果数据用于反映目标广告的投放效果；
11.置信度效果分析模块，用于在实验完成后根据效果数据生成置信度分析报告；
12.所述效果数据是：曝光率、点击率、成单率中的至少一种。
13.根据本发明一种优选实施方式，所述效果数据为点击数据，置信度效果分析模块通过以下公式预估实验的点击率：
[0014][0015]
其中，为预估实验的点击率，m为目标广告被点击的次数，n为目标广告被曝光的次数；
[0016]
的置信水平为1-α的区间为：
[0017]
[0018]
其中，α为显著性水平，z
α/2
为标准正态分布在α/2处的值；
[0019]
置信度效果分析模块通过以下公式预估实验组点击率和对照组点击率为：
[0020][0021]
其中，m1和n1分别为实验组目标广告被点击的次数和被曝光的次数，m2和n2分别为对照组目标广告被点击的次数和被曝光的次数；
[0022]
的置信水平为1-α的区间为：
[0023][0024]
根据权利要求1所述的广告实验平台，其特征在于，所述置信度效果分析模块，还用于通过以下公式对实验客户端广告请求进行预估：
[0025][0026]
其中，q为本次实验的实验指标，δ为实验预期的绝对收益，z
α/2
为标准正态分布在α/2处的值。
[0027]
根据本发明一种优选实施方式，所述广告策略包括：过滤策略和算法策略；所述创建模块包括：
[0028]
子创建模块，用于根据用户输入创建实验中过滤策略和算法策略的定向人群；
[0029]
转换模块，用于将所述定向人群转换为定向编码，存储所述定向编码和对应的过滤策略或算法策略；
[0030]
对应的，所述投放模块包括：
[0031]
接收模块，用于接收客户端广告请求，将所述客户端广告请求中的定向人群转换为客户端定向编码；
[0032]
匹配模块，用于将接收模块的客户端定向编码与转换模块中的定向编码进行匹配，得到与客户端广告请求匹配的广告策略；
[0033]
过滤模块，用于将广告候选集中的广告通过匹配到的过滤策略进行过滤，得到过滤后的广告；
[0034]
排序模块，用于通过匹配到的算法策略对过滤后的广告进行排序；
[0035]
子投放模块，用于将排序第一的广告作为目标广告向客户端投放。
[0036]
根据本发明一种优选实施方式，根据预存的定向编码表将所述定向人群转换为定向编码。
[0037]
根据本发明一种优选实施方式，匹配到的过滤策略有多个，所述过滤模块，根据匹配到的过滤策略的优先级对广告候选集中的广告通过进行过滤，得到过滤后的广告。
[0038]
根据本发明一种优选实施方式，所述创建模块还包括：
[0039]
分组模块，用于配置各个广告策略的分桶编号，以保证同一客户端的广告请求在同一分桶中；
[0040]
流量同质模块，用于统计子分组模块中各个分桶实验中历史客户端广告请求的效果数据，并对所述效果数据进行同质确认；
[0041]
对应的，
[0042]
所述接收模块，还用于将客户端广告请求中的设备id转换为客户端分桶id；
[0043]
所述匹配模块，得到与客户端广告请求匹配的广告策略后，再将匹配到的客户端广告请求的客户端分桶id与广告策略的分桶编号进行匹配，得到最终与客户端广告请求匹配的广告策略。
[0044]
根据本发明一种优选实施方式，所述创建模块还包括：
[0045]
策略模式配置模块，用于根据用户第一输入配置指定实验的策略模式，所述策略模式指在指定实验中过滤策略和算法策略的定向人群；可选的，所述策略模式包括：独占模式和混叠模式，在独占模式的指定实验中过滤策略和算法策略的定向人群相同，在混叠模式的指定实验中过滤策略和算法策略的定向人群不同。
[0046]
本发明第二方面提供一种广告实验方法，所述方法应用于上述任一项所述的广告实验平台中，所述方法包括：
[0047]
根据用户输入创建实验中广告策略的定向人群；
[0048]
根据客户端广告请求从所述创建模块创建的广告策略中选取目标广告策略，并根据所述目标广告策略筛选出目标广告向客户端投放；
[0049]
获取客户端对目标广告的效果数据，根据所述效果数据分析各个广告策略；所述效果数据用于反映目标广告的投放效果；
[0050]
在实验完成后根据效果数据生成置信度分析报告；
[0051]
所述效果数据是：浏览数据、购买数据中的至少一种。
[0052]
本发明第三方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行如上述任一项所述的广告实验平台。
[0053]
本发明第四方面还提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如上述任一项所述的广告实验平台。
[0054]
(三)有益效果
[0055]
本发明的广告实验平台通过置信度效果分析模块对实验的客户端广告请求进行预估，并在实验完成后根据效果数据生成置信度分析报告；对实验分析结果的置信度进行分析，从而保证实验分析结果的可信度，提高广告策略的正式上线效果。
[0056]
本发明的置信度效果分析模块预先对实验客户端广告请求进行预估，根据预估的客户端广告请求量分配实验流量，避免出现实验流量不够的问题。
[0057]
本发明通过分组模块配置各个广告策略的分桶编号，以保证同一客户端的广告请求在同一分桶中；从而确保最终的广告效果正确的归因到该人群对应的广告策略中，提高实验效果分析的准确性。此外，本发明通过流量同质模块统计子分组模块中各个分桶实验中历史客户端广告请求的效果数据，并对所述效果数据进行同质确认；保证实验组和对照组被分配到的流量分桶没有差异，即人群是同质的，从而确保实验组与对照组的效果差异只来自于被测试的个体用户的随机变化，而不能受候选人群的不同而影响。
[0058]
本发明通过策略模式配置模块配置指定实验的策略模式，所述策略模式指在指定
实验中过滤策略和算法策略的定向人群；可选的，所述策略模式包括：独占模式和混叠模式，在独占模式的指定实验中过滤策略和算法策略的定向人群相同，在混叠模式的指定实验中过滤策略和算法策略的定向人群不同。通过独占模式满足不同层实验之间需要广告策略进行联动的场景，通过混叠策略可以保证同时进行的实验(可以是同层实验，也可以是不同层实验)之间没有人群干扰。提高实验结果分析的准确性。
附图说明
[0059]
图1是本发明实施例一种广告实验平台的结构框架示意图；
[0060]
图2是本发明实施例实验独占模式和混叠模式的示意图的示意图；
[0061]
图3为本发明实施例一种广告实验方法的流程示意图；
[0062]
图4是本发明实施例另一种广告实验方法的流程示意图；
[0063]
图5是本发明的一个实施例的电子设备的结构示意图；
[0064]
图6是本发明的一个实施例的计算机可读记录介质的示意图。
具体实施方式
[0065]
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
[0066]
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
[0067]
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
[0068]
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语和/或”、及/或”是指包括所列出项目中的任一个或多个的所有组合。
[0069]
为解决背景技术中的技术问题，本发明提出一种广告实验平台，通过置信度效果分析模块对实验的客户端广告请求进行预估，并在实验完成后根据效果数据生成置信度分析报告；对实验分析结果的置信度进行分析，从而保证实验分析结果的可信度，提高广告策略的正式上线效果。
[0070]
本发明的置信度效果分析模块预先对实验客户端广告请求进行预估，根据预估的客户端广告请求量分配实验流量，避免出现实验流量不构的问题。
[0071]
本发明通过分组模块配置各个广告策略的分桶编号，以保证同一客户端的广告请
求在同一分桶中；从而确保最终的广告效果正确的归因到该人群对应的广告策略中，提高实验效果分析的准确性。此外，本发明通过流量同质模块统计子分组模块中各个分桶实验中历史客户端广告请求的效果数据，并对所述效果数据进行同质确认；保证实验组和对照组被分配到的流量分桶没有差异，即人群是同质的，从而确保实验组与对照组的效果差异只来自于被测试的个体用户的随机变化，而不能受候选人群的不同而影响。
[0072]
本发明通过策略模式配置模块配置指定实验的策略模式，所述策略模式指在指定实验中过滤策略和算法策略的定向人群；可选的，所述策略模式包括：独占模式和混叠模式，在独占模式的指定实验中过滤策略和算法策略的定向人群相同，在混叠模式的指定实验中过滤策略和算法策略的定向人群不同。通过独占模式满足不同层实验之间需要广告策略进行联动的场景，通过混叠策略可以保证同时进行的实验(可以是同层实验，也可以是不同层实验)之间没有人群干扰。提高实验结果分析的准确性。
[0073]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
[0074]
图1是本发明一种广告实验平台的结构框架示意图，如图1所示，所述广告实验平台用于对运营人员配置的广告策略进行效果分析，所述广告实验平台包括：创建模块11，投放模块12、效果效果分析模块13和置信度效果分析模块14，其中：
[0075]
创建模块11，用于根据用户输入创建实验中广告策略的定向人群；
[0076]
本发明实施例中，广告策略可以包括：过滤策略、算法策略。其中，当有业务的创新或迭代时，需要对比新旧业务对广告的影响时，会使用过滤策略来对比实验组和对照组分别投放新旧业务场景下的广告效果。比如：app端进行了改版，想比较新版和旧版对广告的影响，就可以使用过滤策略进行实验。算法策略用于进行算法策略的迭代时，可以先在实验平台对比新旧算法策略的效果。当新算法策略有效果提升且结果置信时，再将新算法策略应用到更多流量上。
[0077]
本发明可以根据用户输入对各个实验分桶的定向人群创建不同类型的广告策略，配置实验组和对照组的分桶及所需投放的广告创意。
[0078]
投放模块12，用于根据客户端广告请求从所述创建模块创建的广告策略中选取目标广告策略，并根据所述目标广告策略筛选出目标广告向客户端投放；
[0079]
本发明实施例中，广告请求指客户端发出的展示广告的请求，其可以在用户打开、浏览、或者点击等操作某个客户端app时发出，也可以在用户打开、浏览、或者点击等操作某个客户端页面时发出。其中，一个广告请求需要经过多个过滤步骤从广告候选集中过滤出目标广告。
[0080]
效果分析模块13，用于获取客户端对目标广告的效果数据，根据所述效果数据分析各个广告策略；
[0081]
本发明中，所述效果数据用于反映目标广告的投放效果；可选的，所述效果数据可以是：曝光率、点击率、成单率中的至少一种。
[0082]
在一种示例中，所述广告策略包括：过滤策略和算法策略；所述创建模块11包括：
[0083]
子创建模块，用于根据用户输入创建实验中过滤策略和算法策略的定向人群；
[0084]
示例性的，子创建模块可以为实验组分桶的定向人群创建不同的过滤策略，以及各个过滤策略的优先级，也可以为对照组分桶的不同定向人群创建不同的算法策略，以及
各个算法策略的优选级。所述优先级用于在匹配到多个广告策略时，过滤模块根据匹配到的过滤策略的优先级依次对广告候选集中的广告通过进行过滤。
[0085]
转换模块，用于将所述定向人群转换为定向编码，存储所述定向编码和对应的过滤策略或算法策略；
[0086]
其中，定向人群可以是符合某一人群属性的人群，所述人群属性可以是：性别、地域、年龄等用户信息，或者流量信息。所述定向编码是预先配置的与人群属性相对应的编码，可以将人群属性与定向编码的对应关系存入预设的定向编码表中，转换模块根据预存的定向编码表将定向人群转换为定向编码。比如广告策略创建的时候，运营人员输入地域为：北京的人群属性，则转换模块将北京转成对应的定向编码102107110100，存储该定向编码和对该定向人群创建的过滤策略或算法策略。
[0087]
对应的，所述投放模块12包括：
[0088]
接收模块，用于接收客户端广告请求，将所述客户端广告请求中的定向人群转换为客户端定向编码；
[0089]
本发明中，客户端广告请求中会携带该客户端的人群属性，也即该客户端所属的定向人群，接收模块会解析客户端广告请求中的定向人群，根据预存的定向编码表将定向人群转换为客户端定向编码。示例性的，定向编码表可以预先存储在数据库中，转换模块和接收模块，可以实时从数据库中查询定向编码表。
[0090]
匹配模块，用于将接收模块的客户端定向编码与转换模块中的定向编码进行匹配，得到与客户端广告请求匹配的广告策略；保证同一客户端的广告请求在同一分桶中；从而确保最终的广告效果正确的归因到该人群对应的广告策略中，提高实验效果分析的准确性。
[0091]
其中，一个客户端广告请求匹配的广告策略可能是一个或多个过滤策略，也可能是一个或多个算法策略，还可能是至少一个过滤策略和至少一个算法策略。多个客户端广告请求也可能同时与一个广告策略相匹配。
[0092]
过滤模块，用于将广告候选集中的广告通过匹配到的过滤策略进行过滤，得到过滤后的广告；
[0093]
若匹配到的过滤策略有多个，所述过滤模块，根据匹配到的过滤策略的优先级依次对广告候选集中的广告通过进行过滤，得到过滤后的广告。
[0094]
排序模块，用于通过匹配到的算法策略对过滤后的广告进行排序；
[0095]
所述算法策略可以是预先训练好的算法模型，通过算法模型可以根据输入的广告特征预估广告效果等级，根据广告效果等级对广告进行排序。
[0096]
子投放模块，用于将排序第一的广告作为目标广告向客户端投放。
[0097]
为了保证同一客户端的广告请求在同一分桶中；从而确保最终的广告效果正确的归因到该人群对应的广告策略中，提高实验效果分析的准确性。在一种示例中，所述创建模块11还包括：
[0098]
分组模块，用于配置各个广告策略的分桶编号，以保证同一客户端的广告请求在同一分桶中；
[0099]
对应的，
[0100]
所述接收模块，还用于将客户端广告请求中的设备id转换为客户端分桶id；示例
性的，所述设备id可以是被叫用户识别号(called user identification number，cuid)，客户端分桶id可以根据cuid和哈希算法实时计算得到。示例性的，可以将客户端广告请求的cuid作为该客户端广告请求的哈希算子，通过哈希算法得到客户端广告请求分组，这样，将客户端广告请求分至0-100的分组中，根据客户端广告请求的分组设置客户端分桶id。示例性的，客户端分桶id可以是将客户端广告请求的分组编号除以100取余数再加1的数值，则广告策略的分桶编号为0-100的数值。
[0101]
所述匹配模块，得到与客户端广告请求匹配的广告策略后，再将匹配到的客户端广告请求的客户端分桶id与广告策略的分桶编号进行匹配，得到最终与客户端广告请求匹配的广告策略。
[0102]
为了保证实验组和对照组被分配到的流量分桶没有差异，即人群是同质的，从而确保实验组与对照组的效果差异只来自于被测试的个体用户的随机变化，而不能受候选人群的不同而影响。所述创建模块11还包括：
[0103]
流量同质模块，用于统计子分组模块中各个分桶实验中历史客户端广告请求的效果数据，并对所述效果数据进行同质确认；以效果数据为点击数据为例，则当各个分桶实验中历史客户端广告请求的点击率的偏差在预设范围内时，确定各个分桶实验同质。
[0104]
进一步的，所述创建模块11还包括：
[0105]
策略模式配置模块，用于根据用户第一输入配置指定实验的策略模式，所述策略模式指在指定实验中过滤策略和算法策略的定向人群；可选的，所述策略模式包括：独占模式和混叠模式，在独占模式的指定实验中过滤策略和算法策略的定向人群相同，在混叠模式的指定实验中过滤策略和算法策略的定向人群不同。通过独占模式满足不同层实验之间需要广告策略进行联动的场景，通过混叠策略可以保证同时进行的实验之间没有人群干扰。提高实验结果分析的准确性。其中，混叠策略中同时进行的实验可以是同层实验，例如同时有多个“投放策略”实验在进行；也可以是不同层实验；例如在“广告创意”、“投放策略”、“算法模型”层都有实验在进行。通过混叠模型可以确保这些同时进行的实验之间没有干扰。图2为本发明独占模式和混叠模式的示意图。
[0106]
对应的，在独占模式的指定实验中，所述匹配模块匹配到的过滤策略和算法策略的定向人群相同，满足不同层实验之间需要广告策略进行联动的场景。在混叠模式的指定实验中，所述匹配模块匹配到的过滤策略和算法策略的定向人群不同。
[0107]
在一种示例中，因为各个维度的客户广告请求。例如：假设某个广告位一天的流量是10亿，“小学一年级”可能就只有1亿了，在“北京”的“小学一年级”可能就只有200万了。维度越细，流量越小。这样就会出现单位时间内实验流量不够的情况。本发明通过置信度效果分析模块14对各维度的流量进行预估，并合理分配。
[0108]
所述置信度效果分析模块14通过以下公式对实验客户端广告请求进行预估：
[0109][0110]
其中，q为本次实验的实验指标，δ为实验预期的绝对收益，z为、、、；
[0111]
所述效果数据为点击数据，置信度效果分析模块14通过以下公式预估实验的点击率：
[0112][0113]
其中，为预估实验的点击率，m为目标广告被点击的次数，n为目标广告被曝光的次数；
[0114]
的置信水平为1-α的区间为：
[0115][0116]
其中，α为显著性水平，z
α/2
为标准正态分布在α/2处的值；
[0117]
置信度效果分析模块通过以下公式预估实验组点击率和对照组点击率为：
[0118][0119]
其中，m1和n1分别为实验组目标广告被点击的次数和被曝光的次数，m2和n2分别为对照组目标广告被点击的次数和被曝光的次数；
[0120]
的置信水平为1-α的区间为：
[0121][0122]
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0123]
图3是本发明实施例提供的一种广告实验方法，所述方法应用于上述任一项所述的广告实验平台中，如图3所示，所述方法包括：
[0124]
s301、根据用户输入创建实验中广告策略的定向人群；
[0125]
在一种示例中，所述广告策略包括：过滤策略和算法策略；本步骤包括：
[0126]
s31、根据用户输入创建实验中过滤策略和算法策略的定向人群；
[0127]
s32、将所述定向人群转换为定向编码，存储所述定向编码和对应的过滤策略或算法策略；
[0128]
在一种优选的示例中，本步骤还可以进一步配置各个广告策略的分桶编号，以保证同一客户端的广告请求在同一分桶中；
[0129]
进一步的，本步骤还可以统计子分组模块中各个分桶实验中历史客户端广告请求的效果数据，并对所述效果数据进行同质确认；
[0130]
此外，本步骤还可以根据用户第一输入配置指定实验的策略模式，所述策略模式指在指定实验中过滤策略和算法策略的定向人群；可选的，所述策略模式包括：独占模式和混叠模式，在独占模式的指定实验中过滤策略和算法策略的定向人群相同，在混叠模式的指定实验中过滤策略和算法策略的定向人群不同。
[0131]
此外，如图4所示，通过前端页面创建广告策略时，可以根据用户录入的实验信息，请求算法接口，得到算法策略推荐实验的分量设置，最后确认各个实验信息完成各个实验的实验中广告策略的定向人群的创建。创建策略时，算法会根据用户设置的人群、分桶，预估完成实验所需时间。将创建的策略供给引擎端，引擎端判断各个广告策略命中的实验组和/或对照组，提取命中的过滤策略参数和算法策略参数。其中，命中的过滤策略参数即命中的过滤策略，命中的算法策略参数即命中的算法策略。
[0132]
s302、根据客户端广告请求从所述创建模块创建的广告策略中选取目标广告策略，并根据所述目标广告策略筛选出目标广告向客户端投放；
[0133]
示例性的，本步骤包括：
[0134]
s21、接收客户端广告请求，将所述客户端广告请求中的定向人群转换为客户端定向编码；
[0135]
进一步的，本步骤还可以将客户端广告请求中的设备id转换为客户端分桶id。
[0136]
s22、将所示客户端定向编码与定向编码进行匹配，得到与客户端广告请求匹配的广告策略；
[0137]
进一步的，在得到与客户端广告请求匹配的广告策略后，还额可以将匹配到的客户端广告请求的客户端分桶id与广告策略的分桶编号进行匹配，得到最终与客户端广告请求匹配的广告策略。
[0138]
s23、将广告候选集中的广告通过匹配到的过滤策略进行过滤，得到过滤后的广告；
[0139]
若匹配到的过滤策略有多个，则根据匹配到的过滤策略的优先级对广告候选集中的广告通过进行过滤，得到过滤后的广告。
[0140]
s24、通过匹配到的算法策略对过滤后的广告进行排序；
[0141]
s25、将排序第一的广告作为目标广告向客户端投放。
[0142]
如图4所示，引擎端接收到客户端广告请求后，将客户端请求中的定向编码与各个广告策略的定向编码进行匹配，再通过匹配到的广告策略参数获取对应的广告策略对广告候选集中的所有广告进行过滤，通过匹配到的算法策略对过滤后的广告进行排序，将排序第一的广告向该客户端进行投放，最后根据投放效果数据对广告策略的投放效果进行分析，在实验完成后根据效果数据生成置信度分析报告。
[0143]
s303、获取客户端对目标广告的效果数据，根据所述效果数据分析各个广告策略；
[0144]
其中，所述效果数据用于反映目标广告的投放效果；可选的，所述效果数据可以是：浏览数据、购买数据中的至少一种。
[0145]
s304、在实验完成后根据效果数据生成置信度分析报告；
[0146]
示例性的，所述效果数据为点击数据，通过以下公式预估实验的点击率：
[0147][0148]
其中，为预估实验的点击率，m为目标广告被点击的次数，n为目标广告被曝光的次数；
[0149]
的置信水平为1-α的区间为：
[0150][0151]
其中，α为显著性水平，z
α/2
为标准正态分布在α/2处的值；
[0152]
置信度效果分析模块通过以下公式预估实验组点击率和对照组点击率为：
[0153][0154]
其中，m1和n1分别为实验组目标广告被点击的次数和被曝光的次数，m2和n2分别为对照组目标广告被点击的次数和被曝光的次数；
[0155]
的置信水平为1-α的区间为：
[0156][0157]
进一步的，本步骤还可以通过以下公式对实验客户端广告请求进行预估：
[0158][0159]
其中，q为本次实验的实验指标，δ为实验预期的绝对收益，z为、、、。
[0160]
图5是本发明的一个实施例的电子设备的结构示意图，该电子设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行广告实验平台。
[0161]
如图5所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。
[0162]
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。
[0163]
所述存储器包括易失性存储器，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(rom)。
[0164]
可选的，该实施例中，电子设备还包括有i/o接口，其用于电子设备与外部的设备进行数据交换。i/o接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0165]
应当理解，图5显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。
[0166]
图6是本发明的一个实施例的计算机可读记录介质的示意图。如图6所示，计算机可读记录介质中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述的广告实验平台。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0167]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0168]
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等，本发明也可以由包含上述系统或部件的至少一部分的车辆来实现。本发明也可以由执行本发明的方法的计算机软件来实现，例如由直播设备的微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现，对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是cd-rom，u盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。
[0169]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。