检验信息发布策略交互作用的方法、装置、介质及设备与流程

1.本技术涉及信息发布领域，具体涉及一种检验信息发布策略交互作用的方法、装置、介质及设备。


背景技术：

2.一般的，在进行a/b测试(也称分组隔离实验)时，通常只关注其中实验策略的单独效果，但在一个实验平台上是有众多实验策略同时生效并作用的。而多个实验策略之间是可能互相影响的。
3.实验平台衡量实验策略之间的交互作用，多数用的是方差分析(analysis of variance，简称anova)，但是方差分析需要满足独立性、正态性和方差齐性三个假设，应用场景有限。有的平实验台会运用多变量测试(multivariate testing，简称mvt)，但是多变量测试中的方差估计方法，需要存储大量的数据，在工程实现难度大且估计不一定准确。


技术实现要素：

4.为了准确地验证多个策略之间的交互作用，本技术提供了检验信息发布策略交互作用的方法、装置、介质及设备。所述技术方案如下：
5.第一方面，本技术提供了一种检验信息发布策略交互作用的方法，所述方法包括：
6.根据预设的多个信息发布策略，确定与每个所述信息发布策略对应的对照实验；所述对照实验的实验变量为是否向目标用户群中的用户实施所述信息发布策略；
7.对所述目标用户群实施所述对照实验，得到所述目标用户群对应的实验结果数据；
8.根据所述实验结果数据，确定预设检验统计量的均值；
9.基于重抽样方法，根据所述实验结果数据计算得到所述预设检验统计量的方差；
10.根据所述均值和所述方差，确定所述检验统计量的置信区间；
11.根据所述检验统计量的置信区间，确定所述多个信息发布策略交互作用的检验结果。
12.第二方面，本技术提供了一种检验信息发布策略交互作用的装置，所述装置包括：
13.实验设计模块，用于根据预设的多个信息发布策略，确定与每个所述信息发布策略对应的对照实验；所述对照实验的实验变量为是否向目标用户群中的用户实施所述信息发布策略；
14.策略测试模块，用于对所述目标用户群实施所述对照实验，得到所述目标用户群对应的实验结果数据；
15.第一数据处理模块，用于根据所述实验结果数据，确定预设检验统计量的均值；
16.第二数据处理模块，用于基于重抽样方法，根据所述实验结果数据计算得到所述预设检验统计量的方差；
17.第三数据处理模块，用于根据所述均值和所述方差，确定所述检验统计量的置信
区间；
18.检验结果确定模块，用于根据所述检验统计量的置信区间，确定所述多个信息发布策略交互作用的检验结果。
19.第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种检验信息发布策略交互作用的方法。
20.第四方面，本技术提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种检验信息发布策略交互作用的方法。
21.第五方面，本发明提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如第一方面所述的一种检验信息发布策略交互作用的方法。
22.本技术提供的检验信息发布策略交互作用的方法、装置、设备及存储介质，具有如下技术效果：
23.本技术提供的方案提出了检验多个信息发布策略之间交互作用的技术方案，该技术方案基于多个对照实验的实验结果数据计算得到预设检验统计量的均值和方法，基于检验统计量的置信区间检验不同信息发布策略是否存在交互作用，衡量相互影响的程度，能够更准确地评估和优化信息发布策略；在计算检验统计量方差时，无需考虑是否满足方差分析的假设，而是通过重抽样方法进行计算，所需要存储的数据是重抽样后的数据样本，降低了计算难度和存储难度。
24.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
25.为了更清楚地说明本技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
26.图1是本技术实施例提供的一种检验信息发布策略交互作用的方法的实施环境示意图；
27.图2是本技术实施例提供的一种检验信息发布策略交互作用的方法的流程示意图；
28.图3是本技术实施例提供的一种分层分流机制的示意图；
29.图4是本技术实施例提供的一种构建建设的流程示意图；
30.图5是本技术实施例提供的一种计算检验统计量均值的流程示意图；
31.图6是本技术实施例提供的一种计算检验统计量方差的流程示意图；
32.图7是本技术实施例提供的一种确定检验结果的流程示意图图；
33.图8是本技术实施例提供的一种检验信息发布策略交互作用的装置的示意图；
34.图9是本技术实施例提供的用于实现一种方法的设备的硬件结构示意图。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
36.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
37.为了便于理解本技术实施例所述的技术方案及其产生的技术效果，本技术实施例对于涉及到的相关专业名词进行解释：
38.a/b测试：线上测试策略效果的一种实验方法。通过将实验样本通过随机抽样分成实验组和对照组两个互斥的人群组，使得对照组人群保持原有策略不变，而实验组使用新策略，最后比较两组人群的差异，从而获得策略作用的一种方法。
39.实验组：a/b测试中接受策略处理的组。
40.对照组：a/b测试中未接受策略处理的组。
41.假设检验：又称统计假设检验，是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。显著性检验是假设检验中最常用的一种方法，也是一种最基本的统计推断形式，其基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断。
42.参数检验：全称参数假设检验，是指对参数平均值、方差进行的统计检验。参数检验是推断统计的重要组成部分。当总体分布已知(如总体为正态分布)，根据样本数据对总体分布的统计参数进行推断。
43.非参数检验：是统计分析方法的重要组成部分，它与参数检验共同构成统计推断的基本内容。非参数检验是在总体方差未知或知道甚少的情况下，利用样本数据对总体分布形态等进行推断的方法。由于非参数检验方法在推断过程中不涉及有关总体分布的参数，因而得名为“非参数”检验。
44.请参阅图1，其为本技术实施例提供的一种检验信息发布策略交互作用的方法的实施环境示意图，如图1所示，该实施环境可以至少包括客户端01和服务器02。
45.具体的，所述客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、监控设备及语音交互设备等类型的设备，也可以包括运行于设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端01可以用于提供预设多个信息发布策略以及接收检验结果。
46.具体的，所述服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content deliverynetwork，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。所述服务器02可以包括有网络通信单元、处理器和存储器等等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。具体的，所述服务器02可以用于运行实验平台，在实验平台上对多个信息发布策略之间的交互作用进行检验，得到检验结果。
47.本技术实施例还可以结合云技术实现，云技术(cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。云技术需要以云计算作为支撑。云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。具体地，所述服务器02和数据库位于云端，所述服务器02可以是实体机器，也可以是虚拟化机器。
48.以下介绍本技术提供的一种检验信息发布策略交互作用的方法。图2是本技术实施例提供的一种检验信息发布策略交互作用的方法的流程图，本技术提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图2，本技术实施例提供的一种检验信息发布策略交互作用的方法可以包括如下步骤：
49.s210：根据预设的多个信息发布策略，确定与每个所述信息发布策略对应的对照实验；所述对照实验的实验变量为是否向目标用户群中的用户实施所述信息发布策略。
50.在本技术实施例中，所述信息发布策略也可以称为信息推送策略，以广告推送作为示例，推送策略可以为广告内容的选择、广告界面的设计、广告与用户的关联匹配等。对于设计的新的实验策略，在能够正式上线前需要进行线上测试来衡量新的实验策略的效果，一般地是采用a/b实验(也可称为a/b测试)的方法，在可选策略中选出最优策略。a/b实验是一种验证假设的方法，其核心方法及原理分别是对照实验及假设检验。在实际实验时会从总体抽取部分个体组成样本单位，并从个体实验结果推断总体结果。为了个体样本的高可用性，在实验平台上会同时有多个信息发布策略生效并作用，也即有多个a/b实验同时进行，不同的实验策略之间是可能相互影响的。
51.在本技术实施例中，为了衡量多个实验策略之间相互影响的程度也即交互作用，首先针对每一个信息发布策略分别设计对照试验，由于对照实验遵循单一变量的原则，能通过对比发现因果性，并根据实验结果量化变量的影响程度。在本技术实施例中的一个对照实验中，设有实验组和对照组两个组别，在实际实验时会将用户随机分配至实验组或对照组；在该对照实验中，实验变量为是否向用户实施所述信息发布策略，也即对实验组中的用户实施所述信息发布策略，而对对照组中的用户不实施所述信息发布策略(也即实施所述信息发布策略对应的原有策略)。在对照实验中，用户同时间仅可接收一种策略的处理，因此在随机分配用户时，可以挑选特征一致或相近的用户群，尽可能减小用户差异带来的
对实验结果的影响。在对照实验的确定过程中，还需确定对照实验的实验目的、实验指标和实验类型等，针对多个信息发布策略，则有多个对应的对照实验。在本技术实施例中，可以对多个对照实验进行分层实施，使得多个对照实验可以同时实施并共享用户群。
52.s230：对所述目标用户群实施所述对照实验，得到所述目标用户群对应的实验结果数据。
53.在本技术实施例中，所述目标用户群从总体用户中抽样得到，作为同时实施多个对照实验的用户样本，所述实验结果数据包含多个实验指标的指标数据，例如曝光次数、点击次数、点击率、转化率等，所述实验结果数据中还包括策略数据，所述策略数据指示对目标用户群中每一个用户实施的策略，因对照实验有多个，故对每一个用户实施的是一个策略组合，策略组合中可以包含命中的信息发布策略的个数和具体内容。
54.在本技术实施例中，所述对目标用户群实施所述对照实验，得到所述目标用户群对应的实验结果数据，可以包括：
55.基于分层分流机制，对目标用户群实施所述对照实验，得到所述目标用户群中各用户的实验结果数据，所述实验结果数据包括所述各用户的策略数据和目标指标对应的指标数据。
56.可以理解的是，一个对照实验是一种互斥实验，用户不能被同时分到对照组和实验组，也即仅可选择对该用户实施信息发布策略或不实施信息发布策略中的一种，通过用户互斥保障实验结果不受干扰。当有多个对照实验同时测试时，多个对照实验之间如果也是互斥实验，则导致同时间可进行实验的用户数量减少，样本的代表性差。如果要等待前一个对照实验结束再进行下一个对照实验，则验证周期增长、效率降低。因此，在本技术实施例中，通过分层分流机制进行用户群的切分，使多个对照实验为正交实验(也称为分层实验)，每一个对照实验都可以使用目标用户群中的全部用户。分层分流机制主要涉及一个正交的概念。以两个对照实验p和q为例，在正交实验中，如图3所示，有两层实验，分别是p实验和q实验，在p实验中用户被分为对照组pa和实验组pb，对照组pa和实验组pb各占50％的用户，在q实验中用户也被分为对照组qa和实验组qb，对照组qa和实验组qb也各占50％的用户，所谓的正交实验，是指对照组pa中用户在q实验中被均匀分入了对照组qa和实验组qb，而实验组pb中用户在q实验中也被均匀分入了对照组qa和实验组qb。图3中所示出的方格仅是在局部样本范围内体现正交的概念，并不代表全部样本。在本技术实施例中，单个对照实验为互斥实验，多个对照实验为正交实验。
57.可以理解的是，本技术实施例中的对照实验能通过对比发现信息发布策略的实施与否与目标指标之间的因果关系，并可以根据实验结果数据量化信息发布策略之间针对目标指标的影响程度。
58.s250：根据所述实验结果数据，确定预设检验统计量的均值。
59.在本技术实施例中，根据实验结果数据对多个信息发布策略之间是否存在交互作用进行检验，可以采用假设检验的方法。根据假设检验的一般步骤，首先需要对总体的特征作出某种假设，然后通过抽样实验进行统计推理，根据推理结果对此假设应该被拒绝还是接收作出推断。
60.可以理解的是，在本技术实施例中，如图4所示，在所述步骤s250之前还包括：
61.s510：根据所述多个信息发布策略，构建检验假设。
62.在本技术实施例中，假设多个信息发布策略之间没有交互作用，也即多个信息发布策略的共同效果是每个信息发布策略单独实施的效果的乘积。
63.以两个信息发布策略为例，考察任意两个标准流量实验的对照实验，两个对照实验的组别实施的策略分别记为a1、b1和a2、b2，其中a1是第一个对照实验中对实验组实施的信息发布策略，b1是第一个对照实验中对对照组实施的与a1对应的原有策略，a2是第二个对照实验中对实验组实施的信息发布策略，b1是第一个对照实验中对对照组实施的与a1对应的原有策略。所述标准流量实验是指将目标用户群中的用户进行随机采样，分入对照组和实验组。可选地，对照组和实验组中的用户人数相同。
64.表1两个对照实验的策略组合
65.组别策略a1b1a2abb2cd
66.如上表中所示，a表示执行a1和a2的策略组合所产生的效果数据，b表示执行b1和a2的策略组合所产生的效果数据，c表示执行a1和b2的策略组合所产生的效果数据，d表示执行b1和b2的策略组合所产生的效果数据。假设两个对照实验间的两个信息发布策略a1和a2没有交互作用，也就是假设a1和a2的共同作用效果是其分别单独作用效果的乘积，也即：
67.化简后可得到：所以判定两个信息发布策略间是否存在交互作用，可以将其等价为一个假设检验问题，即检验h0：是否成立，备择检验为h1：如果做出拒绝h0的决策，则可以认为两个信息发布策略之间确实有交互作用存在；否则，可以认为两个信息发布策略之间没有明显的交互作用。
68.以三个信息发布策略为例，对于三个信息发布策略之间交互作用的检验有两种方式，一种是三个信息发布策略之间两两进行检验，所提出的假设可参照上文所述，此处不再赘述；另一种是对三个信息发布策略一齐检验，示例性地，考察三个对照实验，三个对照实验的组别实施的策略分别记为a1与b1、a2与b2、a3与b3，其中a1、a2、a3分别是三个对照实验中对实验组所实施的信息发布策略，b1、b2、b3分别是与之对应的原有策略，a表示执行三种信息发布策略所产生的效果数据，b、c、d分别表示执行了两种信息发布策略和一种原有策略所产生的效果数据，e、f、g分别表示执行了一种信息发布策略和两种原有策略所产生的效果数据，h表示执行了三种原有策略所产生的效果数据。假设三个信息发布策略的共同效果是每个信息发布策略单独实施的效果的乘积，也即
69.化简后可得到：
70.所以判定三个信息发布策略间是否存在交互作用，一种方式是可以将其等价为一个假设检验问题，即检验h0：是否成立，备择检验为h1：如果做出拒绝h0的决策，则可以认为三个信息发布策略之间确实有交互作用存在；否则，可以认为三个信息发
布策略之间没有明显的交互作用。
71.在本技术实施例中，多个信息发布策略之间交互作用的检验同样可以以两两检验进行，也可以将多个一齐检验，后者复杂度更高。优选地，两两检验信息发布策略的交互作用，也方便在检验结果后可以有针对性地调整存在交互作用的两个信息发布策略。
72.s530：构建预设检验统计量，所述预设检验统计量表征所述多个信息发布策略针对目标指标的交互程度。
73.为了作出接受或拒绝所述检验假设的决策，根据假设检验的一般步骤，需要构建一个检验统计量作为衡量的指标。在本技术实施例中，根据所述检验假设构建检验统计量。以上述的两个对照实验为例，检验统计量y的表达式可表示为：检验统计量可以表征两个信息发布策略在a、b、c、d所指示的目标指标上的交互程度，也可以看做是两个信息发布策略同时实施相对于其单独实施所产生的效果的提升值，效果的提升程度是一种比例型数据，可以看做服从或近似服从正态分布。
74.s550：设置针对所述检验假设假设的置信水平或显著性水平参数值。
75.根据假设检验的一般步骤，在提出假设的时候一般会执行置信水平或显著性水平，如设置显著性水平α＝0.05。
76.可以理解的是，为了作出接受或拒绝所述检验假设的决策，根据假设检验的一般步骤，需要对检验统计量的均值和方差进行估计，数据源是实际实施实验后得到的目标用户群对应的实验结果数据，从而可以通过抽样数据推断总体的特征分布。
77.具体地，如图5所示，所述根据所述实验结果数据，确定预设检验统计量的均值，可以包括以下步骤：
78.s520：根据所述多个信息发布策略确定多个策略组合。
79.在本技术实施例中，可以根据多个信息发布策略确定对应的多个原有策略，将多个信息发布策略和对应的原有策略进行正交组合，得到多个策略组合，每个策略组合中的策略数相同；或者直接根据多个信息发布策略进行组合，得到策略组合，所述策略组合中策略数量不相同，仅包含命中的信息发布策略。
80.s540：根据所述各用户的策略数据，将所述实验结果数据划分为与每个所述策略组合对应的第一实验结果数据子集。
81.可以理解的是，所述实验结果数据中包含策略数据，所述策略数据表征了对各用户实施的策略组合。得到的每个第一实验结果数据子集中用户的策略数据都是相同的，不同的第一实验结果数据子集中用户的策略数据不相同，由此将实验结果数据依据策略组合的不同划分了多个子集。
82.s560：根据所述第一实验结果数据子集中所述目标指标对应的指标数据计算得到与每个所述策略组合对应的目标指标平均值。
83.s580：根据所述与每个所述策略组合对应的目标指标平均值，确定所述预设检验统计量的均值。
84.在本技术的一个具体实施例中，检验两个信息分布策略之间的交互作用，按照目标用户群接收的策略组合的不同，可将实验结果数据分为四个子集，可以计算这四个子集中数据样本的个数，以及这四个子集中各自的指标汇总和，如总曝光、总点击、总消耗等等。
从而可以计算出这四个子集中的各指标平均值，如平均曝光、平均点击、平均消耗等。对检验统计量的均值的计算，通过四个子集的目标指标平均值a0、b0、c0、d0，可以得到，记为需要说明的是，对于多个信息发布策略之间交互作用的检验时针对某一个特定的指标进行，所得到的指标平均值是同一指标类型的数据。
85.s270：基于重抽样方法，根据所述实验结果数据计算得到所述预设检验统计量的方差。
86.在本技术实施例中，预设的检验统计量是一个比例型数据，它的方差公式很难用参数估计的方式推导出来，使用差异法(delta method)进行方差估计时，检验统计量的方差可以表示为：
[0087][0088]
其中，s
2bc
和s
2ad
分别为bc和ad的方差，还需要继续使用差异法进行估计，过程复杂繁琐。
[0089]
在本技术中，采用非参估计计算检验统计量的方差，并且首先将实验结果数据中目标指标对应的指标数据作为数据样本，进行数据分桶。数据分桶是一种数据预处理技术，数据分桶后根据桶数据计算目标指标的指标平均值，计算结果也方便存储，易于扩展，而无需存储最小粒度的数据样本，如单个用户的实验结果数据。重抽样是指对原始的数据样本进行随机抽样，可以是有放回的，主要包括bootstrap和jackknife两种方式。以原始数据x＝(x1，x2，x3，x4，x5)为例，对其进行5次有放回地采样5个数据，得到bootstrap样本x1＝(x2，x3，x5，x4，x5)、x2＝(x1，x3，x1，x4，x5)等；而jackknife样本中的样本数目为4个，可以为：x1＝(x2，x3，x4，x5)、x2＝(x1，x3，x4，x5)、x3＝(x1，x2，x4，x5)、x4＝(x1，x2，x3，x5)、x5＝(x1，x2，x3，x4)。
[0090]
在本技术实施例中，如图6所示，具体地，所述步骤s270可以包括以下步骤：
[0091]
s610：对所述实验结果数据进行数据分桶，得到多个实验结果桶数据。
[0092]
s630：对所述多个实验结果桶数据进行重抽样，得到多个第二实验结果数据子集，所述第二实验结果数据子集为从所述多个实验结果桶数据中去掉任一所述实验结果桶数据后的数据集合。
[0093]
s650：根据所述多个第二实验结果数据子集，确定与每个所述第二实验结果数据子集对应的所述预设检验统计量的样本值。
[0094]
s670：根据所述预设检验统计量的样本值进行方差估计，得到所述预设检验统计量的方差。
[0095]
在一个示例性的实施例中，采用的是jackknife(又称为刀切法)重抽样的方法。具体地，将用户样本的实验结果数据随机分为n个桶，表示为x1,x2,...xn，每个桶中的数量可以不相同，当实验结果数据中的数据样本数量级很大时，根据大数定理每个桶中的数据量会趋于相等。需要说明的是，因为是随机分配，每个桶中的数据样本所对应的用户所接受的策略组合可以不同。每次扔掉一个桶数据计算检验统计量y的样本值，计算公式如下所示：
[0096]
yi＝f(x1,x2,...,x
i-1
,x
i 1
,...,xn)
3,-1)，则两个信息发布策略之间有显著负向的交互作用。
[0111]
请参考表2，表2示出了对多个信息发布策略(也即表2中的实验策略)之间的交互作用进行检验时的一些关键数据。
[0112]
表2检验统计量的关键数据
[0113]
实验策略组合y1均值y1标准差y195％置信区间策略a 策略b35.92％4.04％[28.00％,43.83％]实验策略组合y2均值y2标准差y295％置信区间策略a 策略c-27.54％0.13％[-27.79％,-27.28％]
[0114]
实验策略a为媒体新鲜度功能启动，实验策略b为广告物料预过滤，实验策略c为放弃扶持排名第一的电商广告。可以看到，这里涉及到的三组实验的策略确实是存在互相影响的。实验策略a与其他两个实验策略分别有很明显的正向和负向交互作用。y1、y2均是针对曝光率这一具体指标构建的检验统计量。新鲜度功能和物料预过滤的策略的正向交互作用说明了，对物料预过滤而导致更多曝光的那些广告，更不容易被新鲜度所控制。而新鲜度功能和放弃扶持电商广告的负向交互作用则说明，放弃扶持电商广告而导致多曝光的其他广告，更容易被新鲜度控制，导致新鲜度控制策略与其有较大负向的曝光交互作用。
[0115]
在本技术实施例中，所得到的检验结果还可以以实验报告的形式在前端展示，所述方法还可以包括以下步骤：
[0116]
响应于检验结果查询指令，根据所述检验结果生成策略交互报告；
[0117]
展示所述策略交互报告。
[0118]
在本技术实施例中，所述方法还可以作为实验平台产品化的一部分，在前端以实验报告的形式展现检验结果，也可以离线计算所有对照实验两两之间的交互作用(可以理解为对照实验之间的交互作用等同于信息发布策略之间的交互作用)。本技术所提供的方法可以告知当前实验平台中有多少实验的核心指标两两之间是存在明显的交互作用的。因此可以及时发现有明显负向交互作用的实验，告知相关实验人员修改实验策略以减小互相的负向影响，具体地可以迭代修改其实验策略中的参数，或者从根据预定的规则自动修改其实验策略中的参数，在调节的过程中反复计算两实验交互作用的大小，直到两实验的交互作用不再显著负向为止；还可以与实验平台的放量准则相结合，避免放量很多同时上线后对大盘实际上有负向效果的实验；实验报告还可以提供多个实验同时上线对实验平台的总体影响的数据，平台总体受到的影响是线上所有实验策略的共同作用，但并非各个实验效果的简单相加，而交互作用的准确衡量可以扩展运用于平台总体效果的衡量上，对总体放量节奏的把控提供了指导方向。
[0119]
可以理解的是，本技术提供的方案提出了一种检验多个信息发布策略之间交互作用的方法，该方法基于多个对照实验的实验结果数据计算得到预设检验统计量的均值和方法，基于检验统计量的置信区间检验不同信息发布策略是否存在交互作用，衡量相互影响的程度，能够更准确地评估和优化信息发布策略；在计算检验统计量方差时，无需考虑是否满足方差分析的假设，而是通过重抽样方法进行计算，所需要存储的数据是重抽样后的数据样本，降低了计算难度和存储难度，提升了检验效率。
[0120]
本技术实施例还提供了一种检验信息发布策略交互作用的装置800，如图8所示，所述装置800可以包括：
[0121]
实验设计模块810，用于根据预设的多个信息发布策略，确定与每个所述信息发布策略对应的对照实验；所述对照实验的实验变量为是否向目标用户群中的用户实施所述信息发布策略；
[0122]
策略测试模块820，用于对所述目标用户群实施所述对照实验，得到所述目标用户群对应的实验结果数据；
[0123]
第一数据处理模块830，用于根据所述实验结果数据，确定预设检验统计量的均值；
[0124]
第二数据处理模块840，用于基于重抽样方法，根据所述实验结果数据计算得到所述预设检验统计量的方差；
[0125]
第三数据处理模块850，用于根据所述均值和所述方差，确定所述检验统计量的置信区间；
[0126]
检验结果确定模块860，用于根据所述检验统计量的置信区间，确定所述多个信息发布策略交互作用的检验结果。
[0127]
在本技术的一个实施例中，所述第一数据处理模块830可以包括：
[0128]
策略组合单元，用于根据所述多个信息发布策略确定多个策略组合；
[0129]
数据划分单元，用于根据所述各用户的策略数据，将所述实验结果数据划分为与每个所述策略组合对应的第一实验结果数据子集；
[0130]
第一计算单元，用于根据所述第一实验结果数据子集中所述目标指标对应的指标数据计算得到与每个所述策略组合对应的目标指标平均值；
[0131]
第二计算单元，用于根据所述与每个所述策略组合对应的目标指标平均值，确定所述预设检验统计量的均值。
[0132]
在本技术的一个实施例中，所述第二数据处理模块840可以包括：
[0133]
数据分桶单元，用于对所述实验结果数据进行数据分桶，得到多个实验结果桶数据；
[0134]
数据重抽样单元，用于对所述多个实验结果桶数据进行重抽样，得到多个第二实验结果数据子集，所述第二实验结果数据子集为从所述多个实验结果桶数据中去掉任一所述实验结果桶数据后的数据集合；
[0135]
第三计算单元，用于根据所述多个第二实验结果数据子集，确定与每个所述第二实验结果数据子集对应的所述预设检验统计量的样本值；
[0136]
第四计算单元，用于根据所述预设检验统计量的样本值进行方差估计，得到所述预设检验统计量的方差。
[0137]
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0138]
本技术实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种检验信息发布策略交互作用的方法。
[0139]
图9示出了一种用于实现本技术实施例所提供的一种检验信息发布策略交互作用的方法的设备的硬件结构示意图，所述设备可以参与构成或包含本技术实施例所提供的装置或系统。如图9所示，设备9可以包括一个或多个(图中采用902a、902b，
……
，902n来示出)处理器902(处理器902可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器904、以及用于通信功能的传输装置906。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备9还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
[0140]
应当注意到的是上述一个或多个处理器902和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备9(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
[0141]
存储器904可用于存储应用软件的软件程序以及模块，如本技术实施例中所述的方法对应的程序指令/数据存储装置，处理器902通过运行存储在存储器904内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种检验信息发布策略交互作用的方法。存储器904可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器904可进一步包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至设备9。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0142]
传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备9的通信供应商提供的无线网络。在一个实例中，传输装置906包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置906可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0143]
显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与设备9(或移动设备)的用户界面进行交互。
[0144]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种检验信息发布策略交互作用的方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种检验信息发布策略交互作用的方法。
[0145]
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0146]
本发明实施例还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计
算机设备执行上述各种可选实施方式中提供的一种检验信息发布策略交互作用的方法。
[0147]
由上述本技术提供的一种检验信息发布策略交互作用的方法、装置、介质及设备的实施例可见，
[0148]
本技术提供的方案提出了一种检验多个信息发布策略之间交互作用的技术方案，该技术方案基于多个对照实验的实验结果数据计算得到预设检验统计量的均值和方法，基于检验统计量的置信区间检验不同信息发布策略是否存在交互作用，衡量相互影响的程度，能够更准确地评估和优化信息发布策略；在计算检验统计量方差时，无需考虑是否满足方差分析的假设，而是通过重抽样方法进行计算，所需要存储的数据是重抽样后的数据样本，降低了计算难度和存储难度。
[0149]
需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0150]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0151]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0152]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。