话术对比的中间指标的验证方法、装置以及存储介质与流程

1.本技术涉及话术优化技术领域，特别是涉及一种话术对比的中间指标的验证方法、装置以及存储介质。


背景技术：

2.由于人工智能技术发展，现在已经出现许多通过机器人与人进行语音交流系统，特别是语音客服，智能电销，智能催收，智能音箱等语音交互场景应用非常广泛。当机器人能够与人语音交流后，需要对机器人的话术进行优化以提升话术效果。在进行话术优化的过程，由于数据量有限，正样本较少，导致对比时间过长，如何提高实验效率，降低对比时间，就成为一个难点。
3.在一些场景中实验对比指标的正样本较少，导致要得到显著结果需要的时间较长，为了降低实验时间并得到相同结论需要找到中间指标进行比较。需要对中间指标的可用性进行验证，即验证中间指标是否与最终指标结果一致，并且能降低实验时间，从而避免使用无效中间指标导致结果错误的问题出现。但是，目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率。
4.针对上述的现有技术中存在的目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率的技术问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本公开的实施例提供了一种话术对比的中间指标的验证方法、装置以及存储介质，以至少解决现有技术中存在的目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率的技术问题。
6.根据本公开实施例的一个方面，提供了一种话术对比的中间指标的验证方法，用于验证候选指标是否能够作为话术对比的中间指标，包括：在使用候选指标和最终指标进行所述多个话术的对比监控过程中，分别对各个对比组的候选指标和最终指标进行显著性检验，其中对比组包含多个话术中的任意两个话术，各个对比组构成对比组集合；在对比组集合中的任意一个对比组的候选指标和最终指标显著的情况下，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致；在判定对比组集合中的全部对比组的候选指标和最终指标的趋势一致的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
7.根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
8.根据本公开实施例的另一个方面，还提供了一种话术对比的中间指标的验证装置，用于验证候选指标是否能够作为话术对比的中间指标，包括：显著性检验模块，用于在
使用候选指标和最终指标进行所述多个话术的对比监控过程中，分别对各个对比组的候选指标和最终指标进行显著性检验，其中对比组包含多个话术中的任意两个话术，各个对比组构成对比组集合；趋势判定模块，用于在对比组集合中的任意一个对比组的候选指标和最终指标显著的情况下，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致；第一相关性分析模块，用于在判定对比组集合中的全部对比组的候选指标和最终指标的趋势一致的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及第一确定模块，用于在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
9.根据本公开实施例的另一个方面，还提供了一种话术对比的中间指标的验证装置，用于验证候选指标是否能够作为话术对比的中间指标，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：在使用候选指标和最终指标进行所述多个话术的对比监控过程中，分别对各个对比组的候选指标和最终指标进行显著性检验，其中对比组包含多个话术中的任意两个话术，各个对比组构成对比组集合；在对比组集合中的任意一个对比组的候选指标和最终指标显著的情况下，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致；在判定对比组集合中的全部对比组的候选指标和最终指标的趋势一致的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
10.在本公开实施例中，通过显著性检验、趋势分析以及相关性分析等操作验证候选指标是否能够作为话术对比的中间指标，即验证中间指标的可用性，验证中间指标是否可以和最终指标得到相同结论，并可以有效降低实验时间，提高实验效率。从而，提供了一种能够验证中间指标是否可用的验证方法，能够辅助运营人员进行话术优化，降低对比时间，提升实验效率。进而解决了现有技术中存在的目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率的技术问题。
附图说明
11.此处所说明的附图用来提供对本公开的进一步理解，构成本技术的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
12.图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
13.图2是根据本公开实施例1的第一个方面所述的话术对比的中间指标的验证方法的流程示意图；
14.图3是根据本公开实施例1所述的话术对比的中间指标的验证方法的整体流程示意图；
15.图4是根据本公开实施例1所述的计算实验时间比例的流程示意图；
16.图5是根据本公开实施例1所述的与智能语音机器人相关的话术的示意图；
17.图6是根据本公开实施例1所述的验证登录率是否能够作为中间指标的流程示意图；
18.图7是根据本公开实施例1所述的用转化率和登录率进行比例检验的结果示意图；
19.图8是根据本公开实施例1所述的与转化率与登录率相关的计算实验时间比例的
流程示意图；
20.图9是根据本公开实施例1所述的转化率与登录率的显著结果的示意图；
21.图10是根据本公开实施例1所述的对登录率以样本量进行加权求和的结果示意图；
22.图11是根据本公开实施例2所述的话术对比的中间指标的验证装置的示意图；以及
23.图12是根据本公开实施例3所述的话术对比的中间指标的验证装置的示意图。
具体实施方式
24.为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
25.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.实施例1
27.根据本实施例，提供了一种话术对比的中间指标的验证方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
28.本实施例所提供的方法实施例可以在服务器或者类似的计算设备中执行。图1示出了一种用于实现话术对比的中间指标的验证方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
29.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
30.存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的话术对比的中间指标的验证方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的话术对比的中间指标的验证方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
31.传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
32.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
33.此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
34.在上述运行环境下，根据本实施例的第一个方面，提供了一种话术对比的中间指标的验证方法，用于验证候选指标是否能够作为话术对比的中间指标。图2示出了该方法的流程示意图，参考图2所示，该方法包括：
35.s202：在使用候选指标和最终指标进行所述多个话术的对比监控过程中，分别对各个对比组的候选指标和最终指标进行显著性检验，其中对比组包含多个话术中的任意两个话术，各个对比组构成对比组集合；
36.s204：在对比组集合中的任意一个对比组的候选指标和最终指标显著的情况下，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致；
37.s206：在判定对比组集合中的全部对比组的候选指标和最终指标的趋势一致的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及
38.s208：在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
39.正如背景技术中所述的，在一些场景中实验对比指标的正样本较少，导致要得到显著结果需要的时间较长，为了降低实验时间并得到相同结论需要找到中间指标进行比较。需要对中间指标的可用性进行验证，即验证中间指标是否与最终指标结果一致，并且能降低实验时间，从而避免使用无效中间指标导致结果错误的问题出现。但是，目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率。
40.针对背景技术中存在的技术问题，参照图2以及图3所示，本实施例技术方案在初步选取出一个候选指标后，需要验证候选指标与最终指标是一致的并且可以有效降低实验时间，这样选择的候选指标才是可用的，才能够成为话术对比的中间指标。因此需要将候选
指标和最终指标一起对多个话术对比监控一段时间。在使用候选指标和最终指标进行所述多个话术的对比监控过程中，需要对各个对比组的候选指标与最终指标分别进行显著性检验，并比较指标大小。在对比组集合中的任意一个对比组的候选指标和最终指标显著的情况下，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致，趋势一致是指同一个对比组中，对象a的候选指标和最终指标均高于对象b。如果全部对比组趋势都一致，则对最终指标与候选指标的整体提升比例进行相关分析，如果整体提升比例呈线性强相关关系，则验证候选指标可作为中间指标。
41.本实施例通过显著性检验、趋势分析以及相关性分析等操作验证候选指标是否能够作为话术对比的中间指标，即验证中间指标的可用性，验证中间指标是否可以和最终指标得到相同结论，并可以有效降低实验时间，提高实验效率。从而，提供了一种能够验证中间指标是否可用的验证方法，能够辅助运营人员进行话术优化，降低对比时间，提升实验效率。进而解决了现有技术中存在的目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率的技术问题。
42.可选地，该方法还包括：验证使用中间指标进行多个话术的对比监控是否能够降低比对时间。具体地，在验证候选指标可作为中间指标后还需验证中间指标是否可有效降低实验时间。通过这种方式，有效避免了使用无效中间指标导致结果错误的问题出现。
43.可选地，验证使用中间指标进行多个话术的对比监控是否能够降低比对时间的操作，包括：分别对对比组集合中的各个对比组的候选指标和最终指标进行显著性检验，确定对比组集合中的全部对比组的中间指标达到显著的天数以及对比组集合中的全部对比组的最终指标达到显著的天数；以及根据中间指标达到显著的天数以及最终指标达到显著的天数，确定使用中间指标进行多个话术的对比监控是否能够降低比对时间。
44.具体地，参照图4所示，分别对各个对比组的每日累计数据的最终指标与中间指标进行显著性检验，得到全部对比组的中间指标和最终指标达到显著的天数，然后根据全部对比组的中间指标和最终指标达到显著的天数，确定使用中间指标进行多个话术的对比监控是否能够降低比对时间。
45.在一个优选实施例中，根据中间指标达到显著的天数以及最终指标达到显著的天数，确定使用中间指标进行多个话术的对比监控是否能够降低比对时间的操作，包括：根据中间指标达到显著的天数以及最终指标达到显著的天数，确定对比组集合中的全部对比组的中间指标达到显著的平均提前天数；根据最终指标达到显著的天数，确定对比组集合中的全部对比组的最终指标达到显著的平均显著天数；以及对平均提前天数和平均显著天数进行比较，并根据比较的结果确定使用中间指标进行多个话术的对比监控是否能够降低比对时间。
46.具体地，参照图4所示，根据全部对比组的中间指标和最终指标达到显著的天数，计算全部对比组的中间指标达到显著的提前天数，如果中间指标比最终指标晚达到显著，则提前天数为0。然后，对达到显著的对比组的提前天数按照对比组的样本量进行加权求和，得到平均提前天数，指标未达到显著的对比组不计入。进一步地，对最终指标达到显著的天数按照对比组的样本量进行加权求和，得到平均显著天数。使用平均提前天数除以平均显著天数即为节省的实验时间比例。例如，在实验时间比例大于1的情况下，证明确定使用中间指标进行多个话术的对比监控能够降低比对时间。
47.从而，通过进行显著性检验的方式，能够准确地确定使用中间指标进行多个话术的对比监控是否能够降低比对时间，并且给出了具体的节省实验时间的比例，辅助后续实验的时间预估及中间指标重要性评估。
48.可选地，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致的操作之前，还包括：根据显著性检验的结果，判定对比组集合中的全部对比组的候选指标和最终指标是否都不显著。具体地，参照图3所示，分别对各个对比组的候选指标和最终指标进行显著性检验之后，需要根据显著性检验的结果，判定对比组集合中的全部对比组的候选指标和最终指标是否都不显著。
49.可选地，该方法还包括：在判定对比组集合中的全部对比组的候选指标和最终指标都不显著的情况下，继续分别使用候选指标和最终指标进行多个话术的对比监控。具体地，参照图3所示，如果全部对比组的候选指标与最终指标都不显著，则继续进行对比监控一段时间。
50.可选地，该方法还包括：在判定对比组集合中的全部对比组的候选指标和最终指标的趋势不一致的情况下，判定趋势不一致的对比组的候选指标和最终指标是否都显著；在判定趋势不一致的对比组的候选指标和最终指标不都显著的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
51.具体地，参照图3所示，如果全部对比组的候选指标和最终指标的趋势不一致的情况下，需要判定趋势不一致的对比组的候选指标和最终指标是否都显著。在判定趋势不一致的对比组的候选指标和最终指标不都显著的情况下，对候选指标和最终指标的整体提升比例进行相关性分析，并且在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
52.此外，本发明所提出的话术对比的中间指标的验证方法的整体流程如下：
53.1、在选取候选指标之后，需要验证候选指标与最终指标是一致的并且可以有效降低实验时间，这样选择的候选指标才是可用的，才可以作为中间指标，此时需要将候选指标和最终指标一起对比监控一段时间。
54.2、对不同对比组的最终指标与候选指标分别进行显著性检验，并比较指标大小。
55.3、如果全部对比组的候选指标与最终指标都不显著，则继续进行对比监控一段时间，否则进入下一步。
56.4、看全部对比组的候选指标与最终指标的趋势是否一致，趋势一致是指同一个对比组中，a的候选指标和最终指标均高于b。如果全部对比组趋势都一致则进入下一步，否则看趋势不一致的对比组的候选指标与最终指标是否都显著，如果都显著则候选指标无法作为中间指标，否则进入下一步。
57.5、对最终指标与候选指标的整体提升比例进行相关分析，如果整体提升比例呈线性强相关则候选指标可作为中间指标，否则不能作为中间指标。
58.6、在确认候选指标可作为中间指标后还需验证中间指标是否可有效降低实验时间，分别对不同对比组的每日累计数据的最终指标与中间指标进行显著性检验，得到全部对比组中间指标和最终指标达到显著的天数。
59.7、计算全部对比组中间指标达到显著的提前天数，如果中间指标比最终指标晚达到显著，则提前天数为0。
60.8、对达到显著的对比组的提前天数按照对比组的样本量进行加权求和，得到平均提前天数，指标未达到显著的对比组不计入。
61.9、对最终指标达到显著的天数按照对比组的样本量进行加权求和，得到平均显著天数。
62.10、平均提前天数除以平均显著天数即为节省的实验时间比例。
63.示例性的，例如以图5的智能语音机器人进行实验，对每一个实验组分别用转化率和登录率进行对比监控。其中，转化率为最终指标，登录率为候选指标。参照图6所示，对每一个实验组分别用转化率和登录率进行比例检验，比例检验的结果图7所示。如果全部对比组的转化率和登录率都不显著，则继续进行对比监控，否则继续判断转化率和登录率趋势是否一致，例如“停顿2s”转化率高于“姓核身”，同时登录率也高于“姓核身”，则转化率与登录率趋势一致。对于趋势不一致的对比组再看它们是否都显著，如果都显著则登录率无法作为中间指标，如果不显著则认为趋势不一致是由随机导致的。如果没有实验组无法作为中间指标，则继续进行下一步。转化率和登录率趋势一致后还要判断它们差异的比例是否一致，以整体提升比例进行相关分析，得到转化率和登录率整体提升比例的相关系数，如果相关系数大于0.8，认为它们呈线性强相关关系，则登录率可以作为中间指标，否则登录率无法作为中间指标。
64.进一步地，确认登录率可作为中间指标后还需验证其效果是否可有效降低实验时间。分别对不同对比组的每日累计数据的转化率与登录率进行比例检验，得到全部对比组每日的显著性，如图8所示。计算登录率达到显著比转化率提前的天数，如图9所示，如果登录率比转化率晚显著则提前天数为0。参照图10所示，由于样本量不同，再以样本量进行加权求和得到平均提前天数。同理，对转化率达到显著天数也以样本量进行加权求和得到平均显著天数。平均提前天数除以平均显著天数即为登录率可以降低实验时间的百分比。
65.在本实施例中，可以验证中间指标是否可以和最终指标得到相同结论，并可以有效降低实验时间，提高实验效率。并且，给出了中间指标是否可用的验证方法，避免了使用无效中间指标导致结果错误的问题。同时，给出了具体的节省实验时间的比例，辅助后续实验的时间预估及中间指标重要性评估。
66.综上所述，本发明所提出的话术对比的中间指标的验证方法可以产生以下效果：1)通过显著性检验、相关分析等方法验证中间指标的可用性。2)给出节省实验时间的比例，可用于中间指标重要性评估，未来实验时间预估参考。
67.需要特别说明的是，本方案提供的是整体方法，具体步骤中使用了不同方法，但是解决的是相同问题也是本方案的一种形式。比如在对中间指标与最终指标进行显著性检验时没有采用比例检验，而是采用其他方法也视为侵犯本专利。并且，本方案适用于所有智能语音需要话术对比的场景，包括但不限于智能外呼，呼入，语音催收，回访，电销等，也适用于文本多轮对话话术对比场景。
68.此外，参考图1所示，根据本实施例的第二个方面，提供了一种存储介质。存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
69.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列
的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
70.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
71.实施例2
72.图11示出了根据本实施例所述的话术对比的中间指标的验证装置1100，用于验证候选指标是否能够作为话术对比的中间指标，该验证装置1100与根据实施例1的第一个方面所述的方法相对应。参考图11所示，该验证装置1100包括：显著性检验模块1110，用于在使用候选指标和最终指标进行所述多个话术的对比监控过程中，分别对各个对比组的候选指标和最终指标进行显著性检验，其中对比组包含多个话术中的任意两个话术，各个对比组构成对比组集合；趋势判定模块1120，用于在对比组集合中的任意一个对比组的候选指标和最终指标显著的情况下，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致；第一相关性分析模块1130，用于在判定对比组集合中的全部对比组的候选指标和最终指标的趋势一致的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及第一确定模块1140，用于在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
73.可选地，验证装置1100还包括：验证模块，用于验证使用中间指标进行多个话术的对比监控是否能够降低比对时间。
74.可选地，验证模块包括：显著性检验子模块，用于分别对对比组集合中的各个对比组的候选指标和最终指标进行显著性检验，确定对比组集合中的全部对比组的中间指标达到显著的天数以及对比组集合中的全部对比组的最终指标达到显著的天数；以及确定子模块，用于根据中间指标达到显著的天数以及最终指标达到显著的天数，确定使用中间指标进行多个话术的对比监控是否能够降低比对时间。
75.可选地，确定子模块包括：第一确定单元，用于根据中间指标达到显著的天数以及最终指标达到显著的天数，确定对比组集合中的全部对比组的中间指标达到显著的平均提前天数；第二确定单元，用于根据最终指标达到显著的天数，确定对比组集合中的全部对比组的最终指标达到显著的平均显著天数；以及第三确定单元，用于对平均提前天数和平均显著天数进行比较，并根据比较的结果确定使用中间指标进行多个话术的对比监控是否能够降低比对时间。
76.可选地，验证装置1100还包括：第一显著判定模块，用于判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致的操作之前，根据显著性检验的结果，判定对比组集合中的全部对比组的候选指标和最终指标是否都不显著。
77.可选地，验证装置1100还包括：监控模块，用于在判定对比组集合中的全部对比组
的候选指标和最终指标都不显著的情况下，继续分别使用候选指标和最终指标进行多个话术的对比监控。
78.可选地，验证装置1100还包括：第二显著判定模块，用于在判定对比组集合中的全部对比组的候选指标和最终指标的趋势不一致的情况下，判定趋势不一致的对比组的候选指标和最终指标是否都显著；第二相关性分析模块，用于在判定趋势不一致的对比组的候选指标和最终指标不都显著的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及第二确定模块，用于在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
79.从而根据本实施例，通过显著性检验、趋势分析以及相关性分析等操作验证候选指标是否能够作为话术对比的中间指标，即验证中间指标的可用性，验证中间指标是否可以和最终指标得到相同结论，并可以有效降低实验时间，提高实验效率。从而，提供了一种能够验证中间指标是否可用的验证方法，能够辅助运营人员进行话术优化，降低对比时间，提升实验效率。进而解决了现有技术中存在的目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率的技术问题。
80.实施例3
81.图12示出了根据本实施例所述的话术对比的中间指标的验证装置1200，用于验证候选指标是否能够作为话术对比的中间指标，该装置1200与根据实施例1的第一个方面所述的方法相对应。参考图12所示，该装置1200包括：处理器1210；以及存储器1220，与处理器1210连接，用于为处理器1210提供处理以下处理步骤的指令：在使用候选指标和最终指标进行所述多个话术的对比监控过程中，分别对各个对比组的候选指标和最终指标进行显著性检验，其中对比组包含多个话术中的任意两个话术，各个对比组构成对比组集合；在对比组集合中的任意一个对比组的候选指标和最终指标显著的情况下，判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致；在判定对比组集合中的全部对比组的候选指标和最终指标的趋势一致的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
82.可选地，存储器1220还用于为处理器1210提供处理以下处理步骤的指令：验证使用中间指标进行多个话术的对比监控是否能够降低比对时间。
83.可选地，验证使用中间指标进行多个话术的对比监控是否能够降低比对时间的操作，包括：分别对对比组集合中的各个对比组的候选指标和最终指标进行显著性检验，确定对比组集合中的全部对比组的中间指标达到显著的天数以及对比组集合中的全部对比组的最终指标达到显著的天数；以及根据中间指标达到显著的天数以及最终指标达到显著的天数，确定使用中间指标进行多个话术的对比监控是否能够降低比对时间。
84.可选地，根据中间指标达到显著的天数以及最终指标达到显著的天数，确定使用中间指标进行多个话术的对比监控是否能够降低比对时间的操作，包括：根据中间指标达到显著的天数以及最终指标达到显著的天数，确定对比组集合中的全部对比组的中间指标达到显著的平均提前天数；根据最终指标达到显著的天数，确定对比组集合中的全部对比组的最终指标达到显著的平均显著天数；以及对平均提前天数和平均显著天数进行比较，并根据比较的结果确定使用中间指标进行多个话术的对比监控是否能够降低比对时间。
85.可选地，存储器1220还用于为处理器1210提供处理以下处理步骤的指令：判定对比组集合中的全部对比组的候选指标和最终指标的趋势是否一致的操作之前，根据显著性检验的结果，判定对比组集合中的全部对比组的候选指标和最终指标是否都不显著。
86.可选地，存储器1220还用于为处理器1210提供处理以下处理步骤的指令：在判定对比组集合中的全部对比组的候选指标和最终指标都不显著的情况下，继续分别使用候选指标和最终指标进行多个话术的对比监控。
87.可选地，存储器1220还用于为处理器1210提供处理以下处理步骤的指令：在判定对比组集合中的全部对比组的候选指标和最终指标的趋势不一致的情况下，判定趋势不一致的对比组的候选指标和最终指标是否都显著；在判定趋势不一致的对比组的候选指标和最终指标不都显著的情况下，对候选指标和最终指标的整体提升比例进行相关性分析；以及在相关性分析的结果为候选指标和最终指标的整体提升比例呈线性强相关关系的情况下，验证候选指标能够作为多个话术对比的中间指标。
88.从而根据本实施例，通过显著性检验、趋势分析以及相关性分析等操作验证候选指标是否能够作为话术对比的中间指标，即验证中间指标的可用性，验证中间指标是否可以和最终指标得到相同结论，并可以有效降低实验时间，提高实验效率。从而，提供了一种能够验证中间指标是否可用的验证方法，能够辅助运营人员进行话术优化，降低对比时间，提升实验效率。进而解决了现有技术中存在的目前缺少一种能够验证中间指标是否可用的验证方法，以便辅助运营人员进行话术优化，降低对比时间，提升实验效率的技术问题。
89.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
90.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
91.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
92.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
93.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
94.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或
部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
95.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。