确定话术序列的方法、装置以及存储介质与流程

1.本技术涉及智能语音通话技术领域，特别是涉及一种确定话术序列的方法、装置以及存储介质。


背景技术：

2.随着人工智能技术发展，现在已经出现许多通过机器人与人进行语音交流系统，特别是在语音客服、智能电销、智能催收以及智能音箱等语音交互场景应用非常广泛。当机器人能够与人语音交流后，如何提升交流的效果，就成为一个难点(例如在智能提醒中，如何提升机器人提醒的效率更高)。除了人工优化机器人话术以外，技术人员也能够根据用户画像进行用户精准营销，达到千人千面的营销效果。现有的机器人交互的话术序列预测方案是使用模型预测话术序列的挂断率以及挂断转化率，然后通过挂断率和挂断转化率预测结果计算话术序列的期望转化率，但是在这种方案中最终的期望转化率没有直接的模型指导，无法做离线指标评估，而且只能在线评估方式除了实验周期慢以外，预测结果的不确定性对业务影响更大。
3.针对上述的现有技术中存在的现有的话术序列预测方法，无法做离线指标评估，并且实验周期慢以及预测结果的不确定性对业务影响大的技术问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本公开的实施例提供了一种确定话术序列的方法、装置以及存储介质，以至少解决现有技术中存在的现有的话术序列预测方法，无法做离线指标评估，并且实验周期慢以及预测结果的不确定性对业务影响大的技术问题。
5.根据本公开实施例的一个方面，提供了一种确定话术序列的方法，包括：确定目标用户的用户特征信息以及与目标用户进行交互的交互过程信息，其中交互过程信息包括：与目标用户进行交互的当前话术序列、当前话术序列的子序列、与目标用户进行交互的后续话术序列集合以及与后续话术序列集合对应的后续话术父节点索引信息；以及利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列，其中当前话术序列为与目标用户进行交互的当前话术节点以及先前话术节点所对应的话术单元所构成的序列；后续话术序列为由当前话术节点之后的后续话术节点所对应的话术单元构成的序列；以及后续话术父节点索引信息用于为后续话术序列寻找其父节点话术序列。
6.根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
7.根据本公开实施例的另一个方面，还提供了一种确定话术序列的装置，包括：第一确定模块，用于确定目标用户的用户特征信息以及与目标用户进行交互的交互过程信息，其中交互过程信息包括：与目标用户进行交互的当前话术序列、当前话术序列的子序列、与
目标用户进行交互的后续话术序列集合以及与后续话术序列集合对应的后续话术父节点索引信息；以及第二确定模块，用于利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列，其中当前话术序列为与目标用户进行交互的当前话术节点以及先前话术节点所对应的话术单元所构成的序列；后续话术序列为由当前话术节点之后的后续话术节点所对应的话术单元构成的序列；以及后续话术父节点索引信息用于为后续话术序列寻找其父节点话术序列。
8.根据本公开实施例的另一个方面，还提供了一种确定话术序列的装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：确定目标用户的用户特征信息以及与目标用户进行交互的交互过程信息，其中交互过程信息包括：与目标用户进行交互的当前话术序列、当前话术序列的子序列、与目标用户进行交互的后续话术序列集合以及与后续话术序列集合对应的后续话术父节点索引信息；以及利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列，其中当前话术序列为与目标用户进行交互的当前话术节点以及先前话术节点所对应的话术单元所构成的序列；后续话术序列为由当前话术节点之后的后续话术节点所对应的话术单元构成的序列；以及后续话术父节点索引信息用于为后续话术序列寻找其父节点话术序列。
9.在本公开实施例中，计算设备通过获取与目标用户相关的特征信息以及交互过程信息中的话术信息，作为预先训练好的最优话术预测模型的输入数据，得出与目标用户进行交互的最优话术序列。计算设备把所有计算融入到一个深度神经网络模型中，在预测时可以直接预测出期能够使目标用户最大概率进行转化的最优话术序列，不用做额外的逻辑运算。在最优话术模型训练中转化率目标直接影响整个网络，让期望转化率也能够受到目标监督。并且在最优话术预测模型中利用了子序列样本期望转化率来增加模型的知识量。通过上述方式达到了可以对与目标用户进行交互的最优话术序列的离线指标评估，并且只使用一个预测模型实验周期短以及预测结果更准确的技术效果。进而解决了现有技术中存在的现有的话术序列预测方法，无法做离线指标评估，并且实验周期慢以及预测结果的不确定性对业务影响大的技术问题。
附图说明
10.此处所说明的附图用来提供对本公开的进一步理解，构成本技术的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
11.图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
12.图2是根据本公开实施例1的第一个方面所述的确定话术序列的方法的流程示意图；
13.图3是根据本公开实施例1的第一个方面所述的交互过程中话术的示意图；
14.图4是根据本公开实施例1所述的深度神经网络模型建模的过程示意图；
15.图5是根据本公开实施例1所述的确定话术序列的方法的整体流程图；
16.图6、图7是根据本公开实施例1所述的通过具体数据进行建模的过程示意图；
17.图8是根据本公开实施例2所述的确定话术序列的装置的示意图；以及
18.图9是根据本公开实施例3所述的确定话术序列的装置的示意图。
具体实施方式
19.为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
20.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
21.实施例1
22.根据本实施例，提供了一种确定话术序列的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
23.本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现确定话术序列的方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
24.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
25.存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的确定话术序列的方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的确定话术序列的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
26.传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
27.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
28.此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
29.在上述运行环境下，根据本实施例的第一个方面，提供了一种确定话术序列的方法。图2示出了该方法的流程示意图，参考图2所示，该方法包括：
30.s202：确定目标用户的用户特征信息以及与目标用户进行交互的交互过程信息，其中交互过程信息包括：与目标用户进行交互的当前话术序列、当前话术序列的子序列、与目标用户进行交互的后续话术序列集合以及与后续话术序列集合对应的后续话术父节点索引信息；以及
31.s204：利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列，其中当前话术序列为与目标用户进行交互的当前话术节点以及先前话术节点所对应的话术单元所构成的序列；后续话术序列为由当前话术节点之后的后续话术节点所对应的话术单元构成的序列；以及后续话术父节点索引信息用于为后续话术序列寻找其父节点话术序列。
32.正如背景技术中所述的，当机器人能够与人语音交流后，如何提升交流的效果，就成为一个难点(例如在智能提醒中，如何提升机器人提醒的效率更高)。除了人工优化机器人话术以外，技术人员也能够根据用户画像进行用户精准营销，达到千人千面的营销效果。现有的机器人交互的话术序列预测方案是使用模型预测话术序列的挂断率以及挂断转化率，然后通过挂断率和挂断转化率预测结果计算话术序列的期望转化率，但是在这种方案中最终的期望转化率没有直接的模型指导，无法做离线指标评估，而且只能在线评估方式除了实验周期慢以外，预测结果的不确定性对业务影响更大。
33.有鉴于此，在智能语音机器人需要通过一系列的话术和目标用户进行交互的情况下，可以预先选择能够使得该目标用户进行转化的最优话术序列，使得用户可以最大概率的进行转化。在本方案中，首先计算设备可以确定目标用户的用户特征信息以及与目标用户进行交互的交互过程信息。其中交互过程信息包括：与目标用户进行交互的当前话术序列、当前话术序列的子序列、与目标用户进行交互的后续话术序列集合以及与后续话术序列集合对应的后续话术父节点索引信息(对应于步骤s202)。用户特征信息可以是通过用户画像得到的特征信息，用户画像包括用户属性、用户行为以及用古历史拨打信息等。参考图3所示，交互过程信息例如可以包括三个话术节点：话术节点1、话术节点2、以及话术节点3。其中每个话术节点包括一个话术单元，例如节点话术1的话术单元包含三个话术：s11、s12以及s13。与目标用户进行交互的当前话术序列例如可以是s11-》s22，那么当前话术序列的
子序列为s11，与目标用户进行交互的后续话术序列集合为s11-》s22-》s31和s11-》s22-》s32，计算设备首先会对上述序列进行编号，其中当前话术s11-》s22的编号为0，其后续话术序列的编号为1-n进行编号。与后续话术序列集合对应的后续话术父节点索引信息：s11-》s22-》s31和s11-》s22-》s32的父节点索引均为s11-》s22，即其父节点索引均为0。计算设备可以通过父节点索引获取该后续话术序列的父节点的之前未挂断率和挂断概率。
34.进一步地，计算设备利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列。计算设备可以将用户特征信息和交互过程信息作为最优话术序列预测模型的输入，得到输出结果。然后计算设备可以根据输出，选择出用于与目标用户进行交互的最优话术序列，其中最优话术序列为可以使得用户最大化进行转化的话术序列。
35.并且其中当前话术序列为与目标用户进行交互的当前话术节点以及先前话术节点所对应的话术单元所构成的序列；后续话术序列为由当前话术节点之后的后续话术节点所对应的话术单元构成的序列；以及后续话术父节点索引信息用于为后续话术序列寻找其父节点话术序列(对应于步骤s204)。
36.从而通过上述方式，计算设备通过获取与目标用户相关的特征信息以及话术信息，作为预先训练好的最优话术预测模型的输入数据，得出与目标用户进行交互的最优话术序列。计算设备把所有计算融入到一个深度神经网络模型中，在预测时可以直接预测出期能够使目标用户最大概率进行转化的最优话术序列，不用做额外的逻辑运算。通过上述方式达到了可以对与目标用户进行交互的最优话术序列的离线指标评估，并且只使用一个预测模型实验周期短以及预测结果更准确的技术效果。进而解决了现有技术中存在的现有的话术序列预测方法，无法做离线指标评估，并且实验周期慢以及预测结果的不确定性对业务影响大的技术问题。
37.可选地，各个话术节点构成多个话术序列，并且利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列的操作，包括：利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，获取多个话术序列的期望转化率；以及根据多个话术序列的期望转化率，确定多个话术序列中用于与目标用户进行交互的最优话术序列。
38.具体地，参考图3所示，交互过程信息可以包括多个话术节点，并且多个话术节点可以组成多个话术序列，例如s11-》s21-》s31、s11-》s22-》s31以及s11-》s22-》s32等序列。因此计算设备可以利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，获取多个话术序列的期望转化率(参考图4所示)。即期望转化率越高，表示通过与之对应的话术序列和目标用户进行交互使得用户的转化率越高。然后计算设备可以根据多个话术序列的期望转化率，确定多个话术序列中用于与目标用户进行交互的最优话术序列。达到了通过预测交互过程中的多个话术序列的期望转化率，确定与目标用户进行交互的最优话术序列的技术效果。
39.可选地，还包括根据以下操作训练最优话术序列预测模型：获取与已拨打记录中的已拨打用户对应的交互信息以及用户画像；以及根据预先设置的深度神经网络算法，对交互信息以及用户画像进行学习，确定最优话术序列预测模型。
40.具体地，计算设备首先可以获取已经拨打过的用户的用户信息，其中包括用户的
用户画像以及机器人和目标进行交互信息。用户画像特征指能与用户关联的所有特征，包括但不限于用户属性，用户行为，用户历史拨打信息等。并且交互信息包括与该用户进行交互使用的每个话术节点的话术等信息。然后计算设备根据预先设置的深度神经网络算法，对交互信息以及用户画像进行学习，确定最优话术序列预测模型。使用用户画像以及交互信息进行最优话术序列的预测，达到了对用户进行精准营销的技术效果。
41.可选地，根据预先设置的深度神经网络算法，对交互信息以及用户画像进行学习，确定最优话术序列预测模型的操作，包括：对交互信息进行特征处理，确定交互信息中对应的话术特征信息；对用户画像进行特征处理，确定与已拨打用户相关的用户特征；根据交互信息，确定交互信息对应的转化率信息、交互信息中的当前话术序列的当前话术挂断率以及话术子序列的子话术挂断率；以及根据预先设置的深度神经网络算法，将用户特征以及话术特征信息作为深度神经网络算法的输入向量，以及将转化率信息、当前话术挂断率以及子话术挂断率作为输出向量，确定最优话术序列预测模型。
42.具体地，计算设备首先对交互信息进行特征处理，确定交互信息中对应的话术特征信息，其中话术特征信息为深度神经网络可以识别的输入数据。然后计算设备对用户画像进行特征处理，确定与已拨打用户相关的用户特征。其次，计算设备根据交互信息(如表1所示为用户的原始数据)，确定交互信息对应的转化率信息(表1所示该用户的转化率为1)、交互信息中的当前话术序列(表1所述的当前话术为s11-》s21)的当前话术挂断率(为1)以及话术子序列的子话术挂断率(为1)。最后计算设备根据预先设置的深度神经网络算法，将用户特征以及话术特征信息作为深度神经网络算法的输入向量，以及将转化率信息、当前话术挂断率以及子话术挂断率作为输出向量，确定最优话术序列预测模型。具体地，参考表2所示，为增加输入输出的用户数据信息。从而通过上述方式把所有计算融入到一个深度神经网络模型中，在预测时可以直接预测出期望转化率，不用做额外的逻辑运算。转化率目标直接影响整个网络，让期望转化率也能够受到目标监督，利用了子序列样本期望转化率来增加模型的知识量。达到了准确预测话术序列的期望转化率的技术效果。
43.表1
44.样本用户特征xxx序列流程是否转化标识用户1
……
s11-》s211
45.表2
[0046][0047]
可选地，话术特征信息包括当前话术序列、话术子序列向量、后续话术序列向量以及后续话术父节点索引，并且将用户特征以及话术特征信息作为深度神经网络算法的输入向量的操作，还包括：通过预先设置的嵌入层和全连接层将用户特征进行编码，确定用户特征编码；通过预先设置的嵌入层和循环神经网络将话术特征信息中的当前话术特征、话术子序列向量、后续话术序列向量进行编码，确定当前话术特征编码、话术子序列编码以及后
续话术序列编码；以及将用户特征编码、当前话术特征编码、话术子序列编码以及后续话术序列编码作为深度神经网络算法的输入向量。
[0048]
具体地，参考表2所示，话术特征信息作为神经网络模型的输入向量。首先计算设备通过预先设置的嵌入层和全连接层将用户特征进行编码，确定用户特征编码；通过预先设置的嵌入层和循环神经网络将话术特征信息中的当前话术特征、话术子序列向量、后续话术序列向量进行编码，确定当前话术特征编码、话术子序列编码以及后续话术序列编码。然后计算设备将用户特征编码、当前话术特征编码、话术子序列编码以及后续话术序列编码作为深度神经网络算法的输入向量。从而通过不同的方式对输入特征数据进行编码，从而获得深度神经网络模型的输入。
[0049]
此外上述所述的编码可以是一个n长的数组，数组里面由n个浮点数组成，例如足球0.209092
ꢀ-
0.165459
ꢀ-
0.058054 0.281176 0.102982 0.099868 0.047287 0.113531 0.202805 0.240482 0.026028 0.073504 0.010873 0.010201
ꢀ-
0，其次编码也可以是二维数组。
[0050]
可选地，深度神经网络算法包括中间层，其中中间层包括挂断转化率向量，并且其中挂断转化率向量通过输出为1的全连接网络实现。
[0051]
具体地，挂断转化率向量可以用来预测该话术序列的转化率，为后期对话术序列进行期望转化率预测提供基础。挂断率向量和子序列挂断率向量目标根据实际情况设置，比如表2中的用户1实际在s11-》s21处挂断，所以s11序列挂断目标为0，s11-》s21序列挂断目标为1，其它挂断目标为none表示未知不计算损失。挂断转化率向量目标根据实际情况设置，比如用户1在s11-》s21挂断并转化，那么在s11-》s21序列对应位置的转化率设置为是否转化标识，此用户值为1，其它由于不知道挂断转化率，则设置为none表示不计算损失。期望转化率根据是否转化标识设置，此用户为1。
[0052]
此外，参考图4所示，通过后续话术父节点索引可以得出该话术序列之前未挂断率向量以及所有话术序列挂断转化率贡献向量，从而进一步得出最终的所有话术序列的期望转化率序列。
[0053]
其中公式为：之前未挂断率＝父序列索引位置的之前未挂断概率*(1-挂断率)；挂断转化率贡献＝之前未挂断率*挂断率*挂断转化率；期望转化率＝根据父序列索引链路确定最优后续路径挂断转化率贡献和，目标为：实际用户转化与否。
[0054]
此外，参考图1所示，根据本实施例的第二个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。
[0055]
从而根据本实施例，计算设备通过获取与目标用户相关的特征信息以及交互过程信息中的话术信息，作为预先训练好的最优话术预测模型的输入数据，得出与目标用户进行交互的最优话术序列。计算设备把所有计算融入到一个深度神经网络模型中，在预测时可以直接预测出期能够使目标用户最大概率进行转化的最优话术序列，不用做额外的逻辑运算。在最优话术模型训练中转化率目标直接影响整个网络，让期望转化率也能够受到目标监督。并且在最优话术预测模型中利用了子序列样本期望转化率来增加模型的知识量。通过上述方式达到了可以对与目标用户进行交互的最优话术序列的离线指标评估，并且只使用一个预测模型实验周期短以及预测结果更准确的技术效果。进而解决了现有技术中存在的现有的话术序列预测方法，无法做离线指标评估，并且实验周期慢以及预测结果的不
确定性对业务影响大的技术问题。
[0056]
此外，图4示出了基于深度神经网络进行最优话术序列预测模型构建的示意图，参考图4所示，具体步骤如下：
[0057]
1)训练流程：
[0058]
a)获取每一个话术的拨打记录，实际话术和对应的用户画像信息；
[0059]
b)根据用户话术序列构建子序列，后续话术序列，后续话术序列父序列索引和相关目标，并且构建子序列样本；
[0060]
c)对获取的数据进行特征处理，形成模型可用训练数据；
[0061]
d)使用深度神经网络建模，训练并发布预测服务。
[0062]
2)预测流程：
[0063]
a)获取待拨打用户及其用户画像特征；
[0064]
b)依次构建待预测话术子序列样本及其子序列，后续话术序列、父序列索引；
[0065]
c)对获取的数据进行特征处理，形成模型可用训练数据；
[0066]
d)使用训练好的模型预测期望转化率；
[0067]
e)选取转化率最高的话术组合进行推荐。
[0068]
3)深度神经网络建模
[0069]
a)最左边话术子序列向量、用户特征、当前话术序列、后续话术序列向量以及后续话术父节点索引为模型输入；
[0070]
b)编码、之前为挂断率以及所有话术序列挂断转化率贡献向量为模型中间结构；
[0071]
c)当前挂断率向量、子序列挂断率向量以及当前话术序列期望转化率为模型输出，并且计算损失，子序列挂断率全为0，当前挂断率只有当前是挂断序列为1，否则为0，期望转化率为用户实际转化；
[0072]
d)后续话术序列的挂断率向量以及挂断率转化率向量为动态损失，挂断转化率当前序列是挂断序列则目标为实际转化，否则不计算损失，挂断率当后续序列为终止序列，或为实际挂断序列则目标为1，否则不计算损失；
[0073]
e)所有话术序列到话术序列编码共用相同编码逻辑，所有话术序列与用户特征到挂断率，挂断转化率计算共用相同的解码逻辑；
[0074]
f)之前未挂断率＝父序列索引位置的之前未挂断概率*(1-挂断率)；
[0075]
g)挂断转化率贡献＝之前未挂断率*挂断率*挂断转化率；
[0076]
h)期望转化率＝根据父序列索引链路确定最优后续路径挂断转化率贡献和，目标为：实际用户转化与否。
[0077]
此外，需要补充说明的是，参考图5所示的模型训练以及模型预测的示意图，模型训练包括以下步骤：
[0078]
1)获取用户拨打记录，用户画像特征；
[0079]
2)构件话术子序列、后续话术序列、父序列索引和相关目标以及子序列样本；
[0080]
3)用户画像特征处理，用户话术特征处理；
[0081]
4)模型训练发布。
[0082]
预测流程包括以下步骤：
[0083]
1)获取待拨打用户记录以及用户画像特征；
[0084]
2)依次构建待预测话术子序列样本及其子序列、后续话术序列以及父序列索引；
[0085]
3)用户画像特征处理，用户对话特征处理；
[0086]
4)通过上述模型进行预测；
[0087]
5)选取转化率最高的话术组合进行推荐。
[0088]
参考图6和图7所示，示出了用户1序列子序列样本网络和用户1当前序列样本网络的示意图，参考图6和图7所示，具体步骤如下：
[0089]
一、训练流程：
[0090]
1)获取用户1的预测话术的拨打记录，话术序列和对应的用户画像信息，如表1。
[0091]
2)根据用户话术序列构建，子序列，后续话术序列，后续话术序列父序列索引和相关目标，并且构建子序列样本，如表2，详细构建方法如下：
[0092]
a)子序列是依次去掉最后一个节点的所有序列，比如s11-》s21-》s31的子序列有s11-》s21和s11；
[0093]
b)后续话术序列使用宽度优先搜索得到向量，方便父索引计算，比如s11的后续序列先生成s11-》s21，s11-》s22，然后生成s11-》s21后续序列s11-》s21-》s31，s11-》s21-》s32和s11-》s22的后续序列s11-》s22-》s31，s11-》s22-》s32；
[0094]
c)后续话术序列父序列索引中，当前话术序列直接后续序列的索引为0，其它为后续话术父序列向量位置 1，这个索引是因为后续之前挂断率向量，期望转化率向量都在最开始加了当前话术序列值，比如图4用户1s11子序列样本，s11-》s21，s11-》s22为s11的直接后续序列，所以这两个位置索引为0，s11-》s21-》s31，s11-》s21-》s32父序列为s11-》s21，其在后续序列中位置为0，所以其索引值为1；
[0095]
d)挂断率向量和子序列挂断率向量目标根据实际情况设置，比如用户1实际在s11-》s21处挂断，所以s11序列挂断目标为0，s11-》s21序列挂断目标为1，其它挂断目标为none表示未知不计算损失；
[0096]
e)挂断转化率向量目标根据实际情况设置，比如用户1在s11-》s21挂断并转化，那么在s11-》s21序列对应位置的转化率设置为是否转化标识，此用户值为1，其它由于不知道挂断转化率，则设置为none表示不计算损失；
[0097]
f)期望转化率根据是否转化标识设置，此用户为1。
[0098]
3)对获取的数据进行特征处理，形成模型可用训练数据。
[0099]
4)使用深度神经网络建模，训练并发布预测服务。
[0100]
二、预测流程：
[0101]
1)获取待拨打用户及其用户画像特征。
[0102]
2)依次构建待预测话术子序列样本及其子序列，后续话术序列、父序列索引。
[0103]
a)比如一个新用户，先如训练阶段构建s11，s12，s13样本所有数据，计算他们的期望转化率，比如s11为期望转化率最大，则构建其子序列s11-》s21，s11-》s22样本所有数据，假设s11-》s21为期望转化率最大样本，则继续构建s11-》s21-》s31，s11-》s21-》s32样本，假设s11-》s21-》s32为期望转化率为最大，则最终推荐s11，s21，s32话术组合。
[0104]
3)对获取的数据进行特征处理，形成模型可用训练数据。
[0105]
4)使用训练好的模型预测期望转化率。
[0106]
5)选取转化率最高的话术组合进行推荐。
[0107]
三、深度神经网络建模：
[0108]
1)把已构建数据送入深度神经网络模型。
[0109]
2)用户特征编码使用嵌入层 多个全连接层实现。
[0110]
3)所有话术序列到话术序列编码可使用嵌入层 循环神经网络实现。
[0111]
4)所有话术序列与用户特征到挂断率，挂断转化率使用输出为1的全连接网络实现。
[0112]
5)之前未挂断率＝父序列索引位置的之前未挂断概率*(1-挂断率)。
[0113]
6)挂断转化率贡献＝之前未挂断率*挂断率*挂断转化率
[0114]
7)期望转化率＝根据父序列索引链路确定最优后续路径挂断转化率贡献和，目标为：实际用户转化与否，
[0115]
a)根据后续话术父序列索引从叶话术序列开始，各叶话术序列的期望转化率＝挂断转化率贡献；
[0116]
b)然后计算叶话术序列的父话术序列期望转化率＝此话术序列挂断转化率贡献 此话术序列直接下层话术序列期望转化率最大值；
[0117]
c)根据后续话术父序列索引依次从叶到根序列迭代所有层话术序列，最后得到当前话术序列期望转化率。
[0118]
此外，本发明可以产生以下技术效果：1、使用整体建模计算后，在预测话术节点时，只需要对话术节点各话术做一次预测即可得出期望转化率。2、在训练时，样本转化与否直接指导期望转化率，这样就直接影响整个网络，让期望转化率更准。3、在训练时，子序列样本增加利用了转化与否结果标签来指导期望转化率计算，让信息利用更充分。
[0119]
此外，本发明把全局最优期望转化率直接融入深度神经网络中，让后续预测更轻松。让转化与否直接指导期望转化率，让预测的结果和目标更贴近，预测更准确。模型也直接学习了子序列与期望转化率的关系，提高了知识的利用率。深度神经网络只是一种上述方案的实现，如使用其它模型，也利用到前三点特性，则属于本专利保护范围。用户画像特征指能与用户关联的所有特征，包括但不限于用户属性，用户行为，用户历史拨打信息等。本方案适用于所有智能语音话术预测场景，包括但不限于智能外呼，呼入，语音催收，回访，电销等，也适用于文本多轮对话话术预测场景。
[0120]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0121]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0122]
实施例2
[0123]
图8示出了根据本实施例所述的确定话术序列的装置800，该装置800与根据实施例1的第一个方面所述的方法相对应。参考图8所示，该装置800包括：第一确定模块810，用于确定目标用户的用户特征信息以及与目标用户进行交互的交互过程信息，其中交互过程信息包括：与目标用户进行交互的当前话术序列、当前话术序列的子序列、与目标用户进行交互的后续话术序列集合以及与后续话术序列集合对应的后续话术父节点索引信息；以及第二确定模块820，用于利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列，其中当前话术序列为与目标用户进行交互的当前话术节点以及先前话术节点所对应的话术单元所构成的序列；后续话术序列为由当前话术节点之后的后续话术节点所对应的话术单元构成的序列；以及后续话术父节点索引信息用于为后续话术序列寻找其父节点话术序列。
[0124]
可选地，各个话术节点构成多个话术序列，并且利用预先训练的最优话术序列预测模型，第二确定模块820，包括：获取子模块，用于利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，获取多个话术序列的期望转化率；以及第一确定子模块，用于根据多个话术序列的期望转化率，确定多个话术序列中用于与目标用户进行交互的最优话术序列。
[0125]
可选地，装置800还包括根据以下操作训练最优话术序列预测模型：获取模块，用于获取与已拨打记录中的已拨打用户对应的交互信息以及用户画像；以及第三确定模块，用于根据预先设置的深度神经网络算法，对交互信息以及用户画像进行学习，确定最优话术序列预测模型。
[0126]
可选地，第三确定模块，包括：第二确定子模块，用于对交互信息进行特征处理，确定交互信息中对应的话术特征信息；对用户画像进行特征处理，确定与已拨打用户相关的用户特征；第三确定子模块，用于根据交互信息，确定交互信息对应的转化率信息、交互信息中的当前话术序列的当前话术挂断率以及话术子序列的子话术挂断率；以及第四确定子模块，用于根据预先设置的深度神经网络算法，将用户特征以及话术特征信息作为深度神经网络算法的输入向量，以及将转化率信息、当前话术挂断率以及子话术挂断率作为输出向量，确定最优话术序列预测模型。
[0127]
可选地，话术特征信息包括当前话术序列、话术子序列向量、后续话术序列向量以及后续话术父节点索引，第四确定子模块，还包括：第一编码单元，用于通过预先设置的嵌入层和全连接层将用户特征进行编码，确定用户特征编码；第二编码单元，用于通过预先设置的嵌入层和循环神经网络将话术特征信息中的当前话术特征、话术子序列向量、后续话术序列向量进行编码，确定当前话术特征编码、话术子序列编码以及后续话术序列编码；以及输入单元，用于将用户特征编码、当前话术特征编码、话术子序列编码以及后续话术序列编码作为深度神经网络算法的输入向量。
[0128]
可选地，深度神经网络算法包括中间层，其中中间层包括挂断转化率向量，并且其中挂断转化率向量通过输出为1的全连接网络实现。
[0129]
从而根据本实施例，计算设备通过获取与目标用户相关的特征信息以及交互过程信息中的话术信息，作为预先训练好的最优话术预测模型的输入数据，得出与目标用户进行交互的最优话术序列。计算设备把所有计算融入到一个深度神经网络模型中，在预测时可以直接预测出期能够使目标用户最大概率进行转化的最优话术序列，不用做额外的逻辑
运算。在最优话术模型训练中转化率目标直接影响整个网络，让期望转化率也能够受到目标监督。并且在最优话术预测模型中利用了子序列样本期望转化率来增加模型的知识量。通过上述方式达到了可以对与目标用户进行交互的最优话术序列的离线指标评估，并且只使用一个预测模型实验周期短以及预测结果更准确的技术效果。进而解决了现有技术中存在的现有的话术序列预测方法，无法做离线指标评估，并且实验周期慢以及预测结果的不确定性对业务影响大的技术问题。
[0130]
实施例3
[0131]
图9示出了根据本实施例所述的确定话术序列的装置900，该装置900与根据实施例1的第一个方面所述的方法相对应。参考图9所示，该装置900包括：处理器910；以及存储器920，与处理器910连接，用于为处理器910提供处理以下处理步骤的指令：确定目标用户的用户特征信息以及与目标用户进行交互的交互过程信息，其中交互过程信息包括：与目标用户进行交互的当前话术序列、当前话术序列的子序列、与目标用户进行交互的后续话术序列集合以及与后续话术序列集合对应的后续话术父节点索引信息；以及利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列，其中当前话术序列为与目标用户进行交互的当前话术节点以及先前话术节点所对应的话术单元所构成的序列；后续话术序列为由当前话术节点之后的后续话术节点所对应的话术单元构成的序列；以及后续话术父节点索引信息用于为后续话术序列寻找其父节点话术序列。
[0132]
可选地，各个话术节点构成多个话术序列，并且利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，确定与目标用户进行交互的最优话术序列的操作，包括：利用预先训练的最优话术序列预测模型，根据用户特征信息和交互过程信息，获取多个话术序列的期望转化率；以及根据多个话术序列的期望转化率，确定多个话术序列中用于与目标用户进行交互的最优话术序列。
[0133]
可选地，存储器920还用于为处理器910提供处理以下处理步骤的指令：根据以下操作训练最优话术序列预测模型：获取与已拨打记录中的已拨打用户对应的交互信息以及用户画像；以及根据预先设置的深度神经网络算法，对交互信息以及用户画像进行学习，确定最优话术序列预测模型。
[0134]
可选地，根据预先设置的深度神经网络算法，对交互信息以及用户画像进行学习，确定最优话术序列预测模型的操作，包括：对交互信息进行特征处理，确定交互信息中对应的话术特征信息；对用户画像进行特征处理，确定与已拨打用户相关的用户特征；根据交互信息，确定交互信息对应的转化率信息、交互信息中的当前话术序列的当前话术挂断率以及话术子序列的子话术挂断率；以及根据预先设置的深度神经网络算法，将用户特征以及话术特征信息作为深度神经网络算法的输入向量，以及将转化率信息、当前话术挂断率以及子话术挂断率作为输出向量，确定最优话术序列预测模型。
[0135]
可选地，话术特征信息包括当前话术序列、话术子序列向量、后续话术序列向量以及后续话术父节点索引，并且将用户特征以及话术特征信息作为深度神经网络算法的输入向量的操作，还包括：通过预先设置的嵌入层和全连接层将用户特征进行编码，确定用户特征编码；通过预先设置的嵌入层和循环神经网络将话术特征信息中的当前话术特征、话术子序列向量、后续话术序列向量进行编码，确定当前话术特征编码、话术子序列编码以及后
续话术序列编码；以及将用户特征编码、当前话术特征编码、话术子序列编码以及后续话术序列编码作为深度神经网络算法的输入向量。
[0136]
可选地，深度神经网络算法包括中间层，其中中间层包括挂断转化率向量，并且其中挂断转化率向量通过输出为1的全连接网络实现。
[0137]
从而根据本实施例，计算设备通过获取与目标用户相关的特征信息以及交互过程信息中的话术信息，作为预先训练好的最优话术预测模型的输入数据，得出与目标用户进行交互的最优话术序列。计算设备把所有计算融入到一个深度神经网络模型中，在预测时可以直接预测出期能够使目标用户最大概率进行转化的最优话术序列，不用做额外的逻辑运算。在最优话术模型训练中转化率目标直接影响整个网络，让期望转化率也能够受到目标监督。并且在最优话术预测模型中利用了子序列样本期望转化率来增加模型的知识量。通过上述方式达到了可以对与目标用户进行交互的最优话术序列的离线指标评估，并且只使用一个预测模型实验周期短以及预测结果更准确的技术效果。进而解决了现有技术中存在的现有的话术序列预测方法，无法做离线指标评估，并且实验周期慢以及预测结果的不确定性对业务影响大的技术问题。
[0138]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0139]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0140]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0141]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0142]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0143]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0144]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。