话术模板使用效果评价方法及装置与流程

本发明涉及人工智能技术领域，具体而言，涉及一种话术模板使用效果评价方法及装置。

背景技术：

人工智能技术大大方便了人们的生活，也为各个领域的技术发展提供了解决方案，在传统的语音客服领域，客服的服务质量关系着企业口碑和声誉，很大程度上代表了企业的形象。客服在与客户交流的过程中，为了体现服务的专业化和规范化，往往会使用制定的话术模板进行交互，因此，如何对话术模板的使用效果进行评价是本领域的一个关键问题。对企业而言，只能通过客户事后的反馈意见来确认服务质量，即使出现服务质量低的情况也难以定位到问题的话术模板。现有技术缺少一种更为高效和准确的对话术模型的使用效果进行评价的方法。

技术实现要素：

本发明为了解决上述背景技术中的技术问题，提出了一种话术模板使用效果评价方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种话术模板使用效果评价方法，该方法包括：

获取话术模板前后客户输入数据，其中，所述话术模板前后客户输入数据包含：话术模板信息、客户在话术模板之前的输入数据以及客户在话术模板之后的输入数据；

根据预设的情感分析模型分别识别出所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，其中，所述情感分类包括：正面情感和负面情感；

根据所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，确定所述话术模板信息对应的话术模板的使用效果。

可选的，该话术模板使用效果评价方法，还包括：

获取客户与客服对话的音频数据；

将所述音频数据转化为文本数据；

将所述文本数据中的每条客服输入数据与预设的话术模板进行匹配，得到所述文本数据中包含话术模板的客服输入数据；

根据所述文本数据中的与所述包含话术模板的客服输入数据相邻的两条客户输入数据，生成所述话术模板前后客户输入数据。

可选的，所述根据所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类确定所述话术模板信息对应的话术模板的使用效果，具体包括：

若所述客户在话术模板之前的输入数据对应的情感分类为正面情感，而所述客户在话术模板之后的输入数据对应的情感分类为负面情感，则确定所述使用效果为第一结果；

若所述客户在话术模板之前的输入数据对应的情感分类为负面情感，而所述客户在话术模板之后的输入数据对应的情感分类为正面情感，则确定所述使用效果为第二结果；

若所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类均为正面情感或者均为负面情感，则确定所述使用效果为第三结果。

可选的，该话术模板使用效果评价方法，还包括：

获取所述话术模板对应的多个使用效果；

若在该多个使用效果中所述第一结果的占比大于预设阈值，则向客服管理员发送提示信息，以提示客服管理员对所述话术模板进行调整。

可选的，所述客服包括：人工客服和机器人客服。

为了实现上述目的，根据本发明的另一方面，提供了一种话术模板使用效果评价装置，该装置包括：

话术模板前后客户输入数据获取模块，用于获取话术模板前后客户输入数据，其中，所述话术模板前后客户输入数据包含：话术模板信息、客户在话术模板之前的输入数据以及客户在话术模板之后的输入数据；

情感分析模块，用于根据预设的情感分析模型分别识别出所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，其中，所述情感分类包括：正面情感和负面情感；

使用效果评价模块，用于根据所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，确定所述话术模板信息对应的话术模板的使用效果。

可选的，该话术模板使用效果评价装置，还包括：

音频数据获取模块，用于获取客户与客服对话的音频数据；

文本转化模块，用于将所述音频数据转化为文本数据；

话术模板匹配模块，用于将所述文本数据中的每条客服输入数据与预设的话术模板进行匹配，得到所述文本数据中包含话术模板的客服输入数据；

话术模板前后客户输入数据生成模块，用于根据所述文本数据中的与所述包含话术模板的客服输入数据相邻的两条客户输入数据，生成所述话术模板前后客户输入数据。

可选的，所述使用效果评价模块，具体包括：

第一确定单元，用于若所述客户在话术模板之前的输入数据对应的情感分类为正面情感，而所述客户在话术模板之后的输入数据对应的情感分类为负面情感，则确定所述使用效果为第一结果；

第二确定单元，用于若所述客户在话术模板之前的输入数据对应的情感分类为负面情感，而所述客户在话术模板之后的输入数据对应的情感分类为正面情感，则确定所述使用效果为第二结果；

第三确定单元，用于若所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类均为正面情感或者均为负面情感，则确定所述使用效果为第三结果。

可选的，该话术模板使用效果评价装置，还包括：

使用效果数据获取模块，用于获取所述话术模板对应的多个使用效果；

发送模块，用于若在该多个使用效果中所述第一结果的占比大于预设阈值，则向客服管理员发送提示信息，以提示客服管理员对所述话术模板进行调整。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述话术模板使用效果评价方法中的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述话术模板使用效果评价方法中的步骤。

本发明的有益效果为：本发明通过对客户在话术模板之前的输入数据以及客户在话术模板之后的输入数据进行情感分析，根据话术模板前后客户的情感分类确定出该话术模板的使用效果，实现了高效、准确的对话术模型的使用效果进行评价的技术效果，有助于提高客服的服务效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例话术模板使用效果评价方法的第一流程图；

图2是本发明实施例话术模板使用效果评价方法的第二流程图；

图3是本发明实施例话术模板使用效果评价方法的第三流程图；

图4是本发明实施例话术模板使用效果评价装置的第一结构框图；

图5是本发明实施例话术模板使用效果评价装置的第二结构框图；

图6是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要说明的是，本发明的话术模板使用效果评价方法及装置可用于金融领域，也可以应用于其他技术领域。

本发明提供了一种话术模板使用效果评价方法，该方法可以及时获取话术模板的客户反馈情况，为管理人员改进话术模板提供参照，有助于提升语音客服话术质量。

图1是本发明实施例话术模板使用效果评价方法的第一流程图，如图1所示，本实施例的话术模板使用效果评价方法包括步骤s101至步骤s103。

步骤s101，获取话术模板前后客户输入数据，其中，所述话术模板前后客户输入数据包含：话术模板信息、客户在话术模板之前的输入数据以及客户在话术模板之后的输入数据。

在本发明一个实施例中，所述话术模板前后客户输入数据为从客户与客服之间的对话中提取出的。在本发明一个实施例中，本发明的客服包括：人工客服和机器人客服。在本发明实施例中，客户与客服可以进行语言或者文字的方式的对话，客服针对客户的对话内容进行反馈，若客户的对话内容满足预设的话术模板的匹配条件，则客服采用该预设的话术模板对客户的对话内容进行反馈。

在本发明一个实施例中，所述话术模板信息可以为话术模板标识信息，例如话术模板编号等。

在本发明一个实施例中，本步骤中的“话术模板前后客户输入数据”具体可以由以下步骤s201至步骤s204生成得出。

步骤s102，根据预设的情感分析模型分别识别出所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，其中，所述情感分类包括：正面情感和负面情感。

在本发明一个实施例中，所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据均为语音数据。本发明通过采用机器学习算法训练出情感分析模型，情感分析模型用于识别语音数据对应的情感分类。本发明将所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据输入到训练出的情感分析模型，得到其两者的情感分类。

在本发明另一个实施例中，所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据均为文本数据，该文本数据可以为从客户输入的语音数据转化为的文本数据。本发明可以基于lstm模型训练出情感分析模型，进而将文本数据输入到训练出的情感分析模型，得到该文本数据对应的情感分类。

步骤s103，根据所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，确定所述话术模板信息对应的话术模板的使用效果。

本发明根据话术模板使用前后客户输入数据的情感分类，得到话术模板的使用效果。

在本发明一个实施例中，本步骤的根据所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类确定所述话术模板信息对应的话术模板的使用效果，具体包括：

若所述客户在话术模板之前的输入数据对应的情感分类为正面情感，而所述客户在话术模板之后的输入数据对应的情感分类为负面情感，则确定所述使用效果为第一结果，在本发明一个实施例中，所述第一结果可以为“差”；

若所述客户在话术模板之前的输入数据对应的情感分类为负面情感，而所述客户在话术模板之后的输入数据对应的情感分类为正面情感，则确定所述使用效果为第二结果，在本发明一个实施例中，所述第二结果可以为“优”；

若所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类均为正面情感或者均为负面情感，则确定所述使用效果为第三结果，在本发明一个实施例中，所述第三结果可以为“良”。

在本发明一个实施例中，本发明对话术模板前后的客户的输入进行语义情感分析，正面情感记为1，负面情感记为0，最终记录的一段话术模板使用前后情感分析情况有以下四种可能[0,0]、[0,1]、[1,0]、[1,1]，将[0,1]这种情况定义为“优”，将[0,0]和[1,1]这两种情况定义为“良”，将[1,0]这种情况定义为“差”，最终存储的情感分析结果按照{“模板编号”：“使用效果”}格式进行输出。

本发明根据话术模板使用前后客户的情感倾向，得到话术模板的使用效果，若话术模板使用前客户的情感分类为良好(正面情感)，而在话术模板使用后客户的情感分类变为了差(负面情感)，则说明此话术模板对客户产生了负面效果，进而说明该话术模板效果不好。反正，若话术模板使用后客户的情感分类由差变为良好，则说明此话术模板对客户产生了正面效果，进而说明该话术模板效果较好。由此，本发明可以根据话术模板使用前后客户的情感倾向，较为准确、快速的确定出话术模板的使用效果。

图2是本发明实施例话术模板使用效果评价方法的第二流程图，如图2所示，在本发明一个实施例中，上述步骤s101中的话术模板前后客户输入数据，具体为通过步骤s201至步骤s204得到的。

步骤s201，获取客户与客服对话的音频数据。

在本发明一个实施例中，本发明可以通过两种方式获取客户与客服对话的音频数据，第一种是直接获取，对接客服语音文件存储系统，实时获取新生成的语音文件，自动将文件纳入分析；第二种方式是提供网络接口，话术检测方通过接口调用的形式将语音文件传入系统，在系统的对应分区内进行话术模板质量检验。

在本发明一个实施例中，本步骤的客户与客服对话的音频数据具体可以为由音频输入模块采集得到的。音频输入模块具体包含：音频接收单元、冗余截取单元、pcm转化单元、音频降噪单元。具体来说：音频接收单元：负责对外暴露音频传输接口，同时记录每个音频所对应的业务参数，包括业务类型、所属话术模板库等信息。冗余截取单元：负责截取音频中的冗余部分，通过设定振幅的阈值，当振幅小于给定阈值时，判断为冗余音频，系统会将这部分音频进行截取舍弃，以减轻后续处理逻辑的工作量。pcm转化单元：负责将冗余截取后的音频文件转化为非压缩的纯波形文件，便于后续的语音转文字处理。

步骤s202，将所述音频数据转化为文本数据。

在本发明实施例中，本步骤可以采用预设的语音识别算法，将音频数据转化为对应的文本。本发明可以采用现有技术任意一种语音识别算法。

在本发明一个实施例中，本步骤的将音频数据转化为文本数据具体可以由预设的语音识别模块来实现的。语音识别模块具体包含：音频分帧单元、特征提取单元、模型匹配单元。具体来说：音频分帧单元：通过移动窗函数将长段的音频分解为长度25毫秒的音频帧。特征提取单元：接收2.1的时域音频信号，通过mfcc做波形变化并提取音频特征。模型匹配单元：使用hmm对音频特征做匹配，经模型运算获取识别的文本。

步骤s203，将所述文本数据中的每条客服输入数据与预设的话术模板进行匹配，得到所述文本数据中包含话术模板的客服输入数据。

在本发明一个实施例中，本步骤针对文本数据中的每条客服输入数据，循环遍历话术模板，识别出文本数据中所有的话术模板，并在文本数据中标识出每个话术模板，即得到所述文本数据中包含话术模板的客服输入数据。

在本发明一个实施例中，本发明还设置了模板标记模块，该模板标记模块包含：话术模板更新单元、话术模板识别单元、话术模板标记单元。具体来说：

话术模板更新单元：用于新增、修改、删除所要监听的话术模板，作为该系统对外暴露的可操作接口。

话术模板识别单元：接收语音识别模块转化而来的文本信息，循环遍历话术模板，识别出文本信息中涵盖的话术模板。

话术模板标记模块：接收话术模板识别单元生成的话术模板识别信息，将话术模板出现位置与模板类型匹配并输出。

步骤s204，根据所述文本数据中的与所述包含话术模板的客服输入数据相邻的两条客户输入数据，生成所述话术模板前后客户输入数据。

在本发明实施例中，本步骤提取出所述文本数据中每个话术模板使用前和使用后的客户输入数据。并针对所述文本数据中每个话术模板生成对应的“话术模板前后客户输入数据”。“话术模板前后客户输入数据”具体包含：话术模板信息、客户在话术模板之前的输入数据以及客户在话术模板之后的输入数据。

图3是本发明实施例话术模板使用效果评价方法的第三流程图，如图3所示，在本发明一个实施例中，本发明的话术模板使用效果评价方法还包括步骤s301和步骤s302。

步骤s301，获取所述话术模板对应的多个使用效果。

在本发明一个实施例中，本发明可以针对每个话术模板的大量使用效果进行归纳和整理，按照时间段、优良率等维度输出统计报表，为语音客服管理员提供话术质量提升的依据。管理员可以根据报表展示的话术模板质量情况，对质量较低的话术模板进行修正。

在本发明一个实施例中，本发明设置了数据分析模块，该数据分析模块具体包含：情感统计单元、数据持久化单元、数据报表单元、数据检索单元。具体来说：

情感统计单元：用于获取话术模板的使用效果。

数据持久化单元：将情感统计单元中得到的话术模板使用效果与对应的模板标识相匹配，并进行数据持久化存储。

数据报表单元：使用echar组件或excel文档等记录手段，按照时间、模板种类等维度将话术模板使用分析结果生成报表输出。

数据检索单元：将数据持久化单元持久化存储的数据通过检索接口的形式对客服管理人员提供调阅，以便于实时分析话术模板使用情况，以及对话术模板进行调整。

步骤s302，若在该多个使用效果中所述第一结果的占比大于预设阈值，则向客服管理员发送提示信息，以提示客服管理员对所述话术模板进行调整。

由以上实施例可以看出，本发明提出了一种高效的话术模板质量评估体系，相较于传统话术模板改进办法无法对模板质量做出客观评价的问题，客服管理人员可以通过该系统便捷获取话术模板效果评价，有助于进行话术模板原型迭代，有效助力客服服务质量提升，降低管理成本和维护效率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思，本发明实施例还提供了一种话术模板使用效果评价装置，可以用于实现上述实施例所描述的话术模板使用效果评价方法，如下面的实施例所述。由于话术模板使用效果评价装置解决问题的原理与话术模板使用效果评价方法相似，因此话术模板使用效果评价装置的实施例可以参见话术模板使用效果评价方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是本发明实施例话术模板使用效果评价装置的第一结构框图，如图4所示，在本发明一个实施例中，本发明的话术模板使用效果评价装置包括：

话术模板前后客户输入数据获取模块1，用于获取话术模板前后客户输入数据，其中，所述话术模板前后客户输入数据包含：话术模板信息、客户在话术模板之前的输入数据以及客户在话术模板之后的输入数据；

情感分析模块2，用于根据预设的情感分析模型分别识别出所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，其中，所述情感分类包括：正面情感和负面情感；

使用效果评价模块3，用于根据所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类，确定所述话术模板信息对应的话术模板的使用效果。

图5是本发明实施例话术模板使用效果评价装置的第二结构框图，如图5所示，在本发明一个实施例中，本发明的话术模板使用效果评价装置，还包括：

音频数据获取模块4，用于获取客户与客服对话的音频数据；

文本转化模块5，用于将所述音频数据转化为文本数据；

话术模板匹配模块6，用于将所述文本数据中的每条客服输入数据与预设的话术模板进行匹配，得到所述文本数据中包含话术模板的客服输入数据；

话术模板前后客户输入数据生成模块7，用于根据所述文本数据中的与所述包含话术模板的客服输入数据相邻的两条客户输入数据，生成所述话术模板前后客户输入数据。

在本发明一个实施例中，所述使用效果评价模块3，具体包括：

第一确定单元，用于若所述客户在话术模板之前的输入数据对应的情感分类为正面情感，而所述客户在话术模板之后的输入数据对应的情感分类为负面情感，则确定所述使用效果为第一结果；

第二确定单元，用于若所述客户在话术模板之前的输入数据对应的情感分类为负面情感，而所述客户在话术模板之后的输入数据对应的情感分类为正面情感，则确定所述使用效果为第二结果；

第三确定单元，用于若所述客户在话术模板之前的输入数据和所述客户在话术模板之后的输入数据各自对应的情感分类均为正面情感或者均为负面情感，则确定所述使用效果为第三结果。

在本发明一个实施例中，本发明的话术模板使用效果评价装置，还包括：

使用效果数据获取模块，用于获取所述话术模板对应的多个使用效果；

发送模块，用于若在该多个使用效果中所述第一结果的占比大于预设阈值，则向客服管理员发送提示信息，以提示客服管理员对所述话术模板进行调整。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图6所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(centralprocessingunit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述话术模板使用效果评价方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。