一种智慧客服机器人数据处理方法及系统与流程

1.本发明涉及评估方法技术领域，尤其涉及一种智慧客服机器人数据处理方法及系统。


背景技术：

2.客服基本可分为人工客服和电子客服，其中人工客服又可细分为文字客服、视频客服和语音客服三类。文字客服是指主要以打字聊天的形式进行的客户服务；视频客服是指主要以语音视频的形式进行客户服务；语音客服是指主要以移动电话的形式进行的客服服务。现有技术中已存在诸多客服方法和系统，例如，公开号为cn109615407a的专利文献，其公开了一种基于人工智能的在线电力智慧客服方法，包括：接收用户的咨询信息，采用人工智能对用户的咨询信息进行语言分析处理；对处理后的咨询信息进行特征信息提取；将特征信息与知识数据库中的解答信息相匹配，如果存在匹配结果，则将匹配的解答信息推送给用户；如果不存在匹配结果，转为人工处理，同时对人工处理的解答信息与当前的特征信息对应并更新到知识数据库中；能够针对用户的咨询信息准确识别出用户的问题意图，并做出准确的解答推送，而且，在客服系统不能够自动解答时，转为人工解答，并且在人工解答后能够及时更新知识数据库中的信息，为后续客服的效率和准确率提供保障。
3.现有的智慧客服机器人数据处理效率不高，因此，本技术旨在提供一种能够克服上述缺陷的智慧客服机器人数据处理方法及系统。


技术实现要素：

4.本发明的目的在于克服现有技术的缺点，提供一种智慧客服机器人数据处理方法及系统。
5.本发明的目的通过以下技术方案来实现：一种智慧客服机器人数据处理方法，包括如下步骤：s100，向智慧客服机器人提问问题后，系统基于智慧客服机器人的回答情况按自定时间对机器人进行基础数据统计及指标检测，计算机器人语音识别单字准确率a、语义识别准确率n、整体业务准确率p、问题解决率s和机器人独立接待占比p，等自定义指标信息；s200，建立智慧客服机器人的服务质量总体性指标an-psr或根据自定义的指标公式计算得到的智慧客服机器人指标数值并设定阈值，对智慧客服机器人的性能进行评价，在智慧客服机器人的评价等级低于设定等级时，生成优化策略；s300，在智慧客服机器人指标低于设定阈值时，所述优化策略能够对机器人服务质量及所述服务质量总体性指标an-psr或自定义指标进行优化，从而提升智慧客服机器人服务能力。
6.优选的，所述服务质量总体性指标an-psr能够通过an-psr＝w*(x*a (1-x)*n) (1-w)*(y*c z*s (1-y z)*r)表示，其中，x代表根据实际业务分析，技术指标中语音识别单字准确率和语义理解准确率的占比；y代表根据实际业务分析，业务指标中准确率占总体业务指标的比例；z代表根据实际业务分析，业务指标中问题解决率占整体业务指标的占比。
7.优选的，所述优化策略包括：在原始asr语音识别模型加入人工干预，利用人工信
息的准确性重新对智慧客服机器人进行数据筛选，将干预后的数据进行重复训练，以达到asr语音识别模型的更新，使得所述语音识别单字准确率a能够提升。
8.优选的，所述优化策略还包括：创建客服关键词数据库，将所述客服关键词数据库加入语义理解分析模型，使得当客户问到客服关键词数据库中的关键词时，分词模型不再对所述关键词进行分割，以提升语义识别准确率n。
9.优选的，所述优化策略还包括：根据历史咨询数据对知识进行累计，对知识进行高中低频划分，优先覆盖高频咨询问题；当涉及新业务新政策时，主动新增知识点，定期整理知识点查看不同业务线中是否有互通的业务问法；设置智慧客服机器人反问功能，当客户问及到几个业务互通的知识点时，智慧客服机器人进行反问，以便客户能够准确地找到想要问的问题分类。
10.优选的，所述整体业务准确率p＝应答覆盖率*覆盖范围准确率，其中，应答覆盖率＝应答数/机器人承接整体触发数量，覆盖范围中准确率＝应答准确的数量/机器人全部应答的数量。
11.优选的，获取智慧客服机器人指标数值包括如下步骤：智慧客服机器人接收来自用户发的问题，智慧客服机器人将语音信息转译为文本信息，并将文本信息进行语义理解，智慧客服机器人根据设置完成的回答策略，向用户回复对应答案，往复操作直至完成整轮对话，在上述过程中，对指定指标进行获取计算。
12.本技术还提供一种智慧客服机器人数据处理系统，其特征在于，包括：机器人关键指标获取模块，用于向智慧客服机器人输入需要回答的若干个问题，基于智慧客服机器人的回答情况进行指标检测，计算机器人语音识别单字准确率a、语义识别准确率n、整体业务准确率p、问题解决率s和机器人独立接待占比p，和机器人基础指标数值；建立智慧客服机器人的服务质量总体性指标an-psr或根据使用习惯自定义指标，该指标对智慧客服机器人的性能进行评价，在智慧客服机器人的评价等级低于设定等级时，生成优化策略；在智慧客服机器人指标低于设定阈值时，所述优化策略能够对机器人服务质量及所述服务质量总体性指标an-psr或自定义指标进行优化。
13.优选的，还包括：机器人数据库模块，用于日常机器人的语料库、用户提问信息的数据、机器人训练模型等相关信息的存储、调用；用户信息理解模块，用于利用语音识别技术将用户的问题转译成文字形式；语义理解模块，用于将用户的问题进行理解，对用户问题进行意图识别，输出识别结果内容；数据信息展示模块，用于将关键数据和管理员个性化数据进行展示。
14.优选的，在智慧客服机器人的评价等级低于设定等级时，生成优化策略，所述优化策略能够对所述机器人数据库模块和所述语义理解模块进行优化。
15.本技术还提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述智慧客服机器人数据处理方法的步骤。
16.本技术还提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述智慧客服机器人数据处理方法的步骤。本发明具有以下优点：
17.本技术以指标为基础，创建智能客服服务质量优化系统，并设定了智能客服总体性服务质量评价指标，根据指标提出优化指标的方法。提出机器自动化更新数据库、知识库，完成智能智慧客服机器人的优化迭代。
18.(1)本技术创建并总和现有技术指标，并根据各个指标进行针对性的性能提升，形成智能客服服务质量评价及技术业务性能提升系统。
19.(2)本技术以提升智能智慧客服机器人服务质量为背景，创建了机器人的各项性能的服务指标；完善了各项指标的具体提升方案；形成了提升智能智慧客服机器人的全自动化流程；形成了完整一套智能智慧客服机器人质量提升系统。
附图说明
20.图1为本发明的智慧客服机器人数据处理方法的流程示意图；
21.图2为本发明的智慧客服机器人数据处理系统的模块化结构示意图。
22.图中，1-机器人关键指标获取模块、2-机器人自定义指标获取模块、3-机器人优化建议模块、4-用户信息理解模块、5-数据信息展示模块、6-机器人数据库模块、7-语义理解模块。
具体实施方式
23.下面结合附图对本发明做进一步的描述，本发明的保护范围不局限于以下所述：
24.如图1和图2所示，本技术提供一种智慧客服机器人数据处理系统，包括机器人关键指标获取模块1、机器人自定义指标获取模块2、机器人优化建议模块3、用户信息理解模块4、数据信息展示模块5、机器人数据库模块6和语义理解模块7。当智慧客服机器人正常运行后，机器人关键指标获取模块1便可以读取到机器人语音识别单字准确率、语义识别准确率、整体业务准确率、问题解决率、机器人独立接待占比等指标，实时动态更新指标数据。具体的，语音识别单字准确率＝1-(插入错误字数 删除错误字数 替换错误字数)/标注结果总字数*100％(
·
插入错误字数：可以理解为多转写的(人工听没有但是机器转写出来的字数)；
·
删除错误字数：可以理解为少转写的(人工听有但是机器没有转写出来的字数)；
·
替换错误字数：可以理解为转写错误的(人工听到但是机器转写成字的数量))。关键词准确率＝1-(插入错误关键词数 删除错误关键词数 替换错误关键词数)/标注结果总关键词数*100％。(
·
插入错误关键词数：可以理解为多转写的数目(人工听没有但是机器转写出来的关键词数)；
·
删除错误关键词数：可以理解为少转写的数目(人工听有但是机器没有转写出来的关键词数)；
·
替换错误关键词数：可以理解为转写错误的数目(人工听到但是机器转写成其他关键词的数目))。单句准确率＝1-转写正确的消息量/总消息量。知识命中率＝1-兜底应答占比(兜底应答是指机器人没有理解人的意思，进入设定好的兜底语句)。意图准确率：使用真实数据批量测试，将机器真实数据批量测试，将机器人识别到的意图与工标注人识别到的意图与工标注图进行对比，人工与机器分类一图进行对比，人工与机器分类一致视为意图识别准确，反之则是致视为意图识别准确，反之则是意图识别错误。应答准确率：通过标注线上真实日志，机器人应答了的消息中机器人多少是意图识别正确的，机器人的答案可以解决用户提出的问题。整体业务准确率＝应答覆盖率*覆盖范围准确率。应答覆盖率＝应答数/机器人承接整体触发数量。覆盖范围中准确率＝应答准确的数量/机器人全部应答的数量。问题解决率＝智慧客服机器人完整回答客户问题量/智慧客服全部客户提问量。问题解决率是一个综合指标以及高阶指标，业内一般有两种计算方式：
①
话后通过调研问卷形式来判断用户的问题是否解决；
②
通过判断用户在24小时内是否重复进线咨
询；如果用户重复进线表示用户可能之前问题没有得到解决需要再次进线咨询。机器人独立接待占比：一通对话中，完全由机器人独立接待，没有转人工处理的比例转人工率＝转人工的会话量/所有咨询会话量。
25.优选的，机器人自定义指标获取模块2运用机器人产生的接待数、回答量等基础数据，自由创建用户想创建的个性化指标，并根据基础数据间的数学运算，在系统上生成新指标的数据，并根据生成的指标计算历史数据。例如，系统给出机器人基础数据，例如工单量、回话轮次、用户评价率、机器人回复次数等基础数据。管理者可以对基础数据进行加、减、乘、除、乘方等基础数学运算自定义指标。还例如，能够建立智慧客服机器人的服务质量总体性指标an-psr。用于根据设定阈值及所述智慧客服机器人指标数值，对智慧客服机器人的性能进行评价，在智慧客服机器人的评价等级低于设定等级时，生成优化策略。例如，管理员给各项指标设定阈值，当机器人指标低于阈值时，机器人优化建议模块3根据指标代表的信息，给管理员提升机器人的操作建议。机器人数据库模块6用于日常机器人的语料库、用户提问信息的数据、机器人训练模型等相关信息的存储、调用。用户信息理解模块4能够利用语音识别技术将用户的问题转译成文字形式，再利用语义理解模块7将用户的问题进行理解，对用户问题进行意图识别，输出识别结果内容。数据信息展示模块5能够将上述关键数据和管理员个性化数据进行展示，并设置了数据信息查询功能。
26.优选的，本技术的智慧客服机器人数据处理系统配置为按照如下步骤对智慧客服机器人的性能进行评价优化：
27.s100，向智慧客服机器人提问问题后，系统基于智慧客服机器人的回答情况按自定时间对机器人进行基础数据统计及指标检测，计算语音识别单字准确率、语义识别准确率、整体业务准确率、问题解决率和机器人独立接待占比，等自定义指标信息。
28.具体的，智慧客服机器人接收来自用户发的问题，智慧客服机器人将语音信息转译为文本信息，并将文本信息进行语义理解，智慧客服机器人根据设置完成的回答策略，向用户回复对应答案，往复操作直至完成整轮对话。针对上述过程，机器人关键指标获取模块1能够对指定指标进行获取计算，从而获取智慧客服机器人指标数值。
29.s200，根据自定义的指标公式计算得到的智慧客服机器人指标数值并设定阈值，对智慧客服机器人的性能进行评价，在智慧客服机器人的评价等级低于设定等级时，生成优化策略。
30.具体的，通过判断机器人当前水平，根据各个指标对应的解决策略，对机器人数据库模块、语义理解模块进行优化。设定阈值包括正常运行阈值和需优化阈值。其中正常运行阈值代表当前智慧客服机器人性能无需优化，可正常完成智慧客服功能。需优化阈值代表当前智慧客服机器人水平较差，不能完成当前用户对话功能，需要立刻进行优化。定时判断智慧客服机器人指标和阈值的关系，当智慧客服机器人指标高于正常运行阈值时，代表智慧客服机器人正常运行无需对智慧客服机器人内容进行改变。当智慧客服机器人指标数值低于正常运行值但高于需优化阈值时，代表智慧客服机器人部分内容出现问题，但目前仍可正常运行。当智慧客服机器人低于需优化阈值时，代表需要针对数值较差的指标进行正对性优化。
31.优选的，对机器人数据库模块和语音理解模块的优化至少包括如下方面：
32.(1)在原始asr语音识别模型加入人工干预，利用人工信息的准确性重新对智慧客
服机器人进行数据筛选，将干预后的数据进行重复训练，以达到asr语音识别模型的更新。具体的，当语音识别准确率低于设定阈值时，系统需要发出警告，提醒管理者需要对该部分进行优化。管理者需要对机器人转译处的语音识别内容进行查看，若有错误部分需要手动改正，并将改动结果重新进行深度学习训练，得到新的语音识别模型，通过上述方式即可提升语音识别单字准确率。
33.(2)创建客服关键词数据库，将客服关键词数据库加入语义理解分析模型，语义识别模型首先按需要对句子进行分词处理，分词指的是将客服自然语言文本切分成单词序列。当客户问到客服关键词数据库中的关键词时，分词模型便对该关键词不再进行分割，以提升语义识别准确率。具体的，智慧客服机器人获取用户提问内容，并对每条提问内容进行分词，并定时将大量的语料分词结果进行提问次数排名显示。管理者事先设定好词库添加数量和频率，系统便自动定时根据管理者设定数值及频率，将关键词出现次数较多的词自动添加进国网信通客服关键词库。当语义理解率低于设定需优化阈值时，系统自动重新学习添加关键词后的国网信通客服词库，并生成新的语义理解分析模型，并循环对该模型进行指标检测，直至指标达到正常阈值。
34.优选的，语义理解分析模型按照如下步骤进行训练：
35.s1：数据准备，具体包括如下步骤：1)将各个标签的数据放于不同的文件夹中，一个文件夹归并为一类，并统计各个标签的数目。2)样本均衡，将带训练样本进行均衡到每个文件夹。3)切分样本集，例如：90％用于训练，10％留着测试，比例根据管理者决定。对于弱势类要重采样，测试集合无需重采样。训练中要保证样本均衡，学习到弱势类的特征，测试过程要反应真实的数据集分布。
36.s2：数据处理，具体包括如下步骤：1)在生成了训练数据后，需要得到训练数据中所有类别对应的词表。将各个文件夹中用户提问的语料使用jieba分词工具进行分词，在之后去除停用词后，最终统计该文件夹中同类词出现的次数剩，构成嵌入矩阵m。2)利用词表，把文本转化为id。并限制句子的最大长度，长度不足的补0。输出结果内容为：每一行第一个数字为类别，剩下数字为句子内容id。
37.s3：模型训练，搭建卷积层、池化层、全连接层、softmax层。
38.1)卷积层
39.首先输入一个句子，首先进行分词，假设得到s个单词。然后根据已得到的嵌入矩阵m，可以整合得到词向量。假设词向量有d维。那么对于输入的句子，可以得到一个s行d列的矩阵a∈rs
×
d。
40.将矩阵a视为一张图像，使用卷积神经网络去提取a的特征。在这里，由于一个句子中相邻的单词的关联性总是较高，所以卷积核的宽度采用的是词向量的维度d，高度是一个可以设置的超参数。若卷积核是一个宽为d高为h的矩阵w，那么w就有d*h个参数需要被更新。对于一个句子有矩阵a∈rs
×
d。a[i:j]表示a的第i行第j列。卷积操作可表示为:oi＝w
·
a[i:i h-1]，i＝1,2...s-h 1。然后叠加上偏置b，并使用激活函数f激活，得到所需特征，公式为：ci＝f(oi b)。对于一个卷积核，可以得到特征c∈rs-h 1，合计s-h 1个特征。具体实验为了得到更加丰富的特征语义表达，可以使用多个不同高度的卷积核。
[0041]
2)池化层：为了最后特征提取，需要使卷积核维度相同。需要对每个特征图用1-max pooling池化函数，提取出feature map中的最大值。
[0042]
3)全连接层：对所有卷积核都使用：1-max pooling池化函数，再级联起来，可得最终的预测类别数：num_class。
[0043]
4)softmax层：将max-pooling的结果拼接起来,送入到softmax当中,得到各个类别比如label为1的概率以及label为-1的概率。再根据预测label以及实际label来计算损失函数,计算出softmax函数,max-pooling函数,激活函数以及卷积核函数四个函数当中参数需要更新的梯度,来依次更新这四个函数中的参数，完成一轮训练。重复上述步骤直至损失函数训练至最小，完成训练。
[0044]
5)利用测试集进行预测，在测试集或者验证集上对准确率进行准确率评估。根据测试集反应结果反复上述步骤。
[0045]
(3)根据历史咨询数据对知识进行累计，对知识进行高中低频划分，优先覆盖高频咨询问题；当涉及新业务新政策时，主动新增知识点，定期整理知识点查看不同业务线中是否有互通的业务问法；设置智慧客服机器人反问功能，当客户问及到几个业务互通的知识点时，智慧客服机器人进行反问，以客户能够准确地找到想要问的问题分类。具体的，系统对用户提问问题进行分类，深度学习模块自动将用户提问问题进行理解，并对问题进行排名，形成热门问题数量排名。当提升整体业务准确率低于设定需优化阈值的时，系统将热门问题添加进知识库中，并对更新后的知识库进行指标检测，循环上述步骤，直至指标达到正常阈值。系统会自动识别用户问题分类中是否有类似问题问法。当识别到多个场景均有类似问法时，便会自动形成反问系统，用户提问道该问题时，智慧客服机器人问清用户提问的具体是哪个场景，用户选择后，再根据给场景进行详细回答。
[0046]
(4)每个问题的相似问扩充尤为重要，客户对于一个问题的问法有许多种，当客户没有问道机器人设定的标准问，则机器人不能判断用户的问题，用户的问题解决率就会相应的降低。当用户问题解决率低于设定需优化阈值的时，系统根据知识库中已有用户问题进行扩充。通过深度学习算法自动对用户问题进行相似问扩充，并将相似问加入知识库。系统实时检测当前用户问题解决率数值，当数值达到正常阈值时便停止相似问扩充。
[0047]
(5)主要影响机器人独立接待占比的因素是机器人的知识库储备量不足，机器人没有足够的可回答话术时，应答的效率就会大幅度降低。场景分类：管理者需要梳理业务分类，明确有几大业务条线或者业务场景，由粗向精细梳理。去除混淆：在运营过程中，需要关注梳理的内容是否重复，如果涉及多人梳理或者多人运营时，新增知识点同步机制需要建立，避免因重复混淆导致机器人答非所问。知识标签：在梳理的过程中，需要对知识点打标，哪些知识点可由机器人应答，哪些部分(难度，情绪)必须由人工进行应答，在梳理初期就需要进行区分。系统会定是同步线下知识库，将线下知识库的内容对应近智慧客服机器人系统中。当遇到新场景问题，系统会自动识别，并在系统中创建新场景。并和别的场景问题进行知识点混淆检测。当在同一个场景内出现知识混淆的情况，系统会警告管理者进行检测，保留用户提问最优解。当不同场景出现知识混淆问题，系统会自动在机器人问答中形成反问语。当用户问到该问题时，机器人会让用户选择提问的是哪个场景。当机器人独立接待占比数值低于需优化阈值时，系统会立刻同步线下知识库，并优化系统知识库结构和内容。系统实时检测机器人独立接待占比数值，当数值高于正常阈值时便停止知识库同步。
[0048]
(6)管理者设定好该指标对应的解决对策，解决对策包括重新新联语义理解分析模型、重新训练语音识别模型、优化知识库等。当该自定义指标低于需优化阈值时，系统自
动根据上述策略进行优化。若优化需策略人工干预，系统会发出警告提醒管理者进行人工优化。
[0049]
s300，在智慧客服机器人指标低于设定阈值时，优化策略能够对服务质量总体性指标an-psr或自定义指标进行优化，从而提升智慧客服机器人服务能力，其中，服务质量总体性指标an-psr能够通过an-psr＝w*(x*a (1-x)*n) (1-w)*(y*c z*s (1-y z)*r)表示，技术指标简写为语音识别(asr)为a；语义理解(nlu)为n；整体业务准确率(precise)简写为p；问题解决率(solve)简写为s；机器创建人独立接待占(peception)比简写为r。w代表真实业务中技术能力占技术 业务整体能力的比例数值；x代表根据实际业务分析，技术指标中语音识别单字准确率和语义理解准确率的占比；y代表根据实际业务分析，业务指标中准确率占总体业务指标的比例；z代表根据实际业务分析，业务指标中问题解决率占整体业务指标的占比。在语义理解(nlu)指标中：意图准确率是机器人识别到的意图与人工标注意图一直的概率；应答准确率是指机器人应答的消息中应答准确的概率；知识命中率＝(1
–
兜底应答占比)，是指机器人首先理解人类意图，其次进行准确应答，最后用1减去没有应答上来条目数的比例。因此语义识别知识命中率的级别高于意图准确率和应答准确率，故选用知识命中率作为语义理解的技术指标。语音识别(asr)指标中：单字准确率是指一句话中翻译正确的字数占比；热词准确率是指一句话中翻译正确的热词数目的占比；单句准确率是指机器人回答中翻译正确的句数占整段回答的占比。所以单句准确率的概念包含单字准确率和热词准确率。故选用单句准确率(可简写为asr准确率)作为语音识别的技术指标。
[0050]
本技术实施例还提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项智慧客服机器人数据处理方法的步骤。
[0051]
本技术实施例还提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述智慧客服机器人数据处理方法的步骤。
[0052]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。