基于多轮对话的综调工单服务感知智能质检方法及系统与流程

1.本发明涉及自然语言处理技术领域，具体涉及基于多轮对话的综调工单服务感知智能质检方法及系统。


背景技术：

2.运营商领域在一线支撑类领域存在多种知识，如工单智能分类、工单智能质检、问题智能拦截、智能自动排版等。在工单智能质检支撑领域中，质检规则复杂、人工质检内容工作量大、效率低、质检经验沉淀和传递相对困难。为此，提出基于多轮对话的综调工单服务感知智能质检方法及系统。


技术实现要素：

3.本发明所要解决的技术问题在于：如何解决现有技术中存在的质检规则复杂、人工质检内容工作量大、效率低、质检经验沉淀和传递相对困难的问题，提供了基于多轮对话的综调工单服务感知智能质检方法。根据工单中客服与用户会话记录文本信息，通过基于上下文依存的roberta预训练模型进行文本语义表征，结合沟通方式是否合规、是否出现禁忌用语、服务是否周到、是否热情等服务感知质检要求标签，将roberta文本语义表征输入到快速分类fasttext模型中，实现工单文本语义知识增强，从而训练工单信息感知评估模型，同时分类判断支撑服务(质检)是否规范和业务能力是否达标两项任务，实现对综调服务感知质量的自动检测，解决人工抽检覆盖面低问题，提升客户服务感知质量。
4.本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
5.s1：工单信息的数据处理
6.提取出工单信息表中的对话内容和工单号，以及综调工单信息内容表中的支撑服务是否规范标签、业务能力是否达标标签和工单号，将两张表信息根据工单号进行关联匹配构建工单信息数据集；并对工单信息数据集进行数据清洗；再对工单信息对话文本进行去除停用词、分词、文本平衡与去重操作；
7.s2：基于roberta的工单文本语义表征
8.基于roberta预训练模型对经过步骤s1处理后的工单信息对话文本内容中的词汇进行关联上下文语境的语义表征，获取工单信息对话文本中的每个词汇的语义表征向量；
9.s3：fasttext分类模型构建
10.使用fasttext算法进行模型构建，得到fasttext分类模型；
11.s4：模型训练
12.训练时基于支撑服务是否规范标签和业务能力是否达标标签训练工单信息数据，通过使用roberta预训练模型对工单信息进行语义表征后接入到fasttext分类模型中进行模型训练,分别计算支撑服务是否规范和业务能力是否达标的准确率，实现对综调服务感知质量的自动检测。
13.更进一步地，在所述步骤s1中，工单信息数据集中每个工单信息的工单号与工单
信息对话文本，以及综调工单信息内容表中的支撑服务是否规范标签、业务能力是否达标标签和工单号，通过工单号进行关联。
14.更进一步地，在所述步骤s1中，使用正则表达式对工单信息数据集进行数据清洗，按照3：7的比例将工单信息数据集划分为测试集和训练集。
15.更进一步地，在所述步骤s1中，根据工单信息对话文本构造工单质检停用词表、使用jieba分词工具进行分词和去除停用词、然后进行数据平衡和去重操作。
16.更进一步地，在所述步骤s3中，所述fasttext分类模型包括依次连接的一个隐层、输出层与softmax层；其中，工单信息对话文本中的每个词汇基于roberta的语义表征向量输入所述隐层中，经过隐层进行一次非线性变换得到输出层的标签，softmax层用于利用softmax函数计算工单信息属于质检是/否规范、业务能力是/否达标类别的概率。
17.本发明还提供了基于多轮对话的综调工单服务感知智能质检系统，采用上述的质检方法对综调工单服务感知质量进行检测，包括：
18.数据处理模块，用于提取出工单信息表中的对话内容和工单号，以及综调工单信息内容表中的支撑服务是否规范标签、业务能力是否达标标签和工单号，将两张表信息根据工单号进行关联匹配构建工单信息数据集；并对工单信息数据集进行数据清洗；再对工单信息对话文本进行去除停用词、分词、文本平衡与去重操作；
19.语义表征模块，用于基于roberta预训练模型对经过步骤s1处理后的工单信息对话文本内容中的词汇进行关联上下文语境的语义表征，获取工单信息对话文本中的每个词汇的语义表征向量；
20.模型构建模块，用于使用fasttext算法进行模型构建，得到fasttext分类模型；
21.模型训练模块，用于通过使用roberta预训练模型对工单信息进行语义表征后接入到fasttext分类模型中进行模型训练,训练时基于支撑服务是否规范标签和业务能力是否达标标签训练工单信息数据，计算支撑服务是否规范和业务能力是否达标概率，实现对综调服务感知质量的自动检测；
22.控制处理模块，用于向其他模块发出指令，完成相关动作；
23.所述数据处理模块、语义表征模块、模型训练模块、模型构建模块均与控制处理模块通信连接。
24.本发明相比现有技术具有以下优点：该基于多轮对话的综调工单服务感知智能质检方法，针对运营商领域一线支撑类事件，根据工单中客服与用户会话记录文本信息，通过基于上下文依存的roberta预训练模型进行文本语义表征，结合沟通方式是否合规、是否出现禁忌用语、服务是否周到、是否热情等服务感知质检要求标签，将roberta文本语义表征输入到快速分类fasttext模型中，实现工单文本语义知识增强，从而训练工单信息感知评估模型，同时分类判断支撑服务是否规范和业务能力是否达标两项任务，实现对综调服务感知质量的自动检测，解决人工抽检覆盖面低问题，提升客户服务感知质量，值得被推广使用。
附图说明
25.图1是本发明实施例中基于多轮对话的综调工单服务感知智能质检方法的流程示意图；
26.图2是本发明实施例中fasttext分类模型结构示意图。
具体实施方式
27.下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
28.实施例一
29.如图1所示，本实施例提供一种技术方案：基于多轮对话的综调工单服务感知智能质检方法，包括工单信息的数据处理、基于roberta的工单文本语义表征、增强知识的fasttext分类模型构建等主要步骤，具体如下：
30.1.1工单信息的数据处理
31.首先通过手动从系统后台数据中导出工单信息表中的对话内容和工单号，以及综调工单信息内容表中的支撑服务是否规范标签、业务能力是否达标标签和工单号，支撑服务是否规划、业务能力是否达标通过人工质检打的标签，从而将两张表信息根据工单号进行关联匹配构建工单信息数据集，包括工单信息对话文本、支撑服务是否规范标签、业务能力是否达标标签。然后本发明对关联匹配好的工单信息使用正则表达式进行数据清洗，按照3：7将工单信息数据集划分为测试集和训练集。得到的数据形式如：“装维人员：#装维人员：您的问题已处理，是否可以办结？如果可以请确认，如果不可以请选择继续提问。#装维人员：您的问题工单综调已办结，如满意请给好评，谢谢！#客户：问题已经解决了，请办结吧”，其中含有了很多“的”、“吧”等停用词，根据工单信息对话文本构造工单质检停用词表、使用jieba分词工具进行分词和加载停用词表去除停用词，清洗后的数据形式如：“装维人员问题已处理是否可以办结如果可以请确认如果不可以请选择继续提问装维人员问题工单综调已办结如满意请给好评谢谢客户问题已经解决请办结”，然后对清洗好的数据集进行数据平衡和去重操作。
32.1.2基于roberta的工单文本语义表征
33.基于roberta预训练模型对处理好的工单信息中的文本内容进行语义表征，roberta预训练模型是基于bert预训练模型的改进版，主要是调整学习率，同时使用了更大的数据进行模型的训练，从16gb增加到160gb，在模型中采用了更大的批次进行实验，还以动态mask的方式替代静态mask，加快了模型的训练和提升模型的性能。具体地，本发明基于roberta预训练模型的微调，通过使用roberta预训练模型对工单信息对话文本内容中的词汇进行关联上下文语境的语义表征。
34.1.3增强知识的fasttext分类模型构建
35.fasttext的模型架构相对简单，就是一层词嵌入的隐层和输出层，它的网络结构如图2所示。
36.其中，w(1)到w(n)是工单信息中的每个词基于roberta的语义表征向量，相比传统fasttext模型直接使用随机初始化词嵌入语义，本发明将基于roberta的工单信息对话文本语义表征作为模型的输入，可以起到增强文本语义知识的作用。因此在本发明中工单信息所表示的内容则是所有词汇基于roberta的语义表征向量累加后的均值表示，即：
[0037][0038]
然后通过隐层再进行一次非线性变换即可得到输出层的标签z：
[0039]
z＝sigmoid(woh)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0040]
其中，wo表示从隐层到输出层的权重。
[0041]
由于工单质检任务包括质检是否规范、业务能力是否达标。因此最终在模型训练阶段，分别基于支撑服务是否规范标签和业务能力是否达标标签训练工单信息数据。再经过增强知识的fasttext分类模型后，本发明加入一层softmax函数用于计算工单信息属于哪一个类别的概率y：
[0042]
y＝softmax(z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0043]
最终通过使用roberta预训练模型对工单信息进行语义表征后接入到fasttext分类模型中进行模型训练，计算支撑服务是否规范和业务能力是否达标概率，实现对综调服务感知质量的自动检测。
[0044]
在本实施例中，通过与已有的fasttext模型进行对比，采用roberta预训练模型对工单信息融合全文语义信息，实现增强知识的工单文本语义表征，从而在运营商领域事件上进行文本分类性能对比，采用分类的准确率作为评价指标：
[0045][0046]
其中，tp表示为真实标签和预测标签都是正确的工单信息条数；fn表示真实标签为正确的，预测标签为错误的工单信息条数；tn表示真实标签和预测标签都是错误的工单信息条数；fp表示真实标签为错误的，预测标签为正确的工单信息条数。
[0047]
在本实施例中，本方法文本表示具有融合全文语义信息，然后接入训练速度快且准确度较好的fasttext模型，在支撑服务是否规范、业务能力是否达标两项质检上的准确率分别达到了0.9363、0.9215，相对于传统的fasttext文本分类算法，本发明的准确率在这两项质检任务上准确率分别提升了1.87％、1.58％。
[0048]
综上所述，上述实施例的基于多轮对话的综调工单服务感知智能质检方法，针对运营商领域一线支撑类事件，根据工单中客服与用户会话记录文本信息，通过基于上下文依存的roberta预训练模型进行文本语义表征，结合沟通方式是否合规、是否出现禁忌用语、服务是否周到、是否热情等服务感知质检要求标签，将roberta文本语义表征输入到快速分类fasttext模型中，实现工单文本语义知识增强，从而训练工单信息感知评估模型，同时分类判断支撑服务(质检)是否规范和业务能力是否达标两项任务，实现对综调服务感知质量的自动检测，解决人工抽检覆盖面低问题，提升客户服务感知质量，值得被推广使用。
[0049]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。