一种服务质检方法、装置、设备及存储介质与流程

1.本技术涉及智能客服技术领域，尤其涉及一种服务质检方法、装置、设备及存储介质。


背景技术：

2.随着人工智能的发展，为用户提供服务的方式从传统的人工电话的单一渠道向多元化渠道逐步发展，越来越多的企业开始使用智能客服的形式提供服务。
3.相关技术中，对于服务质检，一种方式是基于满意度，这种检测方式需要用户填写满意度，但现网服务中存在很大比例的服务中的用户是没有填写满意度的，因而存在回收率问题；另一种方式是基于一次解决率，这种评估方式仅关注用户是否再次请求客服服务，不够系统和全面，且用来评估特定业务集的准确率也较低，因为特定业务集的用户会频繁进行客诉，例如封号问题、风控问题等特定业务，造成可用性较低。


技术实现要素：

4.本技术提供一种服务质检方法、装置、设备及存储介质，将多轮会话的会话文本与预先提取的会话特征使用不同网络模型进行综合处理，可以提取到客服与用户之间会话的更多信息，而不受限于用户反馈数据和特殊业务，提高了可用性和准确性。
5.一方面，本技术提供了一种服务质检方法，所述方法包括：
6.获取与目标服务有关的m轮会话中每轮会话的句向量组，所述句向量组包括客服侧句向量组和用户侧句向量组，m为大于或等于1的自然数；
7.获取对所述m轮会话的会话数据进行特征提取所得到的特征向量组；
8.将m个所述客服侧句向量组和m个所述用户侧句向量组输入至文本编码网络中，通过所述文本编码网络得到目标会话向量，其中，所述文本编码网络是预先基于分层注意网络构建的；
9.将所述特征向量组输入至特征编码网络，通过所述特征编码网络得到目标特征向量，其中，所述特征编码网络与所述文本编码网络使用不同的网络模型；
10.根据所述目标会话向量和所述目标特征向量，确定所述目标服务的质检结果。
11.另一方面提供了一种服务质检装置，所述装置包括：
12.文本向量获取模块，用于获取与目标服务有关的m轮会话中每轮会话的句向量组，所述句向量组包括客服侧句向量组和用户侧句向量组，m为大于或等于1的自然数；
13.特征向量获取模块，用于获取对所述m轮会话的会话数据进行特征提取所得到的特征向量组；
14.文本编码模块，用于将m个所述客服侧句向量组和m个所述用户侧句向量组输入至文本编码网络中，通过所述文本编码网络得到目标会话向量，其中，所述文本编码网络是预先基于分层注意网络构建的；
15.特征编码模块，用于将m个所述特征向量组输入至特征编码网络，通过所述特征编
码网络得到目标特征向量，其中，所述特征编码网络与所述文本编码网络使用不同的网络模型；
16.服务质检模块，用于根据所述目标会话向量和所述目标特征向量，确定所述目标服务的质检结果。
17.另一方面提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行如上所述的服务质检方法。
18.另一方面提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的服务质检方法。
19.本技术实施例利用文本编码网络对句向量组进行处理得到目标会话向量，利用不同于文本编码网络的特征编码网络对特征向量组进行处理得到目标特征向量，基于目标会话向量和目标特征向量确定目标服务的质检结果。采用多编码网络对对会话文本即句向量组和会话特征即特征向量组进行处理，且将对话文本划分为用户侧和客服侧，通过多维度的信息输入，使得服务质检模型可以学习到用户和客服之间m轮会话中更多且更细的特征，进而使所得到的质检结果具有更明确的分类结果；而且文本编码网络基于分层注意网络构建，利用分层注意网络的分层架构可以较好的对会话文本这种具有层次结构的数据进行编码，在分类效果上有更好的表现，进而提升了质检的准确性。同时，句向量组和特征向量组均是基于目标服务有关的多轮会话中得到，不受限于用户反馈数据这种具有主观性的数据以及特殊业务，提高了可用性。
附图说明
20.为了更清楚地说明本技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
21.图1是本技术实施例提供的一种服务质检系统的结构示意图。
22.图2是本技术实施例提供的一种服务质检模型的结构示意图。
23.图3是本技术实施例提供的文本编码网络的结构示意图。
24.图4是本技术实施例提供的另一种服务质检模型的结构示意图。
25.图5是本技术实施例提供的一种服务质检方法的流程示意图。
26.图6是本技术实施例提供的通过文本编码网络得到目标会话向量的流程示意图。
27.图7是本技术实施例提供的对客服侧句向量进行编码融合处理的流程示意图。
28.图8是本技术实施例提供的对用户侧句向量进行编码融合处理的流程示意图。
29.图9是本技术实施例提供的通过会话表达子网络得到目标会话向量的流程示意图。
30.图10是本技术实施例提供的确定目标服务的质检结果的流程示意图。
31.图11是本技术实施例提供的另一种服务质检方法的流程示意图。
32.图12是本技术实施例提供的一种服务质检装置的结构示意图。
33.图13是本技术实施例提供的另一种服务质检装置的结构示意图。
34.图14是本技术实施例提供的一种用于实现本技术实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
35.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
36.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
37.本技术实施例提供的技术方案涉及人工智能的机器学习(machine learning，ml)技术。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
38.本技术实施例提供的技术方案在质检模型中使用了机器学习中的人工神经网络技术。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
39.本技术实施例提供的技术方案涉及人工智能的智能客服应用领域。服务质检作为日常考核和服务流程优化的依据，在智能客服领域中占据着非常重要的作用。相关技术中，对于服务质检，一种方式是基于满意度，满意度是指在服务结束时让用户对服务情况进行评价，也即这种检测方式需要用户填写满意度，但现网服务中存在很大比例的服务中的用户是没有填写满意度的，因而存在回收率问题；另一种方式是基于一次解决率，一次解决率是指统计用户本次服务完成后一定时间内是否再次请求客服服务，也即这种评估方式仅关注用户是否再次请求客服服务，不够系统和全面，且用来评估特定业务集的准确率也较低，因为特定业务集的用户会频繁进行客诉，例如封号问题、风控问题等特定业务，造成可用性较低。
40.有鉴于此，本技术实施例中提供一种服务质检方法以解决上述的问题。为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围
41.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
42.请参阅图1，其示出了一种服务质检系统的结构示意图。如图1所示，该系统可以包括客户端10、服务器20以及数据库30，其中，服务器20分别通过通信网络与客户端10和数据库30进行通信，可选地，通信网络可以是有线网络也可以是无线网络。
43.客户端10可以是智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、监控设备及语音交互设备等类型的设备。客户端10中安装有支持会话功能的应用程序11，用户可以通过运行应用程序11与智能客服进行会话，智能客服可以是客服人员或者ai客服。
44.服务器20可以是独立运行的服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。在一个可能的实施方式中，服务器20可以是客户端10中应用程序11的后台服务器。
45.如图1所示，用户可以通过运行应用程序11显示智能客服的用户界面，用户可在用户界面中输入会话句子或者输入会话语音与智能客服进行会话，以进行问题的咨询或解决。在会话结束后，客户端10将用户与智能客服之间m轮会话的会话句子(可以包括将会话语音转换成的会话句子)或会话语音发送至服务器20；服务器20基于对m轮会话的会话句子或会话语音生成客服工单存储至数据库30中。可以理解的，用户与智能客服之间可能仅进行一轮会话就完成本次服务，因而m为大于或等于1的自然数。
46.当需要对目标服务进行质检时，服务器20获取与目标服务有关的特征向量组以及m轮会话中每轮会话的句向量组，然后根据句向量组和特征向量组，利用预先构建的服务质检模型进行质检。句向量组表征会话文本，服务器将每轮会话的句向量组分为客服侧a和用户侧u，也即句向量组包括客服侧句向量组和用户侧句向量组，特征向量组是基于m轮会话中每轮会话的会话数据进行特征提取所得到的，会话数据表征会话句子和/或会话语音。其中，目标服务是指客服对目标用户所提供的服务。可以理解的，目标服务可以是整个客服工单所涉及的所有服务，也可以是客服工单中的一部分服务。
47.为了更好的对目标服务进行质检，本技术实施例构建了一个联合多轮文本特征的服务质检模型，该模型从多轮会话文本和对多轮会话文本所提取的文本特征两个方面实现对质检的信息抽取。
48.请参阅图2，其为一种服务质检模型的结构示意图，服务器基于该模型进行目标服务的质检。如图2所示，该模型可以包括输入层、多轮会话文本编码层、会话特征编码层以及组合分类层。其中，输入层中可以包括两部分的输入，一是目标服务的会话文本即每轮会话的句向量组，二是会话特征即特征向量组；多轮会话文本编码层用于利用m个客服侧句向量
组和m个用户侧句向量组，得到目标会话向量；会话特征编码层用于利用特征向量组，得到目标特征向量；组合分类层用于根据目标会话向量和目标特征向量，确定目标服务的质检结果。
49.本技术实施例中，多轮会话文本编码层采用文本编码网络分别对m个客服侧句向量组和m个用户侧句向量组进行编码、融合以及交互等处理，得到目标会话向量，其中，文本编码网络是预先基于分层注意网络(hierarchical attention networks，han)构建的；会话特征编码层采用特征编码网络对特征向量组进行处理，得到目标特征向量，其中，特征编码网络与文本编码网络使用不同的网络模型。
50.现有技术方案中，对于多轮会话文本的组合分类，通常是多轮会话拼接后的单轮文本分类以及单一的特征提取编码方式，分类效果欠佳。而han的分层架构可以较好的对会话文本这种具有层次结构的数据进行编码，在分类效果上有很好的表现。
51.具体请参阅图3，其为文本编码网络的结构示意图。如图3所示，文本编码网络可以包括第一编码子网络、第二编码子网络以及会话表达子网络。其中，第一编码子网络用于对客服侧输入的m个客服侧句向量组进行编码融合处理，得到第一会话向量(asentemb)；第二编码子网络用于对用户侧输入的m个用户侧句向量组进行编码融合处理，得到第二会话向量(usentemb)；会话表达子网络用于将第一会话向量和第二会话向量进行融合处理，得到目标会话向量(sessionemb)。
52.第一编码子网络和第二编码子网络的编码融合处理均包括编码处理和融合处理两部分。在进行编码处理时，第一编码子网络和第二编码子网络中的编码层可以采用不同的编码器，也可以采用相同的编码器。在进行融合处理时，第一编码子网络和第二编码子网络中的融合层可以采用不同的融合操作，也可以采用相同的融合操作。通过采取多种编码器和不同融合操作构成的混合网络可以提取到会话文本中不同的特征。其中，编码层可以支持的编码器可以包括gru(gated recurrent unit，门控循环单元)、lstm(long short term memory，长短记忆)、cnn(convolutional neural networks，卷积神经网络)、lstm_attention(指在lstm的基础上增加了attention层即注意力层)、transformer、cnn_lstm(指cnn与lstm相结合)、cnn_topk(指cnn与topk算法相结合)、sru(simple recurrent units，简单循环单元)以及swem(simple word-embedding model，简单词向量模型)等等；融合层采用的融合操作可以包括self_attention(自注意力)、label_attention(标签注意力)、routing_attention(路由注意力)、leam以及mean等等。
53.会话表达子网络的融合处理可以是直接对第一会话向量和第二会话向量进行融合处理，也可以是先对第一会话向量和第二会话向量进行交互处理后再进行融合处理。如图3中，可以通过交互层实现交互处理，通过第三融合层实现融合处理。其中，交互层中可以包含concat(拼接)、multi_head_attention(多头注意力)、esim(enhanced sequential inference model，人机对话模型)等几种交互方式；与第二编码子网络或第一编码子网络中融合层所采用的融合操作相同，第三融合层中采用的融合操作也可以包括self_attention、label_attention、leam、mean以及routing_attention等等。
54.对于会话特征编码层，由于特征向量组表征一个或多个低阶的组合特征，例如客服特征、语音特征等等，这些组合特征意义明确且高效，而深度模型学习到的特征都是高度非线性的高阶的组合特征。因而特征编码网络可以采用dcn(deep&cross network，跨尺度
变形网络)、mlp(multi-layer perceptron，多层神经网络)、nfm(neural factorization machine，神经网络分解机)以及deepfm(deep factorization machine，深度分解机)等编码操作，使得所得到的目标特征向量(featureemb)可以学习到高阶的组合特征。
55.经过多轮会话文本编码层和会话特征编码层得到了sessionemb和featureemb两种向量，组合分类层可以将这两种向量进行拼接或池化后再连接等方式得到目标分类向量，然后对目标分类向量进行分类处理，即可确定出目标服务的质检结果。
56.如图4所示，其为另一种服务质检模型的结构示意图。在图4中，组合分类层可以包括特征组合层和分类层，特征组合层用于将sessionemb和featureemb两种向量进行拼接或池化后再连接等方式进行处理得到目标分类向量，分类层用于对目标分类向量进行分类处理，以确定客服工单的质检结果。其中，分类处理可以包括二分类处理或多分类处理，相应的，质检结果可以是二分类结果或多分类结果，不同分类结果表征不同服务等级。例如，二分类结果可以是“点赞”或“点踩”，多分类结果可以是“非常好”、“较好”、“一般”、“较差”或“差”等等。可以理解的，二分类结果或多分类结果也可以是任意字母或数字，可以根据字母或数字确定是那种服务等级。
57.在上述技术方案中，在对目标服务进行质检时，服务器基于服务质检模型，采用不同的编码网络对会话文本和会话特征进行处理，且将对话文本划分为用户侧和客服侧，使得模型可以学习到用户和客服之间m轮会话中更多且更细的特征，使所得到的质检结果具有更明确的分类结果。而且han的分层架构可以较好的对会话文本这种具有层次结构的数据进行编码，在分类效果上有更好的表现，进而提升了质检的准确性。
58.为便于描述，以下以服务器为执行主体为例对下述各个实施例中的服务质检方法进行说明。本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
59.请参阅图5，其示出了本技术实施例提供的一种服务质检方法的流程示意图。如图5所示，该方法可以包括：
60.s501，获取与目标服务有关的m轮会话中每轮会话的句向量组，句向量组包括客服侧句向量组和用户侧句向量组，m为大于或等于1的自然数。
61.本技术实施例中，目标服务是指客服为与目标用户所提供的服务。可以理解的，目标服务可以是为目标用户提供的所有服务，也即客服与目标用户之间会话结束所生成的客服工单中的所有服务。在一些实施方式中，目标服务也可以是为客服工单中客服为目标用户提供的部分服务，也即客服与目标用户之间会话结束所生成的客服工单中的部分服务。
62.每轮会话的句向量组表征每轮会话的会话文本即会话句子。客服侧句向量组中包括一个或多个客服侧句向量，客服侧句向量表征客服侧会话句子，客服侧会话句子可以是客服的会话句子或者客服的会话语音所转换而成的会话句子；用户侧句向量组中包括一个或多个用户侧句向量，用户侧句向量表征用户侧会话句子，用户侧会话句子可以是用户的会话句子或者用户的会话语音所转换而成的会话句子。
63.如图2中，若用uj(j＝1,2,
…
,m)表示第j轮会话的用户侧句向量组，用u
ji
表示第j
轮会话中的第i个用户侧句向量，若第j轮会话的用户侧句向量组中用户侧句向量个数为n，则uj可以表示为{u
j1
,u
j2
,
…
,u
jn
}。同理，若用aj(j＝1,2,
…
,m)表示第j轮会话的客服侧句向量组，用a
ji
表示第j轮会话中的第i个客服侧句向量，若第j轮会话的客服侧句向量组中客服侧句向量个数为n，则aj可以表示为{a
j1
,a
j2
,
…
,a
jn
}。
64.可以理解的，在目标服务仅有1轮会话的情况下，存在只有1个会话句子或会话语音的情况，也即存在客服侧句向量组中的客服侧句向量和用户侧句向量组中的用户侧句向量的总数为1的情况。例如，客服主动联系用户，询问用户的订单信息，但客服长时间没有收到用户的回复，客服与用户之间的会话可能会基于超时等机制导致会话结束，客户端基于客服询问用户的订单信息的会话句子或会话语音生成客服工单，则该客服工单只包含一个服务也即1轮会话。那么，客服侧句向量组中仅有一个客服侧句向量，该客服侧句向量表征询问用户的订单信息的会话句子，而由于用户没有进行任何会话，因而用户侧句向量组中的用户侧句向量的个数为零。
65.s503，获取对m轮会话进行特征提取所得到的特征向量组。
66.本技术实施例中，特征向量组可以是预先就对m轮会话进行特征提取所得到的，也可以是实时进行特征提取所得到的，特征向量组可以包括各类数值特征和背景(bgm)特征组成的特征向量。服务器可以采用特征工程技术对m轮会话的每轮会话的会话数据进行特征提取，得到各类数值特征；然后将每类数值特征进行嵌入表示，得到每类数值特征对应的特征向量。服务器可以通过对m轮会话所涉及的会话业务、客服信息和用户信息进行特征提取，得到背景特征对应的特征向量；服务器将每类数值特征对应的特征向量以及背景特征对应的特征向量，组合为特征向量组。如图2中，若用fj(j＝1,2,
…
,k)表示第j个特征向量，k为特征向量的个数，则特征向量组f可以表示为{f1,f2,
…
,fk}。
67.背景特征表征客服的背景信息、用户的背景信息或会话业务的属性信息，例如用户是否是新用户、客服是否是新员工、会话业务是否是新业务、客服历史服务记录信息以及用户是否重复咨询等。
68.数值特征可以包括文本特征、客服特征、用户特征、工单特征以及语音特征等几类特征。其中，文本特征表征m轮会话的文本信息，例如客服每句话平均词数、用户每句话平均词数等；客服特征表征客服的会话特征，例如客服重复话术概率、客服不耐烦概率等；用户特征表征用户的会话特征，例如用户说话时长、用户与客服交互次数等；工单特征表征目标服务所涉及的客服工单的属性特征，例如客服工单类型、是否重复来单等；语音特征表征客服或用户会话语音的信息，例如过零率最小值、过零率最大值等。具体实施时还可以提取更多的数值特征，可以理解的，数值特征的类别或粒度越细，模型进行信息抽取所获得的准确度也将更高。
69.s505，将m个客服侧句向量组和m个用户侧句向量组输入至文本编码网络中，通过文本编码网络得到目标会话向量，其中，文本编码网络是预先基于分层注意网络构建的。
70.分层注意网络的分层架构可以较好的对会话文本这种具有层次结构的数据进行编码，从而得到更准确的会话向量表示。可以利用文本编码网络将m个客服侧句向量组和m个用户侧句向量组进行融合，然后利用分层注意网络对融合后的向量进行操作，得到目标会话向量。
71.而为了提取客服侧和用户侧不同的特征表现，文本编码网络也可以通过使用不同
的编码子网络分别对m个客服侧句向量组和m个用户侧句向量组进行编码处理，然后再对分别进行编码处理所得到的两个向量进行融合处理，得到目标会话向量。其中，编码子网络的架构与分层注意网络相似，如图2所示中，文本编码网络可以包括第一编码子网络、第二编码子网络以及会话表达子网络，第一编码子网络和第二编码子网络采用与分层注意网络相似的网络模型。
72.鉴于此，在一个可能的实施方式中，如图6所示，步骤s505在实施时可以具体包括：
73.s5051，利用第一编码子网络对m个客服侧句向量组进行编码融合处理，得到第一会话向量。
74.第一会话向量表征m轮会话中客服侧的会话信息，第一编码子网络可以对每个客服侧句向量组中的客服侧句向量进行编码，得到每个客服侧句向量对应的编码向量；然后将各个客服侧句向量对应的编码向量直接进行融合得到第一会话向量。对客服侧句向量进行编码也即进行句子层级的编码处理，而每轮会话有不同的会话表示，若直接将句子层级的编码处理结果进行融合，可能会忽略掉会话层级的特征。
75.基于上述描述，在一个可能的实施方式中，如图7所示，步骤s5051在具体实施时，可以包括：
76.s50511，对于每个客服侧句向量组中的每个客服侧句向量，按照第一预设编码方式对客服侧句向量进行编码，得到客服侧句向量对应的编码向量；
77.s50512，对于每个客服侧句向量组，将客服侧句向量组中的各个客服侧句向量对应的编码向量进行第一融合操作，得到客服侧句向量组对应的融合向量；
78.s50513，按照第二预设编码方式对m个客服侧句向量组对应的融合向量进行编码，得到第一会话向量。
79.如图3所示，第一编码子网络可以包括第一编码层、第一融合层以及第二编码层。服务器可以利用第一编码层实施步骤s50511中的操作，利用第一融合层实施步骤s50512中的操作，以及利用第二编码层实施步骤s50513中的操作。通过第一编码层可以实现句子层级的编码处理；然后通过第一融合层实现对每轮会话所涉及的所有句子层级的编码向量进行融合，可以得到会话层级的向量表示asentemb；再利用第二编码层实现对会话层级的编码处理，得到第一会话向量。
80.s5053，利用第二编码子网络对m个用户侧句向量组进行编码融合处理，得到第二会话向量。
81.第二会话向量表征m轮会话中用户侧的会话信息，第二编码子网络可以对每个用户侧句向量组中的用户侧句向量进行编码，得到每个用户侧句向量对应的编码向量；然后将各个用户侧句向量对应的编码向量直接进行融合得到第二会话向量。对用户侧句向量进行编码也即进行句子层级的编码处理，而每轮会话有不同的会话表示，若直接将句子层级的编码处理结果进行融合，可能会忽略掉会话层级的特征。
82.基于上述描述，在一个可能的实施方式中，如图8所示，步骤s5053在具体实施时，可以包括：
83.s50531，对于每个用户侧句向量组中的每个用户侧句向量，按照第三预设编码方式对用户侧句向量进行编码，得到用户侧句向量对应的编码向量；
84.s50532，对于每个用户侧句向量组，将用户侧句向量组中的各个用户侧句向量对
应的编码向量进行第二融合操作，得到用户侧句向量组对应的融合向量；
85.s50533，按照第四预设编码方式对m个用户侧句向量组对应的融合向量进行编码，得到第二会话向量。
86.继续如图3所示，第二编码子网络可以包括第三编码层、第二融合层以及第四编码层。服务器可以利用第三编码层实施步骤s50531中的操作，利用第二融合层实施步骤s50532中的操作，以及利用第四编码层实施步骤s50533中的操作。通过第三编码层可以实现句子层级的编码处理；然后通过第二融合层实现对每轮会话所涉及的所有句子层级的编码向量进行融合，可以得到会话层级的向量表示usentemb；再利用第四编码层实现对会话层级的编码处理，得到第二会话向量。
87.需要说明的是，上述各实施方式中的第一编码层、第二编码层、第三编码层以及第四编码层中所采用的编码器均可以包括gru、lstm、cnn、lstm_attention、transformer、cnn_lstm、cnn_topk、sru、swem等，且第一编码层、第二编码层、第三编码层以及第四编码层中所采用的编码器可以相同，也可以不同。另外，第一融合层中所使用的第一融合操作以及第二融合层中所使用的第二融合操作可以包括self_attention、label_attention、leam、mean、routing_attention等，且第一融合操作和第二融合操作可以相同，也可以不同。
88.s5055，通过会话表达子网络将第一会话向量和第二会话向量进行融合处理，得到目标会话向量。
89.目标会话向量表征m轮会话的会话信息，融合处理是指对第一会话向量和第二会话向量进行融合操作。会话表达子网络可以将第一会话向量和第二会话向量直接进行融合操作得到目标会话向量，也可以先将第一会话向量和第二会话向量进行交互处理后再进行融合操作得到目标会话向量。
90.如图9所示，在一个可能的实施方式中，步骤s5055在具体实施时可以包括：
91.s50551，按照预设交互方式对第一会话向量和第二会话向量进行交互处理，得到第三会话向量；
92.s50552，对第三会话向量进行第三融合操作，得到目标会话向量。
93.继续如图3所示，会话表达子网络可以包括交互层和第三融合层，服务器可以利用交互层实现步骤s50551中的操作，利用第三融合层实现步骤s50552中的操作。其中，交互层中的预设交互方式可以包括concat、multi_head_attention以及esim等，第三融合层中所使用的第三融合操作可以包括self_attention、label_attention、leam、mean以及routing_attention等。
94.s507，将特征向量组输入至特征编码网络，通过特征编码网络得到目标特征向量，其中，特征编码网络与文本编码网络使用不同的网络模型。
95.本技术实施例中，由于特征向量组是一些数值特征对应的特征向量和背景特征对应的特征向量组成的，因而特征编码网络所采用的网络模型不同与文本编码网络所采用的网络模型。例如，特征编码网络可以采用dcn、mlp、nfm以及deepfm等网络模型。
96.s509，根据目标会话向量和目标特征向量，确定目标服务的质检结果。
97.服务器利用组合分类层将目标会话向量和目标特征向量进行拼接或池化后再连接等方式得到目标分类向量，然后对目标分类向量进行分类处理，即可确定出目标服务的质检结果。
98.因而，在一个可能的实施方式中，如图10所示，步骤s509在具体实施时可以包括：
99.s5091，将目标会话向量和目标特征向量拼接为目标分类向量；
100.s5092，调用目标分类网络对目标分类向量进行二分类或多分类处理，得到目标服务的质检结果。
101.参照图4中所示，组合分类层可以包括特征组合层和分类层，特征组合层可以实现步骤s5091的操作，分类层可以实现步骤s5092的操作。分类层所采用的目标分类网络可以是二分类网络或多分类网络，相应的，质检结果可以是二分类结果或多分类结果，不同分类结果表征不同服务等级。例如，二分类结果可以是“点赞”或“点踩”，多分类结果可以是“非常好”、“较好”、“一般”、“较差”或“差”等等。可以理解的，二分类结果或多分类结果也可以是任意字母或数字，然后可以根据字母或数字确定是那种服务等级。
102.在实际应用中，用户与客服在进行会话时，可以直接输入会话句子，也可以输入会话语音，用户与客服之间的会话结束后，若每轮会话中包括会话语音，客户端可以将会话语音转换为会话句子，然后将每轮会话的所有会话句子发送给服务器。在一些实施方式中，客户端也可以不对会话语音处理，由服务器端将会话语音转换为会话句子。
103.基于以上描述，在一个可能的实施方式中，如图11所示，步骤s501在实施之前还可以包括：
104.s1101，获取与目标服务有关的m轮会话中每轮会话的会话数据；
105.s1102，对于每轮会话的会话数据，利用预设语音识别模型将会话数据中的会话语音进行识别，以确定每轮会话的句向量组。
106.其中，每轮会话中的会话数据可以包括会话句子和/或会话语音。对于每轮会话的会话数据，服务器可以基于会话数据确定该轮会话对应的会话句子组，让后将会话句子组中的每个会话句子用向量表示，得到该会话句子对应的句向量，由所有会话句子对应的句向量构成该轮会话的句向量组。
107.对于会话句子组的确定，服务器可以先识别该会话数据中是否包含有会话语音，若包含有会话语音，则利用预设语音识别模型将会话语音转换为会话句子，然后再识别会话数据中是否包含有会话句子，若是，则将转换所得到的会话句子和会话数据中的会话句子确定为该轮会话对应的会话句子组。如果会话数据中未包含有会话语音，也即该轮对话仅包含有会话句子，则将会话数据中的会话句子确定为该轮会话对应的会话句子组。如果会话数据中未包含有会话句子，也即该轮对话仅包含有会话语音，则将转换所得到的会话句子确定为该轮会话对应的会话句子组。
108.上述各实施方式中，服务器所采用的服务质检模型利用不同的编码网络实现对会话文本和会话特征的融合处理，进而得到目标服务质检结果。为了说明利用不同编码网络进行融合处理所得到的质检结果具有更高的准确性，对于相同业务数据，对采用不同的编码网络组合所构成的服务质检模型进行了效果评估。如表1所示，其为服务质检模型的效果评估结果。
109.表1
[0110][0111]
其中，precision表征模型的准确率；recall表征模型的召回率；f1值表征模型的准确率和召回率的调和均值，相当于准确率和召回率的综合评价指标。由表1可以看出，服务质检模型通过对数值特征、多轮文本特征以及背景特征等多种特征进行融合，再结合不同的编码网络，可以使得之间模型具有更高的准确率。
[0112]
如上表中，当不使用多轮文本的内容，仅根据所提取的特征进行质检时，也即仅使用特征编码网络，f1值达到最低，也即仅通过特征编码网络使用dcn进行质检；而服务质检模型使用多轮文本与特征相结合的多网络相结合方式的f1值，均高于只使用特征编码网络的f1值，且准确率可达到80％ ，这不仅是由于多模型融合所产生的效果，也是由于han的分层架构更符合会话这种具有层次结构的应用所带来优势。
[0113]
由于该服务质检模型具有较高的准确率，在对目标服务进行质检时可以很大程度上减轻人工质检的压力。在具体实施时，也可以通过该该服务质检模型进行初步筛选，然后通过质检人员进行复检的方式可以实现目标服务的百分百质检覆盖。
[0114]
由上述实施例提供的技术方案可见，本技术实施例利用文本编码网络对句向量组进行处理得到目标会话向量，利用不同于文本编码网络的特征编码网络对特征向量组进行处理得到目标特征向量，基于目标会话向量和目标特征向量确定目标服务的质检结果。采用多编码网络对对会话文本即句向量组和会话特征即特征向量组进行处理，且将对话文本划分为用户侧和客服侧，通过多维度的信息输入，使得服务质检模型可以学习到用户和客服之间m轮会话中更多且更细的特征，进而使所得到的质检结果具有更明确的分类结果；而且文本编码网络基于分层注意网络构建，利用分层注意网络的分层架构可以较好的对会话文本这种具有层次结构的数据进行编码，在分类效果上有更好的表现，进而提升了质检的准确性。同时，句向量组和特征向量组均是基于目标服务有关的多轮会话中得到，不受限于用户反馈数据这种具有主观性的数据以及特殊业务，提高了可用性。
[0115]
基于与上述方法实施例相同的发明构思，本技术实施例还提供了一种服务质检装置，参照图12中所示，该装置1200可以包括：
[0116]
文本向量获取模块1210，用于获取与目标服务有关的m轮会话中每轮会话的句向
量组，句向量组包括客服侧句向量组和用户侧句向量组，m为大于或等于1的自然数；
[0117]
特征向量获取模块1220，用于获取对m轮会话的会话数据进行特征提取所得到的特征向量组；
[0118]
文本编码模块1230，用于将m个客服侧句向量组和m个用户侧句向量组输入至文本编码网络中，通过文本编码网络得到目标会话向量，其中，文本编码网络是预先基于分层注意网络构建的；
[0119]
特征编码模块1240，用于将m个特征向量组输入至特征编码网络，通过特征编码网络得到目标特征向量，其中，特征编码网络与文本编码网络使用不同的网络模型；
[0120]
服务质检模块1250，用于根据目标会话向量和目标特征向量，确定目标服务的质检结果。
[0121]
在一个可能的实施方式中，文本编码网络可以包括第一编码子网络、第二编码子网络以及会话表达子网络。相应的，文本编码模块1230可以包括：
[0122]
客服侧编码单元，用于利用第一编码子网络对m个客服侧句向量组进行编码融合处理，得到第一会话向量；
[0123]
用户侧编码单元，用于利用第二编码子网络对m个用户侧句向量组进行编码融合处理，得到第二会话向量；
[0124]
目标向量生成单元，用于通过会话表达子网络将第一会话向量和第二会话向量进行融合处理，得到目标会话向量。
[0125]
在一个可能的实施方式中，客服侧编码单元可以包括：
[0126]
第一编码单元，用于对于每个客服侧句向量组中的每个客服侧句向量，按照第一预设编码方式对客服侧句向量进行编码，得到客服侧句向量对应的编码向量；
[0127]
第一融合单元，用于对于每个客服侧句向量组，将客服侧句向量组中的各个客服侧句向量对应的编码向量进行第一融合操作，得到客服侧句向量组对应的融合向量；
[0128]
第二编码单元，用于按照第二预设编码方式对m个客服侧句向量组对应的融合向量进行编码，得到第一会话向量。
[0129]
在一个可能的实施方式中，用户侧编码单元可以包括：
[0130]
第三编码单元，用于对于每个用户侧句向量组中的每个用户侧句向量，按照第三预设编码方式对用户侧句向量进行编码，得到用户侧句向量对应的编码向量；
[0131]
第二融合单元，用于对于每个用户侧句向量组，将用户侧句向量组中的各个用户侧句向量对应的编码向量进行第二融合操作，得到用户侧句向量组对应的融合向量；
[0132]
第四编码单元，用于按照第四预设编码方式对m个用户侧句向量组对应的融合向量进行编码，得到第二会话向量。
[0133]
在一个可能的实施方式中，目标向量生成单元可以包括：
[0134]
交互单元，用于按照预设交互方式对第一会话向量和第二会话向量进行交互处理，得到第三会话向量；
[0135]
第三融合单元，用于对第三会话向量进行第三融合操作，得到目标会话向量。
[0136]
在一个可能的实施方式中，服务质检模块1250可以包括：
[0137]
向量组合单元，用于将目标会话向量和目标特征向量拼接为目标分类向量；
[0138]
分类单元，用于调用目标分类网络对目标分类向量进行二分类或多分类处理，得
到目标服务的质检结果。
[0139]
在一个可能的实施方式中，如图13所示，该装置1200还可以包括：
[0140]
会话数据获取模块1260，用于获取与目标服务有关的m轮会话中每轮会话的会话数据；
[0141]
文本向量生成模块1270，用于对于每轮会话的会话数据，利用预设语音识别模型将会话数据中的会话语音进行识别，以确定每轮会话的句向量组。
[0142]
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0143]
本技术实施例还提供了一种电子设备，该设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由所述处理器加载并执行上述方法实施例提供的服务质检方法。
[0144]
进一步地，图14示出了一种用于实现本技术实施例所提供的方法的设备的硬件结构示意图，该设备可以参与构成或包含本技术实施例所提供的装置或系统。如图14所示，设备14可以包括一个或多个(图中采用1402a、1402b，
……
，1042n来示出)处理器1402(处理器1402可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1404、以及用于通信功能的传输装置1406。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图14所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备14还可包括比图14中所示更多或者更少的组件，或者具有与图14所示不同的配置。
[0145]
应当注意到的是上述一个或多个处理器1402和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备14(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
[0146]
存储器1404可用于存储应用软件的软件程序以及模块，如本技术实施例中所述的方法对应的程序指令/数据存储装置，处理器1402通过运行存储在存储器1404内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种服务质检方法。存储器1404可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1404可进一步包括相对于处理器1402远程设置的存储器，这些远程存储器可以通过网络连接至设备14。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0147]
传输装置1406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备14的通信供应商提供的无线网络。在一个实例中，传输装置1406包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1406可以为射频(radiofrequency，rf)模块，其用于通
过无线方式与互联网进行通讯。
[0148]
显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与设备14(或移动设备)的用户界面进行交互。
[0149]
本技术实施例还提供了一种计算机存储介质，该计算机存储介质中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由处理器加载并执行以实现上述方法实施例提供的服务质检方法。
[0150]
可选地，在本实施例中，上述计算机存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0151]
本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机存储介质中。电子设备的处理器从计算机存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述的方法实施例提供的服务质检方法。
[0152]
需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0153]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0154]
上述说明已经充分揭露了本技术的具体实施方式。需要指出的是，熟悉该领域的技术人员对本技术的具体实施方式所做的任何改动均不脱离本技术的权利要求书的范围。相应地，本技术的权利要求的范围也并不仅仅局限于前述具体实施方式。