对客服会话进行重复方案检测的方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种对客服会话进行重复方案检测的方法和装置。


背景技术：

2.重复或单一方案质检是电商客服领域中对客服服务质量的一项检测，其业务定义为：对客服服务的过程中，客服为了解决客户的某个问题，将同一或类似的方案发送给客户达到两次以上的客服会话的检测。现有的重复或单一方案质检方法一般分为两种：(1)针对客服回复的每一句话利用语义匹配技术来判断相似性，如果有两个以上的句子是相似的，则该通客户会话为重复方案或单一方案；(2)对一个完整的会话进行深度学习建模，客户和客服的话语同时输入到一个模型中来判断该会话是否为重复方案或单一方案。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
4.方法(1)仅对客服语句进行分析，未结合会话场景，导致重复方案或单一方案的检测结果不准确；方法(2)对完整会话进行建模，模型复杂，方案检测效率低，且不利于在会话量大的场景进行生产部署，应用受限。


技术实现要素：

5.有鉴于此，本发明实施例提供一种对客服会话进行重复方案检测的方法和装置，能够基于客服语句之间的相似度来进行重复方案的初步筛选或初步召回，可以保证重复方案的召回率；在保证召回率的前提下，通过仅选取重复方案候选集中的每个候选客服语句的上下文会话，来进一步对待检测客服会话进行重复方案检测，一方面考虑了客服语句的会话场景，使得对重复方案的检测结果更为准确，另一方面无需对完整的会话进行建模，极大地简化了模型，提高了方案的检测效率，便于进行生产部署，提升了客服服务质量。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种对客服会话进行重复方案检测的方法，包括：
7.获取待检测客服会话包括的会话语句集合，所述会话语句集合包括多个轮次会话的客户语句和客服语句；
8.分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；
9.对所述重复方案候选集中的每个候选客服语句，获取所述候选客服语句的上下文会话，所述上下文会话包括客户语句和客服语句；
10.根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测。
11.可选地，在分别计算每两个客服语句之间的相似度之前，还包括：将所述会话语句集合中指定的客服语句删除，所述指定的客服语句为预设的符合业务规则的非方案客服语句。
12.可选地，所述两个客服语句之间的相似度是根据两个客服语句之间的最长公共子序列长度，以及所述两个客服语句的字符串长度进行计算得到的。
13.可选地，分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中，包括：分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的两个客服语句保存到第一候选集中；将具有交集的多个第一候选集进行取并集操作以得到重复方案候选集，所述重复方案候选集中的候选客服语句不少于三个。
14.可选地，若所有的第一候选集都没有交集，则所述待检测客服会话不包括重复方案。
15.可选地，根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测，包括：根据每个所述候选客服语句的上下文会话，判断两两候选客服语句是否是重复方案；若所述重复方案候选集中有不少于三个候选客服语句是重复方案，则所述待检测客服会话包括重复方案。
16.可选地，根据每个所述候选客服语句的上下文会话，判断两两候选客服语句是否是重复方案，包括：分别对两个候选客服语句的上下文会话进行特征提取得到所述两个候选客服语句的特征向量；将所述两个候选客服语句的特征向量分别输入到预先训练的第一判断单元中，判断所述两个候选客服语句是否是方案语句；将所述两个候选客服语句的特征向量拼接后输入到预先训练的第二判断单元中，判断所述两个候选客服语句是否重复；若所述两个候选客服语句是方案语句且重复，则所述两个候选客服语句是重复方案。
17.可选地，分别对两个候选客服语句的上下文会话进行特征提取得到所述两个候选客服语句的特征向量，包括：分别对两个候选客服语句的上下文会话中的每句话进行编码得到句向量集合；将所述句向量集合输入到自然语言处理编码器中进行处理，得到所述两个候选客服语句的特征向量。
18.可选地，所述上下文会话包括所述候选客服语句所在轮次会话的客户语句和客服语句、以及下一轮次的客户语句。
19.根据本发明实施例的另一方面，提供了一种对客服会话进行重复方案检测的装置，包括：
20.会话语句获取模块，用于获取待检测客服会话包括的会话语句集合，所述会话语句集合包括多个轮次会话的客户语句和客服语句；
21.候选语句确定模块，用于分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；
22.上下文会话获取模块，用于对所述重复方案候选集中的每个候选客服语句，获取所述候选客服语句的上下文会话；
23.重复方案检测模块，用于根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测。
24.根据本发明实施例的又一方面，提供了一种对客服会话进行重复方案检测的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的对客服会话进行重复方案检测的方法。
25.根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机
程序，所述程序被处理器执行时实现本发明实施例所提供的对客服会话进行重复方案检测的方法。
26.上述发明中的一个实施例具有如下优点或有益效果：通过获取待检测客服会话包括的会话语句集合，会话语句集合包括多个轮次会话的客户语句和客服语句；分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；对重复方案候选集中的每个候选客服语句，获取候选客服语句的上下文会话，上下文会话包括客户语句和客服语句；根据每个候选客服语句的上下文会话对待检测客服会话进行重复方案检测的技术方案，实现了基于客服语句之间的相似度来进行重复方案的初步筛选或初步召回，可以保证重复方案的召回率；在保证召回率的前提下，通过仅选取重复方案候选集中的每个候选客服语句的上下文会话，来进一步对待检测客服会话进行重复方案检测，一方面考虑了客服语句的会话场景，使得对重复方案的检测结果更为准确，另一方面无需对完整的会话进行建模，极大地简化了模型，提高了方案的检测效率，便于进行生产部署，提升了客服服务质量。
27.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
28.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
29.图1是根据本发明实施例的对客服会话进行重复方案检测的方法的主要步骤示意图；
30.图2是本发明实施例的重复方案检测模型的原理架构图；
31.图3根据本发明实施例的对客服会话进行重复方案检测的装置的主要模块示意图；
32.图4是本发明实施例可以应用于其中的示例性系统架构图；
33.图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
34.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
35.本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
36.发明人对于现有的两种重复或单一方案质检方法进行分析如下：
37.(1)针对客服回复的每一句话利用语义匹配技术来判断相似性，如果有两个以上的句子是相似的，则该通客户会话为重复方案或单一方案。该方案利用语义匹配技术来判断两句话是否语义相似的阈值不太容易确定，阈值太大容易漏召回，阈值太小，召回的语句更有可能语义不相似；未考虑客户对方案的反馈，即使语义相似的方案从业务意义上讲也
不一定是重复单一方案，比如如下场景：客户对方案不清楚的情况下，向客服的再次确认时客服的多次解答；客户在接受方案的情况下客服的多次相似回复；客服针对不同的问题的相似回复。由此可知，方法(1)仅对客服语句进行分析，未结合会话场景，导致重复方案或单一方案的检测结果不准确；
38.(2)对一个完整的会话进行深度学习建模，客户和客服的话语同时输入到一个模型中来判断该会话是否为重复方案或单一方案。对于该方案来说，会话维度的建模通常模型很复杂，实际分析数据发现，客服的相似方案经常会跨越很多轮次的对话；会话维度的建模本身需要大量的语料，加之重复方案或单一方案的会话占比很低，为了得到更多的正样本，标注的会话量会更多；电商领域的人工客服每天会话数量大，复杂模型不利于生产部署。由此可知，方法(2)对完整会话进行建模，模型复杂，方案检测效率低，且不利于在会话量大的场景进行生产部署，应用受限。
39.为了解决上述技术问题，本发明提供了一种对客服会话进行重复方案检测的方法，是一种简单高效的重复方案或单一方案的质检方法，在保证召回率的前提下，提高重复方案检测的精确度。该方法解决了重复方案或单一方案不容易有效建模的问题，借助召回 模型判断的思想使得该方法可以用于生产上，从而提升客服服务质量。
40.图1是根据本发明实施例的对客服会话进行重复方案检测的方法的主要步骤示意图。如图1所示，本发明实施例的对客服会话进行重复方案检测的方法主要包括如下的步骤s101至步骤s104。
41.步骤s101：获取待检测客服会话包括的会话语句集合，所述会话语句集合包括多个轮次会话的客户语句和客服语句。对于一通客服会话来说，包括了客户和客服之间的多轮交互会话，会话中的一轮就是连续的客户语句和紧随其后的客服语句。将一轮会话记为t，使ti表示一通会话中的第i轮会话，则一轮会话可进一步的表示为(q
i1
,q
i2
,
…
,q
ij
,a
i1
,a
i2
,
…aik
)，q
ij
表示第i轮会话ti中的第j句客户语句，a
ik
表示第i轮会话ti中的第k句客服语句。那么，[t1,t2,
…
,ti,
…
,tn]即表示了整通客服会话。在对客服会话进行重复方案检测时，即是要根据一通待检测客服会话包括的会话语句集合，来检测该待检测客服会话是否包括有重复方案。其中，该会话语句集合即包括了多个轮次会话的客户语句和客服语句。
[0042]
步骤s102：分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中。根据本发明的技术方案，在对待检测客服会话进行重复方案检测时，首先会根据客服语句之间的相似度来进行重复方案的初步筛选或初步召回，得到需要进一步处理的重复方案候选集。
[0043]
根据本发明的其中一个实施例，在该步骤s102之前，即在分别计算每两个客服语句之间的相似度之前，还可以将会话语句集合中指定的客服语句删除，指定的客服语句为预设的符合业务规则的非方案客服语句。即：在进行重复方案的初步筛选之前，可以对待检测客服会话进行预处理，将待检测客服会话包括的会话语句集合中，符合业务规则的非方案客服语句删除。预处理是针对客服语句的，目的是从会话中删除掉某些符合业务规则的客服语句，不让这些语句进入到后续流程。其中，预设的符合业务规则的非方案客服语句例如有如下几种：
[0044]
1)真诚确认类，例如：请问有其他问题需要咨询吗？
[0045]
2)礼貌性回应类：例如：让您久等了。
[0046]
3)让客户等待类：例如：稍等，这边帮你看下。
[0047]
4)索要信息类：例如：麻烦您提供一下订单号。
[0048]
5)特别长的客服回复：例如：产品的简介。
[0049]
由于这些符合业务规则的客服语句经常会在一通客服会话中多次出现，且这些客服语句不是解决问题的方案，因此通过提前删除这些客服语句，可以有效的减少初步筛选或初步召回的重复方案的数据量，同时提升后续模型对重复方案进行检测的准确率。
[0050]
根据本发明的实施例，该步骤s102分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中，在具体实施时，可以包括：分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的两个客服语句保存到第一候选集中；将具有交集的多个第一候选集进行取并集操作以得到重复方案候选集，所述重复方案候选集中的候选客服语句不少于三个。具体地，遍历会话语句集合中所有的客服语句，计算每两个客服语句之间的相似度，当相似度大于提前设定的阈值时，将这两个客服语句作为重复方案的第一候选集，如(a
12
，a
31
)。之后，对有交集的第一候选集取并集，并集中的句子就是召回的句子，得到重复方案候选集，故而重复方案候选集中至少包括三个候选客服语句。然后，即可将得到的重复方案候选集中的客服语句输入模型进行识别，判断是否为重复方案。在具体实施过程中，一通待检测客服会话可能会有多个第一候选集，取并集后得到的重复方案候选集也可能会有多个，后续在进行处理的过程中，将分别对每个重复方案候选集进行处理。
[0051]
特别地，若所有的第一候选集都没有交集，则所述待检测客服会话不包括重复方案。若所有的第一候选集都没有交集，则说明相似度大于设定阈值的客户语句仅有两句，此时不符合本发明的重复方案或单一方案的判定条件，即可直接判定待检测客服会话不包括重复方案。
[0052]
在本发明的一个实施例中，使用最长公共子序列(lcs)技术来进行重复方案的初步筛选或初步召回。两个客服语句之间的相似度是根据两个客服语句之间的最长公共子序列长度，以及两个客服语句的字符串长度进行计算得到的。具体地，两个客服语句之间的相似度s
ij
的计算公式例如如下：
[0053]sij
＝2*len(lcs(a
ik
,a
jl
)/(len(a
ik
) len(a
jl
),
[0054]
其中，len(.)表示字符串的长度，lcs(.,.)表示最长的公共子序列。
[0055]
根据该步骤s102基于客服语句之间的相似度来进行重复方案的初步筛选或初步召回，可以保证重复方案的召回率。
[0056]
步骤s103：对所述重复方案候选集中的每个候选客服语句，获取所述候选客服语句的上下文会话，所述上下文会话包括客户语句和客服语句。根据步骤s102即可得到不少于一个重复方案候选集，之后将分别对每个重复方案候选集进行处理。具体地，首先，对重复方案候选集中的每个候选客服语句，获取候选客服语句的上下文会话。在本发明的实施例中，上下文会话包括候选客服语句所在轮次会话的客户语句和客服语句、以及下一轮次的客户语句。假设一个重复方案候选集中包括三个候选客服语句，分别为a
iu
、a
jv
和a
kw
，则对于候选客服语句a
iu
来说，获取其所在轮次会话ti的客户语句集合qi(例如包括：q
i1
,q
i2
,
…
,q
ij
等)和客服语句集合ai(例如包括：a
i1
,a
i2
,
…aik
等)，以及其所在轮次的下一轮次t
i 1
的客户语句集合q
i 1
(例如包括：q
(i 1)1
,q
(i 1)2
,
…
,q
(i 1)m
等)；对于候选客服语句a
jv
来说，获取其
所在轮次会话tj的客户语句集合qj和客服语句集合aj，以及其所在轮次的下一轮次t
j 1
的客户语句集合q
j 1
；对于候选客服语句a
kw
来说，采用同样的方法获取其上下文会话，在此不再赘述。
[0057]
根据本发明的实施例，通过仅选取重复方案候选集中的每个候选客服语句的上下文会话，来进一步对待检测客服会话进行重复方案检测，一方面考虑了客服语句的会话场景，使得对重复方案的检测结果更为准确；另一方面无需对完整的会话进行建模，极大地简化了模型，提高了方案的检测效率，便于进行生产部署，提升了客服服务质量。
[0058]
步骤s104：根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测。根据本发明的实施例，在根据每个候选客服语句的上下文会话对待检测客服会话进行重复方案检测时，具体可以：首先，根据每个候选客服语句的上下文会话，判断两两候选客服语句是否是重复方案；若重复方案候选集中有不少于三个候选客服语句是重复方案，则判定该待检测客服会话包括重复方案。
[0059]
根据本发明的一个实施例，在根据每个候选客服语句的上下文会话，判断两两候选客服语句是否是重复方案时，需要判断候选客服语句是否是重复的，以及两个候选客服语句是否是方案语句。对于步骤s102中得到的重复方案候选集中的每个候选客服语句，它们之间只是在文字上有一定的相似性，而它们在语义上并不一定是重复的，同时在业务定义的维度结合上下文来看，它们也不一定是重复的解答用户的问题，最后这些候选客服语句不全都是方案，故而本发明需要进一步地判断两个候选客服语句是否是重复的，以及两个候选客服语句是否是方案语句，来判断两两候选客服语句是否是重复方案。
[0060]
具体地，可以分别对两个候选客服语句的上下文会话进行特征提取得到所述两个候选客服语句的特征向量；将所述两个候选客服语句的特征向量分别输入到预先训练的第一判断单元中，判断所述两个候选客服语句是否是方案语句；将所述两个候选客服语句的特征向量拼接后输入到预先训练的第二判断单元中，判断所述两个候选客服语句是否重复；若所述两个候选客服语句是方案语句且重复，则所述两个候选客服语句是重复方案。在本发明的实施例中，可以预先使用训练数据进行模型训练，得到用于判断客服语句是否是方案语句的第一判断单元和用于判断两个候选客服语句是否重复的第二判断单元，然后根据第一判断单元和第二判断单元的判断结果即可判断两个候选客服语句是否是重复方案。
[0061]
根据本发明的技术方案，虽然在步骤s102之前已对待检测客服会话进行了预处理，将待检测客服会话包括的会话语句集合中，符合业务规则的非方案客服语句删除，但是为了更精确地进行重复方案检测，还需要使用预先训练的第一判断单元来对候选客服语句是否是方案语句进行准确判断。同样地，虽然在步骤s102中已进行了重复方案的初步筛选和初步召回，但是为了更精确地进行重复方案检测，还需要使用预先训练的第二判断单元来对候选客服语句是否重复进行准确判断。具体地，第一判断单元和第二判断单元例如可以被实现为二分类器等。
[0062]
具体地，在分别对两个候选客服语句的上下文会话进行特征提取得到所述两个候选客服语句的特征向量时，具体包括：分别对两个候选客服语句的上下文会话中的每句话进行编码得到句向量集合；将所述句向量集合输入到自然语言处理编码器中进行处理，得到所述两个候选客服语句的特征向量。通过对两个候选客服语句的上下文会话中的每句话进行编码得到句向量集合，然后将句向量集合输入到自然语言处理编码器中进行处理，可
以在生成候选客服语句的特征向量时，集合上下文来进行语义分析，从而更准确地判断两个候选客服语句在业务场景下是否是重复方案。
[0063]
在本发明的实施例中，该步骤s104在根据每个所述候选客服语句的上下文会话对待检测客服会话进行重复方案检测时，例如可以是通过一个预先训练的重复方案检测模型来进行的。通过对大量的样本数据进行标注后进行机器学习，即可得到该重复方案检测模型。结合前述的实施例，假设一个重复方案候选集中包括三个候选客服语句，分别为a
iu
、a
jv
和a
kw
，则可以两两结合生成三个样本，并分别标注每个样本中的两个候选客服语句是否是方案，以及它们是否重复。在具体实施过程中，由于邻近轮次的会话间出现重复方案的可能性更高，故而不需要将相距较远的轮次的候选客服语句进行结合生成样本进行标注，以便于减少训练数据，提高模型训练效率。假设根据该重复方案候选集的三个候选客服语句a
iu
、a
jv
和a
kw
，生成了两个样本a
iu
和a
jv
、a
jv
和a
kw
。对于样本a
iu
和a
jv
，根据该样本所在的上下文，即第i轮会话ti的客服语句和客户语句，以及第i l轮和第j 1轮的客户语句，标注专家需要进行a
iu
和a
jv
是否是方案，以及它们是否重复的标注。同样地，对于a
jv
和a
kw
，也进行同样的操作。通过对于大量的样本进行标注后得到的标注样本进行机器学习和训练，即可得到重复方案检测模型。
[0064]
图2是本发明实施例的重复方案检测模型的原理架构图。如图2所示，本发明实施例的重复方案检测模型的实现原理是：先将重复方案候选集的每个候选客服语句的上下文的每句话，经过相同的门控循环单元gru编码为句向量；再经过一层基于自然语言处理的transformer编码器，得到a
iu
和a
jv
对应的特征向量；然后，将a
iu
和a
jv
的特征向量分别输入一个相同的交叉熵损失函数sigmoid激活的二分类器(即：第一判断单元)，判断a
iu
和a
jv
是否为方案语句，同时通过特征拼接层将a
iu
和a
jv
的特征向量拼接成一个向量，输入到另一个交叉熵损失函数sigmoid激活的二分类器(即：第二判断单元)，判断a
iu
和a
jv
是否是重复的。
[0065]
图3根据本发明实施例的对客服会话进行重复方案检测的装置的主要模块示意图。如图3所示，本发明实施例的对客服会话进行重复方案检测的装置300主要包括会话语句获取模块301、候选语句确定模块302、上下文会话获取模块303和重复方案检测模块304。
[0066]
会话语句获取模块301，用于获取待检测客服会话包括的会话语句集合，所述会话语句集合包括多个轮次会话的客户语句和客服语句；
[0067]
候选语句确定模块302，用于分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；
[0068]
上下文会话获取模块303，用于对所述重复方案候选集中的每个候选客服语句，获取所述候选客服语句的上下文会话，所述上下文会话包括客户语句和客服语句；
[0069]
重复方案检测模块304，用于根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测。
[0070]
根据本发明的一个实施例，对客服会话进行重复方案检测的装置300还包括预处理模块(图中未示出)，用于在分别计算每两个客服语句之间的相似度之前，将所述会话语句集合中指定的客服语句删除，所述指定的客服语句为预设的符合业务规则的非方案客服语句。
[0071]
根据本发明的另一个实施例，所述两个客服语句之间的相似度是根据两个客服语句之间的最长公共子序列长度，以及所述两个客服语句的字符串长度进行计算得到的。
[0072]
根据本发明的又一个实施例，候选语句确定模块302还可以用于：分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的两个客服语句保存到第一候选集中；将具有交集的多个第一候选集进行取并集操作以得到重复方案候选集，所述重复方案候选集中的候选客服语句不少于三个。
[0073]
根据本发明的又一个实施例，若所有的第一候选集都没有交集，则所述待检测客服会话不包括重复方案。
[0074]
根据本发明的又一个实施例，重复方案检测模块304还可以用于：根据每个所述候选客服语句的上下文会话，判断两两候选客服语句是否是重复方案；若所述重复方案候选集中有不少于三个候选客服语句是重复方案，则所述待检测客服会话包括重复方案。
[0075]
根据本发明的又一个实施例，重复方案检测模块304在根据每个所述候选客服语句的上下文会话，判断两两候选客服语句是否是重复方案时，还可以用于：分别对两个候选客服语句的上下文会话进行特征提取得到所述两个候选客服语句的特征向量；将所述两个候选客服语句的特征向量分别输入到预先训练的第一判断单元中，判断所述两个候选客服语句是否是方案语句；将所述两个候选客服语句的特征向量拼接后输入到预先训练的第二判断单元中，判断所述两个候选客服语句是否重复；若所述两个候选客服语句是方案语句且重复，则所述两个候选客服语句是重复方案。
[0076]
根据本发明的又一个实施例，重复方案检测模块304在分别对两个候选客服语句的上下文会话进行特征提取得到所述两个候选客服语句的特征向量时，还可以用于：分别对两个候选客服语句的上下文会话中的每句话进行编码得到句向量集合；将所述句向量集合输入到自然语言处理编码器中进行处理，得到所述两个候选客服语句的特征向量。
[0077]
根据本发明的再一个实施例，所述上下文会话包括所述候选客服语句所在轮次会话的客户语句和客服语句、以及下一轮次的客户语句。
[0078]
根据本发明实施例的技术方案，通过获取待检测客服会话包括的会话语句集合，会话语句集合包括多个轮次会话的客户语句和客服语句；分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；对重复方案候选集中的每个候选客服语句，获取候选客服语句的上下文会话，上下文会话包括客户语句和客服语句；根据每个候选客服语句的上下文会话对待检测客服会话进行重复方案检测的技术方案，实现了基于客服语句之间的相似度来进行重复方案的初步筛选或初步召回，可以保证重复方案的召回率；在保证召回率的前提下，通过仅选取重复方案候选集中的每个候选客服语句的上下文会话，来进一步对待检测客服会话进行重复方案检测，一方面考虑了客服语句的会话场景，使得对重复方案的检测结果更为准确，另一方面无需对完整的会话进行建模，极大地简化了模型，提高了方案的检测效率，便于进行生产部署，提升了客服服务质量。
[0079]
图4示出了可以应用本发明实施例的对客服会话进行重复方案检测的方法或对客服会话进行重复方案检测的装置的示例性系统架构400。
[0080]
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0081]
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发
送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如电商服务类应用、客服服务类应用、通信服务类软件等(仅为示例)。
[0082]
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0083]
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所提交的客服会话提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的客服会话重复方案检测请求等数据进行获取待检测客服会话包括的会话语句集合，所述会话语句集合包括多个轮次会话的客户语句和客服语句；分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；对所述重复方案候选集中的每个候选客服语句，获取所述候选客服语句的上下文会话，所述上下文会话包括客户语句和客服语句；根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测等处理，并将处理结果(例如重复方案检测结果
‑‑
仅为示例)反馈给终端设备。
[0084]
需要说明的是，本发明实施例所提供的对客服会话进行重复方案检测的方法一般由服务器405执行，相应地，对客服会话进行重复方案检测的装置一般设置于服务器405中。
[0085]
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0086]
下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0087]
如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统500操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0088]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0089]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。
[0090]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不
限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0091]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0092]
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括会话语句获取模块、候选语句确定模块、上下文会话获取模块和重复方案检测模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，重复方案检测模块还可以被描述为“用于根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测的模块”。
[0093]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待检测客服会话包括的会话语句集合，所述会话语句集合包括多个轮次会话的客户语句和客服语句；分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；对所述重复方案候选集中的每个候选客服语句，获取所述候选客服语句的上下文会话，所述上下文会话包括客户语句和客服语句；根据每个所述候选客服语句的上下文会话对所述待检测客服会话进行重复方案检测。
[0094]
根据本发明实施例的技术方案，通过获取待检测客服会话包括的会话语句集合，会话语句集合包括多个轮次会话的客户语句和客服语句；分别计算每两个客服语句之间的相似度，将相似度满足设定阈值的客服语句保存到重复方案候选集中；对重复方案候选集
中的每个候选客服语句，获取候选客服语句的上下文会话，上下文会话包括客户语句和客服语句；根据每个候选客服语句的上下文会话对待检测客服会话进行重复方案检测的技术方案，实现了基于客服语句之间的相似度来进行重复方案的初步筛选或初步召回，可以保证重复方案的召回率；在保证召回率的前提下，通过仅选取重复方案候选集中的每个候选客服语句的上下文会话，来进一步对待检测客服会话进行重复方案检测，一方面考虑了客服语句的会话场景，使得对重复方案的检测结果更为准确，另一方面无需对完整的会话进行建模，极大地简化了模型，提高了方案的检测效率，便于进行生产部署，提升了客服服务质量。
[0095]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。