用户问句聚类方法、可读存储介质及计算机程序产品与流程

1.本发明实施例涉及用户问句聚类方法、可读存储介质及计算机程序产品。


背景技术：

2.目前，在电子客服业务领域中，电子客服在接收到用户问题时，需要自动给出准确回答。由于电子客服面对的是海量用户的海量问题，而对于同一问题，不同用户的表述方式是存在差异的。如何准确识别出用户问题，对电子客服来说是最为重要的。


技术实现要素：

3.本发明实施例提出用户问句聚类方法、可读存储介质及计算机程序产品，以减少海量用户问句聚类占用的显存。
4.本发明实施例的技术方案是这样实现的：
5.一种用户问句聚类方法，该方法包括：
6.将采集的每个用户问句分别编码为一个句向量；
7.将所有句向量划分为多个第一类集合；
8.采用预设聚类算法分别对每个第一类集合进行聚类，聚类完成后，将每个第一类集合分别聚类为多个簇；
9.从对每个第一类集合聚类后得到的每个簇中分别随机抽取一个句向量；
10.将抽取的所有句向量组成一个第二类集合；
11.采用所述预设聚类算法第二类集合进行聚类，聚类完成后，将第二类集合聚类为多个簇；
12.对于对第二类集合聚类后得到的每个簇中的每个句向量，查找该句向量所在的第一类集合的簇，将该句向量所在的第一类集合的簇中的所有句向量都加入到该句向量所在的第二类集合的簇中。
13.所述预设聚类算法为社区发现算法。
14.所述将该句向量所在的第一类集合的簇中的所有句向量都加入到该句向量所在的第二类集合的簇中之后，进一步包括：
15.针对最终得到的每个簇，分别给出并保存每个簇对应的标准问和标准答；
16.当接收到第一用户发出的第一问句时，将第一问句与保存的各标准问一一匹配，将匹配上的一个或多个标准问提供给第一用户，当检测到第一用户选择了一个标准问时，将该标准问对应的标准答输出给第一用户。
17.所述将所有句向量划分为多个第一类集合包括：
18.根据设定的对每个第一类集合进行聚类最多占用的显存大小，确定每个第一类集合最多包含的句向量的数目；
19.根据每个第一类集合最多包含的句向量的数目，将所有句向量划分为多个第一类集合。
20.所述将采集的每个用户问句分别编码为一个句向量之前，进一步包括：
21.对于每个用户问句分别进行如下之一或任意组合的处理：
22.删除用户问句中的表情符号；
23.用户问句中若存在连续空格，则对于每条连续空格只保留一个空格；
24.删除用户问句中属于预设寒暄词语的词语；
25.若用户问句的长度小于预设最小长度或者大于预设最大长度，则删除该用户问句。
26.一种用户问句聚类装置，该装置包括：
27.编码模块，用于将采集的每个用户问句分别编码为一个句向量；
28.分割模块，用于将编码模块编码得到的所有句向量划分为多个第一类集合；
29.第一聚类模块，用于采用预设聚类算法分别对每个第一类集合进行聚类，聚类完成后，将每个第一类集合分别聚类为多个簇；
30.抽取模块，用于从对每个第一类集合聚类后得到的每个簇中分别随机抽取一个句向量，将抽取的所有句向量组成一个第二类集合；
31.第二聚类模块，用于采用所述预设聚类算法第二类集合进行聚类，聚类完成后，将第二类集合聚类为多个簇；
32.查找组合模块，用于对于对第二类集合聚类后得到的每个簇中的每个句向量，查找该句向量所在的第一类集合的簇，将该句向量所在的第一类集合的簇中的所有句向量都加入到该句向量所在的第二类集合的簇中。
33.所述第一聚类模块和第二聚类模块采用的预设聚类算法为社区发现算法。
34.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的用户问句聚类方法的步骤。
35.一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上任一项所述的用户问句聚类方法的步骤。
36.本发明实施例中，通过将采集的所有用户问句对应的句向量划分为多个第一类集合，然后分别对每个第一类集合进行第一轮聚类，从而减少了对第一类集合进行聚类所占用的显存；之后，从每个第一类集合的每个簇中分别抽取出一个句向量参与第二轮聚类，可见，参与第二轮聚类的句向量的数量相对于初始的用户问句的数量也大大减少了，从而第二轮聚类占用的显存也大大降低了。
附图说明
37.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明第一实施例提供的用户问句聚类方法流程图；
39.图2为本发明第二实施例提供的用户问句聚类方法流程图；
40.图3为本发明实验中采用的用户问句样本的长度-数量示意图；
41.图4为本发明实施例提供的用户问句聚类装置的结构示意图；
42.图5为本发明实施例提供的一种电子设备的示例性结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
45.下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
46.在一些识别用户问题的解决方案中，是对用户问题进行聚类，即，将可采用同一回答的各用户问题聚为一类，并对同类问题给出一个标准问。在具体应用时，当电子客服接收到用户问题时，将用户问题与每个标准问进行匹配，根据匹配上的标准问给出对应回答。
47.聚类是人工智能无监督学习领域中的一个重要子领域。现有聚类方法有k-means(k均值)聚类、hac(hierarchical agglomerative clustering，层次凝聚聚类)、最大最小聚类、社区发现算法等方法。在nlp(natural language process，自然语言处理)句子匹配领域中，现有较好的聚类方法与工具有sbert(sentence embeddings using siamese bert-networks，使用孪生bert网络结构的句子嵌入)框架，其中，bert的全称为bidirectional encoder representations from transformers，即基于转换器的双向编码表征。sbert框架集成了k-means和社区发现算法，其中社区发现算法是一种较k-means更为复杂的聚类方法，在sbert框架内通过指定min_community_size(最小社区规模)的值来限制一个聚类簇中最少样本量，通过指定阈值来限制什么样的样本会被放在一簇中。
48.sbert框架集成的社区发现算法使用便捷、有效，但在实际业务场景中却忽略了一个重要问题：内存与显存资源的限制。
49.采用sbert框架集成的社区发现算法时，初始时，需要将所有输入句子编码得到的句向量全部放入显存，在中间计算时还会产生新的tensor(张量，深度学习中数据的最小计算单元，可用于并行计算)，这些张量也需要放入显存。另外，现有的深度学习框架(如pytorch、tensorflow等)不支持cpu(central processing unit，中央处理单元)、gpu(graphics processing unit，图形处理单元)交互计算，即仅支持仅使用gpu或仅使用cpu进行计算，由于gpu的算力一般远高于cpu，故在实际使用中一般都使用gpu，那么，初始输入的句向量和中间产生的张量都需要放入gpu显存中，这就大大增加了所需的显存容量。
50.经过实际实验发现，当使用sbert框架集成的社区发现算法将25万条长度在[6，
100]范围内的句子同时聚类时，需要约157gb(gigabyte，吉字节)显存容量。而一张v100 gpu显存为16gb，市场价约为32000元，一张rtx 3090gpu显存为24gb，市场价约为15000元。即，完成一次聚类大约需要使用10张v100 gpu显存或者7张rtx 3090gpu显存，不仅成本很高，而且，由于显存所在的设备同时要处理很多项任务，占用这么多显存来完成一次聚类，也会影响其他任务的执行。
[0051]
本发明实施例提出一种用户问句聚类方法，该方法中，将采集的每个用户问句分别编码为一个句向量；将所有句向量划分为多个第一类集合；采用预设聚类算法分别对每个第一类集合进行聚类，聚类完成后，将每个第一类集合分别聚类为多个簇；从对每个第一类集合聚类后得到的每个簇中分别随机抽取一个句向量；将抽取的所有句向量组成一个第二类集合；采用所述预设聚类算法第二类集合进行聚类，聚类完成后，将第二类集合聚类为多个簇；对于对第二类集合聚类后得到的每个簇中的每个句向量，查找该句向量所在的第一类集合的簇，将该句向量所在的第一类集合的簇中的所有句向量都加入到该句向量所在的第二类集合的簇中。本发明实施例中，通过将采集的所有用户问句对应的句向量划分为多个第一类集合，然后分别对每个第一类集合进行第一轮聚类，从而减少了对第一类集合进行聚类所占用的显存；之后，从每个第一类集合的每个簇中分别抽取出一个句向量参与第二轮聚类，可见，参与第二轮聚类的句向量的数量相对于初始的用户问句的数量也大大减少了，从而第二轮聚类占用的显存也大大降低了。
[0052]
图1为本发明第一实施例提供的用户问句聚类方法流程图，其具体步骤如下：
[0053]
步骤101：将采集的每个用户问句分别编码为一个句向量。
[0054]
步骤102：将所有句向量划分为多个第一类集合。
[0055]
步骤103：采用预设聚类算法分别对每个第一类集合进行聚类，聚类完成后，将每个第一类集合分别聚类为多个簇。
[0056]
由于是分别对每个第一类集合进行聚类，因此，可以在不同设备上并行对多个第一类集合进行聚类，也可以在同一台设备上依次对每个第一类集合进行聚类，无论采用哪种方式，都会大大降低对显存的占用。
[0057]
步骤104：从对每个第一类集合聚类后得到的每个簇中分别随机抽取一个句向量。
[0058]
步骤105：将抽取的所有句向量组成一个第二类集合。
[0059]
步骤106：采用所述预设聚类算法第二类集合进行聚类，聚类完成后，将第二类集合聚类为多个簇。
[0060]
步骤107：对于对第二类集合聚类后得到的每个簇中的每个句向量，查找该句向量所在的第一类集合的簇，将该句向量所在的第一类集合的簇中的所有句向量都加入到该句向量所在的第二类集合的簇中。
[0061]
上述实施例中，通过将采集的所有用户问句对应的句向量划分为多个第一类集合，然后分别对每个第一类集合进行第一轮聚类，从而减少了对第一类集合进行聚类所占用的显存；之后，从每个第一类集合的每个簇中分别抽取出一个句向量参与第二轮聚类，可见，参与第二轮聚类的句向量的数量相对于初始的用户问句的数量也大大减少了，从而第二轮聚类占用的显存也大大降低了。
[0062]
一可选实施例中，步骤103和106中的预设聚类算法为社区发现算法。
[0063]
一可选实施例中，步骤107之后，将该句向量所在的第一类集合的簇中的所有句向
量都加入到该句向量所在的第二类集合的簇中之后，进一步包括：
[0064]
针对最终得到的每个簇，分别给出并保存每个簇对应的标准问和标准答；当接收到第一用户发出的第一问句时，将第一问句与保存的各标准问一一匹配，将匹配上的一个或多个标准问提供给第一用户，当检测到第一用户选择了一个标准问时，将该标准问对应的标准答输出给第一用户。
[0065]
一可选实施例中，步骤102中，将所有句向量划分为多个第一类集合包括：根据设定的对每个第一类集合进行聚类最多占用的显存大小，确定每个第一类集合最多包含的句向量的数目；根据每个第一类集合最多包含的句向量的数目，将所有句向量划分为多个第一类集合。
[0066]
一可选实施例中，步骤101之前，进一步包括：对于每个用户问句分别进行如下之一或任意组合的处理：
[0067]
删除用户问句中的表情符号；
[0068]
用户问句中若存在连续空格，则对于每条连续空格只保留一个空格；
[0069]
删除用户问句中属于预设寒暄词语的词语；
[0070]
若用户问句的长度小于预设最小长度或者大于预设最大长度，则删除该用户问句。
[0071]
图2为本发明第二实施例提供的用户问句聚类方法流程图，其具体步骤如下：
[0072]
步骤201：将采集的n个用户问句分别编码为n个句向量：q1、q2、q3、...、qn。
[0073]
将句子编码为句向量为成熟技术，例如：可采用bert算法等实现。
[0074]
步骤202：按照预设的每个第一类集合中包含的句向量数m，将n个句向量划分为l个第一类集合，设l个第一类集合分别为d1、d2、d3、...、d
l
。
[0075]
l＝「n/m」，其中，「」为向上取整运算符。
[0076]
d1、d2、d3、...、d
l
中分别包含m个句向量，d
l
中包含n-(l-1)*m个句向量。
[0077]
步骤203：采用社区发现算法分别对每个第一类集合d
l
(l＝1、2、3、...、l)进行聚类，聚类完成后，将每个第一类集合d
l
(l＝1、2、3、...、l)分别聚类为至少一个簇。
[0078]
聚类的目的是对每个第一类集合中的句向量进行分类，将属于同一问题的句向量划分为一类，一类即一个簇，也就是说，每个簇中的所有句向量实质上都对应同一问题。
[0079]
步骤204：从每个第一类集合d
l
(l＝1、2、3、...、l)聚类后得到的每个簇中分别随机抽取一个句向量。
[0080]
其中，对于任一第一类集合d
l
(l＝1、2、3、...、l)，对该集合聚类后会得到至少一个簇，每个簇中包含多个句向量，一个簇中的所有句向量实质上都对应同一问题。
[0081]
例如：对于一个第一类集合d
x
(x＝1、2、3、...、l-1)，d
x
中共包含m个句向量，设对d
x
进行聚类后，得到y个簇，即，将d
x
包含的m个句向量划分到了y个簇中，每个簇中包含多个句向量；从y个簇中的每个簇中分别随机抽取一个句向量，则共抽取出y个句向量。
[0082]
步骤205：将从所有第一类集合d
l
(l＝1、2、3、...、l)中抽取的所有句向量组成一个第二类集合e。
[0083]
可见，第二类集合e中的句向量的数量大大减少了。
[0084]
步骤206：采用社区发现算法对第二类集合e进行聚类，聚类完毕，得到至少一个簇。
[0085]
步骤207：对于步骤206中得到的每个簇中的每个句向量qy(1≤y≤n)，查找该句向量qy位于哪个第一类集合的哪个簇，将该句向量qy所在的第一类集合的簇中的所有句向量都加入到该句向量qy所在的第二类集合的簇中。
[0086]
例如：设qy位于第二类集合e的簇c2r中，且查找到qy位于第一类集合dz(1≤z≤l)的簇c1
z,u
中，则将c1
z,u
中的所有句向量都加入到c
2,r
中。
[0087]
其中，c2r为对第二类集合e进行聚类后得到的第r个簇，1≤r≤r，r为对第二类集合e进行聚类后得到的簇的总数；c1
z,u
为对第一类集合dz进行聚类后得到的第u个簇，1≤u≤u，u为对第一类集合dz进行聚类后得到的簇的总数。
[0088]
通过上述流程，可以将所有的用户问句样本划分到多个簇中，每个簇中的用户问句对应一个潜在标准问(如：根据预设规则从每个簇的所有问句中筛选出一个问句作为潜在标准问)，将划分成的每个簇提供给管理人员，由管理人员根据每个簇中的所有用户问句对潜在标准问进行规范化调整，将潜在标准问规范为标准问，并针对该标准问给出标准答。此后，在实际应用中，当接收到任一用户发出的问句时，将该问句与所有的标准问一一匹配，将匹配出的一个或多个标准问提供给用户，当用户选择其中的一个标准问时，将该标准问的标准答输出给用户。
[0089]
图3为本发明实验中采集的25万个用户问句的长度-数目示意图，其中，横轴为问句的长度，纵轴为问句的数量。
[0090]
应用本发明实施例对图3所示的25万个长度在[6，100]范围内的用户问句进行聚类，发现所需显存大约为8gb，所需内存大约为4gb。可见，相对于采用现有技术所需要的157gb显存，本发明实施例大大降低了对显存的占用。
[0091]
图4为本发明实施例提供的用户问句聚类装置的结构示意图，该装置主要包括：编码模块41、分割模块42、第一聚类模块43、抽取模块44、第二聚类模块45和查找组合模块46，其中：
[0092]
编码模块41，用于将采集的每个用户问句分别编码为一个句向量。
[0093]
分割模块42，用于将编码模块41编码得到的所有句向量划分为多个第一类集合。
[0094]
第一聚类模块43，用于采用预设聚类算法分别对分割模块42划分得到的每个第一类集合进行聚类，聚类完成后，将每个第一类集合分别聚类为多个簇。
[0095]
抽取模块44，用于从第一聚类模块43对每个第一类集合聚类后得到的每个簇中分别随机抽取一个句向量，将抽取的所有句向量组成一个第二类集合。
[0096]
第二聚类模块45，用于采用所述预设聚类算法对抽取模块44得到的第二类集合进行聚类，聚类完成后，将第二类集合聚类为多个簇。
[0097]
查找组合模块46，用于对于第二聚类模块45对第二类集合聚类后得到的每个簇中的每个句向量，在第一聚类模块43得到的每个第一类集合的各个簇中，查找该句向量所在的第一类集合的簇，将该句向量所在的第一类集合的簇中的所有句向量都加入到该句向量所在的第二类集合的簇中。
[0098]
一可选实施例中，第一聚类模块43和第二聚类模块45采用的预设聚类算法为社区发现算法。
[0099]
一可选实施例中，上述装置进一步包括：问句响应模块，用于针对查找组合模块46最终得到的每个簇，分别给出并保存每个簇对应的标准问和标准答；当接收到第一用户发
出的第一问句时，将第一问句与保存的各标准问一一匹配，将匹配上的一个或多个标准问提供给第一用户，当检测到第一用户选择了一个标准问时，将该标准问对应的标准答输出给第一用户。
[0100]
一可选实施例中，分割模块42将所有句向量划分为多个第一类集合包括：根据设定的对每个第一类集合进行聚类最多占用的显存大小，确定每个第一类集合最多包含的句向量的数目；根据每个第一类集合最多包含的句向量的数目，将所有句向量划分为多个第一类集合。
[0101]
一可选实施例中，编码模块41将采集的每个用户问句分别编码为一个句向量之前，进一步用于：对于每个用户问句分别进行如下之一或任意组合的处理：
[0102]
删除用户问句中的表情符号；
[0103]
用户问句中若存在连续空格，则对于每条连续空格只保留一个空格；
[0104]
删除用户问句中属于预设寒暄词语的词语；
[0105]
若用户问句的长度小于预设最小长度或者大于预设最大长度，则删除该用户问句。
[0106]
本技术实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上任一实施例所述的用户问句聚类方法的步骤。
[0107]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时可执行如上所述用户问句聚类方法中的步骤。实际应用中，所述的计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上用户问句聚类方法中的步骤。
[0108]
根据本技术公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本技术保护的范围。在本技术公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0109]
如图5所示，本发明实施例还提供一种电子设备。如图5所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
[0110]
该电子设备可以包括一个或一个以上处理核心的处理器51、一个或一个以上计算机可读存储介质的存储器52以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器52的程序时，可以实现上述用户问句聚类方法。
[0111]
具体的，实际应用中，该电子设备还可以包括电源53、输入输出单元54等部件。本领域技术人员可以理解，图5中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0112]
处理器51是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器52内的软件程序和/或模块，以及调用存储在存储器52内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。
[0113]
存储器52可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器51
通过运行存储在存储器52的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器52可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器52还可以包括存储器控制器，以提供处理器51对存储器52的访问。
[0114]
该电子设备还包括给各个部件供电的电源53，可以通过电源管理系统与处理器51逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源53还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0115]
该电子设备还可包括输入输出单元54，该输入单元输出54可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。该输入单元输出54还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
[0116]
本技术附图中的流程图和框图，示出了按照本技术公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0117]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本技术中。特别地，在不脱离本技术精神和教导的情况下，本技术的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本技术公开的范围。
[0118]
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本技术。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。