文本意图聚类方法、电子设备及存储介质与流程

本申请属于数据处理领域，尤其涉及一种文本意图聚类方法、电子设备及存储介质。

背景技术：

1、在智能客服、用户反馈分析、舆情归纳、知识库治理等业务场景中，每天会积累大量用户文本。为便于快速把握用户诉求，通常需要将这些口语化、表达方式多样的文本进行聚类，识别用户在咨询或反馈中的真实意图。

2、相关技术常使用k-means等基于距离的聚类算法进行文本聚类，然而，该类聚类算法的聚类参数（如距离阈值和k值等）均与业务语义无关，无法感知实际应用场景中的“疑问角度不同即不同意图”、“同一产品下不同子功能即不同意图”等业务语义准则。这种聚类粒度与业务意图层级之间的不对齐，容易使文本意图聚类结果不够准确，难以直接应用于实际业务场景中。

3、除此之外，相关技术中的文本聚类方法常采用逐条两两比较的方式，其复杂度为o(n²)，即计算量随文本数量呈平方级增长。当数据量较大时，计算开销急剧攀升，容易出现资源不足或耗时过长的问题。

技术实现思路

1、鉴于以上内容，有必要提供一种文本意图聚类方法、电子设备及存储介质，能够解决文本意图聚类效果不佳及聚类效率低的技术问题。

2、一方面，本申请提供一种文本意图聚类方法，所述方法包括：对文本集的特征向量集进行聚类，获得多个向量子簇，根据所述多个向量子簇，将所述文本集划分为多个文本子簇，将第一提示内容与每个文本子簇中的代表文本输入至语言模型，生成所述每个文本子簇对应的标准意图，所述第一提示内容用于指示意图划分的粒度规则，对相似的标准意图进行归一化处理，利用所述语言模型，生成归一化后的每个标准意图所属的标准主题，基于归一化后的每个标准意图，对所述文本集进行分类，确定所述文本集中的每条文本对应的标准意图与所属的标准主题。

3、在本申请的一些实施例中，所述基于归一化后的每个标准意图，对所述文本集进行分类，确定所述文本集中的每条文本对应的标准意图与所属的标准主题包括：根据归一化后的每个标准意图的特征向量与所述每个标准意图对应的文本子簇中的代表文本的特征向量，生成所述每个标准意图对应的意图锚点向量，确定所述文本集中的每条文本的特征向量与所有的标准意图对应的意图锚点向量之间的相似度，根据最高的相似度对应的标准意图与关联的标准主题，确定所述每条文本对应的标准意图与所属的标准主题。

4、在本申请的一些实施例中，所述根据归一化后的每个标准意图的特征向量与所述每个标准意图对应的文本子簇中的代表文本的特征向量，生成所述每个标准意图对应的意图锚点向量包括：对所述每个标准意图的特征向量与所述每个标准意图对应的文本子簇中的代表文本的特征向量进行平均运算，获得所述每个标准意图对应的意图锚点向量。

5、在本申请的一些实施例中，所述根据最高的相似度对应的标准意图与关联的标准主题，确定所述每条文本对应的标准意图与所属的标准主题包括：针对所述文本集中的任一条文本，若所述任一条文本对应的最高的相似度大于或等于预设阈值，将所述最高的相似度对应的标准意图与关联的标准主题，确定为所述任一条文本对应的标准意图与所属的标准主题，若所述任一条文本对应的最高的相似度小于所述预设阈值，从所述文本集中滤除所述任一条文本。

6、在本申请的一些实施例中，所述对所述特征向量集进行聚类，获得多个向量子簇包括：利用所述文本集对应的类别标签，将所述特征向量集划分为多个向量子集，若任一个向量子集的数据量大于预设值，对所述任一个向量子集进行分块，对每个向量子集进行聚类，得到所述每个向量子集对应的多个向量子簇，或者对所述特征向量集进行聚类，得到所述多个向量子簇。

7、在本申请的一些实施例中，所述利用所述语言模型，生成归一化后的每个标准意图所属的标准主题包括：将所述每个标准意图与第二提示内容输入至所述语言模型，生成所述每个标准意图所属的原始主题，所述第二提示内容用于指示主题与意图之间的关联关系，所述原始主题用于指示所述每个标准意图对应的业务对象，将每个原始主题与第三提示内容输入至所述语言模型，生成所述每个原始主题对应的标准意图所属的标准主题，所述第三提示内容用于指示归一化相同业务对象的原始主题。

8、在本申请的一些实施例中，所述方法还包括：对相似的标准主题进行归一化处理。

9、在本申请的一些实施例中，所述方法还包括：从所述多个文本子簇中滤除模糊文本，所述模糊文本不包括预设词语，所述预设词语至少包括动作词、疑问词、状态词中的一种或多种。

10、另一方面，本申请提供一种电子设备，所述电子设备包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时使得所述电子设备实现所述的文本意图聚类方法。

11、另一方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备中的处理器执行时实现所述的文本意图聚类方法。

12、在本申请实施例提供的文本意图聚类方案中，对文本集的特征向量集进行聚类，得到多个向量子簇，根据多个向量子簇对文本集进行划分，不仅能够产出一批粒度较细的文本子簇作为语言模型的候选输入，还能够有效规避相关技术中的聚类算法在全局数据上直接计算所面临的o(n²)复杂度问题，从而显著降低计算开销。将意图划分的粒度规则通过第一提示内容输入至语言模型，使得语言模型能够根据粒度规则的指示，为文本子簇生成粒度精细且准确的标准意图名称，相较于相关技术中仅依据聚类阶段所采用的距离阈值进行粗略意图划分的方法，本方案能够有效提升意图识别的粒度精度与语义准确性。通过从文本子簇中抽取代表问法文本作为代表文本，并与第一提示内容共同输入语言模型，使得语言模型的调用次数为文本子簇的总数量级相当，而无需对各文本子簇内的全量文本逐条两两比较，从而显著降低了计算成本与推理耗时。对相似的标准意图进行归一化处理，既能够有效避免同一意图被拆分为多个不同的名称，也可降低因名称不一致而对后续频次统计造成的影响。利用语言模型，能够精确及快速地生成归一化后的每个标准意图所属的标准主题，基于归一化后的每个标准意图，对文本集进行分类，能够精确地确定文本集中的每条文本对应的标准意图与所属的标准主题。如此，不仅能够确定文本对应的粒度精细的标准意图与准确的标准主题，有效提高文本意图聚类在粒度层面的精细程度，还能够提高聚类效率。

1.一种文本意图聚类方法，其特征在于，所述方法包括：

2.如权利要求1所述的文本意图聚类方法，其特征在于，所述基于归一化后的每个标准意图，对所述文本集进行分类，确定所述文本集中的每条文本对应的标准意图与所属的标准主题包括：

3.如权利要求2所述的文本意图聚类方法，其特征在于，所述根据归一化后的每个标准意图的特征向量与所述每个标准意图对应的文本子簇中的代表文本的特征向量，生成所述每个标准意图对应的意图锚点向量包括：

4.如权利要求2所述的文本意图聚类方法，其特征在于，所述根据最高的相似度对应的标准意图与关联的标准主题，确定所述每条文本对应的标准意图与所属的标准主题包括：

5.如权利要求1所述的文本意图聚类方法，其特征在于，所述对所述特征向量集进行聚类，获得多个向量子簇包括：

6.如权利要求1所述的文本意图聚类方法，其特征在于，所述利用所述语言模型，生成归一化后的每个标准意图所属的标准主题包括：

7.如权利要求6所述的文本意图聚类方法，其特征在于，所述方法还包括：

8.如权利要求1至7中任一项所述的文本意图聚类方法，其特征在于，所述方法还包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备中的处理器执行时实现如权利要求1至8中任一项所述的文本意图聚类方法。