文本分类方法及电子设备与流程

本技术涉及数据处理，具体而言，涉及一种文本分类方法及电子设备。

背景技术：

1、文本分类是信息处理系统中的基础功能之一，在实际业务应用中，针对待分类文本，通过分类不仅要判断待分类文本属于哪个业务领域，还需要进一步识别更细粒度的业务归属。

2、目前，通常采用传统机器学习方法进行文本分类，该传统机器学习方法主要基于稳定的标签体系进行标签预测，即基于标签体系中的所有标签进行整体判断从而输出待分类文本对应的分类标签的概率。但在实际业务应用中，由于待分类文本表达多样化且标签之间存在约束、互斥等复杂关系，传统机器学习方法存在推理成本高、标签预测结果冲突等问题，进而导致分类结果并不准确。

技术实现思路

1、本技术的目的在于，针对上述现有技术中的不足，提供一种文本分类方法及电子设备，以解决现有技术中分类结果准确性较低的问题。

2、为实现上述目的，本技术实施例采用的技术方案如下：

3、第一方面，本技术实施例提供了一种文本分类方法，所述方法包括：

4、获取待分类文本，并基于所述待分类文本和预先构建的标签树，确定所述待分类文本对应的至少一个待分类层级，所述标签树中包括多个按照层级排列的标签知识节点，每个标签知识节点对应一个标签；

5、基于预先构建的标签语义索引库确定各所述待分类层级对应的候选标签集合，所述标签语义索引库基于所述标签树构建得到，所述标签语义索引库中包括多个标签知识节点对应的索引记录，所述索引记录中至少包括所述标签知识节点对应的标签语义向量；

6、根据所述待分类文本以及各所述待分类层级对应的候选标签集合，分别调用大语言模型，由所述大语言模型预测得到各所述待分类层级对应的分类标签以及置信度；

7、根据各所述待分类层级对应的分类标签以及置信度生成并输出所述待分类文本对应的分类结果。

8、作为一种可能的实现方式，所述基于所述待分类文本和预先构建的标签树，确定所述待分类文本对应的至少一个待分类层级，包括：

9、获取所述待分类文本的上下文信息；

10、基于所述待分类文本和所述待分类文本的上下文信息，生成标准化待分类文本；

11、对所述标准化待分类文本进行特征提取，生成所述标准化待分类文本对应的文本向量；

12、计算所述标准化待分类文本对应的文本向量与所述标签树中各标签知识节点之间的相似度，并将相似度大于预设阈值的标签知识节点作为目标节点；

13、根据所述目标节点在所述标签树中的层级信息，确定所述待分类层级。

14、作为一种可能的实现方式，所述标签树基于如下方式构建得到：

15、从多个业务数据源中获取原始标签数据，所述原始标签数据包括多个标签以及多个标签的属性信息；

16、按照预设映射策略对各所述标签的属性信息进行标准化处理，得到各所述标签的标准化属性信息；

17、根据所述多个标签确定多个标签知识节点，并基于各所述标签的标准化属性信息，确定各标签知识节点之间的层级关系；

18、基于各标签知识节点之间的层级关系，构建所述标签树。

19、作为一种可能的实现方式，所述标签语义索引库基于如下方式构建得到：

20、基于所述标签树中各所述标签知识节点的数据结构信息，生成各所述标签知识节点对应的标签知识文本；

21、对各所述标签知识节点对应的标签知识文本进行编码，生成各所述标签知识节点对应的标签语义向量；

22、基于各所述标签知识节点的数据结构信息、所述标签知识文本以及所述标签语义向量，生成各所述标签知识节点对应的索引记录，并确定各索引记录的层级；

23、按照各索引记录的层级，将各所述标签知识节点对应的索引记录添加至所述标签语义索引库。

24、作为一种可能的实现方式，所述基于预先构建的标签语义索引库确定各所述待分类层级对应的候选标签集合，包括：

25、根据各所述待分类层级的层级标识，确定各所述待分类层级在所述标签语义索引库中对应的候选搜索范围，所述候选搜索范围包括多个目标标签知识节点对应的索引记录；

26、从各所述待分类层级在所述标签语义索引库中对应的候选搜索范围内确定各所述待分类层级对应的候选标签集合。

27、作为一种可能的实现方式，所述根据各所述待分类层级的层级标识，确定各所述待分类层级在所述标签语义索引库中对应的候选搜索范围，包括：

28、根据各所述待分类层级的层级标识，确定各所述待分类层级对应的父级标签；

29、根据各所述待分类层级、各所述待分类层级对应的父级标签以及所述标签语义索引库中各索引记录的层级，确定各所述待分类层级在所述标签语义索引库中对应的候选搜索范围。

30、作为一种可能的实现方式，所述从各所述待分类层级在所述标签语义索引库中对应的候选搜索范围内确定各所述待分类层级对应的候选标签集合，包括：

31、从各所述目标标签知识节点对应的索引记录中获取各所述目标标签知识节点对应的标签语义向量，并计算各所述目标标签知识节点对应的标签语义向量与所述待分类文本对应的文本向量之间的向量相似度；

32、基于各所述目标标签知识节点对应的标签语义向量与所述待分类文本对应的文本向量之间的向量相似度，对各所述目标标签知识节点对应的各目标标签进行排序，并按照排序顺序选取预设数量的目标标签；

33、将预设数量的目标标签添加至所述待分类层级对应的候选标签集合。

34、作为一种可能的实现方式，所述根据所述待分类文本以及各所述待分类层级对应的候选标签集合，分别调用大语言模型，由所述大语言模型预测得到各所述待分类层级对应的分类标签以及置信度，包括：

35、基于所述待分类文本、所述待分类文本的上下文信息以及所述待分类层级对应的候选标签集合，构建所述待分类层级对应的提示词；

36、将所述提示词输入所述大语言模型，由所述大语言模型基于所述提示词，预测得到所述待分类层级对应的分类标签以及置信度，所述分类标签为所述待分类层级对应的候选标签集合中的分类标签。

37、作为一种可能的实现方式，所述根据各所述待分类层级对应的分类结果以及置信度生成并输出所述待分类文本对应的分类结果，包括：

38、基于各所述待分类层级对应的分类标签，生成所述待分类文本的分类结果，所述分类结果中包括至少一个层级的分类结果；

39、基于各所述待分类层级对应的分类标签的置信度，确定综合置信度；

40、基于所述综合置信度，确定分类结果输出策略；

41、按照所述分类结果输出策略输出所述待分类文本的分类结果。

42、第二方面，本技术实施例提供了一种文本分类装置，所述装置包括：

43、第一确定模块，用于获取待分类文本，并基于所述待分类文本和预先构建的标签树，确定所述待分类文本对应的至少一个待分类层级，所述标签树中包括多个按照层级排列的标签知识节点，每个标签知识节点对应一个标签；

44、第二确定模块，用于基于预先构建的标签语义索引库确定各所述待分类层级对应的候选标签集合，所述标签语义索引库基于所述标签树构建得到，所述标签语义索引库中包括多个标签知识节点对应的索引记录，所述索引记录中至少包括所述标签知识节点对应的标签语义向量；

45、分类模块，用于根据所述待分类文本以及各所述待分类层级对应的候选标签集合，分别调用大语言模型，由所述大语言模型预测得到各所述待分类层级对应的分类标签以及置信度；

46、生成模块，用于根据各所述待分类层级对应的分类标签以及置信度生成并输出所述待分类文本对应的分类结果。

47、作为一种可能的实现方式，所述第一确定模块，具体用于：

48、获取所述待分类文本的上下文信息；

49、基于所述待分类文本和所述待分类文本的上下文信息，生成标准化待分类文本；

50、对所述标准化待分类文本进行特征提取，生成所述标准化待分类文本对应的文本向量；

51、计算所述标准化待分类文本对应的文本向量与所述标签树中各标签知识节点之间的相似度，并将相似度大于预设阈值的标签知识节点作为目标节点；

52、根据所述目标节点在所述标签树中的层级信息，确定所述待分类层级。

53、作为一种可能的实现方式，所述文本分类装置还包括构建模块，所述构建模块具体用于：

54、从多个业务数据源中获取原始标签数据，所述原始标签数据包括多个标签以及多个标签的属性信息；

55、按照预设映射策略对各所述标签的属性信息进行标准化处理，得到各所述标签的标准化属性信息；

56、根据所述多个标签确定多个标签知识节点，并基于各所述标签的标准化属性信息，确定各标签知识节点之间的层级关系；

57、基于各标签知识节点之间的层级关系，构建所述标签树。

58、作为一种可能的实现方式，所述构建模块，具体用于：

59、基于所述标签树中各所述标签知识节点的数据结构信息，生成各所述标签知识节点对应的标签知识文本；

60、对各所述标签知识节点对应的标签知识文本进行编码，生成各所述标签知识节点对应的标签语义向量；

61、基于各所述标签知识节点的数据结构信息、所述标签知识文本以及所述标签语义向量，生成各所述标签知识节点对应的索引记录，并确定各索引记录的层级；

62、按照各索引记录的层级，将各所述标签知识节点对应的索引记录添加至所述标签语义索引库。

63、作为一种可能的实现方式，所述第二确定模块，具体用于：

64、根据各所述待分类层级的层级标识，确定各所述待分类层级在所述标签语义索引库中对应的候选搜索范围，所述候选搜索范围包括多个目标标签知识节点对应的索引记录；

65、从各所述待分类层级在所述标签语义索引库中对应的候选搜索范围内确定各所述待分类层级对应的候选标签集合。

66、作为一种可能的实现方式，所述第二确定模块，具体用于：

67、根据各所述待分类层级的层级标识，确定各所述待分类层级对应的父级标签；

68、根据各所述待分类层级、各所述待分类层级对应的父级标签以及所述标签语义索引库中各索引记录的层级，确定各所述待分类层级在所述标签语义索引库中对应的候选搜索范围。

69、作为一种可能的实现方式，所述第二确定模块，具体用于：

70、从各所述目标标签知识节点对应的索引记录中获取各所述目标标签知识节点对应的标签语义向量，并计算各所述目标标签知识节点对应的标签语义向量与所述待分类文本对应的文本向量之间的向量相似度；

71、基于各所述目标标签知识节点对应的标签语义向量与所述待分类文本对应的文本向量之间的向量相似度，对各所述目标标签知识节点对应的各目标标签进行排序，并按照排序顺序选取预设数量的目标标签；

72、将预设数量的目标标签添加至所述待分类层级对应的候选标签集合。

73、作为一种可能的实现方式，所述分类模块，具体用于：

74、基于所述待分类文本、所述待分类文本的上下文信息以及所述待分类层级对应的候选标签集合，构建所述待分类层级对应的提示词；

75、将所述提示词输入所述大语言模型，由所述大语言模型基于所述提示词，预测得到所述待分类层级对应的分类标签以及置信度，所述分类标签为所述待分类层级对应的候选标签集合中的分类标签。

76、作为一种可能的实现方式，所述生成模块，具体用于：

77、基于各所述待分类层级对应的分类标签，生成所述待分类文本的分类结果，所述分类结果中包括至少一个层级的分类结果；

78、基于各所述待分类层级对应的分类标签的置信度，确定综合置信度；

79、基于所述综合置信度，确定分类结果输出策略；

80、按照所述分类结果输出策略输出所述待分类文本的分类结果。

81、第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，在电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一项所述的文本分类方法的步骤。

82、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一项所述的文本分类方法的步骤。

83、根据本技术实施例的文本分类方法及电子设备，基于标签树对待分类文本进行层级定位，确定待分类文本的层级维度，得到至少一个待分类层级，然后利用基于标签树构建的标签语义索引库，针对各待分类层级进行精准的向量化检索，从全量标签中筛选出符合各待分类层级的层级约束的候选标签集合，以便后续大语言模型仅从该候选标签集合中进行分类标签预测，有效缩小了搜索范围，避免了全量搜索带来的噪声干扰。而在大语言模型预测过程中，结合待分类文本与筛选得到的候选标签集合进行逐层受限预测，输出各待分类层级对应的分类标签及置信度，进而依据各待分类层级的预测结果与置信度生成最终的分类结果。如此，本技术将复杂的全局分类转化为多层级的逐层分析，在大幅降低大语言模型推理复杂度的同时，确保标签预测严格遵循标签树的层级与约束关系，从而有效解决了现有技术中因标签冲突和推理偏差导致的分类结果不准确的问题，显著提升了分类结果的准确性。