文本分类方法、装置和计算机设备

摘要: 本技术涉及自然语言处理与深度学习,特别是涉及一种文本分类方法、装置和计算机设备。背景技术:1、伴随大语言模型(largelanguagemodel,llm)技术...
文本分类方法、装置和计算机设备

本技术涉及自然语言处理与深度学习,特别是涉及一种文本分类方法、装置和计算机设备。

背景技术:

1、伴随大语言模型(large language model,llm)技术的快速演进,基于深度语义理解的文本分类在政治传播分析、舆情监测及网络内容治理等领域的应用价值日益凸显。以思想文化、宣传教育相关的细粒度分类任务,需要在多级指标下对输入文本完成多达84 类细粒度标签的精准分配,对模型的层级感知能力与边界判别精度提出了极高要求。

2、传统技术往往是直接使用通用大语言模型进行文本分类,但是,对于涉及思想文化、以及宣传教育等主观文本领域的层级逻辑与边界规则模糊,导致跨层指标混淆率偏高,使得误分率较高,其次,现有大语言模型的调用参数和推理路径单一,无法适用主观文本领域的动态判断倾向变更的需求,从而导致对主观文本领域的文本分类精准度较低。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种文本分类方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本技术提供了一种文本分类方法,包括:

3、获取目标文本的文本内容,并将所述文本内容的各特征维度的特征数据进行拼接处理,得到所述文本内容对应的特征向量;

4、基于所述特征向量,通过路由分类器,生成所述文本内容的路由概率分布信息,并基于所述文本内容,通过指标层级评估模型,生成各指标层级的分类评估结果;

5、基于所述路由概率分布信息、以及各所述指标层级的分类评估结果,通过加权融合策略,生成所述文本内容的初始文本分类结果,并基于所述初始文本分类结果,通过二次标签精排策略,生成所述文本内容的目标文本分类结果。

6、可选的,所述将所述文本内容的各特征维度的特征数据进行拼接处理,得到所述文本内容对应的特征向量,包括:

7、提取所述文本内容中的各特征维度的特征数据,并将各所述特征维度的特征数据进行特征编码处理,得到各所述特征维度的子特征向量;

8、通过特征向量拼接策略,对各所述特征维度的子特征向量进行拼接处理,得到所述文本内容对应的特征向量。

9、可选的,所述基于所述特征向量,通过路由分类器,生成所述文本内容的路由概率分布信息,包括:

10、基于所述特征向量,通过路由分类器,分别计算各指标层级的路由概率值;

11、将各所述指标层级的路由概率值,作为所述文本内容的路由概率分布信息。

12、可选的,所述基于所述文本内容,通过指标层级评估模型,生成各指标层级的分类评估结果,包括:

13、通过所述指标层级评估模型中的各指标层级的分类评估模型,对所述文本内容进行分类评分处理,得到各所述指标层级的分类评分向量;

14、将各所述指标层级的分类评分向量,作为各所述指标层级的分类评估结果。

15、可选的,所述基于所述路由概率分布信息、以及各所述指标层级的分类评估结果,通过加权融合策略,生成所述文本内容的初始文本分类结果,包括:

16、基于各所述指标层级的分类评估结果、以及所述路由概率分布信息,通过融合加权算法,计算所述文本内容的综合分类评分向量;

17、基于所述文本内容的综合分类评分向量,确定所述文本内容的初始文本分类结果。

18、可选的,所述基于所述初始文本分类结果,通过二次标签精排策略,生成所述文本内容的目标文本分类结果,包括:

19、基于所述文本内容,在分类标签数据库中进行语义相似度检索处理,得到所述文本内容对应的各分类提示词;

20、基于所述文本内容,在指标体系中,通过大语言模型,筛选各候选标签集合,并基于所述初始文本分类结果、所述候选标签集合、以及各所述分类提示词,通过结构化推理策略,生成所述文本内容的最终分类标签、以及所述最终分类标签的置信分数;

21、将所述文本内容的最终分类标签、以及所述最终分类标签的置信分数,作为所述文本内容的目标文本分类结果。

22、第二方面,本技术还提供了一种文本分类装置,包括:

23、获取模块,用于获取目标文本的文本内容,并将所述文本内容的各特征维度的特征数据进行拼接处理,得到所述文本内容对应的特征向量;

24、生成模块,用于基于所述特征向量,通过路由分类器,生成所述文本内容的路由概率分布信息,并基于所述文本内容,通过指标层级评估模型,生成各指标层级的分类评估结果;

25、融合模块,用于基于所述路由概率分布信息、以及各所述指标层级的分类评估结果,通过加权融合策略,生成所述文本内容的初始文本分类结果,并基于所述初始文本分类结果,通过二次标签精排策略,生成所述文本内容的目标文本分类结果。

26、可选的,所述获取模块,具体用于:

27、提取所述文本内容中的各特征维度的特征数据,并将各所述特征维度的特征数据进行特征编码处理,得到各所述特征维度的子特征向量;

28、通过特征向量拼接策略,对各所述特征维度的子特征向量进行拼接处理,得到所述文本内容对应的特征向量。

29、可选的,所述生成模块,具体用于:

30、基于所述特征向量,通过路由分类器,分别计算各指标层级的路由概率值;

31、将各所述指标层级的路由概率值,作为所述文本内容的路由概率分布信息。

32、可选的,所述生成模块,具体用于:

33、通过所述指标层级评估模型中的各指标层级的分类评估模型,对所述文本内容进行分类评分处理,得到各所述指标层级的分类评分向量;

34、将各所述指标层级的分类评分向量,作为各所述指标层级的分类评估结果。

35、可选的,所述融合模块,具体用于:

36、基于各所述指标层级的分类评估结果、以及所述路由概率分布信息,通过融合加权算法,计算所述文本内容的综合分类评分向量;

37、基于所述文本内容的综合分类评分向量,确定所述文本内容的初始文本分类结果。

38、可选的,所述融合模块,具体用于:

39、基于所述文本内容,在分类标签数据库中进行语义相似度检索处理,得到所述文本内容对应的各分类提示词;

40、基于所述文本内容,在指标体系中,通过大语言模型,筛选各候选标签集合,并基于所述初始文本分类结果、所述候选标签集合、以及各所述分类提示词,通过结构化推理策略,生成所述文本内容的最终分类标签、以及所述最终分类标签的置信分数;

41、将所述文本内容的最终分类标签、以及所述最终分类标签的置信分数,作为所述文本内容的目标文本分类结果。

42、第三方面,本技术提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面中任一项所述的方法的步骤。

43、第四方面,本技术提供了一种计算机可读存储介质。其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

44、第五方面,本技术提供了一种计算机程序产品。所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

45、上述文本分类方法、装置和计算机设备,通过获取目标文本的文本内容,并将所述文本内容的各特征维度的特征数据进行拼接处理,得到所述文本内容对应的特征向量;基于所述特征向量,通过路由分类器,生成所述文本内容的路由概率分布信息,并基于所述文本内容,通过指标层级评估模型,生成各指标层级的分类评估结果;基于所述路由概率分布信息、以及各所述指标层级的分类评估结果,通过加权融合策略,生成所述文本内容的初始文本分类结果,并基于所述初始文本分类结果,通过二次标签精排策略,生成所述文本内容的目标文本分类结果。本技术,通过路由分类器从不同指标层级进行路由概率评估,使基座模型在不同层级指标的分类任务中激活相应的领域先验效果,减少跨层指标混淆,提升在主观文本场景下的分类准确率。其次,本技术通过在通过结合指标层级评估模型、以及路由分类器进行智能评估的基础上,通过二次标签精排,从而避免了模型纯语义算出的得分,可能存在脱离业务规则、语义误判的问题,提升了对文本内容的评分精准度,最终,本技术通过适用主观文本场景的智能分类方式、以及二次标签精排的评分调整,生成文本内容的目标文本分类结果,从而有效提升了对主观文本领域的文本分类精准度。