一种基于多层语义分割的文件自动分类方法及系统与流程

本发明涉及自然语言处理与智能文件管理，尤其是涉及一种基于多层语义分割的文件自动分类方法及系统。

背景技术：

1、随着企业与机构数字化转型的深入推进，每日产生的非结构化文件数量呈指数级增长，涵盖技术规范、合同协议、会议记录、财务报表、研究报告等多种类别，高效准确的文件自动分类已成为知识管理与信息检索的核心需求。目前，基于bert、roberta等预训练语言模型的微调方法是文件自动分类的主流技术方案。然而，这类方法将文件映射至统一的全局语义向量空间，未能区分文件所携带的概念内涵、功能属性与实体关联关系三类性质迥异的语义信息。在边界案例中，单一语义向量因信息高度压缩而导致类间距离收缩，边界模糊问题显著。现有的如mt-dnn、unilm等多任务学习框架在联合训练过程中，不同分类任务之间产生梯度干扰，来自不同任务的梯度方向相互冲突，导致共享编码器无法对各语义维度进行专项优化。

2、在开放式文件分类场景中，新类别文件持续加入系统，现有方法因采用全局参数更新机制，在训练新类别时会大幅修改对历史类别敏感的参数权重，导致历史类别分类准确率骤降，即灾难性遗忘（catastrophic forgetting）。实验表明，标准微调方法在引入新类别后历史类别准确率下降显著，严重影响系统的长期可用性。此外，针对特定业务领域训练的分类模型在迁移至跨行业或跨业务场景时，因缺乏结构化的语义解耦与领域自适应机制，分类准确率大幅下降。上述技术缺陷的根本成因在于现有方法均将文件的多维语义信息压缩至单一特征空间，既无法在特征提取阶段实现语义解耦，又无法在训练阶段针对不同语义维度实施独立优化策略。

技术实现思路

1、针对相关技术中的上述技术问题，本发明提出一种基于多层语义分割的文件自动分类方法及系统，能够克服现有技术的上述不足。

2、为实现上述技术目的，本发明的技术方案是这样实现的：

3、一种基于多层语义分割的文件自动分类方法；

4、该基于多层语义分割的文件自动分类方法，包括以下步骤：

5、文件预处理与多粒度特征提取步骤：对输入文件进行格式解析、文本清洗及自然语言处理，提取词级特征向量和句级特征向量；

6、三层语义空间分割与独立编码步骤：将文件语义空间分割为概念层、功能层与关系层三个独立子空间，通过参数互相独立的第一编码器、第二编码器和第三编码器分别对所述多粒度特征集合进行编码，得到概念层语义嵌入向量、功能层语义嵌入向量和关系层语义嵌入向量，各层编码器的参数集合彼此独立、互不共享；

7、多层语义融合与分类步骤：通过层次化注意力融合机制对所述概念层语义嵌入向量、功能层语义嵌入向量和关系层语义嵌入向量进行动态加权融合，得到融合向量，将所述融合向量输入主分类器得到分类结果；

8、其中，所述第一编码器、第二编码器和第三编码器均为transformer编码器，所述概念层编码器的输入为所述词级特征向量，所述功能层编码器的输入为所述句级特征向量，所述关系层编码器的输入为所述词级特征向量与所述句级特征向量的拼接向量。

9、进一步地，所述三层语义空间分割与独立编码步骤中，所述概念层语义嵌入向量、功能层语义嵌入向量和关系层语义嵌入向量分别通过以下方式获得：

10、，

11、，

12、，

13、其中，、、分别表示所述第一编码器、第二编码器和第三编码器各自的第4层transformer编码器输出中的位置向量。

14、进一步地，还包括各层独立增量训练步骤：当新增类别样本积累达到批次阈值或距上次训练时间超过预设时间阈值时，触发增量训练；对所述第一编码器、第二编码器和第三编码器分别独立执行基于弹性权重固化损失与知识蒸馏损失联合的训练，各层编码器参数更新完全隔离、互不干扰。

15、进一步地，所述各层独立增量训练步骤中，第k层编码器的总训练损失函数为：

16、，

17、其中，为交叉熵分类损失，为弹性权重固化损失，为知识蒸馏损失，和分别为弹性权重固化损失和知识蒸馏损失的权重系数；

18、所述弹性权重固化损失为：

19、，

20、其中，为第层编码器的第个参数，为增量训练前第层编码器的第个参数的快照，为第层编码器的第个参数的费雪信息矩阵对角元素；

21、所述知识蒸馏损失为：

22、，

23、其中，为蒸馏温度，为当前训练批次样本集合，为散度，和分别为历史教师模型和当前学生模型的软标签预测概率。

24、进一步地，所述层次化注意力融合机制中，所述融合向量通过以下方式获得：

25、将所述概念层语义嵌入向量、功能层语义嵌入向量和关系层语义嵌入向量堆叠为矩阵：

26、，

27、计算注意力权重：

28、，

29、，

30、，

31、，

32、其中，、、、为注意力网络的可学习参数，表示将行向量广播至3×128矩阵，为所述融合向量。

33、进一步地，所述多层语义融合与分类步骤中，所述主分类器对所述融合向量执行前向传播得到分类置信度和预测类别标签：

34、，

35、，

36、，

37、其中，为总类别数，为分类置信度，为top-2概率差值；

38、当满足且时，判定当前样本为边界案例，触发边界感知校正推理：根据所述概念层、功能层和关系层的辅助分类头输出，对主分类得分进行加权修正：

39、，，

40、，

41、，

42、，

43、其中，和分别为置信度阈值和top-2差值阈值，为边界校正强度系数，为所述层次化注意力融合机制为第k层分配的注意力权重。

44、进一步地，还包括不确定性量化与主动学习闭环反馈步骤：对判定为边界案例的样本，在模型推理阶段保持dropout层为激活状态，执行次独立前向传播，计算预测方差作为不确定性度量：

45、，

46、，

47、其中，为第t次蒙特卡洛dropout采样的softmax输出概率向量，为采样次数；

48、当时，将对应样本推送至主动学习标注池，经人工标注后回流至后续增量训练，为不确定性入池阈值。

49、进一步地，所述文件预处理与多粒度特征提取步骤中，所述词级特征向量通过以下方式获得：

50、将文件全文截断至前512个词元，输入预训练bert模型，取[cls]令牌的最后一层隐状态作为词级语义表示：

51、，

52、所述句级特征向量通过以下方式获得：

53、将文件按句子序列逐句输入sentence-bert模型，取各句向量的注意力加权均值：

54、，

55、其中，为句子的tf-idf得分，为sentence-bert对第句的编码输出。

56、进一步地，所述费雪信息矩阵对角元素通过在历史任务验证集上的梯度统计获得：

57、，

58、其中，为历史任务验证集，为历史验证集样本数，为第层编码器在参数下对样本预测类别的条件概率。

59、根据本发明的另一方面，提供了一种基于多层语义分割的文件自动分类系统；

60、该基于多层语义分割的文件自动分类系统，包括：

61、文件预处理与多粒度特征提取模块，用于对输入文件进行格式解析、文本清洗及自然语言处理，提取词级特征向量和句级特征向量；

62、三层语义空间分割与独立编码模块，用于将文件语义空间分割为概念层、功能层与关系层三个独立子空间，包括参数互相独立的第一编码器、第二编码器和第三编码器，分别对所述多粒度特征集合进行编码，得到概念层语义嵌入向量、功能层语义嵌入向量和关系层语义嵌入向量，各层编码器的参数集合彼此独立、互不共享；

63、各层独立增量训练模块，用于当新增类别样本积累达到批次阈值或距上次训练时间超过预设时间阈值时触发增量训练，对所述第一编码器、第二编码器和第三编码器分别独立执行基于弹性权重固化损失与知识蒸馏损失联合的训练，各层编码器参数更新完全隔离；

64、多层语义融合与分类模块，用于通过层次化注意力融合机制对所述概念层语义嵌入向量、功能层语义嵌入向量和关系层语义嵌入向量进行动态加权融合得到融合向量，将所述融合向量输入主分类器得到分类结果，并当判定当前样本为边界案例时触发边界感知校正推理；

65、不确定性量化与主动学习闭环反馈模块，用于对判定为边界案例的样本执行蒙特卡洛dropout不确定性量化，将预测方差超过入池阈值的样本推送至主动学习标注池，经标注后回流至所述各层独立增量训练模块。

66、本发明的有益效果：通过将文件语义空间显式分割为概念层、功能层与关系层三个独立子空间并由参数互相独立的编码器分别编码，从而使得各层语义特征得以解耦提取、避免跨层梯度干扰，层次化注意力融合机制与边界感知分类器协同作用进而显著提升边界案例的分类分辨率，各层编码器独立执行弹性权重固化与知识蒸馏联合训练从而在增量学习场景下有效保持历史类别知识，结合蒙特卡洛dropout不确定性量化与主动学习标注池形成闭环自优化机制，进而达到系统分类质量随运行时间持续改善的技术效果。