基于评论长度自适应蒸馏的电影评论情感分析方法

摘要: 本发明属于数据处理,尤其涉及基于评论长度自适应蒸馏的电影评论情感分析方法。背景技术:1、在计算机数据处理技术领域,文本情感分析是自然语言处理的一项核心任务,旨在...
基于评论长度自适应蒸馏的电影评论情感分析方法

本发明属于数据处理,尤其涉及基于评论长度自适应蒸馏的电影评论情感分析方法。

背景技术:

1、在计算机数据处理技术领域,文本情感分析是自然语言处理的一项核心任务,旨在自动识别和提取文本中所蕴含的情感倾向。随着互联网和移动设备的普及,产生了海量的用户生成内容,如电影评论、商品评价等,对这些文本进行快速准确的情感分析,对于商业决策、舆情监控和个性化推荐等应用具有重要价值。 目前,实现高精度情感分析的技术方案主要依赖于大型预训练语言模型,例如bert模型。为了将这类重型模型应用于实际场景,业界普遍采用知识蒸馏技术,即使用一个已训练好的大型教师模型来指导一个结构更简单的轻量化学生模型进行学习,从而在压缩模型尺寸的同时,尽可能保留其高性能。该技术通常通过定义一个包含真实标签损失和师生输出差异损失的联合损失函数来训练学生模型。

2、然而,现有技术中大型教师模型本身存在推理延迟高、内存占用大的问题,部署成本高昂,且传统的知识蒸馏方法通常采用固定的蒸馏超参数,对数据集中所有文本样本采用完全相同的训练策略。对于电影评论这类长度差异极大的文本数据,从寥寥数词的短评到数百词的长文,固定的蒸馏参数无法同时适应信息稀疏的短文本和语义复杂的长文本,导致训练出的轻量化学生模型往往难以在两类文本上同时达到理想的识别精度。

技术实现思路

1、本发明的目的在于:为了解决对长短差异悬殊的评论文本的统一识别精度较低的问题,而提出的基于评论长度自适应蒸馏的电影评论情感分析方法。

2、为了实现上述目的,本发明采用了如下技术方案:

3、基于评论长度自适应蒸馏的电影评论情感分析方法,具体包括以下步骤:

4、s1、获取电影评论文本的分词序列与依存句法树,计算所述分词序列的信息熵以及所述依存句法树的深度值,并融合所述信息熵与所述深度值生成语义密实度指数;

5、s2、根据所述语义密实度指数将所述电影评论文本划分至高密实度桶、中密实度桶或低密实度桶,并输出与所述桶对应的桶标识;

6、s3、基于所述桶标识调用一种能够根据训练轮次输出不同参数的蒸馏曲率函数,生成随训练轮次演变的动态蒸馏温度序列与动态蒸馏权重序列;

7、s4、将所述动态蒸馏温度序列的当前数值与所述动态蒸馏权重序列的当前数值代入动态联合损失函数,所述动态联合损失函数融合真实标签的交叉熵损失与教师模型软标签的kl散度蒸馏损失,并利用当前轮次下的所述动态蒸馏温度的平方值平衡所述kl散度的梯度量级,输出自适应总损失;

8、s5、以所述自适应总损失反向传播训练学生模型,使所述学生模型针对所述高密实度桶样本与所述低密实度桶样本沿不同的蒸馏强度演变路径收敛,完成所述学生模型的蒸馏训练后输出情感分类结果。

9、作为上述技术方案的进一步描述:

10、所述s1进一步包括对所述电影评论文本进行分词操作生成所述分词序列,并对所述分词序列进行依存句法分析生成所述依存句法树;统计所述分词序列中不同词元的出现频率以计算所述信息熵,同时统计所述依存句法树中从根节点到各叶节点的最长路径长度作为所述深度值;对所述信息熵与所述深度值进行归一化处理后,通过一种根据训练数据集中的均值方差确定的加权求和方式生成所述语义密实度指数。

11、作为上述技术方案的进一步描述:

12、所述s2包括获取一种用于区分文本结构复杂度的分类规则,所述分类规则包含高密实度阈值与低密实度阈值,并将所述语义密实度指数与所述高密实度阈值和所述低密实度阈值进行比较;将所述语义密实度指数大于所述高密实度阈值的文本划分至所述高密实度桶,将所述语义密实度指数小于所述低密实度阈值的文本划分至所述低密实度桶,将其他文本划分至所述中密实度桶,并生成包含密实度等级信息的所述桶标识。

13、作为上述技术方案的进一步描述:

14、所述s3的步骤进一步包括对于所述高密实度桶,设置所述动态蒸馏温度序列为从初始高温值随训练轮次指数衰减至低温值,同时设置所述动态蒸馏权重序列为从初始低权重线性递增至高权重;对于所述低密实度桶,设置所述动态蒸馏温度序列为在预定的中等低温范围内波动,同时设置所述动态蒸馏权重序列为从初始高权重缓慢线性递增至饱和值;对于所述中密实度桶,设置所述动态蒸馏温度序列与所述动态蒸馏权重序列为恒定值,并由所述蒸馏曲率函数输出所述当前数值。

15、作为上述技术方案的进一步描述:

16、所述s4中,所述动态联合损失函数具体表示为:获取所述学生模型的原始预测分布,获取所述教师模型经温度平滑后的输出分布,以及获取所述学生模型经同一温度平滑后的输出分布;基于所述真实标签与所述学生模型的原始预测分布计算所述交叉熵损失;基于所述教师模型经温度平滑后的输出分布与所述学生模型经同一温度平滑后的输出分布计算所述kl散度蒸馏损失,并利用所述动态蒸馏温度的平方值对所述kl散度蒸馏损失进行加权,生成梯度平衡后的蒸馏损失;使用所述动态蒸馏权重对所述交叉熵损失和所述梯度平衡后的蒸馏损失进行加权求和,得到所述自适应总损失。

17、作为上述技术方案的进一步描述:

18、以所述自适应总损失反向传播训练学生模型的步骤之前,还包括:获取所述教师模型内部各transformer层的隐藏状态向量,并计算相邻层之间的差异向量作为语义传动系数;根据所述桶标识,对于所述高密实度桶样本,在进行蒸馏时屏蔽所述教师模型深层的所述语义传动系数,仅利用浅层与中层的所述语义传动系数;对于所述低密实度桶样本,利用所述教师模型全部层的所述语义传动系数,并额外引入一种用于度量所述学生模型与所述教师模型在对应层级相似度的一致性约束损失,将所述一致性约束损失加入所述自适应总损失中。

19、作为上述技术方案的进一步描述:

20、所述s5中,所述学生模型为轻量化distilbert结构,所述教师模型为bert编码器与bilstm双向时序网络的复合结构;所述教师模型在蒸馏训练前已完成离线训练并冻结全部参数,其输出所述软标签的同时还输出所述语义传动系数;所述学生模型的训练采用adamw优化器,其学习率和权重衰减系数由一种能够根据训练进度动态调整的策略生成。

21、作为上述技术方案的进一步描述:

22、完成所述学生模型的蒸馏训练后输出情感分类结果的步骤具体为:将训练完成的所述学生模型部署至目标设备,接收待检测电影评论文本后,由所述学生模型直接进行前向传播计算;所述学生模型输出表示积极或消极的情感分类概率,整个推理过程中不执行所述语义密实度指数的计算、所述桶标识的生成以及所述蒸馏曲率函数的调用。

23、作为上述技术方案的进一步描述:

24、所述蒸馏曲率函数的函数形式与初始参数,通过以下方式确定:获取训练数据集中所述高密实度桶与所述低密实度桶的样本数量比例;基于所述样本数量比例,标定所述动态蒸馏温度序列的指数衰减速率参数与所述动态蒸馏权重序列的线性递增斜率参数,使所述蒸馏曲率函数能够自适应于当前训练数据集的文本长度分布特性。

25、一种基于评论长度自适应蒸馏的电影评论情感分析方法的分析系统,包括:

26、文本结构感知模块,用于获取电影评论文本的分词序列与依存句法树,计算信息熵与深度值并融合生成语义密实度指数,根据所述语义密实度指数划分样本桶并输出桶标识;

27、蒸馏曲率生成模块,用于基于所述桶标识调用一种能够根据训练轮次输出不同参数的蒸馏曲率函数,生成动态蒸馏温度序列与动态蒸馏权重序列;

28、动态损失计算模块,用于将所述动态蒸馏温度序列的当前数值与所述动态蒸馏权重序列的当前数值代入动态联合损失函数,输出自适应总损失;

29、层级剪枝蒸馏模块,用于根据所述桶标识对教师模型的语义传动系数进行选择性利用或增强,并将最终的所述自适应总损失作用于学生模型的训练;

30、情感推理模块,用于部署训练完成的所述学生模型并输出待检测文本的情感分类结果。

31、综上所述,由于采用了上述技术方案,本发明的有益效果是:

32、本发明通过构建一种从文本结构感知到训练过程实时调控的闭环系统,实现了模型轻量化与高精度的统一,并同步提升了对长短差异悬殊文本的识别能力,设计的动态蒸馏曲率与层级剪枝机制,使得训练过程更加高效均衡,避免了特定类型样本主导损失的问题,从而加速模型收敛并提升最终性能,将训练阶段的复杂性与推理阶段的简洁性彻底分离,使得最终部署的模型在保持高性能的同时具有极低的运算开销,完美契合资源受限场景的工程需求。