一种自适应优化多模态细粒度情感识别方法及相关装置
本发明属于多模态情感识别,尤其涉及一种自适应优化多模态细粒度情感识别方法及相关装置。
背景技术:
1、随着短视频平台的快速发展,用户通过视频、音频、文本等多模态信息表达情感的方式日益丰富,多模态情感识别技术逐渐成为情感分析领域的重要研究方向。该技术通过融合视觉、音频、文本等多源信息实现对用户情感倾向的自动识别,已广泛应用于短视频内容分析、舆情监测、社交媒体情感分析等领域。现有多模态情感识别方法主要围绕单模态特征提取、多模态信息融合以及情感分类模型构建展开:文本模态通常采用bert、roberta等预训练语言模型进行语义特征提取;视觉模态主要采用resnet、vit、videomae等深度学习模型提取视觉表示;音频模态主要采用vggish、hubert、wav2vec2等模型进行声学特征学习,视频中的语音信息通常经自动语音识别模型转换为文本后开展后续分析;在分类模型层面,xgboost等梯度提升集成学习模型因在结构化数据处理、高维特征适配及小样本分类任务中的良好表现,得到了普遍应用。
2、但现有多模态情感识别技术应用于短视频细粒度情感识别场景时,仍存在诸多缺陷与不足。首先,语音转文本质量不足导致文本模态信息利用率较低,短视频场景下的语音普遍存在背景噪声、口语化表达、方言混杂、语速多变等特点,自动语音识别结果易出现文本错误、语句不连贯及情感关键词缺失等问题,现有方法尚未充分利用大语言模型的文本纠错、语义补全能力结合细粒度情感识别任务优化文本质量,直接影响后续文本特征提取与情感分类效果。其次,细粒度情感类别不平衡问题突出,真实短视频场景中悲伤、愤怒、担忧等细粒度负面情感样本数量远少于积极、中性样本,模型训练易产生类别偏向,而现有简单过采样、欠采样或固定类别权重调整策略,无法根据模型训练状态动态优化类别关注程度,导致少数类别情感特征学习不充分。再次,xgboost模型参数优化缺乏自适应调整机制,其预测性能高度依赖学习率、树深度、子采样比例等关键超参数,传统人工调参、网格搜索等方式存在搜索效率低、参数组合覆盖不足、难以获取全局最优解等问题,且模型参数与类别权重之间缺乏协同优化机制,难以针对性提升少数类别识别效果。最后,现有方法缺乏面向细粒度多模态情感识别的综合优化框架,多数研究围绕粗粒度情感分类任务展开,针对短视频场景中语音文本质量不足、样本类别不均衡、模型参数优化困难等叠加问题未形成系统性解决方案,无法充分发挥多模态信息的互补优势,在复杂实际应用环境下的识别准确率与泛化能力仍有欠缺。
3、由此可见,现有多模态情感识别技术在短视频细粒度情感识别场景下,存在语音转文本质量不佳、类别不平衡适配能力不足、模型参数优化效率低且缺乏系统性协同优化方案的问题,难以保障细粒度情感识别的准确性与稳定性。
技术实现思路
1、本发明提供一种自适应优化多模态细粒度情感识别方法及相关装置,采用本方法能够有效解决现有多模态情感识别技术在短视频细粒度情感识别场景下,存在的语音转文本质量不佳、类别不平衡适配能力不足、模型参数优化效率低且缺乏系统性协同优化方案的问题,能够保障细粒度情感识别的准确性与稳定性。
2、为了达到上述目的,本发明采用如下技术方案:
3、一种自适应优化多模态细粒度情感识别方法,包括:
4、获取待识别短视频对应的多模态融合特征;
5、将待识别短视频对应的多模态融合特征输入预训练的分类模型,得到各类情感的概率结果,以根据最大概率原则确定最终细粒度情感类别;
6、其中,所述分类模型的训练过程如下:
7、基于原始短视频构建包含多类细粒度情感的标注数据集;将原始短视频的语音信息进行语音识别得到初始文本;基于大语言模型对初始文本进行语义理解与优化处理,得到优化后的文本数据;对标注数据集的少数类文本进行扩充,得到包含优化后的文本数据和扩充生成增强文本的训练文本集;
8、对原始短视频的视觉帧序列、音频信号及训练文本集分别进行特征提取,并基于各模态特征构建的特征映射网络将提取的各模态特征进行拼接融合,得到扩充后的多模态融合特征;
9、将扩充后的多模态融合特征输入带类别权重的xgboost模型;训练过程中,根据不同情感类别样本数量差异调整对应类别样本的类别权重;
10、采用fst-pso算法对类别权重及xgboost模型超参数进行联合参数寻优,输出最优类别权重和xgboost模型超参数,得到训练好的分类模型。
11、进一步地,基于大语言模型对初始文本进行的语义理解与优化处理具体包括文本纠错、冗余信息删除、语义补全和情感表达增强处理;
12、采用大语言模型对少数类文本进行扩充,扩充过程中,在保持原始文本的情感类别与核心语义一致的前提下通过文本重构生成增强文本,且生成的增强文本对应复用原始短视频的视觉模态信息与音频模态信息作为非文本模态特征。
13、进一步地,提取各模态特征时,针对视觉帧序列采用视频自监督编码模型编码得到视觉特征,针对音频信号采用音频预训练编码模型编码得到音频特征,针对训练文本集采用预训练语言模型编码得到文本语义特征;
14、所述特征映射网络分别对应视觉、音频、文本三种模态独立设置,用于将不同维度的各模态特征映射至统一低维特征空间,特征拼接后执行标准化与归一化处理得到多模态融合特征。
15、进一步地,所述xgboost模型的待优化超参数划分为模型结构参数、学习参数和正则化参数三类;
16、所述模型结构参数包括树数量参数和最大树深度参数;
17、所述学习参数包括学习率、样本采样比例和特征采样比例;
18、所述正则化参数包括最小叶节点权重、l1正则化参数与l2正则化参数。
19、进一步地,采用fst-pso算法对类别权重及xgboost模型超参数进行联合参数寻优的过程中,将扩充后的多模态融合特征数据集划分为训练子集与验证子集;
20、将全部类别权重与xgboost模型超参数共同编码为粒子位置向量,其中,每个粒子对应一组类别权重与xgboost模型超参数的组合方案,随机初始化粒子群的位置与速度,并记录各粒子的初始个体最优位置与种群初始全局最优位置。
21、进一步地,联合参数寻优具体过程如下:
22、fst-pso算法以分类准确率与宏平均f1值的加权求和结果作为粒子的适应度函数;
23、每次迭代过程中,计算各粒子当前位置与全局最优位置的欧式距离,以及当前迭代与上一迭代的适应度差值作为适应度变化因子,分别用于表征粒子距离最优解区域的远近以及粒子的搜索效果;
24、将欧式距离与适应度变化因子输入预设模糊规则模块,根据预设模糊规则动态调整对应粒子的惯性权重、个体学习因子与社会学习因子;
25、惯性权重、个体学习因子与社会学习因子分别用于控制粒子保持当前运动趋势的能力、控制粒子向自身历史最优位置学习的程度以及控制粒子向全局最优位置学习的程度;
26、其中,当粒子距离全局最优位置较远或适应度改善不足时,提升粒子全局探索能力;当粒子接近全局最优位置且适应度趋于稳定时,增强粒子局部搜索能力;基于调整后的参数更新粒子速度与位置,并执行参数边界约束,迭代至终止条件后输出全局最优参数组合,得到最优类别权重和xgboost模型超参数。
27、进一步地,联合参数寻优的粒子速度和位置更新公式如下:
28、vi(t+1)=wivi(t)+csoc,ir1(g(t)xi(t))+ccog,ir2(pi(t)xi(t))
29、xi(t+1)=xi(t)+vi(t+1)
30、式中,vi(t)、vi(t+1)分别表示第i个粒子在第t次迭代及第t+1次迭代时的速度向量;wi表示惯性权重;csoc,i表示社会学习因子;ccog,i表示个体学习因子;g(t)表示第t次迭代时全局最优位置;xi(t)、xi(t+1)分别表示第i个粒子在第t次迭代及第t+1次迭代时的位置;pi(t)表示第i个粒子在第t次迭代时历史搜索过程中获得的个体最优位置;r1、r2分别表示随机数控制因子。
31、一种自适应优化多模态细粒度情感识别系统,包括:
32、获取模块,用于获取待识别短视频对应的多模态融合特征;
33、识别模块,用于将待识别短视频对应的多模态融合特征输入预训练的分类模型,得到各类情感的概率结果,以根据最大概率原则确定最终细粒度情感类别;
34、其中,所述分类模型的训练过程具体实现如下:
35、基于原始短视频构建包含多类细粒度情感的标注数据集;将原始短视频的语音信息进行语音识别得到初始文本;基于大语言模型对初始文本进行语义理解与优化处理,得到优化后的文本数据;对标注数据集的少数类文本进行扩充,得到包含优化后的文本数据和扩充生成增强文本的训练文本集;
36、对原始短视频的视觉帧序列、音频信号及训练文本集分别进行特征提取,并基于各模态特征构建的特征映射网络将提取的各模态特征进行拼接融合,得到扩充后的多模态融合特征;
37、将扩充后的多模态融合特征输入带类别权重的xgboost模型;训练过程中,根据不同情感类别样本数量差异调整对应类别样本的类别权重;
38、采用fst-pso算法对类别权重及xgboost模型超参数进行联合参数寻优,输出最优类别权重和xgboost模型超参数,得到训练好的分类模型。
39、一种自适应优化多模态细粒度情感识别设备,包括:
40、存储器,用于存储计算机程序;
41、处理器,用于执行所述计算机程序时实现上述自适应优化多模态细粒度情感识别方法。
42、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时用于实现上述自适应优化多模态细粒度情感识别方法。
43、与现有技术相比,本发明具有如下有益效果:
44、本发明提供一种自适应优化多模态细粒度情感识别方法,利用大语言模型对语音识别所得初始文本进行语义优化,并对少数类文本进行扩充以平衡样本分布;随后提取视觉、音频及优化后文本的特征并融合为多模态特征,输入带类别权重的xgboost模型,同时采用fst-pso算法对类别权重与模型超参数进行联合自适应寻优。大语言模型修复语音转文本的语义错误与情感关键词缺失,文本扩充动态缓解细粒度负面情感样本不足导致的类别偏向,fst-pso替代低效人工调参并协同优化权重与参数以针对性提升少数类识别,多模态融合框架则整合了各模态互补优势。采用本方法显著提高了文本模态的信息利用率,有效抑制了类别不平衡带来的学习偏差,避免了传统调参的局部最优困境,最终在复杂短视频场景下大幅提升了细粒度情感识别的准确率与泛化能力,形成了完整的自适应优化解决方案。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com