基于视觉-语言大模型适配的多模态情感分类方法及装置
本发明属于多模态情感分析领域,具体涉及一种基于视觉-语言大模型适配的多模态情感分类方法及装置。
背景技术:
1、多模态情感分析(multimodal sentiment analysis,msa)是指综合考虑图像、文本和语音等多种模态,从而检测情感极性或态度的过程。每种模态中的情感极性通常被划分为三类:积极、消极和中性。随着社交媒体的快速发展,用户越来越倾向于通过图文结合的方式表达情感和观点,这使得多模态情感分析在社交媒体分析、用户行为理解和营销决策等领域变得尤为重要。
2、传统的多模态情感分析方法主要依赖于文本与图像的特征工程。这些方法通常利用情感词典和情感语义词对,从文本和图像中提取相应的特征,随后在统一的特征空间中进行特征级融合,并最终通过基于概率统计模型的预测头实现情感的分类(分为积极、中性与消极)。在该架构中,所有模块均采用可学习的权重,需进行端到端训练。随着深度学习理论的成熟与发展,研究人员开始采用深度神经网络等技术,从文本、图像等多种数据类型中提取特征并进行整合,旨在判定各模态共同表达的情感极性。尽管深度学习方法已取得了一定进展,但在处理复杂的跨模态情感表达时,仍面临理解深度及泛化能力不足等局限,从而导致情感分类误判率高。
3、为应对上述问题,视觉-语言大模型(large vision-language models,lvlms)近年来在多模态情感分析任务中受到广泛关注,得益于其在大规模多模态数据上的预训练优势,展现出强大的跨模态理解与泛化能力。现有的基于视觉-语言大模型的多模态情感分析方法通常采用预训练且权重冻结的文本和图像编码器进行特征提取,以获取文本词元(token)和视觉token;随后利用权重冻结的大语言模型(large language models,llm)以及具有可学习参数的预测头进行情感分类。尽管该架构利用了强大的预训练表示,但目前的情感分类方法仍存在一些局限性:首先,这些方法中固有的单向因果注意力机制无法进行充分的跨模态交互,使模型难以捕捉视觉内容与文本描述之间的情感关联,从而影响情感分类准确性。其次,这些方法通常采用“生成答案后再解析标签”的范式进行多模态情感分类,但在处理复杂情感表达时,该方法容易引发解析错误,从而降低情感分类的准确性。第三,视觉分支中传统图像编码器所采用的固定图像补丁划分策略会将情感相关区域分割为离散补丁,破坏情感内容的语义完整性,进而限制模型对视觉情感语义的捕捉能力,从而限制情感分类性能的提升。
技术实现思路
1、本发明的目的在于提供一种基于视觉-语言大模型适配的多模态情感分类方法及装置,提高情感分类准确性。
2、为实现上述目的,本发明所采取的技术方案为:
3、第一方面,提供一种基于视觉-语言大模型适配的多模态情感分类方法,包括以下步骤:
4、获取包含人脸的图像数据以及与图像数据对应的文本数据;
5、利用图像编码器提取图像数据的语义感知视觉词元,利用文本编码器提取文本数据的文本词元;
6、将语义感知视觉词元和文本词元输入双向跨模态注意力适配器,通过双向跨模态交叉注意力输出文本增强视觉词元和视觉增强文本词元;
7、同时将文本增强视觉词元和视觉增强文本词元输入大语言模型,将大语言模型的输出传递至双头协同分类适配器,所述双头协同分类适配器包含分类头和生成头;
8、根据分类头输出的预测概率和第一预测情感类别,以及生成头输出的预测情感文本描述得到最终的情感分类结果,包括:
9、基于预测情感文本描述提取第二预测情感类别,并记录提取标记;
10、若预测概率大于可信阈值,则将第一预测情感类别作为最终的情感分类结果;否则,若提取标记为提取成功,则将第二预测情感类别作为最终的情感分类结果;若提取标记为提取失败,则将第一预测情感类别作为最终的情感分类结果。
11、以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。
12、作为优选,所述利用图像编码器提取图像数据的语义感知视觉词元,包括:
13、将sam模型应用于图像数据,得到语义分割掩码,形成若干个不同的语义区域;
14、将图像编码器应用于图像数据,提取初始补丁级特征嵌入;
15、将属于同一语义区域的初始补丁级特征嵌入划分为同一组;
16、基于平均池化操作,为每一组初始补丁级特征嵌入生成摘要词元;
17、聚合所有摘要词元,得到语义感知视觉词元。
18、作为优选,所述将属于同一语义区域的初始补丁级特征嵌入划分为同一组,包括:
19、在图像数据上叠加粗网格,所述粗网格的网格单元对应的图像空间区域内包含一个或多个sam模型输出的语义区域;
20、为每个网格单元分配对应的图像空间区域内占主导地位的语义区域标识符,形成语义粗区域;
21、将属于同一语义粗区域的初始补丁级特征嵌入划分为同一组。
22、作为优选,所述基于平均池化操作,为每一组初始补丁级特征嵌入生成摘要词元,包括:
23、取同一组内初始补丁级特征嵌入的数量为;
24、当时,对同一组内所有初始补丁级特征嵌入执行平均池化操作,得到一个摘要词元,其中为分组阈值;
25、当时,将同一组内所有初始补丁级特征嵌入均匀划分为个子组,在各个子组内执行平均池化操作,为当前组生成个摘要词元。
26、作为优选,还包括两阶段训练策略,具体如下:
27、预测训练阶段:利用视觉-语言大模型通用数据集,对图像编码器、文本编码器、双向跨模态注意力适配器、大语言模型和双头协同分类适配器同时进行训练更新;
28、下游任务训练阶段:冻结图像编码器、文本编码器和大语言模型,利用目标多模态情感分类数据集,对双向跨模态注意力适配器和双头协同分类适配器同时进行训练更新。
29、作为优选,所述预测训练阶段,基于生成头输出的预测情感文本描述,计算标准交叉熵损失作为单向损失函数进行训练;
30、所述下游任务训练阶段,基于生成头输出的预测情感文本描述计算标准交叉熵损失,同时基于分类头输出的预测概率计算标准类别交叉熵损失,取标准交叉熵损失和标准类别交叉熵损失的加权和作为联合损失函数进行训练。
31、第二方面,提供一种基于视觉-语言大模型适配的多模态情感分类装置,包括处理器以及存储有若干计算机指令的存储器,所述计算机指令被处理器执行时实现所述基于视觉-语言大模型适配的多模态情感分类方法的步骤。
32、本发明方法包含两个核心适配模块:双向跨模态注意力适配器和双头协同分类适配器,并辅以两阶段训练策略以提升模型稳定性。其中,双向跨模态注意力适配器通过一种基于注意力的机制,在文本token与语义感知视觉token之间进行深层双向交互,从而增强跨模态特征融合能力,并促进大语言模型的上下文建模与语义增强能力;双头协同分类适配器在预测中引入分类头,并在推理阶段建立协同分类校准机制,从而提升情感分类性能。此外,本发明方法在模型的视觉分支中提出了一种语义感知自适应补丁划分策略,利用分割一切模型(segment anything model,sam)生成的语义信息,自适应地引导图像编码器生成的初始补丁级特征进行合并,从而生成语义感知视觉token,减少固定补丁划分对情感相关视觉区域的割裂,保留更加完整的视觉情感线索,进而提升视觉情感特征的表征能力和情感类别识别的准确性。在训练过程中,核心适配模块的参数可学习,而文本编码器、语义感知自适应补丁划分策略以及llm的参数保持冻结,使得训练后的模型能够有效处理多模态情感分析任务,显著提升情感分析的分类性能,具有良好的领先性能与应用潜力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com