多维度细粒度动态情感分析方法及系统与流程

1.本发明属于人工智能领域。


背景技术：

2.论坛、微博、微信等社交媒体的快速发展催生了众多数据分析产业，情感分析即为其中之一。通过分析社交媒体数据包含的情感信息，可准确分析和预测群体意见，在社会舆论、经济发展中发挥着重要作用。随着近几年短视频平台的兴起，新兴的视频信息和传统的文本、图片信息组成了主流的社交媒体信息模态。传统文本情感分析聚焦于单个模态，包含的信息维度有限且单一，无法分析视频或图片数据等包含多模态的情感；针对多模态数据的情感分析应运而生，多模态情感分析对多个模态的数据进行处理和分析，包含多维度信息，从多个维度互相补充信息，从而获得更加准确的结果。多模态情感分析中，不同模态数据间的模态融合是核心，目前，多模态数据融合的主流方法主要包括:
3.1)特征级融合:特征级融合将多个独立的数据集融合成一个单一的特征向量，然后输入到分类模型中，多模态数据的特征级融合往往无法充分利用多个模态数据间的互补性，且通常包含大量冗余信息。
4.2)决策级融合:在决策级融合中，每种模态特征被独立地抽取和分类，得到局部决策结果后，融合各个结果为决策向量以获得最终决策。而且由于决策级融合将不同模态数据分别训练好的模型输出进行权重融合，无法利用多模态数据之间的相关性，因此在模态之间有较强的关联性时，往往会遗漏大量的信息造成结果不准确。
5.现有多模态情感分析方案在模态融合时的局限性较大。特征级融合会在特征级别对数据进行融合，在模态较多时，融合过程会十分复杂，即使最终较好地提升模型表现，但同时也会降低性能；决策级特征融合在决策级别对数据进行融合，依据权重和历史经验策略进行计算，相比之下简单很多，但不同模态间的关联性也被完全丢弃。
6.同时，当前的多模态情感分析粒度较粗，大多局限于句子级别情感分析，即分析单句的情感倾向；而现实中一个语句往往包含不同实体，分别表达出不同的情感。忽视不同实体，粗糙地以单句为单位分析情感，在实际使用时会产生情感粒度不够细，无法准确识别单句中各实体情感走向等问题。而基于多维情感向量和属性分类提取的多维度细粒度情感识别技术和动态情感分析技术，通过构建多维情感向量，可以细粒度地识别某一特定属性的情感极性和不同属性间的差别。


技术实现要素：

7.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
8.为此，本发明的第一个目的在于提出一种多维度细粒度动态情感分析方法，用于实现针对多模态数据的一整套分析及预测技术方案。
9.本发明的第二个目的在于提出一种多维度细粒度动态情感分析系统。
10.为达上述目的，本发明第一方面实施例提出了一种多维度细粒度动态情感分析方
法，包括：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。
11.本发明实施例提出的多维度细粒度动态情感分析方法，基于transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建lstm模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
12.另外，根据本发明上述实施例的多维度细粒度动态情感分析方法还可以具有以下附加的技术特征：
13.进一步地，在本发明的一个实施例中，所述利用数据相关经验，对缺失数据进行预测补全，包括：
14.利用多模态数据在不同模态间存在一定关联关系的特点，采用seq2seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
15.进一步地，在本发明的一个实施例中，所述对文本进行实体级的情感分析，包括：
16.根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同aspect，每个目标和aspect关联不同情感；
17.采用预训练模型bert，利用其transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；
18.将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
19.进一步地，在本发明的一个实施例中，利用所述多模态数据的融合特征,用训练好的分类模型预测情感，其中，对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
20.进一步地，在本发明的一个实施例中，所述基于实体的历史情感数据，预测所述实体未来走向，包括:
21.根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；
22.对每个样本取时间序列上固定长度的一段时间作为目标，使用lstm模型，学习训练集种的相关特征；
23.使用模型对将来一段时间内的情感变化趋势进行预测。
24.为达上述目的，本发明另一方面实施例提出了一种多维度细粒度动态情感分析系统，包括：数据完善模块，用于利用多模态数据相关经验，对缺失数据进行预测补全；实体级细粒度情感分析模块，用于对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；多模态特征提取模块，用于分别计算文本音频图像多模态的特征；多模态情感分析模块，用于利用所述多模态数据的融合特征,
用训练好的分类模型预测情感；动态预测模块，用于基于实体的历史情感数据，预测所述实体未来情感走向。
25.本发明实施例提出的多维度细粒度动态情感分析系统，基于transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建lstm模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
26.进一步地，在本发明的一个实施例中，所述数据完善模块，进一步用于：利用多模态数据在不同模态间存在一定关联关系的特点，采用seq2seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
27.进一步地，在本发明的一个实施例中，所述实体级细粒度情感分析模块，进一步用于：
28.根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同aspect，每个目标和aspect关联不同情感；
29.采用预训练模型bert，利用其transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；
30.将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
31.进一步地，在本发明的一个实施例中，所述多模态情感分析模块，进一步用于：
32.对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
33.进一步地，在本发明的一个实施例中，所述动态预测模块，进一步用于，
34.根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；
35.对每个样本取时间序列上固定长度的一段时间作为目标，使用lstm模型，学习训练集种的相关特征；
36.使用模型对将来一段时间内的情感变化趋势进行预测。
附图说明
37.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
38.图1为本发明实施例所提供的一种多维度细粒度动态情感分析方法的流程示意图。
39.图2为本发明实施例所提供的一种多维度细粒度动态情感分析系统的流程示意图。
具体实施方式
40.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
41.下面参考附图描述本发明实施例的多维度细粒度动态情感分析方法和系统。
42.图1为本发明实施例所提供的一种基于多维度细粒度动态情感分析方法的流程示意图。
43.如图1所示，该多维度细粒度动态情感分析方法包括以下步骤：
44.s101：利用多模态数据相关经验，对缺失数据进行预测补全。
45.进一步地，在本发明的一个实施例中，利用数据相关经验，对缺失数据进行预测补全，包括：
46.利用多模态数据在不同模态间存在一定关联关系的特点，采用seq2seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
47.可以理解的是，针对数据可能受到外部环境等不可控因素干扰，使得某些模态信息噪音过大难以使用,以及由于安全隐私等导致某些模态缺失影响数据可用性问题,本发明利用多模态数据在不同模态间存在一定关联关系的特点，采用seq2seq模型来实现缺失模态的信息补全，根据已知模态的输入序列来预测缺失模态的信息，从而保证数据完善可用。
48.s102：对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割。
49.进一步地，在本发明的一个实施例中，对文本进行实体级的情感分析，包括：
50.根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同aspect，每个目标和aspect关联不同情感；采用预训练模型bert，利用其transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
51.基于实体或短句级别的细粒度情感分析，旨在提取目标实体并对其进行情感分类，因此可以看作是命名实体识别(ner)和情感分析(sa)两个任务的联合学习。在针对文本段的情感分析结束后，依据得到的实体分割结果，对文本、音频、图像进行同步分割处理。
52.s103：利用多模态数据的融合特征,用训练好的分类模型预测情感。
53.具体地，文本模态的特征提取采用glove模型,将语料的全局信息加入词向量构建，从而使用全局信息和局部信息两类信息，以词为基本单位,将原始文本处理为情感分析模型可以使用的同等语义的系列向量。
54.音频模态具有声学和文本两种特征,针对音频模态需要在尽可能保留声学和文本两类特征的情况下，平衡两类特征，使其组合起来较好地体现音频的特点，选用梅尔频谱图特征，使用梅尔频谱图特征的计数单位,高音之间的距离更加显著。梅尔频谱图特征在语音识别和语音合成领域应用较广,既保留了音频和文本两个维度的信息，又较好的体现了音频的声学特征。
55.视频模态具有声学特征、文本特征、图像特征三种特征，针对视频模态需要分别计算三类特征，文本特征和声学特征按照梅尔频谱图特征计算，计算图片帧时需要考虑图片
具有时序性的特点，采用3d卷积神经网络计算图像模态的特征，满足在时间序列维度上对图片帧进行图卷积处理的要求。
56.s104:利用所述多模态数据的融合特征,用训练好的分类模型预测情感。
57.进一步地，在本发明的一个实施例中，利用多模态数据的融合特征,用训练好的分类模型预测情感，其中，对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
58.可以理解的是，本发明使用的多模态情感分析模型，是以transformer模型为骨架搭建的，该模型对输入的每一个模态，都配置一个单模态情感分析模型,为每一个单模态进行编码，并加入了感知层，从而将特征投影到新的空间中进行情感的预测,使用共注意力机制，促进不同模态之间更好地融合。训练时，通过对模型进行训练使模型快速熟悉情感分类任务，并不断优化分类任务的准确率。在使用时，该模块接收模态融合模块输出的融合特征，然后使用多模态情感分析框架完成分类预测任务。此外，由于特征级融合与决策级融合两种方式都有各自优缺点，本发明采用二者有机融合的特征融合方式，对于相互的影响作用较强的模态，采用特征级融合的方式，即在模型内对输入特征进行融合，然后使用融合后的特征对应的模型进行预测任务；而对于相关性较弱的模态，则不进行模型内的特征融合，而是使用单模态预测模型分别对不同的模态进行预测任务，然后最后进行决策级融合。
59.s105：基于实体的历史情感数据，预测所述实体未来情感走向。
60.进一步地，在本发明的一个实施例中，基于实体的历史情感数据，预测所述实体未来走向，包括:根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；对每个样本取时间序列上固定长度的一段时间作为目标，使用lstm模型，学习训练集种的相关特征；使用模型对将来一段时间内的情感变化趋势进行预测。
61.本发明实施例提出的多维度细粒度动态情感分析方法，基于transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建lstm模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
62.与当前主流的情感分析技术相比,一方面本方案融合了文本、图片、音频、视频多模态数据特征进行情感分析，提出了一种特征融合与决策融合有机结合的方式，对于相互的影响作用较强的模态，采用特征级融合的方式，对相关性较弱的模态间采用决策级融合。这种多模态特征融合方法充分考量了不同模态特征对最终分类结果的影响，提高了特征的质量，提升了最终情感分析的效果。另一方面，基于融合的多模态特征,本提案利用预训练模型bert,将上下文添加到多头自注意力模型中,并根据上下文对不同的aspect关联不同的情感,克服了现有方案缺乏细粒度支持的问题，最终实现了实体级的细粒度情感分析。
63.为了实现上述实施例，本发明还提出一种多维度细粒度动态情感分析系统。
64.图2为本发明实施例提供的一种多维度细粒度动态情感分析系统的结构示意图。
65.如图2所示，该基于块选择策略和像素值排序的可逆信息隐藏系统包括：数据完善模块模块10，实体级细粒度情感分析模块20，多模态特征提取模块30，多模态情感分析模块40，动态预测模块50，其中，数据完善模块用于利用多模态数据相关经验，对缺失数据进行预测补全；实体级细粒度情感分析模块用于对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；多模态特征提取模块用于分别计算文本音频图像多模态的特征；多模态情感分析模块用于利用所述多模态数据的融合特征,用训练好的分类模型预测情感；动态预测模块用于基于实体的历史情感数据，预测所述实体未来情感走向。
66.进一步地，在本发明的一个实施例中，数据完善模块10，进一步用于：利用多模态数据在不同模态间存在一定关联关系的特点，采用seq2seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
67.进一步地，在本发明的一个实施例中，实体级细粒度情感分析模块20，，进一步用于：根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同aspect，每个目标和aspect关联不同情感；采用预训练模型bert，利用其transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
68.进一步地，在本发明的一个实施例中，多模态情感分析模块40，进一步用于：对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
69.进一步地，在本发明的一个实施例中，动态预测模块50，进一步用于：根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；对每个样本取时间序列上固定长度的一段时间作为目标，使用lstm模型，学习训练集种的相关特征；使用模型对将来一段时间内的情感变化趋势进行预测。
70.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
71.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
72.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。