方面级情感分析方法、装置、电子设备及存储介质

1.本发明涉及方面级情感分析技术领域，尤其是涉及一种方面级情感分析方法、装置、电子设备及存储介质。


背景技术：

2.近年来，以深度学习为代表的新一代人工智能技术的兴起，推动了自然语言处理技术(nlp)的蓬勃发展。方面级情感分析，是情感分析的一个子任务，旨在识别方面词所蕴含的情感极性。例如：“i like the food here,but the service is terrible.”在这句话中，“food”和“service”是两个不同的方面，可以看出，“food”的情感极性是积极的，而“service”的情感极性是消极的。由于两个方面词蕴含的情感极性是相反的，因此不能只考虑句子层面上的情感极性。
3.然而，现有技术的方面级情感分析方法往往忽略了句子中上下文和方面词之间存在的句法依存信息，导致注意力机制学习不到合适的权重，现有的注意力机制可能会将句子中不相关的上下文词识别为情感词，且目前存在的大多数情感分析方法都没有结合句法依存关系进行建模，用这些模型进行情感分析效果并不出色。而且预训练和微调阶段之间的任务形式往往存在巨大差距，限制了预训练模型发挥其全部潜力，影响了情感分类的准确性。


技术实现要素：

4.本发明的目的在于克服现有技术的缺点与不足，提供一种方面级情感分析方法，能够提取丰富的特征，且能充分发挥预训练模型的特征提取潜力，从而提高方面级情感分析的准确性。
5.本发明是通过以下技术方案实现的：一种方面级情感分析方法，包括步骤：
6.获取待分析的目标句子，对所述目标句子进行嵌入操作得到目标嵌入向量；
7.根据所述目标句子构建模板句子，所述模板句子包括所述目标句子中的方面词、掩码词和间隔在所述方面词和掩码词之间的模板词，对所述模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
8.将所述模板词嵌入向量输入prompt编码器得到模板词张量，将所述模板词张量、所述方面词嵌入向量和所述掩码嵌入向量拼接得到连续模板向量；
9.将所述目标嵌入向量和所述连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
10.根据所述目标句子生成句法依存树，根据所述句法依存树提取句法依存特征；
11.将所述上下文特征和所述句法依存特征进行特征融合，得到融合特征；
12.根据所述融合特征进行预测，得到目标句子中方面词的情感极性。
13.相对于现有技术，本发明的一种方面级情感分析方法，所提出的连续模板携带提示信息，对预训练语言模型的特征提取起到引导性作用，注入与任务相关的知识，达到情感
知识增强的目的，同时能够使预训练语言模型的预训练阶段的训练任务与微调阶段任务相匹配，提高模型的鲁棒性，以及情感分类的准确性。其次本发明提取了目标句子的句法依赖关系，利用句法依存关系，分配合理的注意力权重，能够准确识别与方面词相关的情感词，提取更深层次的情感特征。
14.进一步地，所述模板词为包含多个unk_token的词组。
15.进一步地，所述prompt编码器用于将所述模板词嵌入向量依序输入双向长短期记忆人工神经网络和使用relu激活函数的多层感知机，得到模板词张量。
16.进一步地，所述预训练语言模型的预训练阶段，包括步骤：
17.将训练数据集中一定比例的原始词替换为掩码词[mask]，一定比例的原始词替换为随机词；
[0018]
预测所述掩码词[mask]替换的所述原始词。
[0019]
进一步地，根据所述句法依存树提取句法依存特征，包括步骤：将所述句法依存树输入图注意力网络并进行池化操作，获得句法依存特征。
[0020]
进一步地，所述融合特征的表达式为：
[0021]
hf＝g
·hsyn
(1-g)
·hcon
[0022]
其中，g＝σ(wg[h
syn
；h
con
] bg)，[h
syn
；h
con
]表示上下文特征h
syn
和句法依存特征h
con
的拼接，wg为可学习权重，bg为偏置。
[0023]
基于同一发明构思，本发明还提供一种方面级情感分析装置，包括：
[0024]
目标句子嵌入模块，用于获取待分析的目标句子，对所述目标句子进行嵌入操作得到目标嵌入向量；
[0025]
模板句子构建模块，用于根据所述目标句子构建模板句子，所述模板句子包括所述目标句子中的方面词、掩码词和间隔在所述方面词和掩码词之间的模板词，对所述模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
[0026]
连续模板构建模块，用于将所述模板词嵌入向量输入prompt编码器得到模板词张量，将所述模板词张量、所述方面词嵌入向量和所述掩码嵌入向量拼接得到连续模板向量；
[0027]
上下文特征提取模块，用于将所述目标嵌入向量和所述连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
[0028]
句法依存特征提取模块，用于根据所述目标句子生成句法依存树，根据所述句法依存树提取句法依存特征；
[0029]
特征融合模块，用于将所述上下文特征和所述句法依存特征进行特征融合，得到融合特征；
[0030]
预测模块，用于根据所述融合特征进行预测，得到目标句子中方面词的情感极性。
[0031]
进一步地，所述句法依存特征提取模块还用于将所述句法依存树输入图注意力网络并进行池化操作，获得句法依存特征。
[0032]
基于同一发明构思，本发明还提供一种电子设备，包括：
[0033]
处理器；
[0034]
存储器，用于存储由所述处理器执行的计算机程序；
[0035]
其中，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0036]
基于同一发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机
程序，所述计算机程序被执行时实现上述方法的步骤。
[0037]
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
[0038]
图1为一个实施例的方面级情感分析方法的流程示意图；
[0039]
图2为一个实施例的方面级情感分析装置的结构示意图。
具体实施方式
[0040]
为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
[0041]
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0042]
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
[0043]
在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0044]
请参阅图1，其为一个实施例的方面级情感分析方法的流程示意图。该方法包括步骤：
[0045]
s1：获取待分析的目标句子，对目标句子进行嵌入操作得到目标嵌入向量；
[0046]
s2：根据目标句子构建模板句子，对模板句子中的模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；
[0047]
s3：将模板词嵌入向量输入prompt编码器得到模板词张量，将模板词张量、方面词嵌入向量和掩码嵌入向量拼接得到连续模板向量；
[0048]
s4：将目标嵌入向量和连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；
[0049]
s5：根据目标句子生成句法依存树，根据句法依存树提取句法依存特征；
[0050]
s6：将上下文特征和句法依存特征进行特征融合，得到融合特征；
[0051]
s7：根据融合特征进行预测，得到目标句子中方面词的情感极性。
[0052]
在步骤s1中，待分析的目标句子是至少一个方面词以及能反映方面词情感极性的情感词或修饰词，目标方面词为目标句子中的一个方面词，一个方面词可由多个单词组成。在一个实施例中，目标句子可通过token序列表示，可设目标句子为t1，t1＝[w
1:l1
,a,w
l1 1:l2
]，其中a为方面词的token，w
1:l1
、w
l1 1:l2
表示目标句子中除方面词以外的词token，目
标句子经过嵌入(embedding)操作得到的目标嵌入向量表示为t1'＝e([w
1:l1
,a,w
l1 1:l2
])。
[0053]
在步骤s2中，模板句子中包括方面词、掩码词和模板词，其中方面词为目标句子中的方面词；掩码词用于将目标句子中修饰方面词的情感词或修辞词进行掩码；模板词用于对方面词和掩码词进行间隔。在一个实施例中，可设模板句子为t2，模板句子t2的token序列表示为：t2＝[p
1:l1
,a,p
l1 1:l2
,[mask]]，其中a为方面词的token；p
1:l1
、p
l1 1:l2
为模板词的token，在具体实施中，一个模板词可设置为一组包含多个unk_token的词组；[mask]为掩码词的token。在一个示例性的实施中，对于目标句子“good sushi high price”，对应的模板句子的token序列为[unk_token,unk_token,unk_token,sushi的token，unk_token，unk_token，unk_token，[mask]，unk_token，unk_token，unk_token]，其中模板词为3个unk_token的词组。
[0054]
对模板句子中的模板词进行嵌入操作得到的模板词嵌入向量可表示为e
p
(p
1：l1
)、e
p
(p
l1 1：l2
)；对模板句子中的方面词进行嵌入操作得到的方面词嵌入向量可表示为e(a)；对模板句子中的掩码词进行嵌入操作得到的掩码词嵌入向量可表示为e([mask])。
[0055]
在步骤s3中，将模板词嵌入向量输入prompt编码器(encoder)得到模板词张量，其中，prompt编码器将模板词嵌入向量依序输入双向长短期记忆人工神经网络(bi-lstm)和使用relu激活函数的多层感知机(mlp)，得到模板词张量。模板句子中第k个模板词嵌入向量hk的模板词张量h
′k的表达式为：
[0056]h′k＝mlp([lstm(h
1：k
)：lstm(h
k 1：lp
)])
[0057]
其中，h
1：k
、h
k 1：lp
为模板词token的嵌入向量，h
1：k
＝e
p
(p
1：k
)，h
k 1：lp
＝e
p
(p
k 1：lp
)；lstm()为lstm人工神经网络，mlp()为多层感知机。
[0058]
将模板词张量h
′
1：l1
、h
′
l1 1：l2
、方面词嵌入向量e(a)和掩码嵌入向量e([mask])拼接得到连续模板向量，可表示为：
[0059]
t2
′
＝[h
′
1：l1
，e(a)，h
′
l1 1：l2
，e([mask])]
[0060]
由此，连续模板向量携带了方面词的提示信息，可对后续预训练语言模型的微调阶段起到有效的引导作用，使预训练语言模型所提取的特征能够发挥根据上下文推理掩码词的能力，即做完形填空的能力。
[0061]
在步骤s4中，将目标嵌入向量和连续模板向量共同输入预训练语言模型并进行池化操作，得到目标句子的上下文特征，其中，预训练语言模型的输入可表示为：
[0062]
t
′
＝e([cls]) t1
′
t2
′
e([sep])
[0063]
＝e([cls]) e([w
1：l1
，a，w
l1 1：l2
]) [h
′
1：l1
，e(a)，h
′
l1 1：l2
，e([mask])] e([sep])
[0064]
其中，[cls]和[sep]为特殊token，作为预训练语言模型的识别标记。
[0065]
预训练语言模型可选用双向预测模型，例如bert(bidirectional encoder representation from transformers)模型，双向预测模型可以从左往右以及从右往左预测，可以更好地理解目标句子的语义。
[0066]
可选的，在预训练语言模型的预训练阶段，包括步骤：
[0067]
将训练数据集中一定比例的原始词替换为掩码词[mask]，一定比例的原始词替换为随机词；对掩码词[mask]预测其所替换的原始词。
[0068]
在一具体实施中，取训练集中所有词的15％的词进行预测任务，在预测任务中，将进入预测任务的词中80％的词替换为掩码词[mask]，10％的词替换为随机词，剩余10％的
词保持不变。
[0069]
可选的，还可以通过nsp(next sentence prediction)进行预训练语言模型的预训练，使预训练语言模型具有理解句子间关系的能力。
[0070]
预训练语言模型输出的特征张量为{a1，a2，...，am}，m为预训练语言模型的输入t
′
的长度。对特征张量{a1，a2，...，am}采用平均池化函数进行池化，得到上下文特征h
con
，上下文特征h
con
可表示为：
[0071]hcon
＝pool(a1，a2，...，am)
[0072]
在步骤s5中，根据目标句子生成句法依存树，可通过spacy工具包根据目标句子生成句法依存树。在句法依存树中，包括方面词与目标句子中其他词之间的依存关系。
[0073]
根据句法依存树获得句法依存特征，可选的，将句法依存树输入图注意力网络(graph attention network，gat)并进行池化操作，获得句法依存特征。图注意力网络通过使用多头注意力机制，来聚合邻居节点的特征表示，以达到迭代更新每个节点特征表示的目的，实现对不同邻接节点分配不同的权重，通过图注意力网络可以提取更深层次的句法依存特征。
[0074]
图注意网络输出的特征向量为{b1，b2，...，bn}，n为句法依存树的节点数量，其中gat的第1层输出的第i个特征向量的表达式为：
[0075][0076]
其中，为权重系数；为邻接结点的特征向量；表示gat第1层的第k个注意力头计算出来的权重系数，其表达式为：
[0077][0078]
其中，表示gat的第l层第k个映射函数，该映射函数将特征映射到一实数中；为邻接结点的特征向量。
[0079]
对图注意网络输出的特征向量{b1，b2，...，bn}采用平均池化函数进行池化，得到句法依存特征h
syn
，该句法依存特征h
syn
可表示为：
[0080]hsyn
＝pool(b1，b2，...，bn)
[0081]
在步骤s6中，将上下文特征和句法依存特征进行特征融合，可通过门控机制对图注意力层池化提取的句法依存特征和bert模型池化提取的上下文特征进行动态加权，使模型对不同模块的关注程度不同，提高模型整体的表现。具体的，所得到的融合特征hf的表达式为：
[0082]
hf＝g
·hsyn
(1-g)
·hcon
[0083]
其中，g＝σ(wg[h
syn
；h
con
] bg)，[h
syn
；h
con
]表示上下文特征h
syn
和句法依存特征h
con
的拼接，wg为可学习权重，bg为偏置。
[0084]
在步骤s7中，根据融合特征进行预测，将融合特征输入全连接网络计算每个情感极性的概率p，其表达式为：
[0085]
[0086]
其中，c为情感极性，包括positive(积极)、negative(消极)、neutral(中立)；c为情感极性的集合，w和b为可训练模型参数。
[0087]
在一个实施例中，确定最大概率值对应的情感极性为目标句子中方面词的情感极性。
[0088]
在情感极性预测的训练中，可采用交叉熵函数和l2正则化作为损失函数，该损失函数的表达式为：
[0089][0090]
其中，n为训练样本数；i是指示函数，指示函数是定义在某集合x上的函数，表示其中有哪些元素属于某一子集a；是正则化参数；θ是可训练参模型数的集合。
[0091]
相对于现有技术，本发明的连续模板携带提示信息，对预训练语言模型的特征提取起到引导性作用，注入与任务相关的知识，达到情感知识增强的目的，同时能够使预训练语言模型的预训练阶段的训练任务与微调阶段任务相匹配，提高模型的鲁棒性，以及情感分类的准确性。其次本发明提取了目标句子的句法依赖关系，利用句法依存关系，分配合理的注意力权重，能够准确识别与方面词相关的情感词，提取更深层次的情感特征。
[0092]
基于同一发明构思，本发明还提供一种方面级情感分析装置。请参阅图2，其为一个实施例的方面级情感分析装置的结构示意图，该装置包括目标句子嵌入模块10、模板句子构建模块20、连续模板构建模块30、上下文特征提取模块40、句法依存特征提取模块50、特征融合模块60和预测模块70，其中，目标句子嵌入模块10用于获取待分析的目标句子，对目标句子进行嵌入操作得到目标嵌入向量；模板句子构建模块20用于根据目标句子构建模板句子，对模板句子中的模板词、方面词和掩码词进行嵌入操作得到模板词嵌入向量、方面词嵌入向量和掩码嵌入向量；连续模板构建模块30用于将模板词嵌入向量输入prompt编码器得到模板词张量，将模板词张量、方面词嵌入向量和掩码嵌入向量拼接得到连续模板向量；上下文特征提取模块40用于将目标嵌入向量和连续模板向量共同输入预训练语言模型并进行池化操作，得到上下文特征；句法依存特征提取模块50用于根据目标句子生成句法依存树，根据句法依存树提取句法依存特征；特征融合模块60用于将上下文特征和句法依存特征进行特征融合，得到融合特征；预测模块70用于根据融合特征进行预测，得到目标句子中方面词的情感极性。
[0093]
在一个实施例中，在预训练语言模型的预训练阶段，包括步骤：
[0094]
将训练数据集中一定比例的原始词替换为掩码词[mask]，一定比例的原始词替换为随机词；对掩码词[mask]预测其所替换的原始词。
[0095]
在一优选实施例中，句法依存特征提取模块50用于将句法依存树输入图注意力网络(graph attention network,gat)并进行池化操作，获得句法依存特征。
[0096]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关细节之处请参见方法实施例的说明。
[0097]
基于同一发明构思，本发明还提供一种电子设备，所述电子设备可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。该电子设备包括一个或多个处理器和存储器，其中处理器用于执行程序实现
方法实施例的方面级情感分析方法；存储器用于存储可由所述处理器执行的计算机程序。
[0098]
基于同一发明构思，本发明还提供一种计算机可读存储介质，与前述方面级情感分析方法的实施例相对应，所述计算机可读存储介质其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所记载的方面级情感分析方法的步骤。
[0099]
本技术可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0100]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。