一种文本情感分类方法、系统、装置及计算机介质

1.本发明涉及自然语言处理技术领域，具体为一种文本情感分类方法、系 统、装置及计算机介质。


背景技术：

2.随着互联网技术的迅速普及和高速发展，越来越多的人会在互联网中花 上更多的时间并且热忱于发表自己的观点或看法，从而会产生数以万计且类 型不统一的文本数据。的文本数据会蕴涵丰富的个人情感信息，如何有效提 取分析文本数据情感特征成为一个关键问题。
3.自然语言处理技术应时而生，且对于文本信息处理产生越来越重要的影 响，若采用基于规则的方法来实现文本情感分类，其通过大量学者的语言知 识经验从而获取句子特征表示，但是获取规则的方法复杂度较高且成本巨大； 若选择采用基于统计的机器学习方法来实现文本情感分类，但人工标记训练 样本集会导致主观意识较强、效率低下等问题；由于文本情感分类方法作为 自然语言处理技术中的一项核心算法，与事件抽取、智能问答、情感分析等 多个自然语言处理任务息息相关，能够为特定领域分类出所需要的具体信息。
4.目前基于规则和字典的文本情感分类的前期词典构造与规则制定需要大 量时间成本且维护成本较高，分类准确率较低；基于深度学习的文本情感分 类难以适用于只具有小规模预料文本的数据，且分类准确率不高，现有技术 的问题会对于文本情感分类产生不利影响，甚至无法捕捉具体情感特征信息， 阻碍文本情感分析技术的发展。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种文本情感分类方法、系统、装 置及计算机介质，解决了上述背景技术中提出的文本情感分类准确率低的问 题。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：一种文本情感分 类方法，包括：
9.获取文本数据；
10.标签标注获得的每条文本数据，构建和标注训练集和测试集；
11.构建包含文本序列的文本数据集合，并进行文本向量化，构建词向量集 合；
12.构建改进情感知识增强模型；
13.联合改进bigru和多头注意力机制进行文本情感特征提取；
14.基于文本特征向量集合数据，计算焦点损失的损失度函数；
15.进行文本情感分类模型训练，将词向量集合输入到文本情感分类模型， 获得文本情感分类结果。
16.优选地，所述获取文本数据，包括：通过数据服务中心系统获取文本数 据，以线上方式获取包括语音和文本的格式的在线情感数据，其中，将语音 格式的数据转为文本数据。
17.优选地，所述构建包含文本序列的文本数据集合，并进行文本向量化， 构建词向量集合，包括：
18.标注数据集完成之后，令s＝{s1,s2,...,s
l
,...,sn}，
19.其中，s表示所有文本数据集合，s
l
表示第l条文本序列，表示第l条 文本序列中的第i个字符，n表示文本数据集合有n条序列，m表示第l条文 本序列中有m个字符；
20.从文本序列s
l
中分别获取每个字符的向量和每个字符所对应的位置 向量其中位置向量计算方式如下：
[0021][0022]
其中，pos表示文本在文本序列中的具体位置，i表示向量维度，d
model
表示情感知识增强模型所接受的512维向量；
[0023]
将512维的向量和进行加和运算,获得文本输入向量t
l
，作为后 续模型的输入，计算方式如下：
[0024][0025]
其中，表示通过文本词嵌入和位置向量嵌入综合得到的后续情感 知识增强模型所需要的输入向量，进而构成向量集合t＝{t1,t2,...,t
l
,...,tn}。
[0026]
优选地，所述构建改进情感知识增强模型，包括：
[0027]
引入以自注意力机制为核心的transformer编码器与解码器架构；
[0028]
首先对情感词、情感词极性和属性词-情感词搭配二元组进行掩盖，并计 算情感词的损失函数：
[0029][0030][0031]
其中，表示第i个词经过transformer层后输入到softmax中所计算 得到的概率分布，w
sw
表示情感词输出层的权重值，b
sw
表示情感词输出层的 偏差值，mi表示情感词的标识符，若第i个词为情感词时mi＝1，否则mi＝0，y
isw
表示原始第i个词通过one-hot方式生成的向量表示；
[0032]
计算情感词极性的损失函数f
wp
：
[0033][0034]
[0035]
其中，表示第i个情感词的极性经过transformer层后输入到 softmax中所计算得到的概率分布，w
wp
表示情感词极性输出层的权重值，b
wp
表示情感词极性输出层的偏差值，y
iwp
表示原始第i个情感词的极性通过 one-hot方式生成的向量表示；
[0036]
计算属性词-情感词对的损失函数f
asp
：
[0037][0038][0039]
其中，表示第a个属性词-情感词对经过transformer层后输入到 softmax中所计算得到的概率分布，w
asp
表示属性词-情感词对的输出层权重 值，b
asp
表示属性词-情感词对的输出层偏差值，y
aasp
表示原始第a个属性词-情 感词对通过one-hot方式生成的向量表示；
[0040]
针对上述三个损失函数，构建三目标优化模型(9)，来权衡三个优化函数 之间的关系，从而找到得到最优的多种情感任务的情感预训练目标优化函数， 具体公式如下：
[0041]
max(f
sw
)，max(f
wp
)，max(f
asp
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0042]
采用pareto优化策略求解三目标优化模型(9)，获得优化情感词、情感 词极性和属性词-情感词的模型权重，并改进情感知识增强模型，得到情感 知识增强模型的输出集合x＝{x1,x2,...,x
l
,...,xn}。
[0043]
优选地，所述联合改进bigru和多头注意力机制进行文本情感特征提取； 包括：
[0044]
引入多头注意力机制来学习不同的子空间下情感文本的情感特征，提取 联合改进bigru和多头注意力机制的情感文本情感特征，获取文本中的内部 结构信息；
[0045]
通过公式(10)计算文本集合x中所有文本情感向量的隐藏特征值h
l
：
[0046][0047]
其中，p1表示第l条信息文本前向gru所对应的权重，p2表示第l条信息 文本反向gru所对应的权重，bz表示第l条信息文本的偏置，h
l
表示经过加权 求和后的隐藏特征值，表示前向gru输出的隐藏状态值，表示反向gru输 出的隐藏状态值。遍历计算每条文本对应的隐藏特征值，最后获得情感隐藏 特征集合h＝{h1,h2,...,h
l
,...,hn}；
[0048]
结合获得的情感隐藏特征集合h，通过多头注意力机制来获取情感隐藏特 征集合在不同的子空间下不同的特征表示能力，进行不同子空间下的权重计 算与分配，将情感隐藏特征集合h中的每个隐藏特征值h
l
赋值给查询向量q、 键向量k和值向量v，并计算如下公式：
[0049][0050]
其中，attention()表示注意力函数，softmax()表示归一化指数函数，dk表示键向量k的维度；
[0051]
通过归一化指数函数来最大化每个查询向量q与键向量k乘积的概率分 布，获得文本中每个字在上下文中的权重关系，从而提取情感上下文中最关 键的词语特征信息；
[0052]
令第t次投影注意力函数计算后的值head
t
为
[0053]
head
t
＝attention(qw
tq
,kw
tk
,vw
tv
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0054]
其中，head
t
表示在第t次通过线性层投影下通过注意力机制计算后得到 的值，w
tq
、w
tk
、w
tv
表示经过第t次投影学习到的权重值；
[0055]
通过多个head进行拼接得到多头注意力机制函数，计算方式如下：
[0056]
multihead(q,k,v)＝concat(head1,head2,...,head
t
,...,headh)wcꢀꢀꢀꢀꢀ
(13)
[0057]
其中，wc表示在拼接过程中学习到的权重参数，concat()表示将h个head 进行拼接的函数，从而得到新的一个情感特征向量表示；
[0058]
最后，对于特征集合h的所有隐藏特征值进行多头注意力机制计算，从 而得到新的情感特征向量表示集合m＝{m1,m2,...,m
l
,...,mn}。
[0059]
优选地，所述基于文本特征向量集合数据，计算焦点损失的损失度函数， 包括：
[0060]
结合上一步骤学习到新的特征向量集合数据，通过公式(14)计算焦点损 失的损失度函数，通过调节难、易分类样本的权重系数来输出文本的情感标 签，作为最后的标签输出结果；
[0061]
l＝-α(1-pr)
γ
log(pr)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0062]
其中，pr为文本情感分类模型预测情感特征向量m
l
的概率，α和γ为文 本情感权重调节系数。
[0063]
优选地，所述进行文本情感分类模型训练，包括：
[0064]
在训练过程中，迭代计算所有文本情感特征向量预测的概率对应的损失 值
[0065]
当损失函数值大于预设阈值ε，则更新模型参数继续训练，否则，通过迭 代计算得到模型的最小化损失函数值，即为模型训练的最终目标。
[0066]
本发明还提供一种文本情感分类系统，包括：
[0067]
文本数据预处理模块：用于获取文本数据；标签标注获得的每条文本数 据，构建和标注训练集和测试集；构建包含文本序列的文本数据集合，并进 行文本向量化，构建词向量集合；
[0068]
文本情感分类模型构建模块：用于构建改进情感知识增强模型；联合改 进bigru和多头注意力机制进行文本情感特征提取；基于文本特征向量集合 数据，计算焦点损失的损失度函数；进行文本情感分类模型训练；
[0069]
文本情感分类模块：用于将词向量集合输入到文本情感分类模型，获得 文本情感分类结果。
[0070]
本发明还提供一种文本情感分类装置，包括：输入设备、输出设备、存 储器、处理器；所述输入设备、所述输出设备、所述存储器和所述处理器相 互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序 指令，所护处理器被配置调用所述程序指令，执行如前任一所述的一种文本 情感分类方法。
[0071]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储 有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器所 执行时执行如前任一所述的一种文本情感分类方法。
[0072]
(三)有益效果
[0073]
本发明提供了一种文本情感分类方法、系统、装置及计算机介质。具备 以下有益效果：
[0074]
为了准确识别智能社区数据分析等特定领域中的文本情感信息，引入基 于情感知识增强的预训练模型skep(sentiment knowledge enhancedpre-training)，结合特定领域数据并在大型语料库模型中针对性的对于情感 信息和语义进行特征联合学习的预训练，增强自身语料库的情感特征表示能 力。
[0075]
提出基于联合bigru和多头注意力机制的情感特征提取方法，即利用隐 藏状态完成情感信息的记录与传输，通过更新门与重置门计算隐藏状态的参 数值，获取文本对应的隐藏状态的输出信息，同时引入多头注意力机制来加 强文本信息中在不同子空间下情感特征的学习，从而实现文本情感特征提取。
[0076]
同时，提出基于焦点损失的损失函数，解决正负文本数在不均衡的前提 下，导致难以区分文本从而影响情感分类准确率这一问题，即对于模型中难 以区分的文本，使用权重因子来平衡正负文本数，从而使得模型能够更加注 重少量文本数的特征表示。
[0077]
本发明不仅结合自身特定数据在大型语料库的情感模型中进行语义特征 预训练，增强自身语料库的文本情感特征表示，而且通过多头注意力机制来 学习文本在不同子空间下的特征表示，同时结合基于焦点损失的损失函数来 解决正负文本数在不均衡的前提下导致难以区分从而影响准确率的问题，最 终提高只具有小规模语料库的特定领域中的文本情感分类准确率。
附图说明
[0078]
图1为本发明提供的一种文本情感分类方法流程图；
[0079]
图2为本发明提供的一种文本情感分类系统框图。
具体实施方式
[0080]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述。
[0081]
为实现以上目的，本发明通过以下技术方案予以实现：
[0082]
如图1所示，本发明实施例提供一种文本情感分类方法，包括：
[0083]
s1获取文本数据；
[0084]
s2标签标注获得的每条文本数据，构建和标注训练集和测试集；
[0085]
s3构建包含文本序列的文本数据集合，并进行文本向量化，构建词向量 集合；
[0086]
s4构建改进情感知识增强模型；
[0087]
s5联合改进bigru和多头注意力机制进行文本情感特征提取；
[0088]
s6基于文本特征向量集合数据，计算焦点损失的损失度函数；
[0089]
s7进行文本情感分类模型训练；将词向量集合输入到文本情感分类模型， 获得文本情感分类结果。
[0090]
优选地，所述获取文本数据，包括：通过数据服务中心系统获取文本数 据，以线上方式获取包括语音和文本的格式的在线情感数据，其中，将语音 格式的数据转为文本数据，原有的文本数据则作保留。
[0091]
优选地，所述构建包含文本序列的文本数据集合，并进行文本向量化， 构建词向量集合，包括：
[0092]
标注数据集完成之后，令s＝{s1,s2,...,s
l
,...,sn}，
[0093]
其中，s表示所有文本数据集合，s
l
表示第l条文本序列，表示第l条 文本序列中的第i个字符，n表示文本数据集合有n条序列，m表示第l条文 本序列中有m个字符；
[0094]
考虑到情感分析的过程中字符位置信息对于情感分析会造成语义不通顺， 进而影响情感的判断，还需从文本序列s
l
中分别获取每个字符的向量和每 个字符所对应的位置向量其中位置向量计算方式如下：
[0095][0096]
其中，pos表示文本在文本序列中的具体位置，i表示向量维度，d
model
表示情感知识增强模型所接受的512维向量；
[0097]
将512维的向量和进行加和运算,获得文本输入向量t
l
，作为后 续模型的输入，计算方式如下：
[0098][0099]
其中，表示通过文本词嵌入和位置向量嵌入综合得到的后续情感 知识增强模型所需要的输入向量，进而构成向量集合t＝{t1,t2,...,t
l
,...,tn}。
[0100]
优选地，所述构建改进情感知识增强模型，包括：
[0101]
引入以自注意力机制为核心的transformer编码器与解码器架构；
[0102]
首先对情感词、情感词极性和属性词-情感词搭配二元组进行掩盖，并计 算情感词的损失函数：
[0103][0104][0105]
其中，表示第i个词经过transformer层后输入到softmax中所计算 得到的概率分布，w
sw
表示情感词输出层的权重值，b
sw
表示情感词输出层的 偏差值，mi表示情感词的标识符，若第i个词为情感词时mi＝1，否则mi＝0，y
isw
表示原始第i个词通过one-hot方式生成的向量表示；
[0106]
计算情感词极性的损失函数f
wp
：
[0107][0108][0109]
其中，表示第i个情感词的极性经过transformer层后输入到 softmax中所计算得到的概率分布，w
wp
表示情感词极性输出层的权重值， b
wp
表示情感词极性输出层的偏差值，y
iwp
表示原始第i个情感词的极性通过 one-hot方式生成的向量表示；
[0110]
计算属性词-情感词对的损失函数f
asp
：
[0111][0112][0113]
其中，表示第a个属性词-情感词对经过transformer层后输入到 softmax中所计算得到的概率分布，w
asp
表示属性词-情感词对的输出层权重 值，b
asp
表示属性词-情感词对的输出层偏差值，y
aasp
表示原始第a个属性词-情 感词对通过one-hot方式生成的向量表示；
[0114]
针对上述三个损失函数，构建三目标优化模型(9)，来权衡三个优化函数 之间的关系，从而找到得到最优的多种情感任务的情感预训练目标优化函数， 具体公式如下：
[0115]
max(f
sw
)，max(f
wp
)，max(f
asp
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0116]
采用pareto优化策略求解三目标优化模型(9)，获得优化情感词、情感 词极性和属性词-情感词的模型权重，并改进情感知识增强模型，得到情感 知识增强模型的输出集合x＝{x1,x2,...,x
l
,...,xn}，使得改进的情感知识增强模型 模型能够充分学习情感词、情感词极性和情感词—属性词对等多种方面的情 感特征，更利于捕捉情感信息，从而加强情感文本的情感特征提取。
[0117]
优选地，所述联合改进bigru和多头注意力机制进行文本情感特征提取； 包括：
[0118]
引入多头注意力机制来学习不同的子空间下情感文本的情感特征，提取 联合改进bigru和多头注意力机制的情感文本情感特征，获取文本中的内部 结构信息，从而有效提取每条句子中局部的特征；
[0119]
通过公式(10)计算文本集合x中所有文本情感向量的隐藏特征值h
l
：
[0120][0121]
其中，p1表示第l条信息文本前向gru所对应的权重，p2表示第l条信息 文本反向gru所对应的权重，bz表示第l条信息文本的偏置，h
l
表示经过加权 求和后的隐藏特征值，表示前向gru输出的隐藏状态值，表示反向gru输 出的隐藏状态值。遍历计算每条文本对应的隐藏特征值，最后获得情感隐藏 特征集合h＝{h1,h2,...,h
l
,...,hn}；
[0122]
结合获得的情感隐藏特征集合h，通过多头注意力机制来获取情感隐藏特 征集合在不同的子空间下不同的特征表示能力，进行不同子空间下的权重计 算与分配，将情感隐藏特征集合h中的每个隐藏特征值h
l
赋值给查询向量q、 键向量k和值向量v，并计算如下公式：
[0123][0124]
其中，attention()表示注意力函数，softmax()表示归一化指数函数，dk表示键向量k的维度；
[0125]
通过归一化指数函数来最大化每个查询向量q与键向量k乘积的概率分 布，获得文本中每个字在上下文中的权重关系，从而提取情感上下文中最关 键的词语特征信息；
[0126]
令第t次投影注意力函数计算后的值head
t
为
[0127]
head
t
＝attention(qw
tq
,kw
tk
,vw
tv
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0128]
其中，head
t
表示在第t次通过线性层投影下通过注意力机制计算后得到 的值，w
tq
、w
tk
、w
tv
表示经过第t次投影学习到的权重值；
[0129]
通过多个head进行拼接得到多头注意力机制函数，计算方式如下：
[0130]
multihead(q,k,v)＝concat(head1,head2,...,head
t
,...,headh)wcꢀꢀꢀꢀꢀ
(13)
[0131]
其中，wc表示在拼接过程中学习到的权重参数，concat()表示将h个head 进行拼接的函数，从而得到新的一个情感特征向量表示；
[0132]
最后，对于特征集合h的所有隐藏特征值进行多头注意力机制计算，从 而得到新的情感特征向量表示集合m＝{m1,m2,...,m
l
,...,mn}。
[0133]
优选地，所述基于文本特征向量集合数据，计算焦点损失的损失度函数， 包括：
[0134]
结合上一步骤学习到新的特征向量集合数据，通过公式(14)计算焦点损 失的损失度函数，通过调节难、易分类样本的权重系数来输出文本的情感标 签，作为最后的标签输出结果；
[0135]
l＝-α(1-pr)
γ
log(pr)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0136]
其中，pr为文本情感分类模型预测情感特征向量m
l
的概率，α和γ为文 本情感权重调节系数。
[0137]
优选地，所述进行文本情感分类模型训练，包括：
[0138]
在训练过程中，迭代计算所有文本情感特征向量预测的概率对应的损失 值
[0139]
当损失函数值大于预设阈值ε，则更新模型参数继续训练，否则，通过迭 代计算得到模型的最小化损失函数值，即为模型训练的最终目标。
[0140]
如图2所示，本发明还提供一种文本情感分类系统，包括：
[0141]
文本数据预处理模块：用于获取文本数据；标签标注获得的每条文本数 据，构建和标注训练集和测试集；构建包含文本序列的文本数据集合，并进 行文本向量化，构建词向量集合；
[0142]
文本情感分类模型构建模块：用于构建改进情感知识增强模型；联合改 进bigru和多头注意力机制进行文本情感特征提取；基于文本特征向量集合 数据，计算焦点损失的损失度函数；进行文本情感分类模型训练；
[0143]
文本情感分类模块：用于将词向量集合输入到文本情感分类模型，获得 文本情感分类结果。
[0144]
本发明还提供一种文本情感分类装置，包括：输入设备、输出设备、存 储器、处理器；所述输入设备、所述输出设备、所述存储器和所述处理器相 互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序 指令，所护处理器被配置调用所述程序指令，执行如前任一所述的一种文本 情感分类方法。
[0145]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储 有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器所 执行时执行如前任一所述的一种文本情感分类方法。
[0146]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。