基于主题语义增强的异构图结构多会话者情感分析方法

1.本发明属于自然语言处理技术领域，具体涉及一种基于主题语义增强的异构图结构多会话者情感分析方法。


背景技术：

2.对话中的情感识别是自然语言处理中的一项新兴任务，旨在识别对话中每个话语的情感。它可以被视为传统文本情感检测的延伸，或者是对话系统中出现的问题，有助于帮助机器理解用户产生的情绪，从而生成带有情感的情绪感知对话回复。传统的对话情感分析研究集中在双人对话，对多会话者环境涉猎较少，本发明的目标是解决在有三个或更多说话人的对话中识别说话人情绪的问题。与双说话人对话相比，多会话者会话中的信息交互更加频繁、多样化，因此情感识别也更加复杂。
3.首先，因为个人陈述时通常是有逻辑的、连贯的，但聊天则会有更大的跳跃性，不确定的信息跳跃性指数级地增大了情感分析的难度，因此需要关注上下文语境，特别是聊天过程中主题的变换。同时，群聊是多人之间进行信息交互，交互是一个持续的过程而不是短时固定的。而这从本质上改变了情感判断的评价方式。在无交互的情感分析应用下，比如商品评论，当成功判断评论的情感后就可以实现其应用价值，是清晰的分类任务。但在对话状态下，情感状态持续在变，单独的分析一句话意义不大。最后，交互的存在会隐藏部分状态信息。在聊天时，通常情况下，交互的双方都默认对方知道很多信息。比如沟通主客体之间的关系状态、彼此的需求目的、社会关系、以及都具备的常识，性格等。这个问题延伸到群聊语境下更加复杂，需要考虑每个说话者的性格和特点，考虑其遇到不同观点的反应。有些人固执己见，有些人容易动摇，其产生的情绪也不尽相同。因此如何有效地建模说话者间情绪的感染程度，以及说话者对自己情绪的坚持程度，也是重要且具有挑战性的问题。
4.专利号为cn113656564a的发明中提及一种基于图神经网络的电网业务对话数据情感检测方法，包括以下步骤：步骤1、提取对话集，构建语句级的自影响和互影响关系图以及特征提取模型；步骤2、构建词级无向图以及特征提取模型；步骤3、构建主题词汇与上下文词之间的关系无向图以及特征提取模型；步骤4、融合步骤1、步骤2和步骤3中的语句级特征、词图特征以及主题词汇与上下文词之间的关系特征，并计算对话情感。该发明能够大大提高交互式情感分析的准确性，从而为构建诸如问答系统、聊天机器人、公共服务机器人等类人交互系统提供重要技术支撑。但是该发明不涉及多会话者聊天这一场景下的情感分析处理。


技术实现要素：

5.解决的技术问题：本发明所要解决的问题是多会话者对话中的情感分析问题，重点解决语义建模以及对话者之间的交互问题。具体的，(1)如何在语义建模，获取输入语句的语义内容时，提供更多的情感特征方便后续情感分类，同时也要剔除尽量多的冗余信息，防止干扰计算机的判断。(2)在语句情感无法仅凭语义内容判断的情况下，如何依据上下文
的信息以及情感对当前话语情感进行判断，尤其是会话者在对话进行过程中还会因信息交互产生情感的转变的场景下。
6.技术方案：
7.一种基于主题语义增强的异构图结构多会话者情感分析方法，所述情感分析方法包括以下步骤：
8.s10，对输入对话进行情感词嵌入操作，将其从人类语言转化成带有情感的向量表示；
9.s20，对步骤s10输入的每句话都按照依存句法关系构建句法依赖图，节点为话中的单词，将句法依赖图输入图卷积神经网络中更新节点信息，获得语义加强的单词向量以及相应的句子表征向量；
10.s30，根据步骤s20得到的语义加强的单词向量构建主题提取模型，提取每句对话的主题，获得主题增强的句子表征；
11.s40，将步骤s30得到的主题增强的句子表征作为初始节点，按照主题相似性进行聚类，根据句子主题信息以及时序关系构建对话子图，构建异构对话图，节点为每句话的句子表征，使用图循环网络更新图节点；
12.s50，将步骤s40获得的图节点输入到分类器中得到分类结果，即情绪类别。
13.进一步地，步骤s10中，所述对输入对话进行情感词嵌入操作，将其从人类语言转化成带有情感的向量表示的过程包括以下子步骤：
14.s11，令输入为一段包含n轮对话的多会话者对话文本d：
[0015][0016]
其中ui表示对话文本d中第i个话语，表示话语ui对应的说话者，ui＝{w
i,1
,w
i,2
,...,w
i,n
}表示该句话有n个单词组成，i＝1,2,
…
n，j＝1,2,
…
m；m为会话者总数；n为对话总句数；
[0017]
对输入的每句话ui，使用word2vec按照时间顺序进行向量编码，获得每个单词的基本向量表示word2vec(wi)；
[0018]
s12，从外部情感词典vad获得每个单词的情感向量表示，采用下述公式将单词映射到情感词典：
[0019][0020]
其中，l(w)表示每个单词的词形还原；当某一词语具有实际情感意义时，词语情感向量w2av在vad每一维度上都有对应的实数值，反之，当词语不具备情感意义时，该词语的情感向量一律表示为,5,1,5]，这三个值分别表示极弱的情感适应度v、中等的情感强度a、极弱的情感重要性d；
[0021]
s13，将步骤s12获得的词语w的情感词嵌入w2av与步骤s11获得的基础word2vec词向量串联合并，得到最终的词向量表示将w
′i作为编码器的初始输入，称为情感词嵌入。
[0022]
进一步地，步骤s20中，对步骤s10输入的每句话都按照依存句法关系构建句法依赖图，节点为话中的单词，将句法依赖图输入图卷积神经网络中更新节点信息，获得语义加
强的单词向量以及相应的句子表征向量的过程包括以下子步骤：
[0023]
s21，对步骤s10的输入语句构建句法依赖树，通过分析单词之间的依存关系，对每一句ui构建一个关系树，表示句子的句法结构，原始节点为步骤s10得到的词向量表示w
′i，句子的核心动词为树的根节点，表示为中心词，根节点允许支配其它成分，且它本身不受其它任何成分的支配；
[0024]
s22，按照语法规则寻找与中心词有依存关系的依赖词，按照中心词与依赖词的时序顺序区别树的左右节点将依赖词纳入树中，直到检测完所有单词，完成句法依赖图；
[0025]
s23，将句法依赖图输入图卷积神经网络中更新节点信息，获得语义加强的单词向量：
[0026]
wi″
＝gru(w
′1,w
′2,...,w
′n)；
[0027]
通过计算单词的均值获得每句话的句子表征向量vi。
[0028]
进一步地，步骤s22中，按照语法规则寻找与中心词有依存关系的依赖词，按照中心词与依赖词的时序顺序区别树的左右节点将依赖词纳入树中，直到检测完所有单词，完成句法依赖图的过程包括以下子步骤：
[0029]
s221，使用栈和一个含有待处理词的队列构建句法依赖图；对栈和队列进行初始化，清空栈，初始状态栈里只有一个根节点；将句子中的所有词导入队列；
[0030]
s222，根据当前状态使用oracle函数选择并执行相应的操作类型，操作类型包括三种：
[0031]
当栈顶和它下面的词构成依存关系，并且中心词是栈顶元素时，将这两个词从栈中弹出，将这个依存关系加入到已分析的数据结构里，最后把中心词再加到栈中；
[0032]
当栈顶和它下面的词构成依存关系，中心词是下面的元素时，将这两个词从栈中弹出，将这个依存关系加入到已分析的数据结构里，最后把中心词再加到栈中；
[0033]
否则，将队列中的一个词加入到栈顶；
[0034]
s223，循环步骤s222，直至栈中只有根节点，队列也为空。
[0035]
进一步地，步骤s30中，根据步骤s20得到的语义加强的单词向量构建主题提取模型，提取每句对话的主题，获得主题增强的句子表征的过程包括以下步骤：
[0036]
s31，采用变分自编码器构成主题提取模块；将步骤s20得到的语义加强的单词向量w
″i按照时序信息递归的输入主题提取模块中进行训练，其输出是该句话中讨论的主题的潜在向量；潜在向量通过一个重复出现的隐藏状态来约束单个对话的连贯主题，其后验近似值的变分分布为：
[0037][0038]
其中h
n-1
＝f
τ
(z
n-1
,w
″
n-1
)，n》1；和均为全连接层，f
τ
()是一个循环单元，采用transformer的多头注意机制，其输入的query是上一个隐变量z
n-1
：
[0039][0040]
式中，表示给定输入xn的的输出，表示语言模型在主题层之前的下层网络；
[0041]
s32，将经过主题提取模块训练出的潜变量zi视为当前语句ui的主题向量，将zi与步骤s20得到的句子表征向量vi串联，得到主题增强的句子表征向量vei。
[0042]
进一步地，步骤s40，将步骤s30得到的主题增强的句子表征作为初始节点，按照主题相似性进行聚类，根据句子主题信息以及时序关系构建对话子图，构建异构对话图，节点为每句话的句子表征，使用图循环网络更新图节点的过程包括以下子步骤：
[0043]
s41，将步骤s30得到的主题增强的句子表征作为初始节点，将多会话者对话按照主题信息相似度进行聚类，根据空间距离连接节点，若节点空间距离接近，且节点在时间上是相邻的，则构建边，最后得到分割成的若干对话子图；每个对话子图表示该时间段内讨论事情相同，情感具有衔接性；
[0044]
s42，处理各个对话子图内的节点，图的节点为每个speaker说的话vei，对应说话者表示为p
vei
；针对每个对话子图构建一个异构图，边的类型分两种：说话者相同的边e1、说话者不同的边e0；每个节点按照时间顺序排列，节点i构建边的规则是：vei与后方节点构建边，若后方节点vej的说话者则连接两个节点，表示为直到检测到说话者相同的节点，假设为vek，k》i，即当时构建边为并停止检测，开始构建节点ve
i 1
与后续节点的边，直到检测完所有节点，得到最终的子图初始图；
[0045]
s43，使用图卷积网络更新步骤s42中得到的子图初始图的节点，节点的更新由前置节点及其连接的边决定，且边的关系类型不同，权重不同，更新后的节点即为经过句子语义增强和情感交互处理的句子节点vsei。
[0046]
进一步地，步骤s51，将步骤s43得到的最终的句子表示vsei投入分类器中，对话语的情感进行分类；分类器使用一个全连接层：
[0047]hi
＝relu(whvsei bh)
[0048]
li＝softmax(w
lhi
b
l
)
[0049][0050]
其中，k表示情绪类别标签个数，为最终预测出的情绪标签，wh、bh、w
l
、b
l
是可学习的参数。
[0051]
进一步地，步骤s52，整个方法以端到端的方式训练，总方法的损失函数定义如下：
[0052][0053]
其中，λ为可学习的参数，是主题模块的损失函数，是分类器的损失函数；使用证据下限计算，使用证据下限计算，使用交叉熵损失函数计算。
[0054]
有益效果：
[0055]
第一，本发明的基于主题语义增强的异构图结构多会话者情感分析方法，构造了句法依赖图和主题提取模型，提高单句的语义表达。由于多会话者环境下，聊天内容具有跳跃性，需要对每句对话提取主题特征，关注多人对话聊天主题的转变，判断对话者的聊天对象及聊天状态的改变，帮助锁定当前对话依赖的局部上下文，建模主题增强的语义表达，为下一步做铺垫。
[0056]
第二，本发明的基于主题语义增强的异构图结构多会话者情感分析方法，将相似语义主题的话语聚类，再按照时序顺序构建局部依赖子图，边的构建体现用户间的情感影
响。这一方法使得同一主题且有时序信息的语句聚类到同一子图，其情感的连续性及传染性更加鲜明，可以用于提高多会话者环境下的情感分析准确度。
[0057]
第三，本发明的基于主题语义增强的异构图结构多会话者情感分析方法，构造了句法依赖图以及主题提取模型优化特征提取问题，基于此，有用的、具有情感信息的特征被保留，冗余的信息被剔除，大大有利于后续的情感分类。本发明构造了一个异构对话子图模块建模情感交互问题，将具有大量数据的多人聊天任务化繁为简，分割成多个主题一致的对话子图，加快了模型的运算速度，提高了分类器的准确率。
附图说明
[0058]
图1为本发明实施例的基于主题语义增强的异构图结构多会话者情感分析方法流程图；
[0059]
图2为本发明实施例所述的情感分析方法对应的系统整体架构示意图。
具体实施方式
[0060]
下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
[0061]
本实施案例采用情感词嵌入和多任务协同交互的图网络结构模型对对话情感进行分析。
[0062]
如图1和图2所示，本方法包含以下步骤：
[0063]
步骤1)将输入对话进行词嵌入操作，获得编码器的初始输入。
[0064]
步骤101)词嵌入操作是将单词映射到固定维数的实值向量。假设输入为一段包含n轮对话的多会话者对话文本其中ui表示对话文本d中第i个话语，表示话语ui对应的说话者，ui＝{w
i,1
,w
i,2
,...,w
i,n
}表示该句话有n个单词组成，i＝1,2,
…
n，j＝1,2,
…
m；m为会话者总数；n为对话总句数。给定输入对话序列，将序列首先进行word2vec操作，获得具有单词基本语义的词向量。
[0065]
步骤102)再将对话序列输入到外部认知工程情感词典种，用三维情感空间来增强传统的词嵌入，获得三维的带有情感的词向量，将单词映射到情感词典的方法如下：
[0066][0067]
其中，l(w)表示每个单词的词形还原。当某一词语具有实际情感意义时，词语情感向量w2av在vad每一维度上都有对应的实数值，反之，当词语不具备情感意义时，如停用词，该词语的情感向量一律表示为[5,1,5]，这三个值分别表示极弱的情感适应度(v)、中等的情感强度(a)、极弱的情感重要性(d)。
[0068]
步骤103)将步骤101)和步骤102)得到的向量串联，得到的向量即为最终的情感词向量作为下一步编码器的输入，称为情感词嵌入。
[0069]
步骤2)，对输入语句构建句法依赖图，最大化提高对话特征的提取，获得语义增强的句子表征和单词表征。将步骤1)得到的单词向量w
′i表示为初始节点，按照单词的时序顺序进行依存句法关系的检测，从而构建句法依赖图。
[0070]
步骤201)使用栈(stack)和一个含有待处理词的队列(queue)构建句法依赖图。刚
开始stack是空，而队列包含了句子中所有词。每一步它有两种操作：把队列中的一个元素插入到stack中；把stack顶部的两个元素合并(reduce)成一个元素。
[0071]
步骤202)初始状态栈里只有一个根节点(root)，而队列里是所有的词，然后循环直到结束状态。循环的每一步是根据当前状态使用oracle函数选择合适的操作，然后执行这个操作。执行的操作有以下三种：
[0072]
left-arc：栈顶和它下面的词构成依存关系，并且中心词是栈顶元素，把这两个词从栈中弹出，把这个依存关系加入到已分析的数据结构里，最后把中心词再加到栈中
[0073]
right-arc：栈顶和它下面的词构成依存关系，中心词是下面的元素，把这两个词从栈中弹出，把这个依存关系加入到已分析的数据结构里，最后把中心词再加到栈中
[0074]
shift：把队列中的一个词加入到栈顶
[0075]
当状态为栈中只有root，队列也为空时为结束状态，表明代表该句话的句法依赖图已经构建完成。
[0076]
步骤203)将句法依赖图及初始图节点输入图卷积神经网络(gru)中更新节点信息，获得语义加强的单词向量：
[0077]w″i＝gru(w
′1,w
′2,...,w
′n)
[0078]
通过计算单词的均值获得该句话的句子表征向量vi。
[0079]
步骤3)，考虑多人对话对话轮次多，文本内容多且繁杂的影响因素，对输入语句构建主题提取模型，提取每句对话的主题。
[0080]
步骤301)主题提取模块主要由变分自编码器(vae)构成，将步骤2)得到的语义加强的单词向量w
″i按照时序信息递归的输入vae中进行训练。
[0081]
步骤302)vae的输出是该句话中讨论的主题的潜在向量。潜在向量通过一个重复出现的隐藏状态来约束单个对话的连贯主题，其后验近似值的变分分布为：
[0082][0083]
其中h
n-1
＝f
τ
(z
n-1
,w
″
n-1
)，for n》1。和都为全连接层，f
τ
()是一个循环单元，采用transformer的多头注意机制，其输入的query是上一个隐变量z
n-1
：
[0084][0085]
步骤303)经过主题模块训练出潜变量zi，将其视为当前语句ui的主题向量，将zi与步骤3)得到的句子表征向量vi串联，得到主题增强的句子表征向量vei。
[0086]
步骤4)，将步骤3)得到的主题增强的句子表征作为初始节点,构建对话子图，解决多人对话讨论内容繁杂的问题。
[0087]
步骤401)由于群聊对话的信息量大、跨越度不定，如果将整段对话直接构建图结构，容易在信息传递过程中过滤掉有用信息，因此需要将长篇幅对话进行处理。将步骤3)得到的主题增强的句子表征作为初始节点，将多会话者对话按照主题信息相似度进行聚类，根据空间距离连接节点，若节点空间距离接近，且节点在时间上是相邻的，则构建边，最后得到分割成的若干对话子图。
[0088]
步骤402)每个子图表示该时间段内讨论事情相同，情感具有衔接性。首先处理各
子图内的节点，图的节点为每个speaker说的话vei，对应说话者表示为pi。对每个子图构建一个异构图，边的类型分两种：说话者相同的边e1、说话者不同的边e0。每个节点按照时间顺序排列，节点i构建边的规则是：vei与后方节点构建边，若后方节点vej的说话者pj≠pi，则连接两个节点，表示为直到检测到pk＝pi，构建边为并停止检测，开始构建节点ve
i 1
与后续节点的边。直到检测完所有节点，可以得到最终的子图初始图。
[0089]
步骤403)使用图卷积网络(gcn)更新步骤402)得到的子图的节点，节点的更新由前置节点及其连接的边决定，且边的关系类型不同，权重不同。更新后的节点即为经过句子语义增强和情感交互处理的句子节点vsei。
[0090]
步骤5)，将图节点输入到分类器中得到分类结果，即情绪类别。
[0091]
步骤501)，将步骤403)得到的最终的句子表示vsei投入分类器中，对话语的情感进行分类。分类器使用一个全连接层：
[0092]hi
＝relu(whvsei bh)
[0093]
li＝softmax(w
lhi
b
l
)
[0094][0095]
其中，k表示情绪类别标签个数，为最终预测出的情绪标签，wh、bh、w
l
、b
l
是可学习的参数。
[0096]
步骤502)，整个方法以端到端的方式训练，总方法的损失函数定义如下：
[0097][0098]
其中，λ为可学习的参数，是主题模块的损失函数，是分类器的损失函数；使用证据下限计算，使用证据下限计算，使用交叉熵损失函数计算。
[0099]
本发明的主要目的是进行情感识别，对每句话构建句法依赖图，再使用变分自编码网络重构语句，将潜变量训练为句子的主题，方便后续观察群聊主题的转变，最大化提高对话特征的提取。同时选用异构图网络编码语句，聚类主题相近节点，将多主题、多会话者、信息杂乱的长回合对话切割成主题清晰、信息简练的易分类的对话子图，选用异构图还可以区别不同对话者受到外界的影响后的情绪变化。本发明同时考虑多人对话任务中的语义建模和情感交互任务，基于提高对话的情感识别精度的目的，将两种任务联合处理。考虑到开放性对话的主题变动会影响情感交互的连续性，所以本发明将主题检测任务也纳入学习。本发明使用主题提取模型模拟聊天信息跳跃性，同时结合依存句法分析方法共同获取输入对话的信息。本发明还设计了一种异构图网络来更新对话节点特征信息，建模不同对话者间的情感交互，用于更好的情感分析。该方法创新的将多人对话情感分析任务化繁为简，进行主题分割，实现了情感识别速度与精度的双重提高。总得来说，本发明充分考虑对话者间交互信息，提高了多会话者对话情感分析的预测精度。