一种基于渐进式学习的对话级弱监督情感识别方法与流程

本发明属于人工智能，具体涉及一种基于渐进式学习的对话级弱监督情感识别方法。

背景技术：

1、对话情感识别（emotion recognition in conversations，erc）在医疗对话分析、社交媒体分析和对话系统构建等多个实际应用场景中具有重要价值。erc技术希望训练一个深度学习模型自动识别对话中每个话语的情感类别，如悲伤、快乐或愤怒等，这是自然语言处理社区的一个基本任务。

2、现阶段解决对话情感识别问题的方法可分为三类：基于内容的方法、知识辅助的方法和基于关系的方法。基于内容的方法通过将话语与同一对话中的历史内容整合后输入到各种文本编码器中；知识辅助的方法利用外部知识库和辅助信息（如说话者背景、话语角色等）来增强话语表示；基于关系的方法则将对话转换为图结构，通过图神经网络捕获话语间的上下文依赖关系。

3、与本发明最接近的现有技术为多实例多标记学习（multi-instance multi-labellearning，miml）方法（zhou z h, zhang m l, huang s j, et al. multi-instancemulti-label learning[j]. artificial intelligence, 2012, 176(1): 2291-2320.）和标签比例学习（learning from label proportions，llp）方法（liu j, wang b, shen x,et al. two-stage training for learning from label proportions[c]//international joint conference on artificial intelligence. 2021: 2737-2743.）。miml方法将实例袋与袋级标签集相关联，而非实例级标签，通过自训练和对比学习等技术进行模型训练。llp方法则利用实例袋的标签比例信息，通过比例损失、一致性正则化等目标函数将实例级预测结果聚合为袋级输出。

4、现有技术主要存在以下缺点和不足：第一，现有的对话情感识别方法都建立在细粒度标注的训练数据集上，导致其完全依赖于话语级别的细粒度标注，即对话中的每个话语都需要被人工标注情感标签，导致标注成本高昂，标注效率低下。与传统的情感识别任务不同，对话情感识别中话语的情感高度依赖于对话上下文。同样的话语在不同的对话上下文中可能表达完全不同的情感。这种特性使得标注者需要反复审阅整个对话才能为每个话语分配准确的情感标签，导致细粒度标注的成本极高。根据已有研究的标注统计和初步实验，标注单个话语的平均时间约为10秒，这对于实际应用场景来说是难以承受的。第二，现有的弱监督学习方法（如miml和llp）虽然可以处理袋级标签，但未能充分考虑对话的特殊结构。在对话情感识别任务中，同一对话中的话语是相互依赖的耦合序列，而非独立的实例袋。现有的弱监督学习方法无法有效利用对话中话语之间的依赖关系。第三，现有的对话情感识别方法在处理不同噪声密度的训练样本时缺乏有效策略。当使用对话级情感集合进行训练时，情感集合中包含的情感数量不同会导致不同程度的标签噪声，现有的对话情感识别方法无法根据噪声密度的差异进行针对性的学习。

技术实现思路

1、针对现有技术存在的标注成本高、无法适应对话特性以及缺乏噪声感知学习策略的问题，本发明提供一种基于渐进式学习的对话级弱监督情感识别方法。

2、本发明为解决技术问题所采用的技术方案如下：

3、本发明提供的一种基于渐进式学习的对话级弱监督情感识别方法，包括以下步骤：

4、步骤一、获取derc训练数据集，包含多个对话及其对应的对话级情感集合；

5、步骤二、通过伪话语级情感标签初始化将对话级情感集合转换为伪话语级情感分布，构建伪erc数据集；

6、步骤三、根据对话级情感集合的大小将训练数据划分为多个训练子集；

7、步骤四、采用渐进式学习策略从低噪声子集逐步过渡到高噪声子集进行模型训练，在每轮训练迭代中，联合更新伪话语级情感标签和erc预测器参数；

8、步骤五、使用训练好的erc预测器对新对话中的每个话语进行情感类别预测，输出话语级情感预测结果。

9、进一步的，所述derc训练数据集由n个粗粒度标注样本组成，记为，表示对话，表示对话对应的对话级情感集合，表示对话级情感空间；每个对话由轮话语组成，记为，表示话语的原始文本内容。

10、进一步的，步骤二中，将对话级情感集合中的情感概率均匀分配给该对话的所有话语，构建伪话语级情感分布。

11、进一步的，对于每个话语，使用其所属对话的对话级情感集合初始化其伪话语级情感标签：

12、；

13、其中，表示对话级情感集合中包含的情感数量，且伪话语级情感标签满足归一化约束：，表示第个对话中第个话语在第个情感类别上的伪话语级情感概率，m表示每个对话中的话语轮数，n表示derc训练数据集中的粗粒度标注样本数量。

14、进一步的，步骤三中，使用对话级情感集合中包含的情感数量来表征来自对话的话语的噪声密度，将伪erc数据集划分为个不相交的训练子集。

15、进一步的，步骤四中，初始训练池仅包含最低噪声子集，每经过轮训练后，将下一噪声级别的子集加入训练池，直至包含全部数据。

16、进一步的，步骤四中，利用焦点损失函数优化erc预测器参数，并对置信度超过阈值且情感预测结果被对话级情感集合覆盖的样本更新其伪话语级情感标签。

17、进一步的，步骤四中，给定任意训练池，采用以下训练目标函数进行优化：

18、

19、其中，表示交叉熵损失函数，表示erc预测器对话语的情感预测结果，表示用于缓解数据不平衡问题的焦点损失超参数，表示erc预测器参数，表示伪话语级情感标签，m表示每个对话中的话语轮数，表示话语的伪话语级情感标签。

20、进一步的，步骤四中，对于伪话语级情感标签，通过当前情感预测结果进行细化更新：

21、

22、其中，符号表示逐元素乘法运算，表示范数，表示向量的最大值运算，表示置信度阈值，表示情感预测结果的锐化版本，表示对话级情感集合。

23、进一步的，步骤四中，通过伪话语级情感标签更新后，每个伪话语级情感标签被对话级情感集合所覆盖，且只有高置信度的情感预测结果才会用于更新伪话语级情感标签。

24、本发明的有益效果是：

25、（1）本发明提出了一种高效的粗粒度标注策略，通过为每个对话分配情感集合而非为每个话语分配单一情感标签，显著降低标注成本的同时保持较高的标注准确率。

26、（2）本发明提出了一种新的弱监督学习任务，即无数据对话情感识别（datalesserc，derc），利用对话级情感集合训练能够准确识别话语级情感的erc预测器，显著降低标注成本。

27、（3）本发明提出了一种基于伪话语级情感标签的训练策略，通过对话级情感集合初始化伪话语级情感分布，并在训练过程中基于高置信度预测结果进行伪话语级情感标签更新。

28、（4）本发明提出了一种渐进式学习策略（derc-pl），通过按噪声密度划分训练子集并从低噪声子集逐步过渡到高噪声子集的方式，在训练初期获得更精确的伪话语级情感标签，从而提升本发明的整体预测性能。