一种基于情绪增强时空图推理的二元社会关系识别方法

本发明涉及人工智能领域中的二元社会关系识别问题，尤其是涉及一种基于情绪增强时空图推理的二元社会关系识别方法。

背景技术：

1、在人工智能和多模态理解领域，二元社会关系识别是一项具有挑战性的任务。人工智能技术的快速发展为机器理解人类互动行为、感知社会关系并在不同交互环境中进行智能分析创造了条件。现有研究通常依赖于人脸表情、身体姿态、语音状态和语言内容等多模态线索，利用深度学习技术对两个交互主体之间的社会关系进行识别，并通过多模态特征融合和时序建模方法增强模型的关系表征能力，在一定程度上提高了社会关系识别的准确性。

2、为了进一步提升智能机器对复杂社交互动的理解能力，模型不仅需要识别单个主体的行为状态，还需要理解两个主体之间持续互动形成的稳定社会联系。二元社会关系往往体现为交互双方在多个时间片段中的表情变化、身体动作、语音节奏、语言语义以及情绪表达的综合结果。然而，现有多模态社会关系识别方法通常侧重于直接融合视觉、音频和文本等特征，缺乏对情绪信息与交互拓扑结构之间关系的有效建模，难以根据不同情绪语境动态调节跨主体、跨模态的信息传递。同时，社交互动中普遍存在延迟响应和长程依赖，一方的表情、语言或动作可能在后续时间步才引起另一方响应，常规时序建模方法难以充分刻画这种异步交互动态，导致现有方法在二元社会关系识别任务中仍存在一定局限性。

3、因此，本专利首先从双人交互视频中提取两个交互主体的人脸、身体、音频和文本特征，并获取用于刻画交互情绪语境的情绪表征；然后将不同模态特征映射为统一的多模态节点表示，构建跨主体交互图，并将情绪表征与交互拓扑关系进行解耦建模。随后，拓扑门控机制通过情绪先验信息对跨主体模态交互边权重进行自适应调节，实现对交互拓扑结构的有效增强。进一步地，引入基于高斯衰减的异步时空图推理方法，对时间邻域内的历史交互信息和未来交互信息进行加权聚合，以建模二元互动过程中的延迟响应和长程依赖。最后，将多模态节点表示、情绪增强的交互图表示和异步时空图表示进行融合，并通过分类器输出二元社会关系类别，从而提高社会关系识别模型的准确性和稳定性。

技术实现思路

1、本发明提出了一种基于情绪增强时空图推理的二元社会关系识别方法，目的在于以图推理方式实现情绪信息对跨主体交互拓扑的自适应增强，并通过异步时空建模刻画社交互动中的延迟响应与长程依赖，有效解决复杂互动场景下的二元社会关系识别问题。

2、为了方便说明，首先介绍相关专业术语以及本专利相关表述的概念：

3、（1）多模态特征融合（multimodal feature fusion）：指对来自不同数据模态的特征进行统一处理的技术，包括特征提取、时间或空间对齐、维度映射以及联合表示学习等过程，常用于融合视觉、音频、文本等异构信息，以获得比单一模态更完整的特征表达。

4、（2）图神经网络（graph neural network, gnn）：指针对图结构数据进行表示学习的神经网络模型。其通常将对象表示为节点，将对象之间的关系表示为边，并通过邻居节点的信息聚合和节点状态更新，实现对结构化关系和信息传递过程的建模。

5、（3）门控机制（gating mechanism）：指通过可学习函数生成门控权重，并利用该权重控制不同特征、分支或信息通道参与计算的程度。该机制能够对输入信息进行选择、过滤和融合，使模型根据当前上下文动态调整不同信息的贡献。

6、（4）时序建模（temporal modeling）：指对具有时间顺序的数据进行动态依赖关系建模的技术。其通过分析不同时间步之间的状态变化和信息关联，捕捉序列数据中的短期变化、长期依赖、延迟响应以及动态演化过程。

7、该方法主要包括以下步骤：

8、(1) 多模态特征提取：将双人交互视频划分为若干连续交互片段，提取两个交互主体的人脸、身体、音频、文本特征及情绪表征；

9、(2) 多模态节点表示构建：对不同模态特征进行时间对齐，并映射为统一的多模态节点表示；

10、(3) 情绪增强拓扑门控图推理：基于多模态节点表示构建跨主体交互图，计算模态节点对的拓扑边权重，并通过门控机制对情绪先验信息进行调制，得到情绪增强的跨主体交互图表示；

11、(4) 异步时空图推理：以情绪增强的跨主体交互图表示为时序推理单元，利用高斯衰减权重聚合时间邻域内的历史和未来交互信息，得到异步时空图推理表示；

12、(5) 关系类别输出：融合多模态节点表示、情绪增强跨主体交互图表示和异步时空图表示，形成关系判别嵌入，并通过分类器输出社会关系类别预测结果；

13、(6) 模型训练与应用：利用训练集和测试集对网络框架进行训练和评估，选取表现良好的模型参数用于二元社会关系识别。

14、本发明的有益效果是：通过构建情绪增强拓扑门控图和高斯衰减异步时空图，能够自适应增强情绪信息与交互拓扑之间的关系，并刻画二元互动中的延迟响应和长程依赖，从而提高细粒度二元社会关系识别的准确性和稳定性。

1.一种基于情绪增强时空图推理的二元社会关系识别方法，其特征在于：

2.如权利要求1所述的基于情绪增强时空图推理的二元社会关系识别方法，其特征在于，在步骤（3）中，构建情绪增强拓扑门控图推理方法，具体包括：在每个时间步，根据两个交互主体和的多模态节点表示构建跨主体交互图，其中各模态节点之间的跨主体交互关系由边权重表示。对于任一跨主体模态对，通过注意力机制计算初始拓扑边权重：

3.如权利要求1所述的基于情绪增强时空图推理的二元社会关系识别方法，其特征在于，在步骤（4）中，构建基于高斯衰减的异步时空图推理方法，具体包括：

4.如权利要求1所述的基于情绪增强时空图推理的二元社会关系识别方法，其特征在于，在步骤（5）中，进行关系类别输出，具体包括：