一种基于高阶图神经网络的社交关系识别方法与流程

技术特征：
1.一种基于高阶图神经网络的社交关系识别方法，其特征在于：a.通过不同的预训练模型有针对性地提取图中不同层次的特征，包括人物对的两张人脸的特征、人物对联合区域的特征以及整张图片的场景特征；b.通过构建8个二分类器实现8分类的功能，对推理结果进行有效利用，以准确划分主导(dominant)、竞争(competitive)、信任(trusting)、温暖(warm)、友善(friendly)、亲密(involved)、坦诚(demonstrative)、鼓励(assured)等8类社交关系；c.利用预训练模型提取的特征和计算得到的空间位置特征作为结点构建无向图，通过高阶图神经网络模拟人的思维对图进行推理；该方法主要包括以下步骤：(1)数据处理与增强：对作为输入的人物对的两张人脸、人物对联合区域以及整张图片统一裁剪为224
×
224的图像，并做随机修改亮度、对比度、随机仿射变换以及归一化等数据增强处理，其中对整张图片额外做随机水平翻转处理；另外，将人物对的两张人脸分别的空间位置和面积信息归一化后作为一路输入；(2)预训练模型选择：在vggface2、imagenet、places365数据集上训练得到的预训练模型分别作为人物对的两张人脸、人物对联合区域以及整张图片的特征提取网络，并删除各网络最后的全连接层；(3)模型构建：模型由三部分构成，第一部分由4个预训练的resnet模型和1个全连接层构成，分别提取两张人脸特征、人物对联合区域特征、场景特征以及人脸空间位置特征；第二部分由两个一阶图神经网络和两个二阶或三阶图神经网络级联组成；第三部分是分别由两层全连接层组成的8个二分类器；(4)模型训练与保存：由步骤(1)处理后的5路数据分别作为预训练模型和全连接层的输入，经由模型第一部分提取到的特征构建无向图作为图神经网络的输入进行推理，然后将推理结果分别送入8个二分类器进行社交关系分类，最后根据数据集中对应的标签和分类结果计算模型损失并反向传播更新模型参数，重复该步骤，直到训练出最高准确率的模型并保存；(5)社交关系识别：利用步骤(4)训练得到的模型即可对具有人脸边界框信息的图片进行社交关系识别。2.如权利要求1所述的基于高阶图神经网络的社交关系识别方法，其特征在于在步骤(2)中，针对不同层次的特征选取相对应的任务网络，其中人脸的特征由两个vgg-face(resnet-50)模型提取，人物对联合区域的特征由resnet-101模型提取，场景特征由适用于场景分类任务的resnet-50模型提取。3.如权利要求1所述的基于高阶图神经网络的社交关系识别方法，其特征在于在步骤(3)中，将8分类任务分解为8个二分类任务，使模型更加准确地预测社交关系。4.如权利要求1所述的基于高阶图神经网络的社交关系识别方法，其特征在于在步骤(4)中，通过图的方式表达各层次特征的关系，以各层次特征为结点，并采用全连接的方式构建无向图，再用高阶图神经网络模拟人的思维对图进行推理来获得结点级的知识和结构性的信息。

技术总结
本发明提出了一种基于高阶图神经网络的社交关系识别方法，主要涉及深度学习领域中先提取相关特征以构建图结构，再利用高阶图神经网络进行图推理，最后由分类器进行社交关系分类的问题。该方法包括：通过四个预训练模型和一个全连接层分别提取两张人脸、人物对联合区域、场景以及人物对空间位置特征；然后将提取的特征作为结点构建全连接的无向图送入图神经网络进行图推理；最后，利用8个二分类器结合图推理结果进行社交关系分类。本发明利用预训练模型和一个全连接层充分提取各层次特征，并通过高阶图神经网络有效推理隐藏在各层次特征之间的社交关系信息，提升了分类器的效果，达到了较高准确率的社交关系识别。达到了较高准确率的社交关系识别。达到了较高准确率的社交关系识别。


技术研发人员：卿粼波 高建军 李林东 吴晓红 陈洪刚
受保护的技术使用者：四川大学
技术研发日：2020.08.20
技术公布日：2022/3/10