一种基于自注意力机制的俯角人脸图像校正方法及系统与流程

技术特征：
1.一种基于自注意力机制的俯角人脸图像校正方法，其特征在于，包括以下步骤：步骤1：构建基于注意力机制的多输入融合对抗生成网络；所述多输入融合对抗生成网络包括多输入融合编码模块、自注意力模块、单层融合模块、多层融合模块、多输入融合解码模块和生成对抗网络鉴别模块；所述多输入融合编码模块包括串联设置的四个卷积层，第一层是卷积核大小为7的卷积层，步长为1；第二层为卷积核大小为5的卷积层，步长为2；第三以及第四层是卷积核大小为3的卷积层，步长都为2；所述第一层和第二层卷积层之后均加入有残差块，所述第三层和第四层卷积层之后均依次加入有归一化层，激活层和残差块；所述自注意力模块，用于对于所述多输入融合编码模块输出的特征图f，通过大小为1的卷积核构造出三张特征图f、g和h；所述特征图f和特征图g再进行矩阵乘法和softmax操作，得到矩形特征图β
i,
，之后β
i,
与特征图h相乘得到权重值o
j
，该权重值再加到特征图f中后输出；所述单层融合模块，用于对所述多输入融合编码模块中每一卷积层输出的c个图片的特征经过c个convgru模块来融合多张图片特征；所述多层融合模块，用于对所述单层融合模块输出的四个单层融合特征g1、g2、g3、g4分别经过一个反卷积层来使所有的特征处于同一种尺度，并按照g4、g3、g2、g1的顺序分别经过一个convgru模块，最后得到多层融合特征，多层融合特征再经过一层卷积核大小为3，步长为2的卷积层，以及两个全连接层之后得到总体特征；所述多输入融合解码模块，由四个反卷积层、两个自注意力层和两个卷积层组成；用于对所述多层融合模块输出的总体特征加入高斯噪声信息进行重构，得到新的特征f1，再对特征f1进行上采样分别构成三种不同尺度大小的特征f2、f3和f4后输入到反卷积层中；进入反卷积操作；所述多输入融合解码模块第一层的反卷积网络的输入是所述多输入融合编码模块第四层卷积层通过残差块之后的输出与f1融合的上采样值；所述多输入融合解码模块第二层反卷积层的输入是前一层反卷积层的输出经过残差块之后的结果、f2和所述多输入融合编码模块第三层卷积层的输出经过残差块之后的融合；所述多输入融合解码模块第三层的反卷积层输入是上一层反卷积层的残差输出、自注意力模块的输出经过残差块之后的结果、f3、所述多输入融合编码模块第二层卷积层的跨层输入、以及输入图片经过resize成一定大小之后这四个值的融合；所述多输入融合解码模块第四层的反卷积层的输入是自注意力模块的输出经过残差块之后的结果、所述多输入融合编码模块第一个卷积层的输出通过参差块之后的结果、以及输入图片的融合输入；所述多输入融合解码模块第四层之后再经过两个卷积层输出人脸校正精细图片；所述多输入融合解码模块的自注意力模块，输入的特征图经过该单元后，每个特征图会有一个权重图，代表特征图中每个部分的关联程度；所述生成对抗网络鉴别模块，由七层卷积层组成，其在倒数第二层和倒数第三层加入有残差块；步骤2：将需要校正的俯角人脸图像输入所述多输入融合对抗生成网络，获得人脸校正精细图片。2.根据权利要求1所述的基于自注意力机制的俯角人脸图像校正方法，其特征在于：步骤1中，训练所述多输入融合对抗生成网络，获得训练好的多输入融合对抗生成网络；具体
实现包括以下子步骤：步骤1.1：制作训练集，包括正面图像数据集i
f
和俯角图像数据集i
p
；步骤1.2：将所述俯角图像数据集i
p
中的俯角图片输入所述多输入融合对抗生成网络，将正面图像数据集i
f
中的正面图片作为目标，与多输入融合对抗生成网络的生成器将要生成的生成图片i
g
计算像素损失、身份保留损失、对抗损失、总变分正则化和总损失；步骤1.3：使用优化器adam，参数设置为默认，对所述多输入融合对抗生成网络进行迭代训练，根据每一次前向传播计算的误差，通过反向传播和梯度下降法不断优化模型，最终得到训练好的所述多输入融合对抗生成网络；步骤1.4：利用训练好的模型，对测试集进行测试，将获得的图像和将正面图像数据集i
f
中的正面图片进行比较，计算rank
‑
1指标。3.根据权利要求1所述的基于自注意力机制的俯角人脸图像校正方法，其特征在于：步骤1中，所述convgru模块每个控制门之前都有一个权重图，根据这个权重图来对特征图进行更新和保留。4.根据权利要求1
‑
3任意一项所述的基于自注意力机制的俯角人脸图像校正方法，其特征在于：步骤1中，多输入融合编码模块由四个卷积层，有四个整体融合convgru单元，分别对应每一层。5.一种基于自注意力机制的俯角人脸图像校正系统，其特征在于，包括以下模块：模块1，用于构建基于注意力机制的多输入融合对抗生成网络；所述多输入融合对抗生成网络包括多输入融合编码模块、自注意力模块、单层融合模块、多层融合模块、多输入融合解码模块和生成对抗网络鉴别模块；所述多输入融合编码模块包括串联设置的四个卷积层，第一层是卷积核大小为7的卷积层，步长为1；第二层为卷积核大小为5的卷积层，步长为2；第三以及第四层是卷积核大小为3的卷积层，步长都为2；所述第一层和第二层卷积层之后均加入有残差块，所述第三层和第四层卷积层之后均依次加入有归一化层，激活层和残差块；所述自注意力模块，用于对于所述多输入融合编码模块输出的特征图f，通过大小为1的卷积核构造出三张特征图f、g和h；所述特征图f和特征图g再进行矩阵乘法和softmax操作，得到矩形特征图β
i,
，之后β
i,
与特征图h相乘得到权重值o
j
，该权重值再加到特征图f中后输出；所述单层融合模块，用于对所述多输入融合编码模块中每一卷积层输出的c个图片的特征经过c个convgru模块来融合多张图片特征；所述多层融合模块，用于对所述单层融合模块输出的四个单层融合特征g1、g2、g3、g4分别经过一个反卷积层来使所有的特征处于同一种尺度，并按照g4、g3、g2、g1的顺序分别经过一个convgru模块，最后得到多层融合特征，多层融合特征再经过一层卷积核大小为3，步长为2的卷积层，以及两个全连接层之后得到总体特征；所述多输入融合解码模块，由四个反卷积层、两个自注意力层和两个卷积层组成；用于对所述多层融合模块输出的总体特征加入高斯噪声信息进行重构，得到新的特征f1，再对特征f1进行上采样分别构成三种不同尺度大小的特征f2、f3和f4后输入到反卷积层中；进入反卷积操作；所述多输入融合解码模块第一层的反卷积网络的输入是所述多输入融合编码模块第四层卷积层通过残差块之后的输出与f1融合的上采样值；所述多输入融合解码模
块第二层反卷积层的输入是前一层反卷积层的输出经过残差块之后的结果、f2和所述多输入融合编码模块第三层卷积层的输出经过残差块之后的融合；所述多输入融合解码模块第三层的反卷积层输入是上一层反卷积层的残差输出、自注意力模块的输出经过残差块之后的结果、f3、所述多输入融合编码模块第二层卷积层的跨层输入、以及输入图片经过resize成一定大小之后这四个值的融合；所述多输入融合解码模块第四层的反卷积层的输入是自注意力模块的输出经过残差块之后的结果、所述多输入融合编码模块第一个卷积层的输出通过参差块之后的结果、以及输入图片的融合输入；所述多输入融合解码模块第四层之后再经过两个卷积层输出人脸校正精细图片；所述多输入融合解码模块的自注意力模块，输入的特征图经过该单元后，每个特征图会有一个权重图，代表特征图中每个部分的关联程度；所述生成对抗网络鉴别模块，由七层卷积层组成，其在倒数第二层和倒数第三层加入有残差块；模块2，用于将需要校正的俯角人脸图像输入所述多输入融合对抗生成网络，获得人脸校正精细图片。

技术总结
本发明公开了一种基于自注意力机制的俯角人脸图像校正方法及系统，通过使用基于U


技术研发人员：邹华 斯马依力江
受保护的技术使用者：武汉大学
技术研发日：2021.08.06
技术公布日：2021/11/28