数据增强方法、神经网络训练方法、图像处理方法及设备与流程

技术特征：
1.一种数据增强方法，其特征在于，所述方法包括：获取包括第一图像和第一标签的第一样本，所述第一图像包含人脸图像，所述第一标签为人脸姿态角；对所述第一图像进行旋转，获得第二图像；分别对所述第一图像和所述第二图像中的人脸进行三维重建，获得与所述第一图像对应的第一人脸模型和与所述第二图像对应的第二人脸模型；计算从所述第一人脸模型转换到所述第二人脸模型的旋转关系；根据所述旋转关系和所述第一标签，获得第二标签，所述第二标签为所述第二图像中的人脸姿态角，以所述第二图像和所述第二标签生成第二样本。2.根据权利要求1所述的方法，其特征在于，对所述第一图像进行旋转的角度为预设范围内的一个随机角度。3.根据权利要求2所述的方法，其特征在于，所述预设范围为-45
°
至45
°
。4.根据权利要求1所述的方法，其特征在于，所述计算从所述第一人脸模型转换到所述第二人脸模型的旋转关系，具体为：从所述第一人脸模型中选取若干个特征点，构成第一点集；从所述第二人脸模型中选取与所述第一点集中的特征点对应的若干个特征点，构成第二点集；计算从所述第一点集转换到的所述第二点集的旋转关系。5.根据权利要求4所述的方法，其特征在于，所述计算从所述第一点集转换到的所述第二点集的旋转关系，具体为：计算从所述第一点集到所述第二点集的平移关系；根据所述平移关系，获得第三点集，所述第三点集的空间姿态与所述第二点集相同，且所述第三点集的中心点与所述第一点集的中心点重合；计算从所述第一点集转换到的所述第三点集的旋转关系。6.根据权利要求4所述的方法，其特征在于，所述第一模型中选取的若干个特征点，为所述第一模型中的若干个角点。7.一种神经网络的训练方法，其特征在于，所述神经网络用于估计头部姿态角度，所述方法包括：获取样本集，所述样本集中包括第二样本，所述第二样本利用权利要求1-6任意一项所述的数据增强方法生成；将所述样本集输入神经网络进行训练，以利用训练后的所述神经网络估计头部姿态角度。8.一种图像处理方法，其特征在于，所述方法包括：获取待处理的图像；将待处理的图像输入指定的神经网络，所述神经网络利用权利要求7所述的方法训练生成；根据所述神经网络的输出结果估计头部姿态角度；根据头部姿态角度对所述待处理的图像进行图像处理。9.一种直播中的图像处理方法，其特征在于，所述方法包括：
获取主播客户端的直播图像；将所述直播图像输入指定的神经网络，所述神经网络利用权利要求7所述的方法训练生成；根据所述神经网络的输出结果估计头部姿态角度；根据头部姿态角度对所述直播图像进行图像处理，生成目标图像；将所述目标图像通过直播服务器发送给观众客户端。10.一种数据增强装置，其特征在于，所述装置包括：样本获取模块，用于获取包括第一图像和第一标签的第一样本，所述第一图像包含人脸图像，所述第一标签为人脸姿态角；数据增强模块，用于对所述第一图像进行旋转，获得第二图像；以及分别对所述第一图像和所述第二图像中的人脸进行三维重建，获得与所述第一图像对应的第一人脸模型和与所述第二图像对应的第二人脸模型；以及计算从所述第一人脸模型转换到所述第二人脸模型的旋转关系；以及根据所述旋转关系和所述第一标签，获得第二标签，所述第二标签为所述第二图像中的人脸姿态角，以所述第二图像和所述第二标签生成第二样本。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-6任意一项所述的方法。12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任意一项所述的方法。

技术总结
本申请提供一种数据增强方法、神经网络训练方法、图像处理方法及设备，所述数据增强方法包括获取包括第一图像和第一标签的第一样本，所述第一图像包含人脸图像，所述第一标签为人脸姿态角；对所述第一图像进行旋转，获得第二图像；分别对所述第一图像和所述第二图像中的人脸进行三维重建，获得与所述第一图像对应的第一人脸模型和与所述第二图像对应的第二人脸模型；计算从所述第一人脸模型转换到所述第二人脸模型的旋转关系；根据所述旋转关系和所述第一标签，获得第二标签，所述第二标签为所述第二图像中的人脸姿态角，以所述第二图像和所述第二标签生成第二样本。用现有样本生成新样本，丰富神经网络的训练集，提升网络的准确度和泛化性。准确度和泛化性。准确度和泛化性。


技术研发人员：卫华威 韩欣彤
受保护的技术使用者：广州虎牙科技有限公司
技术研发日：2021.12.21
技术公布日：2022/4/5