人像视频眼神接触校正方法、装置、电子设备和存储介质与流程

本申请涉及图像处理的，尤其涉及人像视频眼神接触校正方法、装置、电子设备和存储介质。

背景技术：

1、传统的视频通信中，由于用户往往需要同时兼顾查看屏幕上的信息和摄像头，无法一直直视摄像头，这样与用户通话的另一方难以保持眼神接触，这在心理上可能导致沟通障碍，降低交流效率。

2、相关技术中，将眼神和相机定义在世界坐标系下以完成眼神的调整。在调整之前需要做前期准备工作，包括对相机进行标定，对于用户来说过程较为繁琐。

3、所以，如何能简便的对人像视频中用户眼神进行校正，成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本申请提供一种人像视频眼神接触校正方法、装置、电子设备和存储介质，该方法中在不影响视频流畅性的情况下，自动调整视频中用户的眼神，使之看向摄像头。创建一种虚拟的眼神接触感，从而增强交流的互动性和真实感。

2、第一方面，本申请实施例提供一种人像视频眼神接触校正方法，包括：

3、获取由摄像头拍摄的视频流，所述视频流中包括图像；

4、如果所述图像中包括人脸图像，对所述人脸图像执行对齐操作得到对齐后人脸图像；

5、从所述对齐后人脸图像中，获取双眼的注视方向和头部姿态；

6、从所述对齐后人脸图像中，获取双眼分别对应的待校正图像；

7、将所述双眼的注视方向、头部姿态、双眼的预设目标视线、所述双眼分别对应的待校正图像，输入到预设的单眼重定向模型，以输出双眼对应校正后图像；

8、将所述对齐后人脸图像中双眼分别对应的待校正图像，替换为所述双眼对应校正后图像，得到更新后人脸图像；

9、利用所述更新后人脸图像，修正所述图像，得到目标图像。

10、在一些实施例中，所述方法还包括：

11、利用若干的第一学习样本训练生成对抗网络，得到预设的单眼重定向模型；其中，所述第一学习样本包括左眼学习样本和右眼学习样本，所述左眼学习样本包括预设左眼注视方向、第一预设头部姿态、预设左眼目标视线、待校正左眼图像和校正后左眼图像；所述右眼学习样本包括右眼注视方向、第二预设头部姿态、预设右眼目标视线、待校正右眼图像和校正后右眼图像。

12、在一些实施例中，在所述如果所述图像中包括人脸图像，对所述人脸图像执行对齐操作得到对齐后人脸图像的步骤之前，还包括：

13、将所述图像，输入到预设的人脸识别模型中，以确定所述图像中是否存在人脸图像。

14、在一些实施例中，所述方法还包括：

15、利用若干的第二学习样本训练卷积神经网络，得到预设的人脸识别模型；其中，所述第二学习样本包括预设图像和预设人脸图像。

16、在一些实施例中，所述对所述人脸图像执行对齐操作得到对齐后人脸图像的步骤包括：

17、对所述人脸图像中的目标关键部位进行检测；

18、将检测到的所述目标关键部位配置到预设轮廓模版的预设部位区域中，得到对齐后人脸图像。

19、在一些实施例中，所述方法还包括：

20、对所述更新图像进行光照和色彩调整。

21、第二方面，本申请实施例提供一种人像视频眼神接触校正装置，包括：

22、第一获取单元，用于获取由摄像头拍摄的视频流，所述视频流中包括图像；

23、对齐单元，用于如果所述图像中包括人脸图像，对所述人脸图像执行对齐操作得到对齐后人脸图像；

24、第二获取单元，用于从所述对齐后人脸图像中，获取双眼的注视方向和头部姿态；

25、第三获取单元，用于从所述对齐后人脸图像中，获取双眼分别对应的待校正图像；

26、校正单元，用于将所述双眼的注视方向、头部姿态、双眼的预设目标视线、所述双眼分别对应的待校正图像，输入到预设的单眼重定向模型，以输出双眼对应校正后图像；

27、替换单元，用于将所述对齐后人脸图像中双眼分别对应的待校正图像，替换为所述双眼对应校正后图像，得到更新后人脸图像；

28、修正单元，用于利用所述更新后人脸图像，修正所述图像，得到目标图像。

29、第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现所述人像视频眼神接触校正方法的步骤。

30、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述人像视频眼神接触校正方法的步骤。

31、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述人像视频眼神接触校正方法的步骤。

32、上述实施例中，提供的一种人像视频眼神接触校正方法，该方法中在不影响视频流畅性的情况下，自动调整视频中用户的眼神，使之看向摄像头。创建一种虚拟的眼神接触感，从而增强交流的互动性和真实感。所述方法包括：获取由摄像头拍摄的视频流，所述视频流中包括图像；如果所述图像中包括人脸图像，对所述人脸图像执行对齐操作得到对齐后人脸图像；从所述对齐后人脸图像中，获取双眼的注视方向和头部姿态；从所述对齐后人脸图像中，获取双眼分别对应的待校正图像；将所述双眼的注视方向、头部姿态、双眼的预设目标视线、所述双眼分别对应的待校正图像，输入到预设的单眼重定向模型，以输出双眼对应校正后图像；将所述对齐后人脸图像中双眼分别对应的待校正图像，替换为所述双眼对应校正后图像，得到更新后人脸图像；利用所述更新后人脸图像，修正所述图像，得到目标图像。

1.一种人像视频眼神接触校正方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，在所述如果所述图像中包括人脸图像，对所述人脸图像执行对齐操作得到对齐后人脸图像的步骤之前，还包括：

4.根据权利要求3所述的方法，其特征在于，还包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述人脸图像执行对齐操作得到对齐后人脸图像的步骤包括：

6.根据权利要求1所述的方法，其特征在于，还包括：

7.一种人像视频眼神接触校正装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-6任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。