图像处理方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、计算机设备及计算机可读存储介质。


背景技术：

2.随着技术进步，视频画质得到不断提升，当前主流视频的分辨率已经达到了4k(例如4096
×
2160)级别，甚至某些设备以及视频源已经支持8k分辨率(例如7680x4320)。虽然视频画质的提升可以很好地提升用户的观看体验，但随着高分辨率不断提升，对于设备硬件能力的需求也越来越高。这是因为：首先，从传统的1080p到4k以及8k，每提升一次画质，所需要渲染的像素量约为前一次的4倍。其次，高分辨率视频对实时性的要求并不低，而且对于细节更多的视频，如果流畅度不够也会影响用户的观看体验。


技术实现要素：

3.本技术的目的是提供一种图像处理方法、装置、计算机设备及计算机可读存储介质，用于解决以下技术问题：高分辨率图像的渲染难以兼顾画质、所需要的处理性能和用户观看体验。
4.本技术实施例的一个方面提供了一种图像处理方法，所述方法包括：
5.通过摄像头获取目标用户的当前一帧的眼部图像；
6.获取目标用户的眼部图像，所述眼部图像为连续多帧图像；
7.根据所述眼部图像确定所述目标用户在显示界面上的第一注视位置；
8.根据所述第一注视位置确定待显示图像中与所述第一注视位置对应的第一区域，以及所述待显示图像中除所述第一区域之外的第二区域；
9.对所述待显示图像中的所述第一区域和所述第二区域分别进行渲染以得到第一渲染图像和第二渲染图像，并合并所述第一渲染图像和所述第二渲染图像得到第一目标图像，其中，所述第一渲染图像的画质高于所述第二渲染图像。
10.可选地，所述获取目标用户的眼部图像，包括：
11.获取所述目标用户的人脸图像；
12.使用至少两个不同的阈值对所述人脸图像进行二值化处理以得到至少两个二值化人脸图像；
13.根据至少两个所述二值化人脸图像确定所述目标用户的所述眼部图像。
14.可选地，所述根据至少两个所述二值化人脸图像确定所述目标用户的所述眼部图像，包括：
15.根据至少两个所述二值化人脸图像中的圆形区域确定人眼瞳孔区域；
16.根据所述人眼瞳孔区域确定所述眼部图像。
17.可选地，所述根据所述眼部图像确定所述目标用户在显示界面上的第一注视位置，包括：
18.利用预训练的注视位置预测模型对当前一帧的所述眼部图像进行处理得到当前一帧的所述目标用户的人眼瞳孔运动偏移；
19.根据前一帧的所述目标用户的初始预测注视位置和当前一帧的所述目标用户的人眼瞳孔运动偏移确定当前一帧的所述目标用户的初始预测注视位置；
20.根据当前一帧的所述目标用户的初始预测注视位置，以及预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态确定当前一帧的所述目标用户的所述第一注视位置。
21.可选地，所述根据当前一帧的所述目标用户的初始预测注视位置，以及预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态确定当前一帧的所述目标用户的所述第一注视位置，包括：
22.根据所述目标用户的当前一帧的眼部图像确定所述目标用户的当前一帧的眼球状态；
23.根据所述目标用户的当前一帧的眼球状态以及预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态确定与所述初始预测注视位置相邻的至少三个所述预设标定点；
24.根据所述初始预测注视位置以及与所述初始预测注视位置相邻的至少三个所述预设标定点确定所述第一注视位置。
25.可选地，所述根据所述初始预测注视位置以及与所述初始预测注视位置相邻的至少三个所述预设标定点确定所述第一注视位置，包括：
26.调整当前一帧的所述目标用户的所述初始预测注视位置，并在调整后的所述初始预测注视位置与所述至少三个预设标定点的距离之和达到最小时以调整后的所述初始预测注视位置作为所述第一注视位置。
27.可选地，在获取目标用户的眼部图像之前，所述方法还包括：
28.获取所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像；
29.根据所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像确定所述目标用户在观看所述显示界面上的所述预设标定点时的眼球状态。
30.可选地，所述根据所述眼部图像确定所述目标用户在显示界面上的第一注视位置，还包括：
31.根据预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态，以及所述目标用户第一帧的所述眼球图像确定所述目标用户第一帧的初始预测注视位置。
32.可选地，所述根据所述第一注视位置确定待显示图像中与所述第一注视位置对应的第一区域，以及所述待显示图像中除所述第一区域之外的第二区域，包括：
33.将所述待显示图像划分为多个矩形区域，并以包括所述第一注视位置的区域作为所述第一区域，不包括所述第一注视位置的区域作为第二区域。
34.可选地，所述根据所述第一注视位置确定待显示图像中与所述第一注视位置对应的第一区域，以及所述待显示图像中除所述第一区域之外的第二区域，包括：
35.在所述待显示图像中以所述第一注视位置为圆心的一定大小半径的圆形区域作
为所述第一区域，以所述第一区域之外的区域作为所述第二区域。
36.可选地，所述对所述待显示图像中的所述第一区域和所述第二区域分别进行渲染以得到第一渲染图像和第二渲染图像，包括：
37.以原始画质对所述待显示图像中的所述第一区域进行渲染得到所述第一渲染图像；
38.对所述待显示图像中的所述第二区域或所述待显示图像进行下采样，并对下采样后的所述待显示图像中的所述第二区域或所述待显示图像进行渲染得到所述第二渲染图像。
39.可选地，所述合并所述第一渲染图像和所述第二渲染图像得到第一目标图像，包括：
40.对所述第一渲染图像的边缘进行羽化处理；
41.将经过羽化处理的所述第一渲染图像与所述第二渲染图像进行叠加得到所述第一目标图像。
42.可选地，所述方法还包括：
43.根据当前时刻之前的所述目标用户在显示界面上的连续多个所述第一注视位置确定所述第一注视位置的运动参数；
44.根据所述第一注视位置的运动参数以及当前时刻之前的连续多个所述第一注视位置确定当前时刻的所述目标用户的第二注视位置；
45.在未确定当前时刻的所述目标用户的所述第一注视位置时，根据所述第二注视位置确定待显示图像中与所述第二注视位置对应的第三区域，以及所述待显示图像中除所述第三区域之外的第四区域；
46.对所述待显示图像中的所述第三区域和所述第四区域分别进行渲染以得到第三渲染图像和第四渲染图像，并合并所述第三渲染图像和所述第四渲染图像得到第二目标图像，其中，所述第三渲染图像的画质高于所述第四渲染图像。
47.可选地，所述眼部图像通过单目摄像头获取。
48.本技术实施例的一个方面又提供了一种图像处理装置，包括：
49.眼部图像获取模块，用于获取目标用户的眼部图像，所述眼部图像为连续多帧图像；
50.第一注视位置确定模块，用于根据所述眼部图像确定所述目标用户在显示界面上的第一注视位置；
51.区域确定模块，用于根据所述第一注视位置确定待显示图像中与所述第一注视位置对应的第一区域，以及所述待显示图像中除所述第一区域之外的第二区域；
52.渲染模块，用于对所述待显示图像中的所述第一区域和所述第二区域分别进行渲染以得到第一渲染图像和第二渲染图像，并合并所述第一渲染图像和所述第二渲染图像得到第一目标图像，其中，所述第一渲染图像的画质高于所述第二渲染图像。
53.本技术实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述图像处理方法的步骤。
54.本技术实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理
器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述图像处理方法的步骤。
55.本技术实施例提供的图像处理方法、装置、计算机设备及计算机可读存储介质，包括以下优点：
56.通过获取目标用户的眼部图像，并根据眼部图像确定目标用户在显示界面上的注视位置，从而对待显示图像中与注视位置对应的区域进行高质量渲染，对其余区域的图像进行低质量渲染，使得在保证用户观看体验的同时降低硬件性能需求和压力，并且无需复杂的眼动跟踪设备，成本较低。
附图说明
57.图1示意性示出了人眼观测模拟图；
58.图2示意性示出了本技术图像处理方法的应用环境的示意图；
59.图3示意性示出了根据本技术实施例一的图像处理方法的流程图；
60.图4为图3中步骤s300的子步骤流程图；
61.图5示意性示出了图4中步骤s402对人脸图像进行多阈值二值化处理的示例；
62.图6为图3中步骤s302的子步骤流程图；
63.图7示意性示出了眼动跟踪数据示例；
64.图8为图6中步骤s604的子步骤的流程图；
65.图9示意性示出了显示界面的预设标定点；
66.图10示意性示出了根据本技术实施例一的图像处理方法的新增步骤流程图；
67.图11图3中步骤s302的新增子步骤流程图；
68.图12为图3中步骤s306的子步骤流程图；
69.图13为图12中步骤s1206的子步骤流程图；
70.图14示意性示出了根据本技术实施例一的图像处理方法的新增步骤流程图；
71.图15示意性示出了根据本技术实施例二的图像处理装置的框图；
72.图16示意性示出了根据本技术实施例三的适于实现图像处理方法的计算机设备的硬件架构示意图。
具体实施方式
73.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
74.需要说明的是，在本技术实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
75.在本技术的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本技术及区别每一步骤，因此不能理解为对本技术的限制。
76.图1示意性示出了人眼观测模拟图。
77.虽然人眼的视野范围很大，水平视野约220度，垂直视野约135度，但是用以获取清晰视觉细节内容的视锥细胞仅占约6％，占绝大多数的视杆细胞的作用仅能提供模糊的视觉信息。并且视杆细胞仅能够提供偏灰度的颜色信息。请参阅图1，可以看出，人眼能够真正较好得识别的图像信息只是人眼注意点附近很小的区域(图中虚线区域)，其只占画面很小的一部分，反映到视角上仅为1～2度视角。
78.鉴于此，对于高分辨率视频，如果能够对视频进行适度的下采样，对于精度要求不高的部分(人眼注意点之外的区域)进行低分辨率渲染，可以很大程度上缓解机器性能的压力，达到在不降低用户观看体验的同时提升视频流畅度，延长硬件寿命等目标。
79.目前确定人眼注意点的优选方法使用眼动跟踪仪，其具有较高的精确度。但是这种方法的缺点是需要专业的眼动跟踪设备，非常不方便且成本较高。本技术基于以上描述提出了一种基于摄像头获取的眼部图像来实现人眼跟踪进而基于人眼注意点进行图像处理的方法，其可以降低图像处理对机器性能的要求，缓解机器性能的压力，并且无需复杂昂贵的专业设备。
80.图2示意性示出了本技术图像处理方法的应用环境的示意图。
81.如图2所示，计算机设备20包括显示屏21和摄像头22,以及处理器(未示出)等其它器件。计算机设备20可以在显示屏21上播放视频，用户23可以观看显示屏21上播放的视频。
82.计算机设备20可以为各种计算机或移动终端，例如笔记本、台式机、平板电脑、智能手机等等。
83.在本技术中为了缓解播放高分辨率视频对计算机设备20造成的性能压力，计算机设备20会根据用户23在显示屏21上的注视位置(或注意点)对播放的视频进行局部高精度渲染。具体地，对于待显示视频图像中与用户注视位置对应的区域进行高精度渲染，例如以原始的高分辨率进行渲染，而对于与用户注视位置对应区域之外的区域则进行下采样，以降低的分辨率进行渲染，这样由于用户注视位置区域的图像仍然为高精度渲染可以保证用户的观看效果，而用户注视位置之外的区域由于对用户观看效果影响较低，因此以降低的分辨率进行渲染，可以缓解渲染视频对计算机设备20的性能压力。
84.在本技术中，计算机设备20可以通过摄像头22采集用户23的人脸图像，进而从人脸图像中提取眼部图像，然后根据用户的眼部图像确定用户在显示屏21上的注视位置，从而基于注视位置对播放的视频进行局部高精度渲染。这样利用计算机设备本技术的摄像头即可实现人眼跟踪，无需复杂昂贵的专业设备，成本较低，适用范围较广。
85.下文将提供多个实施例，下文提供的各个实施例可以用于实现上文描述的图像处理的方案。为便于理解，下面将以计算机设备/服务器为执行主体进行示例性描述。
86.实施例一
87.本实施例提供了一种图像处理方法，其应用于配置有摄像头的电子设备/计算机设备，具体技术细节和效果可参考下文。
88.图3示意性示出了根据本技术实施例一的图像处理方法的流程图。
89.如图3所示，本技术实施例一的图像处理方法可以包括：
90.步骤s300，获取目标用户的眼部图像，所述眼部图像为连续多帧图像；
91.步骤s302，根据所述眼部图像确定所述目标用户在显示界面上的第一注视位置；
92.步骤s304，根据所述第一注视位置确定待显示图像中与所述第一注视位置对应的第一区域，以及所述待显示图像中除所述第一区域之外的第二区域；
93.步骤s306，对所述待显示图像中的所述第一区域和所述第二区域分别进行渲染以得到第一渲染图像和第二渲染图像，并合并所述第一渲染图像和所述第二渲染图像得到第一目标图像，其中，所述第一渲染图像的画质高于所述第二渲染图像。
94.在上述步骤s300中，目标用户为观看电子设备/计算机设备播放的视频的用户，电子设备/计算机设备的摄像头按照一定帧率采集目标用户图像，从采集的图像中获取目标用户的眼部图像。然后根据目标用户的眼部图像可以确定目标用户的眼球状态。
95.在本技术中，眼部图像为连续采集的多帧眼部图像。即，在本技术中摄像头会连续获取对目标用户进行图像采集，当前时刻所对应的眼部图像在本文中称为当前一帧的眼部图像。
96.在上述步骤s302中，当获取目标用户眼部图像后，可以根据目标用户的眼部图像确定目标用户在显示界面上的第一注视位置。
97.作为一个示例，可以利用预先训练的注视位置预测模型对目标用户的眼部图像进行处理得到目标用户在显示界面上的第一注视位置。
98.作为另一个示例，可以先根据目标用户的眼部图像获取目标用户眼球相对于基准的运动角度，比如基准为用户眼球平视前方的状态，比如基准为用户眼球平视电子设备的显示画面时的状态。然后根据眼球的运动角度确认出瞳孔当前的空间坐标。例如通过获取用户眼球相对于基准的运动角度，可以确定瞳孔的旋转角度和方向，以用户眼球的球心为中心(或原点)，而瞳孔与中心的连线长短、走向已知，在此空间内可以获取到用户瞳孔的空间坐标。最后，将瞳孔当前的空间坐标映射到显示界面的二维坐标系上，将瞳孔在二维坐标系上的落点标记为眼球的注视位置。
99.在本技术中显示界面指的是计算机设备/电子设备的显示屏上用于显示视频的界面，其可以为显示屏的整个区域或部分区域。
100.在上述步骤s304中，根据所述第一注视位置确定待显示图像中与所述第一注视位置对应的第一区域，以及所述待显示图像中除所述第一区域之外的第二区域。
101.作为一个示例，将所述待显示图像划分为多个矩形区域，并以包括所述第一注视位置的区域作为所述第一区域，不包括所述第一注视位置的区域作为第二区域。包括所述第一注视位置的区域作指的是第一注视位置位于所述矩形区域之内或位于所述矩形区域的边框上。当第一注视位置位于所述矩形区域的边框上时，包括第一注视位置所在边框的矩形区域都视为第一区域。
102.作为另一个示例，在所述待显示图像中以所述第一注视位置圆心的一定大小半径的圆形区域作为所述第一区域，以所述第一区域之外的区域作为所述第二区域。即以第一注视位置为圆心确定一个圆形区域作为第一区域，该圆形区域的大小取决于目标用户与显示界面的距离。具体地，根据目标用户观看显示界面上的不同预设标定点时的眼球移动距离即可确定目标用户与显示界面的距离。如下文所述，如果用户观看不同标定点时眼球移动距离较大(即需要大范围移动眼球)说明用户距离显示界面较近，因此在显示界面上的视
觉范围较小，可以选择较小半径(即选择较小的圆形区域作为第一区域)；反之如果用户观看不同标定点时眼球移动距离较小(即不需要大范围移动眼球)说明用户距离显示界面较远，因此在显示界面上的视觉范围较大，需要选择较大的半径(即选择较大的圆形区域作为第一区域)。
103.在上述步骤s306中，当根据目标用户在显示界面上的第一注视位置确定待显示图像中与第一注视位置对应的第一区域，以及除第一区域之外的第二区域之后，对所述待显示图像中的所述第一区域和所述第二区域分别进行渲染以得到第一渲染图像和第二渲染图像，并合并所述第一渲染图像和所述第二渲染图像得到第一目标图像，其中，所述第一渲染图像的画质高于所述第二渲染图像。换言之，可以根据第一注视位置对待显示图像进行局部高精度渲染，从而在保证与第一注视位置对应的区域的图像质量的同时，降低其它区域的图像质量，从而在保证用户观看体验的同时缓解性能压力。
104.作为一个示例，可以根据目标用户在显示界面上的第一注视位置对当前一帧的待显示图像进行下采样，例如对于待显示图像中与第一注视位置对应的第一区域保持原始分辨率，而对于第二区域(待显示图像中除了与第一注视位置对应的区域的其它区域)则进行下采样，降低这些区域图像的分辨率，从而降低渲染所需性能，缓解设备性能压力。
105.作为另一个示例，可以根据目标用户在显示界面上的第一注视位置对当前一帧的待显示图像进行画质增强，例如对于待显示图像中与第一注视位置对应的第一区域进行画质增强(例如进行上采样，增加第一区域的分辨率)，而对于第二区域(待显示图像中除了与第一注视位置对应的区域的其它区域)则保持原始画质，即仅对部分区域进行画质增强，这样可以降低渲染所需性能，缓解设备性能压力。
106.应当理解，在本技术中，所述第一渲染图像的画质高于所述第二渲染图像可以是第一渲染图像的分辨率高于第二渲染图像，例如第一渲染图像为4k，第二渲染图像为1080p，也可以是第二渲染图像相对第一渲染图像其它影响图像质量或渲染压力的图像参数降低。
107.本技术实施例的图像处理方法，包括以下优点：
108.通过获取目标用户的眼部图像，并根据眼部图像确定目标用户在显示界面上的注视位置，从而对待显示图像中与注视位置对应的区域进行高质量渲染，对其余区域的图像进行低质量渲染，使得在保证用户观看体验的同时降低硬件性能需求和压力，并且无需复杂的眼动跟踪设备，成本较低。
109.下面提供一些可选实施例。
110.在示例性的实施例中，可以通过摄像头采集目标用户的人脸图像，进而根据人脸图像确定目标用户的眼部图像，如图4所示，步骤s300可以包括：步骤s400，获取所述目标用户的人脸图像；步骤s402，使用至少两个不同的阈值对所述人脸图像进行二值化处理以得到至少两个二值化人脸图像；步骤s404，根据至少两个所述二值化人脸图像确定所述目标用户的所述眼部图像。
111.在上述步骤s400中，可以通过摄像头对目用户进行图像采集，然后从采集的图像提取人脸图像。人脸图像的提取可以使用已知的人脸分割方法或人脸检测方法进行，或者使用预训练的人脸提取模型进行提取。
112.在上述步骤s402中，当获取人目标用户的人脸图像后，则使用至少两个不同的阈
值对所述人脸图像进行二值化处理以得到至少两个二值化人脸图像。作为一个示例，可以使用三个不同的阈值对所述人脸图像进行二值化处理，从而得到三个二值化图像。
113.在上述步骤s404中，根据至少两个所述二值化人脸图像确定所述目标用户的所述眼部图像。具体地，可以通过下述步骤根据二值化人脸图像中确定目标用户的眼部图像。首先，根据至少两个所述二值化人脸图像中的圆形区域确定人眼瞳孔区域，也即在每个二值化人脸图像中查找圆形区域，然后比对每个二值化人脸图像中圆形区域的位置，如果这些圆形区域在二值化人脸图像中的位置一样即可认为圆形区域为人眼瞳孔区域。然后，根据所述人眼瞳孔区域确定所述眼部图像。例如在目标用户的人脸图像中将人眼瞳孔区域向外适度扩大一定程度即可视为眼部区域，然后从人脸图像中截取该区域的图像作为眼部图像。
114.上述方法确定眼部图像的原理为：由于人眼(亚洲人)多为黑色瞳孔，因此人眼在多个二值化阈值下都为黑色，并且人眼瞳孔均为圆形，所以只需要对所有二值化图像的圆形区域进行寻找即可找到人眼瞳孔区域，此后对该区域进行适当放大就能找到人眼部区域，然后截取该区域的图像作为眼部图像即可。
115.应当上述方法以亚洲人为例进行说明，但对于其它区域的人也可进行适当调整或采用其它方式从人脸图像中确定眼部图像。例如通过预训练的人眼检测模型从人脸图像中提取眼部图像。
116.通过上述方案，利用电子设备/计算机设备的摄像头采集人脸图像，然后通过对人脸图像进行处理即可获取目标用户的眼部图像，简单方便，且成本较低，无需增加额外的设备。
117.图5示出了对人脸图像进行多阈值二值化处理的示例。
118.如图5所示，图中左上图为采集的目标用户的人脸图像，在该示例中对人脸图像采用三个不同的阈值进行二值化处理得到三个二值化人脸图像，从该三个二值化人脸图像中可以看出仅人眼瞳孔区域为黑色圆形区域，因此通过在该三个二值化人脸图像中查找圆形区域即可定位人眼瞳孔区域，当定位人眼瞳孔区域后进行适当扩展即可获得眼部区域，进而获得眼部图像。
119.在示例性的实施例中，可以利用预训练的注视位置预测模型对眼部图像进行处理来得到所述目标用户在显示界面上的第一注视位置，如图6所示，步骤s302可以包括：步骤s600，利用预训练的注视位置预测模型对当前一帧的所述眼部图像进行处理得到当前一帧的所述目标用户的人眼瞳孔运动偏移；步骤s602，根据前一帧的所述目标用户的初始预测注视位置和当前一帧的所述目标用户的人眼瞳孔运动偏移确定当前一帧的所述目标用户的初始预测注视位置；步骤604，根据当前一帧的所述目标用户的初始预测注视位置，以及预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态确定当前一帧的所述目标用户的所述第一注视位置。
120.在上述步骤s600中，利用预训练的注视位置预测模型对当前一帧的所述眼部图像进行处理得到当前一帧的所述目标用户的人眼瞳孔运动偏移。
121.作为一个示例，预训练的注视位置预测模型可以使用transformer网络(由google公司提出)，因为人眼的注视位置不单单和当前时刻有关，而是会基于前一时刻的位置继续运动的。预训练的注视位置预测模型可以通过将连续帧的眼部图像作为输入来预测当前一
帧的人眼注视位置，即在步骤s300获取的目标用户的眼部图像持续输入至预训练的注视位置预测模型中，然后基于连续输入的多组眼部图像进行处理来得到当前一帧的人眼注视位置。应当理解，对于预训练的注视位置预测模型，输入为眼部图像，输出为人眼注视位置的三维偏移量。偏移量采用三维的原因为目标用户的头部会运动导致实际注视位置的偏移是三维的运动。网络并不能直接输出实际注视位置，这是由于摄像头拍摄距离的不同以及用户眼睛与屏幕距离的不同会导致用户眼球运动幅度的不同。因此注视位置预测模型仅能够输出一个人眼瞳孔的运动偏移。
122.注视位置预测模型可以使用常用的训练方法以及开源的数据集进行训练。示例性地，在本技术中，注视位置预测模型使用如图7所示的teyed[2]数据库的眼动跟踪数据进行训练。
[0123]
在上述步骤s602中，当得到当前一帧的所述目标用户的人眼瞳孔运动偏移后，则结合前一帧的所述目标用户的初始预测注视位置得到当前一帧的所述目标用户的初始预测注视位置。即，在前一帧的所述目标用户的初始预测注视位置根据人眼瞳孔运动偏移进行调整来得到当前一帧的所述目标用户的初始预测注视位置。所述初始预测注视位置为基于注视位置预测模型输出的通孔运动偏移确定的预测注视位置，其为一个三维位置，三维坐标系可以以显示界面的中心为原点建立。
[0124]
在上述步骤s604中，当确定当前一帧的所述目标用户的初始预测注视位置后，需要将该初始预测注视位置变换至显示界面的坐标系中，从而确定当前一帧所述目标用户在显示界面的第一注视位置。
[0125]
具体地，可以根据预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态，以及当前一帧的所述目标用户的初始预测注视位置确定当前一帧的所述目标用户的所述第一注视位置。
[0126]
在示例性的实施例中，如图8所示，步骤s604可以包括：步骤s800，根据所述目标用户的当前一帧的眼部图像确定所述目标用户的当前一帧的眼球状态；步骤s802，根据所述目标用户的当前一帧的眼球状态以及预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态确定与所述初始预测注视位置相邻的至少三个所述预设标定点；步骤s804，根据所述初始预测注视位置以及与所述初始预测注视位置相邻的至少三个所述预设标定点确定所述第一注视位置。
[0127]
在上述步骤s800中，根据所述目标用户的当前一帧的眼部图像确定所述目标用户的当前一帧的眼球状态，所述眼球状态可以用瞳孔相对眼球中心的偏移量表示。
[0128]
在上述步骤s802中，将所述目标用户的当前一帧的眼球状态与预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态进行比较，从多个预设标定点的眼球状态中选出与所述目标用户的当前一帧的眼球状态相近的至少三个眼球状态，然后将该至少三个眼球状态对应的预设标定点作为与所述初始预测注视位置相邻的至少三个所述预设标定点。
[0129]
作为一个示例，从多个预设标定点的眼球状态中选出与所述目标用户的当前一帧的眼球状态相近的三个眼球状态，然后将该三个眼球状态对应的预设标定点作为与所述初始预测注视位置相邻的三个所述预设标定点。
[0130]
在上述步骤s804中，根据所述初始预测注视位置以及与所述初始预测注视位置相
邻的至少三个所述预设标定点确定所述第一注视位置。即根据与所述初始预测注视位置相邻的至少三个所述预设标定点将所述初始预测注视位置落在显示界面所在空间平面上，从而得到第一注视位置。
[0131]
示例性地，调整当前一帧的所述目标用户的所述初始预测注视位置，并在调整后的所述初始预测注视位置与所述至少三个预设标定点的距离之和达到最小时以调整后的所述初始预测注视位置作为所述第一注视位置。换言之，在得到所述初始预测注视位置之后，通过计算该位置与至少三个最邻近预设标定点的距离并适当修改该位置使得至少三个距离之和最小来得到第一注视位置。
[0132]
作为一个示例，第一注视位置p可以通过下述公式来确定：
[0133]
min((dis(p-p1)-l1) (dis(p-p2)-l2) (dis(p-p3)-l3) dis(p-p0))
[0134]
其中，p0为当前一帧的所述目标用户的所述初始预测注视位置，可以视为注视位置预测模型输出的预测位置，p1、p2、p3为多个预设标定点中与初始预测注视位置p0相邻的三个标定点。l1、l2、l3为p0与p1、p2、p3之间的距离。通过求解上述公式/方程可以得到最为近似的人眼注视位置作为第一注视位置。
[0135]
请参阅图9，图9示意性示出了显示界面的预设标定点。在本技术中，在显示界面上预设了5个标定点(图9中圆圈区域)，分别位于显示界面的中心以及四个边角位置。
[0136]
在示例性的实施例中，在目标用户使用配置有本技术的图像处理方法的电子设备时会预先使用预设的标定点进行标定，从而确定目标用户相对显示界面的距离大小以及观看各个预设标定点的眼球状态，以便于实施本文与标定点相关的方法步骤，如图10所示，所述方法还包括：步骤s1000，获取所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像；步骤s1002，根据所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像确定所述目标用户在观看所述显示界面上的所述预设标定点时的眼球状态。
[0137]
在上述步骤s1000中，所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像可以通过先采集目标用户观看每个预设标定点时的人脸图像，然后采用上述方式基于人脸图像获取所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像。
[0138]
在上述步骤s1002中，根据所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像获取确定所述目标用户在观看所述显示界面上的所述预设标定点时的眼球状态，所述眼球状态可以用瞳孔相对眼球中心的偏移量表示。
[0139]
进一步地，在示例性实施例中，在上述步骤s1002中还可以获取目标用户观看每个预设标定点时的眼球移动距离。以图9所示为预设标定点为例，目标用户观看中心的标定点时眼球移动距离可以视为0，以此为准获取观看其它4个标定点时的眼球移动距离。如果用户观看不同标定点时眼球移动距离较大(即需要大范围移动眼球)说明用户距离显示界面较近，因此在显示界面上的视觉范围较小；反之如果用户观看不同标定点时眼球移动距离较小(即不需要大范围移动眼球)说明用户距离显示界面较远，因此在显示界面上的视觉范围较大。
[0140]
在示例性的实施例中，为了便于确定目标用户在显示界面上的第一注视位置，如图11所示，步骤s302还包括：步骤s1100，根据预先确定的所述目标用户在观看所述显示界
面上的多个预设标定点的眼球状态，以及所述目标用户第一帧的所述眼球图像确定所述目标用户第一帧的初始预测注视位置。
[0141]
即当获取到所述目标用户的第一帧的眼球图像后，由于此时仅有一帧眼部图像，无法通过预设的注视位置预测模型输出瞳孔偏移量，此时需要根据多个预设标定点的眼球状态以及第一帧的眼部图像的眼球状态确定用户的第一帧的初始预测注视位置。
[0142]
第一帧的初始预测注视位置可以通过下述方式确定，首先，先从多个预设标定点的眼球状态中找出与第一帧的眼球状态相近的三个眼球状态，然后根据该三个眼球状态对应的三个预设标定点确定第一帧的初始预测注视位置。例如通过确定一个与该三个预设标定点的距离之和最小的点作为第一帧的初始预测注视位置。
[0143]
当确定后第一帧的初始预测注视位置之后，对于之后每帧眼部图像，其对应的初始预测注视位置均可以通过前一帧的初始预测注视位置加上当前一帧的瞳孔运动偏移即可确定。
[0144]
在示例性的实施例中，如图12所示，步骤s306可以包括：步骤s1200，以原始画质所述待显示图像中的所述第一区域进行渲染得到第一渲染图像；步骤s1202，对所述待显示图像中的所述第二区域或所述待显示图像进行下采样，并对下采样后的所述待显示图像中的所述第二区域或所述待显示图像进行渲染得到第二渲染图像。
[0145]
在上述步骤s1200中，以原始画质所述待显示图像中的所述第一区域进行渲染得到第一渲染图像。例如以待显示图像的原始分辨率对所述第一区域中的图像件渲染从而得到第一渲染图像。例如如果待显示图像的原始分辨率为4k，则以4k分辨率对对所述第一区域中的图像件渲染从而得到第一渲染图像。
[0146]
在上述步骤s1202中，对所述待显示图像中的所述第二区域或所述待显示图像进行下采样，并对下采样后的所述待显示图像中的所述第二区域或所述待显示图像进行渲染得到第二渲染图像。
[0147]
作为一个示例，对待显示图像中的所述第二区域进行下采样，例如将分辨率从由4k降低为1080p，然后对下采样后的所述待显示图像中的所述第二区域进行渲染得到第二渲染图像。
[0148]
作为另一个示例，直接对所述待显示图像进行下采样，例如将分辨率从由4k降低为1080p，并对下采样后的所述待显示图像进行渲染得到第二渲染图像。
[0149]
上述方案通过对与第一注视位置对应的第一区域进行高精度渲染来保证用户的观看体验，对第一区域之外的第二区域进行下采样低分辨率渲染来降低设备性能压力，提高图像渲染效率。
[0150]
作为一个示例，以矩形分割为例，例如对待显示图像进行均匀划分，将其分为3*3共九个区域，当人眼注视位置在某一个区域内时，就对该区域进行高精度渲染，而当注视点不在该区域内部时则对其进行低精度渲染。这种方式效率大约能够提升70％。例如对于一张4k的图像降采样至1080p，该方案仅需渲染个像素，而一张4k的图像则共有8847360个像素，因此仅需要渲染34.5％的像素即可。
[0151]
作为另一个示例，以圆形分割为例，通过在一张低分辨率图像上叠加一个小的圆形高精度区域来进行下采样。该圆形区域的圆心为人眼注视点位置，并且该区域需要跟随注视点随时进行位置变化。该方案相比固定的划分可以渲染更小的画面区域，能够进一步
提升性能。
[0152]
在示例性的实施例中，为了第一目标图像中第一渲染图像和第二渲染图像之间如图13所示，步骤s1206可以包括：步骤s1300，对所述第一渲染图像的边缘进行羽化处理；步骤s1302，将经过羽化处理的所述第一渲染图像与所述第二渲染图像进行叠加得到所述第一目标图像。
[0153]
通过上述方案，在上层的高精度图像边缘处采用羽化的效果与下层下采样图像进行叠加，通过融合来将两幅图像进行平滑混合，从而防止在高精度与低精度的图像接合处较强的撕裂感。
[0154]
由于人眼注视位置需要经过一定的计算，因此其无法做到完全实时，依然会存在一定程度上的迟滞，因此在示例性的实施例中，需要对注视位置进行一定的预测从而防止实际高精度渲染区域无法跟上用户的注视位置的变化，影响用户观看体验。如图14所示，所述方法还包括：步骤s1400，根据当前时刻之前的所述目标用户在显示界面上的连续多个所述第一注视位置确定所述第一注视位置的运动参数；步骤s1402，根据所述第一注视位置的运动参数以及当前时刻之前的连续多个所述第一注视位置确定当前时刻的所述目标用户的第二注视位置；步骤s1404，在未确定当前时刻的所述目标用户的所述第一注视位置时，根据所述第二注视位置确定待显示图像中与所述第二注视位置对应的第三区域，以及所述待显示图像中除所述第三区域之外的第四区域；步骤s1406，对所述待显示图像中的所述第三区域和所述第四区域分别进行渲染以得到第三渲染图像和第四渲染图像，并合并所述第三渲染图像和所述第四渲染图像得到第二目标图像，其中，所述第三渲染图像的画质高于所述第四渲染图像。
[0155]
在上述步骤s1400中，当前时刻之前的所述目标用户在显示界面上的连续多个所述第一注视位置根据当前时刻之前的连续多帧眼部图像确定，每帧眼部图像对应一个第一注视位置，根据该连续多个第一注视位置可以确定所述第一注视位置的运动参数，例如所述第一位置的运动速度以及加速度。
[0156]
在上述步骤s1402中，当确定第一位置的运动参数后，即可根据该运动参数在连续多个第一注视位置的基础上进行修正来得到当前时刻的第二注视位置。
[0157]
示例性地，以三个连续第一注视位置为例，当前时刻的第二注视位置可以通过下述公式确定：
[0158][0159]
其中，p为当前时刻的第二注视位置，p0，p1，p2为当前时刻之前的连续三个第一注视位置(对应连续三帧眼部图像)，t为单位时间，此处取1。
[0160]
在上述步骤s1404-s1406中，如果当前时刻的目标用户在显示界面上的第一注视位置还未计算出来，则根据步骤s1400-s1402中根据当前时刻之前的连续多个第一注视位置推测的当前时刻的第二注视位置来对待显示图像进行渲染，渲染方式与根据第一注视位置进行渲染时相似，在此不再赘述。
[0161]
在示例性的实施例中，所述眼部图像通过单目摄像头获取。即通过单目摄像头实现人眼眼球跟踪，从而根据人眼注视位置对显示图像进行局部高精度渲染，在保证用户观看体验，降低设备性能压力的同时，降低成本，无需复杂昂贵的眼动跟踪设备。
[0162]
实施例二
[0163]
图15示意性示出了根据本技术实施例二的图像处理装置的框图，该图像处理装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本技术实施例。本技术实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
[0164]
如图15所示，该图像处理装置1500可以包括眼部图像获取模块1510、第一注视位置确定模块1520、区域确定模块1530和渲染模块1540。
[0165]
眼部图像获取模块1510，用于通过摄像头获取目标用户的眼部图像，所述眼部图像为连续多帧图像。
[0166]
第一注视位置确定模块1520，用于根据所述眼部图像确定所述目标用户在显示界面上的第一注视位置。
[0167]
区域确定模块1530，用于根据所述第一注视位置确定待显示图像中与所述第一注视位置对应的第一区域，以及所述待显示图像中除所述第一区域之外的第二区域、
[0168]
渲染模块1540，用于对所述待显示图像中的所述第一区域和所述第二区域分别进行渲染以得到第一渲染图像和第二渲染图像，并合并所述第一渲染图像和所述第二渲染图像得到第一目标图像，其中，所述第一渲染图像的画质高于所述第二渲染图像。
[0169]
在示例性的实施例中，眼部图像获取模块1510用于：通过获取所述目标用户的人脸图像；使用至少两个不同的阈值对所述人脸图像进行二值化处理以得到至少两个二值化人脸图像；根据至少两个所述二值化人脸图像确定所述目标用户的所述眼部图像。
[0170]
在示例性的实施例中，眼部图像获取模块1510还用于：根据至少两个所述二值化人脸图像中的圆形区域确定人眼瞳孔区域；根据所述人眼瞳孔区域确定所述眼部图像。
[0171]
在示例性的实施例中，第一注视位置确定模块1520用于：利用预训练的注视位置预测模型对当前一帧的所述眼部图像进行处理得到当前一帧的所述目标用户的人眼瞳孔运动偏移；根据前一帧的所述目标用户的初始预测注视位置和当前一帧的所述目标用户的人眼瞳孔运动偏移确定当前一帧的所述目标用户的初始预测注视位置；根据当前一帧的所述目标用户的初始预测注视位置，以及预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态确定当前一帧的所述目标用户的所述第一注视位置
[0172]
在示例性的实施例中，第一注视位置确定模块1520还用于：根据所述目标用户的当前一帧的眼部图像确定所述目标用户的当前一帧的眼球状态；根据所述目标用户的当前一帧的眼球状态以及预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态确定与所述初始预测注视位置相邻的至少三个所述预设标定点；根据所述初始预测注视位置以及与所述初始预测注视位置相邻的至少三个所述预设标定点确定所述第一注视位置。
[0173]
在示例性的实施例中，第一注视位置确定模块1520还用于：调整当前一帧的所述目标用户的所述初始预测注视位置，并在调整后的所述初始预测注视位置与所述至少三个预设标定点的距离之和达到最小时以调整后的所述初始预测注视位置作为所述第一注视位置。
[0174]
在示例性的实施例中，眼部图像获取模块1510还用于：获取所述目标用户以所述
显示界面上的所述预设标定点为注视位置时的眼球图像；根据所述目标用户以所述显示界面上的所述预设标定点为注视位置时的眼球图像确定所述目标用户在观看所述显示界面上的所述预设标定点时的眼球状态。
[0175]
在示例性的实施例中，第一注视位置确定模块1520还用于：根据预先确定的所述目标用户在观看所述显示界面上的多个预设标定点的眼球状态，以及所述目标用户第一帧的所述眼球图像确定所述目标用户第一帧的初始预测注视位置。
[0176]
在示例性的实施例中，区域确定模块1530用于：将所述待显示图像划分为多个矩形区域，并以包括所述第一注视位置的区域作为所述第一区域，不包括所述第一注视位置的区域作为第二区域。
[0177]
在示例性的实施例中，区域确定模块1530用于：在所述待显示图像中以所述第一注视位置为圆心的一定大小半径的圆形区域作为所述第一区域，以所述第一区域之外的区域作为所述第二区域。
[0178]
在示例性的实施例中，渲染模块1540用于：对所述待显示图像中的所述第二区域或所述待显示图像进行下采样，并对下采样后的所述待显示图像中的所述第二区域或所述待显示图像进行渲染得到第二渲染图像。
[0179]
在示例性的实施例中，渲染模块1540用于：对所述第一渲染图像的边缘进行羽化处理；将经过羽化处理的所述第一渲染图像与所述第二渲染图像进行叠加得到所述第一目标图像。
[0180]
在示例性的实施例中，所述装置还包括第二注视位置确定模块(未示出)，用于：根据当前时刻之前的所述目标用户在显示界面上的连续多个所述第一注视位置确定所述第一注视位置的运动参数；根据所述第一注视位置的运动参数以及当前时刻之前的连续多个所述第一注视位置确定当前时刻的所述目标用户的第二注视位置；区域确定模块1530还用于：在未确定当前时刻的所述目标用户的所述第一注视位置时，根据所述第二注视位置确定待显示图像中与所述第二注视位置对应的第三区域，以及所述待显示图像中除所述第三区域之外的第四区域；渲染模块1540还用于：对所述待显示图像中的所述第三区域和所述第四区域分别进行渲染以得到第三渲染图像和第四渲染图像，并合并所述第三渲染图像和所述第四渲染图像得到第二目标图像，其中，所述第三渲染图像的画质高于所述第四渲染图像。
[0181]
在示例性的实施例中，所述摄像头为单目摄像头。
[0182]
实施例三
[0183]
图16示意性示出了根据本技术实施例三的适于图像处理方法的计算机设备10000的硬件架构示意图。计算机设备10000可以作为直播服务器、或直播终端，或者直播服务器或直播终端的一部分。计算机设备10000可以是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或数据处理的设备。例如，可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)、网关等。如图13所示，计算机设备10000至少包括但不限于：可通过系统总线相互通信链接存储器10010、处理器10020、网络接口10030。其中：
[0184]
存储器10010至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访
问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器10010可以是计算机设备10000的内部存储模块，例如该计算机设备10000的硬盘或内存。在另一些实施例中，存储器10010也可以是计算机设备10000的外部存储设备，例如该计算机设备10000上配备的插接式硬盘，智能存储卡(smart media card，简称为smc)，安全数字(secure digital，简称为sd)卡，闪存卡(flash card)等。当然，存储器10010还可以既包括计算机设备10000的内部存储模块也包括其外部存储设备。本实施例中，存储器10010通常用于存储安装于计算机设备10000的操作系统和各类应用软件，例如图像处理方法的程序代码等。此外，存储器10010还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0185]
处理器10020在一些实施例中可以是中央处理器(central processing unit，简称为cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器10020通常用于控制计算机设备10000的总体操作，例如执行与计算机设备10000进行数据交互或者通信相关的控制和处理等。本实施例中，处理器10020用于运行存储器10010中存储的程序代码或者处理数据。
[0186]
网络接口10030可包括无线网络接口或有线网络接口，该网络接口10030通常用于在计算机设备10000与其他计算机设备之间建立通信链接。例如，网络接口10030用于通过网络将计算机设备10000与外部终端相连，在计算机设备10000与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(intranet)、互联网(internet)、全球移动通信系统(global system of mobile communication，简称为gsm)、宽带码分多址(wideband code division multiple access，简称为wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。
[0187]
需要指出的是，图16仅示出了具有部件10010-10030的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
[0188]
在本实施例中，存储于存储器10010中的图像处理方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器10020)所执行，以完成本技术实施例。
[0189]
实施例四
[0190]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的图像处理方法的步骤。
[0191]
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，简称为smc)，安全数字(secure digital，简称为sd)卡，闪存卡(flash card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中图像处理方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存
储已经输出或者将要输出的各类数据。
[0192]
显然，本领域的技术人员应该明白，上述的本技术实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术实施例不限制于任何特定的硬件和软件结合。
[0193]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。