图形处理方法和相关眼动追踪系统与流程

1.本发明是关于一种图形处理方法和相关眼动追踪系统，特别是指一种可提供适应性注视点渲染的图形处理方法和相关眼动追踪系统。


背景技术：

2.在计算机绘图中，渲染(rendering)是指以软件由模型生成场景的过程。模型是用语言或数据结构进行严格定义的三维物体或虚拟场景的描述，包括几何、视点、纹理、照明和阴影等信息。在结合上述信息后，可定义渲染后影像中每一像素的彩值。在提供影像至显示器期间，计算装置通常会使用一图形处理单元(graphic processing unit,gpu)来加速渲染过程。上述计算装置包含计算机工作站、智能手机、嵌入式系统、个人计算机、平板计算机、游戏机，以及头戴式显示设备(hmd)。图形处理单元可执行包含复数个处理阶段的一图形处理程序，进而执行一个或多个图形处理指令/指示以输出一像框。中央处理器(centrol processing unit,cpu)可下达一个或多个图形处理指令/指示至图形处理单元，进而控制图形处理单元的运作。现有中央处理器通常具备同时执行多个应用程序的能力，期间可能需要使用图形处理单元。由于现有图形处理单元的系统电力和内存容量有其局限，使得在执行渲染运作(尤其是实时性)时会面临很大的挑战。
3.注视点渲染(foveated rendering)是一种使用眼动追踪来减少渲染负荷的技术。由于人眼在影像的纪录上具有中央清楚但周边模糊的特性，注视点渲染技术会在视野中央以高分辨率进行处理，周边则采用较低分辨率的方式。当用户的凝视位置改变时，会依据新凝视点来重新渲染影像。
4.然而，在呈现给用户的渲染影像中，其高画质的区域并不一定会对应至用户的中央窝范围。渲染过程中造成的系统延迟(system latency)，以及在预估凝视点时的误差和延迟都有可能造成上述偏移，尤其是在出现跳视(saccade)或眨眼的场景。在发生上述偏移时，呈现给用户的渲染影像可能是依据10几毫秒前的凝视点所产生，因此投射至用户中央窝范围的影像可能是以低分辨率来渲染，可能会影响观赏经验。因此，需要一种可提供适应性注视点渲染的图形处理方法和相关眼动追踪系统


技术实现要素：

5.本发明提供一种图形处理方法，其包含：取得一用户的眼动追踪数据；取得一目前应用程序的一渲染需求，其中所述渲染需求包含相关所述目前应用程序的一现行渲染参数；依据所述眼动追踪数据和所述渲染需求来实时地评估所述目前应用程序的一第一系统延迟；判断所述第一系统延迟是否大于一第二系统延迟，其中所述第二系统延迟为采用所述现行渲染参数时的一临界延迟；当判断所述第一系统延迟大于所述第二系统延迟时，依据所述第一系统延迟来调整所述现行渲染参数以产生一调整后渲染参数；以及依据所述调整后渲染参数来产生一注视点影像(foveated image)。
6.本发明还提供一种计算机可读取媒体，其载有计算机可读取指令以执行一图形处
理方法。所述计算机可读取媒体在执行所述图形处理方法时包含下列步骤：取得一用户的眼动追踪数据；取得一目前应用程序的一渲染需求，其中所述渲染需求包含相关所述目前应用程序的一现行渲染参数；依据所述眼动追踪数据和所述渲染需求来实时地评估所述目前应用程序的一第一系统延迟；判断所述第一系统延迟是否大于一第二系统延迟，其中所述第二系统延迟为采用所述现行渲染参数时的一临界延迟；当判断所述第一系统延迟大于所述第二系统延迟时，依据所述第一系统延迟来调整所述现行渲染参数以产生一调整后渲染参数；以及依据所述调整后渲染参数来产生一注视点影像。
7.本发明还提供一种提供适应性注视点渲染的眼动追踪系统，其包含一眼动追踪模块、一计算单元，以及一显示器。所述眼动追踪模块包含一影像撷取装置以捕捉一用户的眼部影像。所述计算单元包含一图形处理单元、一控制单元，一中央处理单元。所述中央处理单元用来取得一目前应用程序的一渲染需求，其中所述渲染需求包含相关所述目前应用程序的一现行渲染参数；依据所述眼动追踪数据和所述渲染需求来实时地评估所述目前应用程序的一第一系统延迟；判断所述第一系统延迟是否大于一第二系统延迟，其中所述第二系统延迟为采用所述现行渲染参数时的一临界延迟；当判断所述第一系统延迟大于所述第二系统延迟时，指示所述控制单元去依据所述第一系统延迟来调整所述现行渲染参数以产生一调整后渲染参数；以及指示图形处理单元去依据调整后渲染参数来产生一注视点影像。所述显示器用来呈现所述注视点影像。
附图说明
8.图1为本发明实施例中一种眼动追踪系统的功能方块图。
9.图2为本发明另一实施例中一种眼动追踪系统的功能方块图。
10.图3为本发明实施例中一种可提供适应性注视点渲染的图形处理方法的流程图。
11.图4为本发明实施例中一种适应性注视点渲染方法的示意图。
12.图5为本发明实施例中一种适应性注视点渲染方法的示意图。
13.图6为本发明实施例中在不同注视点渲染程度、中心窝范围和注视点渲染方式下用户所能容忍的注视点渲染量的示意图。
14.附图标记说明如下：
15.10：显示器
16.20：计算模块
17.22：中央处理器
18.24：图形处理器
19.26：记忆单元
20.28：控制单元
21.30：眼动追踪模块
22.32：影像撷取装置
23.34：光源
24.36：处理器
25.100、200：眼动追踪系统
26.310-380：步骤
具体实施方式
27.图1为本发明实施例中一种眼动追踪系统100的功能方块图。眼动追踪系统100包含一显示器10和一计算模块20。计算模块20包含一中央处理器22、一图形处理器24、一记忆单元26、一控制单元28，以及一眼动追踪模块30。眼动追踪模块30包含一影像撷取装置32和一光源34。
28.图2为本发明另一实施例中一种眼动追踪系统200的功能方块图。眼动追踪系统200包含一显示器10、一计算模块20，以及一眼动追踪模块30。计算模块20包含一中央处理器22、一图形处理器24、一记忆单元26、一控制单元28，以及一眼动追踪模块30。眼动追踪模块30包含一影像撷取装置32、一光源34，以及一处理器36。
29.在眼动追踪系统100或200的眼动追踪模块30中，影像撷取装置32包含至少一眼部相机，以合适角度设置在合适位置以捕捉用户的眼部影像。在另一实施例，影像撷取装置32可还包含一景像相机(未显示在图1和图2中)，设置成使其镜头面对方向和用户注视方向相同，以捕捉相关用户视野(field of view,fov)的影像。光源34用来照亮用户眼部以提升眼部影像的质量，进而改善凝视数据的准确度。
30.在眼动追踪系统100或200中，计算模块20可为一个人计算机、一行动装置，或一头戴型装置(例如vr/ar/mr/智能眼镜)，其能处理用户下达的应用要求并进行影像渲染。然而，计算模块20的种类并不限定本发明的范畴。
31.在图1和图2所示的实施例中，显示器10可为一外部显示装置，可通过有线或无线方式连接至计算模块20。在另一实施例中，显示器10可为计算模块20内建的显示设备。然而，显示器10的实作方式并不限定本发明的范畴。
32.在图1所示的眼动追踪系统100中，眼动追踪模块30整合至计算模块20内。记忆单元26可存储凝视追踪程序、注视点调整(foveation adjustment)程序，和注视点渲染(foveation rendering)程序。中央处理器22可依据影像撷取装置32提供的眼部影像来执行眼动追踪运作。举例来说，中央处理器22可执行记忆单元26内存的一个或多个凝视追踪程序以依据眼部影像来取得凝视数据和眼动状态数据。控制单元28用来针对用户下达的应用要求来协调计算模块20内各元件的运作，并用来调整渲染参数。控制单元28可实作成具备运算能力的一特定应用集成电路(application specific integrated circuit,asic)、安装在图形处理器24内的软件，或设置在图形处理器24内的硬件。然而，控制单元28的实作方式并不限定本发明的范畴。
33.在图2所示的眼动追踪系统200中，计算模块20和眼动追踪模块30为个别装置。记忆单元26可存储注视点调整程序和注视点渲染程序。眼动追踪模块30中的处理器36可为一特定应用集成电路，用来依据影像撷取装置32提供的眼部影像来执行眼动追踪运作，进而依据眼部影像来取得凝视数据和眼动状态数据。控制单元28用来针对用户下达的应用要求来协调计算模块20内各元件的运作，并用来调整渲染参数。控制单元28可实作成具备运算能力的一特定应用集成电路、安装在图形处理器24内的软件，或设置在图形处理器24内的硬件。然而，控制单元28的实作方式并不限定本发明的范畴。
34.在眼动追踪系统100或200中，中央处理器22还可依据凝视数据和眼动状态数据来下达一个或多个指令/指示，进而控制图形处理器24的运作。中央处理器22可执行记忆单元26内存的一个或多个注视点渲染程序，进而指示图形处理器24去渲染图形数据以在显示器
10上呈现。中央处理器22可执行记忆单元26内存的一个或多个注视点调整程序，进而指示控制单元28去调整渲染参数。记忆单元26可还存储相关眼动追踪系统100或200运作状态的数据，例如延迟数据、相关不同延迟的渲染参数，以及目前采用的渲染参数。
35.图3为本发明实施例中一种可提供适应性注视点渲染的图形处理方法的流程图。图3所示的方法可由眼动追踪系统100或200来执行，其包含下列步骤：
36.步骤310：在执行一目前应用程序的期间取得用户的眼动追踪数据。
37.步骤320：取得目前应用程序的渲染需求，其中渲染需求包含相关目前应用程序的一现行渲染参数。
38.步骤330：依据眼动追踪数据和渲染需求来实时地评估目前应用程序的一第一系统延迟。
39.步骤340：求出一第二系统延迟，其中第二系统延迟为采用现行渲染参数时的临界系统延迟。
40.步骤350：判断所述第一系统延迟是否大于第二系统延迟；若是，执行步骤360；若否，执行步骤370。
41.步骤360：依据第一系统延迟来调整现行渲染参数；执行步骤370。
42.步骤370：依据用户的眼动追踪数据来调整现行渲染参数；执行步骤380。
43.步骤380：依据调整后渲染参数来产生注视点影像(foveated image)。
44.在步骤310中，眼动追踪数据包含凝视数据和眼动状态数据，可由眼动追踪系统100中计算单元20的中央处理器22或眼动追踪系统200中眼动追踪模块30的处理器36依据影像撷取装置32所提供的眼部影像来产生。凝视数据包含在执行目前应用程序的期间内所纪录下用户的凝视位置。眼动状态数据包含在执行目前应用程序的时序数据、相关现有及/或未来凝视点的信赖区间，或相关用户凝视状态的状态参数，但不限定于此。状态参数可包含用户的眨眼度量(blink metric)、跳视度量(saccade metric)、景深(depth of field,dof)反应、凝视稳定度，以及其它类型的眼球运动，但不限定于此。
45.在图1所示的眼动追踪系统100中，眼动追踪模块30整合至计算模块20内，因此在步骤310中可由眼动追踪系统100中计算单元20的中央处理器22依据影像撷取装置32所提供的眼部影像来产生眼动追踪数据。在图2所示的眼动追踪系统200中，计算模块20和眼动追踪模块30为个别装置，因此在步骤310中可由眼动追踪系统200中眼动追踪模块30的处理器36依据影像撷取装置32所提供的眼部影像来产生眼动追踪数据，之后再将眼动追踪数据传送至中央处理器22。
46.在步骤320中，中央处理器22可取得目前应用程序的渲染需求。渲染需求包含凝视关联(gaze-contingent)渲染参数、影像尺寸、图形处理方法、影像复杂度，以及相关目前应用程序的历史处理时间，但不限定于此。在一实施例中，中央处理器22可直接依据渲染需求来取得目前应用程序的渲染参数。在另一实施例中，中央处理器22可依据记忆单元26内存的延迟数据来计算目前应用程序的渲染参数。
47.假设影像撷取装置32在第一时间点捕捉到影像，而显示器10在第二时间点呈现依据凝视数据所产生的注视点影像，眼动追踪系统100或200的系统延迟对应于第一时间点和第二时间点之间的间隔。上述系统延迟包含一半的影像曝光时间，加上影像读出/传输时间、处理时间，以及将数据传送至客户端计算机的时间。
48.注视点渲染系统对延迟非常敏感，其延迟要求容易被凝视后所取得全分辨率注视点影像的大小、影像的衰减程度，以及衰减方法等参数所影响。系统延迟越大，注视点渲染后影像中的假影(artifact)越明显，大幅度眼球运动(例如跳视)和更新显示之间的延迟会限制注视点渲染的程度和效能。因此，本发明在步骤330-370中针对上述问题提供一种适应性注视点渲染方法，依据目前应用程序和目前系统延迟来调整注视点渲染的范围和模糊强度，进而在降低渲染复杂度的同时提供尽可能高的分辨率，以维持用户的体验感受。
49.在步骤330中，中央处理器22会进行实时评估以取得第一系统延迟。在一实施例中，中央处理器22可依据目前应用程序的渲染需求(例如影像尺寸、图形处理方法、影像复杂度，以及历史处理时间)和眼动追踪数据中的状态参数来求出第一系统延迟步骤。在另一实施例中，计算单元20可还包含一定时器(未显示于图1和和图2)，用来量测从影像被影像撷取装置32捕捉到呈现在显示器10上之间的延迟。此时，实际延迟和预估延迟会被送至一机器学习方法，进而提高评估准确性。
50.在步骤340中，中央处理器22会从记忆单元26中读取现行渲染参数下的临界系统延迟，进而求出第二系统延迟。在步骤350中，中央处理器22会决定调整渲染参数的方式。
51.在求出相关目前应用程序的第一系统延迟和相关现行渲染参数的第二系统延迟后，中央处理器22会在步骤350中判断第一系统延迟和第二系统延迟之间的大小关系。当判定第一系统延迟不大于第二系统延迟时，代表在第一系统延迟下采用现行渲染参数并不会影响分辨率质量和渲染效能之间的平衡。在此种情况下，中央处理器22会指示控制单元28在步骤370中去依据用户的眼动追踪数据来调整现行渲染参数。
52.当判定第一系统延迟大于第二系统延迟时，代表在第一系统延迟下需要调整现行渲染参数才能维持分辨率质量和渲染效能之间的平衡。在此种情况下，中央处理器22会指示控制单元28在步骤360中去依据第一系统延迟来调整现行渲染参数，接着指示控制单元28在步骤370中去依据用户的眼动追踪数据来调整现行渲染参数。
53.图4为本发明实施例中一种适应性注视点渲染方法的示意图。图4包含一阶段式的渲染窗口，影像的分辨率在中心点最大，接着往外阶段式降低。取样范围sr0是环绕中央注视点gz的中心窝区域，其用最大分辨率加以渲染。取样范围sr1-srn(n为一大于或等于0的整数)是在中央注视点gz之外环绕中央注视点gz的周边区域，其用较小分辨率加以渲染。iq0-iqn分别代表取样范围sr0-srn的分辨率，其中iq0》iq1》
…
》iqn。r0-rn分别代表取样范围sr0-srn的外缘和中央注视点gz之间的距离，其中r0《r1《
…
《rn，且rn同时也等于所述阶段式的渲染窗口的半径。在部分实施例中，上述的阶段式的渲染窗口不会涵盖整体的影像，在此情况下，阶段式的渲染窗口范围外的影像可以以iqperipheral的分辨率来渲染，其中iqperipheral《iqn。为了说明目的，图4显示了n＝2时的实施例，每一取样范围的外缘呈同心圆。然而，取样范围sr0-srn的数量和形状并不限定本发明的范畴。
54.在一实施例中，本发明可使用高斯滤波器(gaussian filter)来模糊影像并移除细节，进而调整每一取样范围的影像质量。高斯滤波器的脉冲响应如下列公式(1)所示的二维高斯函数，其中x和y代表像素坐标，而σ代表标准差。
55.56.滤波通常是由卷积(convolution)来实现，卷积核(convolution kernel)是一个可在影像上像素来实现的二维滤波器矩阵。针对卷积核和一个要处理的二维图像，对于图像中每一个像素点计算它的邻域像素和卷积核内对应系数的乘积，然后加起来以作为所述像素位置的值，这样就完成了滤波过程。在滤波过程中，高斯滤波器中卷积核的系数相关于标准差σ的值，由于卷积核的大小会随着标准差σ的值成正比变化以维持高斯滤波器的特性，通过设定较大标准差σ会产生较宽的波峰(较大模糊量)。在图像中，卷积核的标准差σ会随像素距离中央注视点gz的距离或坐落的取样范围而变化。在图4所示的实施例中，当像素距离中央注视点gz的距离小于r0(例如当像素坐落于sr0时)，卷积核的标准差σ将被设为0，以确保所述像素以最大的分辨率来渲染。当像素距离中央注视点gz的距离大于r0，卷积核的标准差σ可被设为一不等于0的数值，并依据像素坐落的区域调整，其中sr1的标准差σ小于sr2的标准差σ。
57.图5为本发明实施例中一种适应性注视点渲染方法的示意图。ws1-wsm分别代表阶段式的渲染窗口的大小(半径)，其中m为正整数。为了说明目的，图5显示了m＝5时的实施例，且阶段式的渲染窗口的大小ws1-wsm分别对应10度、15度、20度、25度和30度的用户视角。
58.图6显示了在不同注视点渲染程度、中心窝范围和注视点渲染方式下用户所能容忍的注视点渲染量。纵轴代表系统延迟的值，而横轴代表模糊强度的值。曲线cr1-cr5分别对应滤波器的不同窗口大小。针对相关中心窝范围的一特定曲线，若一特定系统延迟大于现行渲染参数(例如中心窝渲染范围、模糊强度)的曲线上的一特定延迟时，采用此特定曲线所对应的窗口大小可能无法维持分辨率质量和渲染效能之间的平衡，此时特定系统延迟会被视为不被特定曲线所对应的现行渲染参数所允许。
59.为了说明目的，假设在步骤320中所取得的目前应用程序的渲染需求为阶段式的渲染窗口大小ws1(对应至曲线cr1所代表的10度用户视角)。若在步骤350中判定第一系统延迟大于依据曲线cr1另指定渲染参数(例如模糊强度)而求得的第二系统延迟时，代表现有渲染条件不被曲线cr1所对应的渲染参数所允许，且造成的模糊强度可能无法提供用户高画质影像，并维持用户的体验，如图6的圆点a所示。
60.在执行步骤360的一实施例中，中央处理器22可指示控制单元28在维持相同阶段式的渲染窗口大小时降低模糊强度，进而调整渲染参数。在这种状况下，调整后渲染条件可被曲线cr1所对应的渲染参数所允许，如图6的圆点b所示。
61.在执行步骤360的另一实施例中，中央处理器22可指示控制单元28去增加阶段式的渲染窗口大小以调整渲染参数，例如采用曲线cr2所对应的渲染参数。在这种状况下，调整后渲染条件可被曲线cr2所对应的渲染参数所允许，如图6的圆点a所示。
62.在执行步骤360的另一实施例中，中央处理器22可指示控制单元28同时降低模糊强度(例如调整至如图6中圆点b对应的模糊强度)和增加阶段式的渲染窗口大小(例如采用曲线cr2所对应的渲染参数)以调整渲染参数。在这种状况下，调整后渲染条件(如图6中圆点b所示)可被曲线cr2所对应的渲染参数所允许。
63.在图3所示的实施例中，当需要执行判断步骤350和调整步骤360时，会在执行调整步骤370之前执行判断步骤350和调整步骤360。在其它实施例中，本发明可先执行步骤370以依据用户的眼动追踪数据来调整现行渲染参数，接着再执行判断步骤350。
64.在执行完调整步骤370后，在步骤380中可依据调整后渲染参数来产生注视点影像。举例来说，本发明可使用图4和图5所示的方法来产生注视点影像，接着将注视点影像呈现在显示设备10。
65.综上所述，本发明提供一种可提供适应性注视点渲染的图形处理方法和相关眼动追踪系统。若相关目前应用程序的第一系统延迟大于相关现行渲染参数的第二系统延迟，此时会依据第一系统延迟来调整现行渲染参数，进而提供调整后渲染参数。接着依据调整后渲染参数来产生注视点影像，进而维持分辨率质量和渲染效能之间的平衡。
66.以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，都应属本发明的涵盖范围。