UI界面渲染方法、装置、电子设备及存储介质与流程

ui界面渲染方法、装置、电子设备及存储介质
技术领域
1.本技术涉及显示技术领域，具体涉及一种ui界面渲染方法、装置、电子设备及存储介质。


背景技术：

2.随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。
3.目前的电子设备进行用户界面(user interface，ui)绘制和渲染的方案是针对整个屏幕区域进行，如果要保证较高的刷新帧率或者更好的渲染效果，需要较强大的图形处理器(graphics processing unit，gpu)或者通用处理器(central processing unit，cpu)性能，在规定时间内完成ui界面的绘制和渲染；或者，通过降低绘制和渲染效果来降低渲染时间，避免画面卡顿。现有技术中由于硬件性能限制或者渲染效果限制导致显示屏上ui界面的绘制和渲染效果不够理想，或者帧率较低，容易出现画面卡顿的现象，影响用户体验。


技术实现要素：

4.本技术实施例提供了一种ui界面渲染方法、装置、电子设备及存储介质，能够对ui界面通过不同的渲染参数进行分区渲染，从而在保证部分分区渲染效果的前提下，提升画面流畅度。
5.第一方面，本技术实施例提供一种ui界面渲染方法，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：
6.通过所述眼球追踪模块获取所述ui界面被注视的注视点信息；
7.根据所述注视点信息预测所述ui界面中即将被注视的目标位置；
8.根据所述目标位置将所述ui界面划分为至少两个分区；
9.对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示，其中，所述至少两个分区中每一分区对应不同渲染参数。
10.第二方面，本技术实施例提供一种ui界面渲染装置，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述装置包括：
11.获取单元，用于通过所述眼球追踪模块获取所述ui界面被注视的注视点信息；
12.预测单元，用于根据所述注视点信息预测所述ui界面中即将被注视的目标位置；
13.划分单元，用于根据所述目标位置将所述ui界面划分为至少两个分区；
14.渲染单元，用于对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示，其中，所述至少两个分区中每一分区对应不同渲染参数。
15.第三方面，本技术实施例提供一种电子设备，包括第一摄像头、第二摄像头、处理
器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本技术实施例第一方面中的步骤的指令。
16.第四方面，本技术实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。
17.第五方面，本技术实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
18.实施本技术实施例，具备如下有益效果：
19.可以看出，本技术实施例中提供的ui界面渲染方法、装置、电子设备及存储介质，通过眼球追踪模块获取ui界面被注视的注视点信息；根据注视点信息预测ui界面中即将被注视的目标位置；根据目标位置将ui界面划分为至少两个分区；对至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将至少两个渲染结果显示在显示屏上进行显示，其中，至少两个分区中每一分区对应不同渲染参数，如此，能够对ui界面通过不同的渲染参数进行分区渲染，实现对重点区域进行重点渲染，对非重点区域提升渲染效率，从而在保证部分分区渲染效果的情况下，提升画面流畅度。
附图说明
20.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1a是本技术实施例提供的一种电子设备的结构示意图；
22.图1b是本技术实施例提供的一种ui界面渲染方法的流程示意图；
23.图1c是本技术实施例提供的一种通过图像特征训练模型将输入的区域图像特征进行训练的演示示意图；
24.图1d是本技术实施例提供的一种将ui界面划分为至少两个分区的演示示意图；
25.图1e是本技术实施例提供的一种对ui界面进行差异化渲染的架构示意图；
26.图1f是本技术实施例提供的一种对ui界面进行差异化渲染的演示示意图；
27.图2a是本技术实施例提供的另一种ui界面渲染方法的流程示意图；
28.图2b是本技术实施例提供的一种对ui界面进行分区渲染的演示示意图；
29.图3是本技术实施例提供的一种电子设备的结构示意图；
30.图4是本技术实施例提供的一种ui界面渲染装置的结构示意图。
具体实施方式
31.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
33.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
34.本技术实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，ue)，移动台(mobile station，ms)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
35.下面对本技术实施例进行详细介绍。
36.请参阅图1a，图1a是本技术实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：
37.电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本技术实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
38.存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(voice over internet protocol,voip)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本技术实施例不作限制。
39.电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感
器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该指纹识别模组可以用于采集指纹图像。
40.传感器170还可以包括红外(infrared radiation，ir)摄像头和可见光摄像头，ir摄像头和可见光摄像头可构成眼球追踪模块，眼球追踪模块用于进行眼球追踪，其中，ir摄像头在拍摄时，瞳孔反射红外光，因此ir摄像头在拍摄瞳孔图像会比rgb摄像头更加准确；可见光摄像头需要进行更多的后续瞳孔检测，计算精度和准确性比ir摄像头要高，通用性比ir摄像头更好，但是计算量大。
41.输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ito)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本技术实施例不作限制。
42.电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。
43.通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(near field communication，nfc)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。
44.电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
45.用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。
46.请参阅图1b，图1b是本技术实施例提供的一种ui界面渲染方法的流程示意图，应用于如图1a所示的电子设备，所述电子设备包括眼球追踪模块和显示屏，如图1b所示，本技术提供的ui界面渲染方法包括：
47.101、通过所述眼球追踪模块获取所述ui界面被注视的注视点信息。
48.其中，眼球追踪模块可包括摄像头，通过摄像头对用户进行眼球追踪，进行眼球追踪的摄像头可以为红外摄像头或者可见光摄像头等等，此处不作限制。
49.其中，注视点信息可包括注视点的位置、注视时长等信息。
50.具体实施中，随着用户视线在显示屏上进行移动，眼球追踪模块可检测用户眼球注视显示屏上的注视点信息，例如，眼球追踪模块可检测用户眼球注视显示屏上的第一注
视点位置，以及注视第一注视点位置的第一时长，当用户视线移动，可检测用户眼球注视显示屏上的第二注视注视点位置，以及注视第二注视点位置的第二注视时长，从而，眼球追踪模块可检测到不同时间用户注视显示屏上ui界面被注视的位置以及注视时长。
51.102、根据所述注视点信息预测所述ui界面中即将被注视的目标位置。
52.其中，上述目标位置可以是用户对ui界面中的图像信息感兴趣的位置，或者，可以是用户观看ui界面时视线即将移动到的位置。
53.具体实施中，为了提升画面流畅度，可以在ui界面下一帧画面刷新之前，对下一帧画面进行渲染，因此，可预测ui界面中即将被注视的目标位置。
54.可选地，上述步骤102中，根据所述注视点信息预测所述ui界面中即将被注视的目标位置，可包括以下步骤：
55.21、根据所述注视点信息确定注视点所在注视区域的区域图像信息；
56.22、对所述区域图像信息进行图像特征提取，得到区域图像特征；
57.23、根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；
58.24、将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；
59.25、根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息；
60.26、根据所述注视点运动趋势信息以及所述注视区域的图像内容变化信息预测所述ui界面中即将被注视的目标位置。
61.其中，根据注视点信息确定注视点所在注视区域的区域图像信息，区域图像信息可包括人物、物体等图像信息，例如，用户注视人物，则可根据注视点信息确定ui界面中注视区域包括的人物有关的区域图像信息，用户注视山、树等物体，则可根据注视点信息确定ui界面中注视区域包括的物体有关的区域图像信息。
62.其中，注视点运动趋势信息具体包括注视点在是否随时间变化、如何变化的信息，注视点可能随时间变化在一个区域范围内运动，运动范围较为集中，例如，假定显示屏的显示界面中包括人脸，用户的注视点随时间变化在该人脸区域运动，未超出人脸范围；或者，注视点可能随时间变化在较大范围内运动，运动范围较为分散，例如，假定显示屏的显示界面中包括树木、山等景物，随时间变化用户的注视点先落在树木所在区域，然后移动到山所在区域。
63.其中，对所述区域图像信息进行图像特征提取的特征提取算法可包括以下至少一种：方向梯度直方图(histogram of oriented gradients，hog)算法、霍夫变换法或haar特征级联分类器算法等等，此处不做限制。
64.其中，电子设备中可包括图像特征训练模型，在不同时刻检测到不同的多个注视点对应的多个注视区域中，可包括不同的区域图像信息，可将每一注视点对应的区域图像信息进行特征提取，得到区域图像特征，得到不同注视区域对应的区域图像特征，将区域图像特征依次输入图像特征训练模型，通过图像特征训练模型将输入的区域图像特征进行训练，得到不同注视点所在注视区域的特征信息，注视区域的特征信息可包括注视区域的位置特征信息以及注视区域包含注视对象的特征信息，注视区域的特征信息用于表征注视区域的注视对象。
65.具体地，若眼球追踪模块检测到的注视点信息中包括m个注视点，m为正整数，从m个注视点对应m个注视区域的区域图像信息中可提取到区域图像特征，将m个注视点分别对应的区域图像特征依次输入到图像特征训练模型，可得到m个注视区域的m个注视区域特征信息，例如，注视区域的特征信息可以为人脸的特征信息、人像的特征信息、山的特征信息、树木的特征信息等，此处不作限制。
66.其中，图像内容变化信息是指用户的注视对象是否变化、如何变化的信息，具体地，可根据m个注视区域的m个注视区域特征信息分析用户的注视对象是否变化，若m个注视区域的区域图像信息中，存在n次注视对象相同，n为小于或等于m的正整数，可计算该注视对象的出现概率，若该出现概率大于预设概率阈值，可判断该注视对象为用户重点关注的对象，将该注视对象作为ui界面中被注视的兴趣偏好信息，若用户注视对象较为固定，例如，随着注视点发生变化，注视点对应的注视区域中的注视对象为特定对象，例如，一个人物或者一个物体，因此，图像内容变化信息具体还可包括ui界面中被注视的兴趣偏好信息等。从而，可根据注视点运动趋势信息以及注视区域的图像内容变化信息预测ui界面中即将被注视的目标位置。
67.举例说明，如图1c所示，图1c为本技术实施例提供的一种通过图像特征训练模型将输入的区域图像特征进行训练的演示示意图，其中，注视点信息中可包括多个时刻下检测到的不同的多个注视点，以及检测到的每一注视点对应的注视时长，注视点对应注视区域的图像内容变化信息如图1c所示，可以看出，注视点在ui界面中发生变化，但每一注视点所在注视区域的注视对象均为同一人物，由此，可确定ui界面中被注视的兴趣偏好信息为该人物，表明用户视线一直在注视该人物。
68.可选地，上述步骤24中，所述根据所述注视点运动趋势信息以及所述注视区域的图像内容变化信息预测所述ui界面中即将被注视的目标位置，包括：
69.2401、若所述注视区域的图像内容变化信息包括所述ui界面中被注视的兴趣偏好信息，确定所述兴趣偏好信息即将在所述ui界面中的显示位置，将所述显示位置作为所述目标位置，所述兴趣偏好信息为在所述注视区域的出现概率大于预设概率阈值的区域图像信息；
70.2402、若所述注视区域的图像内容变化信息不包括所述ui界面中被注视的兴趣偏好信息，根据所述注视点运动趋势信息预测所述ui界面中即将被注视的注视点预测位置，将所述注视点预测位置作为所述目标位置。
71.本技术实施例中，若用户视线较为固定地注视一个对象，例如人物、物体，检测到的每一注视点对应的注视对象中，则可预测即将刷新的下一帧画面中用户注视的目标位置为该注视对象所在的位置。
72.若用户的视线不固定在某个对象上，用户的注视点在变化时，注视点所在注视区域的图像内容信息也在发生变化，例如，用户的注视点落在ui界面中的树上，之后，用户的注视点转而落在ui界面中的山上，则可根据注视区域的图像内容变化信息确定用户未固定注视一个对象，此种情况下，可根据所述注视点运动趋势信息预测下一帧画面刷新的时刻，用户的注视点所处的注视点预测位置，将该注视点预测位置作为目标位置。
73.可选地，上述步骤21之前，还可包括以下步骤：
74.a1、若所述注视点信息包括一个注视点的注视时长，且所述注视时长大于预设时
长阈值，则执行所述根据所述注视点信息确定注视点所在注视区域的区域图像信息的操作；或者，
75.a2、若所述注视点信息包括第一注视点的第一注视时长和第二注视点的第二注视时长，所述第一注视点与所述第二注视点之间的注视距离小于预设距离阈值，且所述第一注视时长和所述第二注视时长之和大于所述预设时长阈值，则执行所述根据所述注视点信息确定注视点所在注视区域的区域图像信息的操作。
76.本技术实施例中，为了确保检测到的注视点为用户的视线关注ui界面的注视点，而非用户视线偶然落到ui界面的情况下检测到的注视点，可预先设置用户预设时长阈值，若用户注视ui界面中的注视区域的注视时长大于预设时长阈值，则表明检测到的注视点为用户关注ui界面的注视点，从而可防止对注视点的误测。
77.103、根据所述目标位置将所述ui界面划分为至少两个分区。
78.其中，上述至少两个分区中可包括目标位置所在的区域，电子设备可将目标位置所在的区域划分为重点区域，将其他区域划分为非重点区域。可选地，电子设备还可根据目标位置所在区域的图像内容信息进一步将非重点区域划分为次重点区域以及背景区域。
79.具体实施中，如图1d所示，为本技术实施例提供的一种将ui界面划分为至少两个分区的演示示意图，电子设备可将兴趣偏好信息即将在ui界面中的显示位置所在的区域设置为重点区域，若检测到用户ui界面中包括的兴趣偏好信息包括三个对象，可设置三个重点区域，进而，可将每一重点区域周围的区域设置为次重点区域，将重点区域和次重点区域以外的区域划分为背景区域。
80.可选地，所述ui界面中所述目标位置存在第一对象，上述步骤103中，所述根据所述目标位置将所述ui界面划分为至少两个分区，包括：
81.31、将所述第一对象所处的区域作为第一分区；
82.32、确定所述ui界面中与所述第一分区存在预设关联关系的至少一个第二分区；
83.33、将所述ui界面中除了所述第一分区、所述至少一个第二分区以外的区域作为第三分区。
84.其中，第一对象为用户注视的对象，第一对象例如可以为人物、物体等，此处不做限制。其中，第一分区可以设置为重点区域，从而，可对第一区域进行重点渲染，提升重点区域的渲染效果。
85.其中，第二分区可以是在位置上与第一分区存在预设关联关系的区域，例如，第二分区可以是邻近第一分区的区域，或者，第二分区可以是环绕第一分区的区域，此处不作限制，或者，第二分区可以是在内容上与第一分区存在预设关联关系的区域，例如，第一分区为一个人物，第二分区可以是ui界面中的其他人物所在的区域，又例如，第一分区为人物，第二分区还可以是ui界面中的该人物所处场景的景物等等。第三分区可以是ui界面中的背景区域，或者，第三区域还可以是ui界面中距离第一对象距离最远的其他对象所在的区域。
86.可选地，上述步骤32中，所述确定所述ui界面中与所述第一分区存在预设关联关系的至少一个第二分区，包括：
87.3201、确定所述ui界面中与所述第一对象具有相同属性信息的至少一个第二对象；
88.3202、将所述至少一个第二对象中每一第二对象所处区域作为第二分区，得到所
述至少一个第二分区。
89.其中，上述属性信息可以是第一对象的类型、材质、显示优先级等等，此处不做限制，例如，第一对象为人物，ui界面中还包括其他人物，可确定ui界面中存在与第一对象的类型相同的第二对象，即其他人物，又例如，第一对象的材质为透明材质，ui界面中还包括其他需要进行透明材质显示的图像内容信息，可确定ui界面中存在与第一对象的材质相同的第二对象；若第一对象为聊天对话框中的第一聊天内容，ui界面中还包括第二聊天内容，且电子设备对聊天内容设置的相同的显示优先级，则可确定ui界面中存在与第一对象的显示优先级相同的第二对象，即该第二聊天内容。
90.104、对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示，其中，所述至少两个分区中每一分区对应不同渲染参数。
91.其中，本技术实施例中，对至少两个分区中每一分区进行差异化渲染，具体地，可根据每一分区的区域图像信息确定对应的渲染参数，为了提升目标位置所在重点区域的渲染效果，可将该重点区域的渲染参数进行调整，以提高该重点区域的渲染效果；或者，可将非重点区域的渲染参数进行调整，降低非重点区域的渲染效果，以降低渲染消耗的时间，提升渲染效率，从而，可通过不同渲染参数对各个分区进行差异化渲染，在保证重点区域渲染效果的情况下，提升渲染效率。
92.可选地，所述电子设备还包括通用处理器cpu、图形处理器gpu、帧缓存区和显示控制器，所述cpu与所述gpu通过总线连接，上述步骤104中，对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示，可包括以下步骤：
93.41、所述cpu将所述至少两个分区中每一分区的区域图像信息传输至所述gpu；
94.42、所述gpu对所述至少两个分区中每一分区的区域图像信息进行渲染，得到所述至少两个渲染结果；将所述至少两个渲染结果存储至所述帧缓存区；
95.43、所述显示控制器获取所述显示屏的下一帧刷新信号，在显示所述下一帧ui界面之前，提取所述帧缓存区的所述至少两个渲染结果，确定所述至少两个分区中每一分区的刷新频率，得到至少两个刷新频率，根据所述至少两个刷新频率中每一刷新频率将对应的渲染结果刷新显示在所述显示屏上。
96.请参阅图1e，图1e为本技术实施例提供的一种对ui界面进行差异化渲染的架构示意图，其中，在规定的帧率60fps(16.7毫秒)中，如果在下一帧刷新信号到来之前，cpu和gpu没有完成下一帧画面的合成，就会出现卡顿和掉帧的现象，因此本方案通过差异化渲染，释放了更多的cpu和gpu资源，使得系统在较短的时间内实现新一帧画面的渲染，保证显示屏能够以较高的频率进行刷新，从而提高画面流畅度。
97.如图1f所示，为本技术实施例提供的一种对ui界面进行差异化渲染的演示示意图，其中，针对划分的重点区域、次重点区域和背景区域，通过不同的渲染参数，可实现重点区域的高渲染效果，次重点区域的次高渲染效果，以及背景区域的低渲染效果，通过对不同区域以不同的刷新频率进行刷新，例如，可对重点区域以60fps的刷新帧率进行刷新，对次重点区域以30fps的刷新帧率进行刷新，对背景区域以15fps的刷新帧率进行刷新，可保证重点区域的显示效果，提升背景区域的刷新效率，从而在保证重点区域渲染效果的情况下，
提升画面流畅度。
98.可以看出，本技术实施例中通过眼球追踪模块获取ui界面被注视的注视点信息；根据注视点信息预测ui界面中即将被注视的目标位置；根据目标位置将ui界面划分为至少两个分区；对至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将至少两个渲染结果显示在显示屏上进行显示，其中，至少两个分区中每一分区对应不同渲染参数，如此，能够对ui界面通过不同的渲染参数进行分区渲染，实现对重点区域进行重点渲染，对非重点区域提升渲染效率，从而在保证重点区域渲染效果的情况下，提升画面流畅度。
99.请参阅图2a，图2a为本技术实施例提供的一种ui界面渲染方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：
100.201、通过所述眼球追踪模块获取所述ui界面被注视的注视点信息。
101.202、根据所述注视点信息确定注视点所在注视区域的区域图像信息。
102.203、对所述区域图像信息进行图像特征提取，得到区域图像特征。
103.204、根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息。
104.205、将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息。
105.206、根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息。
106.207、若所述注视区域的图像内容变化信息包括所述ui界面中被注视的兴趣偏好信息，确定所述兴趣偏好信息即将在所述ui界面中的显示位置，将所述显示位置作为所述目标位置，所述兴趣偏好信息为在所述注视区域的出现概率大于预设概率阈值的区域图像信息。
107.208、若所述注视区域的图像内容变化信息不包括所述ui界面中被注视的兴趣偏好信息，根据所述注视点运动趋势信息预测所述ui界面中即将被注视的注视点预测位置，将所述注视点预测位置作为所述目标位置。
108.209、根据所述目标位置将所述ui界面划分为至少两个分区。
109.210、对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示，其中，所述至少两个分区中每一分区对应不同渲染参数。
110.其中，上述步骤201-210的具体实现过程可参照步骤101-步骤104中相应的描述，在此不再赘述。
111.举例说明，如图2b所示，为本技术实施例提供的一种对ui界面进行分区渲染的演示示意图，其中，通过眼球追踪模块获取注视点信息，注视点信息中可包括多个时刻下检测到的不同的多个注视点，将注视点信息通过模型训练模块中的注视点运动趋势模型进行训练，可得到注视点运动趋势信息，将区域图像特征输入通过模型训练模块中的图像特征训练模型进行训练，可得到ui界面中被注视的兴趣偏好信息，如图2b所示，通过模型训练模块训练得到用户重点关注区域是树，那么可对ui界面中树所在的重点区域进行识别分割，进而对树所在的重点区域通入更多的资源进行绘制和渲染，可相应的减少地面和山所在的非重点区域的投入，例如，可设置山和地面为次重点区域，设置天空等其他区域为背景区域，
优先保证树的渲染和刷新效果，并以较高的刷新频率进行刷新；从而使得用户对树区域的观感更加流畅。
112.可以看出，本技术实施例中通过根据注视点信息确定注视点所在注视区域的区域图像信息；对区域图像信息进行图像特征提取，得到区域图像特征；将注视点信息和区域图像特征传输至模型训练模块，得到注视点运动趋势信息以及注视区域的图像内容变化信息；若注视区域的图像内容变化信息包括ui界面中被注视的兴趣偏好信息，确定兴趣偏好信息即将在ui界面中的显示位置；若注视区域的图像内容变化信息不包括ui界面中被注视的兴趣偏好信息，根据注视点运动趋势信息预测ui界面中即将被注视的注视点预测位置，将注视点预测位置作为目标位置，如此，可以根据注视点运动趋势信息以及注视区域的图像内容变化信息预测ui界面中即将被注视的目标位置，更加准确地对ui界面进行分区渲染，保证用户感兴趣的区域能够被重点渲染，并提升渲染效率，提高画面流畅度。
113.以下是实施上述ui界面渲染方法的装置，具体如下：
114.与上述一致地，请参阅图3，图3是本技术实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器310、通信接口330和存储器320；还包括眼球追踪模块340、显示屏350，以及一个或多个程序321，所述一个或多个程序321被存储在所述存储器320中，并且被配置成由所述处理器执行，所述程序321包括用于执行以下步骤的指令：
115.通过所述眼球追踪模块获取所述ui界面被注视的注视点信息；
116.根据所述注视点信息预测所述ui界面中即将被注视的目标位置；
117.根据所述目标位置将所述ui界面划分为至少两个分区；
118.对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示，其中，所述至少两个分区中每一分区对应不同渲染参数。
119.在一个可能的示例中，在所述根据所述注视点信息预测所述ui界面中即将被注视的目标位置方面，所述程序321包括用于执行以下步骤的指令：
120.根据所述注视点信息确定注视点所在注视区域的区域图像信息；
121.对所述区域图像信息进行图像特征提取，得到区域图像特征；
122.根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；
123.将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；
124.根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息；
125.根据所述注视点运动趋势信息以及所述注视区域的图像内容变化信息预测所述ui界面中即将被注视的目标位置。
126.在一个可能的示例中，在所述根据所述注视点运动趋势信息以及所述注视区域的图像内容变化信息预测所述ui界面中即将被注视的目标位置方面，所述程序321包括用于执行以下步骤的指令：
127.若所述注视区域的图像内容变化信息包括所述ui界面中被注视的兴趣偏好信息，确定所述兴趣偏好信息即将在所述ui界面中的显示位置，将所述显示位置作为所述目标位置，所述兴趣偏好信息为在所述注视区域的出现概率大于预设概率阈值的区域图像信息；
128.若所述注视区域的图像内容变化信息不包括所述ui界面中被注视的兴趣偏好信
息，根据所述注视点运动趋势信息预测所述ui界面中即将被注视的注视点预测位置，将所述注视点预测位置作为所述目标位置。
129.在一个可能的示例中，所述程序321还包括用于执行以下步骤的指令：
130.若所述注视点信息包括一个注视点的注视时长，且所述注视时长大于预设时长阈值，则执行所述根据所述注视点信息确定注视点所在注视区域的区域图像信息的操作；或者，
131.若所述注视点信息包括第一注视点的第一注视时长和第二注视点的第二注视时长，所述第一注视点与所述第二注视点之间的注视距离小于预设距离阈值，且所述第一注视时长和所述第二注视时长之和大于所述预设时长阈值，则执行所述根据所述注视点信息确定注视点所在注视区域的区域图像信息的操作。
132.在一个可能的示例中，所述ui界面中所述目标位置存在第一对象，在所述根据所述目标位置将所述ui界面划分为至少两个分区方面，所述程序321包括用于执行以下步骤的指令：
133.将所述第一对象所处的区域作为第一分区；
134.确定所述ui界面中与所述第一分区存在预设关联关系的至少一个第二分区；
135.将所述ui界面中除了所述第一分区、所述至少一个第二分区以外的区域作为第三分区。
136.在一个可能的示例中，在所述确定所述ui界面中与所述第一分区存在预设关联关系的至少一个第二分区方面，所述程序321包括用于执行以下步骤的指令：
137.确定所述ui界面中与所述第一对象具有相同属性信息的至少一个第二对象；
138.将所述至少一个第二对象中每一第二对象所处区域作为第二分区，得到所述至少一个第二分区。
139.在一个可能的示例中，所述电子设备还包括通用处理器cpu、图形处理器gpu、帧缓存区和显示控制器，所述cpu与所述gpu通过总线连接，在所述对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示方面，所述程序321包括用于执行以下步骤的指令：
140.所述cpu将所述至少两个分区中每一分区的区域图像信息传输至所述gpu；
141.所述gpu对所述至少两个分区中每一分区的区域图像信息进行渲染，得到所述至少两个渲染结果；将所述至少两个渲染结果存储至所述帧缓存区；
142.所述显示控制器获取所述显示屏的下一帧刷新信号，在显示所述下一帧ui界面之前，提取所述帧缓存区的所述至少两个渲染结果，确定所述至少两个分区中每一分区的刷新频率，得到至少两个刷新频率，根据所述至少两个刷新频率中每一刷新频率将对应的渲染结果刷新显示在所述显示屏上。
143.请参阅图4，图4是本实施例提供的一种ui界面渲染装置的结构示意图，所述ui界面渲染装置400应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，该装置400包括获取单元401、预测单元402、划分单元403和渲染单元404，其中，
144.所述获取单元401，用于通过所述眼球追踪模块获取所述ui界面被注视的注视点信息；
145.预测单元402，用于根据所述注视点信息预测所述ui界面中即将被注视的目标位
置；
146.划分单元403，用于根据所述目标位置将所述ui界面划分为至少两个分区；
147.渲染单元404，用于对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示，其中，所述至少两个分区中每一分区对应不同渲染参数。
148.可选地，在所述根据所述注视点信息预测所述ui界面中即将被注视的目标位置方面，所述预测单元402具体用于：
149.根据所述注视点信息确定注视点所在注视区域的区域图像信息；
150.对所述区域图像信息进行图像特征提取，得到区域图像特征；
151.根据所述注视点信息分析注视点随时间运动的信息，得到注视点运动趋势信息；
152.将所述区域图像特征输入特征训练模型进行训练，得到注视区域的特征信息；
153.根据所述注视区域的特征信息分析所述注视区域中的图像内容随注视点变化的信息，得到注视区域变化信息；
154.根据所述注视点运动趋势信息以及所述注视区域的图像内容变化信息预测所述ui界面中即将被注视的目标位置。
155.可选地，在所述根据所述注视点运动趋势信息以及所述注视区域的图像内容变化信息预测所述ui界面中即将被注视的目标位置方面，所述预测单元402具体用于：
156.若所述注视区域的图像内容变化信息包括所述ui界面中被注视的兴趣偏好信息，确定所述兴趣偏好信息即将在所述ui界面中的显示位置，将所述显示位置作为所述目标位置，所述兴趣偏好信息为在所述注视区域的出现概率大于预设概率阈值的区域图像信息；
157.若所述注视区域的图像内容变化信息不包括所述ui界面中被注视的兴趣偏好信息，根据所述注视点运动趋势信息预测所述ui界面中即将被注视的注视点预测位置，将所述注视点预测位置作为所述目标位置。
158.可选地，所述预测单元402还用于：
159.若所述注视点信息包括一个注视点的注视时长，且所述注视时长大于预设时长阈值，则执行所述根据所述注视点信息确定注视点所在注视区域的区域图像信息的操作；或者，
160.若所述注视点信息包括第一注视点的第一注视时长和第二注视点的第二注视时长，所述第一注视点与所述第二注视点之间的注视距离小于预设距离阈值，且所述第一注视时长和所述第二注视时长之和大于所述预设时长阈值，则执行所述根据所述注视点信息确定注视点所在注视区域的区域图像信息的操作。
161.可选地，所述ui界面中所述目标位置存在第一对象，在所述根据所述目标位置将所述ui界面划分为至少两个分区方面，所述划分单元403具体用于：
162.将所述第一对象所处的区域作为第一分区；
163.确定所述ui界面中与所述第一分区存在预设关联关系的至少一个第二分区；
164.将所述ui界面中除了所述第一分区、所述至少一个第二分区以外的区域作为第三分区。
165.可选地，在所述确定所述ui界面中与所述第一分区存在预设关联关系的至少一个第二分区方面，所述划分单元403具体用于：
166.确定所述ui界面中与所述第一对象具有相同属性信息的至少一个第二对象；
167.将所述至少一个第二对象中每一第二对象所处区域作为第二分区，得到所述至少一个第二分区。
168.可选地，所述电子设备还包括通用处理器cpu、图形处理器gpu、帧缓存区和显示控制器，所述cpu与所述gpu通过总线连接，在所述对所述至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将所述至少两个渲染结果显示在所述显示屏上进行显示方面，所述渲染单元404具体用于：
169.所述cpu将所述至少两个分区中每一分区的区域图像信息传输至所述gpu；
170.所述gpu对所述至少两个分区中每一分区的区域图像信息进行渲染，得到所述至少两个渲染结果；将所述至少两个渲染结果存储至所述帧缓存区；
171.所述显示控制器获取所述显示屏的下一帧刷新信号，在显示所述下一帧ui界面之前，提取所述帧缓存区的所述至少两个渲染结果，确定所述至少两个分区中每一分区的刷新频率，得到至少两个刷新频率，根据所述至少两个刷新频率中每一刷新频率将对应的渲染结果刷新显示在所述显示屏上。
172.可以看出，本技术实施例中所描述的ui界面渲染装置，通过眼球追踪模块获取ui界面被注视的注视点信息；根据注视点信息预测ui界面中即将被注视的目标位置；根据目标位置将ui界面划分为至少两个分区；对至少两个分区中每一分区进行差异化渲染，得到至少两个渲染结果，将至少两个渲染结果显示在显示屏上进行显示，其中，至少两个分区中每一分区对应不同渲染参数，如此，能够对ui界面通过不同的渲染参数进行分区渲染，实现对重点区域进行重点渲染，对非重点区域提升渲染效率，从而在保证重点区域渲染效果的情况下，提升画面流畅度。
173.可以理解的是，本实施例的ui界面渲染装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
174.本技术实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
175.本技术实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
176.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
177.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
178.在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式
实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
179.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
180.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
181.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
182.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
183.以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。