数据处理方法和相关装置与流程

1.本技术涉及终端技术领域，尤其涉及数据处理方法和相关装置。


背景技术：

2.目前，用户可以通过终端设备的显示屏查阅各类内容。当内容较多时，显示屏不能一次显示全部内容，用户可在显示幕里滑动翻阅相关内容。
3.终端设备的显示屏的界面显示通常需要经过绘制、渲染和合成等过程。示例性的，终端设备的界面绘制过程可以包括背景绘制、子视图的绘制、滚动条的绘制等过程。终端设备的界面合成过程可以包括顶点处理和像素处理等处理过程。
4.但是，当终端设备在屏幕界面变化的过程中发生屏幕刷新率切换，终端设备可能会出现卡顿现象。


技术实现要素：

5.本技术实施例提供数据处理方法和相关装置，应用于终端设备。该方法用于解决终端设备在屏幕界面变化的过程中发生屏幕刷新率切换，导致的卡顿现象。
6.第一方面，本技术实施例提出一种数据处理方法，应用于终端设备，终端设备包括应用、帧率控制系统、合成线程、缓存线程和显示驱动。
7.该方法包括：在应用以第一帧率绘制渲染图像时，帧率控制系统接收到合成线程发送的携带第二帧率的消息，第一帧率与第二帧率的比值为大于1的整数；响应于接收携带第二帧率的消息，帧率控制系统添加标识，以及控制应用以第二帧率绘制渲染图像，标识用于调整合成线程合成应用绘制渲染后的图像的时间；在第一时刻，帧率控制系统控制合成线程基于标识以第二帧率合成应用绘制渲染后的图像，以及控制显示驱动以第二帧率驱动屏幕显示合成线程合成后的图像；其中，第一时刻在帧率控制系统接收到携带第二帧率的消息后的第1 a个vsync-hw信号到第2 a个vsync-hw信号之间，a是帧率控制系统接收到携带第二帧率的消息时，缓存线程中应用对应的缓存队列中缓存的缓存数量，vsync-hw信号用于触发显示驱动驱动屏幕显示合成线程合成后的图像。
8.这样，在终端设备发生屏幕刷新率切换时，先对图像的绘制渲染过程进行切换，再对图像的合成流程和图像的显示流程进行切换，使得每帧图像在与其前一帧图像之间的显示间隔与绘制渲染间隔一致，进而每帧图像的显示节奏与绘制渲染节奏一致，减少显示间隔与绘制渲染间隔不一致导致的滑动速度跳变，减少卡顿，增加用户体验。此外，基于标识调整图像的合成时间，减少没有图像送显的情况，进一步减少卡顿现象。
9.可选的，终端设备还包括vsync线程；响应于接收携带第二帧率的消息，帧率控制系统控制应用以第二帧率绘制渲染图像，包括：帧率控制系统接收到携带第二帧率的消息之后，帧率控制系统向vsync线程发送第一消息，第一消息用于指示将应用帧率切换为第二帧率；vsync线程基于第一消息以第二帧率生成vsync-app信号并将vsync-app信号发送至应用；应用基于vsync-app信号绘制渲染图像。
10.本技术实施例中，以第二帧率生成vsync-app信号可以理解为按照第二帧率的vsync信号周期生成vsync-app信号。
11.这样，通过修改vsync-app信号之间的时间间隔，实现对图像的绘制渲染过程从第一帧率切换为第二帧率，方式简便，节省计算资源。
12.可选的，终端设备还包括：vsync线程；标识为第一标识，第一标识用于基于vsync-sf信号的偏移量调整合成线程以第二帧率合成应用绘制渲染后的图像的时间；在第一时刻，帧率控制系统控制合成线程以第二帧率合成应用绘制渲染后的图像，以及控制显示驱动以第二帧率驱动屏幕显示合成线程合成后的图像，包括：在第一时刻，帧率控制系统向vsync线程发送第二消息，第二消息用于指示合成帧率和屏幕刷新率均切换为第二帧率；vsync线程基于第二消息和第一标识以第二帧率生成vsync-sf信号并将vsync-sf信号发送至合成线程；合成线程基于vsync-sf信号合成绘制渲染后的图像；vsync线程基于第二消息向显示驱动发送第三消息，第三消息用于指示屏幕刷新率切换为第二帧率；显示驱动基于第三消息控制屏幕以第二帧率生成vsync-hw信号，vsync-hw信号的生成时间晚于vsync-sf信号的生成时间；显示驱动在接收到vsync-hw信号后控制屏幕显示合成后的图像。
13.本技术实施例中，以第二帧率生成vsync-sf信号可以理解为按照第二帧率的vsync信号周期生成vsync-sf信号。以第二帧率生成vsync-hw信号可以理解为按照第二帧率的vsync信号周期生成vsync-hw信号。
14.这样，通过修改vsync-sf信号之间的时间间隔以及vsync-hw信号之间的时间间隔，分别实现对图像的合成过程和显示过程从第一帧率切换为第二帧率，方式简便，节省计算资源。此外，基于vsync-sf信号的偏移量调整图像的合成时间可以减少没有图像送显的情况，进一步减少卡顿现象。
15.可选的，vsync线程基于第二消息和第一标识以第二帧率生成vsync-sf信号并将vsync-sf信号发送至合成线程，包括：vsync线程基于第二消息和第一标识以第二帧率生成vsync-sf信号并将vsync-sf信号发送至合成线程，包括：缓存线程在接收到应用绘制渲染后的图像时，向帧率控制系统发送第四消息，第四消息用于指示查询第一标识；当帧率控制系统中存在第一标识时，帧率控制系统向缓存线程发送第五消息，第五消息用于指示帧率控制系统存在第一标识；缓存线程向vsync线程发送第六消息，第六消息用于指示调节偏移量；vsync线程基于第六消息，提前偏移量对应的时间以第二帧率生成vsync-sf信号；vsync线程将vsync-sf信号发送至合成线程。
16.这样，基于vsync-sf信号的偏移量将图像的合成时间提前，减少图像合成的等待时间，及时合成图像，进而减少没有图像送显的情况，进一步减少卡顿现象。
17.可选的，偏移量对应的时间为一个第一帧率对应的垂直同步vsync信号周期时长。
18.这样，vsync-sf信号相较于vsync-hw信号提前第一帧率对应的垂直同步vsync信号周期时长，提前图像的合成时间，及时合成图像，使得图像可以在vsync-hw信号到来前合成结束，减少没有图像送显的情况，进一步减少卡顿现象。
19.可选的，终端设备还包括：vsync线程；标识为第二标识，第二标识用于指示合成线程立即合成图像；在第一时刻，帧率控制系统控制合成线程以第二帧率合成应用绘制渲染后的图像，以及控制显示驱动以第二帧率驱动屏幕显示合成线程合成后的图像，包括：在第一时刻，帧率控制系统向vsync线程发送第七消息，第七消息用于指示合成帧率和屏幕刷新
率均切换为第二帧率；vsync线程基于第七消息以第二帧率生成vsync-sf信号；当缓存线程在接收到应用绘制渲染后的图像时，缓存线程基于第二标识将应用绘制渲染后的图像发送至合成线程；合成线程合成应用绘制渲染后的图像；vsync线程基于第七消息向显示驱动发送第八消息，第八消息用于指示屏幕刷新率切换为第二帧率；显示驱动基于第八消息控制屏幕以第二帧率生成vsync-hw信号；显示驱动在接收到vsync-hw信号后控制屏幕显示合成后的图像。
20.这样，通过修改图像的合成模式，在接收到绘制渲染后的图像立即合成，减少图像合成的等待时间，及时合成图像，进而减少没有图像送显的情况，进一步减少卡顿现象。
21.可选的，当缓存线程在接收到应用绘制渲染后的图像时，缓存线程基于第二标识将应用绘制渲染后的图像发送至合成线程，包括：缓存线程在接收到应用绘制渲染后的图像时，缓存线程向帧率控制系统发送第九消息，第九消息用于指示查询第二标识；当帧率控制系统存在第二标识时，帧率控制系统向缓存线程发送第十消息，第十消息用于指示存在第二标识；缓存队列基于第十消息将应用绘制渲染后的图像发送至合成线程。
22.可选的，第一时刻与在帧率控制系统接收到携带第二帧率的消息的时刻之间的差值满足：(缓存数量 1)*第一帧率对应的vsync周期时长。
23.这样，可以简化第一时刻的计算，节省计算资源。
24.可选的，缓存数量为应用对应的缓存队列中绘制渲染后的缓存的数量，以及应用对应的缓存队列中正在绘制渲染的缓存的数量之和。
25.可选的，在应用以第一帧率绘制渲染图像时，帧率控制系统接收到合成线程发送的携带第二帧率的消息之后，还包括：帧率控制系统计算第一帧率与第二帧率的比值；当比值为大于1的整数时，帧率控制系统从应用对应的缓存队列中获取缓存数量；帧率控制系统基于缓存数量确定第一时刻。
26.可选的，当比值为大于1的整数时，帧率控制系统从应用对应的缓存队列中获取缓存数量，包括：帧率控制系统从窗口管理器中获取焦点窗口，焦点窗口与应用相对应；帧率控制系统基于焦点窗口从应用对应的缓存队列中获取缓存数量。
27.第二方面，本技术实施例提供了一种终端设备，终端设备也可以称为终端(terminal)、用户设备(user equipment，ue)、移动台(mobile station，ms)、移动终端(mobile terminal，mt)等。终端设备可以是手机(mobile phone)、智能电视、穿戴式设备、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，vr)终端设备、增强现实(augmented reality，ar)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。
28.该终端设备包括处理器，处理器用于调用存储器中的计算机程序以执行如第一方面的方法。
29.第三方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在终端设备上运行时，使得终端设备执行如第一方面的方法。
30.第四方面，本技术实施例提供了一种计算机程序产品，当计算机程序被运行时，使
得终端设备执行如第一方面的方法。
31.第五方面，本技术实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如如第一方面的方法。
32.应当理解的是，本技术的第二方面至第五方面与本技术的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
附图说明
33.图1为本技术实施例提供的终端设备硬件系统结构示意图；
34.图2为本技术实施例提供的终端设备软件系统结构示意图；
35.图3为可能的实现中一种终端设备界面显示处理流程的示意图；
36.图4为可能的实现中一种帧率切换对应的界面显示处理流程的示意图；
37.图5为可能的实现中一种界面显示处理流程的示意图；
38.图6为可能的实现中一种界面显示示意图；
39.图7为本技术实施例提供的应用场景示意图；
40.图8为本技术实施例提供的数据处理方法中各个模块之间交互的过程示意图；
41.图9为本技术实施例提供的一种终端设备界面显示处理流程示意图；
42.图10为本技术实施例提供的一种数据处理方法流程示意图；
43.图11为本技术实施例提供的一种终端设备界面显示处理流程示意图；
44.图12为本技术实施例提供的一种终端设备界面显示处理流程示意图；
45.图13为本技术实施例提供的一种终端设备界面显示处理流程示意图；
46.图14为本技术实施例提供的一种终端设备界面显示处理流程示意图；
47.图15为本技术实施例提供的一种终端设备界面显示处理流程示意图；
48.图16为本技术实施例提供的一种数据处理装置的结构示意图；
49.图17为本技术实施例提供的一种数据处理装置的硬件结构示意图。
具体实施方式
50.为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
51.需要说明的是，本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
52.本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中
的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
53.本技术实施例提供的是数据处理方法，可以应用在具备显示功能的电子设备中。
54.电子设备包括终端设备，终端设备也可以称为终端(terminal)、用户设备(user equipment，ue)、移动台(mobile station，ms)、移动终端(mobile terminal，mt)等。终端设备可以是手机(mobile phone)、智能电视、穿戴式设备、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，vr)终端设备、增强现实(augmented reality，ar)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本技术的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
55.为了能够更好地理解本技术实施例，下面对本技术实施例的终端设备的结构进行介绍：
56.图1示出了终端设备100的结构示意图。终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
57.可以理解的是，本技术实施例示意的结构并不构成对终端设备100的具体限定。在本技术另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
58.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processingunit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
59.控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
60.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
61.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuitsound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purposeinput/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
62.i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现终端设备100的触摸功能。
63.i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
64.pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。i2s接口和pcm接口都可以用于音频通信。
65.uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
66.mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(displayserial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现终端设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现终端设备100的显示功能。
67.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
68.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为终端设备100充电，也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
69.可以理解的是，本技术实施例示意的各模块间的接口连接关系，是示意性说明，并
不构成对终端设备100的结构限定。在本技术另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
70.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。
71.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
72.终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
73.天线1和天线2用于发射和接收电磁波信号。终端设备100中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
74.移动通信模块150可以提供应用在终端设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
75.调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
76.无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处
理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
77.在一些实施例中，终端设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(codedivision multiple access，cdma)，宽带码分多址(wideband code division multipleaccess，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidounavigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellitesystem，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
78.终端设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
79.显示屏194用于显示图像、显示视频和接收滑动操作等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emittingdiode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diod，amoled)，柔性发光二极管(flex light-emittingdiode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot lightemitting diodes，qled)等。在一些实施例中，终端设备100可以包括1个或n个显示屏194，n为大于1的正整数。
80.终端设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
81.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
82.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，终端设备100可以包括1个或n个摄像头193，n为大于1的正整数。
83.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
84.视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种
视频编解码器。这样，终端设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
85.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
86.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
87.内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端设备100的各种功能应用以及数据处理。
88.终端设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
89.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
90.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170a收听音乐，或收听免提通话。
91.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
92.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。终端设备100可以设置至少一个麦克风170c。在另一些实施例中，终端设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
93.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
94.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力
传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180a检测触摸操作强度。终端设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。
95.陀螺仪传感器180b可以用于确定终端设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定终端设备100围绕三个轴(即，x、y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测终端设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
96.气压传感器180c用于测量气压。在一些实施例中，终端设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
97.磁传感器180d包括霍尔传感器。终端设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当终端设备100是翻盖机时，终端设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
98.加速度传感器180e可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用程序。
99.距离传感器180f，用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端设备100可以利用距离传感器180f测距以实现快速对焦。
100.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180g检测用户手持终端设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
101.环境光传感器180l用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测终端设备100是否在口袋里，以防误触。
102.指纹传感器180h用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
103.温度传感器180j用于检测温度。在一些实施例中，终端设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，终端设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备100对电池142加热，以避免低温导致终端设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备100对电池
programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
114.如图2所示，应用程序框架层可以包括窗口管理器、帧率控制系统、图像合成系统、视图系统、包管理器、输入管理器、活动管理器和资源管理器等。
115.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
116.帧率控制系统用于调节屏幕刷新率。
117.图像合成系统用于控制图像合成，以及产生垂直同步(vetical synchronization，vsync)信号。
118.图像合成系统包括：合成线程、vsync线程、缓存(quene buffer)线程。合成线程用于被vsync信号唤醒进行合成。vsync线程用于根据vsync信号请求生成下一个vsync信号。缓存线程用于存放缓存、产生vsync信号请求，以及唤醒合成线程等。缓存线程中存在一个或多个缓存队列，分别用于存放不同应用对应的缓存。
119.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
120.包管理器用于系统内的程序管理，例如：应用程序安装、卸载和升级等。
121.输入管理器用于管理输入设备的程序。例如，输入系统可以确定鼠标点击操作、键盘输入操作和触摸滑动等输入操作。
122.活动管理器用于管理各个应用程序的生命周期以及导航回退功能。负责android的主线程创建，各个应用程序的生命周期的维护。
123.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
124.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
125.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
126.应用层和应用程序框架层运行在虚拟机中。虚拟机将应用层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
127.系统库可以包括多个功能模块。例如：图像渲染库、图像合成库、函数库、媒体库和输入处理库等。
128.图像渲染库用于二维或三维图像的渲染。图像合成库用于二维或三维图像的合成。
129.可能的实现方式中，应用通过图像渲染库对图像进行绘制渲染，然后应用将绘制渲染后的图像发送至图像合成系统的缓存队列中。每当vsync信号到来时，图像合成系统(例如，surface flinger)从缓存队列中按顺序获取待合成的一帧图像，然后通过图像合成库进行图像合成。
130.函数库提供c语言中所使用的宏、类型定义、字符串操作函数、数学计算函数以及输入输出函数等。
131.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：mpeg4、h.264、mp3、aac、amr、jpg和png等。
132.输入处理库用于处理输入设备的库，可以实现鼠标、键盘和触摸输入处理等。
133.硬件抽象层，可以包含多个库模块，库模块如可以为硬件合成器(hwcomposer，hwc)、摄像头库模块等。android系统可以为设备硬件加载相应的库模块，进而实现应用程序框架层访问设备硬件的目的。设备硬件可以包括如电子设备中的lcd显示屏、摄像头等。
134.内核层是硬件和软件之间的层。内核层至少包含触控(touch panel，tp)驱动、显示驱动、蓝牙驱动、wifi驱动、键盘驱动、共用存储器驱动和相机驱动等。
135.硬件可以是音频设备、蓝牙设备、相机设备、传感器设备等。
136.下面结合应用程序启动或应用程序中发生界面切换的场景，示例性说明终端设备100软件以及硬件的工作流程。
137.当触控面板中触摸传感器180k接收到触摸操作时，内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸力度，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。内核层通过输入处理库将原始输入事件上报至应用程序框架层的输入管理器。应用程序框架层的输入管理器解析该原始输入事件的信息(包括：操作类型和报点位置等)和根据当前焦点确定焦点应用，并将解析后的信息发送至焦点应用。焦点可以是触摸操作中触碰点或者鼠标点击操作中点击位置。焦点应用为终端设备前台运行的应用或者触摸操作中触碰位置对应的应用。焦点应用根据解析后的原始输入事件的信息(例如，报点位置)确定该原始输入事件所对应的控件。
138.以该触摸操作是触摸滑动操作，该触摸滑动操作所对应的控件为微信应用的列表控件为例，微信应用通过应用程序框架层的视图系统，调用系统库中图像渲染库对图像进行绘制渲染。微信应用将绘制渲染后的图像发送至图像合成系统的缓存队列中。通过系统库中图像合成库将图像合成系统中绘制渲染后的图像合成为微信界面。图像合成系统通过内核层的显示驱动，使得屏幕(显示屏)显示微信应用的相应界面。
139.为了便于理解，示例的给出部分与本技术实施例相关概念的说明以供参考。
140.1、帧：是指界面显示中最小单位的单幅画面。一帧可以理解为一副静止的画面，快速连续地显示多个相连的帧可以形成物体运动的假象。帧率是指在1秒钟时间里刷新图片的帧数，也可以理解为终端设备中图形处理器每秒钟刷新画面的次数。高的帧率可以得到更流畅和更逼真的动画。每秒钟帧数越多，所显示的动作就会越流畅。
141.需要说明的是，界面显示帧前通常需要经过绘制、渲染、合成等过程。
142.2、帧绘制：是指显示界面的图片绘制。显示界面可以由一个或多个视图组成，各个视图可以由视图系统的可视控件绘制，各个视图由子视图组成，一个子视图对应视图中的一个小部件，例如，其中的一个子视图对应图片视图中的一个符号。
143.3、帧渲染：是将绘制后的视图进行着色操作或增加3d效果等。例如：3d效果可以是灯光效果、阴影效果和纹理效果等。
144.4、帧合成：是将多个上述一个或多个渲染后的视图合成为显示界面的过程。
145.5、离手滑动：是指在终端设备的界面在触摸滑动结束后，以离手后的初速度继续滑动显示。
146.示例性的，在设置、头条等应用，界面显示的是列表布局，在滑动界面的手指抬起
后，界面可以以离手后的初速度继续滑动一段时间。
147.可以理解的是，当界面包括列表控件时，界面显示的是列表布局，为列表界面。列表控件可以为listview，也可以为recyleview，本技术实施例对列表控件不做限定。
148.下面结合软件以及硬件对终端设备100的界面的显示过程进行说明。
149.需要说明的是，为了提高显示的流畅性，减少出现显示卡顿等现象，终端设备一般基于vsync信号进行显示，以对图像的绘制、渲染、合成和屏幕刷新显示等流程进行同步。
150.可以理解的是，vsync信号为周期性信号，vsync信号周期可以根据屏幕刷新率进行设置，例如，屏幕刷新率为60hz时，vsync信号周期可以为16.6ms，即终端设备每间隔16.6ms生成一个控制信号使vsync信号周期触发。
151.需要说明的是，vsync信号可以分为软件vsync信号和硬件vsync信号。软件vsync信号包括vsync-app和vsync-sf。vsync-app用于触发绘制渲染流程。vsync-sf用于触发合成流程。硬件vsync信号(vsync-hw)用于触发屏幕显示刷新流程。
152.通常情况下，软件vsync信号和硬件vsync信号保持周期同步。以60hz和120hz变化为例，若vsync-hw从60hz切换到120hz，vsync-app、vsync-sf同步变化，均从60hz切换到120hz。
153.示例性的，图3为可能的实现中一种终端设备界面显示处理流程的示意图。按照时间顺序，终端设备显示的内容依次对应于帧1、帧2、和帧3。
154.具体的，以帧1的显示为例，终端设备的应用通过应用程序框架层的视图系统，对帧1进行绘制渲染。帧1绘制渲染完成后，终端设备的应用将绘制渲染好的帧1图像数据发送至图像合成系统(例如，surface flinger)。图像合成系统对绘制渲染好的帧1进行合成。帧1完成合成后，终端设备可以通过调用内核层启动显示驱动，在屏幕(显示屏)显示帧1对应的内容。可以理解的是，终端设备的应用将绘制渲染后的图像数据发送至图像合成系统。上述绘制渲染好的帧1可以是指绘制渲染好的与帧1相对应的图像数据。
155.帧2和帧3类似于帧1的过程也进行合成和显示，此处不再赘述。图3中每帧从绘制到显示，滞后2个vsync信号周期，终端设备的显示具有滞后性。
156.需要说明的是，终端设备可能在系统负载大时，降低屏幕刷新率，以减少卡顿，或者在系统负载小时，升高屏幕刷新率，以增加显示的流畅性。
157.示例性的，图4为可能的实现中一种帧率切换对应的界面显示处理流程的示意图。按照时间顺序，终端设备显示的内容依次对应于帧0、帧1、帧2、帧3、帧4、帧5和帧6。
158.具体的，以帧2的显示为例，终端设备的应用通过应用程序框架层的视图系统，对帧2进行绘制渲染。帧2绘制渲染完成后，终端设备的应用将绘制渲染好的帧2发送至图像合成系统(例如，surface flinger)。图像合成系统对绘制渲染好的帧2进行合成。帧2完成合成后，终端设备可以通过调用内核层启动显示驱动，显示帧2对应的内容。帧3、帧4、帧5和帧6类似于帧2的过程也进行合成和显示，此处不再赘述。
159.在帧2绘制渲染时，终端设备的帧率控制系统决策切换帧率(例如，从120hz切换至60hz)，在帧3绘制渲染时，进行帧率切换，帧3绘制渲染对应的vsync信号周期时长改变，完成帧率切换。
160.需要说明的是，终端设备通过位移量确定图像的布局等。在一些滑动场景(例如离手滑动)中，图像的位移量与前一帧绘制渲染时对应的帧间隔(前一个vsync周期时长)相
关。具体的，以匀速滑动场景为例，绘制渲染时的当前图像(帧)的位移量是由上一帧帧间隔(当前帧vsync-app时间戳-上一帧vsync-app时间戳)，乘以当前帧的滑动速度得到的。示例性的，以图4中的帧3为例，帧3的位移量为帧2的帧间隔(vsync2的时间戳-vsync1的时间戳)乘以帧3的滑动速度得到的。
161.而终端设备图像显示的滑动速度是由当前帧位移与前一帧的位移差(当前帧的位移量)，除以前一帧显示时对应的帧间隔(前一帧的显示时长)得到。示例性的，以图4中的帧3为例，帧3的滑动速度为帧3的位移量除以帧2显示时对应的帧间隔(vsync4的时间戳-vsync3的时间戳)。
162.因此，当图像绘制渲染时对应的帧间隔与显示时对应的帧间隔一致时，该图像按照预设的滑动速度显示。若图像绘制渲染时对应的帧间隔与显示时对应的帧间隔不一致时，可能会出现显示的滑动速度跳变，进而导致显示画面卡顿、不流畅，用户体验差。
163.从图4中可以看出，图4中每帧从绘制到显示，滞后2个vsync信号周期。当屏幕刷新率发生切换时，帧2绘制渲染时对应的帧间隔与帧2显示时对应的帧间隔不一致，同样，帧3绘制渲染时对应的帧间隔与帧3显示时对应的帧间隔不一致。这可能会导致帧3和帧4显示时的滑动速度与预设的滑动速度不符，进而帧3和帧4的显示的滑动速度出现跳变。
164.下面结合图5和图6对图4中的流程涉及的位移量和滑动速度进行说明。
165.示例性的，以列表匀速滑动，屏幕刷新率从120hz切换至60hz，且滑动速度为每8.3毫秒(ms)移动1像素(pixel)为例。图5为可能的实现中一种界面显示处理流程的示意图。图5中按照时间顺序，终端设备显示的内容依次对应于帧0、帧1、帧2、帧3、帧4、帧5和帧6。
166.可以理解的是，位移量为上一帧的帧间隔(当前帧vsync-app时间戳-上一帧vsync-app时间戳)与当前帧的滑动速度之积。示例性的，图5中帧3的位移量为(8.3ms-0ms)
×
1pixel/8.3ms，即1pixel；同理，帧4的位移量为(24.9ms-8.3ms)
×
1pixel/8.3ms，即2pixel。
167.如图5所示，终端设备在帧2绘制渲染时，决策帧率切换。在8.3ms帧3开始绘制渲染时，还未完成帧率切换。因此，帧2的位移量和帧3的位移量均与切换前的屏幕刷新率(或者帧率切换前的vsync周期时长)相关，为1pixel。在24.9ms时，完成帧率切换。帧4的位移量、帧5的位移量和帧6的位移量均与切换后的屏幕刷新率(或者帧率切换后的vsync周期时长)相关，为2pixel。
168.从图5中可以看出，帧2在绘制渲染时对应的帧间隔为8.3ms-0ms，即8.3ms，帧2在显示时对应的帧间隔为41.5ms-24.9ms，即16.6ms，终端设备的显示节奏变慢，切换为帧3显示时的滑动速度降低。同理，切换为帧2显示时的滑动速度下降。帧3在绘制渲染时对应的帧间隔为24.9ms-8.3ms，即16.6ms，帧3在显示时对应的帧间隔为58.1ms-41.5ms，即16.6ms，帧3的显示节奏与绘制渲染节奏相同，切换为帧4的滑动速度不变。在120hz切换至60hz时，终端设备显示的滑动速度先降低后增加，导致用户感知到画面卡顿。
169.为方便理解，下面结合图6对图5的显示速度进行说明。
170.可以理解的是，用户在画面切换时，感知到速度变化。因此，滑动速度可以用当前帧位移与前一帧的位移之差(当前帧的位移量)，除以前一帧的显示时长表示。
171.示例性的，图6为图5中帧0、帧1、帧2、帧3、帧4、帧5和帧6对应的界面显示图。如图6所示，在列表界面中有一三角形。以显示屏(屏幕)绝对位置为0-18pixel为例。若帧0中三角
形位置在0处，帧1的位移量为1pixel，则帧1中，三角形位置在1pixel处。帧2的位移量和帧3的位移量均为1pixel。帧4的位移量、帧5的位移量和帧6的位移量均为2pixel。帧2、帧3、帧4、帧5和帧6中，三角形位置分别位于2pixel、3pixel、5pixel、7pixel、9pixel处。
172.结合图5，在8.3ms时，vsync信号到来，终端设备的显示界面从帧0变为帧1，三角形的位置从0移至1pixel，移动速度为1pixel/8.3ms，用户感知到的滑动速度为1pixel/(8.3ms-0ms)，即1pixel/8.3ms。在24.9ms时，vsync信号到来，终端设备的显示界面从帧1变为帧2，三角形的移动速度为1pixel/16.6ms，用户感知到的滑动速度为1pixel/(24.9ms-8.3ms)，即1pixel/16.6ms。
173.在41.5ms时，vsync信号到来，终端设备的显示界面从帧2变为帧3，三角形的移动速度为1pixel/16.6ms，用户感知到的滑动速度为1pixel/(41.5ms-24.9ms)，即1pixel/16.6ms。在58.1ms时，vsync信号到来，终端设备的显示界面从帧3变为帧4，三角形的移动速度为2pixel/16.6ms，用户感知到的滑动速度为2pixel/(58.1ms-41.5ms)，即2pixel/16.6ms。在74.7ms时，vsync信号到来，终端设备的显示界面从帧4变为帧5，三角形的移动速度为2pixel/16.6ms，用户感知到的滑动速度为1pixel/(74.7ms-58.1ms)，即2pixel/16.6ms。
174.图5中，滑动速度从1pixel/8.3ms变为1pixel/16.6ms再变为2pixel/16.6ms。滑动速度发生变化，使得用户感觉到卡顿，用户体验差。
175.综上，在滑动的过程中终端设备的屏幕刷新率改变，图像绘制渲染时对应的帧间隔可能大于或小于图像显示时对应的帧间隔，导致显示时滑动速度发生跳变(上升或下降)，导致画面卡顿。
176.有鉴于此，本技术实施例提供一种数据处理方法，当终端设备发生帧率切换时，先切换应用帧率，延迟切换合成帧率和屏幕刷新率。这样，可以图像显示时对应的帧间隔与该帧图像绘制渲染时对应的帧间隔一致，减少显示时滑动速度的跳变，进而减少卡顿现象，使得画面显示均匀流畅，提升用户体验。
177.下面结合附图对本技术实施例提供的应用场景进行说明。图7为本技术实施例提供的应用场景示意图。
178.终端设备可以在图7中的a所示的社交应用的界面，或在图7中的b所示的设置相关界面中，图7中的c所示的文档界面，图7中的d所示的商品浏览界面，等接收用户上滑操作或下滑操作。终端设备还可以在图7中的e所示的界面中，图7中的f所示的电子书界面，等接收到用户左滑操作或右滑动操作。当终端设备接收到用户的滑动操作时，终端设备基于滑动操作进行帧绘制、渲染、合成等过程，对滑动操作对应的内容进行显示。
179.需要说明的是，滑动操作对应的输入事件的类型可以分为按压(down)、移动(move)和抬起(up)。
180.一种可能的场景中，终端设备在检测到up事件后，基于up事件时的初速度继续滑动列表显示。当滑动速度降低至一定的速度阈值或者经过预设时间后，终端设备基于本技术实施例的方法将屏幕刷新率从高帧率切换为低帧率(例如，从120hz切换为60hz)。这样，可以通过降低屏幕刷新率降低终端设备的功耗，并减少降低屏幕刷新率时导致的卡顿现象。
181.可以理解的是，本技术实施例提供的数据处理方法还可以应用于其他与速度相关
的场景中，此处不做限定。此外，本技术实施例提供的方法可以应用于匀速场景，也可以应用于速度降低的场景，也可以应用于速度增加的场景。本技术实施例对于速度的变化不做限定。
182.为方便理解，下面结合图8和图9对本技术实施例提供的数据处理方法中涉及的各个模块之间交互的过程进行说明。
183.示例性的，图8为本技术实施例提供的数据处理方法中各个模块之间交互的过程示意图。
184.如图8所示，系统可以包括：应用、帧率控制系统、图像合成系统(surface flinger)、窗口管理器、硬件合成器和显示驱动。其中，应用包括应用主线程和应用渲染线程。图像合成系统包括vsync线程、缓存线程和合成线程。应用主线程也可以称为逻辑线程，或者称为ui线程。
185.以进入离手滑动后经过预设时间为例，
186.当触控面板接收到触摸操作时，内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸力度，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。内核层通过输入处理库将原始输入事件上报至应用程序框架层的输入管理器。应用程序框架层的输入管理器解析该原始输入事件的信息(包括：操作类型和报点位置等)和根据当前焦点确定焦点应用，并将解析后的原始输入事件的信息(例如，down事件、move事件和up事件等)发送至合成线程。
187.当终端设备以第二帧率显示时接收到滑动操作时，合成线程接受到输入管理器发送的down事件、move事件和up事件。合成线程接受到输入管理器发送的down事件时，向帧率控制系统发送用于指示切换屏幕刷新率的消息，消息中携带第一帧率。示例性的，第一帧率为120hz，第二帧率为60hz。
188.s801、合成线程在接受到up事件。
189.示例性的，合成线程接收到输入管理器发送的信息，该信息携带有up事件。
190.s802、预设时长后合成线程向帧率控制系统发送用于指示切换屏幕刷新率的消息，该消息中携带有第二帧率。
191.示例性的，图9为本技术实施例提供的一种显示流程示意图。如图9所示，若第一帧率为120hz，第二帧率为60hz。并且，图9中按照时间顺序，终端设备显示的内容依次对应于帧0、帧1、帧2、帧3、帧4、帧5和帧6。
192.图9中，0ms，vsync-app信号到来，应用主线程开始绘制渲染帧2。在0ms-8.3ms期间，终端设备检测到抬起事件并经过预设时长。合成线程向帧率控制系统发送用于指示切换屏幕刷新率的消息。
193.可以理解的是，预设时间可以为1s，也可以为3s。本技术实施例对于预设时长的具体取值不做限定。
194.可能的实现方式中，合成线程在接受到up事件，设置计时器，当计时器计时结束后，向帧率控制系统发送用于指示切换屏幕刷新率的消息。示例性的，计时器计时可以为3s。
195.s803、帧率控制系统在第一帧率与第二帧率的比值为整数时，增加第一标记。第一标记用于调整vsync-sf的偏移量。
196.示例性的，图9所示的流程中，帧率控制系统在第一帧率与第二帧率的比值为2，是整数时，增加第一标记。
197.s804、帧率控制系统向窗口管理器查询焦点窗口。适应性的，窗口管理器向帧率控制系统反馈焦点窗口对应的应用包名和焦点窗口图层。焦点窗口为终端设备前台运行的应用对应的窗口。
198.示例性的，图9所示的流程中，焦点窗口为输入事件对应的窗口。
199.可以理解的是，上述s803和s804可以同时执行，也可以不同时执行，本技术实施例对于s803和s804的先后顺序不做限定。
200.可能的实现方式中，帧率控制系统可以根据焦点窗口对应的应用包名确定焦点应用，进而确认焦点应用是否在预先存储的延迟切换应用名单中，若在延迟切换应用名单中执行后续s805-s830。若未在延迟切换应用名单中，应用帧率和屏幕刷新率同步切换。
201.s805、帧率控制系统根据焦点窗口向缓存线程查询焦点窗口对应的缓存队列中缓存数量；适应性的，缓存线程向帧率控制系统反馈缓存数量。
202.需要说明的是，缓存队列中的缓存包括下述一种或多种：已缓存的缓存(queued buffer)、正在渲染的缓存(dequeued buffer)、正在合成的缓存(acquired buffer)和未使用的缓存(free buffer)。
203.已缓存的缓存可以理解为存储有绘制渲染后的图像的缓存。正在渲染的缓存可以理解为用于存储应用正在绘制渲染的图像的缓存。正在合成的缓存可以理解为在合成线程进行合成的缓存。未使用的缓存可以理解为未存储图像的缓存。
204.示例性的，以缓存队列中全部的缓存的数量是20为例，在图9的10ms时，应用正在绘制渲染帧3，正在渲染的缓存为帧3，数量为1；缓存队列中没有已缓存的缓存，数量为0；合成线程在合成帧2，正在合成的缓存为帧2，数量为1；未使用的缓存的数量为20-1-0-1，即18。
205.在图9的16.5ms时，应用未进行绘制渲染，正在渲染的缓存的数量为0；已缓存的缓存为帧3，数量为1；合成线程未进行合成，正在合成的缓存的数量为0；未使用的缓存的数量为20-0-1-0，即19。
206.本技术实施例中，缓存数量是指已缓存的缓存(queued buffer)的数量和正在渲染的缓存(dequeued buffer)的数量之和。
207.示例性的，图9所示的流程中，帧2绘制渲染结束，已缓存的缓存数量为1和正在渲染的缓存的数量为0，缓存数量为1，缓存线程向帧率控制系统反馈缓存数量为1。
208.s806、帧率控制系统根据缓存数量确定屏幕刷新率切换为第二帧率较应用帧率切换为第二帧率的延迟时长m。m满足以下公式：m＝(缓存数量 1)*第一帧率对应的vsync周期。
209.当第一帧率与第二帧率的比值为整数时，延迟时长m＝(缓存数量 1)*第一帧率对应的vsync周期。当缓存数量为1时，延迟时长m为2*第一帧率对应的vsync周期。
210.示例性的，图9所示的流程中，帧率控制系统确定屏幕刷新率切换为第二帧率较应用帧率切换为第二帧率的延迟时长为2*8.3ms，即16.6ms。
211.可能的实现方式中，当第一帧率与第二帧率的比值为整数n，且(1 缓存数量)与n的比值不为整数时，帧率控制系统确认调整vsync-app的偏移量减少(1 缓存数量)-kn个第
一帧率对应的vsync周期时长。k为整数，(1 缓存数量)-kn为小于n的整数。
212.这样，可以减少后续通过vsync-hw校准vsync-app时出现卡顿等现象。
213.s807、帧率控制系统向vsync线程发送第一消息；第一消息用于指示应用帧率切换为第二帧率。
214.应用帧率是指应用绘制渲染对应的帧率。
215.可能的实现方式中，第一消息携带有第二帧率。示例性的，第二帧率为120hz。
216.s809、vsync线程在接收到第一消息后，存储第二帧率对应的vsync信号周期。
217.可以理解的是，vsync线程在接收到第一消息后，存储应用帧率对应的vsync信号周期为第二帧率对应的vsync周期。后续vsync-app信号按照第二帧率对应的节奏生成。
218.s810、帧率控制系统向vsync线程发送第一消息后休眠。
219.在终端设备执行上述s802-s809时或者在执行上述s802之前，终端设备可能还执行有s811。
220.s811、应用主线程向vsync线程发送vsync-app请求。
221.s812、vsync线程按照第一帧率对应的vsync信号周期生成vsync-app。
222.示例性的，图9中在0ms-8.3ms时，决策切换应用帧率。vsync线程按照120hz对应的vsync信号周期(8.3ms)生成vsync-app。在8.3ms时将该vsync-app信号发送至应用主线程。
223.s813、应用主线程在接收到vsync-app时，根据vsync-app的时间戳计算帧间隔。
224.具体的，应用主线程计算此次接收的vsync-app信号的时间戳与上一次接收的vsync-app信号的时间戳的差值，该差值为前一帧绘制渲染对应的帧间隔。
225.示例性的，图9中，此次接收的vsync-app信号的时间戳为8.3ms，上一次接收的vsync-app信号的时间戳为0ms。应用主线程计算帧3绘制渲染对应的帧间隔为8.3ms-0ms，即8.3ms。
226.s814、应用主线程计算位移量。
227.s815、应用主线程将当前帧的位移量发送至应用渲染线程，以唤醒应用渲染线程。
228.可能的实现方式中，位移量为帧间隔与速度的乘积。需要说明的是，应用主线程可以基于预先存储的速度曲线确定速度。示例性的，以图9中8.3ms的vsync-app信号，速度为1pixel/8.3ms为例，当前帧为帧3，帧3的位移量为帧2绘制渲染对应的帧间隔(8.3ms)与1pixel/8.3ms的乘积，即1pixel。应用主线程将当前帧的位移量(1pixel)发送至应用渲染线程。
229.可能的实现方式中，应用主线程不执行s813-s815。应用主线程将当前帧的速度、当前vsync-app时间戳和前一帧vsync-app的时间戳发送至应用渲染线程以唤醒应用渲染线程。示例性的，应用主线程将速度(1pixel/8.3ms)、当前帧的vsync-app时间戳(8.3ms)和前一帧vsync-app的时间戳(0ms)发送至应用渲染线程。
230.s816、应用渲染线程在接收到位移量或者vsync-app信号的时间戳后，被唤醒，开始绘制渲染图像。
231.可能的实现方式中，应用主线程在接收到位移量后，被唤醒，开始绘制渲染图像。
232.s817、应用渲染线程在被唤醒后，向缓存进程请求缓存，以存储绘制渲染后的图像。
233.适应性的，缓存线程在接收到应用渲染线程发送的请求缓存命令后，预留出存储
绘制渲染后图像的空间，并向应用渲染线程发送用于指示缓存出队的指令。
234.s818、应用渲染线程接收到用于指示缓存出队的指令后，根据位移量绘制渲染图像。
235.s819、应用渲染线程将绘制渲染后的图像发送至缓存线程(缓存入队)。
236.s820、缓存线程在接收到应用渲染线程发送的绘制渲染后的图像后，向帧率控制系统查询是否存在第一标识。
237.可以理解的是，当帧率控制系统存在第一标识时，终端设备执行s821；当帧率控制系统不存在第一标识时，终端设备执行s823。
238.示例性的，图9中，当缓存线程接收到绘制渲染好的帧3时，向帧率控制系统查询是否存在第一标识。此时，帧率控制系统中存在第一标识。
239.s821、当帧率控制系统中存在第一标识时，缓存线程向vsync线程查询应用帧率是否切换为第二帧率。
240.可以理解的是，当应用帧率未切换为第二帧率时，终端设备执行s823。
241.示例性的，图9中，缓存线程向vsync线程查询应用帧率是否切换为第二帧率。此时，应用帧率未完成切换。
242.s823、缓存线程向vsync线程请求vsync-sf信号。
243.s824、vsync线程按照第一帧率对应的vsync信号周期发送vsync-sf信号至合成线程。
244.示例性的，vsync线程在16.6ms发送vsync-sf信号至合成线程。
245.s825、合成线程接收到vsync-sf信号后，合成图像。
246.可能实现的方式中，合成线程接收到vsync-sf信号后，还可以向窗口管理器查询焦点应用。合成线程根据焦点应用在缓存线程中查询焦点应用对应的缓存队列，以确认需要合成的图像。
247.s826、合成线程将合成后的图像发送至硬件合成器。硬件合成器将合成后的图像发送至显示驱动以进行显示。
248.s827、显示驱动在vsync-hw信号到来后，显示该合成后的图像。
249.s828、帧率控制系统在m时长后，休眠结束。
250.可以理解的是，延迟时长与缓存数量相关，终端设备在执行s828时，应用帧率可能完成切换，应用帧率也可能未完成切换。
251.示例性的，图9所示的流程中，帧率控制系统休眠时长为16.6ms，s810后的16.6ms为16.6ms-24.9ms期间。因此在终端设备执行s828时，即结束休眠，应用帧率未完成切换。
252.示例性的，图11所示的流程中，帧率控制系统休眠时长为24.9ms，s810后的24.9ms为24.9ms-33.2ms期间。因此终端设备在执行s828时，即结束休眠时，应用帧率完成切换。
253.s829、帧率控制系统向vsync线程发送第二消息，第二消息用于指示合成帧率和屏幕刷新率均切换为第二帧率。
254.s830、vsync线程在接收到第二消息后，存储第二帧率对应的vsync信号周期。
255.可以理解的是，vsync线程在接收到第二消息后，存储合成帧率对应的vsync信号周期为第二帧率对应的vsync周期。后续vsync-sf信号按照第二帧率对应的节奏生成。
256.s831、vsync线程向硬件合成器发送第二帧率。
257.s832、硬件合成器接收到第二帧率后向显示驱动发送第二帧率。
258.s833、显示驱动驱动屏幕将屏幕刷新率切换为第二帧率。
259.可以理解的是，屏幕按照第二帧率对应的vsync周期产生vsync-hw信号。
260.示例性的，图9所示的流程中，在24.9ms生成vsync-hw信号，屏幕显示帧3。在24.9ms 16.6ms，即41.5ms时生成vsync-hw信号，屏幕显示帧4。
261.在上述s814后，应用主线程还执行有s834。
262.可以理解的是，终端设备可以同时执行绘制渲染、合成、显示等流程。示例性的，如图9所示，帧3绘制渲染时，合成帧2、显示帧1。
263.s834、应用主线程向vsync线程发送vsync-app请求。
264.s835、vsync线程按照第二帧率对应的vsync信号周期生成vsync-app，并将vsync-app发送至应用主线程。应用主线程在接收到vsync-app后，计算位移量，并通过应用渲染线程绘制渲染图像。在图像绘制渲染好后发送至缓存队列，等待合成。
265.可以理解的是，终端设备在执行s835时，帧率控制系统可能结束休眠，或者帧率控制系统可能未结束休眠。示例性的，图9所示的流程中，应用主线程在8.3ms-24.9ms期间向vsync线程发送vsync-app请求；vsync线程按照第二帧率对应的vsync信号周期(16.6ms)生成vsync-app，在8.3ms 16.6ms，即24.9ms时将vsync-app发送至应用主线程。
266.s836、缓存线程在接收到绘制渲染后的图像后，向帧率控制系统查询是否存在第一标识。
267.可以理解的是，当帧率控制系统存在第一标识时，终端设备执行s837；当帧率控制系统不存在第一标识时，终端设备执行s839。
268.示例性的，图9中，当缓存线程接收到绘制渲染好的帧4时，向帧率控制系统查询是否存在第一标识。此时，帧率控制系统中存在第一标识。
269.s837、当帧率控制系统中存在第一标识时，缓存线程向vsync线程查询应用帧率是否切换为第二帧率。
270.可以理解的是，当应用帧率未切换为第二帧率时，终端设备不执行s838。当应用帧率切换为第二帧率时，终端设备执行s838和s839。
271.示例性的，图9中，当缓存线程接收到绘制渲染好的帧4且帧率控制系统中存在第一标识时，vsync线程查询应用帧率是否切换为第二帧率。此时，应用帧率切换为第二帧率。
272.s838、缓存线程向vsync线程发送用于指示调整vsync-sf信号的偏移量的指令。
273.可能的实现方式中，调整vsync-sf信号的偏移量的指令中携带有vsync-sf信号的偏移量。示例性的，偏移量可以为1个第一帧率对应的vsync信号周期。本技术实施例中，vsync信号周期可以指vsync信号周期对应的时长。
274.s839、缓存线程向vsync线程请求vsync-sf信号。
275.s840、vsync线程提前1个第一帧率对应的vsync信号周期，生成vsync-sf信号，并将vsync-sf信号发送至合成线程。
276.合成线程在接收到vsync-sf信号后，合成图像，并将合成后的图像经硬件合成器发送至显示驱动。显示驱动驱动屏幕显示图像。
277.示例性的，图9中，16.6-24.9ms器件，由于缓存线程未向vsync线程请求vsync-sf信号，在24.9ms时，不生成vsync-sf信号。在帧4绘制渲染结束后，终端设备执行s838和
s839。vsync线程提前1个第一帧率对应的vsync信号周期(8.3ms)生成vsync-sf信号。具体的，vsync线程在41.5ms-8.3ms，即33.2ms时，生成vsync-sf信号，合成线程在33.2ms时合成帧4。在41.5ms时，显示帧4。
278.可以理解的是，在应用接收到s835中的vsync-app后，应用可能继续向vsync线程发送vsync-app请求。vsync线程按照第二帧率对应的vsync信号周期生成vsync-app，并将vsync-app发送至应用主线程。
279.可能的实现方式中，图像合成系统将第二消息后将按照第一帧率生成的vsync-sf信号取消，根据第二帧率生成的vsync-sf信号合成绘制渲染后的图像。
280.示例性的，如图11所示，帧4在24.9ms开始绘制渲染，当帧4绘制渲染结束时，渲染线程将绘制渲染好的帧4发送至缓存线程中相应的缓存队列；缓存线程在接收到绘制渲染好的帧4后，向帧率控制系统查询存在第一标识，并且缓存线程向vsync线程查询应用帧率切换为第二帧率。缓存线程向vsync线程发送用于调整vsync-sf偏移量的消息，并请求vsync-sf信号。
281.vsync线程在24.9-33.2ms期间接收到第二消息。vsync线程将第二消息后的按照第一帧率生成的vsync-sf信号取消，即将33.2ms的vsync-sf信号取消；vsync线程根据第二帧率生成的vsync-sf信号，即vsync线程在41.5ms时，生成vsync-sf信号。合成线程在41.5ms时开始合成帧4。
282.上述图8所示的流程中，终端设备通过调节vsync-sf的偏移量，进一步的减少终端设备的卡顿现象。可能的实现方式中，终端设备还可以通过将合成线程设置为立即合成的方式，进一步的减少终端设备的卡顿现象。
283.示例性的，图8中的第一标识可以替换为第二标识，第二标识用于指示立即合成。此外，当缓存线程查询到帧率控制系统存在第二标识，且应用帧率切换为第二帧率时，缓存线程通知合成线程立即合成，合成线程合成绘制渲染后的图像。将合成线程设置为立即合成的方式与上述图8所示的流程类似。此处不再详细赘述。
284.可能的实现方式中，当缓存线程查询到帧率控制系统存在第二标识，且应用帧率切换为第二帧率时，缓存线程可以不向vsync线程请求vsync-sf信号。
285.下面通过具体的实施例对本技术实施例的数据处理方法进行详细说明。下面的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
286.图10为本技术实施例提供一种数据处理方法的流程示意图。如图10所示，方法可以包括：
287.s1001、确定第一帧率为第二帧率的整数倍。
288.具体的，帧率控制系统确定第一帧率为第二帧率的整数倍。
289.本技术实施例中，第一帧率为屏幕刷新率切换前的帧率；第二帧率为屏幕刷新率切换后的帧率。
290.可以理解的是，第一帧率与第二帧率的比值为整数。示例性的，第一帧率可以为120hz，第二帧率可以为60hz；第一帧率可以为120hz，第二帧率可以为40hz。此处不做限定。
291.s1002、查询缓存队列中缓存数量。
292.具体的，帧率控制系统查询缓存队列中缓存数量。缓存数量是指已缓存的缓存(queued buffer)和正在渲染的缓存(dequeued buffer)的数量之和。
293.可能的实现方式中，查询焦点窗口，基于焦点窗口对应的应用包名查询焦点窗口对应的缓存队列中缓存数量。示例性的，帧率控制系统从窗口管理器获取焦点应用。根据焦点应用查询图像合成系统中焦点应用对应的缓存队列，进而确认相应缓存队列中的缓存数量。
294.这样，可以确定每帧图像从绘制渲染至显示相差几个vsync周期，方便后续确定屏幕刷新率切换的延迟时间。
295.s1003、基于缓存数量确定屏幕刷新率切换为第二帧率较应用帧率切换为第二帧率的延迟时长。
296.具体的，帧率控制系统基于缓存数量确定屏幕刷新率切换为第二帧率较应用帧率切换为第二帧率的延迟时长。
297.本技术实施例中，延迟时长可以为第一时长与第二时长之和。第一时长为帧率控制系统在接收到合成线程发送的携带有第二帧率的消息后的第一个vsync-hw时间，与帧率控制系统在接收到合成线程发送的携带有第二帧率的消息的时间之差。
298.第二时长在(缓存数量*第一帧率对应的vsync周期时长)与(缓存数量 1)*第一帧率对应的vsync周期时长之间。
299.可能的实现方式中，延迟时长满足：(缓存数量 1)*第一帧率对应的vsync周期时长。
300.可以理解的是，终端设备中每帧图像从绘制渲染至显示该帧图像时相差2个vsync周期。当缓存队列中每增加一个缓存堆积时，每帧图像从绘制渲染至显示该帧图像时相差的vsync周期数目增加1。
301.将屏幕刷新率延后(缓存数量 1)*第一帧率对应的vsync周期时长切换，可以使得图像在绘制渲染时的节奏与该帧图像在显示时的节奏一致，使得图像显示时速度与预期的速度一致，从而减少跳变现象，减少卡顿。
302.s1004、将应用帧率切换为第二帧率。
303.具体的，帧率控制系统控制图像合成系统将应用帧率切换为第二帧率。
304.可以理解的是，应用帧率通过vsync-app信号控制。通过控制相邻vsync-app信号的时间间隔，实现应用帧率切换为第二帧率。相邻的时间间隔变为第二帧率对应的vsync周期时长。
305.s1005、延迟时长后，将屏幕刷新率切换为第二帧率。
306.具体的，帧率控制系统在延迟时长后，经图像合成系统控制显示驱动将屏幕刷新率切换为第二帧率。
307.可以理解的是，屏幕刷新率通过vsync-hw信号控制。通过控制相邻vsync-hw信号的时间间隔，实现屏幕刷新率切换为第二帧率。相邻的时间间隔变为第二帧率对应的vsync周期时长。
308.可能的实现方式中，合成帧率的切换时间与屏幕刷新率的切换时间一致。
309.可以理解的是，合成帧率通过vsync-sf信号控制。通过控制相邻vsync-sf信号的时间间隔，实现合成帧率切换为第二帧率。相邻的时间间隔变为第二帧率对应的vsync周期时长。
310.综上，在帧率切换时，先切换应用帧率，再切换屏幕刷新率，使得第m帧和第m-1帧
之间的显示间隔与绘制渲染间隔一致，进而图像的显示节奏与绘制渲染节奏一致，进而减少显示间隔与绘制渲染间隔不一致导致的滑动速度发生跳变，减少卡顿，增加用户体验。
311.在应用帧率切换为第二帧率后，终端设备还执行有s1006或s1007。
312.s1006、在应用帧率切换为第二帧率后，调整vsync-sf的偏移量。
313.具体的，帧率控制系统控制图像合成系统调整vsync-sf的偏移量。这样，可以使得图像合成系统可以及时合成图像，并在vsync-hw到来时可以送显，减少无帧送显的情况。
314.可能的实现方式中，调整vsync-sf的偏移量增加1个第一帧率对应的周期时长。
315.需要说明的是，偏移量为正数时，vsync-sf相对vsync-hw增加一个偏移量(offset)，即vsync-sf时间戳值＝vsync-hw时间戳值-偏移量(offset)。也可以理解为，vsync-sf相比较于vsync-hw向前移动偏移量(offset)。调整vsync-sf的偏移量增加1个第一帧率对应的周期时长，即调整vsync-sf向前移动1个第一帧率对应的周期时长。
316.可能的实现方式中，帧率控制系统在第一帧率与第二帧率的比值为整数时，添加第一标识，第一标识用于调整vsync-sf偏移量。当图像合成系统查询到帧率控制系统存在第一标识且应用帧率切换完成时，调整vsync-sf偏移量。
317.可能的实现方式中，帧率控制系统在第一帧率与第二帧率的比值为整数时，添加第一标识，第一标识用于调整vsync-sf偏移量。当图像合成系统查询到帧率控制系统存在第一标识时，提前偏移量对应的时间以第二帧率生成vsync-sf信号。
318.可以理解的是，图像合成系统可以在接收到绘制渲染后的图像时，向帧率控制系统查询是否存在第一标识；或者，图像合成系统可以接收到帧率控制系统发送的第一标识，并在应用帧率切换完成时，调整vsync-sf偏移量。
319.可能的实现方式中，在将屏幕刷新率切换为第二帧率时，将按照第一帧率对应的vsync-sf信号取消。
320.下面结合不同的缓存数量对s1001-s1006进行说明。
321.下面结合图9和图11对本技术实施例提供的第二帧率小于第一帧率，且第一帧率和第二帧率的比值为2时的显示流程进行说明。
322.示例性的，图9为本技术实施例提供的一种界面显示处理流程的示意图。以列表匀速滑动的场景中，屏幕刷新率从120hz切换至60hz，且滑动速度为2pixel/16.6ms为例。图9中按照时间顺序，终端设备显示的内容依次对应于帧0、帧1、帧2、帧3、帧4、帧5和帧6。
323.如图16所示，终端设备在帧2绘制渲染时，决策应用帧率切换。切换后，vsync-app信号的间隔变为第二帧率对应的vsync周期(16.6ms)。在0ms-8.3ms期间，决策应用帧率切换时，缓存数量为1。在(1 1)*8.3，即16.6ms后决策屏幕刷新率切换。因此，在16.6ms-24.9ms期间，决策屏幕刷新率切换，切换后，vsync-hw信号的间隔变为第二帧率对应的vsync周期(16.6ms)。此外，在应用帧率切换后，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期，即向前移动第一帧率对应的vsync周期。
324.如图9所示，决策应用帧率切换后的vsync-app的生成时间分别为8.3ms、24.9ms、41.5ms和58.1ms。在8.3ms帧3开始绘制渲染时，由于应用帧率未完成帧率切换。因此，帧2的位移量和帧3的位移量均与切换前的应用帧率(第一帧率)相关，为1pixel。在41.5ms时，应用帧率完成帧率切换。帧4的位移量、帧5的位移量和帧6的位移量均与切换后的应用帧率(第二帧率)相关，为2pixel。
325.在16.6ms-24.9ms期间，决策屏幕刷新率切换。决策屏幕刷新率切换后的vsync-hw生成时间分别为24.9ms、41.5ms和58.1ms。屏幕刷新率在24.9ms时未完成帧率切换，24.9ms时的滑动速度计算与切换前的屏幕刷新率(第一帧率)相关。屏幕刷新率在41.5ms时完成帧率切换，41.5ms的滑动速度计算与切换后的屏幕刷新率(第二帧率)相关。
326.在24.9ms后，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期。vsync-sf信号生成时间分别为41.5ms减8.3ms、58.1ms减8.3ms和74.7ms减8.3ms，即33.2ms、49.8ms和66.4ms。
327.可以理解的是，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期，可以减少没有图像送显导致的卡顿。以帧4为例，vsync-sf的生成时间前移8.3ms，使得在41.5ms时可以送显帧4，进而屏幕更新帧4。如果未调整offset，则41.5ms屏幕没有图像送显，屏幕丢帧，出现卡顿。
328.图9中，8.3ms时，终端设备的显示界面从帧0变为帧1，滑动速度为1pixel/8.3ms。在16.6ms时，终端设备的显示界面从帧1变为帧2，滑动速度为1pixel/8.3ms。在24.9ms时，终端设备的显示界面从帧2变为帧3，滑动速度为1pixel/8.3ms。在41.5ms时，终端设备的显示界面从帧3变为帧4，滑动速度为2pixel/16.6ms。在58.1ms时，终端设备的显示界面从帧4变为帧5，滑动速度为2pixel/16.6ms。在74.7ms时，终端设备的显示界面从帧5变为帧6，滑动速度为2pixel/16.6ms。在画面切换时，速度一致，画面显示流畅没有卡顿。
329.示例性的，图11为本技术实施例提供的一种界面显示处理流程的示意图。以列表匀速滑动的场景中，屏幕刷新率从120hz切换至60hz，且滑动速度为2pixel/16.6ms为例。图11中按照时间顺序，终端设备显示的内容依次对应于帧0、帧1、帧2、帧3、帧4、帧5和帧6。
330.如图11所示，终端设备在帧2绘制渲染时，决策应用帧率切换。切换后，vsync-app信号的间隔变为第二帧率对应的vsync周期(16.6ms)。在0ms-8.3ms期间，决策应用帧率切换时，缓存数量为2。在(2 1)*8.3，即24.9ms后决策屏幕刷新率切换。因此，在24.9ms-33.2ms期间，决策屏幕刷新率切换。切换后，vsync-hw信号的间隔变为第二帧率对应的vsync周期(16.6ms)。此外，在应用帧率切换后，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期，即向前移动第一帧率对应的vsync周期。在决策屏幕刷新率切换后，将按照第一帧率对应的vsync-sf信号取消。
331.决策应用帧率切换后的生成vsync-app的生成时间分别为8.3ms、24.9ms、41.5ms和58.1ms。在8.3ms帧3开始绘制渲染时，由于应用帧率未完成帧率切换。因此，帧2的位移量和帧3的位移量均与切换前的应用帧率(第一帧率)相关，为1pixel。在41.5ms时，应用帧率完成帧率切换。帧4的位移量、帧5的位移量和帧6的位移量均与切换后的应用帧率(第二帧率)相关，为2pixel。
332.在24.9ms-33.2ms期间，决策屏幕刷新率切换。决策屏幕刷新率切换后的vsync-hw生成时间分别为33.2ms、49.8ms、66.4ms和83ms。屏幕刷新率在33.2ms时未完成帧率切换，33.2ms时的滑动速度计算与切换前的屏幕刷新率(第一帧率)相关。屏幕刷新率在49.8ms时完成帧率切换，49.8ms的滑动速度计算与切换后的屏幕刷新率(第二帧率)相关。
333.在24.9ms后，将按照第一帧率对应的vsync-sf信号取消，并调整vsync-sf信号偏移量增加第一帧率对应的vsync周期。vsync-sf信号生成时间分别为49.8ms减8.3ms、66.4ms减8.3ms和83ms减8.3ms，即41.5ms、58.1ms和74.7ms。
334.图11中，8.3ms时，终端设备的显示界面从帧-1变为帧0，滑动速度为1pixel/8.3ms。在16.6ms时，终端设备的显示界面从帧0变为帧1，滑动速度为1pixel/8.3ms。在24.9ms时，终端设备的显示界面从帧1变为帧2，滑动速度为1pixel/8.3ms。在33.2ms时，终端设备的显示界面从帧1变为帧2，滑动速度为1pixel/8.3ms。在49.8ms时，终端设备的显示界面从帧3变为帧4，滑动速度为2pixel/16.6ms。在66.4ms时，终端设备的显示界面从帧4变为帧5，滑动速度为2pixel/16.6ms。在83ms时，终端设备的显示界面从帧5变为帧6，滑动速度为2pixel/16.6ms。在画面切换时，速度一致，画面显示流畅没有卡顿。
335.下面结合图12和图13对本技术实施例提供的第二帧率小于第一帧率，且第一帧率和第二帧率的比值为3时的显示流程进行说明。
336.示例性的，图12为本技术实施例提供的一种界面显示处理流程的示意图。以列表匀速滑动的场景中，屏幕刷新率从120hz切换至40hz，且滑动速度为1pixel/8.3ms为例。图12中按照时间顺序，终端设备显示的内容依次对应于帧0、帧1、帧2、帧3、帧4和帧5。
337.如图12所示，终端设备在帧2绘制渲染时，决策应用帧率切换。切换后，vsync-app信号的间隔变为第二帧率对应的vsync周期(24.9ms)。在0ms-8.3ms期间，决策应用帧率切换时，缓存数量为1。在(1 1)*8.3，即16.6ms后决策屏幕刷新率切换。因此在16.6ms-24.9ms期间，决策屏幕刷新率切换。此外，在应用帧率切换后，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期，即向前移动第一帧率对应的vsync周期。
338.决策应用帧率切换后的vsync-app的生成时间分别为8.3ms、33.2ms、58.1ms和83ms。在8.3ms帧3开始绘制渲染时，由于应用帧率未完成帧率切换。因此，帧2的位移量和帧3的位移量均与切换前的应用帧率(第一帧率)相关，为1pixel。在33.2ms时，应用帧率完成帧率切换。帧4的位移量和帧5的位移量均与切换后的应用帧率(第二帧率)相关，为3pixel。在16.6ms-24.9ms期间，决策屏幕刷新率切换。
339.决策屏幕刷新率切换后的vsync-hw的生成时间分别为24.9ms、49.8ms和74.7ms。屏幕刷新率在24.9ms时未完成帧率切换，24.9ms时的滑动速度计算与切换前的屏幕刷新率(第一帧率)相关。屏幕刷新率在49.8ms时完成帧率切换，49.8ms的滑动速度计算与切换后的屏幕刷新率(第二帧率)相关。
340.在33.2ms后，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期。vsync-sf信号生成时间分别为49.8ms减8.3ms、和74.7ms减8.3ms，即41.5ms和66.4ms。
341.可以理解的是，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期，可以减少无帧送显导致的卡顿现象。以帧4为例，vsync-sf的生成时间戳49.8ms变为41.5ms，使得在49.8ms时可以送显帧4，屏幕更新帧4。如果未调整offset，则49.8ms屏幕没有图像送显，屏幕丢帧，出现卡顿。
342.图12中，8.3ms时，终端设备的显示界面从帧0变为帧1，滑动速度为1pixel/8.3ms。在16.6ms时，终端设备的显示界面从帧1变为帧2，滑动速度为1pixel/8.3ms。在24.9ms时，终端设备的显示界面从帧2变为帧3，滑动速度为1pixel/8.3ms。在49.8ms时，终端设备的显示界面从帧3变为帧4，滑动速度为3pixel/24.9ms。在74.7ms时，终端设备的显示界面从帧4变为帧5，滑动速度为3pixel/24.9ms。在画面切换时，速度一致，画面显示流畅没有卡顿。
343.示例性的，图13为本技术实施例提供的一种界面显示处理流程的示意图。以列表匀速滑动的场景中，屏幕刷新率从120hz切换至40hz，且滑动速度为1pixel/8.3ms为例。图
13中按照时间顺序，终端设备显示的内容依次对应于帧-1、帧0、帧1、帧2、帧3、帧4和帧5。
344.如图13所示，终端设备在帧2绘制渲染时，决策应用帧率切换。切换后，vsync-app信号的间隔变为第二帧率对应的vsync周期(24.9ms)。在0ms-8.3ms期间，决策应用帧率切换时，缓存数量为2。在(2 1)*8.3，即24.9ms后决策屏幕刷新率切换。因此在24.9ms-33.2ms期间，决策屏幕刷新率切换，并调整vsync-sf的偏移量增加1个第一帧率对应的vsync周期时长(8.3ms)。此外，在应用帧率切换后，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期，即向前移动第一帧率对应的vsync周期。
345.决策应用帧率切换后的vsync-app的生成时间分别为8.3ms、33.2ms、58.1ms和83ms。在8.3ms帧3开始绘制渲染时，由于应用帧率未完成帧率切换。因此，帧2的位移量和帧3的位移量均与切换前的应用帧率(第一帧率)相关，为1pixel。在33.2ms时，应用帧率完成帧率切换。帧4的位移量和帧5的位移量均与切换后的应用帧率(第二帧率)相关，为3pixel。在24.9ms-33.2ms期间，决策屏幕刷新率切换。决策屏幕刷新率切换后的vsync-hw的生成时间分别为33.2ms、58.1ms和83ms。屏幕刷新率在33.2ms时未完成帧率切换，33.2ms时的滑动速度计算与切换前的屏幕刷新率(第一帧率)相关。屏幕刷新率在58.1ms时完成帧率切换，58.1ms的滑动速度计算与切换后的屏幕刷新率(第二帧率)相关。
346.在33.2ms后，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期。vsync-sf信号生成时间分别为58.1ms减8.3ms、和83ms减8.3ms，即49.8ms和74.7ms。
347.可以理解的是，调整vsync-sf信号偏移量增加第一帧率对应的vsync周期，可以减少无帧送显导致的卡顿现象。以帧4为例，vsync-sf的生成时间戳49.8ms变为41.5ms，使得在49.8ms时可以送显帧4，屏幕更新帧4。如果未调整offset，则49.8ms屏幕没有图像送显，屏幕丢帧，出现卡顿。
348.图13中，8.3ms时，终端设备的显示界面从帧-1变为帧0，滑动速度为1pixel/8.3ms。在16.6ms时，终端设备的显示界面从帧0变为帧1，滑动速度为1pixel/8.3ms。在24.9ms时，终端设备的显示界面从帧1变为帧2，滑动速度为1pixel/8.3ms。在33.2ms时，终端设备的显示界面从帧2变为帧3，滑动速度为1pixel/8.3ms。在58.1ms时，终端设备的显示界面从帧3变为帧4，滑动速度为3pixel/24.9ms。在83ms时，终端设备的显示界面从帧4变为帧5，滑动速度为3pixel/24.9ms。在画面切换时，速度一致，画面显示流畅没有卡顿。
349.s1007、在应用帧率切换为第二帧率后，设置合成线程立即合成。
350.具体的，帧率控制系统控制图像合成系统设置合成线程立即合成。这样，可以及时合成图像，减少终端设备无帧送显的情况。
351.本技术实施例中，设置合成线程立即合成可以理解为，终端设备在缓存线程接收到绘制渲染后的图像后，调用合成线程对绘制渲染后的图像进行合成。也可以理解为，终端设备调整为单帧模式。
352.可能的实现方式中，终端设备取消vsync-sf信号。可以理解的是，图像的合成触发条件改变，终端设备可以取消vsync-sf信号。
353.可能的实现方式中，帧率控制系统在第一帧率与第二帧率的比值为整数时，添加第二标识，第二标识用于指示立即合成。当图像合成系统查询到帧率控制系统存在第二标识且应用帧率切换完成时，调整vsync-sf偏移量。
354.可以理解的是，图像合成系统可以在接收到绘制渲染后的图像时，向帧率控制系
sf信号。
364.如图15所示，在24.9ms时，已缓存的缓存数量为0，合成线程不进行合成；当帧4绘制渲染结束后，合成线程合成帧4。在41.5ms时，已缓存的缓存数量为0，合成线程不进行合成；当帧5绘制渲染结束后，合成线程合成帧5。在58.1ms时，已缓存的缓存数量为0，合成线程不进行合成；当帧6绘制渲染结束后，合成线程合成帧6。
365.决策应用帧率切换后的vsync-app的生成时间分别为8.3ms、24.9ms、41.5ms和58.1ms。在8.3ms帧3开始绘制渲染时，由于应用帧率未完成帧率切换。因此，帧2的位移量和帧3的位移量均与切换前的应用帧率(第一帧率)相关，为1pixel。在41.5ms时，应用帧率完成帧率切换。帧4的位移量、帧5的位移量和帧6的位移量均与切换后的应用帧率(第二帧率)相关，为2pixel。
366.在24.9ms-33.2ms期间，决策屏幕刷新率切换。决策屏幕刷新率切换后的vsync-hw的生成时间分别为33.2ms、49.8ms、66.4ms和83ms。屏幕刷新率在33.2ms时未完成帧率切换，33.2ms时的滑动速度计算与切换前的屏幕刷新率(第一帧率)相关。屏幕刷新率在49.8ms时完成帧率切换，49.8ms的滑动速度计算与切换后的屏幕刷新率(第二帧率)相关。
367.图15中，8.3ms时，终端设备的显示界面从帧-1变为帧0，滑动速度为1pixel/8.3ms。在16.6ms时，终端设备的显示界面从帧0变为帧1，滑动速度为1pixel/8.3ms。在24.9ms时，终端设备的显示界面从帧1变为帧2，滑动速度为1pixel/8.3ms。在33.2ms时，终端设备的显示界面从帧1变为帧2，滑动速度为1pixel/8.3ms。在49.8ms时，终端设备的显示界面从帧3变为帧4，滑动速度为2pixel/16.6ms。在66.4ms时，终端设备的显示界面从帧4变为帧5，滑动速度为2pixel/16.6ms。在83ms时，终端设备的显示界面从帧5变为帧6，滑动速度为2pixel/16.6ms。在画面切换时，速度一致，画面显示流畅没有卡顿。
368.需要说明的是，vsync-app由软件定时器实现，在屏幕刷新率切换完成之后，终端设备会通过vsync-hw时间戳校准vsync-app，以增加vsync-app的准确度。在上述实施例的基础上，在帧率控制系统决策切换屏幕刷新率时，还设置有校准时vsync-app的偏移量(offset)。这样，可以减少后续基于vsync-hw校准vsync-app时出现的的卡顿等现象。
369.可能的实现方式中，(1 缓存数量)不为n的整倍数时，设置vsync-app的偏移量(offset)减少(1 缓存数量)-kn个第一帧率对应的vsync周期时长，(1 缓存数量)-kn小于n，k为整数。
370.示例性的，如图11所示或如图15所示，在24.9ms-33.2ms期间，决策屏幕刷新率切换。并且设置vsync-app的偏移量增加(2 1)-1*2个第一帧率对应的vsync周期时长，即8.3ms。具体的，vsync-hw信号的生成时间为66.4ms，vsync-app信号的生成时间较vsync-hw信号的生成时间向前移动8.3ms，为41.5ms。
371.这样，在校准vsync-app时，vsync-app的间隔不变，可以减少后续基于vsync-hw校准vsync-app时，vsync-app的间隔改变，进而出现卡顿等现象。
372.上面已对本技术实施例的数据处理方法进行了说明，下面对本技术实施例提供的执行上述数据处理方法的终端设备进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本技术实施例提供的终端设备可以执行上述数据处理方法中的步骤。
373.如图16所示，图16示出了本技术实施例提供的一种数据处理装置的结构示意图。该数据处理装置可以是本技术实施例中的终端设备。该数据处理装置包括：显示屏1801，显
示屏用于显示图像；一个或多个处理器1802；存储器1803；多个应用程序；以及一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器1803中，一个或多个计算机程序包括指令，当指令被数据处理装置执行时，使得数据处理装置执行上述数据处理方法中的步骤。
374.图17为本技术实施例提供的一种数据处理装置的硬件结构示意图。请参见图17，该装置包括：存储器1901、处理器1902和接口电路1903。该装置还可以包括显示屏1904，其中，存储器1901、处理器1902、接口电路1903和显示屏1904可以通信；示例性的，存储器1901、处理器1902、接口电路1903和显示屏1904可以通过通信总线通信，存储器1901用于存储计算机执行指令，由处理器1902来控制执行，并由接口电路1903来执行通信，从而实现本技术实施例提供的数据处理方法。
375.可选的，接口电路1903还可以包括发送器和/或接收器。可选的，上述处理器1902可以包括一个或多个cpu，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
376.可能的实现方式中，本技术实施例中的计算机执行指令也可以称之为应用程序代码，本技术实施例对此不作具体限定。
377.本技术实施例提供的数据处理装置，用于执行上述实施例的数据处理方法，技术原理和技术效果相似，此处不再赘述。
378.本技术实施例提供一种终端设备，结构参见图1。终端设备的存储器可用于存储至少一个程序指令，处理器用于执行至少一个程序指令，以实现上述方法实施例的技术方案。其实现原理和技术效果与上述方法相关实施例类似，此处不再赘述。
379.本技术实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
380.本技术实施例提供一种计算机程序产品，当计算机程序产品在电子设备运行时，使得终端设备执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
381.本技术实施例提供一种计算机可读存储介质，其上存储有程序指令，程序指令被终端设备执行时，使得终端设备执行上述实施例的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
382.本技术实施例是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
383.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。