渲染的方法、装置与流程

1.本技术实施例涉及云计算领域，尤其是涉及云游戏场景下的一种渲染的方法。


背景技术：

2.云游戏是以云计算为基础的游戏方式，依托于网络传输，在客户端即点即玩，感受不到下载和安装过程。5g具有高带宽、低时延的特性，有望突破云游戏带宽不够限制画面质量、延迟高无法满足即时游戏的需求的瓶颈，因此5g时代必定会推动云游戏蓬勃发展。典型的云游戏技术实现方案包括视频云游戏和指令云游戏。
3.1)视频云游戏
4.云端服务器接受终端设备的操作指令，由服务器的中央处理器(central processing unit，cpu)、(graphics processing unit，gpu)来完成计算，然后以视频流的方式通过网络传送到终端(包括笔记本电脑、平板电脑、手机等)进行显示。在视频云游戏场景下，玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。
5.2)指令云游戏
6.所有逻辑通过云端服务器运算，形成开放图形库(open graphics library，opengl)或者web图形库(web graphics library，webgl)的渲染指令，再通过网络传输到终端设备，由终端设备将指令流进行解析、执行，充分利用了终端设备的gpu能力。对于指令云游戏，在相同画质情况下，较视频云游戏方案网络带宽开销小、成本低廉，不需要云端服务器gpu等渲染开销；但是指令云游戏方案在网络较差的情况下可用性低。
7.图1展示了指令云游戏场景下，网络不抖动时的流程，即服务器接收来自终端的操作指令，并由cpu执行应用程序的逻辑，生成包括资源加载、渲染管线执行和显示的渲染指令流，发送给终端，终端接收渲染指令流，由gpu执行渲染指令流并显示应用程序对应的图像。
8.图2展示了网络抖动期间渲染指令流的延时积累情况。当网络抖动时，积累的渲染指令流的数据量随抖动时长线性增长。当网络抖动恢复后，服务端将会把网络抖动期间积累的渲染指令流一次性发送给终端，终端按顺序执行渲染指令流。终端执行完网络抖动期间积累的渲染指令流后才能继续执行抖动恢复后的渲染指令流。由此造成了渲染指令流的传输和处理时延大、从而导致终端渲染时间长，无法及时把最新帧的渲染结果展示给用户，用户感知延迟大。因此，如何减少渲染指令流的传输和处理时延、提升用户体验成为亟待解决的问题。


技术实现要素：

9.本技术提供了一种渲染的方法和装置，应用于云计算领域，解决指令云游戏场景下的如下问题：
10.在网络抖动情况下，减少渲染指令流的传输和处理时延、提升用户体验。
11.第一方面，本技术实施例提供一种渲染的方法，该方法应用于服务器，包括：在网络发生网络抖动前，所述服务器通过所述网络陆续从电子设备接收操作指令，并根据所述操作指令生成多个第一渲染指令流，并将所述多个第一渲染指令流发送给所述电子设备；以及针对所述多个第一渲染指令流中的一个或多个第一渲染指令流，所述服务器生成并保存一个或多个第一渲染上下文，其中，所述第一渲染上下文与所述一个或多个第一渲染指令流一一对应，所述第一渲染上下文中包含了对应的第一渲染指令流或用于恢复所述对应的第一渲染指令流的信息；在发生网络抖动时，所述服务器继续根据已接收到的操作指令生成第二渲染指令流，并根据所述第二渲染指令流生成并保存第二渲染上下文，其中，所述第二渲染上下文中包含了所述第二渲染指令流或用于恢复所述第二渲染指令流的信息，所述第二渲染指令流为所述网络抖动恢复前最近一次生成的渲染指令流；在所述网络抖动恢复后，所述服务器向所述电子设备发送渲染上下文差的集合，所述渲染上下文差的集合中包括一个或多个渲染上下文差，其中，一个渲染上下文差为所述第二渲染上下文和一个所述第一渲染上下文的差，所述渲染上下文差的集合被所述电子设备用来得到所述第二渲染指令流。
12.本技术可以适用于通过指令流方案实现分离渲染的场景，即服务器通过网络从电子设备接收操作指令，并根据操作指令生成渲染指令流，将这些渲染指令流发送至与服务器连接的电子设备，由接收到渲染指令流的电子设备进行图形渲染。但是发生网络抖动时，由于渲染指令流发送不了会出现大量渲染指令流累积的问题。在网络抖动恢复后，将会有大量的渲染指令流待从服务器侧发送至电子设备，发送后在电子设备侧会有大量的渲染指令流待执行，由此造成了渲染指令流的传输和处理时延大、从而导致电子设备渲染时间长，无法及时把最新帧的渲染结果展示给用户，用户感知延迟大。通过该方法，服务器可以向电子设备发送渲染上下文差的集合，所述渲染上下文差的集合包括一个或多个渲染上下文差，其中，一个渲染上下文差为前述第二渲染上下文和一个第一渲染上下文的差，从而使得电子设备能够根据渲染上下文差的集合得到网络抖动恢复前服务器最近一次生成的渲染指令流，实现服务器和电子设备之间的同步。由于渲染上下文差的集合对应的渲染指令流相比网络抖动期间累积的渲染指令流数量大大减少，因此发送给电子设备过程中网络流量大大减少，电子设备执行渲染指令流的时延相应大大减少，即传输时延和处理时延都减少了，从而降低网络传输流量、减少传输和处理时延、提升用户体验。
13.在一些可能的实现方式中，操作指令也可以来自其他设备，也可以是服务器自己生成的。
14.在一种可能的实现方式中，可以在服务器上根据渲染指令流生成并保存渲染上下文。渲染上下文记录了图像渲染需要的信息，包含了渲染指令流或用于恢复所述渲染指令流的信息。以0pengl为例，0pengl的渲染上下文记录了0pengl渲染需要的所有信息，它是一个大的结构体，记录了当前绘制使用的颜色、是否有光照计算以及开启的光源等使用0pengl函数调用设置的状态和状态属性。可以理解的是，在这种实现方式下，渲染上下文的生成和保存可以由区别于运行在服务器上的应用程序app服务端的逻辑实体来实现，例如上下文跟踪模块。在这种场景下，上下文跟踪模块可以从app服务端获取渲染指令流，并根据渲染指令流生成并保存渲染上下文。
15.在另一种可能的实现中，也可以在其他的服务器或其他类型的设备中生成并保存
渲染上下文，本技术不做限制。
16.在一些可能的实现方式中，在生成并保存一个或多个第一渲染上下文中的任意一个第一渲染上下文之前，服务器确定已生成的第一渲染指令流为一个图像帧的数据对应的渲染指令流；或者服务器确定第一渲染指令流为目标渲染指令流，所述目标渲染指令流预先存储在所述服务器中，例如draw指令或swap指令。
17.在一种可能的实现方式中，服务器可以周期性执行生成并保存所述一个或多个第一渲染上下文的动作。
18.在其他可能的实现方式中，服务器也可以在生成一个渲染指令流或者多个渲染指令流后生成并保存所述一个或多个第一渲染上下文，渲染指令流的个数预先保存在服务器上，例如在服务器生成5个渲染指令流后生成并保存所述一个或多个第一渲染上下文。生成并保存一个或多个第一渲染上下文是为后续计算渲染上下文差的集合做准备。所述渲染上下文差的集合将在网络抖动恢复后由服务器发送给电子设备的，从而使得电子设备能够根据渲染上下文差的集合得到网络抖动恢复前服务器最近一次生成的渲染指令流，实现服务器和电子设备之间的同步。
19.在一种可能的实现方式中，服务器生成第三渲染指令流，并根据第三渲染指令流生成第三渲染上下文，其中，第三渲染上下文中包含了第三渲染指令流或用于恢复第三渲染指令流的信息，第三渲染指令流为服务器接收到电子设备的操作指令后生成的第一个渲染指令流；设置基线快照，该基线快照为所述第三渲染上下文。
20.在一种可能的实现方式中，服务器接收电子设备发送的渲染指令流响应，所述渲染指令流响应包含电子设备最近接收到的渲染指令流的指令流号，将所述基线快照更新为接收到的所述指令流号对应的第一渲染上下文。
21.在一种可能的实现方式中，在接收到渲染指令流响应后，删除已保存在所述服务器上的其它第一渲染上下文。
22.在一种可能的实现方式中，保存所述一个或多个第一渲染上下文中的任意一个第一渲染上下文可以通过保存所述任意一个第一渲染上下文与所述基线快照的差。可以理解的是，若保存的是任意一个第一渲染上下文与所述基线快照的差，则能够节省服务器的存储空间。
23.在另一种可能的实现方式中，可以直接保存整个第一渲染上下文。在这种实现方式下，可以不设置基线快照。
24.在一种可能的实现方式中，在网络抖动恢复后，服务器获取电子设备在发生网络抖动前最后执行的渲染指令流的指令流号，其中，获取方式可以是服务器检测到抖动恢复后主动向电子设备查询，电子设备向服务器发送网络抖动前最后执行的渲染指令流的指令流号，也可以是电子设备在检测到抖动恢复后，主动向服务器上报网络抖动前最后执行的渲染指令流的指令流号。相应的，在这种实现方式下，在网络抖动恢复后，发送渲染上下文差的集合包括：发送所述第二渲染上下文与所述指令流号对应的第一渲染上下文的差。
25.在网络抖动恢复后，服务器将向电子设备发送渲染上下文差的集合，在一种可能的实现方式中，服务器发送所述第二渲染上下文与所述一个或多个第一渲染上下文中的每个第一渲染上下文的差的集合。在另一种可能的实现方式中，服务器发送所述第二渲染上下文与所述基线快照和所述任意一个第一渲染上下文与所述基线快照的差异之和的差的
集合。这种方式对应的第一渲染上下文的保存方式为前述的保存所述任意一个第一渲染上下文与所述基线快照的差。
26.在一种可能的实现方式中，在网络抖动恢复后，服务器发送的渲染上下文差的集合可以是自定义的消息格式。可以理解的是，如果服务器发送的渲染上下文差是自定义的消息格式，则电子设备需要将自定义格式的渲染上下文差转换成渲染指令流格式。
27.在一种可能的实现方式中，在网络抖动恢复后，服务器发送的渲染上下文差的集合可以是渲染指令流格式。
28.第二方面，本技术实施例提供一种渲染的方法，该方法应用于电子设备，包括：
29.在网络发生网络抖动前，所述电子设备从服务器接收第一渲染指令流，所述第一渲染指令流用于执行图像渲染以显示图像；所述电子设备向所述服务器发送渲染指令流响应，所述渲染指令流响应包含所述电子设备最近接收到的渲染指令流的指令流号；在所述网络抖动恢复后，所述电子设备从所述服务器接收渲染上下文差的集合，解析所述渲染上下文差的集合中的部分或者全部渲染上下文差以得到网络抖动恢复前所述服务器最近一次生成的渲染指令流。
30.在一些实现方式中，所述方法还包括：向服务器发送操作指令，所述操作指令用于指示所述服务器运行应用程序。
31.本技术可以适用于通过指令流方案实现分离渲染的场景，即电子设备通过网络向服务器发送操作指令，服务器根据操作指令生成渲染指令流发送给电子设备，由电子设备进行图形渲染。但是发生网络抖动时，由于渲染指令流发送不了会出现大量渲染指令流累积的问题。在网络抖动恢复后，将会有大量的渲染指令流待从服务器侧发送至电子设备，发送后在电子设备侧会有大量的渲染指令流待执行，由此造成了渲染指令流的传输和处理时延大、从而导致电子设备渲染时间长，无法及时把最新帧的渲染结果展示给用户，用户感知延迟大。通过该方法，服务器可以向电子设备发送渲染上下文差的集合，所述渲染上下文差的集合包括一个或多个渲染上下文差，其中，一个渲染上下文差为前述第二渲染上下文和一个第一渲染上下文的差，从而使得电子设备能够根据渲染上下文差的集合得到网络抖动恢复前服务器最近一次生成的渲染指令流，实现服务器和电子设备之间的同步。由于渲染上下文差的集合对应的渲染指令流相比网络抖动期间累积的渲染指令流数量大大减少，因此发送给电子设备过程中网络流量大大减少，电子设备执行渲染指令流的时延相应大大减少，即传输时延和处理时延都减少了，从而降低网络传输流量、减少传输和处理时延、提升用户体验。
32.在一些可能的实现方式中，电子设备在发送渲染指令流响应给服务器之前确定已接收到的所述第一渲染指令流为一个图像帧的数据对应的渲染指令流；或者电子设备确定接收到的所述第一渲染指令流为目标渲染指令流，所述目标渲染指令流预先存储在所述电子设备中，例如接收到draw指令或swap指令，然后发送渲染指令流响应给服务器。
33.在一种可能的实现方式中，电子设备可以在接收到一个或者多个渲染指令流后向服务器发送渲染指令流响应，渲染指令流的个数预先保存在电子设备上，例如接收到5个渲染指令流后。
34.在一种可能的实现方式中，电子设备周期性执行发送所述渲染指令流响应的动作。
35.在一种可能的实现方式中，电子设备接收到的渲染上下文差的集合中的一个或多个渲染上下文差可以是自定义的消息格式，例如渲染上下文差为用于恢复所述网络抖动恢复前所述服务器最近一次生成的渲染指令流的信息格式。若电子设备接收到的渲染上下文差的集合中的渲染上下文差为自定义格式，则电子设备将自定义格式的渲染上下文差转换为渲染指令流格式。即当所述渲染上下文差为用于恢复所述网络抖动恢复前所述服务器最近一次生成的渲染指令流的信息格式时，将所述渲染上下文差转换为渲染指令流格式。
36.在一种可能的实现方式中，电子设备接收到的渲染上下文差可以是渲染指令流格式。
37.在一种可能的实现方式中，网络抖动恢复后，电子设备向所述服务器主动上报网络抖动发生前最后执行的渲染指令流的指令流号。
38.在一种可能的实现方式中，网络抖动恢复后，电子设备响应于所述服务器的查询指令，发送网络抖动发生前最后执行的渲染指令流的指令流号给所述服务器。
39.电子设备在接收到服务器发送的渲染上下文差的集合后，解析所述渲染上下文差的集合中的部分或者全部渲染上下文差。所述解析所述渲染上下文差的集合中的部分或者全部渲染上下文差包括选择最接近于所述网络抖动前最后执行的渲染指令流的渲染上下文差，解析并执行所述最接近于所述网络抖动前最后执行的渲染指令流的渲染上下文差。
40.在一种可能的实现方式中，电子设备接收服务器的渲染上下文差的集合后，若所述渲染上下文差的集合为网络抖动恢复后前述第二渲染上下文与网络抖动发生前电子设备最后执行的渲染指令流的指令流号对应的第一渲染上下文的差，则电子设备判断渲染上下文差中的指令流号是否与电子设备最后执行的指令流号一致，若一致，则解析该渲染上下文差。这种方式下，服务器只需要发送一个渲染上下文差，节省服务器与电子设备之间的传输流量。
41.在一种可能的实现方式中，电子设备接收服务器的渲染上下文差的集合后，若所述渲染上下文差的集合为所述第二渲染上下文与所述一个或多个第一渲染上下文中的每个第一渲染上下文的差的集合，则电子设备需要选择其中一个渲染上下文差进行解析。在这种实现方式下，电子设备可以根据指令流号查找服务器的所有的渲染上下文差的指令流号是否包含了电子设备最后执行的指令流号，若包含，则选择该指令流号对应的渲染上下文差进行解析。在这种实现方式下，为了增加查找命中率，电子设备接收渲染指令流后，先把两个第一渲染上下文之间的渲染指令流缓存起来不进行解析，等到下一个渲染上下文的时候一次性解析，这样可以保证网络抖动恢复后的完整性。可以理解的是，在这种实现方式下，电子设备需要记录第一渲染上下文并保存两个第一渲染上下文之间的渲染指令流。电子设备保存第一渲染上下文的方式可以与前述服务器保存第一渲染上下文的方式保持一致，也可以是通过新增的消息向服务器查询第一渲染上下文保存的情况，也可以是服务器通过新增的消息通知电子设备保存了第一渲染上下文。
42.在另一种可能的实现方式中，电子设备接收服务器的渲染上下文差的集合后，若所述渲染上下文差的集合为所述第二渲染上下文与所述一个或多个第一渲染上下文中的每个第一渲染上下文的差的集合，则电子设备需要选择其中一个渲染上下文差进行计算并解析。电子设备根据网络抖动前最后执行的渲染指令流的指令流号找到离该指令流号最近的第一渲染上下文，计算出网络抖动时的电子设备的渲染上下文与最近的第一渲染上下文
之间的上下文差，从而得出网络抖动时电子设备的渲染上下文与第二渲染上下文之间的差异。可以理解的是，在这种实现方式下，电子设备需要记录第一渲染上下文和电子设备最后执行的渲染指令流的指令流号。电子设备保存第一渲染上下文的方式可以与前述服务器保存第一渲染上下文的方式保持一致，也可以是通过新增的消息向服务器查询第一渲染上下文保存的情况，也可以是服务器通过新增的消息通知电子设备保存了第一渲染上下文。这种实现方式与上述方式的差别在于，电子设备接收到渲染指令流后，可以实时执行渲染指令流，而不需要保存两个第一渲染上下文之间的渲染指令流。相对于上述方案节省了电子设备存储空间，渲染指令流也不会出现没有实时执行的情况。
43.第三方面，本技术实施例提供一种渲染的装置，该装置包括用于执行第一方面中所描述的方法/操作/步骤/动作所对应的模块。
44.上述装置可以是服务器，也可以是服务器中的用于执行图形渲染的装置(例如，芯片，或者是能够和服务器匹配使用的装置)。
45.上述图形渲染装置包括的模块可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。
46.第四方面，本技术实施例提供一种渲染的装置，该装置包括用于执行第二方面中所描述的方法/操作/步骤/动作所对应的模块。
47.上述装置可以是电子设备，也可以是电子设备中的用于执行图形渲染的装置(例如，芯片，或者是能够和电子设备匹配使用的装置)。
48.上述图形渲染装置包括的模块可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。
49.第五方面，本技术实施例提供一种图形渲染装置，该装置包括处理器，该处理器用于调用存储器存储的程序代码以执行上述第一方面中的任意一种方式中的部分或全部操作。
50.上述装置中，存储程序代码的存储器既可以位于图形渲染装置内部(图形渲染装置除了包括处理器之外，还可以包括存储器)，也可以位于图形渲染装置外部(可以是其他设备的存储器)。可选地，上述存储器为非易失性存储器。
51.当图形渲染装置包括处理器和存储器时，该处理器和存储器可以耦合在一起。
52.第六方面，本技术实施例提供一种图形渲染装置，该装置包括处理器，该处理器用于调用存储器存储的程序代码以执行上述第二方面中的任意一种方式中的部分或全部操作。
53.上述装置中，存储程序代码的存储器既可以位于图形渲染装置内部(图形渲染装置除了包括处理器之外，还可以包括存储器)，也可以位于图形渲染装置外部(可以是其他设备的存储器)。可选地，上述存储器为非易失性存储器。
54.当图形渲染装置包括处理器和存储器时，该处理器和存储器可以耦合在一起。
55.第七方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储了程序代码，其中，程序代码包括用于执行上述任一方面所描述的方法中的部分或全部操作的指令。可选地，上述计算机可读存储介质位于电子设备内，该电子设备可以是能够进行图形渲染的装置。
56.第八方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在通信装
置上运行时，使得通信装置执行上述任一方面所描述的方法中的部分或全部操作。
57.第九方面，本技术实施例提供一种芯片，所述芯片包括处理器，所述处理器用于执行上述任一方面所描述的方法中的部分或全部操作。
58.第十方面，本技术实施例提供一种系统，包括前述的电子设备以及前述的服务器。
附图说明
59.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1为本技术实施例提供的网络不抖动时渲染指令流处理流程示意图；
61.图2为本技术实施例提供的网络发生抖动时渲染指令流累积示意图；
62.图3a为本技术实施例提供的现有技术中云游戏场景的系统架构示意图；
63.图3b为本技术实施例提供的现有技术中云游戏场景的系统架构示意图；
64.图4为本技术实施例提供的一种云游戏场景的系统架构示意图；
65.图5为本技术实施例提供的渲染上下文的数据结构示意图；
66.图6为本技术实施例提供的克服渲染延迟的方法的流程示意图；
67.图7a为本技术实施例提供的基线快照与恢复点的关系示意图；
68.图7b为本技术实施例提供的重新设置基线快照与恢复点的示意图；
69.图8为本技术实施例提供的在网络发生抖动时的流程示意图；
70.图9为本技术实施例提供的在网络抖动恢复时通过渲染上下文差来恢复渲染上下文的具体流程；
71.图10a为本技术实施例提供的一种渲染上下文差的计算方式示意图；
72.图10b为本技术实施例提供的另一种渲染上下文差的计算方式示意图；
73.图11为本技术实施例提供的主动上报最后执行的渲染指令流号进行抖动恢复的流程示意图；
74.图12为本技术实施例提供的查询最后执行的渲染指令流号进行抖动恢复的流程示意图；
75.图13为本技术实施例提供的网络抖动点对应的渲染上下文与最新的渲染上下文之间的上下文差示意图；
76.图14为本技术实施例提供的服务器的示意性框图；
77.图15为本技术实施例提供的电子设备的结构示意图。
具体实施方式
78.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
79.在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。本申
请中的术语“和/或”或字符“/”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或，或a/b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。在本技术实施例的描述中，上下文与渲染上下文是同一个含义，上下文差与渲染上下文差是同一个含义。
80.为方便理解，下文将使用“恢复点”来表示前述服务器上保存的“第一渲染上下文”，使用“最新的渲染上下文”来表示前述“第二渲染上下文”。实施例中的终端为上文提到的电子设备的其中一种形态。
81.本技术实施例提供的渲染的方法主要应用在应用程序执行环境和终端分离场景，为了更好地介绍本实施例，将以云游戏为例进行介绍。
82.如图3a所示，为云游戏场景的系统架构示意图，包括服务器和终端。服务器包括至少一个应用程序app(application)。终端可以是移动电话(或称为“蜂窝”电话)、或具有移动性质的计算机等，终端还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。在云游戏场景中，终端中安装有游戏客户端，用户可以通过终端上的游戏客户端启动游戏。现有指令云游戏的流程如下：
83.用户通过终端上的app客户端启动游戏，通过触摸、鼠标、键盘或手柄等输入操作指令；
84.通过网络将操作指令发送给服务器；
85.服务器接收操作指令，生成渲染指令流，例如opengl、webgl渲染指令流；
86.通过网络将渲染指令流发送给终端；
87.终端通过图形处理器(graphics processing unit，gpu)解析并执行渲染指令流，进行图像渲染和显示。
88.如图3b所示，应用到具体的一个游戏应用中，app客户端为终端中安装的一个游戏的游戏客户端；app为游戏服务端。其中，对于终端中安装的游戏包括轻载游戏、中载游戏，和重载游戏。其中，轻载、中载和重载是依据游戏运行时所消耗的终端和服务端的计算资源划分。
89.应理解的是，上述轻载游戏、中载游戏和重载游戏是依据游戏运行所消耗的终端的计算资源划分，是一个相对概念。例如，若以终端可用于游戏运行的可消耗资源为准，可以将游戏运行需要消耗30％计算资源的游戏称为轻载游戏，如愤怒的小鸟；将游戏运行需要消耗80％计算资源的游戏称为重载游戏，如王者荣耀；将游戏运行需要消耗50％计算资源的游戏称为中载游戏，如水果忍者。
90.但是在现有流程中，如前所述，当网络抖动恢复时，app会把网络抖动期间所有渲染指令流一次性发给app客户端，渲染指令流的数据量随抖动时长线性增长，由此造成了渲染指令流的传输和处理时延大、用户感知延迟大的问题。
91.本技术实施例提供一种渲染的方法，在图3b所示的系统架构的基础上进行了优化，如图4所示，为本技术实施例提供的一种云游戏场景的系统架构示意图。本技术实施例增加了上下文跟踪模块和上下文恢复模块。其中app，上下文跟踪模块，本地渲染上下文可以位于服务器上；上下文恢复模块，app客户端可以位于终端上；上下文恢复模块也可以位于服务器上。其中，上下文跟踪模块，上下文恢复模块，app，app客户端的主要功能分别如下：
92.上下文跟踪模块：
93.a)跟踪每个渲染指令流，更新本地渲染上下文；
94.b)接收上下文恢复模块发送的当前指令流号，将该指令流号的本地渲染上下文作为基线快照；之后每个恢复点都针对该基线快照计算上下文差；
95.c)当网络抖动恢复后，发送渲染上下文差给上下文恢复模块。
96.上下文恢复模块：
97.a)接收app发送的渲染指令流，对渲染指令流进行处理，比如提取渲染指令流号，并转发给app客户端；
98.b)发送当前已经接收到的渲染指令流的指令流号给上下文跟踪模块；
99.c)接收上下文跟踪模块发送的渲染上下文差，如果接收到的渲染上下文差是自定义消息格式则转化为渲染渲染指令流发给app客户端，如果接收到的渲染上下文差是渲染指令流格式则直接发给app客户端；
100.d)可选的，在网络抖动恢复后将网络抖动前最后执行的渲染指令流的指令流号发送给上下文跟踪模块。
101.app和app客户端在原有功能基础上刷新如下：
102.app：
103.a)发送渲染指令流给上下文跟踪模块。
104.app客户端：
105.a)接收上下文恢复模块发送的渲染渲染指令流。
106.需要说明的是，云游戏场景中终端和服务器之间消息传输的方式是以“消息流”的形式传递的，此处，消息流是指携带多个消息的集合，如上述渲染指令流、操作指令。
107.应理解的是，图4所示架构中，对app、上下文跟踪模块的划分是一个逻辑概念，也可以将app和上下文跟踪模块合一部署，将app客户端和上下文恢复模块合一部署。本技术的以下实施例中，以app和上下文跟踪模块分开部署、app客户端和上下文恢复模块分开部署为例进行说明。
108.为便于理解，在介绍详细流程之前，将以opengl es为例，具体说明渲染上下文的数据结构、渲染指令流的类型和渲染上下文差的生成、传递以及恢复方法。
109.如图5所示，为渲染上下文的数据结构示意图。
110.渲染上下文是存储渲染信息的一个数据结构，保存了各种状态，包括顶点信息、纹理信息、编译好的着色器信息等，绘制工作将基于这些信息来完成。具体的，渲染上下文包括：
111.1)一个上下文状态(context state)及0到多个共享上下文状态(context shared state)
112.其中，上下文状态包括：
113.固定阶段(fixed-function stages of the gpu)的配置：只改变某个渲染配置项，比如是否使能；
114.上下文的对象绑定关系(bindings of objects to the context)：这类指令把某个对象绑定或解绑到上下文中；
115.2)一个对象池(0bject pool)
116.其中，对象池包括各种类型的对象，例如缓存、着色器程序等，每个对象跟踪它的内容和状态。对象池指令指定新生成或者删除某个对象。
117.对象内容指令：改变对象的内容。不同的对象类型的内容形式不尽相同，因此需要针对不同类型设计不同的数据结构。比如buffer类，它的内容就是一块缓存区，任何对该缓存区的改变，都需要进行跟踪。但是某些对象类型可能有些无法跟踪或者跟踪代价比较大，那么可以进行弱化，即仅跟踪是否有差异，不跟踪差异内容：标记为内容无法跟踪，打上最后一次更改的时间戳；在比较差异时，如果时间戳相同，则可认为没有差异，即还是可比较的；若时间戳不同，则认为不可比较，该特性无法使用，采用原有流程恢复。
118.结合图5所示的渲染上下文的数据结构示意图，可以把渲染指令流分为四类，以下将用五种典型对象进行举例，详见表1。
119.表1渲染指令流分类
[0120][0121][0122]
具体的，以下为四种指令示例：
[0123]
1)glenable(scissor_test)，表示当前的上下文启用裁剪测试；
[0124]
2)glbindbuffers(glsizei n，gluint*buffers)，表示绑定n个缓冲区对象到当前的上下文；
[0125]
3)glgenbuffers(sizei n，uint*buffers)，表示在pool中创建n个缓冲区对象；
[0126]
4)glbufferdata(glenum target，glsizeiptr size，const glvoid*data，glenum usage)，表示初始化缓冲区对象target，把data指向的内容拷贝size个字节到target中。
[0127]
以下将结合上述的渲染指令流和渲染上下文介绍渲染上下文差的生成、传递以及恢复方法。
[0128]
对于渲染上下文差的计算，可以根据上述渲染指令流的四种类型进行比较，如下示例：
[0129]
固定阶段配置类：比较某个配置是否改变；
[0130]
比如上下文ctxa中某个配置是enable，上下文ctxb中这个配置是disable，则两
者之差为ctxb-ctxa，即该配置disable。
[0131]
比如上下文ctxa中某个配置是disable，上下文ctxb中这个配置是disable，则两者之差为没有差别。
[0132]
对象的绑定关系类：比较某个对象是否绑定到上下文中；
[0133]
比如上下文ctxa中绑定了某个对象，上下文ctxb中没有这个对象，则两者之差为ctxb-ctxa，即没有绑定该对象。
[0134]
比如上下文ctxa中绑定了某个对象，上下文ctxb中也绑定这个对象，则两者之差为没有差别。
[0135]
对象池指令：比较某个对象是否在池中；
[0136]
对象内容：比较某个对象的内容。
[0137]
比如采用buffer对象来描述某一组顶点信息(位置、纹理、颜色)，那么只要把两个快照中该buffer里的数据比较出一个差值。
[0138]
如前所述，某些对象类型可能被标记为不能比较内容(不能跟踪)，因此则只比较时间戳；若时间戳相同则表示两者没有差别；
[0139]
若时间戳不同，则表示无法生成上下文差，停止比较。
[0140]
如上所述，上下文差的结果可能有三种情况：没有差别、有差别、无法比较。
[0141]
对于可以比较的渲染上下文差，服务器需要将渲染上下文差传递到终端。传递的消息可以是上下文差异本身，或者转成渲染指令流，或者两者兼而有之，如表2所示：
[0142]
表2渲染上下文差的传递方式
[0143][0144]
例如：传递某个buffer类型的对象内容差，可以传递它改变的内存信息，或者转换成指令glbuffersubdata进行传递。
[0145]
上下文恢复模块收到渲染上下文差后，如果是指令流则直接转发app客户端，如果是自定义格式的差异则先转化成渲染指令流再转发给app客户端进行解析和执行。
[0146]
如图6所示，为本技术实施例在图4的系统架构下的网络没有发生抖动时的基础流程示意图，从客户端和服务器交互的角度对本技术实施例提供的方法进行介绍。所述基础流程的步骤包括：
[0147]
s601：启动游戏，捕获用户操作指令。
[0148]
具体地，用户通过终端上安装的游戏客户端即app客户端启动游戏。此时，app客户端会生成操作指令，该操作指令包括用户通过终端输入设备比如屏幕触摸、鼠标、键盘或者
手柄等输入的操作信息，如点击、向左拖拽1cm等。
[0149]
s602、终端向app发送操作指令。
[0150]
终端和app之间通过tcp/ip传输数据，依据tcp/ip协议，终端和app之间会首先通过三次握手建立tcp/ip连接。
[0151]
s603、app解析操作指令，启动游戏，执行应用程序逻辑，生成渲染指令流。
[0152]
s604、app向上下文跟踪模块发送渲染指令流。
[0153]
s605、app向上下文恢复模块发送渲染指令流。
[0154]
s606、上下文跟踪模块接收到渲染指令流后，更新本地渲染上下文，设置恢复点和基线快照。
[0155]
具体的，上下文跟踪模块接收到渲染指令流后：
[0156]
若本地渲染上下文基线快照还未生成，则将当前指令流号对应的本地渲染上下文保存起来，设置为基线快照；
[0157]
若已有基线快照，则可根据规则将某些渲染指令流上的本地渲染上下文保存起来，命名为恢复点，或者只保存恢复点与基线快照的渲染上下文差。如图7a所示。
[0158]
所述规则包括：
[0159]
上下文跟踪模块接收到app的一个或多个渲染指令流后；
[0160]
上下文跟踪模块接收到app的一帧渲染指令流后；
[0161]
上下文跟踪模块接收到特定渲染指令流后，所述特性指令由上下文跟踪模块设置，比如draw指令或swap指令；或者
[0162]
上下文跟踪模块周期性设置，所述周期由上下文跟踪模块设置。
[0163]
s607、上下文恢复模块向app客户端发送渲染指令流。
[0164]
s608、上下文恢复模块发送指令流响应消息给上下文跟踪模块。
[0165]
s607-s608步骤发生在上下文恢复模块接收到app的渲染指令流后。
[0166]
上下文恢复模块接收到app的渲染指令流后，向app客户端发送渲染指令流。具体的，上下文恢复模块接收到app的渲染指令流后，可以先把两个恢复点之间的渲染指令缓存起来不发，等到下一个恢复点的时候一次性发送给app客户端，这样可以保证抖动恢复时的完整性。
[0167]
具体的，上下文恢复模块发送指令流响应消息给上下文跟踪模块时，所述指令流响应消息包含上下文恢复模块最后接收到的渲染指令流号。上下文恢复模块发送指令流响应消息的时机包括：
[0168]
所述上下文恢复模块接收到每个渲染指令流后；
[0169]
所述上下文恢复模块接收到多个渲染指令流后；
[0170]
所述上下文恢复模块接收到特定指令后，所述特定指令由上下文恢复模块设置，比如draw指令或swap指令；
[0171]
所述上下文恢复模块接收到一帧数据对应的渲染指令流后；或者
[0172]
所述上下文恢复模块周期性发送，所述周期由上下文恢复模块设置。
[0173]
s609、上下文跟踪模块接收到上下文恢复模块的指令流响应消息后，设置新的基线快照，删除已有的基线快照和各恢复点与已有基线快照的上下文差。
[0174]
具体的，若上下文跟踪模块保存的是各恢复点与已有基线快照的上下文差，则重
新计算各恢复点与新的基线快照的上下文差，如图7b所示。
[0175]
s610、app客户端接收到渲染指令流后，在本地gpu进行图像渲染和显示。
[0176]
如图8所示，为本技术实施例在网络发生抖动时的流程示意图。该流程的步骤包括：
[0177]
s801、app检测到网络抖动，停止向上下文恢复模块发送渲染指令流；
[0178]
s802、app发送渲染指令流给上下文跟踪模块；
[0179]
s803、上下文跟踪模块接收到渲染指令流后，根据规则设置恢复点，并更新本地渲染上下文。
[0180]
具体的，设置恢复点的规则与前述步骤s606中所描述的规则一致。
[0181]
需要说明的是，当上下文跟踪模块发现网络抖动时，服务器端不再生成新的恢复点，但还是要继续更新本地渲染上下文。
[0182]
以上为本技术实施例的基础流程以及网络发生抖动时的流程；在此基础上，以下将通过具体的实施例，对网络抖动恢复时，通过渲染上下文差恢复渲染上下文的方法进行详细说明，其中，将通过不同的渲染上下文差计算和传递的方式对实施例进行区分。
[0183]
实施例一：上下文恢复模块判断上下文跟踪模块的所有的恢复点的指令流号是否包含了上下文恢复模块执行的最后的指令流号，若包含，则根据渲染上下文差转换成渲染指令流，然后将渲染指令流发送给app客户端。在这种实现方式下，终端接收渲染指令流后，先把两个恢复点之间的渲染指令流缓存起来不进行解析和执行，等到下一个恢复点的时候一次性解析和执行，这样可以保证抖动恢复时的完整性。所以上下文恢复模块执行的最后的指令流号与该模块记录的最后一个恢复点的指令流号相同。
[0184]
如图9所示，为本技术实施例在网络抖动恢复时通过渲染上下文差来恢复渲染上下文的具体流程，步骤包括：
[0185]
s901、上下文跟踪模块检测到网络抖动恢复，计算渲染上下文差。
[0186]
具体的，在网络抖动恢复时，上下文跟踪模块把当前渲染上下文与所有恢复点的渲染上下文差发给上下文恢复模块。如图10a所示，由于保存了基线快照ctx_base、各个恢复点与基线快照的上下文差δctx_rcyn_base以及最新的渲染上下文ctx_current，因此可以根据以下公式计算出当前渲染上下文与各恢复点的渲染上下文差，其中n为恢复点序号：
[0187]
δctxn＝ctx_current-ctx_base-δctx_rcyn_base
[0188]
需要说明的是，对于无法跟踪或者跟踪代价比较大的对象类型，可以进行弱化，仅跟踪是否有差异，不跟踪差异内容：即将对象类型标记为内容无法跟踪，并打上最后一次更改的时间戳；在比较差异时，如果时间戳相同，则可认为没有差异；若时间戳不同，则认为不可比较，该特性无法使用，采用原有流程恢复。
[0189]
s902、上下文跟踪模块向上下文恢复模块发送渲染上下文差。
[0190]
具体的，渲染上下文差可以通过自定义消息结构进行传递，上下文恢复模块接收到后再转化成渲染指令流；也可以由上下文跟踪模块先转换成渲染指令流再发送给上下文恢复模块。
[0191]
s903、上下文恢复模块确认恢复点是否包含了网络抖动时的指令流号：
[0192]
若是，则继续步骤s904；
[0193]
若否，则继续步骤s906。
[0194]
具体的，上下文恢复模块根据本模块对渲染指令流的执行情况，将最后执行的渲染指令流号与上下文跟踪模块设置的恢复点进行比较，如果能找到与最后执行的渲染指令流号相同的恢复点，则选取该恢复点对应的渲染上下文差进行恢复。如图10b所示。
[0195]
s904、判断接收到的渲染上下文差是否渲染指令流格式：
[0196]
若是，则继续步骤s908；
[0197]
若否，则继续步骤s905。
[0198]
s905、将接收到的渲染上下文差转换成渲染指令流，然后继续步骤s908。
[0199]
s906、发送通知消息给上下文跟踪模块，说明恢复点没有包含网络抖动时的指令流号，然后继续步骤s907。
[0200]
s907、用原有方式恢复，发送网络抖动期间的所有渲染指令流。
[0201]
s908、将渲染渲染指令流发送给app客户端，继续步骤s909。
[0202]
s909、在本地gpu进行图像渲染及编码，生成视频流信息。
[0203]
在本技术实施例一的实现方式下，在网络抖动恢复后，上下文跟踪模块只需要发送抖动前后渲染上下文差即可，大部分情况下渲染上下文差所对应的渲染指令流相比网络抖动期间累计的渲染指令流大大减少，从而可以降低网络流量以及大幅加快客户端的恢复，提升用户感受。
[0204]
实施例二：当网络抖动恢复时，上下文跟踪模块等待上下文恢复模块在网络抖动恢复后上报抖动前上下文恢复模块接收到的最后的指令流号，或者上下文跟踪模块主动向上下文恢复模块发起消息询问抖动前上下文恢复模块接收到的最后的指令流号。在上下文跟踪模块得到明确的最后的指令流号后，根据最后的指令流号计算渲染上下文差发送给上下文恢复模块。
[0205]
可以理解的是，上下文恢复模块可以在检测到网络抖动恢复时发送，或者上下文跟踪模块和上下文恢复模块之间的连接恢复的情况下，上报抖动前上下文恢复模块接收到的最后的指令流号，如图11所示，步骤包括：
[0206]
s1101、上下文恢复模块检测到网络抖动回复，返回最后一个指令流号给上下文跟踪模块；
[0207]
s1102、上下文跟踪模块找到离最后一个指令流最近的恢复点，计算该恢复点与当前渲染上下文的上下文差；
[0208]
s1103、上下文跟踪模块发送渲染上下文差给上下文恢复模块；
[0209]
s1104、上下文恢复模块判断接收到的渲染上下文差是否渲染指令流格式：
[0210]
若是，则继续步骤s1106；
[0211]
若否，则继续步骤s1105。
[0212]
s1105、将渲染上下文差转化成渲染指令流，然后继续步骤s1106。
[0213]
s1106、上下文恢复模块将渲染上下文差指令流发送给app客户端。
[0214]
s1107、在本地gpu进行图像渲染及编码，生成视频流信息。
[0215]
可以理解的是，上下文跟踪模块可以在网络抖动恢复时向上下文恢复模块查询网络抖动前上下文恢复模块接收到的最后的指令流号，如图12所示，步骤包括：
[0216]
s1201、上下文跟踪模块检测到网络恢复，询问上下文恢复模块最后一个指令流号。
[0217]
s1202、上下文恢复模块返回最后一个指令流号给上下文跟踪模块。
[0218]
s1203-s1208分别与s1102-s1107相同。
[0219]
s1203、上下文跟踪模块找到离最后一个指令流最近的恢复点，计算该恢复点与当前渲染上下文的上下文差；
[0220]
s1204、上下文跟踪模块发送渲染上下文差给上下文恢复模块；
[0221]
s1205、上下文恢复模块判断接收到的渲染上下文差是否渲染指令流格式：
[0222]
若是，则继续步骤s1207；
[0223]
若否，则继续步骤s1206。
[0224]
s1206、将渲染上下文差转化成渲染指令流，然后继续步骤s1207。
[0225]
s1207、上下文恢复模块将渲染上下文差指令流发送给app客户端。
[0226]
s1208、在本地gpu进行图像渲染及编码，生成视频流信息。
[0227]
在这种实现方式下，上下文跟踪模块不需要将所有恢复点的上下文差都发送给上下文恢复模块，只需找到离最后的指令流号最近的恢复点，并将该最近的恢复点对应的上下文差发送给上下文恢复模块。
[0228]
与实施例一的差别在于能识别出抖动时对应的指令流号与最近的恢复点之间的上下文差，仅发送抖动点与最新的渲染上下文之间的渲染上下文差。
[0229]
实施例三：上下文恢复模块通过向上下文跟踪模块查询恢复点信息，或者根据设置恢复点的规则，在上下文恢复模块记录恢复点信息；上下文恢复模块收到上下文跟踪模块发送的所有恢复点的渲染上下文差，由上下文恢复模块确认最近的恢复点，并根据记录的网络抖动点到最近的恢复点之间的渲染指令流，得出抖动点和最近的恢复点之间的上下文差，然后计算出抖动点与当前渲染上下文差。
[0230]
如图13所示，上下文跟踪模块把所有恢复点与当前渲染上下文的上下文差发给上下文恢复模块，即δctx1，δctx2，δctx3。可以理解的是，上下文跟踪模块和上下文恢复模块感知网络抖动的时间可能有差异，导致上下文跟踪模块并不知道上下文恢复模块执行到哪一个渲染指令流，所以发送了多个恢复点的上下文差。上下文恢复模块确认最近的恢复点为恢复点2，因此选取δctx2。另外，上下文恢复模块根据记录的网络抖动点到恢复点2之间的渲染指令流，得出抖动点和恢复点2之间的渲染上下文差：δctx_rem。则网络抖动时，当前渲染上下文和上下文恢复模块已执行的渲染上下文之间的上下文差δctx_client可以根据以下公式得出：
[0231]
δctx_client＝δctx2-δctx_rem
[0232]
实施例三的流程与实施例一的流程类似，差别在于上下文恢复模块的处理。在本技术实施例中，上下文恢复模块需要记录恢复点信息和电子设备执行的最后一个渲染指令流的指令流号。在这种实现方式下，上下文恢复模块接收到渲染指令流后，可以实时解析和执行渲染指令流，而不需要保存两个恢复点之间的渲染指令流。相对于实施例一的方案节省了存储空间，渲染指令流也不会出现没有实时执行的情况。在这种实现方式下，上下文恢复模块在每次网络抖动恢复时能够准确的识别出未执行的渲染指令流，转发给app客户端解析并执行。
[0233]
需要说明的是，网络抖动恢复后，服务器和终端之间的消息流程有两种发送模式：
[0234]
一种是上下文跟踪模块不再需要向上下文恢复模块发送上下文差，渲染指令流继
续通过app向上下文恢复模块发送。
[0235]
另一种是app不再发送渲染指令流给上下文恢复模块，而通过上下文跟踪模块转发渲染指令流。
[0236]
图14示出了本技术实施例提供的服务器800的示意性框图。该服务器800包括处理器820、存储器860、通信接口840和总线850。其中，处理器820、存储器860、通信接口840通过总线850进行通信，也可以通过无线传输等其他手段实现通信。该存储器860用于存储指令，该处理器820用于执行该存储器860存储的指令。该存储器860存储程序代码811，且处理器820可以调用存储器860中存储的程序代码811执行前述渲染的方法。
[0237]
该存储器860可以包括只读存储器和随机存取存储器，并向处理器820提供指令和数据。存储器860还可以包括非易失性随机存取存储器。该存储器860可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data date sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0238]
该总线850除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。
[0239]
应理解，图14所示的服务器800能够实现前述方法实施例中app和上下文跟踪模块执行的各个过程。具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。
[0240]
图15是本技术实施例的电子设备900的结构示意图。该电子设备900可以但不限于是膝上型计算机、台式计算机、移动电话、智能手机、平板电脑、多媒体播放器、电子阅读器、智能车载设备、智能家电、人工智能设备、穿戴式设备、物联网设备、或虚拟现实/增强现实/混合现实设备等。
[0241]
图15中的电子设备900包括通信模块910、传感器920、用户输入模块930、输出模块940、处理器950、存储器970以及电源980。其中，处理器950可以包括一个或者多个cpu。
[0242]
图15所示的电子设备可以执行本技术实施例的用于图形渲染方法的各个步骤，具体地，处理器950中的一个或者多个cpu可以执行本技术实施例的渲染方法的各个步骤。
[0243]
下面对图15中的电子设备900的各个模块进行详细的介绍。应理解的是，图15所示的模块仅是举例说明，具体实现中电子设备900可以包含更多或更少的模块。
[0244]
通信模块910可以包括至少一个能使该电子设备与其他电子设备之间进行通信的模块。例如，通信模块910可以包括有线网络接口、广播接收模块、移动通信模块、无线因特网模块、局域通信模块和位置(或定位)信息模块等其中的一个或多个。本实施例不限定通信代别，例如可以是2g、3g、4g、5g或随着技术发展出现的其它通信代别。
[0245]
例如，通信模块910能够从游戏服务器端实时获取用于渲染游戏画面所需的渲染指令。
[0246]
传感器920可以感知用户的一些操作，传感器920可以包括距离传感器，触摸传感器等等。传感器920可以感知用户触摸屏幕或者靠近屏幕等操作。
[0247]
例如，传感器920能够感知用户在游戏界面的一些操作。
[0248]
用户输入模块930，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及接收与系统的用户设置以及功能控制有关的信号输入等。用户输入模块930包括触控面板和/或其他输入设备。例如，用户可以通过用户输入模块3030对游戏进行控制。
[0249]
输出模块940包括显示面板，用于显示由用户输入的信息、提供给用户的信息或系统的各种菜单界面等。
[0250]
可选的，可以采用液晶显示器(liquid crystal display，lcd)或有机发光二极管(organic light-emitting diode，oled)等形式来配置显示面板。在其他一些实施例中，触控面板可覆盖显示面板上，形成触摸显示屏。
[0251]
另外，输出模块940还可以包括视频输出模块、告警器以及触觉模块等。该视频输出模块可以显示图形渲染后的游戏画面。
[0252]
电源980可以在处理器950的控制下接收外部电力和内部电力，并且提供整个电子设备各个模块运行时需要的电力。
[0253]
处理器950可以包括一个或者多个cpu，处理器950还可以包括一个或者多个gpu。
[0254]
当处理器950包括多个cpu时，该多个cpu可以集成在同一块芯片上，也可以分别集成在不同的芯片上。
[0255]
当处理器950包括多个gpu时，该多个gpu既可以集成在同一块芯片上，也可以分别集成在不同的芯片上。
[0256]
当处理器950既包括cpu又包括gpu时，cpu和gpu可以集成在同一块芯片上。
[0257]
例如，当图15所示的电子设备为智能手机时，智能手机的处理器内部一般与图像处理相关的是一个cpu和一个gpu。这里的cpu和gpu均可以包含多个核。
[0258]
存储器970可以存储计算机程序，该计算机程序包括操作系统程序972和应用程序971等。其中，典型的操作系统如微软公司的windows，苹果公司的macos等用于台式机或笔记本的系统，又如谷歌公司开发的基于的安卓系统等用于移动终端的系统。
[0259]
存储器970可以是以下类型中的一种或多种：闪速(flash)存储器、硬盘类型存储器、微型多媒体卡型存储器、卡式存储器(例如sd或xd存储器)、随机存取存储器(random access memory，ram)、静态随机存取存储器(static ram，sram)、只读存储器(read only memory，rom)、电可擦除可编程只读存储器(electrically erasableprogrammable read-only memory，eeprom)、可编程只读存储器(programmable rom，prom)、磁存储器、磁盘或光盘。在其他一些实施例中，存储器970也可以是因特网上的网络存储设备，系统可以对在因特网上的存储器970执行更新或读取等操作。
[0260]
例如，上述存储器970可以存储一种计算机程序(该计算机程序是本技术实施例的用于图形渲染方法对应的程序)，当处理器950执行该计算机程序时，处理器950能够执行本
申请实施例的用于图形渲染的方法。
[0261]
存储器970还存储有除计算机程序之外的其他数据973，例如，存储器970可以存储本技术的图形渲染方法处理过程中的数据。
[0262]
图15中各个模块的连接关系仅为一种示例，本技术任意实施例提供的电子设备也可以应用在其它连接方式的电子设备中，例如所有模块通过总线连接。
[0263]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0264]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0265]
以上所描述的装置实施例仅仅是示意性的，例如，所述的模块的划分仅仅是一种逻辑功能的划分。其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间可通过一条或多条通信总线或信号线进行通信连接。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0266]
以上所述，仅为本技术的一些具体实施方式，但本技术的保护范围并不局限于此。