一种基于iOS的渲染方法、装置、设备和介质与流程
本技术涉及云游戏串流,特别是涉及一种基于ios的渲染方法、装置、设备和介质。
背景技术:
1、在ios云游戏串流客户端中,云端主机将游戏画面编码为视频流后传输至客户端,客户端需对视频流进行解码并将画面实时渲染上屏,同时响应用户的触控操作。为获得流畅的游戏体验,客户端需支持60fps乃至120fps的高帧率渲染,并对每一次操作做出快速响应。
2、现有ios客户端在实现视频渲染时,通常在主线程中集中处理解码回调、帧缓冲管理及画面合成等任务。然而,在高帧率串流场景下,频繁的渲染操作会大量占用主线程时间片,导致主线程无法及时响应用户的触控输入与界面更新请求,引发界面卡顿和操作迟滞。此外,现有渲染方案中,渲染时机的触发往往依赖于系统层面的调度机制,渲染线程与解码线程之间缺乏有效的同步手段,使得渲染操作无法在帧到达后即刻执行,增加了从帧就绪到屏幕上屏的端到端延迟。同时,在帧率较高时,解码与渲染之间容易形成帧数据积压,进一步加剧内存占用与延迟累积。
3、因此,如何在保证高帧率串流需求的同时,避免渲染任务阻塞主线程、降低端到端渲染延迟,是本领域技术人员需要解决的问题。
技术实现思路
1、本技术目的是提供一种基于ios的渲染方法、装置、设备和介质,能够在保证高帧率串流需求的同时,避免渲染任务阻塞主线程、降低端到端渲染延迟。
2、第一方面,提供了一种基于ios的渲染方法,包括:
3、响应于解码线程解码出原始待显示视频帧的待显示视频帧,对所述待显示视频帧进行纹理处理得到帧纹理结构体,并在将所述帧纹理结构体写入帧队列后,对帧信号量执行信号增量操作,以唤醒阻塞等待中的渲染线程;所述渲染线程运行于独立于主线程的渲染队列中,所述帧队列用于在解码线程与渲染线程之间传递待渲染帧纹理结构体;
4、通过所述渲染线程执行视频渲染循环过程;
5、所述视频渲染循环过程包括:
6、在所述渲染线程被所述信号操作唤醒后,从所述渲染图层获取可绘制对象;从所述帧队列中获取最新帧纹理结构体,所述渲染图层挂载在主线程创建的用户界面视图上;
7、基于所述可绘制对象编码渲染指令至命令缓冲,所述渲染指令是以最新帧纹理结构体作为渲染源渲染至渲染目标的指令;将所述命令缓冲提交至gpu,以便于执行渲染及显示操作。
8、本技术在一较佳示例中可以进一步配置为:响应于解码线程解码出原始待显示视频帧的待显示视频帧之前,还包括:
9、在普通视图对象的图层上挂载渲染图层,所述渲染图层为基于metal框架的可绘制图层,并初始化metal渲染资源,所述metal渲染资源包括metal设备对象、命令队列对象、渲染管线状态对象、纹理缓存对象和帧信号量;
10、构建独立于主线程的渲染线程,在所述渲染线程中执行视频渲染循环过程。
11、本技术在一较佳示例中可以进一步配置为:对所述待显示视频帧进行纹理处理得到帧纹理结构体,包括:
12、将所述待显示视频帧的至少两个平面分别转换为第一纹理与第二纹理;
13、生成与所述待显示视频帧对应的帧纹理结构体,所述帧纹理结构体至少包括所述第一纹理、所述第二纹理。
14、本技术在一较佳示例中可以进一步配置为:基于所述可绘制对象编码渲染指令至命令缓冲,所述渲染指令是以最新帧纹理结构体作为渲染源渲染至渲染目标的指令;将所述命令缓冲提交至gpu,包括:
15、基于所述可绘制对象的纹理构建渲染通道描述符;
16、创建命令缓冲,并基于所述渲染通道描述符编码渲染指令,所述编码渲染指令至少包括:绑定顶点缓冲、绑定所述帧纹理结构体中的第一纹理与第二纹理、绑定颜色转换矩阵缓冲以及执行绘制指令;
17、对所述命令缓冲执行呈现标记并提交至所述命令队列对象,以使所述命令缓冲被gpu执行。
18、本技术在一较佳示例中可以进一步配置为:在将所述帧纹理结构体写入帧队列前,还包括:
19、检查帧队列的帧纹理结构体数量是否达到最大数量;
20、若达到最大数量,则丢弃旧帧纹理结构体,并将所述帧纹理结构体写入所述帧队列,使得所述帧队列的帧纹理结构体数量不大于最大数量。
21、本技术在一较佳示例中可以进一步配置为:丢弃旧帧纹理结构体,包括:
22、在互斥锁保护下,将待丢弃的旧帧纹理结构体移动至临时变量并从所述帧队列中移除;
23、在所述互斥锁之外对所述临时变量中的帧纹理结构体进行资源释放。
24、本技术在一较佳示例中可以进一步配置为:所述视频渲染循环过程还包括:
25、在所述渲染线程中,对所述帧信号量执行阻塞等待;
26、在所述渲染线程被所述信号操作唤醒后,执行从所述渲染图层获取可绘制对象;
27、若所述帧队列为空,则再次进入对所述帧信号量执行阻塞等待的步骤。
28、第二方面,提供了一种基于ios的渲染装置,包括:
29、响应单元,用于响应于解码线程解码出原始待显示视频帧的待显示视频帧,对所述待显示视频帧进行纹理处理得到帧纹理结构体,并在将所述帧纹理结构体写入帧队列后,对帧信号量执行信号增量操作,以唤醒阻塞等待中的渲染线程;所述渲染线程运行于独立于主线程的渲染队列中,所述帧队列用于在解码线程与渲染线程之间传递待渲染帧纹理结构体;
30、渲染单元,用于通过所述渲染线程执行视频渲染循环过程;
31、所述视频渲染循环过程包括:
32、在所述渲染线程被所述信号操作唤醒后,从所述渲染图层获取可绘制对象;从所述帧队列中获取最新帧纹理结构体,所述渲染图层挂载在主线程创建的用户界面视图上;
33、基于所述可绘制对象编码渲染指令至命令缓冲,所述渲染指令是以最新帧纹理结构体作为渲染源渲染至渲染目标的指令;将所述命令缓冲提交至gpu,以便于执行渲染及显示操作。
34、第三方面,提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器在运行所述计算机程序时执行第一方面任一项所述的方法。
35、第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如第一方面任一所述的方法。
36、第五方面,提供了一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被处理器执行时实现如第一方面任一所述的方法。
37、综上所述,本技术提供的基于ios的渲染方法包括以下有益技术效果:
38、解码线程在完成纹理处理后,将帧纹理结构体写入帧队列,随后对帧信号量执行信号增量操作;而渲染线程运行于独立于主线程的渲染队列中,使得渲染任务不会阻塞主线程的ui响应。渲染线程被唤醒后,从cametallayer获取可绘制对象,并从帧队列获取最新帧纹理结构体,进而编码渲染指令并提交gpu执行。在此过程中,帧队列作为数据中转通道确保了解码产出与渲染消费之间的速率匹配,而信号量机制则精确控制渲染线程的启动时机,避免渲染线程无效轮询占用cpu资源;同时,渲染线程独立于主线程运行,使得ui交互与渲染任务并行执行,从而在整体上避免渲染任务阻塞主线程、降低了渲染延迟。
39、此外,本技术还提供了一种基于ios的渲染装置、设备和介质,均具有上述有益技术效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com