一种基于FBO双缓冲的跨EGL上下文纹理共享方法与流程

摘要: 本申请涉及图形渲染,尤其涉及一种基于fbo双缓冲的跨egl上下文纹理共享方法。背景技术:1、在android车载双屏、多屏广告机等多屏异显应用场景中,通常需要将...
一种基于FBO双缓冲的跨EGL上下文纹理共享方法与流程

本申请涉及图形渲染,尤其涉及一种基于fbo双缓冲的跨egl上下文纹理共享方法。

背景技术:

1、在android车载双屏、多屏广告机等多屏异显应用场景中,通常需要将同一路视频解码画面同步渲染至多个显示屏幕。android平台mediaplayer、mediacodec等标准多媒体解码组件输出的视频帧,均以oes外部纹理形式承载,该类纹理具备极强的egl上下文绑定特性,仅可在其创建的单一egl上下文内被读取和渲染,无法直接在不同egl上下文、不同渲染线程之间进行共享调用,该固有特性极大限制了多屏同步视频渲染的实现,成为android平台跨上下文视频纹理共享的核心技术壁垒,同时难以适配qt/qml框架下的多线程ui渲染与多屏展示开发需求。

2、目前业内针对跨egl上下文纹理共享已存在多种实现方案,但均存在无法规避的技术缺陷。其中,基于eglimage扩展的共享方式存在设备gpu驱动适配不一致、android版本行为差异大、资源生命周期管理繁琐的问题;采用cpu回读再上传的方案需经过gpu至cpu、再由cpu至gpu的数据传输流程,带宽消耗高、渲染延迟大,难以满足60fps实时视频渲染要求;基于gralloc硬件缓冲的共享方案依赖系统底层hal层能力,应用层开发落地门槛高,且各设备厂商gralloc实现方案碎片化严重,通用性与兼容性较差,导致现有技术无法同时满足高性能、高兼容、低开发成本的多屏同步渲染需求。

技术实现思路

1、有鉴于此,本申请实施例提供了一种基于fbo双缓冲的跨egl上下文纹理共享方法、装置、电子设备及存储介质,能够实现实时多屏视频渲染,具备设备通用性与版本兼容性,降低多屏异显视频同步展示的开发落地难度与适配成本。

2、本申请实施例的技术方案是这样实现的:

3、第一方面,本申请实施例提供一种基于fbo双缓冲的跨egl上下文纹理共享方法,包括以下步骤:

4、在主渲染线程创建主egl上下文,分别为纹理复制线程、第二屏渲染线程创建从属egl上下文,并将所有从属egl上下文与所述主egl上下文绑定为共享上下文组;

5、通过主渲染线程创建oes外部纹理,将所述oes外部纹理与多媒体解码组件绑定,通过多媒体解码组件将视频帧数据输出至所述oes外部纹理;

6、创建两个分别对应读、写通道的纹理缓冲单元,每个纹理缓冲单元均配置独立的fbo帧缓冲对象、标准2d纹理及就绪状态标识,并初始化写缓冲索引与读缓冲索引;

7、通过纹理复制线程异步执行纹理转换,激活共享egl上下文,绑定当前写缓冲索引对应的fbo帧缓冲对象与标准2d纹理,基于oes专用着色器对所述oes外部纹理进行采样渲染,将oes纹理数据离屏绘制至标准2d纹理;

8、纹理转换完成后标记当前写缓冲单元为就绪状态,通过原子操作更新读缓冲索引为当前写缓冲索引,并切换写缓冲索引至另一空闲纹理缓冲单元;

9、通过第二屏渲染线程实时读取当前读缓冲索引对应的就绪标准2d纹理,基于标准opengl es接口完成副屏视频帧渲染,以实现多屏同步显示。

10、第二方面,本申请实施例还提供一种基于fbo双缓冲的跨egl上下文纹理共享装置,所述装置包括:

11、上下文构建模块,用于在主渲染线程创建主egl上下文,分别为纹理复制线程、第二屏渲染线程创建从属egl上下文,并将所有从属egl上下文与所述主egl上下文绑定为共享上下文组;

12、纹理绑定模块,用于通过主渲染线程创建oes外部纹理,将所述oes外部纹理与多媒体解码组件绑定,通过多媒体解码组件将视频帧数据输出至所述oes外部纹理;

13、双缓冲初始化模块,用于创建两个分别对应读、写通道的纹理缓冲单元,每个纹理缓冲单元均配置独立的fbo帧缓冲对象、标准2d纹理及就绪状态标识,并初始化写缓冲索引与读缓冲索引;

14、纹理转换模块,用于通过纹理复制线程异步执行纹理转换,激活共享egl上下文,绑定当前写缓冲索引对应的fbo帧缓冲对象与标准2d纹理,基于oes专用着色器对所述oes外部纹理进行采样渲染,将oes纹理数据离屏绘制至标准2d纹理;

15、缓冲切换模块,用于纹理转换完成后标记当前写缓冲单元为就绪状态,通过原子操作更新读缓冲索引为当前写缓冲索引,并切换写缓冲索引至另一空闲纹理缓冲单元;

16、渲染输出模块,用于通过第二屏渲染线程实时读取当前读缓冲索引对应的就绪标准2d纹理,基于标准opengl es接口完成副屏视频帧渲染,以实现多屏同步显示。

17、第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行第一方面任一项所述的基于fbo双缓冲的跨egl上下文纹理共享方法。

18、第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行第一方面任一项所述的基于fbo双缓冲的跨egl上下文纹理共享方法。

19、本申请实施例具有以下有益效果:

20、通过构建多线程共享egl上下文组实现跨线程纹理资源互通,依托fbo离屏渲染方式将无法跨上下文共享的oes外部纹理实时转换为标准2d纹理,全程仅在gpu内部完成数据转换与迁移,无需cpu参与数据回读与重新上传,有效降低cpu资源占用与总线数据传输开销,大幅缩短纹理转换耗时,能够稳定支撑多屏异显场景下30-60fps的实时视频渲染需求;同时本发明通过双缓冲结构配合原子索引切换机制完成帧数据的有序读写调度,规范多线程渲染流程,有效规避多线程读写竞争导致的画面异常问题,保障多屏视频渲染的同步性与连续性,且整体方案基于通用opengl es标准接口实现,不依赖专属硬件驱动与系统底层hal扩展,可良好适配qt/qml开发框架及各类android终端设备,显著提升跨egl上下文纹理共享的通用性与场景适配能力。

1.一种基于fbo双缓冲的跨egl上下文纹理共享方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述在主渲染线程创建主egl上下文,分别为纹理复制线程、第二屏渲染线程创建从属egl上下文,并将所有从属egl上下文与所述主egl上下文绑定为共享上下文组,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过纹理复制线程异步执行纹理转换,激活共享egl上下文,绑定当前写缓冲索引对应的fbo帧缓冲对象与标准2d纹理,基于oes专用着色器对所述oes外部纹理进行采样渲染,将oes纹理数据离屏绘制至标准2d纹理,包括:

4.根据权利要求1所述的方法,其特征在于,所述纹理转换完成后标记当前写缓冲单元为就绪状态,通过原子操作更新读缓冲索引为当前写缓冲索引,并切换写缓冲索引至另一空闲纹理缓冲单元,包括:

5.根据权利要求1所述的方法,其特征在于,所述纹理复制线程为与主渲染线程、第二屏渲染线程相互解耦的独立后台异步线程,通过任务队列接收纹理转换任务,在后台异步执行纹理拷贝转换操作。

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种基于fbo双缓冲的跨egl上下文纹理共享装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至7任一项所述的基于fbo双缓冲的跨egl上下文纹理共享方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的基于fbo双缓冲的跨egl上下文纹理共享方法。