一种多屏采集与流式传输控制方法及电子设备与流程
本发明涉及多屏采集与流式传输控制,具体为一种多屏采集与流式传输控制方法及电子设备。
背景技术:
1、多屏采集与流式传输是指将计算机终端多个物理显示接口输出的独立屏幕内容,以实时、高画质的方式采集并传输至远端的技术。随着智能安防、远程医疗、工业视觉以及超高清制播等领域的快速发展,搭载图形处理器的计算机终端在指挥中心大屏显示、多屏监控与调度、远程云桌面等场景中得到了广泛应用。此类应用普遍要求系统能够并发接入多路高分辨率画面源,并对每一路画面实时执行格式转换、编码及传输等处理。
2、但是,在并发处理多路超高清屏幕画面时,现有多屏采集与流式传输方案中,采集、编码与传输各环节耦合松散,数据在显存、系统内存及编码器缓冲区之间反复拷贝,将引入显著的传输延迟与带宽开销。同时,现有方案的硬件资源调度方式粗放,多路高分辨率视频并发处理时容易出现吞吐量下降、各通道帧率波动以及多路流间同步偏差持续累积等现象,将严重影响系统的实时性与稳定性,难以满足对实时性和可靠性有严苛要求的多路视频并发应用场景。
技术实现思路
1、本发明的目的是能够有效降低多屏采集与传输的端到端时延,提升多路并发处理的吞吐量与稳定性,而提出的一种多屏采集与流式传输控制方法及电子设备。
2、第一方面,本发明的实施例提供了一种多屏采集与流式传输控制方法,包括:
3、基于异步并行分别获取多个物理屏幕对应的屏源数据;
4、在图形处理器的显存中为各所述物理屏幕分配环形缓冲区,并将所述屏源数据共享至对应的所述环形缓冲区;
5、对所述环形缓冲区中的所述屏源数据进行格式转换,生成像素流包;
6、通过所述图形处理器的显存直接访问引擎,以直接内存访问方式将所述像素流包搬运至所述图形处理器的编码模块的输入缓冲区;
7、对所述编码模块进行资源池化管理,建立虚拟编码通道,并采用时分复用策略通过所述虚拟编码通道对多路所述像素流包进行并发编码,生成编码码流;
8、将所述编码码流进行协议封装并经网络传输层进行流式传输。
9、在一实施例中,所述采用时分复用策略通过所述虚拟编码通道对多路所述像素流包进行并发编码包括:
10、构建调度模型,通过所述调度模型根据所述编码模块的占用时长和编码优先级,控制各所述虚拟编码通道的编码时隙;
11、获取各所述虚拟编码通道对应的当前帧率、分辨率、画面运动复杂度及瞬时码率波动;
12、根据所述当前帧率、所述分辨率、所述画面运动复杂度及所述瞬时码率波动,动态调整所述调度模型的调度策略,其中,所述调度策略包括:在所述画面运动复杂度超过预设复杂度阈值,或所述编码优先级超过预设优先级阈值的情况下,提升对应的所述虚拟编码通道的编码时隙权重。
13、在一实施例中,还包括:
14、利用所述编码模块的并行处理单元,将不同所述虚拟编码通道的所述像素流包划分为多个切片,并对不同所述虚拟编码通道的所述切片进行并行编码处理;
15、实时监测网络拥塞状态,在所述网络拥塞状态超过预设拥塞阈值时,提高所述编码优先级未超过所述预设优先级阈值的所述虚拟编码通道的量化参数或降低其编码帧率,并将释放的编码资源重新分配给所述编码优先级超过所述预设优先级阈值的所述虚拟编码通道。
16、在一实施例中,所述对所述编码模块进行资源池化管理,还包括:
17、加载所述编码模块的驱动,创建编码资源池及编码上下文,查询所述编码模块的编码能力并初始化编码参数;
18、从所述输入缓冲区中获取所述像素流包,利用所述编码上下文对所述像素流包按照预设的格式协议进行编码,生成所述编码码流,并将所述编码码流存入发送队列;
19、在所述编码码流存入所述发送队列后,判断当前编码任务是否结束;若所述编码任务未结束,则继续从所述输入缓冲区中获取下一所述像素流包执行编码;若所述编码任务已结束,则销毁所述编码上下文,释放所述编码资源池及线程资源。
20、在一实施例中,所述将所述编码码流进行协议封装并经网络传输层进行流式传输,包括:
21、通过网络服务模块创建传输控制协议服务,将监听端口注册至任务调度模块的轮询器中,使所述轮询器持续监听所述监听端口上的可读事件;
22、响应于所述轮询器监听到所述监听端口上的所述可读事件,所述网络服务模块通过回调连接收发器,创建传输控制协议连接;
23、在所述传输控制协议连接识别到实时流传输协议时,将所述传输控制协议连接升级为实时流传输协议连接,并与实时流传输协议服务绑定,以通过所述实时流传输协议服务解析和响应客户端的请求;
24、响应于所述客户端的请求开始播放指令,通过所述实时流传输协议服务触发实时传输协议收发器进入工作状态,从所述发送队列中获取所述编码码流,向所述客户端传输媒体流。
25、在一实施例中,所述任务调度模块通过所述轮询器监听输入输出事件和定时器事件,并通过线程池执行异步任务,所述向所述客户端传输媒体流,包括:
26、在所述输入输出事件或所述定时器事件触发时,回调对应模块执行处理逻辑;
27、当所述任务调度模块触发发送任务时,实时传输协议封装器从媒体处理模块中获取所述编码码流,将所述编码码流封装为实时传输协议数据包后通过网络向所述客户端发送。
28、在一实施例中,所述基于异步并行分别获取多个物理屏幕对应的屏源数据,包括:
29、动态获取各所述物理屏幕的屏源数据参数,其中,所述屏源数据参数用于描述所述屏源数据的属性,包括分辨率、色深和刷新率;
30、根据所述屏源数据参数,对各所述物理屏幕配置可变采集策略,其中,所述可变采集策略包括全屏采集模式和增量更新模式;
31、基于所述可变采集策略,对各所述物理屏幕进行异步并行采集,获取所述屏源数据。
32、在一实施例中,所述全屏采集模式包括:
33、响应于检测到所述屏源数据的输出目标地址发生变更,启用所述全屏采集模式,对当前所述物理屏幕的完整画面进行采集;
34、所述增量更新模式包括:
35、在所述输出目标地址未发生变更的情况下,仅获取自上一帧以来发生更新的屏幕区域数据作为所述屏源数据。
36、在一实施例中,在所述全屏采集模式或所述增量更新模式下执行采集时,还包括:
37、通过钩子机制监听屏幕刷新事件,在一次完整的屏幕绘制周期结束后触发采集操作;
38、通过桌面系统图形接口直接访问帧缓冲,获取各所述物理屏幕的屏幕像素数据作为所述屏源数据。
39、第二方面,本发明的实施例提供了一种电子设备,包括处理器、图形处理器及存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如上述的多屏采集与流式传输控制方法。
40、与现有技术相比,本技术的技术方案具有以下有益技术效果:
41、本发明通过构建基于图形处理器显存内的环形缓冲区实现屏源数据的零拷贝共享,并利用显存直接访问引擎以直接内存访问方式将像素流包搬运至编码模块输入缓冲区,消除了数据在显存、系统内存与编码模块缓冲区之间的冗余搬移,从根源上降低了端到端传输时延。同时,通过对编码模块进行资源池化管理并建立虚拟编码通道,采用时分复用策略对多路像素流包进行并发编码,将有限的物理编码核心在多路虚拟通道间高效分配,避免了单路阻塞对整体吞吐的影响,使系统在多路高分辨率并发场景下仍能保持稳定的编码帧率。此外,通过异步并行采集多个物理屏幕的屏源数据,结合可变采集策略与钩子机制监听屏幕刷新事件,能够有效保证多路画面的采集效率和数据完整性,为后续编码与流式传输提供高质量的数据源。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com