多路异构音视频流复用合成方法、系统、终端及存储介质与流程
本发明涉及音视频流处理,更具体地说,涉及一种多路异构音视频流复用合成方法、系统、终端及存储介质。
背景技术:
1、在多路音视频监控录制与显示系统中,通常同时接入多种来源的音视频流:一类是经本地高速总线(如pcie)由可编程逻辑器件(fpga)传来的本地源,另一类是经网络(如rtmp/rtsp)拉取的远端源;系统需要将这些异构源流统一复用到同一画面(画布)中进行拼接显示,并分别录制。
2、现有技术处理此类异构多路流时,普遍采用如下流程:
3、1.格式统一:将各路流先解码,再通过软件或独立的图像处理单元将各不相同的像素格式统一转换为同一种格式。
4、2.时钟对齐:将各路的时钟通过时间戳对齐/重采样统一到同一时钟域,再进行合成。
5、3.解码重编码录制:录制网络流时,先解码再重新编码(或至少解码后转封装),以得到统一格式的录制文件。
6、现有技术存在如下本质缺陷:
7、1.格式统一引入冗余处理:本地源(例如uyvy格式)与网络源(例如nv12格式)像素格式不同,现有技术须先做显式的软件格式转换或增加独立的图像处理单元(如vpss)作为中间级,导致额外的cpu占用、内存带宽与处理延迟。
8、2.时钟对齐引入高延迟:多路源虽标称同为60fps、但由相互独立的时钟源驱动(例如fpga以148.5mhz像素时钟输出1080p60本地源、网络源受远端编码器时钟约束、显示受vsync约束),各时钟存在微小频率漂移,现有技术认为必须做时钟级对齐才能合成,导致缓冲延迟与实现复杂度显著上升;而监控录制场景下,多路画面的时钟微小漂移本可接受。
9、3.解码重编码录制浪费资源:录制网络流时,解码再重编码(或解码转封装)会占用解码器(vdec)、编码器(venc)及大量内存带宽,而录制诉求仅是"保留源流本身",无需改变其码率、分辨率与帧率。
10、4.多消费者拷贝:同一帧数据需要同时供编码、显示、录制多个消费者使用时,现有技术常为每个消费者拷贝一份,带来内存复制开销与缓存一致性问题。
11、因此,需要一种能够解决上述缺陷的多路异构音视频流复用合成方法。
技术实现思路
1、本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种多路异构音视频流复用合成方法,还提供了一种多路异构音视频流复用合成系统,一种多路异构音视频流复用合成终端及一种计算机可读存储介质。
2、本发明解决其技术问题所采用的技术方案是:
3、构造一种多路异构音视频流复用合成方法,其中,包括以下步骤:
4、接收多路音视频源流,多路音视频源流中至少包括经本地传输的本地源流与经网络传输的网络源流;
5、为每路音视频源流维护一个最新帧槽,并以最新到达的帧替换最新帧槽中的上一帧,当某路音视频源流中断时保持该路最新帧槽中的上一帧不变,其中,各路音视频源流之间不进行时钟对齐与重采样,各路最新帧槽相互独立地更新;
6、由硬件图形引擎将各路音视频源流的最新帧槽中的帧缩放、定位到统一画布,并在缩放、定位的过程中同步完成不同像素格式之间的跨格式转换,以将多路音视频源流合成为统一格式画布;
7、通过引用计数使合成后的统一格式画布中对应的帧数据以及各路最新帧槽中的视频帧数据被多个消费者共享:编码消费者、显示消费者、录制消费者各自对同一帧数据的引用计数加一后再使用,使用完毕减一,实现零拷贝的多路复用。
8、本发明所述的多路异构音视频流复用合成方法,其中,以最新到达的帧替换最新帧槽中的上一帧包括:
9、每路音视频源流对应一个最新帧槽,最新帧槽内保存该路音视频源流的最新帧的引用;
10、当最新帧到达时,对最新帧的引用计数加一,并将最新帧写入最新帧槽,再对最新帧槽中上一帧的引用计数减一,实现最新帧槽的原子替换;
11、将各路音视频源流的源帧的时间戳在进入最新帧槽时统一换算为同一时间单位,供显示与编码使用。
12、本发明所述的多路异构音视频流复用合成方法,其中,当某路音视频源流中断时保持该路最新帧槽中的上一帧不变包括:
13、当某路音视频源流在一段时间内无新帧到达时,不更新该路最新帧槽,硬件图形引擎持续使用该路最新帧槽中的上一帧参与合成,使该路画面保持最后有效画面;当音视频源流恢复时再恢复更新;
14、其中,所述硬件图形引擎以显示刷新信号为合成主时钟,在每个合成周期逐次从各路最新帧槽中取当前最新帧参与合成;所述一段时间的判定时长根据该路音视频源流的标称帧间隔确定。
15、本发明所述的多路异构音视频流复用合成方法,其中,由硬件图形引擎将各路音视频源流的最新帧槽中的帧缩放、定位到统一画布,并在缩放、定位的过程中同步完成不同像素格式之间的跨格式转换,以将多路音视频源流合成为统一格式画布包括:
16、硬件图形引擎支持批量任务模式:启动一个合成任务组,在合成任务组内挂接多个缩放定位任务,每个缩放定位任务独立声明其源帧的像素格式、源矩形与目标矩形,目标画布固定为一种格式;硬件图形引擎在执行每个缩放定位任务时,在缩放、定位的同时自动完成源格式到目标画布格式的转换;
17、其中,还包括:预先校验所述硬件图形引擎的多个处理核各自支持的像素格式转换组合,在执行所述缩放定位任务时,从所述多个处理核中选择支持该任务所需源格式到目标格式转换的处理核执行该任务;各缩放定位任务的目标矩形由布局表确定,所述布局表记录不同源流路数下各窗口的位置与尺寸;在源流路数发生变化时,切换至对应的布局表而保持所述合成任务组的执行逻辑不变。
18、本发明所述的多路异构音视频流复用合成方法,其中,所述本地源流的像素格式为第一格式、所述网络源流的像素格式为第二格式,所述第一格式与所述第二格式分别作为不同任务的源,目标均为同一画布;硬件图形引擎使两类不同格式的源流在无软件格式转换、无中间图像处理单元的情况下合成为统一画布。
19、本发明所述的多路异构音视频流复用合成方法,其中,还包括对网络源流的零解码透传录制:
20、在解复用输出处设置分叉点,将网络源流解复用得到的视频基本流与音频基本流,既送往解码/显示路径,又送往录制路径,两条路径互不阻塞。
21、本发明所述的多路异构音视频流复用合成方法,其中,
22、视频基本流若已为带起始码的annex-b格式,则直接按到达顺序写盘;若视频基本流为长度前缀格式,则在写盘前将每个网络抽象层单元前的长度前缀替换为起始码,并将解复用得到的序列参数集与图像参数集插入每个关键帧之前;所述录制路径在启动后,等待视频基本流的首个关键帧到达后再开始写盘;生成可直接播放的视频文件,不经解码、不经重编码;
23、音频基本流若为裸aac,则在每个音频帧前补加7字节adts头,生成可独立播放的音频文件;7字节adts头包含同步字、音频对象类型、采样率索引、声道配置和帧长。
24、一种多路异构音视频流复用合成系统,用于实现如上述的多路异构音视频流复用合成方法,其中,包括:
25、接收模块,用于接收多路音视频源流,多路音视频源流中至少包括经本地传输的本地源流与经网络传输的网络源流;
26、最新帧槽维护模块,用于为每路音视频源流维护一个最新帧槽,并以最新到达的帧替换最新帧槽中的上一帧,当某路音视频源流中断时保持该路最新帧槽中的上一帧不变;
27、硬件图形引擎,用于将各路音视频源流的最新帧槽中的帧缩放、定位到统一画布,并在缩放、定位的过程中同步完成不同像素格式之间的跨格式转换,将多路音视频源流合成为统一格式画布;
28、引用计数管理模块,用于通过引用计数使合成后的统一格式画布中对应的帧数据以及各路最新帧槽中的视频帧数据被多个消费者共享:编码消费者、显示消费者、录制消费者各自对同一帧数据的引用计数加一后再使用,使用完毕减一,实现零拷贝的多路复用;
29、透传录制模块,用于在解复用输出处设置分叉点,将网络源流解复用得到的视频基本流与音频基本流,既送往解码/显示路径,又送往录制路径,两条路径互不阻塞。
30、一种多路异构音视频流复用合成终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上述方法的步骤。
31、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时实现如上述方法的步骤。
32、本发明的有益效果在于:
33、1、异构源流可直接接入:不要求各路在接入时即具有相同像素格式或处于同一时钟域,接入侧无需为每个路配置格式转换或时基对齐的前置处理,简化了系统结构。
34、2、各路时钟微小差异不会导致画面错乱或阻塞:每路源流各自维护最新帧槽、相互独立更新,合成端在各合成周期取当前最新帧参与合成,某一路帧率的微小差异不会在各路间累积传递,也不会因等待某一路而阻塞其他路;相比于需将各路统一到同一时钟域的方案,本发明无需引入对齐缓冲,降低了合成链路的延迟与实现复杂度。
35、3、单路中断时保持最后有效画面而非黑屏:源流中断时保持该路上一帧而不清空槽位,合成端在中断期间持续使用该帧参与合成,避免整个画面出现黑块,提升了多路监控显示场景下的画面可用性与连续性。
36、4、跨格式转换在缩放、定位过程中顺带完成:硬件图形引擎在执行缩放、定位的同时完成格式转换,像素格式统一不再是独立于合成之外的处理环节;相比于先解码再经软件转换或经vpss等独立中间处理单元统一格式的方案,省去了该独立环节,相应省去了其对cpu的占用及至少一次完整帧读写所占用的内存带宽,缩短了处理链路。
37、5、画布帧数据被多个消费者共享而无内存复制:编码、显示、录制消费者仅对同一帧数据的引用计数加一后使用、使用完毕减一,不对帧数据本身复制,消除了多消费者场景下的内存复制开销与缓存一致性开销;同时帧数据在全部消费者使用完毕前不被释放或覆写,使用后回收复用,在保证生命周期正确的同时实现零拷贝。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com