基于写入预算的音视频轨时长对齐方法及设备与流程

摘要: 本技术涉及嵌入式音视频实时编码与容器封装,尤其涉及一种基于写入预算的音视频轨时长对齐方法及设备。背景技术:1、在现有技术中,在嵌入式多路视频录制领域,通常将h....
基于写入预算的音视频轨时长对齐方法及设备与流程

本技术涉及嵌入式音视频实时编码与容器封装,尤其涉及一种基于写入预算的音视频轨时长对齐方法及设备。

背景技术:

1、在现有技术中,在嵌入式多路视频录制领域,通常将h.264/h.265视频编码流与aac音频编码流混合封装为mp4、mov等容器文件,广泛应用于车载记录仪、安防监控录像设备等。现有技术中,音视频同步处理主要包括以下几类方案:

2、pts/dts时间戳重映射方案:在转码或后期处理阶段,按时间轴重新分配音视频包的时间戳,使播放时音画对齐。该方案需对整段媒体进行缓冲或回写容器索引信息,适用于非实时的转码、编辑场景,不适合嵌入式设备上30秒分段、循环写入的实时录制。

3、播放器端截断或填充方案:在播放端丢弃尾部多余音频,或在视频缺失时补静音,使播放过程音画一致。该方案不修正容器文件本身,文件内音视频轨可播放时长仍可能不一致,无法满足取证回放、司法鉴定及第三方转码对文件自洽性的要求。

4、固定比例混流方案:按固定比例将音频帧挂接到视频帧,例如 30fps时每2帧视频挂1帧aac。该方案在视频编码器按标称帧率稳定出帧时有效;当存储写入回压、gop扩展或链路恢复导致视频实际出帧速率低于标称帧率时,无法保证容器内两轨时长一致。

5、时间戳驱动取音频方案:封装时按视频帧时间戳从音频缓存中匹配最近邻aac帧并写入容器。该方案在音视频编码速率基本一致时可用;当音频编码器按wall-clock持续产出、而视频编码器因写卡回压实际变慢时,仍会写入过量aac,导致音频轨长于视频轨。

6、缓存水位管理与动态降码率方案:监测数据缓存区余量或写入延迟,动态调整编码码率或写入参数,以避免缓存溢出和数据丢失。该类方案解决的是"写不进去"或"丢帧"问题,未针对"音频写入过多导致容器内音视频轨时长不一致"进行处理。

7、上述嵌入式录制设备通常具有以下特点:视频编码通道与音频编码通道相互独立运行,无硬件锁相;多路视频录制可共享同一条音频编码输出流;存储介质写入速度波动会导致视频编码实际出帧间隔增大,而aac编码仍按采样率恒定产出。

8、因此,当sd卡等存储介质写入变慢、编码帧队列回压或gop实际变长时,常见现象是:同一容器文件内视频帧数按实际pack进度增长,而aac仍按wall-clock持续写入,造成音频轨可播放时长大于视频轨,出现播放器进度条异常、音画不同步及取证回放错位。

技术实现思路

1、本技术的一个目的是提供一种基于写入预算的音视频轨时长对齐方法及设备,在不依赖播放器事后修正、不对容器时间戳进行全文件重映射的前提下,不仅实现了嵌入式实时分段录制场景下容器文件内音视频轨时长对齐,还提升了播放兼容性、进度条显示准确性及取证回放的可靠性。

2、根据本技术的一个方面,提供了一种基于写入预算的音视频轨时长对齐方法,其特征在于,该方法应用于视频编码通道与音频编码通道相互独立运行的嵌入式录制设备,其中,所述方法包括:

3、在容器文件进行容器封装写入前,维护已封装写入的视频编码帧的数量n、已写入容器的aac音频帧的数量a以及aac音频帧的写入上限b;

4、在逐帧封装过程中,对待写入的每一帧视频编码帧重复执行如下操作,直至关闭所述容器文件,以使所述容器文件中的视频轨的可播放时长与所述aac音频轨的可播放时长相匹配:

5、在待写入当前视频编码帧时,将n加1,并根据实时n与当前视频录制通道的标称帧率fps,动态确定当前允许写入的所述aac音频帧的写入上限b;

6、若a大于等于b时,则直接将所述当前视频编码帧写入所述容器文件,不从aac音频缓存获取aac音频帧;

7、若a小于b时,则从所述aac音频缓存获取不超过ba帧aac音频帧并挂接至所述当前视频编码帧,将所述当前视频编码帧与挂接的aac音频帧混合封装写入所述容器文件,并根据实际已写入容器的aac音频帧的数量更新a。

8、进一步地,上述方法中,所述aac音频帧的写入上限b的计算公式为:

9、b=n×r_aac/(s_aac×fps);

10、其中,r_aac为aac采样率,s_aac为每一帧aac音频帧对应的采样点数,表示向上取整。

11、进一步地,上述方法中,所述aac音频帧的写入上限b的整数运算公式为:

12、b=(n×r_aac+s_aac×fps1)/(s_aac×fps)。

13、进一步地,上述方法中,若a小于b时,则从所述aac音频缓存获取不超过ba帧aac音频帧之前,所述方法还包括:

14、获取所述当前视频编码帧的时间戳curr_ts和前一视频编码帧的时间戳prev_ts并计算时间间隔curr_tsprev_ts;

15、若curr_tsprev_ts大于等于(1000/fps)×k时,则判定为时间戳异常跳变,其中,k为预设正整数;

16、在发生所述时间戳异常跳变时,将所述当前视频编码帧挂接的aac音频帧的数量限制为最多一帧。

17、进一步地,上述方法中,所述方法还包括:

18、在未发生所述时间戳异常跳变时,将所述当前视频编码帧挂接的aac音频帧的数量限制为最多m个,其中m为大于1的整数;

19、所述当前视频编码帧实际获取的aac音频帧的数量为min(m, ba)。

20、进一步地,上述方法中,在关闭所述容器文件时,所述方法还包括:

21、记录所述容器文件中的首帧视频编码帧的时间戳和末帧视频编码帧的时间戳之间的时间跨度t;

22、根据所述时间跨度t估算aac音频帧的理论产出数量e;

23、将max(0,ea)确定为未写入所述容器文件的aac音频帧的未写入数量d,用于诊断存储写入性能及编码异常情况;

24、其中,所述aac音频帧的理论产出数量e的计算公式为:

25、e=t×r_aac/(s_aac×1000)。

26、进一步地,上述方法中,所述嵌入式录制设备包括多个视频录制通道,多个所述视频录制通道共享同一条aac编码流和对应的一个aac音频缓存;

27、其中,每个视频录制通道,独立维护对应的n、a和b;

28、当各视频录制通道从共享的aac音频缓存获取aac音频帧时,对已获取的aac音频帧进行通道占用标记,其中,同一帧aac音频帧不被两个以上的视频录制通道重复写入。

29、进一步地,上述方法中,所述方法还包括:

30、在成功创建新的容器文件时,将所述新的容器文件对应的n和a重置为零,并将所述新的容器文件对应的首帧视频编码帧的时间戳和末帧视频编码帧的时间戳置零。

31、根据本技术的另一个方面,还提供了一种非易失性存储介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述基于写入预算的音视频轨时长对齐方法。

32、根据本技术的另一个方面,还提供了一种基于写入预算的音视频轨时长对齐设备,其中,该设备包括:

33、一个或多个处理器;

34、计算机可读介质,用于存储一个或多个计算机可读指令,

35、当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述基于写入预算的音视频轨时长对齐方法。

36、与现有技术相比,本技术应用于视频编码通道与音频编码通道相互独立运行的嵌入式录制设备,包括:在容器文件进行容器封装写入前,维护已封装写入的视频编码帧的数量n、已写入容器的aac音频帧的数量a以及aac音频帧的写入上限b;在逐帧封装过程中,对待写入的每一帧视频编码帧重复执行如下操作,直至关闭所述容器文件,以使所述容器文件中的视频轨的可播放时长与所述aac音频轨的可播放时长相匹配:在待写入当前视频编码帧时,将n加1,并根据实时n与当前视频录制通道的标称帧率fps,动态确定当前允许写入的所述aac音频帧的写入上限b;若a大于等于b时,则直接将所述当前视频编码帧写入所述容器文件,不从aac音频缓存获取aac音频帧;若a小于b时,则从所述aac音频缓存获取不超过ba帧aac音频帧并挂接至所述当前视频编码帧,将所述当前视频编码帧与挂接的aac音频帧混合封装写入所述容器文件,并根据实际已写入容器的aac音频帧的数量更新a。在本技术中,在不依赖播放器事后修正、不对容器时间戳进行全文件重映射的前提下,不仅实现了嵌入式实时分段录制场景下容器文件内音视频轨时长对齐,还提升了播放兼容性、进度条显示准确性及取证回放的可靠性。