一种跨URLHLS回放的连续MP4录像方法及系统与流程
本技术涉及音视频存储与回放,具体而言,涉及一种跨url hls回放的连续mp4录像方法及系统。
背景技术:
1、在云存储hls回放场景中,用户可在观看回放过程中启动本地手动录像。云端播放地址通常具有时效性,当前播放地址正常结束、过期或网络异常后,客户端需要获取新的播放地址继续回放。若录像文件仍与单个播放地址任务绑定,则每次地址切换都会关闭当前mp4文件,导致一次用户录像操作被拆分成多个文件。
2、现有方案通常将一个播放地址任务直接对应一个录像文件,播放地址更新时关闭旧文件并新建文件,导致同一次用户录像被切成多个零散mp4文件,后续查看、归档或分享时需要人工拼接。部分方案只要播放地址变化就保持旧文件句柄,但没有等待新地址的首个有效关键帧,若新文件续写从预测帧或其他非随机访问媒体单元开始,播放器可能无法从文件起始位置正确解码。
3、此外,现有方案还存在以下不足:只判断地址是否变化,未同时核对新旧音视频编码配置和媒体时间连续性,新地址如果切换了编码格式、分辨率、音频配置,或者回放位置发生回退,继续写入同一mp4文件可能造成参数不一致或文件内时间轴倒退;播放地址切换存在新旧任务并行窗口,旧任务可能在新任务已经接管录像后才上报完成、失效或失败,若旧任务仍可关闭文件或发送录像结束通知,上层会误认为用户录像已经停止;在高倍速回放时,显示链路可能主动丢弃部分非关键视频帧以维持播放性能,若录像写入位于该丢帧逻辑之后,本地录像内容会被显示策略意外截断。
4、因此,需要一种在同一设备、同一通道的hls回放发生播放地址切换时,能够在保证mp4封装完整性和可播放性的前提下,判断继续写入原文件还是新建文件,并防止旧任务异步退出影响新任务录像过程的方法。
技术实现思路
1、本技术的目的在于提供一种跨url hls回放的连续mp4录像方法及系统,通过建立独立于播放地址任务的录制上下文、在地址切换时移交录制上下文、以新地址首关键帧为写入门控、在首关键帧到达时执行连续文件判定以及执行所有者终态收口,以在播放地址切换时保持用户录像的连续性并保证每个输出mp4文件的可播放性。
2、第一方面,本技术实施例提供了一种跨url hls回放的连续mp4录像方法,包括以下步骤:
3、建立录制上下文,所述录制上下文独立于播放地址任务,所述录制上下文包括同一设备标识和通道标识对应的逻辑回放身份、录像请求状态、当前mp4文件句柄、已打开文件的音视频编码参数基线、最近写入媒体时间、关键帧状态、最近关键帧组缓存和当前所有者任务序号;
4、响应于播放地址切换,将新播放地址与旧播放地址进行比较:当所述新播放地址与所述旧播放地址相同且旧任务未结束时,保持当前任务不变;当所述新播放地址与所述旧播放地址不同时,创建具有新任务序号的新任务,由所述新任务接管所述录制上下文并更新所述当前所有者任务序号,将所述录制上下文设置为等待新地址首关键帧状态,所述旧任务被标记为已替换,所述旧任务的录像终态通知被抑制;
5、在所述等待新地址首关键帧状态下接收新地址的媒体包,对所述媒体包进行视频关键帧识别,在未识别到视频关键帧前不向当前mp4文件写入新地址的视频内容;
6、当在所述等待新地址首关键帧状态下识别到视频关键帧时,执行连续文件判定:当所述新任务的音视频编码参数与所述已打开文件的音视频编码参数基线不兼容时,关闭原文件并创建新mp4文件;当新关键帧的媒体时间相对于所述最近写入媒体时间回退超过预设阈值时,关闭原文件并创建新mp4文件;当所述编码参数兼容且所述媒体时间未回退超过预设阈值时,保持原文件句柄并将新地址的音视频媒体包追加至当前mp4文件;
7、在所述连续文件判定完成后,仅由所述录制上下文的当前所有者任务关闭所述mp4文件并发送录像终态通知,且所述录像终态通知仅发送一次。
8、优选地,所述录制上下文还包括:互斥锁、录像开始通知状态、录像终态通知状态、文件序号、文件路径、锁存的当前播放任务音视频参数、已开文件参数有效状态、地址切换状态和mp4写入信息。
9、优选地,在所述由所述新任务接管所述录制上下文之后,还包括:当所述旧任务在预设等待时间内未停止时,不向当前mp4文件写入新地址数据,恢复所述旧任务的录制所有权并拒绝本次切换;同一逻辑回放身份的切换请求串行处理,前一轮切换未结束时,后续切换请求返回会话忙。
10、优选地,所述视频关键帧的识别包括:
11、当媒体包为视频包且媒体包扩展标识指示为关键帧时,判定为关键帧;当所述媒体包扩展标识未指示关键帧时,解析视频有效载荷中的网络抽象层单元,h.264编码时网络抽象层类型为5的单元判定为关键帧,h.265编码时网络抽象层类型处于16至21的单元判定为随机访问帧。
12、优选地,在所述建立录制上下文之后,还包括:
13、维护最近关键帧组缓存,所述缓存保存最近一个以关键帧开始至当前媒体包的图像组;
14、收到新的关键帧时,清空旧缓存并以所述新的关键帧开始新的缓存;
15、用户中途启动录像时,当所述缓存具备以关键帧开始的图像组时,打开mp4写入器,先将所述缓存中的图像组按缓存顺序写入mp4文件,再写入当前及后续媒体包;当所述缓存不具备时,等待收到关键帧后打开mp4写入器,并写入所述缓存中的图像组和当前关键帧。
16、优选地,所述音视频编码参数包括视频参数和音频参数,所述视频参数包括视频编码类型、帧率和视频编码配置数据,所述音频参数包括音频是否启用、音频编码类型、采样率、采样位宽、声道数、音频帧率和码率;将所述新任务的音视频编码参数与所述已打开文件的音视频编码参数基线中的各项进行比较,当存在任一项不同时,判定所述音视频编码参数不兼容;不支持的音频编码,或采样率、声道数不满足写入器条件时,按无音频打开mp4文件。
17、优选地,所述媒体时间回退的判定包括:将新关键帧的媒体时间戳加上所述预设阈值,当相加结果小于所述最近写入媒体时间时,判定媒体时间回退,关闭原文件并创建新mp4文件。
18、优选地,所述关闭所述mp4文件的操作包括:
19、刷出最后未落盘的视频和音频数据块;更新mdat的实际长度;更新视频和音频样本表及时间轴索引,所述样本表包括stts、stsz、stsc、stss和stco;根据当前样本表写入moov;关闭当前mp4文件。
20、优选地,在所述将新地址的音视频媒体包追加至当前mp4文件之前,还包括:将同一编码媒体包先送入录像链路,再送入显示链路的高倍速丢帧判断;所述录像链路接收完整编码媒体包并执行关键帧识别、图像组缓存和mp4写入,所述显示链路根据播放倍速丢弃非关键视频帧,所述显示链路的丢帧处理不改变所述录像链路写入的mp4文件内容。
21、第二方面,本技术实施例提供了一种跨url hls回放的连续mp4录像系统,包括:
22、录制上下文管理模块,用于建立独立于播放地址任务的录制上下文,所述录制上下文包括同一设备标识和通道标识对应的逻辑回放身份、录像请求状态、当前mp4文件句柄、已打开文件的音视频编码参数基线、最近写入媒体时间、关键帧状态、最近关键帧组缓存和当前所有者任务序号;
23、任务移交模块,用于响应于播放地址切换,将新播放地址与旧播放地址进行比较:当所述新播放地址与所述旧播放地址相同且旧任务未结束时,保持当前任务不变;当所述新播放地址与所述旧播放地址不同时,创建具有新任务序号的新任务,由所述新任务接管所述录制上下文并更新所述当前所有者任务序号,将所述录制上下文设置为等待新地址首关键帧状态,所述旧任务被标记为已替换,所述旧任务的录像终态通知被抑制;
24、关键帧门控模块,用于在所述等待新地址首关键帧状态下接收新地址的媒体包,对所述媒体包进行视频关键帧识别,在未识别到视频关键帧前不向当前mp4文件写入新地址的视频内容;
25、连续文件判定模块,用于当在所述等待新地址首关键帧状态下识别到视频关键帧时执行连续文件判定:当所述新任务的音视频编码参数与所述已打开文件的音视频编码参数基线不兼容时,关闭原文件并创建新mp4文件;当新关键帧的媒体时间相对于所述最近写入媒体时间回退超过预设阈值时,关闭原文件并创建新mp4文件;当所述编码参数兼容且所述媒体时间未回退超过预设阈值时,保持原文件句柄并将新地址的音视频媒体包追加至当前mp4文件;
26、终态收口模块,用于在所述连续文件判定完成后,仅由所述录制上下文的当前所有者任务关闭所述mp4文件并发送录像终态通知,且所述录像终态通知仅发送一次。
27、本发明相较于现有技术的方案,至少具有以下有益的技术效果:
28、(1)通过建立独立于播放地址任务的录制上下文,并在播放地址切换时由新任务接管该录制上下文,使得一次用户手动录像可跨多个短生命周期hls播放地址保持为同一个mp4文件,减少因播放地址切换造成的文件碎片和人工拼接操作;
29、(2)通过首关键帧门控、编码参数兼容性判断和媒体时间回退判断,使得只有在能够安全续写时才继续使用原文件,避免新文件从预测帧等非随机访问媒体单元开始续写,降低文件起始无法解码、参数混杂和内部时间轴倒退的风险;
30、(3)通过录制上下文跨任务移交、所有者任务序号和旧任务静默终态控制,使得被替换旧任务迟到的完成、失效或失败通知不能关闭新任务正在使用的录像文件,也避免上层收到重复的录像结束通知;
31、(4)通过将录像输入置于高倍速显示丢帧判断之前,使得用户观看性能的降级策略不改变本地mp4的完整音视频内容;
32、(5)通过当编码参数变化或媒体时间回退时受控收口并创建新文件,而非强行拼接不连续数据,使得每个输出mp4文件均具备对应的样本表和moov索引信息,在保持用户录像连续语义的同时保证每个输出mp4文件具备可播放性。
33、综上,本技术通过录制上下文跨任务移交、首关键帧写入门控、编码参数兼容性与媒体时间回退联合判定、所有者终态收口以及录像链路前置等关键技术手段的有机结合,形成了一套完整的跨url hls回放连续mp4录像方案,在云存储hls回放、长时程监控回放和直播回看等多种场景中均能稳定运行,在播放地址频繁切换的条件下既保证了用户录像的连续语义,又保证了每个输出mp4文件的独立可播放性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com